JPH1091808A - 顔画像情報変換方法および顔画像情報変換装置 - Google Patents
顔画像情報変換方法および顔画像情報変換装置Info
- Publication number
- JPH1091808A JPH1091808A JP8267827A JP26782796A JPH1091808A JP H1091808 A JPH1091808 A JP H1091808A JP 8267827 A JP8267827 A JP 8267827A JP 26782796 A JP26782796 A JP 26782796A JP H1091808 A JPH1091808 A JP H1091808A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- facial
- face image
- expression
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
Abstract
(57)【要約】
【課題】 与えられた任意の顔画像情報に対して、指定
された表情の顔画像情報を合成する顔画像情報変換装置
を提供する。 【解決手段】 入出力制御機構１００は、複数の人間の
異なる表情の顔画像情報を受けて、正規化処理機構２０
０を制御して、各顔画像情報を正規化する。表情生成機
構１２０は、正規化された顔画像情報を表情成分に変換
し、各表情毎に平均化して平均表情成分として格納す
る。入出力制御機構１００は、与えられた顔画像情報を
正規化した後、表情生成機構１２０で表情成分に変換す
る。表情生成機構１２０は、与えられた顔画像情報の表
情に対応する平均表情成分と、指定された表情の平均表
情成分との差に基づいて、与えられた顔画像情報の表情
成分を変換する。変換された合成顔表情成分から、合成
顔画像情報が生成される。
された表情の顔画像情報を合成する顔画像情報変換装置
を提供する。 【解決手段】 入出力制御機構１００は、複数の人間の
異なる表情の顔画像情報を受けて、正規化処理機構２０
０を制御して、各顔画像情報を正規化する。表情生成機
構１２０は、正規化された顔画像情報を表情成分に変換
し、各表情毎に平均化して平均表情成分として格納す
る。入出力制御機構１００は、与えられた顔画像情報を
正規化した後、表情生成機構１２０で表情成分に変換す
る。表情生成機構１２０は、与えられた顔画像情報の表
情に対応する平均表情成分と、指定された表情の平均表
情成分との差に基づいて、与えられた顔画像情報の表情
成分を変換する。変換された合成顔表情成分から、合成
顔画像情報が生成される。
Description
【０００１】
【発明の属する技術分野】この発明は、所定の人物に対
して撮影された顔画像情報をもとに、指定された表情を
有する顔画像情報を生成する顔画像情報変換方法および
顔画像情報変換装置に関する。
して撮影された顔画像情報をもとに、指定された表情を
有する顔画像情報を生成する顔画像情報変換方法および
顔画像情報変換装置に関する。
【０００２】
【従来の技術】人間のコミュニケーションにおける情報
伝達には、感性情報の１つである顔表情が大きな役割を
果たしているといわれる。したがって、テレビ会議シス
テム等の情報伝達においては、人間の顔表情の分析およ
び合成を行なうことが重要である。
伝達には、感性情報の１つである顔表情が大きな役割を
果たしているといわれる。したがって、テレビ会議シス
テム等の情報伝達においては、人間の顔表情の分析およ
び合成を行なうことが重要である。
【０００３】ところで、従来の表情生成技術において
は、三次元形状モデルを生成し、その形状をＦＡＣＳ
（Facial Action Coding System ）モデルを用いて、所
望の表情の形状に変形した後、その形状上に三次元スキ
ャナで得た顔写真をその変形に合わせて貼り付けること
により表情を生成していた。つまり、三次元形状モデル
を生成し変形する必要があるため、能力の高い画像専用
計算機が必要となる。また、その表情生成のために、三
次元スキャナ装置が必要となったり、プログラム開発に
も高度な知識が必要となるなど、そのシステムを実現す
ることは容易でなかった。さらに、生成された表情も表
情変化に伴う顔の皺などが表現されないなど、自然さに
欠けるという欠点があった。
は、三次元形状モデルを生成し、その形状をＦＡＣＳ
（Facial Action Coding System ）モデルを用いて、所
望の表情の形状に変形した後、その形状上に三次元スキ
ャナで得た顔写真をその変形に合わせて貼り付けること
により表情を生成していた。つまり、三次元形状モデル
を生成し変形する必要があるため、能力の高い画像専用
計算機が必要となる。また、その表情生成のために、三
次元スキャナ装置が必要となったり、プログラム開発に
も高度な知識が必要となるなど、そのシステムを実現す
ることは容易でなかった。さらに、生成された表情も表
情変化に伴う顔の皺などが表現されないなど、自然さに
欠けるという欠点があった。
【０００４】このような問題点を克服するために、顔の
口や目といった特徴部分を所望の表情を持った他人の特
徴部分と入れ換えることにより、所望の表情を実現する
方法がある。しかしながら、このような方法では、顔の
構成部分として本人のものでない部分が増えると、同一
人物の表情とは認識し難いという欠点がある。
口や目といった特徴部分を所望の表情を持った他人の特
徴部分と入れ換えることにより、所望の表情を実現する
方法がある。しかしながら、このような方法では、顔の
構成部分として本人のものでない部分が増えると、同一
人物の表情とは認識し難いという欠点がある。
【０００５】さらに、上記のような特徴部分だけを同一
人物の所望の表情に変形させて入れ換えることにより、
所望の表情を実現する方法も存在する。しかしながら、
この方法でも顔全体を変形させるわけではないため、表
情としての自然さに欠けるという欠点があった。
人物の所望の表情に変形させて入れ換えることにより、
所望の表情を実現する方法も存在する。しかしながら、
この方法でも顔全体を変形させるわけではないため、表
情としての自然さに欠けるという欠点があった。
【０００６】
【発明が解決しようとする課題】本発明は、上記のよう
な問題点を解決するためになされたものであって、その
目的は、撮影された顔画像情報をもとに、簡易な構成で
所定の表情に対応する顔画像情報を生成する顔画像情報
変換方法および顔画像情報変換装置を提供することであ
る。
な問題点を解決するためになされたものであって、その
目的は、撮影された顔画像情報をもとに、簡易な構成で
所定の表情に対応する顔画像情報を生成する顔画像情報
変換方法および顔画像情報変換装置を提供することであ
る。
【０００７】この発明の他の目的は、撮像された所定の
顔画像情報をもとに、所定の表情に対応する顔画像情報
を生成した場合も、同一人物の表情として自然な顔画像
情報を生成することが可能な顔画像情報変換方法および
顔画像情報変換装置を提供することである。
顔画像情報をもとに、所定の表情に対応する顔画像情報
を生成した場合も、同一人物の表情として自然な顔画像
情報を生成することが可能な顔画像情報変換方法および
顔画像情報変換装置を提供することである。
【０００８】
【課題を解決するための手段】請求項１記載の顔画像情
報変換方法は、所定の人間の複数の異なる表情の顔画像
情報から、顔全体を処理単位として、顔画像表現空間上
の複数の座標軸への射影成分にそれぞれ対応する各表情
に対する複数の表情成分を抽出するステップと、指定さ
れた任意の２つの異なる表情間の任意の比率の合成表情
の顔画像情報に対応する複数の合成表情成分を、２つの
異なる表情に対応する表情成分の補間により算出するス
テップと、複数の合成表情成分に応じて、合成顔画像情
報を生成するステップとを備える。
報変換方法は、所定の人間の複数の異なる表情の顔画像
情報から、顔全体を処理単位として、顔画像表現空間上
の複数の座標軸への射影成分にそれぞれ対応する各表情
に対する複数の表情成分を抽出するステップと、指定さ
れた任意の２つの異なる表情間の任意の比率の合成表情
の顔画像情報に対応する複数の合成表情成分を、２つの
異なる表情に対応する表情成分の補間により算出するス
テップと、複数の合成表情成分に応じて、合成顔画像情
報を生成するステップとを備える。
【０００９】請求項２記載の顔画像情報変換方法は、所
定の人間の複数の異なる表情の顔画像情報から、顔全体
を処理単位として、顔画像表現空間上の複数の座標軸へ
の射影成分にそれぞれ対応する各表情に対する複数の表
情成分を抽出するステップと、指定された任意の２つの
異なる表情間の任意の比率の合成表情の顔画像情報に対
応する複数の合成表情成分を、２つの異なる表情に対応
する表情成分の外挿により算出するステップと、複数の
合成表情成分に応じて、合成顔画像情報を生成するステ
ップとを備える。
定の人間の複数の異なる表情の顔画像情報から、顔全体
を処理単位として、顔画像表現空間上の複数の座標軸へ
の射影成分にそれぞれ対応する各表情に対する複数の表
情成分を抽出するステップと、指定された任意の２つの
異なる表情間の任意の比率の合成表情の顔画像情報に対
応する複数の合成表情成分を、２つの異なる表情に対応
する表情成分の外挿により算出するステップと、複数の
合成表情成分に応じて、合成顔画像情報を生成するステ
ップとを備える。
【００１０】請求項３記載の顔画像情報変換方法は、任
意に与えられた顔画像情報に対して、顔全体を処理単位
として、複数の参照点が所定の位置関係となるように変
形し、正規化顔画像情報に変換するステップと、正規化
顔画像情報の顔画像表情空間上の複数の座標軸への射影
成分にそれぞれ対応する複数の表情成分を抽出するステ
ップと、与えられた顔画像情報の表情と指定された表情
とに応じて、予め複数の異なる表情の顔画像情報から抽
出された表情成分に基づいて複数の人間についての平均
操作により導出される各表情間の平均表情成分差と、与
えられた顔画像情報に対応する表情成分とに基づいて、
指定された表情表現率に対応する複数の合成表情成分を
算出するステップと、複数の合成表情成分に応じて、正
規化合成顔画像情報を生成するステップと、正規化合成
顔画像情報の参照点が、元の与えられた顔画像情報に対
する参照点の配置と同一となるように変形し、合成顔画
像情報を生成するステップとを備える。
意に与えられた顔画像情報に対して、顔全体を処理単位
として、複数の参照点が所定の位置関係となるように変
形し、正規化顔画像情報に変換するステップと、正規化
顔画像情報の顔画像表情空間上の複数の座標軸への射影
成分にそれぞれ対応する複数の表情成分を抽出するステ
ップと、与えられた顔画像情報の表情と指定された表情
とに応じて、予め複数の異なる表情の顔画像情報から抽
出された表情成分に基づいて複数の人間についての平均
操作により導出される各表情間の平均表情成分差と、与
えられた顔画像情報に対応する表情成分とに基づいて、
指定された表情表現率に対応する複数の合成表情成分を
算出するステップと、複数の合成表情成分に応じて、正
規化合成顔画像情報を生成するステップと、正規化合成
顔画像情報の参照点が、元の与えられた顔画像情報に対
する参照点の配置と同一となるように変形し、合成顔画
像情報を生成するステップとを備える。
【００１１】請求項４記載の顔画像情報変換方法は、複
数の人間についての異なる表情の複数の参照顔画像情報
を受けて、各参照顔画像情報毎に複数の参照点を指定す
るステップと、参照顔画像情報毎に、顔全体を処理単位
として複数の参照点が所定の位置関係となるように変形
し、正規化参照顔画像情報に変換するステップと、各正
規化参照顔画像情報の顔画像表現空間上の複数の座標軸
への射影成分にそれぞれ対応する複数の表情成分を抽出
し、各表情について複数の人間に対する表情成分毎の平
均表情成分および表情間の平均表情成分差を求めるステ
ップと、任意に与えられた顔画像情報に対して、顔全体
を処理単位として、複数の参照点を指定するステップ
と、与えられた顔画像情報に対して、顔全体を処理単位
として、複数の参照点が所定の位置関係となるように変
形し、正規化顔画像情報に変換するステップと、正規化
顔画像情報の顔画像表現空間上の複数の座標軸への射影
成分にそれぞれ対応する複数の表情成分を抽出するステ
ップと、与えられた顔画像情報の表情と指定された表情
とに応じて、平均表情成分差と与えられた顔画像情報に
対応する表情成分とから、指定された表情表現率に対応
する複数の合成表情成分を算出するステップと、複数の
合成表情成分に応じて、正規化合成顔画像情報を生成す
るステップと、正規化合成顔画像情報の参照点が、元の
与えられた顔画像情報に対する参照点の配置と同一とな
るように変形し、合成顔画像情報を生成するステップと
を備える。
数の人間についての異なる表情の複数の参照顔画像情報
を受けて、各参照顔画像情報毎に複数の参照点を指定す
るステップと、参照顔画像情報毎に、顔全体を処理単位
として複数の参照点が所定の位置関係となるように変形
し、正規化参照顔画像情報に変換するステップと、各正
規化参照顔画像情報の顔画像表現空間上の複数の座標軸
への射影成分にそれぞれ対応する複数の表情成分を抽出
し、各表情について複数の人間に対する表情成分毎の平
均表情成分および表情間の平均表情成分差を求めるステ
ップと、任意に与えられた顔画像情報に対して、顔全体
を処理単位として、複数の参照点を指定するステップ
と、与えられた顔画像情報に対して、顔全体を処理単位
として、複数の参照点が所定の位置関係となるように変
形し、正規化顔画像情報に変換するステップと、正規化
顔画像情報の顔画像表現空間上の複数の座標軸への射影
成分にそれぞれ対応する複数の表情成分を抽出するステ
ップと、与えられた顔画像情報の表情と指定された表情
とに応じて、平均表情成分差と与えられた顔画像情報に
対応する表情成分とから、指定された表情表現率に対応
する複数の合成表情成分を算出するステップと、複数の
合成表情成分に応じて、正規化合成顔画像情報を生成す
るステップと、正規化合成顔画像情報の参照点が、元の
与えられた顔画像情報に対する参照点の配置と同一とな
るように変形し、合成顔画像情報を生成するステップと
を備える。
【００１２】請求項５記載の顔画像情報変換方法は、請
求項１、２または３記載の顔画像情報変換方法の構成に
おいて、表情成分および合成表情成分は、対応する顔画
像情報をカルーネンレーベ展開した場合の展開係数であ
る。
求項１、２または３記載の顔画像情報変換方法の構成に
おいて、表情成分および合成表情成分は、対応する顔画
像情報をカルーネンレーベ展開した場合の展開係数であ
る。
【００１３】請求項６記載の顔画像情報変換方法は、請
求項１、２または３記載の顔画像情報変換方法の構成に
おいて、表情成分および合成表情成分は、対応する顔画
像情報を離散コサイン変換した場合の変換係数である。
求項１、２または３記載の顔画像情報変換方法の構成に
おいて、表情成分および合成表情成分は、対応する顔画
像情報を離散コサイン変換した場合の変換係数である。
【００１４】請求項７記載の顔画像情報変換装置は、複
数の異なる表情の顔画像情報から抽出された表情成分に
基づいて、複数の人間についての平均操作により導出さ
れる前記各表情間の平均表情成分差を格納する記憶手段
と、任意に与えられた顔画像情報に対して、顔全体を処
理単位として、複数の参照点が所定の位置関係となるよ
うに変形し、正規化顔画像情報に変換する手段と、正規
化顔画像情報の顔画像表現空間上の複数の座標軸への射
影成分にそれぞれ対応する複数の表情成分を抽出する手
段と、与えられた顔画像情報の表情と指定された表情と
に応じて、各表情間の平均表情成分差と、与えられた顔
画像情報に対応する表情成分とから、指定された表情表
現率に対応する複数の合成表情成分を算出する手段と、
複数の合成表情成分に応じて、正規化合成顔画像情報を
生成する手段と、正規化合成顔画像情報の参照点が、元
の与えられた顔画像情報に対する参照点の配置と同一と
なるように変形し、合成顔画像情報を生成する手段とを
備える。
数の異なる表情の顔画像情報から抽出された表情成分に
基づいて、複数の人間についての平均操作により導出さ
れる前記各表情間の平均表情成分差を格納する記憶手段
と、任意に与えられた顔画像情報に対して、顔全体を処
理単位として、複数の参照点が所定の位置関係となるよ
うに変形し、正規化顔画像情報に変換する手段と、正規
化顔画像情報の顔画像表現空間上の複数の座標軸への射
影成分にそれぞれ対応する複数の表情成分を抽出する手
段と、与えられた顔画像情報の表情と指定された表情と
に応じて、各表情間の平均表情成分差と、与えられた顔
画像情報に対応する表情成分とから、指定された表情表
現率に対応する複数の合成表情成分を算出する手段と、
複数の合成表情成分に応じて、正規化合成顔画像情報を
生成する手段と、正規化合成顔画像情報の参照点が、元
の与えられた顔画像情報に対する参照点の配置と同一と
なるように変形し、合成顔画像情報を生成する手段とを
備える。
【００１５】
［実施の形態１］本発明は、以下に説明するように、簡
易な構成で所定の表情に対応した顔画像情報を生成する
ために、三次元形状モデルを用いることなく、表情生成
を行なうものである。
易な構成で所定の表情に対応した顔画像情報を生成する
ために、三次元形状モデルを用いることなく、表情生成
を行なうものである。
【００１６】図１は本発明の実施の形態１の顔画像情報
変換装置１０００の構成を示す概略ブロック図である。
変換装置１０００の構成を示す概略ブロック図である。
【００１７】顔画像情報変換装置１０００は、撮像装
置、たとえばディジタルカメラ１１０から入力される顔
画像情報を受けて、データ入力装置、たとえば、キーボ
ード（図示せず）等から入力されるモード選択信号等に
応じて、周辺装置の動作を制御する入出力制御機構１０
０と、入出力制御機構１００により制御され、顔画像情
報を記憶保持するファイルシステム１４０と、入出力制
御機構１００により制御され、データ入力装置、たとえ
ばキーボード（図示せず）により入力されたモード選択
信号およびファイル名に応じて、指定されたファイル名
に対応する顔画像情報に対する表情成分抽出動作または
指定された任意の２つのファイル名により指定される顔
画像情報に対応する２つの表情の中間の、または強調さ
れた表情に対応する表情生成動作を制御する表情生成制
御機構１３０と、表情生成制御機構１３０により制御さ
れ、指定された顔画像情報から後に説明する表情成分を
抽出してこれを記憶保持し、または合成された表情に対
応する合成表情成分を生成する表情生成機構１２０と、
入出力制御機構１００により制御され、指定された画像
情報を表示する表示装置１５０と、入出力制御機構１０
０により制御され、指定された画像情報および文字情報
を印刷する印刷装置１６０とを備える。
置、たとえばディジタルカメラ１１０から入力される顔
画像情報を受けて、データ入力装置、たとえば、キーボ
ード（図示せず）等から入力されるモード選択信号等に
応じて、周辺装置の動作を制御する入出力制御機構１０
０と、入出力制御機構１００により制御され、顔画像情
報を記憶保持するファイルシステム１４０と、入出力制
御機構１００により制御され、データ入力装置、たとえ
ばキーボード（図示せず）により入力されたモード選択
信号およびファイル名に応じて、指定されたファイル名
に対応する顔画像情報に対する表情成分抽出動作または
指定された任意の２つのファイル名により指定される顔
画像情報に対応する２つの表情の中間の、または強調さ
れた表情に対応する表情生成動作を制御する表情生成制
御機構１３０と、表情生成制御機構１３０により制御さ
れ、指定された顔画像情報から後に説明する表情成分を
抽出してこれを記憶保持し、または合成された表情に対
応する合成表情成分を生成する表情生成機構１２０と、
入出力制御機構１００により制御され、指定された画像
情報を表示する表示装置１５０と、入出力制御機構１０
０により制御され、指定された画像情報および文字情報
を印刷する印刷装置１６０とを備える。
【００１８】次に、顔画像情報変換装置１０００の動作
について説明する。図２は、複数の顔画像情報をファイ
ルシステム１４０に対して蓄積するサンプリングモード
における動作を説明するフローチャートである。
について説明する。図２は、複数の顔画像情報をファイ
ルシステム１４０に対して蓄積するサンプリングモード
における動作を説明するフローチャートである。
【００１９】入出力制御機構１００は、外部から入力さ
れた信号に応じて、サンプリングモードが指定されたこ
とを検知して動作を開始する（ステップＳ１００）。
れた信号に応じて、サンプリングモードが指定されたこ
とを検知して動作を開始する（ステップＳ１００）。
【００２０】これに応じて、入出力制御機構は、必要な
システムの初期化、たとえば表示装置の表示画面の切換
や表示生成制御機構１３０の動作の初期化等を行なう
（ステップＳ１０２）。
システムの初期化、たとえば表示装置の表示画面の切換
や表示生成制御機構１３０の動作の初期化等を行なう
（ステップＳ１０２）。
【００２１】続いて、入出力制御機構１００は、ディジ
タルカメラ１１０から入力された顔画像情報を取込み、
この情報を指定されたファイル名とともに、ファイルシ
ステム１４０に格納する。
タルカメラ１１０から入力された顔画像情報を取込み、
この情報を指定されたファイル名とともに、ファイルシ
ステム１４０に格納する。
【００２２】続いて、後に説明するように、入力された
顔画像情報から表情成分を抽出するために、入出力制御
機構１００は、ファイルシステム１４０中の顔画像情報
を表情生成制御機構１３０に対して出力するとともに、
表情成分の抽出依頼信号を出力する。
顔画像情報から表情成分を抽出するために、入出力制御
機構１００は、ファイルシステム１４０中の顔画像情報
を表情生成制御機構１３０に対して出力するとともに、
表情成分の抽出依頼信号を出力する。
【００２３】これに応じて、表情生成制御機構１３０
は、表情生成機構１２０に対して、指定された顔画像情
報からの表情成分の抽出計算を行なわせる（ステップＳ
１００）。
は、表情生成機構１２０に対して、指定された顔画像情
報からの表情成分の抽出計算を行なわせる（ステップＳ
１００）。
【００２４】表情生成機構１２０は、表情成分の抽出演
算が終了すると、これをファイル名とともに記憶保持す
る。表情生成制御機構１３０は、表情成分抽出完了信号
を入出力制御機構１００に対して出力する（ステップＳ
１０８）。
算が終了すると、これをファイル名とともに記憶保持す
る。表情生成制御機構１３０は、表情成分抽出完了信号
を入出力制御機構１００に対して出力する（ステップＳ
１０８）。
【００２５】続いて、入出力制御機構１００は、外部か
らの制御信号に応じて、サンプリング動作が終了したか
否かを判断し、サンプリングが終了していない場合は、
顔画像撮像および取込動作（ステップＳ１０４）の処理
に復帰する。
らの制御信号に応じて、サンプリング動作が終了したか
否かを判断し、サンプリングが終了していない場合は、
顔画像撮像および取込動作（ステップＳ１０４）の処理
に復帰する。
【００２６】一方、サンプリング動作が終了したことが
指定されている場合、サンプリングモードが終了する
（ステップＳ１１２）。
指定されている場合、サンプリングモードが終了する
（ステップＳ１１２）。
【００２７】ここで、表情生成機構１２０においては、
後に説明する表情成分の抽出方法に応じて、たとえば表
情成分抽出演算を行なうための専用ＬＳＩ等が含まれ、
高速に表情成分抽出動作を可能とする構成とすることも
できる。
後に説明する表情成分の抽出方法に応じて、たとえば表
情成分抽出演算を行なうための専用ＬＳＩ等が含まれ、
高速に表情成分抽出動作を可能とする構成とすることも
できる。
【００２８】［表情成分抽出処理］次に、顔画像情報か
ら表情成分を抽出する方法について説明する。
ら表情成分を抽出する方法について説明する。
【００２９】以下では、表情成分の抽出方法として離散
コサイン変換（ＤＣＴ：Discrete Cosine Transform ）
を用いた場合について説明するが、後に説明するよう
に、この発明はこのような変換方法に限定されることな
く、より一般的に画像情報を複数の成分として表現する
ことができる変換に対して適用することが可能である。
コサイン変換（ＤＣＴ：Discrete Cosine Transform ）
を用いた場合について説明するが、後に説明するよう
に、この発明はこのような変換方法に限定されることな
く、より一般的に画像情報を複数の成分として表現する
ことができる変換に対して適用することが可能である。
【００３０】以下では、具体例として、顔画像情報とし
て、白黒画像で、１２８×１２８ピクセルの２５６階調
で表現された情報から表情成分を抽出する場合を考え
る。
て、白黒画像で、１２８×１２８ピクセルの２５６階調
で表現された情報から表情成分を抽出する場合を考え
る。
【００３１】さらに、表情としては、普通の顔（以下、
ｎｅｕｔｒａｌで表わす）、笑顔（以下、ｓｍｉｌｅで
表わす）、および怒った顔（以下、ａｎｇｅｒで表わ
す）を処理の対象とした場合について説明する。
ｎｅｕｔｒａｌで表わす）、笑顔（以下、ｓｍｉｌｅで
表わす）、および怒った顔（以下、ａｎｇｅｒで表わ
す）を処理の対象とした場合について説明する。
【００３２】まず、上記顔画像情報を一次元の２14（１
２８×１２８）点のデータからなる一次元ベクトルと見
なし、ＤＣＴを用いて周波数領域へ変換する。すなわ
ち、まず二次元の画像データを水平スキャンを行なうこ
とで、一次元に変換する。その後この一次元データを離
散コサイン変換することで、そのＤＣＴ係数をそれぞれ
の表情について求める。
２８×１２８）点のデータからなる一次元ベクトルと見
なし、ＤＣＴを用いて周波数領域へ変換する。すなわ
ち、まず二次元の画像データを水平スキャンを行なうこ
とで、一次元に変換する。その後この一次元データを離
散コサイン変換することで、そのＤＣＴ係数をそれぞれ
の表情について求める。
【００３３】以下では、普通の顔に対するＤＣＴ係数を
Ｘｎｅｕ（ｋ）とし、笑顔に対するＤＣＴ係数をＸｓｍ
ｉｌｅ（ｋ）と表わし、怒った顔に対するＤＣＴ係数を
Ｘａｎｇｅｒ（ｋ）と表わすことにする。さらに、笑顔
および怒った顔に対するＤＣＴ係数を総称してＸｅｘｐ
（ｋ）と表わすことにする。ここで、ｋはＤＣＴ変換し
た場合の成分番号を表わしている。
Ｘｎｅｕ（ｋ）とし、笑顔に対するＤＣＴ係数をＸｓｍ
ｉｌｅ（ｋ）と表わし、怒った顔に対するＤＣＴ係数を
Ｘａｎｇｅｒ（ｋ）と表わすことにする。さらに、笑顔
および怒った顔に対するＤＣＴ係数を総称してＸｅｘｐ
（ｋ）と表わすことにする。ここで、ｋはＤＣＴ変換し
た場合の成分番号を表わしている。
【００３４】すなわち、以上のような手順により、二次
元の人間の顔画像情報が、有限個のＤＣＴ係数により表
現されることになる。
元の人間の顔画像情報が、有限個のＤＣＴ係数により表
現されることになる。
【００３５】［顔画像情報の合成］続いて、各表情に対
応した顔画像情報に対するＤＣＴ係数により、指定され
た２つの表情の中間の、または強調された表情を有する
顔画像情報を合成する手順について説明する。
応した顔画像情報に対するＤＣＴ係数により、指定され
た２つの表情の中間の、または強調された表情を有する
顔画像情報を合成する手順について説明する。
【００３６】図３は、このような顔画像情報の合成処理
のフローを示すフローチャートである。
のフローを示すフローチャートである。
【００３７】入出力制御機構１００は、外部からの指示
により、顔画像合成が指示されると、顔画像生成モード
の動作を開始する（ステップＳ２００）。
により、顔画像合成が指示されると、顔画像生成モード
の動作を開始する（ステップＳ２００）。
【００３８】続いて、外部からファイル名により、任意
の２つの表情が指定される（ステップＳ２０２）。
の２つの表情が指定される（ステップＳ２０２）。
【００３９】続いて、入出力制御機構１００の制御に基
づいて表情生成機構１２０は、指定された表情に対応す
る顔画像情報の表情係数を読出す（ステップＳ２０
４）。
づいて表情生成機構１２０は、指定された表情に対応す
る顔画像情報の表情係数を読出す（ステップＳ２０
４）。
【００４０】ここで、読出された表情係数としては、所
定の表情に対応する表情係数Ｘｅｘｐ（ｋ）および普通
の顔に対する表情係数Ｘｎｅｕ（ｋ）であるものとす
る。
定の表情に対応する表情係数Ｘｅｘｐ（ｋ）および普通
の顔に対する表情係数Ｘｎｅｕ（ｋ）であるものとす
る。
【００４１】続いて、入出力制御機構１００は、表情生
成制御機構１３０に対して、読出された表情係数を出力
し、表情生成依頼信号を出力する。表情生成制御機構１
３０は、これに応じて、表情生成機構を制御して、合成
表情に対応するＤＣＴ係数Ｘｓｙｎ（ｋ）を以下の式で
算出する。
成制御機構１３０に対して、読出された表情係数を出力
し、表情生成依頼信号を出力する。表情生成制御機構１
３０は、これに応じて、表情生成機構を制御して、合成
表情に対応するＤＣＴ係数Ｘｓｙｎ（ｋ）を以下の式で
算出する。
【００４２】Ｘｓｙｎ（ｋ）＝λＸｅｘｐ（ｋ）＋（１
−λ）Ｘｎｅｕ（ｋ） ここで、λは、普通の顔に対する表情変化を表わすため
のパラメータである。すなわち、λ＝０では、合成表情
係数は普通の顔に対するＤＣＴ係数Ｘｎｅｕ（ｋ）と等
しくなり、λ＝１の場合は、合成表情係数は、対応する
表情のＤＣＴ係数Ｘｅｘｐ（ｋ）と等しくなる。
−λ）Ｘｎｅｕ（ｋ） ここで、λは、普通の顔に対する表情変化を表わすため
のパラメータである。すなわち、λ＝０では、合成表情
係数は普通の顔に対するＤＣＴ係数Ｘｎｅｕ（ｋ）と等
しくなり、λ＝１の場合は、合成表情係数は、対応する
表情のＤＣＴ係数Ｘｅｘｐ（ｋ）と等しくなる。
【００４３】つまり、０＜λ＜１の場合は、中間の表
情、言い換えると補完された表情が合成される。１＜λ
の場合は、強調された表情、言い換えると外挿された表
情が合成されることになる。
情、言い換えると補完された表情が合成される。１＜λ
の場合は、強調された表情、言い換えると外挿された表
情が合成されることになる。
【００４４】続いて、表情生成機構１２０は、算出され
た合成表情に対応するＤＣＴ係数Ｘｓｙｎ（ｋ）をＤＣ
Ｔ逆変換して、合成顔画像に対する顔画像情報を生成す
る（ステップＳ２０８）。
た合成表情に対応するＤＣＴ係数Ｘｓｙｎ（ｋ）をＤＣ
Ｔ逆変換して、合成顔画像に対する顔画像情報を生成す
る（ステップＳ２０８）。
【００４５】続いて、入出力制御機構１００は、顔画像
の生成モードの終了が外部から指定されているか否かを
判断し、終了が指定されていない場合は、再び表情指定
処理のステップＳ２０２に処理が復帰し、終了が指定さ
れている場合は、顔画像生成モードが終了する（ステッ
プＳ２１２）。
の生成モードの終了が外部から指定されているか否かを
判断し、終了が指定されていない場合は、再び表情指定
処理のステップＳ２０２に処理が復帰し、終了が指定さ
れている場合は、顔画像生成モードが終了する（ステッ
プＳ２１２）。
【００４６】以上のような顔画像情報に対する変換処理
を行なうことで、所定の人間の異なる複数の顔画像情報
に基づいて、その中間の表情に対応する顔画像情報を、
簡易な構成で合成することが可能となる。しかも、以上
の処理は、顔全体を処理対象として行なうため、合成さ
れた顔画像が、同一人の表情として極めて自然な表情と
なるという利点を有する。
を行なうことで、所定の人間の異なる複数の顔画像情報
に基づいて、その中間の表情に対応する顔画像情報を、
簡易な構成で合成することが可能となる。しかも、以上
の処理は、顔全体を処理対象として行なうため、合成さ
れた顔画像が、同一人の表情として極めて自然な表情と
なるという利点を有する。
【００４７】［実施の形態２］実施の形態１において
は、所定の人間に対する異なる表現に対応した顔画像情
報に基づいて、任意の２つの表現の中間の表現に対応し
た顔画像情報を合成する方法および合成する装置につい
て説明した。
は、所定の人間に対する異なる表現に対応した顔画像情
報に基づいて、任意の２つの表現の中間の表現に対応し
た顔画像情報を合成する方法および合成する装置につい
て説明した。
【００４８】実施の形態２においては、与えられた任意
の人物の任意の顔画像情報に基づいて、指定された表情
を指定された任意の表情表現率で表示する、たとえば任
意の比率の笑顔の顔画像情報を生成する方法および装置
について説明する。
の人物の任意の顔画像情報に基づいて、指定された表情
を指定された任意の表情表現率で表示する、たとえば任
意の比率の笑顔の顔画像情報を生成する方法および装置
について説明する。
【００４９】表情表現率とは、後に説明するように、与
えられた顔画像情報の表情から、指定された表情へ変換
する割合を意味するものとする。
えられた顔画像情報の表情から、指定された表情へ変換
する割合を意味するものとする。
【００５０】図４は、実施の形態２の顔画像情報変換装
置２０００の構成を示す概略ブロック図である。
置２０００の構成を示す概略ブロック図である。
【００５１】実施の形態１の顔画像情報変換装置１００
０の構成と異なる点は、入出力制御機構１００に制御さ
れ、後に説明する顔画像情報の正規化処理を行なう正規
化処理機構２００と、表情生成制御機構１３０により制
御され、表情生成機構１２０により生成された顔画像情
報を対応する人物の固有の顔画像に復元する形状復元機
構２１０をさらに備える構成となっていることである。
０の構成と異なる点は、入出力制御機構１００に制御さ
れ、後に説明する顔画像情報の正規化処理を行なう正規
化処理機構２００と、表情生成制御機構１３０により制
御され、表情生成機構１２０により生成された顔画像情
報を対応する人物の固有の顔画像に復元する形状復元機
構２１０をさらに備える構成となっていることである。
【００５２】その他同一部分には同一符号を付して説明
は繰返さない。続いて、図４に示した顔画像情報変換装
置２０００の動作について説明する。
は繰返さない。続いて、図４に示した顔画像情報変換装
置２０００の動作について説明する。
【００５３】図５および図６は、実施の形態２における
利用者とシステムのインターフェイス例、すなわち表示
装置１５０に表示される表示画面の例を示す図である。
図５は、顔画像情報を取込んだ後、それに対応する処理
モードを選択する場合の表示画面を示している。
利用者とシステムのインターフェイス例、すなわち表示
装置１５０に表示される表示画面の例を示す図である。
図５は、顔画像情報を取込んだ後、それに対応する処理
モードを選択する場合の表示画面を示している。
【００５４】図６は、利用者からの指示により顔画像情
報の合成を行なう場合の表示画面を示す図である。
報の合成を行なう場合の表示画面を示す図である。
【００５５】すなわち、図５において、利用者が顔画像
入力ボタンを押下すると、原画ファイル名入力が可能と
なり、利用者によって顔の表情を操作する対象ファイル
名が入力される。入力が完了すると、画面に対象ファイ
ルの内容（原画）が表示される。標準顔の参照点位置に
対応する原画上の対応位置に参照点が表示される。ここ
で、参照点とは、たとえば、目頭、目尻、上唇、下唇、
鼻橋、眉毛の先端、眉毛の終端、唇の両端等の位置を表
わす。
入力ボタンを押下すると、原画ファイル名入力が可能と
なり、利用者によって顔の表情を操作する対象ファイル
名が入力される。入力が完了すると、画面に対象ファイ
ルの内容（原画）が表示される。標準顔の参照点位置に
対応する原画上の対応位置に参照点が表示される。ここ
で、参照点とは、たとえば、目頭、目尻、上唇、下唇、
鼻橋、眉毛の先端、眉毛の終端、唇の両端等の位置を表
わす。
【００５６】利用者は、表示されている標準顔の参照点
を参照しながら、原画上のすべての参照点位置を顔の対
応する位置に移動させる。利用者が正規化ボタンを押下
すると、正規化された顔画像が表示される。
を参照しながら、原画上のすべての参照点位置を顔の対
応する位置に移動させる。利用者が正規化ボタンを押下
すると、正規化された顔画像が表示される。
【００５７】ここで、正規化された顔画像とは、以上の
ようにして指定した原画像における参照点の配置が標準
顔に対する参照点の配置と同様になるように、原画の顔
画像情報を変換したものを意味する。
ようにして指定した原画像における参照点の配置が標準
顔に対する参照点の配置と同様になるように、原画の顔
画像情報を変換したものを意味する。
【００５８】図７は、正規化の概念を示すための模式図
である。図７（ａ）は、原画の顔画像情報を、（ｂ）
は、標準顔の顔画像を表わす。一般には、各個人によっ
て、目の位置や鼻の位置、口の位置、耳の位置等は、各
々異なる。このように各個人毎に異なる配置のままで、
画像処理を行なっても、一般的な特徴の抽出は困難であ
る。そこで、図７（ａ）のように原画の顔画像情報に対
して、参照点を指定することで、各参照点の位置が図７
（ｂ）に示した標準顔の参照点と同一となるように、原
画の顔画像情報を変形する。
である。図７（ａ）は、原画の顔画像情報を、（ｂ）
は、標準顔の顔画像を表わす。一般には、各個人によっ
て、目の位置や鼻の位置、口の位置、耳の位置等は、各
々異なる。このように各個人毎に異なる配置のままで、
画像処理を行なっても、一般的な特徴の抽出は困難であ
る。そこで、図７（ａ）のように原画の顔画像情報に対
して、参照点を指定することで、各参照点の位置が図７
（ｂ）に示した標準顔の参照点と同一となるように、原
画の顔画像情報を変形する。
【００５９】このようにすることで、各個人毎に異なる
目や鼻の配置の影響を越えて、より一般的に表情変化に
伴う画像情報の変化の特徴を抽出することが可能とな
る。
目や鼻の配置の影響を越えて、より一般的に表情変化に
伴う画像情報の変化の特徴を抽出することが可能とな
る。
【００６０】以上のようにして、取込まれた原画の顔画
像情報が正規化された後に、利用者がファイル保存ボタ
ンを押下すると、正規化ファイル名が入力可能となり、
利用者が正規化ファイル名を入力する。これに応じて、
正規化顔画像情報がファイルシステム１４０に保存され
る。また、原画の顔画像情報上の参照点と正規化顔上の
参照点の位置情報が対としてファイルシステム１４０に
保存される。利用者が、表情生成ボタンを押下すると、
第６図の画面に処理が移行する。このとき、正規化され
た顔とそのファイル名が表示される。
像情報が正規化された後に、利用者がファイル保存ボタ
ンを押下すると、正規化ファイル名が入力可能となり、
利用者が正規化ファイル名を入力する。これに応じて、
正規化顔画像情報がファイルシステム１４０に保存され
る。また、原画の顔画像情報上の参照点と正規化顔上の
参照点の位置情報が対としてファイルシステム１４０に
保存される。利用者が、表情生成ボタンを押下すると、
第６図の画面に処理が移行する。このとき、正規化され
た顔とそのファイル名が表示される。
【００６１】利用者が表情メニューボタン３００の中か
ら、１つの表情を選び、ボタンを押下する。正規化顔画
像情報の表情が、当該表情に変化し、合成顔画像情報が
表示される。利用者が、形状復元ボタンを押下すると、
原画の形状に復元した顔画像情報が生成される。利用者
が、ファイル保存ボタンを押下すると、形状復元顔ファ
イル名が入力可能となり、ファイル名が入力されると、
形状が復元された顔画像情報がファイルシステム１４０
に保存される。
ら、１つの表情を選び、ボタンを押下する。正規化顔画
像情報の表情が、当該表情に変化し、合成顔画像情報が
表示される。利用者が、形状復元ボタンを押下すると、
原画の形状に復元した顔画像情報が生成される。利用者
が、ファイル保存ボタンを押下すると、形状復元顔ファ
イル名が入力可能となり、ファイル名が入力されると、
形状が復元された顔画像情報がファイルシステム１４０
に保存される。
【００６２】表情生成は、利用者が初期画面ボタンか、
終了ボタンを押下するまで続けられる。初期画面ボタン
が押下されると、第５図の画面に戻る。
終了ボタンを押下するまで続けられる。初期画面ボタン
が押下されると、第５図の画面に戻る。
【００６３】第５図または第６図の画面で利用者が、終
了ボタンを押下すると表情生成は終了する。
了ボタンを押下すると表情生成は終了する。
【００６４】図８は、図４の顔画像情報変換装置２００
０の表情変換処理の流れを示すフローチャートである。
図８において、第１のモード振分け動作においては、図
５に示した画面が表示装置１５０に出力されており、第
２のモード振分け動作においては、図６に示した画面が
表示装置１５０に表示されている。
０の表情変換処理の流れを示すフローチャートである。
図８において、第１のモード振分け動作においては、図
５に示した画面が表示装置１５０に出力されており、第
２のモード振分け動作においては、図６に示した画面が
表示装置１５０に表示されている。
【００６５】図５、６および８を参照して、利用者によ
って顔画像入力モードが選択され（ステップＳＰ１）、
ファイル名が入力されると（ステップＳＰ２）、入出力
制御機構１００は、該当するファイルをファイルシステ
ム１４０から選択し、その内容を表示装置１５０に出力
する。利用者は原画上の参照点を、図５に示した標準顔
上の参照点と対応する位置になるように、ポインティン
グデバイス（図示せず）を用いて移動する（ステップＳ
Ｐ２）。
って顔画像入力モードが選択され（ステップＳＰ１）、
ファイル名が入力されると（ステップＳＰ２）、入出力
制御機構１００は、該当するファイルをファイルシステ
ム１４０から選択し、その内容を表示装置１５０に出力
する。利用者は原画上の参照点を、図５に示した標準顔
上の参照点と対応する位置になるように、ポインティン
グデバイス（図示せず）を用いて移動する（ステップＳ
Ｐ２）。
【００６６】一方、利用者がステップＳＰ１において正
規化ボタンを押下すると、入出力制御機構１００は、表
情生成制御機構１３０を制御して、当該原画に対応する
顔画像情報を正規化して表示装置１５０に出力する（ス
テップＳＰ３）。
規化ボタンを押下すると、入出力制御機構１００は、表
情生成制御機構１３０を制御して、当該原画に対応する
顔画像情報を正規化して表示装置１５０に出力する（ス
テップＳＰ３）。
【００６７】正規化顔画像情報が生成されると、正規化
ファイル名が入力可能となる。利用者によって、正規化
ファイル名が入力され、ステップＳＰ１において利用者
がファイル保存を選択すると、入出力制御機構１００
は、正規化ファイルをファイルシステム１４０に保存す
る（ステップＳＰ４）。
ファイル名が入力可能となる。利用者によって、正規化
ファイル名が入力され、ステップＳＰ１において利用者
がファイル保存を選択すると、入出力制御機構１００
は、正規化ファイルをファイルシステム１４０に保存す
る（ステップＳＰ４）。
【００６８】ステップＳＰ１において、利用者が表情生
成ボタンを押下すると、処理は表情生成画面に切換わる
（ステップＳＰ５）。これにより、表示装置１５０に出
力する画面は、図６に示した画面となる。
成ボタンを押下すると、処理は表情生成画面に切換わる
（ステップＳＰ５）。これにより、表示装置１５０に出
力する画面は、図６に示した画面となる。
【００６９】利用者が、表情選択ボタン３００のうち、
所定の表情ボタンを選択し表情表現率を指定すると、入
出力制御機構１００は、表情生成制御機構１３０を制御
して、対応する表情を持つ顔画像情報を生成し、表示装
置１５０上に出力する（ステップＳＰ７）。
所定の表情ボタンを選択し表情表現率を指定すると、入
出力制御機構１００は、表情生成制御機構１３０を制御
して、対応する表情を持つ顔画像情報を生成し、表示装
置１５０上に出力する（ステップＳＰ７）。
【００７０】ステップＳＰ６において、利用者が形状復
元ボタンを押下すると、入出力制御機構１００は、表情
生成制御機構１３０を制御して、原画の参照点位置デー
タをもとに、生成された合成顔画像情報の形状を原画の
顔の形状に復元し、生成した合成顔画像情報を表示装置
１５０上に出力する（ステップＳＰ８）。
元ボタンを押下すると、入出力制御機構１００は、表情
生成制御機構１３０を制御して、原画の参照点位置デー
タをもとに、生成された合成顔画像情報の形状を原画の
顔の形状に復元し、生成した合成顔画像情報を表示装置
１５０上に出力する（ステップＳＰ８）。
【００７１】形状復元機構は、表情情報に付与された原
参照点情報へ、表情生成制御機構から渡された正規化参
照点情報の位置を移動し、移動によって生じるひづみを
線形補間法で補正する。移動位置へテキスチャー情報を
移動させて顔画像を復元する。移動による参照点以外の
テキスチャー情報のひづみも参照点の移動位置を利用し
て線形補間法で補正する。
参照点情報へ、表情生成制御機構から渡された正規化参
照点情報の位置を移動し、移動によって生じるひづみを
線形補間法で補正する。移動位置へテキスチャー情報を
移動させて顔画像を復元する。移動による参照点以外の
テキスチャー情報のひづみも参照点の移動位置を利用し
て線形補間法で補正する。
【００７２】ステップＳＰ６において、利用者が印刷ボ
タンを押下すると、プリンタに復元された合成顔画像情
報が印刷される（ステップＳＰ９）。
タンを押下すると、プリンタに復元された合成顔画像情
報が印刷される（ステップＳＰ９）。
【００７３】ステップＳＰ６において、利用者がファイ
ル保存ボタンを押下すると、ファイル名が入力可能とな
る。利用者がファイル名を入力すると（ステップＳＰ１
０）、入出力制御機構１００は、対応する合成顔画像情
報をファイルシステム１４０に保存する。
ル保存ボタンを押下すると、ファイル名が入力可能とな
る。利用者がファイル名を入力すると（ステップＳＰ１
０）、入出力制御機構１００は、対応する合成顔画像情
報をファイルシステム１４０に保存する。
【００７４】ステップＳＰ６において利用者が初期画面
を押下すると、入出力制御機構１００は、表示装置１５
０の表示画面を、図５に示した画面に切換える。
を押下すると、入出力制御機構１００は、表示装置１５
０の表示画面を、図５に示した画面に切換える。
【００７５】ステップＳＰ１またはＳＰ６において、利
用者が終了ボタンを押下すると、システムの動作が終了
する。
用者が終了ボタンを押下すると、システムの動作が終了
する。
【００７６】以上説明した顔画像情報変換装置２０００
の動作をもとに、与えられた任意の顔画像情報に対し
て、指定された表情の顔画像情報を合成する手順につい
て説明する。
の動作をもとに、与えられた任意の顔画像情報に対し
て、指定された表情の顔画像情報を合成する手順につい
て説明する。
【００７７】［平均表情成分抽出フロー］図９は、複数
の人間の異なる顔画像情報から表情成分を抽出し、各表
情毎に平均表情成分を抽出する処理の流れを示すフロー
チャートである。
の人間の異なる顔画像情報から表情成分を抽出し、各表
情毎に平均表情成分を抽出する処理の流れを示すフロー
チャートである。
【００７８】平均表情成分抽出フローが開始されると
（ステップＳ３００）、まず、入出力制御機構１００に
より、システムの初期化が行なわれる（ステップＳ３０
２）。
（ステップＳ３００）、まず、入出力制御機構１００に
より、システムの初期化が行なわれる（ステップＳ３０
２）。
【００７９】続いて、ディジタルカメラ１１０等により
撮像された顔画像情報が取込まれ、入出力制御機構１０
０は、ファイルシステム１４０に格納する（ステップＳ
３０４）。
撮像された顔画像情報が取込まれ、入出力制御機構１０
０は、ファイルシステム１４０に格納する（ステップＳ
３０４）。
【００８０】続いて、顔画像の参照点の指定が行なわれ
る（ステップＳ３０６）。入出力制御機構１００は、入
力された顔画像情報および参照点の位置データを正規化
処理機構２００に与え、正規化処理機構２００は、入力
された顔画像情報の正規化処理を行なう（ステップＳ３
０８）。
る（ステップＳ３０６）。入出力制御機構１００は、入
力された顔画像情報および参照点の位置データを正規化
処理機構２００に与え、正規化処理機構２００は、入力
された顔画像情報の正規化処理を行なう（ステップＳ３
０８）。
【００８１】入出力制御機構１００は、正規化処理機構
２００からの正規化された顔画像情報を表情生成制御機
構１３０に与える。表情生成機構１２０は、正規化され
た顔画像情報に対して表情成分（表情係数）の抽出計算
を行なう（ステップＳ３１０）。
２００からの正規化された顔画像情報を表情生成制御機
構１３０に与える。表情生成機構１２０は、正規化され
た顔画像情報に対して表情成分（表情係数）の抽出計算
を行なう（ステップＳ３１０）。
【００８２】表情生成機構１２０は、抽出した表情成分
を記憶保持する（ステップＳ３１２）。
を記憶保持する（ステップＳ３１２）。
【００８３】続いて、入出力制御機構１００は、利用者
が異なるモードボタンを押下するかを監視し、サンプリ
ングモードが終了しているか否かの判断を行なう（ステ
ップＳ３１４）。サンプリングが終了していない場合
は、顔画像情報の撮像および取込のステップＳ３０４に
処理が復帰する。これに対して、表情生成ボタンが押下
された場合、表情生成制御機構１３０は、表情生成機構
１２０を制御することで、入力された各顔画像情報を、
対応する表情毎に、その表情成分の平均処理を行なう。
これにより得られた平均表情成分は、表情生成機構１２
０に格納される（ステップＳ３１６）。
が異なるモードボタンを押下するかを監視し、サンプリ
ングモードが終了しているか否かの判断を行なう（ステ
ップＳ３１４）。サンプリングが終了していない場合
は、顔画像情報の撮像および取込のステップＳ３０４に
処理が復帰する。これに対して、表情生成ボタンが押下
された場合、表情生成制御機構１３０は、表情生成機構
１２０を制御することで、入力された各顔画像情報を、
対応する表情毎に、その表情成分の平均処理を行なう。
これにより得られた平均表情成分は、表情生成機構１２
０に格納される（ステップＳ３１６）。
【００８４】続いて、各表情間において、平均表情成分
差が計算され、表情生成機構１２０に格納される。
差が計算され、表情生成機構１２０に格納される。
【００８５】以上で平均表情成分抽出フローが終了する
（ステップＳ３２０）。続いて、図９において説明した
表情成分（表情係数）の計算方法について詳しく説明す
る。
（ステップＳ３２０）。続いて、図９において説明した
表情成分（表情係数）の計算方法について詳しく説明す
る。
【００８６】以下では、ＫＬ展開による顔画像情報に対
する表情成分の計算方法について説明する。
する表情成分の計算方法について説明する。
【００８７】ＫＬ展開や、先に説明したＤＣＴ変換は、
いわゆる直交変換であり、この直交変換の基底ベクトル
により構成される座標系により表現される空間を顔画像
表現空間と呼ぶことにする。すなわち、顔画像表現空間
においては、特定の顔画像は、各座標軸に対する射影成
分として表現されることになる。
いわゆる直交変換であり、この直交変換の基底ベクトル
により構成される座標系により表現される空間を顔画像
表現空間と呼ぶことにする。すなわち、顔画像表現空間
においては、特定の顔画像は、各座標軸に対する射影成
分として表現されることになる。
【００８８】なお、より一般的には、上記のような直交
変換に限定されることなく、一般の座標変換に対して
も、本発明を適用することが可能である。ただし、直交
変換を用いることで、とくに逆変換の扱い等が簡略され
るという利点がある。
変換に限定されることなく、一般の座標変換に対して
も、本発明を適用することが可能である。ただし、直交
変換を用いることで、とくに逆変換の扱い等が簡略され
るという利点がある。
【００８９】各顔画像情報を上から順に操作すること
で、各位置での濃淡値を要素とする一次元ベクトルＸｉ
を作成する。学習サンプルのすべてに対する一次元ベク
トルの平均ベクトルＭ（平均顔に対するベクトル表現に
対応する）を求め、以下に示す共分散行列Ｖを求める。
ここで、ｍは学習サンプル数である。
で、各位置での濃淡値を要素とする一次元ベクトルＸｉ
を作成する。学習サンプルのすべてに対する一次元ベク
トルの平均ベクトルＭ（平均顔に対するベクトル表現に
対応する）を求め、以下に示す共分散行列Ｖを求める。
ここで、ｍは学習サンプル数である。
【００９０】
【数１】 行列Ｖから以下の式に基づき固有値λi 、固有ベクトル
ｅi （ｉ＝１，２，…，ｍ−１）を求める。
ｅi （ｉ＝１，２，…，ｍ−１）を求める。
【００９１】Ｖ・ｅi ＝λi ・ｅi 固有ベクトルは、正規直交空間の規定ベクトルをなし、
固有値の大きい順に並べその番号を冠して第何成分と呼
ぶ。また、固有ベクトルに対する射影値を主成分の係数
値と呼ぶ。各主成分に対する係数値の組により、対応す
る顔画像情報を表現する。
固有値の大きい順に並べその番号を冠して第何成分と呼
ぶ。また、固有ベクトルに対する射影値を主成分の係数
値と呼ぶ。各主成分に対する係数値の組により、対応す
る顔画像情報を表現する。
【００９２】すなわち、任意の顔画像情報Ｘは、以下の
ように表現される。 ｙ（ｊ）＝ｅi T （Ｘ−Ｍ） Ｙ（ｙ（１），ｙ（２），…，ｙ（ｍ−１）） 以上のようにして得られた各顔画像情報について、対応
する表情毎に、たとえば、笑顔についての顔画像情報に
ついて、各主成分の平均値を求める。
ように表現される。 ｙ（ｊ）＝ｅi T （Ｘ−Ｍ） Ｙ（ｙ（１），ｙ（２），…，ｙ（ｍ−１）） 以上のようにして得られた各顔画像情報について、対応
する表情毎に、たとえば、笑顔についての顔画像情報に
ついて、各主成分の平均値を求める。
【００９３】ある表情に属する顔画像情報に対して、各
個人の顔画像情報毎にすべての規定に対する射影値を要
素とする一次元ベクトルを求め、撮像されたすべての個
人についての各要素の平均値で表現される一次元ベクト
ルに対応する顔画像情報を平均顔画像情報と呼ぶ。
個人の顔画像情報毎にすべての規定に対する射影値を要
素とする一次元ベクトルを求め、撮像されたすべての個
人についての各要素の平均値で表現される一次元ベクト
ルに対応する顔画像情報を平均顔画像情報と呼ぶ。
【００９４】正規化された特定の表情たとえば笑顔に対
する顔画像情報に対して、顔画像表現空間上の座標軸へ
の射影成分である表情成分を求めた結果を図１０に示
す。
する顔画像情報に対して、顔画像表現空間上の座標軸へ
の射影成分である表情成分を求めた結果を図１０に示
す。
【００９５】この例では、２０５次元の顔画像表現空間
による顔画像の表現例を示す。図中実線は普通の顔（無
表情）の場合の成分の分布を表わし、点線は笑顔に対す
る表情成分の分布を示す。ここでは、第５５成分までの
係数値のみについて示している。
による顔画像の表現例を示す。図中実線は普通の顔（無
表情）の場合の成分の分布を表わし、点線は笑顔に対す
る表情成分の分布を示す。ここでは、第５５成分までの
係数値のみについて示している。
【００９６】以上のように、顔画像情報を、固有ベクト
ルに対する射影値を要素とする一次元ベクトルで表現し
た場合、その対応する表情によって、各成分値が特有の
値を示すことになる。
ルに対する射影値を要素とする一次元ベクトルで表現し
た場合、その対応する表情によって、各成分値が特有の
値を示すことになる。
【００９７】続いて、以上のようにして求めた各表情に
対応した表情成分について、平均表情成分を求めてお
く。すなわち、普通の顔を表情１とし、笑顔を表情２と
する場合、笑顔に対する平均表情成分Ｘｍ２（ｋ）と、
もとの表情１に対する平均表情成分Ｘｍ１（ｋ）との差
Ｘｅ（ｋ）を求めておき、表情生成機構１２０に格納し
ておく。
対応した表情成分について、平均表情成分を求めてお
く。すなわち、普通の顔を表情１とし、笑顔を表情２と
する場合、笑顔に対する平均表情成分Ｘｍ２（ｋ）と、
もとの表情１に対する平均表情成分Ｘｍ１（ｋ）との差
Ｘｅ（ｋ）を求めておき、表情生成機構１２０に格納し
ておく。
【００９８】続いて、与えられた任意の顔画像に対し
て、指定された表情の顔画像を合成する場合の処理につ
いて説明する。
て、指定された表情の顔画像を合成する場合の処理につ
いて説明する。
【００９９】図１１は、このような処理の流れを示すフ
ローチャートである。入出力制御機構１００は、このよ
うな表情生成フローが開始されると（ステップＳ４０
０）、ディジタルカメラ１１０により撮像された顔画像
情報を取込むか、または外部から指定されたファイル名
に応じて、ファイルシステム１４０中に格納されている
顔画像情報の取込を行なう（ステップＳ４０２）。
ローチャートである。入出力制御機構１００は、このよ
うな表情生成フローが開始されると（ステップＳ４０
０）、ディジタルカメラ１１０により撮像された顔画像
情報を取込むか、または外部から指定されたファイル名
に応じて、ファイルシステム１４０中に格納されている
顔画像情報の取込を行なう（ステップＳ４０２）。
【０１００】続いて、このような与えられた顔画像情報
に対して、参照点の指定が行なわれる（ステップＳ４０
４）。
に対して、参照点の指定が行なわれる（ステップＳ４０
４）。
【０１０１】指定された参照点に応じて、顔画像情報の
正規化処理が行なわれる（ステップＳ４０６）。
正規化処理が行なわれる（ステップＳ４０６）。
【０１０２】利用者により、表情が選択されると（ステ
ップＳ４０８）、入出力制御機構１００は、表情生成制
御機構１３０を制御して、表情生成機構１２０に当該与
えられた顔画像情報の表情成分の抽出演算を行なわせる
（ステップＳ４１０）。
ップＳ４０８）、入出力制御機構１００は、表情生成制
御機構１３０を制御して、表情生成機構１２０に当該与
えられた顔画像情報の表情成分の抽出演算を行なわせる
（ステップＳ４１０）。
【０１０３】続いて、表情生成機構１２０は、選択され
た表情と、与えられた顔画像の表情とに応じて、その表
情間に対応する平均表情成分差を読み出し、合成表情に
対する表情係数の演算を行なう（ステップＳ４１２）。
た表情と、与えられた顔画像の表情とに応じて、その表
情間に対応する平均表情成分差を読み出し、合成表情に
対する表情係数の演算を行なう（ステップＳ４１２）。
【０１０４】続いて、合成表情係数に基づいて、表情生
成機構１２０は、正規化された合成表情の生成を行なう
（ステップＳ４１４）。
成機構１２０は、正規化された合成表情の生成を行なう
（ステップＳ４１４）。
【０１０５】続いて、形状復元機構２１０は、表情生成
制御機構１３０に制御されて、生成された正規化合成表
情に対応する画像情報の形状復元処理を行なう（ステッ
プＳ４１６）。
制御機構１３０に制御されて、生成された正規化合成表
情に対応する画像情報の形状復元処理を行なう（ステッ
プＳ４１６）。
【０１０６】このようにして復元された合成顔画像情報
が、表示装置１５０に対して出力される。
が、表示装置１５０に対して出力される。
【０１０７】入出力制御機構１００は、続いて押下され
たボタンに該当するモードに移行する。たとえば、初期
画面ボタンが押された場合（ステップＳ４１８）、再び
処理は顔画像撮像・取込処理（ステップＳ４０２）に復
帰する。一方、終了ボタンが押下されていると判断され
た場合、入出力制御機構１００は、システムを終了す
る。
たボタンに該当するモードに移行する。たとえば、初期
画面ボタンが押された場合（ステップＳ４１８）、再び
処理は顔画像撮像・取込処理（ステップＳ４０２）に復
帰する。一方、終了ボタンが押下されていると判断され
た場合、入出力制御機構１００は、システムを終了す
る。
【０１０８】次に、図１１で説明した合成表情係数演算
処理について、さらに詳しく説明する。
処理について、さらに詳しく説明する。
【０１０９】図９において説明した平均表情成分抽出フ
ローにおいて、表情２（笑顔）に対応する平均表情成分
Ｘｍ２（ｋ）ともとの表情１（普通の顔）に対する平均
表情成分Ｘｍ１（ｋ）との差Ｘｅ（ｋ）が求められてい
る。
ローにおいて、表情２（笑顔）に対応する平均表情成分
Ｘｍ２（ｋ）ともとの表情１（普通の顔）に対する平均
表情成分Ｘｍ１（ｋ）との差Ｘｅ（ｋ）が求められてい
る。
【０１１０】合成表情係数演算においては、もとの表情
１（普通の顔）の与えられた顔画像情報の表情成分に対
して、以下の式により、対応する表情２（笑顔）に対す
る合成表情成分を計算する。
１（普通の顔）の与えられた顔画像情報の表情成分に対
して、以下の式により、対応する表情２（笑顔）に対す
る合成表情成分を計算する。
【０１１１】Ｘ２ｓｙｎ（ｋ）＝Ｘ１（ｋ）＋Ｐ・Ｘｅ
（ｋ） ここで、Ｐは利用者により与えられる表情表現率を示
す。
（ｋ） ここで、Ｐは利用者により与えられる表情表現率を示
す。
【０１１２】このようにして、計算された合成表情成分
に基づいて、逆変換を行なえば、対応する正規化された
合成顔画像情報が生成される。
に基づいて、逆変換を行なえば、対応する正規化された
合成顔画像情報が生成される。
【０１１３】さらに、合成された正規化合成顔画像情報
の参照点の配置を、もとの顔画像情報の参照点の配置と
一致するように変形することで、対応する表情の顔画像
情報を得ることができる。
の参照点の配置を、もとの顔画像情報の参照点の配置と
一致するように変形することで、対応する表情の顔画像
情報を得ることができる。
【０１１４】ここで、上記の演算において、Ｘ１（ｋ）
−Ｘｍ１（ｋ）を計算すると、ある人物の平均表情１か
らのずれ、すなわち当該人物固有の成分が残る。この中
には、表情成分１の一部が含まれる可能性があるが、平
均表情とのずれが小さければ、生成された表情２は当該
人物の特徴を保持しながら、平均表情２の表情を有する
ことになる。
−Ｘｍ１（ｋ）を計算すると、ある人物の平均表情１か
らのずれ、すなわち当該人物固有の成分が残る。この中
には、表情成分１の一部が含まれる可能性があるが、平
均表情とのずれが小さければ、生成された表情２は当該
人物の特徴を保持しながら、平均表情２の表情を有する
ことになる。
【０１１５】図１２は、このようにして普通の顔（無表
情）から笑顔に変換した例を示す写真である。図１２
（ａ）は、無表情に対応する顔画像情報であり、図１２
（ｂ）は、笑顔に対応する顔画像情報である。
情）から笑顔に変換した例を示す写真である。図１２
（ａ）は、無表情に対応する顔画像情報であり、図１２
（ｂ）は、笑顔に対応する顔画像情報である。
【０１１６】なお、以上説明したような顔画像情報変換
法は、表情成分の抽出方法としてＤＣＴを用いた場合も
同様に適用することが可能である。すなわち、一次元Ｄ
ＣＴの場合には、顔画像情報を上から順に操作し、その
濃淡値を各行毎に一次元データとして扱うことにより、
以下のように表現することが可能である。
法は、表情成分の抽出方法としてＤＣＴを用いた場合も
同様に適用することが可能である。すなわち、一次元Ｄ
ＣＴの場合には、顔画像情報を上から順に操作し、その
濃淡値を各行毎に一次元データとして扱うことにより、
以下のように表現することが可能である。
【０１１７】
【数２】 ただし、Ｘ１ｌ（ｎ）はｎ番目の一次元データの値を、
Ｘ１（ｋ）はｋ番目の座標軸への射影成分（ＤＣＴ係
数）を表わすことになる。
Ｘ１（ｋ）はｋ番目の座標軸への射影成分（ＤＣＴ係
数）を表わすことになる。
【０１１８】以上のようにして、与えられた顔画像情報
を複数の表情成分に分解し、各表情成分に対して、予め
複数の人間についての平均的な表情成分の表情間の差を
求めておくことで、与えられた顔画像情報を、任意の表
情の顔画像情報に変換することが簡易な構成で可能であ
る。さらに、以上の処理では、顔全体を処理対象とし
て、顔画像情報の変換を行なうので、同一人の表情とし
て自然な変化を有する顔画像情報を合成することが可能
となる。
を複数の表情成分に分解し、各表情成分に対して、予め
複数の人間についての平均的な表情成分の表情間の差を
求めておくことで、与えられた顔画像情報を、任意の表
情の顔画像情報に変換することが簡易な構成で可能であ
る。さらに、以上の処理では、顔全体を処理対象とし
て、顔画像情報の変換を行なうので、同一人の表情とし
て自然な変化を有する顔画像情報を合成することが可能
となる。
【０１１９】
【発明の効果】以上説明したように、本発明によれば与
えられた人の顔画像情報から、被写体となっている人物
の他の表情を合成することが可能である。本発明によれ
ば、三次元モデル等を用いないため、処理速度を上げる
ことが可能で、画像処理専用マシンや三次元スキャナの
ような特別な装置を用いなくても簡単な構成で所定の表
情の顔画像情報を生成することが可能である。
えられた人の顔画像情報から、被写体となっている人物
の他の表情を合成することが可能である。本発明によれ
ば、三次元モデル等を用いないため、処理速度を上げる
ことが可能で、画像処理専用マシンや三次元スキャナの
ような特別な装置を用いなくても簡単な構成で所定の表
情の顔画像情報を生成することが可能である。
【０１２０】しかも、本発明では、顔画像情報を、顔全
体を処理対象として、変換を行なうため、変換後の顔画
像が、当該人物の表情として自然に変形されているとい
う効果を有する。
体を処理対象として、変換を行なうため、変換後の顔画
像が、当該人物の表情として自然に変形されているとい
う効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１の顔画像情報変換装置１
０００の構成を示す概略ブロック図である。
０００の構成を示す概略ブロック図である。
【図２】顔画像情報変換装置１０００の表情成分抽出フ
ローを示すフローチャートである。
ローを示すフローチャートである。
【図３】顔画像情報変換装置１０００の表情係数合成フ
ローを示すフローチャートである。
ローを示すフローチャートである。
【図４】本発明の実施の形態２の顔画像情報変換装置２
０００の構成を示す概略ブロック図である。
０００の構成を示す概略ブロック図である。
【図５】顔画像情報変換装置２０００のインターフェイ
ス画面を示す第１の模式図である。
ス画面を示す第１の模式図である。
【図６】顔画像情報変換装置２０００のインターフェイ
ス画面の他の例を示す模式図である。
ス画面の他の例を示す模式図である。
【図７】顔画像情報の正規化処理を説明するための模式
図であり、（ａ）は原画像を、（ｂ）は正規化処理後の
画像を示す。
図であり、（ａ）は原画像を、（ｂ）は正規化処理後の
画像を示す。
【図８】顔画像情報変換装置２０００の動作を説明する
フローチャートである。
フローチャートである。
【図９】顔画像情報変換装置２０００の平均表情成分抽
出フローを示すフローチャートである。
出フローを示すフローチャートである。
【図１０】平均表情成分の分布を示す図である。
【図１１】顔画像情報変換装置２０００の表情生成フロ
ーを示すフローチャートである。
ーを示すフローチャートである。
【図１２】表情生成結果を示す写真であり、（ａ）は、
無表情の場合を、（ｂ）は合成された笑顔をそれぞれ示
す。
無表情の場合を、（ｂ）は合成された笑顔をそれぞれ示
す。
１００ 入出力制御機構 １１０ ディジタルカメラ １２０ 表情生成機構 １３０ 表情生成制御機構 １４０ ファイルシステム １５０ 表示装置 １６０ 印刷装置 ２００ 正規化処理機構 ２１０ 形状復元機構 １０００、２０００ 顔画像情報変換装置
Claims (7)
- 【請求項１】 所定の人間の複数の異なる表情の顔画像
情報から、顔全体を処理単位として、顔画像表現空間上
の複数の座標軸への射影成分にそれぞれ対応する前記各
表情に対する複数の表情成分を抽出するステップと、 指定された任意の２つの前記異なる表情間の任意の比率
の合成表情の顔画像情報に対応する複数の合成表情成分
を、前記２つの異なる表情に対応する表情成分の補間に
より算出するステップと、 前記複数の合成表情成分に応じて、合成顔画像情報を生
成するステップとを備える、顔画像情報変換方法。 - 【請求項２】 所定の人間の複数の異なる表情の顔画像
情報から、顔全体を処理単位として、顔画像表現空間上
の複数の座標軸への射影成分にそれぞれ対応する前記各
表情に対する複数の表情成分を抽出するステップと、 指定された任意の２つの前記異なる表情間の任意の比率
の合成表情の顔画像情報に対応する複数の合成表情成分
を、前記２つの異なる表情に対応する表情成分の外挿に
より算出するステップと、 前記複数の合成表情成分に応じて、合成顔画像情報を生
成するステップとを備える、顔画像情報変換方法。 - 【請求項３】 任意に与えられた顔画像情報に対して、
顔全体を処理単位として、複数の参照点が所定の位置関
係となるように変形し、正規化顔画像情報に変換するス
テップと、 前記正規化顔画像情報の顔画像表情空間上の複数の座標
軸への射影成分にそれぞれ対応する複数の表情成分を抽
出するステップと、 前記与えられた顔画像情報の表情と指定された表情とに
応じて、予め複数の異なる表情の顔画像情報から抽出さ
れた表情成分に基づいて複数の人間についての平均操作
による導出される前記各表情間の平均表情成分差と、前
記与えられた顔画像情報に対応する前記表情成分とに基
づいて、指定された表情表現率に対応する複数の合成表
情成分を算出するステップと、 前記複数の合成表情成分に応じて、正規化合成顔画像情
報を生成するステップと、 前記正規化合成顔画像情報の参照点が、元の前記与えら
れた顔画像情報に対する参照点の配置と同一となるよう
に変形し、合成顔画像情報を生成するステップとを備え
る、顔画像情報変換方法。 - 【請求項４】 複数の人間についての異なる表情の複数
の参照顔画像情報を受けて、各参照顔画像情報毎に複数
の参照点を指定するステップと、 前記参照顔画像情報毎に、顔全体を処理単位として前記
複数の参照点が所定の位置関係となるように変形し、正
規化参照顔画像情報に変換するステップと、 前記各正規化参照顔画像情報の顔画像表現空間上の複数
の座標軸への射影成分にそれぞれ対応する複数の表情成
分を抽出し、前記各表情について前記複数の人間に対す
る前記表情成分毎の平均表情成分および表情間の前記平
均表情成分差を求めるステップと、 任意に与えられた顔画像情報に対して、顔全体を処理単
位として、複数の参照点を指定するステップと、 前記与えられた顔画像情報に対して、顔全体を処理単位
として、前記複数の参照点が所定の位置関係となるよう
に変形し、正規化顔画像情報に変換するステップと、 前記正規化顔画像情報の画像表現空間上の複数の座標軸
への射影成分にそれぞれ対応する複数の表情成分を抽出
するステップと、 前記与えられた顔画像情報の表情と指定された表情とに
応じて、前記平均表情成分差と前記与えられた顔画像情
報に対応する前記表情成分とから、指定された表情表現
率に対応する複数の合成表情成分を算出するステップ
と、 前記複数の合成表情成分に応じて、正規化合成顔画像情
報を生成するステップと、 前記正規化合成顔画像情報の参照点が、元の前記与えら
れた顔画像情報に対する参照点の配置と同一となるよう
に変形し、合成顔画像情報を生成するステップとを備え
る、顔画像情報変換方法。 - 【請求項５】 前記表情成分および前記合成表情成分
は、対応する顔画像情報をカルーネンレーベ展開した場
合の展開係数である、請求項１、２または３記載の顔画
像情報変換方法。 - 【請求項６】 前記表情成分および前記合成表情成分
は、対応する顔画像情報を離散コサイン変換した場合の
変換係数である、請求項１、２または３記載の顔画像情
報変換方法。 - 【請求項７】 複数の異なる表情の顔画像情報から抽出
された表情成分に基づいて、複数の人間についての平均
操作により導出される前記各表情間の平均表情成分差を
格納する記憶手段と、 任意に与えられた顔画像情報に対して、顔全体を処理単
位として、複数の参照点が所定の位置関係となるように
変形し、正規化顔画像情報に変換する手段と、 前記正規化顔画像情報の顔画像表現空間上の複数の座標
軸への射影成分にそれぞれ対応する複数の表情成分を抽
出する手段と、 前記与えられた顔画像情報の表情と指定された表情とに
応じて、前記各表情間の平均表情成分差と、前記与えら
れた顔画像情報に対応する前記表情成分とから、指定さ
れた表情表現率に対応する複数の合成表情成分を算出す
る手段と、 前記複数の合成表情成分に応じて、正規化合成顔画像情
報を生成する手段と、 前記正規化合成顔画像情報の参照点が、元の前記与えら
れた顔画像情報に対する参照点の配置と同一となるよう
に変形し、合成顔画像情報を生成する手段とを備える、
顔画像情報変換装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8267827A JP2918499B2 (ja) | 1996-09-17 | 1996-09-17 | 顔画像情報変換方法および顔画像情報変換装置 |
| US08/917,926 US6088040A (en) | 1996-09-17 | 1997-08-27 | Method and apparatus of facial image conversion by interpolation/extrapolation for plurality of facial expression components representing facial image |
| CA002214224A CA2214224C (en) | 1996-09-17 | 1997-08-28 | Method and apparatus of facial image conversion by interpolation/extrapolation for plurality of facial expression components representing facial image information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8267827A JP2918499B2 (ja) | 1996-09-17 | 1996-09-17 | 顔画像情報変換方法および顔画像情報変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1091808A true JPH1091808A (ja) | 1998-04-10 |
| JP2918499B2 JP2918499B2 (ja) | 1999-07-12 |
Family
ID=17450173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8267827A Expired - Fee Related JP2918499B2 (ja) | 1996-09-17 | 1996-09-17 | 顔画像情報変換方法および顔画像情報変換装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6088040A (ja) |
| JP (1) | JP2918499B2 (ja) |
| CA (1) | CA2214224C (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6143256A (en) * | 1997-06-11 | 2000-11-07 | Kabushiki Kaisha Kobe Seiko Sho | Apparatus for controlling an ozone generator |
| JP2004506996A (ja) * | 2000-08-22 | 2004-03-04 | バーチャルメディア カンパニー リミテッド | 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法 |
| JPWO2006057267A1 (ja) * | 2004-11-25 | 2008-08-07 | 日本電気株式会社 | 顔画像合成方法および顔画像合成装置 |
| JP2011100497A (ja) * | 2000-08-30 | 2011-05-19 | Microsoft Corp | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
| US8780221B2 (en) | 2008-04-09 | 2014-07-15 | Canon Kabushiki Kaisha | Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium |
| JP2014211719A (ja) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
| US9041828B2 (en) | 2010-08-17 | 2015-05-26 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition |
Families Citing this family (167)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
| US6310627B1 (en) * | 1998-01-20 | 2001-10-30 | Toyo Boseki Kabushiki Kaisha | Method and system for generating a stereoscopic image of a garment |
| JPH11219446A (ja) * | 1998-02-03 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 映像音響再生システム |
| GB2336057B (en) * | 1998-04-02 | 2002-05-08 | Discreet Logic Inc | Producing image data in a virtual set |
| US6181351B1 (en) * | 1998-04-13 | 2001-01-30 | Microsoft Corporation | Synchronizing the moveable mouths of animated characters with recorded speech |
| US6250928B1 (en) * | 1998-06-22 | 2001-06-26 | Massachusetts Institute Of Technology | Talking facial display method and apparatus |
| US6483511B1 (en) * | 1998-12-31 | 2002-11-19 | Richard D. Snyder | Event simulator, and methods of constructing and utilizing same |
| US6463163B1 (en) * | 1999-01-11 | 2002-10-08 | Hewlett-Packard Company | System and method for face detection using candidate image region selection |
| US6222551B1 (en) * | 1999-01-13 | 2001-04-24 | International Business Machines Corporation | Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement |
| US7630897B2 (en) * | 1999-09-07 | 2009-12-08 | At&T Intellectual Property Ii, L.P. | Coarticulation method for audio-visual text-to-speech synthesis |
| JP2001209802A (ja) * | 1999-11-15 | 2001-08-03 | Fuji Photo Film Co Ltd | 顔抽出方法および装置並びに記録媒体 |
| US7106887B2 (en) * | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
| US6486882B1 (en) * | 2000-07-21 | 2002-11-26 | Sony Corporation | System and method for designing computer generated imagery of a two dimensional array of objects advancing in a third dimension |
| US6990452B1 (en) | 2000-11-03 | 2006-01-24 | At&T Corp. | Method for sending multi-media messages using emoticons |
| US7091976B1 (en) * | 2000-11-03 | 2006-08-15 | At&T Corp. | System and method of customizing animated entities for use in a multi-media communication application |
| US6976082B1 (en) | 2000-11-03 | 2005-12-13 | At&T Corp. | System and method for receiving multi-media messages |
| US20080040227A1 (en) | 2000-11-03 | 2008-02-14 | At&T Corp. | System and method of marketing using a multi-media communication system |
| US7203648B1 (en) | 2000-11-03 | 2007-04-10 | At&T Corp. | Method for sending multi-media messages with customized audio |
| US6963839B1 (en) | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
| US6975988B1 (en) | 2000-11-10 | 2005-12-13 | Adam Roth | Electronic mail method and system using associated audio and visual techniques |
| US7113916B1 (en) * | 2001-09-07 | 2006-09-26 | Hill Daniel A | Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli |
| US7671861B1 (en) * | 2001-11-02 | 2010-03-02 | At&T Intellectual Property Ii, L.P. | Apparatus and method of customizing animated entities for use in a multi-media communication application |
| US6816159B2 (en) | 2001-12-10 | 2004-11-09 | Christine M. Solazzi | Incorporating a personalized wireframe image in a computer software application |
| US7307636B2 (en) * | 2001-12-26 | 2007-12-11 | Eastman Kodak Company | Image format including affective information |
| JP3911527B2 (ja) * | 2002-01-17 | 2007-05-09 | 富士通株式会社 | 携帯端末、携帯端末処理用プログラム及び携帯端末システム |
| US7020347B2 (en) * | 2002-04-18 | 2006-03-28 | Microsoft Corp. | System and method for image-based surface detail transfer |
| GB2395780A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Face detection |
| JP2005006220A (ja) * | 2003-06-13 | 2005-01-06 | Sony Corp | 入出力装置及び入出力管理システム |
| US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US7492924B2 (en) * | 2003-07-18 | 2009-02-17 | Intel Corporation | Face tracking |
| US7607097B2 (en) * | 2003-09-25 | 2009-10-20 | International Business Machines Corporation | Translating emotion to braille, emoticons and other special symbols |
| US20050131697A1 (en) * | 2003-12-10 | 2005-06-16 | International Business Machines Corporation | Speech improving apparatus, system and method |
| US20050131744A1 (en) * | 2003-12-10 | 2005-06-16 | International Business Machines Corporation | Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression |
| US8235725B1 (en) * | 2005-02-20 | 2012-08-07 | Sensory Logic, Inc. | Computerized method of assessing consumer reaction to a business stimulus employing facial coding |
| US7353034B2 (en) | 2005-04-04 | 2008-04-01 | X One, Inc. | Location sharing and tracking using mobile phones or other wireless devices |
| US20070065000A1 (en) * | 2005-09-21 | 2007-03-22 | Joonpyo Hong | Apparatus and method for producing character sculpture |
| EP2030171A1 (en) | 2006-04-10 | 2009-03-04 | Avaworks Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| US7930199B1 (en) | 2006-07-21 | 2011-04-19 | Sensory Logic, Inc. | Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding |
| US8473345B2 (en) | 2007-03-29 | 2013-06-25 | The Nielsen Company (Us), Llc | Protocol generator and presenter device for analysis of marketing and entertainment effectiveness |
| US9886981B2 (en) | 2007-05-01 | 2018-02-06 | The Nielsen Company (Us), Llc | Neuro-feedback based stimulus compression device |
| US8392253B2 (en) | 2007-05-16 | 2013-03-05 | The Nielsen Company (Us), Llc | Neuro-physiology and neuro-behavioral based stimulus targeting system |
| US9342912B1 (en) * | 2007-06-06 | 2016-05-17 | Lucasfilm Entertainment Company Ltd. | Animation control retargeting |
| JP5542051B2 (ja) | 2007-07-30 | 2014-07-09 | ニューロフォーカス・インコーポレーテッド | 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置 |
| US8386313B2 (en) | 2007-08-28 | 2013-02-26 | The Nielsen Company (Us), Llc | Stimulus placement system using subject neuro-response measurements |
| US8392255B2 (en) | 2007-08-29 | 2013-03-05 | The Nielsen Company (Us), Llc | Content based selection and meta tagging of advertisement breaks |
| US20090083129A1 (en) | 2007-09-20 | 2009-03-26 | Neurofocus, Inc. | Personalized content delivery using neuro-response priming data |
| JP4663699B2 (ja) * | 2007-09-27 | 2011-04-06 | 富士フイルム株式会社 | 画像表示装置、及び画像表示方法 |
| WO2009046224A1 (en) | 2007-10-02 | 2009-04-09 | Emsense Corporation | Providing remote access to media, and reaction and survey data from viewers of the media |
| WO2009059246A1 (en) | 2007-10-31 | 2009-05-07 | Emsense Corporation | Systems and methods providing en mass collection and centralized processing of physiological responses from viewers |
| US8064653B2 (en) * | 2007-11-29 | 2011-11-22 | Viewdle, Inc. | Method and system of person identification by facial image |
| JP2010157119A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 監視装置、監視方法、及び監視プログラム |
| US20100250325A1 (en) | 2009-03-24 | 2010-09-30 | Neurofocus, Inc. | Neurological profiles for market matching and stimulus presentation |
| US8600100B2 (en) * | 2009-04-16 | 2013-12-03 | Sensory Logic, Inc. | Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions |
| US8326002B2 (en) * | 2009-08-13 | 2012-12-04 | Sensory Logic, Inc. | Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions |
| US10987015B2 (en) | 2009-08-24 | 2021-04-27 | Nielsen Consumer Llc | Dry electrodes for electroencephalography |
| US9560984B2 (en) | 2009-10-29 | 2017-02-07 | The Nielsen Company (Us), Llc | Analysis of controlled and automatic attention for introduction of stimulus material |
| US20110106750A1 (en) | 2009-10-29 | 2011-05-05 | Neurofocus, Inc. | Generating ratings predictions using neuro-response data |
| WO2011133548A2 (en) | 2010-04-19 | 2011-10-27 | Innerscope Research, Inc. | Short imagery task (sit) research method |
| US8655428B2 (en) | 2010-05-12 | 2014-02-18 | The Nielsen Company (Us), Llc | Neuro-response data synchronization |
| US9634855B2 (en) | 2010-05-13 | 2017-04-25 | Alexander Poltorak | Electronic personal interactive device that determines topics of interest using a conversational agent |
| US10627817B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Vehicle manipulation using occupant image analysis |
| US11056225B2 (en) | 2010-06-07 | 2021-07-06 | Affectiva, Inc. | Analytics for livestreaming based on image analysis within a shared digital environment |
| US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
| US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
| US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
| US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
| US10108852B2 (en) | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
| US11823055B2 (en) | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
| US9959549B2 (en) | 2010-06-07 | 2018-05-01 | Affectiva, Inc. | Mental state analysis for norm generation |
| US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
| US10843078B2 (en) | 2010-06-07 | 2020-11-24 | Affectiva, Inc. | Affect usage within a gaming context |
| US11073899B2 (en) | 2010-06-07 | 2021-07-27 | Affectiva, Inc. | Multidevice multimodal emotion services monitoring |
| US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
| US9646046B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state data tagging for data collected from multiple sources |
| US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
| US10482333B1 (en) | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
| US10111611B2 (en) | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
| US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
| US10911829B2 (en) | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
| US10796176B2 (en) | 2010-06-07 | 2020-10-06 | Affectiva, Inc. | Personal emotional profile generation for vehicle manipulation |
| US11232290B2 (en) | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
| US9642536B2 (en) | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
| US10897650B2 (en) | 2010-06-07 | 2021-01-19 | Affectiva, Inc. | Vehicle content recommendation using cognitive states |
| US10074024B2 (en) | 2010-06-07 | 2018-09-11 | Affectiva, Inc. | Mental state analysis using blink rate for vehicles |
| US11410438B2 (en) | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
| US9723992B2 (en) | 2010-06-07 | 2017-08-08 | Affectiva, Inc. | Mental state analysis using blink rate |
| US10799168B2 (en) | 2010-06-07 | 2020-10-13 | Affectiva, Inc. | Individual data sharing across a social network |
| US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
| US10628985B2 (en) | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
| US11017250B2 (en) * | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
| US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
| US9503786B2 (en) | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
| US10517521B2 (en) | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
| US11292477B2 (en) | 2010-06-07 | 2022-04-05 | Affectiva, Inc. | Vehicle manipulation using cognitive state engineering |
| US10869626B2 (en) | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
| US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
| US9204836B2 (en) | 2010-06-07 | 2015-12-08 | Affectiva, Inc. | Sporadic collection of mobile affect data |
| US11151610B2 (en) | 2010-06-07 | 2021-10-19 | Affectiva, Inc. | Autonomous vehicle control using heart rate collection based on video imagery |
| US10289898B2 (en) | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
| US11067405B2 (en) | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
| US9247903B2 (en) | 2010-06-07 | 2016-02-02 | Affectiva, Inc. | Using affect within a gaming context |
| US10628741B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
| US10143414B2 (en) | 2010-06-07 | 2018-12-04 | Affectiva, Inc. | Sporadic collection with mobile affect data |
| US9934425B2 (en) | 2010-06-07 | 2018-04-03 | Affectiva, Inc. | Collection of affect data from multiple mobile devices |
| US10779761B2 (en) | 2010-06-07 | 2020-09-22 | Affectiva, Inc. | Sporadic collection of affect data within a vehicle |
| US11318949B2 (en) | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
| US10592757B2 (en) | 2010-06-07 | 2020-03-17 | Affectiva, Inc. | Vehicular cognitive data collection using multiple devices |
| US10474875B2 (en) | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
| US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
| US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
| US10922567B2 (en) | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
| US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
| US10401860B2 (en) | 2010-06-07 | 2019-09-03 | Affectiva, Inc. | Image analysis for two-sided data hub |
| KR20120064563A (ko) * | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 이질적 정보를 이용하여 가상 휴먼의 표정을 제어하기 위한 장치 및 그 방법 |
| EP2678820A4 (en) | 2011-02-27 | 2014-12-03 | Affectiva Inc | VIDEO RECOMMENDATION BASED ON AN AFFECT |
| US9569986B2 (en) | 2012-02-27 | 2017-02-14 | The Nielsen Company (Us), Llc | System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications |
| US9451303B2 (en) | 2012-02-27 | 2016-09-20 | The Nielsen Company (Us), Llc | Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing |
| US9292858B2 (en) | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
| KR102121529B1 (ko) * | 2013-08-30 | 2020-06-10 | 삼성전자주식회사 | 디지털 영상 처리 방법 및 디지털 영상 처리 장치 |
| KR101643573B1 (ko) * | 2014-11-21 | 2016-07-29 | 한국과학기술연구원 | 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| US9936250B2 (en) | 2015-05-19 | 2018-04-03 | The Nielsen Company (Us), Llc | Methods and apparatus to adjust content presented to an individual |
| US10692286B2 (en) * | 2015-08-28 | 2020-06-23 | VR Drive Sp. z O.O. | Device and method of creating an augmented interactive virtual reality system |
| US11601632B2 (en) | 2015-08-28 | 2023-03-07 | VR Drive, sp. z o.o. | Device and method of creating an augmented interactive virtual reality system |
| US10792566B1 (en) | 2015-09-30 | 2020-10-06 | Electronic Arts Inc. | System for streaming content within a game application environment |
| US10311283B2 (en) * | 2015-10-07 | 2019-06-04 | Itseez3D, Inc. | Real-time feedback system for a user during 3D scanning |
| US10846895B2 (en) * | 2015-11-23 | 2020-11-24 | Anantha Pradeep | Image processing mechanism |
| US10403018B1 (en) | 2016-07-12 | 2019-09-03 | Electronic Arts Inc. | Swarm crowd rendering system |
| US10726611B1 (en) | 2016-08-24 | 2020-07-28 | Electronic Arts Inc. | Dynamic texture mapping using megatextures |
| DK179471B1 (en) | 2016-09-23 | 2018-11-26 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| WO2018063912A1 (en) | 2016-09-27 | 2018-04-05 | Boston Scientific Neuromodulation Corporation | Systems and methods for closed-loop pain management |
| EP3518736B1 (en) | 2016-09-27 | 2021-08-18 | Boston Scientific Neuromodulation Corporation | System for pain management using objective pain measure |
| WO2018080887A1 (en) | 2016-10-25 | 2018-05-03 | Boston Scientific Neuromodulation Corporation | System for pain management using baroreflex sensitivity |
| KR20180057096A (ko) * | 2016-11-21 | 2018-05-30 | 삼성전자주식회사 | 표정 인식과 트레이닝을 수행하는 방법 및 장치 |
| WO2018132535A1 (en) | 2017-01-11 | 2018-07-19 | Boston Scientific Neuromodulation Corporation | Pain management based on emotional expression measurements |
| US10631776B2 (en) | 2017-01-11 | 2020-04-28 | Boston Scientific Neuromodulation Corporation | Pain management based on respiration-mediated heart rates |
| US10675469B2 (en) | 2017-01-11 | 2020-06-09 | Boston Scientific Neuromodulation Corporation | Pain management based on brain activity monitoring |
| US11089997B2 (en) | 2017-01-11 | 2021-08-17 | Boston Scientific Neuromodulation Corporation | Patient-specific calibration of pain quantification |
| US10729905B2 (en) | 2017-01-11 | 2020-08-04 | Boston Scientific Neuromodulation Corporation | Pain management based on muscle tension measurements |
| US10631777B2 (en) | 2017-01-11 | 2020-04-28 | Boston Scientific Neuromodulation Corporation | Pain management based on functional measurements |
| US10891502B1 (en) * | 2017-01-19 | 2021-01-12 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for alleviating driver distractions |
| US10960210B2 (en) | 2017-02-10 | 2021-03-30 | Boston Scientific Neuromodulation Corporation | Method and apparatus for pain management with sleep detection |
| US10096133B1 (en) | 2017-03-31 | 2018-10-09 | Electronic Arts Inc. | Blendshape compression system |
| CN108229278B (zh) * | 2017-04-14 | 2020-11-17 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| US10922566B2 (en) | 2017-05-09 | 2021-02-16 | Affectiva, Inc. | Cognitive state evaluation for vehicle navigation |
| DK179867B1 (en) | 2017-05-16 | 2019-08-06 | Apple Inc. | RECORDING AND SENDING EMOJI |
| KR102435337B1 (ko) | 2017-05-16 | 2022-08-22 | 애플 인크. | 이모지 레코딩 및 전송 |
| EP3655091B1 (en) | 2017-07-18 | 2021-08-25 | Boston Scientific Neuromodulation Corporation | Sensor-based pain management systems |
| US10878540B1 (en) | 2017-08-15 | 2020-12-29 | Electronic Arts Inc. | Contrast ratio detection and rendering system |
| US10535174B1 (en) | 2017-09-14 | 2020-01-14 | Electronic Arts Inc. | Particle-based inverse kinematic rendering system |
| US10860838B1 (en) * | 2018-01-16 | 2020-12-08 | Electronic Arts Inc. | Universal facial expression translation and character rendering system |
| DK179992B1 (en) | 2018-05-07 | 2020-01-14 | Apple Inc. | DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
| DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
| CN109147037B (zh) * | 2018-08-16 | 2020-09-18 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
| DK201970530A1 (en) | 2019-05-06 | 2021-01-28 | Apple Inc | Avatar integration with multiple applications |
| US10902618B2 (en) | 2019-06-14 | 2021-01-26 | Electronic Arts Inc. | Universal body movement translation and character rendering system |
| US11348368B2 (en) * | 2019-06-27 | 2022-05-31 | Nextiva, Inc. | Measuring and transmitting emotional feedback in group teleconferences |
| US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
| US11504625B2 (en) | 2020-02-14 | 2022-11-22 | Electronic Arts Inc. | Color blindness diagnostic system |
| US11648480B2 (en) | 2020-04-06 | 2023-05-16 | Electronic Arts Inc. | Enhanced pose generation based on generative modeling |
| US11232621B2 (en) | 2020-04-06 | 2022-01-25 | Electronic Arts Inc. | Enhanced animation generation based on conditional modeling |
| WO2021252160A1 (en) | 2020-06-08 | 2021-12-16 | Apple Inc. | Presenting avatars in three-dimensional environments |
| US11830121B1 (en) | 2021-01-26 | 2023-11-28 | Electronic Arts Inc. | Neural animation layering for synthesizing martial arts movements |
| US11887232B2 (en) | 2021-06-10 | 2024-01-30 | Electronic Arts Inc. | Enhanced system for generation of facial models and animation |
| US11670030B2 (en) | 2021-07-01 | 2023-06-06 | Electronic Arts Inc. | Enhanced animation generation based on video with local phase |
| US11562523B1 (en) | 2021-08-02 | 2023-01-24 | Electronic Arts Inc. | Enhanced animation generation based on motion matching using local bone phases |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719951A (en) * | 1990-07-17 | 1998-02-17 | British Telecommunications Public Limited Company | Normalized image feature processing |
| US5680531A (en) * | 1993-07-02 | 1997-10-21 | Apple Computer, Inc. | Animation system which employs scattered data interpolation and discontinuities for limiting interpolation ranges |
| US5642431A (en) * | 1995-06-07 | 1997-06-24 | Massachusetts Institute Of Technology | Network-based system and method for detection of faces and the like |
| US5802208A (en) * | 1996-05-06 | 1998-09-01 | Lucent Technologies Inc. | Face recognition using DCT-based feature vectors |
-
1996
- 1996-09-17 JP JP8267827A patent/JP2918499B2/ja not_active Expired - Fee Related
-
1997
- 1997-08-27 US US08/917,926 patent/US6088040A/en not_active Expired - Fee Related
- 1997-08-28 CA CA002214224A patent/CA2214224C/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6143256A (en) * | 1997-06-11 | 2000-11-07 | Kabushiki Kaisha Kobe Seiko Sho | Apparatus for controlling an ozone generator |
| JP2004506996A (ja) * | 2000-08-22 | 2004-03-04 | バーチャルメディア カンパニー リミテッド | 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法 |
| JP2011100497A (ja) * | 2000-08-30 | 2011-05-19 | Microsoft Corp | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
| JPWO2006057267A1 (ja) * | 2004-11-25 | 2008-08-07 | 日本電気株式会社 | 顔画像合成方法および顔画像合成装置 |
| US7876320B2 (en) | 2004-11-25 | 2011-01-25 | Nec Corporation | Face image synthesis method and face image synthesis apparatus |
| US8780221B2 (en) | 2008-04-09 | 2014-07-15 | Canon Kabushiki Kaisha | Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium |
| US9147107B2 (en) | 2008-04-09 | 2015-09-29 | Canon Kabushiki Kaisha | Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium |
| US9258482B2 (en) | 2008-04-09 | 2016-02-09 | Canon Kabushiki Kaisha | Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium |
| US9041828B2 (en) | 2010-08-17 | 2015-05-26 | Canon Kabushiki Kaisha | Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition |
| JP2014211719A (ja) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2918499B2 (ja) | 1999-07-12 |
| US6088040A (en) | 2000-07-11 |
| CA2214224A1 (en) | 1998-03-17 |
| CA2214224C (en) | 2002-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2918499B2 (ja) | 顔画像情報変換方法および顔画像情報変換装置 | |
| JP5880182B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP4886645B2 (ja) | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム | |
| JP3810943B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
| JPH1049704A (ja) | 画像変換方法 | |
| WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR100459892B1 (ko) | 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 | |
| JP3867883B2 (ja) | 画像合成処理方法、画像合成処理装置及び記録媒体 | |
| JP2008131542A (ja) | 色補正装置および色補正プログラム | |
| JPH10240908A (ja) | 映像合成方法 | |
| JPH1074271A (ja) | ３次元似顔作成方法および装置 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| JP4966260B2 (ja) | 画像処理方法および画像処理装置、プログラム並びに、コンピュータ読み取り可能な記憶媒体 | |
| JPH03127284A (ja) | カラー画像処理装置 | |
| JP4148165B2 (ja) | 画像を重ね合わせて合成画像を生成する画像合成 | |
| KR102507776B1 (ko) | 딥러닝 기술을 이용한 실시간 얼굴 변환 장치 및 방법 | |
| WO2024042976A1 (ja) | 画像生成方法、画像ファイル作成方法、及び画像生成装置 | |
| WO2024042979A1 (ja) | 画像ファイル作成方法、及び画像ファイル作成装置 | |
| JP2003022451A (ja) | 画像生成方法、画像生成プログラム、画像生成プログラムを記録したコンピュータ読取可能な記録媒体および画像生成装置 | |
| KR20230061161A (ko) | 패션 시뮬레이션 장치 및 방법 | |
| JP3771452B2 (ja) | アニメーション作成方法 | |
| JP2021022263A (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 | |
| CN117173298A (zh) | 图像处理方法、装置、可读存储介质和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990330 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |