JP3017110B2 - イメージ生成装置およびイメージ生成方法 - Google Patents
イメージ生成装置およびイメージ生成方法Info
- Publication number
- JP3017110B2 JP3017110B2 JP8295799A JP29579996A JP3017110B2 JP 3017110 B2 JP3017110 B2 JP 3017110B2 JP 8295799 A JP8295799 A JP 8295799A JP 29579996 A JP29579996 A JP 29579996A JP 3017110 B2 JP3017110 B2 JP 3017110B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- points
- physical quantity
- point
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、イメージ生成装置
およびイメージ生成方法に関し、特に、共通する幾何学
的構造を有する複数のサンプル物体をもとに、物体のイ
メージを人工的に生成するイメージ生成装置およびイメ
ージ生成方法に関する。
およびイメージ生成方法に関し、特に、共通する幾何学
的構造を有する複数のサンプル物体をもとに、物体のイ
メージを人工的に生成するイメージ生成装置およびイメ
ージ生成方法に関する。
【０００２】
【従来の技術】従来のイメージ生成方法は、たとえば、
「A. J. O'Tool, “Sex classification is better wit
h three-dimensional head structure than with image
intensity information」（文献１）および「櫻井保
志，岩佐英彦，竹村治雄，横矢直和，“距離画像を用い
た顔方向と表情によらない顔認識”，画像の認識・理解
シンポジウム（MIRU'96 ）講演論文集Ｉ，pp.181-186,
1996」（文献２）に開示されている。この文献１，２に
開示されているイメージ生成方法では、共通する構造を
持つ３次元物体の範疇に属する多数の３次元物体につい
ての３次元計測データを対象とした主成分分析を行な
い、それにより求まった固有ベクトルを３次元物体の基
底構造とし、基底構造の線形結合によって、３次元物体
の再生成を行なっている。
「A. J. O'Tool, “Sex classification is better wit
h three-dimensional head structure than with image
intensity information」（文献１）および「櫻井保
志，岩佐英彦，竹村治雄，横矢直和，“距離画像を用い
た顔方向と表情によらない顔認識”，画像の認識・理解
シンポジウム（MIRU'96 ）講演論文集Ｉ，pp.181-186,
1996」（文献２）に開示されている。この文献１，２に
開示されているイメージ生成方法では、共通する構造を
持つ３次元物体の範疇に属する多数の３次元物体につい
ての３次元計測データを対象とした主成分分析を行な
い、それにより求まった固有ベクトルを３次元物体の基
底構造とし、基底構造の線形結合によって、３次元物体
の再生成を行なっている。
【０００３】
【発明が解決しようとする課題】従来のイメージ生成方
法では、物体の特徴点から物体中心座標系を定義し、物
体中心座標系の変換のみを行なったデータを用いて主成
分分析を行なっている。このため、従来のイメージ生成
方法では、サンプルとなる複数の物体画像間で、データ
同士の対応がとれていない。たとえば、顔画像を考えた
場合、座標系の変換を行なっただけでは、顔の向きや傾
きはすべて対応がとれているが、ｎ番目の測定点が、あ
る画像では目尻を示し、ある画像では瞳中心を示すな
ど、同一番目にある測定点が顔の同じ特徴を示しておら
ず、測定点同士の対応がとれていない。以下に、測定点
同士の対応がとれていない場合の不都合について説明す
る。
法では、物体の特徴点から物体中心座標系を定義し、物
体中心座標系の変換のみを行なったデータを用いて主成
分分析を行なっている。このため、従来のイメージ生成
方法では、サンプルとなる複数の物体画像間で、データ
同士の対応がとれていない。たとえば、顔画像を考えた
場合、座標系の変換を行なっただけでは、顔の向きや傾
きはすべて対応がとれているが、ｎ番目の測定点が、あ
る画像では目尻を示し、ある画像では瞳中心を示すな
ど、同一番目にある測定点が顔の同じ特徴を示しておら
ず、測定点同士の対応がとれていない。以下に、測定点
同士の対応がとれていない場合の不都合について説明す
る。
【０００４】２次元の顔画像で対応がとれていないデー
タを用いて平均顔を作成した例が、「L. Sirovich and
M. Kirby，“Low-dimensional procedure for the char
acterization of human faces ”, Optical Society of
America，Vol.4, No.3, pp.519-524, March 1987 」
（文献３）に示されている。
タを用いて平均顔を作成した例が、「L. Sirovich and
M. Kirby，“Low-dimensional procedure for the char
acterization of human faces ”, Optical Society of
America，Vol.4, No.3, pp.519-524, March 1987 」
（文献３）に示されている。
【０００５】この文献３のように測定点同士の対応がと
れていない複数の顔画像を用いて平均顔を作成すると、
ぼやけた不自然な画像になるという問題がある。また、
線形結合時の結合係数をいろいろ変化させた場合におい
ても、平均顔の作成の場合と同様に、ぼやけた不自然な
画像が生成されてしまうという問題がある。さらに、サ
ンプルとなる複数の顔画像間で対応がとれていないデー
タを主成分分析に用いると、個々の顔の特徴表現におい
て、各成分の表わす内容が対応づいておらず、特徴の可
視化を必要とする場合には適用が困難になるという問題
がある。このような問題は、２次元の顔画像を用いた場
合だけでなく、３次元においても生じる。
れていない複数の顔画像を用いて平均顔を作成すると、
ぼやけた不自然な画像になるという問題がある。また、
線形結合時の結合係数をいろいろ変化させた場合におい
ても、平均顔の作成の場合と同様に、ぼやけた不自然な
画像が生成されてしまうという問題がある。さらに、サ
ンプルとなる複数の顔画像間で対応がとれていないデー
タを主成分分析に用いると、個々の顔の特徴表現におい
て、各成分の表わす内容が対応づいておらず、特徴の可
視化を必要とする場合には適用が困難になるという問題
がある。このような問題は、２次元の顔画像を用いた場
合だけでなく、３次元においても生じる。
【０００６】この発明は、以上のような問題点を解決す
るためになされたもので、サンプルとなる複数の物体画
像間で、対応がとれたデータを用いて、物体のイメージ
を生成するイメージ生成装置およびイメージ生成方法を
提供することを目的とする。
るためになされたもので、サンプルとなる複数の物体画
像間で、対応がとれたデータを用いて、物体のイメージ
を生成するイメージ生成装置およびイメージ生成方法を
提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の請求項１のイメ
ージ生成装置は、共通する構造上の特徴を有する複数の
サンプル物体をもとに、物体のイメージを生成する。こ
のイメージ生成装置は、サンプル物体の表面上の複数の
点について第１の物理量を測定し、第１の物理量をもと
に物体の画像を作成する手段と、サンプル物体の構造上
の複数の特徴点に対応する画像上の複数の第１の点を基
準として、画像を複数の領域に分割する分割手段と、各
領域に対応して予め定められた規則に従って、各領域上
に複数の第２の点を取得する点取得手段と、点取得手段
によって得られた複数の第２の点について、第１の物理
量と同じ第２の物理量を得る物理量獲得手段と、複数の
サンプル物体について得られた第２の物理量をもとに、
物体のイメージを生成する手段とを備える。
ージ生成装置は、共通する構造上の特徴を有する複数の
サンプル物体をもとに、物体のイメージを生成する。こ
のイメージ生成装置は、サンプル物体の表面上の複数の
点について第１の物理量を測定し、第１の物理量をもと
に物体の画像を作成する手段と、サンプル物体の構造上
の複数の特徴点に対応する画像上の複数の第１の点を基
準として、画像を複数の領域に分割する分割手段と、各
領域に対応して予め定められた規則に従って、各領域上
に複数の第２の点を取得する点取得手段と、点取得手段
によって得られた複数の第２の点について、第１の物理
量と同じ第２の物理量を得る物理量獲得手段と、複数の
サンプル物体について得られた第２の物理量をもとに、
物体のイメージを生成する手段とを備える。
【０００８】本発明の請求項２のイメージ生成装置は、
請求項１に記載のものであって、予め定められた規則
は、分割手段によって得られた領域を、所定の分割数で
格子状に分割して複数の格子点を得ることである。点取
得手段は、複数の格子点を、複数の第２の点とする。
請求項１に記載のものであって、予め定められた規則
は、分割手段によって得られた領域を、所定の分割数で
格子状に分割して複数の格子点を得ることである。点取
得手段は、複数の格子点を、複数の第２の点とする。
【０００９】本発明の請求項３のイメージ生成装置は、
請求項１に記載のものであって、物理量獲得手段は、サ
ンプル物体の表面上の複数の点に対応する画像上の複数
の点のうち、第２の点の近傍に存在する所定数の点につ
いての第１の物理量に基づいて、第２の点についての第
２の物理量を求める。
請求項１に記載のものであって、物理量獲得手段は、サ
ンプル物体の表面上の複数の点に対応する画像上の複数
の点のうち、第２の点の近傍に存在する所定数の点につ
いての第１の物理量に基づいて、第２の点についての第
２の物理量を求める。
【００１０】本発明の請求項４のイメージ生成装置は、
請求項１に記載のものであって、分割手段はサンプル物
体上の部分に応じて分割する領域を異ならせる。本発明
の請求項５のイメージ生成装置は、請求項１から請求項
３のいずれか１項に記載のものであって、第１の物理量
は、位置および色である。
請求項１に記載のものであって、分割手段はサンプル物
体上の部分に応じて分割する領域を異ならせる。本発明
の請求項５のイメージ生成装置は、請求項１から請求項
３のいずれか１項に記載のものであって、第１の物理量
は、位置および色である。
【００１１】本発明の請求項６のイメージ生成方法は、
共通する構造上の特徴を有する複数のサンプル物体をも
とに、物体のイメージを生成するイメージ生成方法であ
る。このイメージ生成方法は、サンプル物体の表面上の
複数の点について、第１の物理量を測定し、第１の物理
量をもとにサンプル物体の画像を作成するステップと、
サンプル物体の構造上の複数の特徴点に対応する画像上
の複数の第１の点を抽出するステップと、複数の第１の
点を基準として、画像を複数の領域に分割する分割ステ
ップと、各領域に対応して予め定められた規則に従っ
て、各領域上に複数の第２の点を取得する点取得ステッ
プと、点取得ステップによって得られた複数の第２の点
について、第１の物理量と同じ第２の物理量を得る物理
量獲得ステップと、複数のサンプル物体について得られ
た第２の物理量をもとに、物体のイメージを生成するス
テップとを含む。
共通する構造上の特徴を有する複数のサンプル物体をも
とに、物体のイメージを生成するイメージ生成方法であ
る。このイメージ生成方法は、サンプル物体の表面上の
複数の点について、第１の物理量を測定し、第１の物理
量をもとにサンプル物体の画像を作成するステップと、
サンプル物体の構造上の複数の特徴点に対応する画像上
の複数の第１の点を抽出するステップと、複数の第１の
点を基準として、画像を複数の領域に分割する分割ステ
ップと、各領域に対応して予め定められた規則に従っ
て、各領域上に複数の第２の点を取得する点取得ステッ
プと、点取得ステップによって得られた複数の第２の点
について、第１の物理量と同じ第２の物理量を得る物理
量獲得ステップと、複数のサンプル物体について得られ
た第２の物理量をもとに、物体のイメージを生成するス
テップとを含む。
【００１２】本発明の請求項７のイメージ生成方法は、
請求項６に記載のものであって、予め定められた規則
は、分割ステップによって得られた領域を、所定の分割
数で格子状に分割して複数の格子点を得ることである。
点取得ステップでは、複数の格子点を、複数の第２の点
とする。
請求項６に記載のものであって、予め定められた規則
は、分割ステップによって得られた領域を、所定の分割
数で格子状に分割して複数の格子点を得ることである。
点取得ステップでは、複数の格子点を、複数の第２の点
とする。
【００１３】本発明の請求項８に記載のイメージ生成方
法は、請求項６に記載のものであって、物理量獲得ステ
ップでは、サンプル物体の表面上の複数の点に対応する
画像上の複数の点のうち、第２の点の近傍に存在する所
定数の点についての第１の物理量に基づいて、第２の点
についての第２の物理量を求める。本発明の請求項９に
記載のイメージ生成方法は、請求項６に記載のものであ
って、分割ステップはサンプル物体上の部分に応じて分
割する領域数を異ならせる。
法は、請求項６に記載のものであって、物理量獲得ステ
ップでは、サンプル物体の表面上の複数の点に対応する
画像上の複数の点のうち、第２の点の近傍に存在する所
定数の点についての第１の物理量に基づいて、第２の点
についての第２の物理量を求める。本発明の請求項９に
記載のイメージ生成方法は、請求項６に記載のものであ
って、分割ステップはサンプル物体上の部分に応じて分
割する領域数を異ならせる。
【００１４】本発明の請求項１０のイメージ生成方法
は、請求項５から請求項８のいずれか１項に記載のもの
であって、第１の物理量は、位置および色である。
は、請求項５から請求項８のいずれか１項に記載のもの
であって、第１の物理量は、位置および色である。
【００１５】
【発明の実施の形態】本発明の実施の形態によるイメー
ジ生成装置として、顔に代表されるように、個々の３次
元物体が共通する構造を持ち、他方で個々の３次元物体
は共通する構造の範囲内で幅広い多様性を持っているよ
うな３次元物体に関し、その多様性を反映した３次元物
体のイメージを人工的に作りだす３次元イメージ生成装
置について説明する。想定されるアプリケーションとし
ては、顔を例にすれば、顔画像の分析合成符号化への応
用、顔画像の識別・同定への応用、コンピュータアニメ
ーションへの応用（顔の３次元モーフィング）および心
理学実験刺激への応用などが考えられる。以下、３次元
物体として、人間の顔を例に挙げて説明するが、本実施
の形態は、人間の顔に限らず、各種の物体を対象とする
ことができる。
ジ生成装置として、顔に代表されるように、個々の３次
元物体が共通する構造を持ち、他方で個々の３次元物体
は共通する構造の範囲内で幅広い多様性を持っているよ
うな３次元物体に関し、その多様性を反映した３次元物
体のイメージを人工的に作りだす３次元イメージ生成装
置について説明する。想定されるアプリケーションとし
ては、顔を例にすれば、顔画像の分析合成符号化への応
用、顔画像の識別・同定への応用、コンピュータアニメ
ーションへの応用（顔の３次元モーフィング）および心
理学実験刺激への応用などが考えられる。以下、３次元
物体として、人間の顔を例に挙げて説明するが、本実施
の形態は、人間の顔に限らず、各種の物体を対象とする
ことができる。
【００１６】図１は、本発明の実施の形態による３次元
イメージ生成装置の全体構成を示す概略ブロック図であ
る。図１を参照して、この３次元イメージ生成装置は、
物体表面計測部１００、物体中心座標系基準点抽出部２
００、物体中心座標系算出部３００、座標変換処理部４
００、再サンプリング処理部５００、主成分分析処理部
６００および基底構造線形結合処理部７００を備える。
イメージ生成装置の全体構成を示す概略ブロック図であ
る。図１を参照して、この３次元イメージ生成装置は、
物体表面計測部１００、物体中心座標系基準点抽出部２
００、物体中心座標系算出部３００、座標変換処理部４
００、再サンプリング処理部５００、主成分分析処理部
６００および基底構造線形結合処理部７００を備える。
【００１７】物体表面計測部１００について説明する。
物体表面計測部１００では、３次元スキャナを用いて、
標本（対象物体）としての顔の全周画像を取得する。つ
まり、顔の３次元データを取得する。この顔の３次元デ
ータは、円筒座標系で表現された顔の３次元形状データ
と、顔の表面上での形状の測定点に対応するカラーデー
タ（ＲＧＢ値）とからなる。ここで、３次元形状データ
は、顔の表面上の測定点の位置座標の集合である。円筒
座標系で表現された顔の３次元形状データは、直交座標
系に変換される。測定した顔の３次元データは、物体中
心座標系基準点抽出部２００に送られる。
物体表面計測部１００では、３次元スキャナを用いて、
標本（対象物体）としての顔の全周画像を取得する。つ
まり、顔の３次元データを取得する。この顔の３次元デ
ータは、円筒座標系で表現された顔の３次元形状データ
と、顔の表面上での形状の測定点に対応するカラーデー
タ（ＲＧＢ値）とからなる。ここで、３次元形状データ
は、顔の表面上の測定点の位置座標の集合である。円筒
座標系で表現された顔の３次元形状データは、直交座標
系に変換される。測定した顔の３次元データは、物体中
心座標系基準点抽出部２００に送られる。
【００１８】物体中心座標系基準点抽出部２００につい
て説明する。物体中心座標系基準点抽出部２００では、
顔の３次元ＣＧ（コンピュータグラフィック）モデルの
３次元空間における姿勢を定めるための基準点を、物体
表面計測部１００で得られた３次元データ（３次元ＣＧ
モデル）上に設定する。なお、顔の３次元ＣＧモデル
（画像）は、物体表面計測部１００で得られた３次元デ
ータをもとに作成されている。物体中心座標系基準点抽
出部２００における処理を詳しく説明する。基準点は、
物体表面計測部１００で得られた３次元データのカラー
情報を２次元平面に展開した画像（レンジマップ）上を
マウスでピックすることにより取得する。本実施の形態
では、基準点は、レンジマップ上で位置を特定しやす
い、左右の目尻、口両端、左右の耳の穴の６点とする。
て説明する。物体中心座標系基準点抽出部２００では、
顔の３次元ＣＧ（コンピュータグラフィック）モデルの
３次元空間における姿勢を定めるための基準点を、物体
表面計測部１００で得られた３次元データ（３次元ＣＧ
モデル）上に設定する。なお、顔の３次元ＣＧモデル
（画像）は、物体表面計測部１００で得られた３次元デ
ータをもとに作成されている。物体中心座標系基準点抽
出部２００における処理を詳しく説明する。基準点は、
物体表面計測部１００で得られた３次元データのカラー
情報を２次元平面に展開した画像（レンジマップ）上を
マウスでピックすることにより取得する。本実施の形態
では、基準点は、レンジマップ上で位置を特定しやす
い、左右の目尻、口両端、左右の耳の穴の６点とする。
【００１９】物体中心座標系基準点抽出部２００におけ
る処理について、さらに詳しく説明する。基準点の取得
には、画像生成処理部を持つ汎用グラフィックワークス
テーションの対応処理機能を利用する。すなわち、表示
されたレンジマップから目視で基準点を検出し、マウス
操作によってレンジマップ表面上を移動するカーソルを
用いて基準点の位置を特定する。基準点の位置を特定し
たとき、汎用グラフィックワークステーションの対応処
理機能によって、基準点の位置に存在するカーソルの３
次元空間中の位置座標が出力される。この位置座標が、
基準点の座標である。取得した基準点の情報は、物体中
心座標系算出部３００に与えられる。なお、基準点の取
得には、３次元ＣＧモデルの面データの曲率を自動的に
検出する方法なども用いることができる。
る処理について、さらに詳しく説明する。基準点の取得
には、画像生成処理部を持つ汎用グラフィックワークス
テーションの対応処理機能を利用する。すなわち、表示
されたレンジマップから目視で基準点を検出し、マウス
操作によってレンジマップ表面上を移動するカーソルを
用いて基準点の位置を特定する。基準点の位置を特定し
たとき、汎用グラフィックワークステーションの対応処
理機能によって、基準点の位置に存在するカーソルの３
次元空間中の位置座標が出力される。この位置座標が、
基準点の座標である。取得した基準点の情報は、物体中
心座標系算出部３００に与えられる。なお、基準点の取
得には、３次元ＣＧモデルの面データの曲率を自動的に
検出する方法なども用いることができる。
【００２０】物体中心座標系算出部３００について説明
する。物体中心座標系算出部３００では、物体中心座標
系基準点抽出部２００で求まった６つの基準点から物体
中心座標系を求める。図２は、顔の３次元ＣＧモデルの
物体中心座標系を説明するための図である。図２（ａ）
を参照して、左右の目尻の点をそれぞれＰR ，ＰL 、口
の両端の点をそれぞれＭR ，ＭL 、左右の耳の穴の点を
それぞれＥR ，ＥL 、線分ＭR ＭL の中点をＭM とした
とき、三角形ＰR ＰL ＭM を考える。この三角形ＰR Ｐ
L ＭM の法線ベクトルｎを顔の正面方向とする。図２
（ｂ）も参照して、三角形ＰL ＰR ＭM の法線ベクトル
ｎは、物体中心座標系のｚ軸と一致し、ベクトルＰR Ｐ
L が物体中心座標系のｘ軸と一致する。なお、物体中心
座標系のｙ軸はｘ軸およびｚ軸に垂直なベクトルと一致
する。このようにして、顔の３次元ＣＧモデルの物体中
心座標系が求まると、この情報が座標変換処理部４００
に与えられる。
する。物体中心座標系算出部３００では、物体中心座標
系基準点抽出部２００で求まった６つの基準点から物体
中心座標系を求める。図２は、顔の３次元ＣＧモデルの
物体中心座標系を説明するための図である。図２（ａ）
を参照して、左右の目尻の点をそれぞれＰR ，ＰL 、口
の両端の点をそれぞれＭR ，ＭL 、左右の耳の穴の点を
それぞれＥR ，ＥL 、線分ＭR ＭL の中点をＭM とした
とき、三角形ＰR ＰL ＭM を考える。この三角形ＰR Ｐ
L ＭM の法線ベクトルｎを顔の正面方向とする。図２
（ｂ）も参照して、三角形ＰL ＰR ＭM の法線ベクトル
ｎは、物体中心座標系のｚ軸と一致し、ベクトルＰR Ｐ
L が物体中心座標系のｘ軸と一致する。なお、物体中心
座標系のｙ軸はｘ軸およびｚ軸に垂直なベクトルと一致
する。このようにして、顔の３次元ＣＧモデルの物体中
心座標系が求まると、この情報が座標変換処理部４００
に与えられる。
【００２１】座標変換処理部４００について説明する。
座標変換処理部４００では、三角形ＰR ＰL ＭM の法線
ベクトルｎが物体中心座標系のｚ軸と一致し、ベクトル
ＰRＰL が物体中心座標系のｘ軸と一致するように、座
標の変換を行なう。さらに、座標変換処理部４００は、
座標原点が、ｘ：口両端ＭR ＭL の中点ＭM のｘ座標，
ｙ：左右目尻ＰL ＰR の中点のｙ座標，ｚ：左右耳ＥL
ＥR の中点のｚ座標と一致するように座標変換を行な
う。
座標変換処理部４００では、三角形ＰR ＰL ＭM の法線
ベクトルｎが物体中心座標系のｚ軸と一致し、ベクトル
ＰRＰL が物体中心座標系のｘ軸と一致するように、座
標の変換を行なう。さらに、座標変換処理部４００は、
座標原点が、ｘ：口両端ＭR ＭL の中点ＭM のｘ座標，
ｙ：左右目尻ＰL ＰR の中点のｙ座標，ｚ：左右耳ＥL
ＥR の中点のｚ座標と一致するように座標変換を行な
う。
【００２２】再サンプリング処理部５００について説明
する。図３は、再サンプリング処理部５００を示す概略
ブロック図である。図３を参照して、再サンプリング処
理部５００は、特徴点抽出部５０、領域切出し処理部５
１、領域分割処理部５２、格子分割処理部５３および格
子点の座標・カラー算出部５４を含む。
する。図３は、再サンプリング処理部５００を示す概略
ブロック図である。図３を参照して、再サンプリング処
理部５００は、特徴点抽出部５０、領域切出し処理部５
１、領域分割処理部５２、格子分割処理部５３および格
子点の座標・カラー算出部５４を含む。
【００２３】特徴点抽出部５０について説明する。特徴
点抽出部５０は、標本（対象物体）としての顔のレンジ
マップから特徴点の位置座標を決定する。図４は、特徴
点抽出部５０での処理に用いる顔のレンジマップを示す
図である。図４および以下の表に示すように、本実施の
形態では、特徴点は、額１、右目目尻２、右目目頭３、
右目上部４、右目下部５、左目目尻６、左目目頭７、左
目上部８、左目下部９、口右端１０、口左端１１、右耳
穴１２、左耳穴１３、鼻頂点１４および顎１５の１５点
とする。なお、特徴点は、顔の構造上の特徴点に対応す
るように決めている。
点抽出部５０は、標本（対象物体）としての顔のレンジ
マップから特徴点の位置座標を決定する。図４は、特徴
点抽出部５０での処理に用いる顔のレンジマップを示す
図である。図４および以下の表に示すように、本実施の
形態では、特徴点は、額１、右目目尻２、右目目頭３、
右目上部４、右目下部５、左目目尻６、左目目頭７、左
目上部８、左目下部９、口右端１０、口左端１１、右耳
穴１２、左耳穴１３、鼻頂点１４および顎１５の１５点
とする。なお、特徴点は、顔の構造上の特徴点に対応す
るように決めている。
【００２４】
【表１】 特徴点の取得について詳しく説明する。額１、右目目尻
２、右目目頭３、右目上部４、右目下部５、左目目尻
６、左目目頭７、左目上部８、左目下部９、口右端１
０、口左端１１、右耳穴１２および左耳穴１３について
は、図１の物体中心座標系基準点抽出部２００における
場合と同様に、顔のレンジマップ上で目視で特徴点を検
出し、マウス操作によってレンジマップ表面上を移動す
るカーソルを用いて特徴点の位置を特定し、汎用グラフ
ィックワークステーションの対話処理機能を用いて、特
徴点の位置座標を求める。鼻の頂点１４については、｜
ｚ｜値が最も大きい点とする。顎１５は、顎の近辺にお
いて｜ｙ｜値の最も大きい点とする。
２、右目目頭３、右目上部４、右目下部５、左目目尻
６、左目目頭７、左目上部８、左目下部９、口右端１
０、口左端１１、右耳穴１２および左耳穴１３について
は、図１の物体中心座標系基準点抽出部２００における
場合と同様に、顔のレンジマップ上で目視で特徴点を検
出し、マウス操作によってレンジマップ表面上を移動す
るカーソルを用いて特徴点の位置を特定し、汎用グラフ
ィックワークステーションの対話処理機能を用いて、特
徴点の位置座標を求める。鼻の頂点１４については、｜
ｚ｜値が最も大きい点とする。顎１５は、顎の近辺にお
いて｜ｙ｜値の最も大きい点とする。
【００２５】ここで、顔の形状が平坦ではなく、鼻や顎
の周辺では曲率の変化が大きい。このため、直交座標系
よりも極座標系で処理を行なった方がその変化による影
響が少ない。したがって、これ以降、極座標系による処
理を行なうことを考える。図５は、直交座標系および極
座標系を示す図である。図５には、直交座標系（ｘ，
ｙ，ｚ）および極座標系（ｒ，θ，φ）が示されてい
る。図５を参照して、点Ｐの座標は（ｒ，θ，φ）で表
わされる。ここで、ｒは原点Ｏから点Ｐまでの距離を示
し、φは線分ＯＰとｙ軸との間の角度を示し、θは線分
ＯＰのＸＺ平面への正射影とｚ軸との間の角度を示し、
Ｌは線分ＯＰの長さを示す。θおよびφは次式で表わさ
れる。
の周辺では曲率の変化が大きい。このため、直交座標系
よりも極座標系で処理を行なった方がその変化による影
響が少ない。したがって、これ以降、極座標系による処
理を行なうことを考える。図５は、直交座標系および極
座標系を示す図である。図５には、直交座標系（ｘ，
ｙ，ｚ）および極座標系（ｒ，θ，φ）が示されてい
る。図５を参照して、点Ｐの座標は（ｒ，θ，φ）で表
わされる。ここで、ｒは原点Ｏから点Ｐまでの距離を示
し、φは線分ＯＰとｙ軸との間の角度を示し、θは線分
ＯＰのＸＺ平面への正射影とｚ軸との間の角度を示し、
Ｌは線分ＯＰの長さを示す。θおよびφは次式で表わさ
れる。
【００２６】
【数１】 図３の領域切出し処理部５１について説明する。撮影さ
れた顔画像は、髪の部分はデータが正確に得られず、ま
た、顔以外の部分（肩など）も含まれている。これらの
領域はデータが不安定であり、データとして扱うには不
適当である。そこで、領域切出し処理部５１では、扱う
データを頭髪などを含まない領域に限定し、その領域の
切出しを行なう。切出す領域は、
れた顔画像は、髪の部分はデータが正確に得られず、ま
た、顔以外の部分（肩など）も含まれている。これらの
領域はデータが不安定であり、データとして扱うには不
適当である。そこで、領域切出し処理部５１では、扱う
データを頭髪などを含まない領域に限定し、その領域の
切出しを行なう。切出す領域は、
【００２７】
【数２】 である。すなわち、切出す領域は、θ方向は右耳（θ＝
θearR）から左耳（θ＝θearL）まで、φ方向は額（φ
＝φhead）から顎（φ＝π／１２）までである。なお、
φの最小値をπ／１２としたが、必要に応じて変更可能
である。
θearR）から左耳（θ＝θearL）まで、φ方向は額（φ
＝φhead）から顎（φ＝π／１２）までである。なお、
φの最小値をπ／１２としたが、必要に応じて変更可能
である。
【００２８】領域分割処理部５２について説明する。領
域分割処理部５２では、領域切出し処理部５１で切出し
た領域を、特徴点抽出部５０で取得した特徴点を基準に
して、複数の領域に分割する。図６は、領域分割処理部
５２における処理を説明するための図である。図６を参
照して、本実施の形態では、領域切出し処理部５１で切
出された領域５５を、特徴点抽出部５０によって得られ
た特徴点を基準にして、θ方向に６分割し、φ方向に６
分割する。これによって、切出した領域５５は、３６個
の領域に分割される。θ方向の分割は、右耳穴−右目目
尻、右目目尻−右目目頭、右目目頭−鼻、鼻−左目目
頭、左目目頭−左目目尻、左目目尻−左耳穴とする。φ
方向の分割は、π／１２−顎、顎−口、口−鼻、鼻−目
下部、目下部−目上部、目上部−額とする。
域分割処理部５２では、領域切出し処理部５１で切出し
た領域を、特徴点抽出部５０で取得した特徴点を基準に
して、複数の領域に分割する。図６は、領域分割処理部
５２における処理を説明するための図である。図６を参
照して、本実施の形態では、領域切出し処理部５１で切
出された領域５５を、特徴点抽出部５０によって得られ
た特徴点を基準にして、θ方向に６分割し、φ方向に６
分割する。これによって、切出した領域５５は、３６個
の領域に分割される。θ方向の分割は、右耳穴−右目目
尻、右目目尻−右目目頭、右目目頭−鼻、鼻−左目目
頭、左目目頭−左目目尻、左目目尻−左耳穴とする。φ
方向の分割は、π／１２−顎、顎−口、口−鼻、鼻−目
下部、目下部−目上部、目上部−額とする。
【００２９】図３の格子分割処理部５３について説明す
る。格子分割処理部５３では、切出した領域５５の各領
域（領域分割処理部５２によって、切出した領域５５を
特徴点を基準に分割して得られた各領域）を、さらに分
割する。詳しくは、切出した領域５５の各領域の分割数
を任意に決定し、決定した分割数で切出した領域５５の
各領域を格子状に一定ピッチで分割し、その格子点の座
標を求める。本実施の形態では、切出した領域５５の各
領域の分割数を、下の表に示すように設定する。
る。格子分割処理部５３では、切出した領域５５の各領
域（領域分割処理部５２によって、切出した領域５５を
特徴点を基準に分割して得られた各領域）を、さらに分
割する。詳しくは、切出した領域５５の各領域の分割数
を任意に決定し、決定した分割数で切出した領域５５の
各領域を格子状に一定ピッチで分割し、その格子点の座
標を求める。本実施の形態では、切出した領域５５の各
領域の分割数を、下の表に示すように設定する。
【００３０】
【表２】 格子点の座標・カラー算出部５４について説明する。こ
こで、格子分割処理部５３によって得られた格子点を再
サンプリング点と呼ぶことにする。再サンプリング点は
一般に物体表面計測部１００による３次元計測時のサン
プリング点とは一致しない。このため、ｒの値（極座標
の原点から再サンプリング点までの距離、図５参照）
を、再サンプリング点のθ、φから直接求めることは困
難である。そこで、格子点の座標・カラー算出部５４で
は、以下のようにして再サンプリング点のｒ値を求め
る。図７は、再サンプリング点のｒ値の求め方を説明す
るための図である。図７を参照して、格子点の座標・カ
ラー算出部５４では、再サンプリング点ＰS を中心に４
つの領域を考え、各領域内で際サンプリング点ＰS に最
も近い測定点（オリジナル点）Ｐ1 〜Ｐ4 を、複数の測
定点（オリジナル点）の中から選択する。そして、選択
した測定点のｒ値に、選択した測定点から再サンプリン
グ点までの距離の２乗に反比例する重みをかけた、重み
付き平均をとり、これを再サンプリング点のｒ値とす
る。具体的には、次式により、再サンプリング点ＰS の
ｒ値を求める。なお、測定点（オリジナル点）とは、図
１の物体表面計測部１００で３次元計測を行なう際の顔
表面の計測点のことである。
こで、格子分割処理部５３によって得られた格子点を再
サンプリング点と呼ぶことにする。再サンプリング点は
一般に物体表面計測部１００による３次元計測時のサン
プリング点とは一致しない。このため、ｒの値（極座標
の原点から再サンプリング点までの距離、図５参照）
を、再サンプリング点のθ、φから直接求めることは困
難である。そこで、格子点の座標・カラー算出部５４で
は、以下のようにして再サンプリング点のｒ値を求め
る。図７は、再サンプリング点のｒ値の求め方を説明す
るための図である。図７を参照して、格子点の座標・カ
ラー算出部５４では、再サンプリング点ＰS を中心に４
つの領域を考え、各領域内で際サンプリング点ＰS に最
も近い測定点（オリジナル点）Ｐ1 〜Ｐ4 を、複数の測
定点（オリジナル点）の中から選択する。そして、選択
した測定点のｒ値に、選択した測定点から再サンプリン
グ点までの距離の２乗に反比例する重みをかけた、重み
付き平均をとり、これを再サンプリング点のｒ値とす
る。具体的には、次式により、再サンプリング点ＰS の
ｒ値を求める。なお、測定点（オリジナル点）とは、図
１の物体表面計測部１００で３次元計測を行なう際の顔
表面の計測点のことである。
【００３１】
【数３】 式（４）において、ｒn は、選択した４つの測定点Ｐ1
〜Ｐ4 のｒ値である。Ｒn は、再サンプリング点ＰS か
ら、選択した４つの測定点Ｐ1 〜Ｐ4 までの距離であ
る。再サンプリング点Ｐs のカラー情報についても、再
サンプリング点ＰS のｒ値を求めた場合と同様にして、
選択した４つの測定点Ｐ1 〜Ｐ4 のＲＧＢ値からその値
を計算する。たとえば、再サンプリング点ＰS のＧ
（緑）値を求める場合には、式（４）のｒ n の代わり
に、選択した測定点のＧ値Ｇn （ｎ＝１，２，３，４）
を用いる。このようにして、再サンプリング点の各点に
おいてＲＧＢ情報を持つことができる。
〜Ｐ4 のｒ値である。Ｒn は、再サンプリング点ＰS か
ら、選択した４つの測定点Ｐ1 〜Ｐ4 までの距離であ
る。再サンプリング点Ｐs のカラー情報についても、再
サンプリング点ＰS のｒ値を求めた場合と同様にして、
選択した４つの測定点Ｐ1 〜Ｐ4 のＲＧＢ値からその値
を計算する。たとえば、再サンプリング点ＰS のＧ
（緑）値を求める場合には、式（４）のｒ n の代わり
に、選択した測定点のＧ値Ｇn （ｎ＝１，２，３，４）
を用いる。このようにして、再サンプリング点の各点に
おいてＲＧＢ情報を持つことができる。
【００３２】以上のようにして、２５６×２５６×３＝
Ｍ次元の形状データΨ(S) およびカラーデータΨ(c) が
得られる。この形状データΨ(S) およびカラーデータΨ
(c)を再サンプリングデータと呼ぶことにする。
Ｍ次元の形状データΨ(S) およびカラーデータΨ(c) が
得られる。この形状データΨ(S) およびカラーデータΨ
(c)を再サンプリングデータと呼ぶことにする。
【００３３】
【数４】 図８は、図１の物体表面計測部１００による３次元計測
によって得られた３次元データに基づいて得られた顔画
像を示す図である。図８（ａ）は、形状データのみに基
づく顔画像であり、図８（ｂ）は、形状データおよびカ
ラーデータに基づく顔画像である。図９は、図１の再サ
ンプリング処理部５００によって得られた再サンプリン
グデータに基づいて作成された顔画像を示す図である。
図９（ａ）は、形状データΨ(S) のみに基づいて得られ
た顔画像であり、図９（ｂ）は、形状データΨ(S) およ
びカラーデータΨ(c) に基づいて得られた顔画像であ
る。図８および図９を参照して、再サンプリングを行な
っても、形状、カラーともに、元画像（図８）を非常に
よく再現している。
によって得られた３次元データに基づいて得られた顔画
像を示す図である。図８（ａ）は、形状データのみに基
づく顔画像であり、図８（ｂ）は、形状データおよびカ
ラーデータに基づく顔画像である。図９は、図１の再サ
ンプリング処理部５００によって得られた再サンプリン
グデータに基づいて作成された顔画像を示す図である。
図９（ａ）は、形状データΨ(S) のみに基づいて得られ
た顔画像であり、図９（ｂ）は、形状データΨ(S) およ
びカラーデータΨ(c) に基づいて得られた顔画像であ
る。図８および図９を参照して、再サンプリングを行な
っても、形状、カラーともに、元画像（図８）を非常に
よく再現している。
【００３４】上述した物体表面計測部１００〜再サンプ
リング処理部５００における処理を複数の人間の顔に対
して行なう。そして、複数の人間の各顔について、再サ
ンプリングデータを求める。ここで、再サンプリング
は、特徴点（図４参照）を基準に分割して得られた各領
域（図６参照）を予め定められた分割数で格子状に一定
ピッチで分割し、その格子点の座標を求めることにより
行なう。このため、複数の人間の各顔画像間でこのよう
な特徴点の数および位置を同じに設定し、さらに、複数
の人間の顔画像間で、特徴点を基準に分割して得られた
領域（図６参照）の分割数を同じに設定すれば、複数の
人間の各顔画像間で、対応する格子点（再サンプリング
点）が近似的に同一の場所を示していると考えることが
できる。
リング処理部５００における処理を複数の人間の顔に対
して行なう。そして、複数の人間の各顔について、再サ
ンプリングデータを求める。ここで、再サンプリング
は、特徴点（図４参照）を基準に分割して得られた各領
域（図６参照）を予め定められた分割数で格子状に一定
ピッチで分割し、その格子点の座標を求めることにより
行なう。このため、複数の人間の各顔画像間でこのよう
な特徴点の数および位置を同じに設定し、さらに、複数
の人間の顔画像間で、特徴点を基準に分割して得られた
領域（図６参照）の分割数を同じに設定すれば、複数の
人間の各顔画像間で、対応する格子点（再サンプリング
点）が近似的に同一の場所を示していると考えることが
できる。
【００３５】図１の主成分分析処理部６００について説
明する。主成分分析処理部６００では、再サンプリング
処理部５００で求めた再サンプリングデータの一部（た
とえば、複数の人間の顔の目だけに関するデータ）また
は全部を用いて顔（３次元物体）を表現する特徴ベクト
ルとする。そして、標本集合を構成する複数の人間の各
顔に対する特徴ベクトルの集合を対象に主成分分析を行
なう。主成分分析により求まった固有ベクトルを基底構
造（基底形状および基底カラー）とする。
明する。主成分分析処理部６００では、再サンプリング
処理部５００で求めた再サンプリングデータの一部（た
とえば、複数の人間の顔の目だけに関するデータ）また
は全部を用いて顔（３次元物体）を表現する特徴ベクト
ルとする。そして、標本集合を構成する複数の人間の各
顔に対する特徴ベクトルの集合を対象に主成分分析を行
なう。主成分分析により求まった固有ベクトルを基底構
造（基底形状および基底カラー）とする。
【００３６】図１の基底構造線形結合処理部７００につ
いて説明する。基底構造線形結合処理部７００では、主
成分分析処理部６００で得られた基底構造の任意の線形
結合により、形状データおよびカラーデータを求める。
こうして求まった形状データおよびカラーデータをもと
に、顔の３次元イメージを生成する。以下、主成分分析
処理部６００および基底構造線形結合処理部７００にお
ける処理の詳細について説明する。
いて説明する。基底構造線形結合処理部７００では、主
成分分析処理部６００で得られた基底構造の任意の線形
結合により、形状データおよびカラーデータを求める。
こうして求まった形状データおよびカラーデータをもと
に、顔の３次元イメージを生成する。以下、主成分分析
処理部６００および基底構造線形結合処理部７００にお
ける処理の詳細について説明する。
【００３７】画像サンプルとしての顔画像の次元数をＭ
とすれば、Ｋ個のサンプル画像は、ベクトルΨi （ｉ＝
１，２，…，Ｋ）と表現される。このとき、それらの平
均ベクトルをΨA とする。
とすれば、Ｋ個のサンプル画像は、ベクトルΨi （ｉ＝
１，２，…，Ｋ）と表現される。このとき、それらの平
均ベクトルをΨA とする。
【００３８】
【数５】 顔画像ベクトル｛Ψi ｝の共分散行列Ｃは、
【００３９】
【数６】 と表わされる。ｔは、転置行列を示す。行列Ｃについて
次式を満足する固有ベクトルｕk のうち、大きさの順に
並べたＬ（≦Ｋ−１）個の固有値λ1 ，…，λLに対応
するｕ1 ，…，ｕL を求める。
次式を満足する固有ベクトルｕk のうち、大きさの順に
並べたＬ（≦Ｋ−１）個の固有値λ1 ，…，λLに対応
するｕ1 ，…，ｕL を求める。
【００４０】
【数７】 ｕk は、画像ベクトルの集合を主成分分析して得られる
Ｌ次元部分空間の正規直交基底であり、Ψi と同様に画
像とみなせるＭ次元ベクトルで表わされるので、「固有
顔」と呼ばれている。Ψi は固有顔の上位Ｎ個を用い
て、その線形結合により次のように近似される。
Ｌ次元部分空間の正規直交基底であり、Ψi と同様に画
像とみなせるＭ次元ベクトルで表わされるので、「固有
顔」と呼ばれている。Ψi は固有顔の上位Ｎ個を用い
て、その線形結合により次のように近似される。
【００４１】
【数８】 ここで、重み係数ａn は、
【００４２】
【数９】 となる。以上により得られた、顔画像ベクトルΨが表わ
す各サンプリング点の３次元空間での位置とその表面の
カラー属性値を用いて、顔表面の三角パッチを生成し、
各点のカラー情報を用いてグーロシェーディングを行な
い任意の視点位置からの顔画像を表示する。
す各サンプリング点の３次元空間での位置とその表面の
カラー属性値を用いて、顔表面の三角パッチを生成し、
各点のカラー情報を用いてグーロシェーディングを行な
い任意の視点位置からの顔画像を表示する。
【００４３】以上のように、本発明の実施の形態による
３次元イメージ生成装置では、サンプルとしての顔画像
を特徴点（図４参照）に基づいて分割し、さらに、この
ようにして分割して得られた各領域（図６参照）を、任
意の分割数で格子状に分割し、再サンプリング点を得
る。そして、再サンプリング点での形状データおよびカ
ラーデータを取得する。このような処理を、複数の人間
の顔画像に対して行なう。ここで、複数の人間の各顔画
像て、特徴点（図４参照）の数および位置ならびに特徴
点を基準に分割して得られた各領域（図６参照）の分割
数は同じである。
３次元イメージ生成装置では、サンプルとしての顔画像
を特徴点（図４参照）に基づいて分割し、さらに、この
ようにして分割して得られた各領域（図６参照）を、任
意の分割数で格子状に分割し、再サンプリング点を得
る。そして、再サンプリング点での形状データおよびカ
ラーデータを取得する。このような処理を、複数の人間
の顔画像に対して行なう。ここで、複数の人間の各顔画
像て、特徴点（図４参照）の数および位置ならびに特徴
点を基準に分割して得られた各領域（図６参照）の分割
数は同じである。
【００４４】このため、本発明の実施の形態による３次
元イメージ生成装置では、共通の構造を持った個々の３
次元物体（上述の説明では顔）を、互いに対応付けのと
れた表現で記述できる。つまり、共通の構造を持った３
次元物体の各画像間で、データ（形状データおよびカラ
ーデータ）同士の対応がとれている。したがって、この
ようなデータ同士の対応がとれている３次元物体の各画
像を主成分分析の対象とすることにより、平均画像がぼ
けの少ないより自然な画像となる。また、このようなデ
ータ同士の対応がとれている３次元物体の各画像を主成
分分析の対象とすることにより、結合係数をいろいろ変
化させて生成した画像が、ぼけの少ないより自然な画像
となる。さらに、このようなデータ同士の対応がとれて
いる３次元物体の各画像を主成分分析の対象にすると、
個々の３次元物体の特徴表現において、各成分の表わす
内容も対応がとれているため、特徴の可視化を必要とす
る場合にも適用できる。
元イメージ生成装置では、共通の構造を持った個々の３
次元物体（上述の説明では顔）を、互いに対応付けのと
れた表現で記述できる。つまり、共通の構造を持った３
次元物体の各画像間で、データ（形状データおよびカラ
ーデータ）同士の対応がとれている。したがって、この
ようなデータ同士の対応がとれている３次元物体の各画
像を主成分分析の対象とすることにより、平均画像がぼ
けの少ないより自然な画像となる。また、このようなデ
ータ同士の対応がとれている３次元物体の各画像を主成
分分析の対象とすることにより、結合係数をいろいろ変
化させて生成した画像が、ぼけの少ないより自然な画像
となる。さらに、このようなデータ同士の対応がとれて
いる３次元物体の各画像を主成分分析の対象にすると、
個々の３次元物体の特徴表現において、各成分の表わす
内容も対応がとれているため、特徴の可視化を必要とす
る場合にも適用できる。
【００４５】次に、本発明の実施の形態による３次元イ
メージ生成装置による顔画像の生成実験の結果を示す。
第１、第２および第３の実験を行う。第１および第２の
実験の条件は、次のとおりである。２０代の男女各１８
名、計３６名をサンプルとして３次元データを取得す
る。データ撮影時にはヘアバンドで髪を上げ、額に髪が
かからないようにする。表情は無表情とし、眼鏡は外
す。
メージ生成装置による顔画像の生成実験の結果を示す。
第１、第２および第３の実験を行う。第１および第２の
実験の条件は、次のとおりである。２０代の男女各１８
名、計３６名をサンプルとして３次元データを取得す
る。データ撮影時にはヘアバンドで髪を上げ、額に髪が
かからないようにする。表情は無表情とし、眼鏡は外
す。
【００４６】図１０は、第１の実験の結果を示す図であ
る。図１０には、固有顔の数を変化させて生成された顔
画像が示されている。図１０を参照して、（ ）内の数
字は第１固有顔から第何固有顔までを用いたかを示した
ものである。固有顔の数を多く用いれば、元画像（図８
（ａ）参照）をより近似でき、この例では、第２５固有
顔まで用いれば、ほぼ元画像を近似していることがわか
る。また、どの状態においてもより自然な画像が得られ
ている。対応のとれていないデータでは、生成に用いる
固有顔の数が少ないと、ぼやけた不自然な顔になってし
まうが、対応のとれたデータを用いることにより、生成
に用いる固有顔の数に関係なく、より自然な鮮明な画像
を得ることができる。
る。図１０には、固有顔の数を変化させて生成された顔
画像が示されている。図１０を参照して、（ ）内の数
字は第１固有顔から第何固有顔までを用いたかを示した
ものである。固有顔の数を多く用いれば、元画像（図８
（ａ）参照）をより近似でき、この例では、第２５固有
顔まで用いれば、ほぼ元画像を近似していることがわか
る。また、どの状態においてもより自然な画像が得られ
ている。対応のとれていないデータでは、生成に用いる
固有顔の数が少ないと、ぼやけた不自然な顔になってし
まうが、対応のとれたデータを用いることにより、生成
に用いる固有顔の数に関係なく、より自然な鮮明な画像
を得ることができる。
【００４７】図１１は、第２の実験の結果を示す図であ
る。図１１には、重み係数（結合係数）を変化させて生
成した顔画像が示されている。図１１を参照して、（
）内の数字は重み係数の倍率を示したものである。こ
こで、基準となる重み係数は元の顔を生成するために用
いた重み係数とする。重み係数を変化させることによ
り、いろいろな変形顔が生成でき、生成された顔画像も
自然な画像が得られていることがわかる。これも、固有
顔の数を変えた場合と同様に、重み係数の変化に関係な
く、自然な画像が得られることを示している。なお、顔
画像の生成には、固有顔の全成分を用いている。
る。図１１には、重み係数（結合係数）を変化させて生
成した顔画像が示されている。図１１を参照して、（
）内の数字は重み係数の倍率を示したものである。こ
こで、基準となる重み係数は元の顔を生成するために用
いた重み係数とする。重み係数を変化させることによ
り、いろいろな変形顔が生成でき、生成された顔画像も
自然な画像が得られていることがわかる。これも、固有
顔の数を変えた場合と同様に、重み係数の変化に関係な
く、自然な画像が得られることを示している。なお、顔
画像の生成には、固有顔の全成分を用いている。
【００４８】第１および第２の実験の結果は、生成に用
いる固有顔の数や重み係数を変化させても、自然な画像
が得られるということだけでなく、固有顔における特徴
表現も対応がとれていることを示している。これによ
り、実施の形態によるイメージ生成装置は、あいまいイ
メージ検索のような、特徴の分析を必要とする分野にも
適用できると考えられる。
いる固有顔の数や重み係数を変化させても、自然な画像
が得られるということだけでなく、固有顔における特徴
表現も対応がとれていることを示している。これによ
り、実施の形態によるイメージ生成装置は、あいまいイ
メージ検索のような、特徴の分析を必要とする分野にも
適用できると考えられる。
【００４９】図１２は、第３の実験の結果を示す図であ
る。図１２には、３種類の平均顔が示されている。これ
らの平均顔はサンプルとして男性２６名、女性２６名、
計５２名（日本人４１名、欧米人１１名）の画像を用い
ている。図１２（ａ）は、図１の物体表面計測部１００
による測定データをそのまま用いた場合を示している。
図１２（ｂ）は、物体中心座標系の変換を行なったデー
タを用いた場合を示している。図１２（ｃ）は、物体中
心座標系への変換および再サンプリングによる点の近似
的に対応付けを行なったデータを用いた場合を示してい
る。図１２（ａ）を参照して、画像が完全にぼやけてし
まい、顔かどうかもわからない画像になっている。図１
２（ｂ）を参照して、人の顔だと判断はできるが、依然
として画像がぼやけている。図１２（ｃ）を参照して、
若干のぼやけは残るものの、図１２（ａ）（ｂ）に比
べ、より鮮明な画像を得ることができる。図１２（ｃ）
が、実施の形態によるイメージ生成装置によって生成さ
れた平均顔である。図１２に示した結果は、データ間の
対応付けの重要性を示すだけでなく、本発明の実施の形
態によるイメージ生成装置の有効性を示している。
る。図１２には、３種類の平均顔が示されている。これ
らの平均顔はサンプルとして男性２６名、女性２６名、
計５２名（日本人４１名、欧米人１１名）の画像を用い
ている。図１２（ａ）は、図１の物体表面計測部１００
による測定データをそのまま用いた場合を示している。
図１２（ｂ）は、物体中心座標系の変換を行なったデー
タを用いた場合を示している。図１２（ｃ）は、物体中
心座標系への変換および再サンプリングによる点の近似
的に対応付けを行なったデータを用いた場合を示してい
る。図１２（ａ）を参照して、画像が完全にぼやけてし
まい、顔かどうかもわからない画像になっている。図１
２（ｂ）を参照して、人の顔だと判断はできるが、依然
として画像がぼやけている。図１２（ｃ）を参照して、
若干のぼやけは残るものの、図１２（ａ）（ｂ）に比
べ、より鮮明な画像を得ることができる。図１２（ｃ）
が、実施の形態によるイメージ生成装置によって生成さ
れた平均顔である。図１２に示した結果は、データ間の
対応付けの重要性を示すだけでなく、本発明の実施の形
態によるイメージ生成装置の有効性を示している。
【００５０】
【発明の効果】この発明に係るイメージ生成装置および
イメージ生成方法では、複数のサンプル物体間におい
て、特徴点を一致させることができる。さらに、複数の
サンプル物体の複数の画像間において、第１の点を一致
させることができる。さらに、複数のサンプル物体の複
数の画像間において、対応する領域同士で、予め定めら
れた規則を同じにすることができる。
イメージ生成方法では、複数のサンプル物体間におい
て、特徴点を一致させることができる。さらに、複数の
サンプル物体の複数の画像間において、第１の点を一致
させることができる。さらに、複数のサンプル物体の複
数の画像間において、対応する領域同士で、予め定めら
れた規則を同じにすることができる。
【００５１】したがって、この発明に係るイメージ生成
装置およびイメージ生成方法では、複数のサンプル物体
の複数の画像間において、第２の点同士の対応をとるこ
とができ、対応がとれた第２の物理量をもとに物体のイ
メージを生成することができる。
装置およびイメージ生成方法では、複数のサンプル物体
の複数の画像間において、第２の点同士の対応をとるこ
とができ、対応がとれた第２の物理量をもとに物体のイ
メージを生成することができる。
【図１】本発明の実施の形態によるイメージ生成装置の
全体構成を示す概略ブロック図である。
全体構成を示す概略ブロック図である。
【図２】物体中心座標系を説明するための図である。
【図３】図１の再サンプリング処理部を示す概略ブロッ
ク図である。
ク図である。
【図４】図３の特徴点抽出部で用いるレンジマップを示
す図である。
す図である。
【図５】直交座標系および極座標系を示す図である。
【図６】図３の領域分割処理部における処理を説明する
ための図である。
ための図である。
【図７】図３の格子点の座標・カラー算出部における処
理を説明するための図である。
理を説明するための図である。
【図８】図１の物体表面計測部による３次元計測で求ま
った３次元データータを用いて得られた顔画像を示す図
である。
った３次元データータを用いて得られた顔画像を示す図
である。
【図９】図１の再サンプリング処理部で求まった再サン
プリングデータを用いて得られた顔画像を示す図であ
る。
プリングデータを用いて得られた顔画像を示す図であ
る。
【図１０】本発明の実施の形態によるイメージ生成装置
の第１の実験結果を示す図である。
の第１の実験結果を示す図である。
【図１１】本発明の実施の形態によるイメージ生成装置
の第２の実験結果を示す図である。
の第２の実験結果を示す図である。
【図１２】本発明の実施の形態によるイメージ生成装置
の第３の実験結果を示す図である。
の第３の実験結果を示す図である。
５０ 特徴点抽出部 ５１ 領域切出し処理部 ５２ 領域分割処理部 ５３ 格子分割処理部 ５４ 格子点の座標・カラー算出部 ５５ 切出した領域 １００ 物体表面計測部 ２００ 物体中心座標系基準点抽出部 ３００ 物体中心座標系算出部 ４００ 座標変換処理部 ５００ 再サンプリング処理部 ６００ 主成分分析処理部 ７００ 基底構造線形結合処理部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 主成分分析による顔画像の基底生成と 空間記述 電子情報通信学会論文誌 Ｄ −▲ＩＩ▼ Ｖｏｌ．Ｊ79−Ｄ−▲ＩＩ ▼ Ｎｏ．７ ｐ．1230−1235 1996年 ７月 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 17/00 G06T 7/00 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ) 特許ファイル（ＰＡＴＯＬＩＳ) 実用ファイル（ＰＡＴＯＬＩＳ)
Claims (10)
- 【請求項１】 共通する構造上の特徴を有する複数のサ
ンプル物体をもとに、物体のイメージを生成するイメー
ジ生成装置であって、 前記サンプル物体の表面上の複数の点について、第１の
物理量を測定し、前記第１の物理量をもとに前記サンプ
ル物体の画像を作成する手段と、 前記サンプル物体の構造上の複数の特徴点に対応する前
記画像上の複数の第１の点を基準として、前記画像を複
数の領域に分割する分割手段と、 前記各領域に対応して予め定められた規則に従って、前
記各領域上に複数の第２の点を取得する点取得手段と、 前記点取得手段によって得られた前記複数の第２の点に
ついて、前記第１の物理量と同じ第２の物理量を得る物
理量獲得手段と、 前記複数のサンプル物体について得られた前記第２の物
理量をもとに、物体の前記イメージを生成する手段とを
備える、イメージ生成装置。 - 【請求項２】 前記予め定められた規則は、前記分割手
段によって得られた前記領域を、所定の分割数で格子状
に分割して複数の格子点を得ることであり、 前記点取得手段は、前記複数の格子点を、前記複数の第
２の点とする、請求項１に記載のイメージ生成装置。 - 【請求項３】 前記物理量獲得手段は、前記サンプル物
体の表面上の前記複数の点に対応する画像上の複数の点
のうち、前記第２の点の近傍に存在する所定数の点につ
いての前記第１の物理量に基づいて、前記第２の点につ
いての前記第２の物理量を求める、請求項１に記載のイ
メージ生成装置。 - 【請求項４】 前記分割手段は、前記サンプル物体上の
部分に応じて分割する領域数を異ならせる、請求項１に
記載のイメージ生成装置。 - 【請求項５】 前記第１の物理量は、位置および色であ
る、請求項１から請求項３のいずれか１項に記載のイメ
ージ生成装置。 - 【請求項６】 共通する構造上の特徴を有する複数のサ
ンプル物体をもとに、サンプル物体のイメージを生成す
るイメージ生成方法であって、 前記サンプル物体の表面上の複数の点について、第１の
物理量を測定し、前記第１の物理量をもとに前記サンプ
ル物体の画像を作成するステップと、 前記サンプル物体の構造上の複数の特徴点に対応する前
記画像上の複数の第１の点を抽出するステップと、 前記複数の第１の点を基準として、前記画像を複数の領
域に分割する分割ステップと、 前記各領域に対応して予め定められた規則に従って、前
記各領域上に複数の第２の点を取得する点取得ステップ
と、 前記点取得ステップで得られた前記複数の第２の点につ
いて、前記第１の物理量と同じ第２の物理量を得る物理
量獲得ステップと、 前記複数のサンプル物体について得られた前記第２の物
理量をもとに、物体の前記イメージを生成するステップ
とを含む、イメージ生成方法。 - 【請求項７】 前記予め定められた規則は、前記分割ス
テップによって得られた前記領域を、所定の分割数で格
子状に分割して複数の格子点を得ることであり、 前記点取得ステップでは、前記複数の格子点を、前記複
数の第２の点とする、請求項６に記載のイメージ生成方
法。 - 【請求項８】 前記物理量獲得ステップでは、前記サン
プル物体の表面上の前記複数の点に対応する画像上の複
数の点のうち、前記第２の点の近傍に存在する所定数の
点についての前記第１の物理量に基づいて、前記第２の
点についての前記第２の物理量を求める、請求項６に記
載のイメージ生成方法。 - 【請求項９】 前記分割ステップは、前記サンプル物体
上の部分に応じて分割する領域数を異ならせる、請求項
６に記載のイメージ生成方法。 - 【請求項１０】 前記第１の物理量は、位置および色で
ある、請求項６から請求項８のいずれか１項に記載のイ
メージ生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8295799A JP3017110B2 (ja) | 1996-10-16 | 1996-10-16 | イメージ生成装置およびイメージ生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8295799A JP3017110B2 (ja) | 1996-10-16 | 1996-10-16 | イメージ生成装置およびイメージ生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10124680A JPH10124680A (ja) | 1998-05-15 |
| JP3017110B2 true JP3017110B2 (ja) | 2000-03-06 |
Family
ID=17825321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8295799A Expired - Fee Related JP3017110B2 (ja) | 1996-10-16 | 1996-10-16 | イメージ生成装置およびイメージ生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3017110B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001000421A (ja) * | 1999-06-22 | 2001-01-09 | Pola Chem Ind Inc | 表情のシミュレート法 |
| US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
| US6950104B1 (en) * | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
| JP4868171B2 (ja) * | 2005-12-27 | 2012-02-01 | 日本電気株式会社 | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
| JP2009003647A (ja) * | 2007-06-20 | 2009-01-08 | Mitsubishi Electric Corp | 物品検出装置 |
| JP2009268088A (ja) * | 2008-04-04 | 2009-11-12 | Fujifilm Corp | 画像処理システム、画像処理方法、およびプログラム |
| US8457389B2 (en) * | 2008-09-03 | 2013-06-04 | Nec Corporation | Image processing device, image processing method and image processing program |
| JP2017192767A (ja) * | 2017-06-21 | 2017-10-26 | 株式会社 資生堂 | 画像解析方法、画像解析装置、及び画像解析プログラム |
-
1996
- 1996-10-16 JP JP8295799A patent/JP3017110B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 主成分分析による顔画像の基底生成と空間記述 電子情報通信学会論文誌 Ｄ−▲ＩＩ▼ Ｖｏｌ．Ｊ７９−Ｄ−▲ＩＩ▼ Ｎｏ．７ ｐ．１２３０−１２３５ １９９６年７月 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10124680A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6891351B2 (ja) | 多特徴検索と変形に基づく人体髪型の生成方法 | |
| KR101007276B1 (ko) | 3차원 안면 인식 | |
| CN106909875B (zh) | 人脸脸型分类方法和系统 | |
| Liao et al. | Automatic caricature generation by analyzing facial features | |
| US7760933B2 (en) | Parameter estimation method, parameter estimation device and collation method | |
| JP2006520054A (ja) | 不変視点からの画像照合および２次元画像からの３次元モデルの生成 | |
| US20160253807A1 (en) | Method and System for Determining 3D Object Poses and Landmark Points using Surface Patches | |
| US20020041285A1 (en) | Non-linear morphing of faces and their dynamics | |
| JP4878330B2 (ja) | 対象物の関節構造の取得方法及び装置 | |
| JP2001056861A (ja) | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 | |
| MacLeod | Morphometrics: History, development methods and prospects | |
| JP3017110B2 (ja) | イメージ生成装置およびイメージ生成方法 | |
| CN111754637B (zh) | 一种样本相似度抑制的大尺度三维人脸合成系统 | |
| CN110544310A (zh) | 一种双曲共形映射下三维点云的特征分析方法 | |
| JP5018029B2 (ja) | 認証システム及び認証方法 | |
| CN110781937A (zh) | 一种基于全局视角的点云特征提取方法 | |
| CN107194364B (zh) | 一种基于分治策略的Huffman-LBP多姿态人脸识别方法 | |
| CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN113808249B (zh) | 图像处理方法、装置、设备和计算机存储介质 | |
| CN112052843B (zh) | 一种从粗到精的人脸关键点检测方法 | |
| US8108187B2 (en) | Method and system for surface analysis and envelope generation | |
| CN114743252B (zh) | 用于头部模型的特征点筛选方法、设备和存储介质 | |
| JP4893968B2 (ja) | 顔画像の合成方法 | |
| JPH06176107A (ja) | 距離画像処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991207 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |