JPH08131252A - 髪画像適合方法及びコンピュータ・システム - Google Patents

Abstract

(57)【要約】 【目的】短時間で自然な仕上がりのヘアスタイル・シミ
ュレーションを行うこと。 【構成】 撮影装置によりユーザの顔画像を撮影し且つ
顔情報を抽出し、顔画像に適合させる髪画像を選択し、
選択された髪画像の髪領域又は顔画像の顔領域の大き
さ、傾き、及び位置を補正する。そして、顔領域に重な
ってはいけない髪領域の部分について、その髪領域の部
分の輪郭に係る特徴点を顔領域の輪郭線上に移動し、顔
領域の輪郭線上に移動された特徴点を隣接するもの同士
接続して顔輪郭ベクトルを生成し、当該髪領域の部分の
輪郭に係る特徴点を隣接するもの同士接続して髪輪郭ベ
クトルを生成し、顔輪郭ベクトルの、髪輪郭ベクトルか
らの変化を参照して、描画されるべき髪画像の１の点に
対応する、髪画像の髪領域内の点を計算し、その点の画
素値をその１の点の画素値とすることにより、描画され
るべき変形された髪画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ヘアスタイルのシミュ
レーションに関し、より詳しくは、撮影されたユーザの
顔画像とユーザが選択した髪画像とを自動的に適合させ
る方法及び装置に関する。

【０００２】

【従来の技術】通常、毛髪の処理を欲する場合には、美
容院等でヘアスタイルの指定を行い、美容師等に毛髪の
処理を行わせることになるが、事前にそのヘアスタイル
が自己の顔に似合うかどうかを判断したい場合がある。
このような場合に、ヘアスタイルのシミュレーションを
行うことができると便利である。

【０００３】従来からそのようなヘアスタイルのシミュ
レーション・システムは存在していたが、予め用意され
た髪型の画像(髪画像)と、撮影されたユーザの顔の画像
(顔画像)との適合化は手作業で行われていた。すなわ
ち、顔画像と髪画像をフィットさせる場合、次のような
ステップに従う。まず、フォト・レタッチのソフトウエ
アを用いて、手作業で髪画像のスケーリングや回転、平
行移動の操作を行う。そして、ペインティング・ツール
で顔や首回りの隙間を埋めたり、顔にかかり過ぎた髪を
消したりして仕上げを行う。このような、手作業にて髪
画像を顔画像にフィットさせる例としては、特開昭６２
−１６１３０８号がある。

【０００４】このような手作業にて画像を修正する方法
では、画像の仕上がりという点では最も好ましいが、そ
の作業にかかる時間は、１つの画像を修正するのに２０
分から３０分かかり、美容院等の待ち時間からすると適
当でない。実用的には、美容院等の待ち時間を１０分程
度と仮定した場合、好みのヘアスタイルを数パターン試
すとすると、１パターン当たり１分程度で作業が終わら
ねばならない。このように、長時間かかってしまうと１
パターンも試すことができず、システムとしては用をな
さない。また、手作業の場合には、その操作の煩雑さを
考えると何人でも簡単にできるということは言えない。

【０００５】他の例としては、髪の３次元モデルを作成
し、風や重力などの外力の作用を考慮して変形操作を行
い、最終的にレンダリングして目的の画像を得る方法も
ある。この例としては、特開平５−１８９５４２号があ
る。しかし、データボリュームの点から、また処理時間
の長さ、仕上がりのリアリティの点等からみても、有効
とは言えない。

【０００６】

【発明が解決しようとする課題】そこで本発明の目的
は、短時間で、自然な仕上がりのヘアスタイルをシミュ
レーションすることである。

【０００７】さらに他の目的は、画像修正を自動化する
ことより、何人にも操作可能なシステムを提供すること
である。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するためになされたものであって、毛髪を伴う顔を予め
撮影することにより生成された、その毛髪に関する髪画
像と、その顔の特徴点に関する情報及び前記髪画像の髪
領域の輪郭に係る特徴点に関する情報を含む髪情報を格
納する格納手段を有するコンピュータ・システムにおい
て、ユーザが指定した髪画像を、ユーザの顔画像に適合
させる髪画像適合方法である。そして、 （ａ）撮影装置でユーザの顔を撮影することにより顔画
像を生成し、その特徴点に関する情報を含む顔情報を抽
出するステップと、（ｂ）顔画像に適合させる髪画像を
選択する入力を入力装置によりユーザに入力させるステ
ップと、（ｃ）顔情報及び選択された髪画像の髪情報を
参照することにより、選択された髪画像の髪領域の大き
さ、傾き、及び位置を補正するステップと、（ｄ）顔領
域に重なってはいけない、髪領域の部分について、（d
1）顔情報を参照して、顔領域に重なってはいけない、
髪領域の部分の特徴点に対応する特徴点を、顔領域の輪
郭線上に生成するステップと、（d2）顔領域の輪郭線上
に生成された特徴点の隣接関係を表す１又は複数の顔輪
郭ベクトル・データを生成するステップと、（d3）髪領
域の輪郭に係る特徴点の隣接関係を表す１又は複数の髪
輪郭ベクトル・データを生成するステップと、（d4）顔
輪郭ベクトル・データの、髪輪郭ベクトル・データから
の変化を参照して、描画されるべき髪画像の１の点に対
応する、髪画像の髪領域内の点を計算し、その点の画素
値を１の点の画素値とすることにより、描画されるべき
変形された髪画像を生成するステップと、（ｅ）変形さ
れた髪画像と、顔画像とを重ねて表示装置に表示するス
テップとを含む。これにより、自動的に顔画像と髪画像
とをフィットされた画像を作成することができる。ここ
で、顔輪郭ベクトルとは特徴点を移動した後のリファレ
ンス・ベクトルであり、髪輪郭ベクトルとは特徴点を移
動する前のリファレンス・ベクトルをいう。

【０００９】さらに、（ｆ）顔画像の顔領域との重なり
が許容されている、髪画像の髪領域の部分と、顔領域の
間に隙間が生ずる場合、（f1）顔情報を参照して、顔画
像の顔領域との重なりが許容されている、髪画像の髪領
域の部分の特徴点を、顔領域の輪郭線上に生成するステ
ップと、（f2）顔領域の輪郭線上に生成された特徴点の
隣接関係を表す１又は複数の顔輪郭ベクトル・データを
生成するステップと、（f3）髪領域の輪郭に係る特徴点
の隣接関係を表す１又は複数の髪輪郭ベクトル・データ
を生成するステップと、（f4）顔輪郭ベクトル・データ
の、髪輪郭ベクトル・データからの変化を参照して、描
画されるべき髪画像の１の点に対応する、髪画像の髪領
域内の点を計算し、その点の画素値を１の点の画素値と
することにより、描画されるべき変形された髪画像を生
成するステップとをさらに含むようにすることも考えら
れる。これにより、顔領域と髪領域に隙間が生ずること
がなく、自動的にヘアスタイルのシミュレーションを行
うことができる。

【００１０】また、前述のステップ（ｄ）についての顔
輪郭ベクトル・データを生成した後に、各顔輪郭ベクト
ルと顔領域の輪郭線の対応する部分との距離が所定の値
を超えたか否かを検査するステップと、その距離が所定
の値を超えた顔輪郭ベクトルが存在した場合に、その顔
輪郭ベクトルに対応する髪領域の輪郭に係る２つの特徴
点の間に新たな特徴点を設定する設定ステップと、設定
ステップを実行した場合には、前述のステップ（d1）以
降を再度実行するステップとをさらに含むようにするこ
とも考えられる。このようにすれば、より自然な仕上が
りのシミュレーションを行うことができる。

【００１１】さらに、前述のステップ（e4）及びステッ
プ（f4）が、複数の顔輪郭ベクトルと描画されるべき髪
画像の１の点Ｘとの位置関係に従う、複数の髪輪郭ベク
トルの各々に対する点Ｘ'を計算するステップと、Ｘと
Ｘ'の距離と、顔輪郭ベクトルとＸとの距離と、髪輪郭
ベクトルに対応する特徴点の性質とを含む重み付け要素
を考慮して、１の点Ｘに対応する髪画像の髪領域の点を
計算し、その点の画素値を１の点Ｘの画素値とすること
により、描画されるべき変形された髪画像を生成するス
テップとを含むことも考えられる。ここでいう特徴点の
性質としては、その特徴点が髪領域のどの位置に配され
ているかに依存する、顔領域との関係である。例えば、
顔領域と重なってもよいのか、重なってはいけないの
か、重なることはないのかということである。

【００１２】また、上記目的を達成するシステムとして
は、（ａ）毛髪を伴う顔を予め撮影することにより生成
された、その毛髪に関する髪画像と、その顔の特徴点に
関する情報と前記髪画像の髪領域の輪郭に係る特徴点及
びその特徴点が属する髪画像の髪領域の部分に基づく所
定の属性に関する情報とを含む髪情報を格納する格納手
段と、（ｂ）撮影装置と、（ｃ）撮影装置でユーザの顔
を撮影することにより生成された顔画像から、その特徴
点に関する情報を含む顔情報を抽出する手段と、（ｄ）
顔画像に適合させる髪画像を選択する入力をユーザに入
力させる入力装置と、（ｅ）顔情報及び選択された髪画
像の髪情報を参照することにより、選択された髪画像又
は顔画像の顔領域の髪領域の大きさ、傾き、及び位置を
補正する手段と、（ｆ）所定の属性を判断して、処理の
必要な属性を有する髪領域の部分の輪郭に係る特徴点を
指定する手段と、（ｇ）顔情報を参照して、指定された
髪領域の部分の輪郭に係る特徴点に対応する特徴点を、
顔領域の輪郭線上に生成する手段と、（ｈ）顔領域の輪
郭線上に生成された特徴点の隣接関係を表す１又は複数
の顔輪郭ベクトル・データを生成する手段と、（ｉ）指
定された髪領域の部分の輪郭に係る特徴点の隣接関係を
表す１又は複数の髪輪郭ベクトル・データを生成する手
段と、（ｊ）顔輪郭ベクトル・データの、髪輪郭ベクト
ル・データからの変化を参照して、描画されるべき髪画
像の１の点に対応する、髪画像の髪領域内の点を計算
し、その点の画素値を１の点の画素値とすることによ
り、描画されるべき変形された髪画像を生成する手段
と、（ｋ）表示装置と、（ｌ）変形された髪画像と、顔
画像とを重ねて表示装置に表示する手段とを有するもの
がある。

【００１３】またこのシステムにおいては、手段（ｆ）
における、処理の必要な属性を有する髪領域の部分が、
顔領域に重なってはいけない、髪領域の部分と、顔画像
の顔領域との重なりが許容されている、髪領域の部分で
あるようになっていることがある。このような属性が決
められていれば、処理の都合上便利である。

【００１４】また、前述の手段（ｆ）が、顔領域に重な
ってはいけない、髪領域の部分を指定した場合、顔輪郭
ベクトル・データが生成された後に、各顔輪郭ベクトル
と顔領域の輪郭線の対応する部分との距離が所定の値を
超えたか否かを検査する手段と、距離が所定の値を超え
た顔輪郭ベクトルが存在した場合に、その顔輪郭ベクト
ルに対応する髪領域の輪郭に係る２つの特徴点の間に新
たな特徴点を設定する設定手段と、設定手段が実行され
た場合には、手段（ｇ）を再起動する手段とをさらに有
するシステムも考えられる。

【００１５】さらに、前述の手段（ｊ）が、複数の顔輪
郭ベクトルと描画されるべき髪画像の１の点Ｘとの位置
関係に従う、複数の髪輪郭ベクトルの各々に対する点
Ｘ'を計算する手段と、ＸとＸ'の距離と、顔輪郭ベクト
ルとＸとの距離と、髪輪郭ベクトルに対応する特徴点の
性質とを含む重み付け要素を考慮して、１の点Ｘに対応
する髪画像の髪領域の点を計算し、その点の画素値を１
の点Ｘの画素値とすることにより、描画されるべき変形
された髪画像を仮想的に生成する手段とを含むシステム
も考えられる。

【００１６】

【実施例】まず、本発明のシステム構成を図１を用いて
説明する。シミュレーションを行いたいユーザは、撮影
装置２により自己の顔画像を撮影しなければならない。
この撮影装置２は、撮影した顔画像を一時保管する顔画
像顔情報格納装置６に接続されている。さらに撮影装置
２は、撮影した顔画像から顔情報を抽出する顔情報抽出
装置４にも接続されており、この装置４は抽出された顔
情報を格納する顔画像顔情報格納装置６に接続されてい
る。また、このシステムはユーザの選択の対象となる髪
画像とその髪画像の変形に使用される髪情報を格納する
髪画像髪情報格納装置８を有しており、顔画像顔情報格
納装置６と共に処理装置１０に接続されている。この処
理装置１０は、髪画像髪情報格納装置６から選択された
髪画像及び髪情報を取り出し、その大きさ、傾き、及び
位置を補正する大きさ・傾き・位置補正部１２と、補正
部１２の処理の後に髪画像を適当な形に変形する髪画像
変形部１４を有する。また、処理装置１０は、髪画像の
選択や処理の実行命令を行う入力装置、シミュレーショ
ンの結果をプリントアウトするためのプリンタ等を含む
入出力装置２２に接続されている。シミュレーションの
結果は、最初表示装置２６に表示されるが、その最終的
な描画を行うグラフィック・サブシステム２４も処理装
置１０に接続されている。

【００１７】このシステムは、図２のように動作する。
すなわち、撮影装置２にて撮影した顔画像は、顔画像顔
情報格納装置６に格納されるとともに、顔情報を抽出す
るために顔情報抽出装置４に送られる（ステップ３
２）。この抽出装置４にて抽出された顔情報は顔画像と
同様に、格納装置６に格納される。ユーザは、表示装置
２６に髪画像を表示させ、又は髪画像の名称を表示さ
せ、入出力装置２２により髪画像の選択を行う（ステッ
プ３４）。選択がなされると、処理装置１０の大きさ・
傾き・位置補正部１２が、顔情報、髪情報を参照しなが
ら、髪画像の大きさ、傾き、及び位置の補正を行う（ス
テップ３６）。さらに、髪画像変形部１４は、顔画像の
顔領域との重なりが許容されている部分の変形、そして
顔画像の顔領域との重なりが許容されていない部分の処
理を行う（ステップ３８）。このようにして髪画像を修
正し、顔画像と変形された髪画像とをグラフィック・サ
ブシステム２４で重ね合せ、表示装置２６に表示する
（ステップ４０）。以下、この動作を詳細に説明する。

【００１８】［顔画像の撮影・顔情報の抽出］顔画像は
撮影装置２にて撮影されるが、静止画像でよく、処理装
置１０の取り扱いに適した形式に変換されたものであ
る。これは、通常コンピュータに静止画像を取り込む場
合と何等変わらないので、これ以上述べない。また、後
の処理のために、撮影の際には、髪が顔になるべくかか
らないように、アップの状態（髪を上にあげて額を出し
た状態）で正面から撮影する必要がある。

【００１９】顔情報としては、図３に示すように、両目
尻（点ＬＥ及び点ＲＥ）、鼻の下（点ＵＮ）、頭頂点
（点ＨＴ）、顎（点ＪＰ）、顔領域（領域ＦＲ、耳は顔
領域には含まれない。）及び髪領域（領域ＨＲ）があ
る。これらの位置及び領域情報は、画像処理により自動
抽出されるが、通常用いられているものと同様であり、
本発明の主要部ではないので、これ以上述べない。

【００２０】［髪画像の選択]髪画像の選択を行う前
に、髪画像は髪画像髪情報格納装置８に格納されていな
ければならない。この髪画像も撮影装置により撮影され
たものであり、顔画像と同様である。但し、図４に示す
ように、髪領域を切り抜いて、背景を一定の色（本実施
例では青）で塗りつぶしておく必要がある。また、正面
から撮影することも必要である。

【００２１】また、後の処理のために髪情報も予め保持
しておく必要がある。この髪情報は、特徴点の位置デー
タとその属性の組み合わせで表現される。この特徴点
は、髪画像の髪領域の輪郭線上に置かれるが、その配置
は、大きく曲率が変化するような点に、比較的おおまか
でよい。これにより、計算量を減少させる効果がある。
また、このような配置によって生じる欠点は、後のステ
ップにより補完している。

【００２２】特徴点の属性とは、顔画像の顔領域と重な
ってはいけない、顔領域のエッジ上の点である属性Ｅ
（図４における■の点)と、顔画像の顔領域と重なるこ
とが許されている点である属性Ｆ(図４における×の
点）と、顔画像の顔領域にかからない外側の点である属
性Ｏ（図４における●の点）とをいう。このような属性
に所定の値を割り当てておき、後の処理で用いる。

【００２３】さらに、顔情報としては、顔画像の元の顔
についての上述した顔情報も含まれる。これを参照する
ことにより、後の大きさ・傾き・位置の補正を行う。

【００２４】このような髪画像及び髪情報を保持してい
る髪画像髪情報格納装置８から、髪画像を取り出し、ユ
ーザに提示することにより、ユーザがシミュレーション
の対象となる髪画像を選択できるようにする。この場
合、髪画像をウインドウ形式で表示してもよいし、単に
画面を幾つかのエリアに分割して表示してもよい。ま
た、髪画像に名称を付しておき、その名称のみを表示
し、選択されたもののみ髪画像を表示装置に表示するよ
うにしてもよい。このようにして、提示した髪画像をユ
ーザが選択することにより後の処理が開始される。

【００２５】［髪画像の大きさ・傾き・位置の補正］ １．大きさの補正 まず、顔画像の顔の幅ＷＦと髪画像の顔の幅ＷＨを求め
る。この顔の幅は以下のように求める。すなわち、図５
に示すように、顔領域の輪郭線上の各点から、頭頂点Ｈ
Ｔと顎ＪＰを結ぶ直線ＶＬまでの距離をそれぞれ計算
し、顔の左半分及び右半分での最大値を求める。この２
つの値の和が顔の幅である。もし、髪画像の大きさを補
正するならば、ＷＦ／ＷＨを計算して、髪画像の縦及び
横をＷＦ／ＷＨ倍すればよい。但し、顔画像の大きさを
補正するならば、ＷＨ／ＷＦを計算して、顔画像の縦及
び横をＷＨ／ＷＦ倍すればよい。ここでは、補正するも
のは髪画像のみであるとする。

【００２６】２．傾きの補正 顔画像と髪画像の頭の傾き角θ(画像に垂直な軸回りの
回転角)を求める。これは、図６に示すように、両目尻
ＬＥ，ＲＥを結ぶ直線の傾きから求める（θは垂直方向
を０とする。）。そして、そのθの差分だけ髪画像を回
転させる。差分だけ顔画像を移動させてもよい。

【００２７】３．位置の補正 まず、位置補正のための参照点を計算する。この参照点
は、図７に示すように、両目尻ＬＥ，ＲＥと鼻の下の点
ＵＮを結ぶ三角形ＡＢＣの重心Ｗである。このＷの位置
の差分だけ髪画像を平行移動する。但し、平行移動する
のは顔画像でもよい。

【００２８】このようにして、基礎的な髪画像(顔画像)
の補正が終了した。

【００２９】［髪画像の変形］大きさ・傾き・位置の補
正を施した髪画像を、顔画像の上に単に張り付けただけ
では、顔や首回りに隙間ができたり、頬の部分に髪がか
かり過ぎたりしてしまう。これらの不都合を取り除くた
めに、以下に述べる方法で画像を変形させて、髪を顔に
フィットさせる。

【００３０】画像の基本的な変形操作は、画像のモーフ
ィング操作に基づく。以下、この画像のモーフィングに
ついて簡単に述べる。

【００３１】画像のモーフィング変換は、画像上に配置
されたリファレンス・ベクトルの変形・移動に対応して
画素を操作することにより行われる。すなわち、変換後
のリファレンス・ベクトルの、変換前のリファレンス・
ベクトルからの変化を参照して、描画されるべき髪画像
の１の点に対応する、髪画像の髪領域内の点を計算し、
その点の画素値をその１の点の画素値とすることにより
行われる。

【００３２】詳細には次のように行う。図８（ａ）に示
すように、画素Ｘとリファレンス・ベクトルＰＱとの位
置関係を、２つの変数（Ｕ，Ｖ）で表すようにする。こ
のＵは、ＸからＰＱへ下ろした垂線との交点ＳとＰとの
距離の、ＰＱの大きさに対する比率で表す。よって、Ｕ
の値はＳがＰからＱに移動するにつれて０から１の値を
とる。Ｖもその垂線の長さのＰＱの長さに対する比で表
す。

【００３３】リファレンス・ベクトルが１本の場合に
は、図８（ａ）に示すような、変換後の画素Ｘについて
の（Ｕ，Ｖ）を用いて、変換前の画像上のリファレンス
・ベクトルＰ'Ｑ'と(Ｕ，Ｖ）の位置関係にある画素Ｘ'
を探す(図８（ｂ）参照）。そして、Ｘ'の画素値をＸの
画素値とすることにより、変換を完了する。

【００３４】リファレンス・ベクトルが複数の場合に
は、各画素の各リファレンス・ベクトルＰiＱiへの依存
度を計算し、その依存度に応じて、変換後の画素に対す
る変換前の画素を移動させる。すなわち、図９（ａ）に
示すように、変換後のリファレンス・ベクトルＰ1Ｑ1,
Ｐ2Ｑ2とＸの位置関係は（Ｕ1,Ｖ1)、(Ｕ2,Ｖ2)で決ま
ってしまうが、変換前のリファレンス・ベクトルに対し
てその位置関係を適用すると、図９（ｂ）に示すよう
に、Ｘ'は１の点にならないことが多い。よって、リフ
ァレンス・ベクトルの依存度により図９（ｂ）に示した
Ｘ'に移動させる。この依存度は、対象となる画素とリ
ファレンス・ベクトルの距離を基に計算され、その距離
が短いリファレンス・ベクトルほど、変形が依存するよ
うにしている。

【００３５】リファレンス・ベクトルが複数の場合の手
順は図１０に示す。複数の場合であっても、各リファレ
ンス・ベクトルごとに(Ｕ，Ｖ）を計算する（ステップ
５２）。また、同様に変換前の、対応するリファレンス
・ベクトルに対して（Ｕ，Ｖ）を適用して、Ｘ'の位置
を求める(ステップ５４）。そして、ＸからＰiＱiの最
短距離を計算する（ステップ５６）。ここで、通常は図
８（ａ）に示すように、ＸはベクトルＰＱの長さの間に
あるが、図１１のように、ベクトルＰＱから離れたとこ
ろにＸがある場合には、ＸＰがここでいう最短距離にな
ることを注意されたい。そして、ステップ５８にて重み
付けの値を計算する。ここで、lengthはリファレンス・
ベクトルの長さ、ＤminはＸからＰiＱiの最短距離、
ａ，ｂ，ｃは、適当な定数である。

【００３６】しかし、本発明では、lengthのｃ乗を用い
る代わりに、各リファレンス・ベクトルに予め設定した
重み付けを用いる。予め設定された重み付けとは、その
リファレンス・ベクトルの基となる特徴点に割り当てら
れた属性を参照する。すなわち、リファレンス・ベクト
ルの基となる特徴点の属性が、Ｅであればヘビー（ＨＥ
ＡＶＹ）とし、Ｆであれば、特徴点の移動があればヘビ
ー（ＨＥＡＶＹ）、移動がなければライト（ＬＩＧＨ
Ｔ）とする。さらに、属性がＯであればライト（ＬＩＧ
ＨＴ）とする。さらに具体的には、ヘビーが４．０、ラ
イトが１．０、そして定数ａ＝０．５、ｂ＝２．０にそ
れぞれ設定される。

【００３７】こうして求めた重み付けを、ステップ６
０、ステップ６２で蓄積する。蓄積された重み付けを用
いてＸ'を移動して、適当なＸ'を求め(ステップ６４)、
その画素値をＸの画素値とする（ステップ６６）。

【００３８】以上が画像のモーフィング変換の基礎であ
る。この方法を、以下で述べる部分で使用する。

【００３９】１．特徴点の移動 髪画像の変形操作は、髪画像と顔画像の重なり具合を検
査し、髪画像の特徴点を顔画像にフィットするように移
動させて行う。重なり具合の検査は、以下のとおりであ
る。

【００４０】属性Ｏの特徴点は、顔にかからないので検
査対象でない。

【００４１】属性Ｆの特徴点Ｐfが、点Ｐfが対象の顔画
像の顔領域ＦＲの外側に位置した場合、図１２に示すよ
うに、点Ｐfと顔の参照点Ｗとを結ぶ線分と顔領域との
交点Ｐf'を求め、点Ｐfを点Ｐf'に移動させる。点Ｐfが
対象の顔画像の顔領域の内部に位置した場合には、移動
はない。

【００４２】属性Ｅの特徴点Ｐeが、図１２に示すよう
に、点Ｐeを両目尻を結ぶ線分に平行に伸ばして顔領域
との交点Ｐe'を求め、点Ｐeを点Ｐe'に移動させる。す
なわち、Ｐeが顔領域の境界上に位置するように移動さ
せる。

【００４３】２．リファレンス・ベクトルの生成 上述のように、属性Ｆ及びＥの特徴点はそれぞれ移動さ
れ、髪画像の髪領域の輪郭に係る特徴点（移動前の特徴
点）と、移動後の特徴点が存在するようになる。よっ
て、属性Ｆと属性Ｅのそれぞれについて、移動前の特徴
点を隣接するもの同士接続してなる移動前のリファレン
ス・ベクトルと、移動後の特徴点を隣接するもの同士接
続してなる移動後のリファレンス・ベクトルとを生成す
る。

【００４４】３．画像のモーフィング変換 このように生成されたリファレンス・ベクトルに関し、
上述の画像のモーフィング変換を実行する。但し、属性
Ｅの特徴点に係るリファレンス・ベクトルに関しては、
次のステップを先に実行する。

【００４５】４．リファレンス・ベクトルのアダプティ
ブ分割 画像のモーフィング変換の計算量は、画像の大きさ及び
リファレンス・ベクトルの数に大きく依存している。髪
を顔にフィットさせる場合、リファレンス・ベクトルの
数が多い程、細かく髪の位置合わせを行うことができ、
滑らかに合成することができる。しかし、計算量は増加
するため、本発明の目的である処理時間の短縮という目
的が達成できなくなってしまう。よって、髪画像の髪情
報の説明部分で述べたように、特徴点は細かく取らない
でおく。

【００４６】しかし、図１３（ａ）に示すように、特徴
点Ｐ及びＱを結んだリファレンス・ベクトルを考える
と、リファレンス・ベクトルＰＱと顔領域の輪郭の間
に、Ｅと示した空間が生じてしまう。この空間は、この
特徴点Ｐ及びＱの属性がＥであるにもかかかわらず、髪
画像と顔画像が重なってしまう部分である。よって、こ
のような特徴点ＰＱの間には、新たな特徴点を設定すべ
きである。そこで、リファレンス・ベクトルのアダプテ
ィブ分割を行う。

【００４７】このアダプティブ分割は、リファレンス・
ベクトルを生成した後に、顔画像の重なりエラーＥ（顔
領域の輪郭線とリファレンス・ベクトルとの最大距離）
を計算し、その値が所定の値を超えた場合に行う。ま
た、この所定の値を下回るまで実行する。実際の動作
は、図１３に示すように新たな特徴点Ｓ'をリファレン
ス・ベクトルの中点に最も近い髪領域の輪郭線上に設定
し、その点を顔領域の輪郭線上に移動することで行う。
そして、上述と同様に、リファレンス・ベクトルを生成
していく。前述の所定の値を上回ることが無くなった
ら、画像のモーフィング変換を行う。

【００４８】［髪画像と顔画像の合成及び表示］髪画像
と顔画像の重ね合せには、エイリアシングを防ぐために
αバッファを用いた処理を行う。手順は以下のとおりで
ある。

【００４９】１．合成のターゲット画像である顔画像か
ら髪領域の部分ＨＲを削除し、背景画像で埋める。この
処理は、ターゲット画像の髪領域が、合成後の髪からは
み出ないようにするための処理である。

【００５０】２．変形した髪画像から、背景画素（ここ
では青色画素）以外の部分を髪領域として抽出する（い
わゆるクロマキー処理）。切り抜きを行った後のαバッ
ファの値は、髪の部分が１（不透明）、それ以外の部分
は０（透明で）の値を持つ。

【００５１】３．髪領域のエッジの部分のα値に対し
て、スムーシング・フィルタをかける。スムーシング・
フィルタとしては、例えば５×５のガウンシアン・フィ
ルタが考えられるが、適当なものがあれば、それ以外で
もよい。

【００５２】４．髪画像と顔画像をαバッファの値を用
いてαブレンドする。 ５．αブレンドされた画像を表示装置に表示する。

【００５３】これによりヘアスタイルのシミュレーショ
ンが実行できたわけであるが、本発明は上述の実施例に
限定されるものではない。例えば、顔画像の撮影をして
から、髪画像を選択するように説明したが、この順番は
逆であっても何等問題がない。また、顔情報として指定
した点は、これに限定されるものではなく、他に適当な
点があれば、それを基準としてもよい。さらに、複数の
リファレンス・ベクトルを有する場合の画像のモーフィ
ング変換における重み付けを計算する際の式、及び定数
は、より好ましいものがあればそれにより代替可能であ
る。また、アダプティブ分割する際の基準は最大距離で
あったが、リファレンス・ベクトルと顔領域の輪郭線と
の間にできる面積としてもよい。

【００５４】

【発明の効果】以上説明したように、短時間で、自然な
仕上がりのヘアスタイルをシミュレーションすることが
できた。

【００５５】さらに、画像修正を自動化することより、
何人にも操作可能なシステムを提供することもできた。

【図面の簡単な説明】

【図１】本発明の全体構成のブロック図である。

【図２】本発明の高レベルのフローチャートである。

【図３】顔情報の内容を説明するための図である。

【図４】顔画像を説明するための図である。

【図５】顔幅の算出を説明するための図である。

【図６】髪画像の傾きの補正を説明するための図であ
る。

【図７】髪画像の位置の補正を説明するための図であ
る。

【図８】リファレンス・ベクトルが１本の時のモーフィ
ング変換を説明するための図である。

【図９】リファレンス・ベクトルが複数の時のモーフィ
ング変換を説明するための図である。

【図１０】リファレンス・ベクトルが複数の時のモーフ
ィング変換を説明するための図である。

【図１１】リファレンス・ベクトルが複数の時のモーフ
ィング変換を説明するための図である。

【図１２】特徴点の移動を説明するための図である。

【図１３】リファレンス・ベクトルのアダプティブ分割
を説明するための図である。

【符号の説明】

２ 撮影装置 ４ 顔情報抽出装置 ６ 顔画像顔情報格納装置 ８ 髪画像髪情報
格納装置 １０ 処理装置 １２ 大きさ・傾き・位置補正部 １４ 髪画像変形部 ２２ 入出力装置 ２４ グラフィック・サブシステム ２６ 表示装置

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/66 ４７０ Ｊ (72)発明者 黒川雅人 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内

Claims (8)

【特許請求の範囲】
1. 【請求項１】毛髪を伴う顔を予め撮影することにより生
   成された、前記毛髪に関する髪画像と、前記顔の特徴点
   に関する情報及び前記髪画像の髪領域の輪郭に係る特徴
   点に関する情報を含む髪情報を格納する格納手段を有す
   るコンピュータ・システムにおいて、 ユーザが指定した髪画像を、ユーザの顔画像に適合させ
   る髪画像適合方法であって、 （ａ）撮影装置でユーザの顔を撮影することにより顔画
   像を生成し、その特徴点に関する情報を含む顔情報を抽
   出するステップと、 （ｂ）前記顔画像に適合させる髪画像を選択する入力を
   入力装置によりユーザに入力させるステップと、 （ｃ）前記顔情報及び選択された前記髪画像の髪情報を
   参照することにより、前記選択された髪画像の髪領域の
   大きさ、傾き、及び位置を補正するステップと、 （ｄ）前記顔領域に重なってはいけない、前記髪領域の
   部分について、（d1）前記顔情報を参照して、前記顔領
   域に重なってはいけない、前記髪領域の部分の特徴点に
   対応する特徴点を、前記顔領域の輪郭線上に生成するス
   テップと、（d2）前記顔領域の輪郭線上に生成された特
   徴点の隣接関係を表す１又は複数の顔輪郭ベクトル・デ
   ータを生成するステップと、（d3）前記髪領域の輪郭に
   係る特徴点の隣接関係を表す１又は複数の髪輪郭ベクト
   ル・データを生成するステップと、（d4）前記顔輪郭ベ
   クトル・データの、前記髪輪郭ベクトル・データからの
   変化を参照して、描画されるべき髪画像の１の点に対応
   する、前記髪画像の髪領域内の点を計算し、その点の画
   素値を前記１の点の画素値とすることにより、描画され
   るべき変形された髪画像を生成するステップと、 （ｅ）前記変形された髪画像と、前記顔画像とを重ねて
   表示装置に表示するステップとを含む髪画像適合方法。
2. 【請求項２】（ｆ）前記顔画像の顔領域との重なりが許
   容されている、前記髪画像の髪領域の部分と、前記顔領
   域の間に隙間が生ずる場合、（f1）前記顔情報を参照し
   て、前記顔画像の顔領域との重なりが許容されている、
   前記髪画像の髪領域の部分の特徴点を、前記顔領域の輪
   郭線上に生成するステップと、（f2）前記顔領域の輪郭
   線上に生成された特徴点の隣接関係を表す１又は複数の
   顔輪郭ベクトル・データを生成するステップと、（f3）
   前記髪領域の輪郭に係る特徴点の隣接関係を表す１又は
   複数の髪輪郭ベクトル・データを生成するステップと、
   （f4）前記顔輪郭ベクトル・データの、前記髪輪郭ベク
   トル・データからの変化を参照して、描画されるべき髪
   画像の１の点に対応する、前記髪画像の髪領域内の点を
   計算し、その点の画素値を前記１の点の画素値とするこ
   とにより、描画されるべき変形された髪画像を生成する
   ステップとをさらに含む請求項１記載の髪画像適合方
   法。
3. 【請求項３】前記ステップ（ｄ）についての前記顔輪郭
   ベクトル・データを生成した後に、各前記顔輪郭ベクト
   ルと前記顔領域の輪郭線の対応する部分との距離が所定
   の値を超えたか否かを検査するステップと、 前記距離が所定の値を超えた前記顔輪郭ベクトルが存在
   した場合に、その顔輪郭ベクトルに対応する前記髪領域
   の輪郭に係る２つの特徴点の間に新たな特徴点を設定す
   る設定ステップと、 前記設定ステップを実行した場合には、前記ステップ
   （d1）以降を再度実行するステップとをさらに含む請求
   項１又は２記載の髪画像適合方法。
4. 【請求項４】前記ステップ（e4）及びステップ（f4）
   が、 前記複数の顔輪郭ベクトルと前記描画されるべき髪画像
   の１の点Ｘとの位置関係に従う、前記複数の髪輪郭ベク
   トルの各々に対する点Ｘ'を計算するステップと、 ＸとＸ'の距離と、前記顔輪郭ベクトルとＸとの距離
   と、前記髪輪郭ベクトルに対応する特徴点の性質とを含
   む重み付け要素を考慮して、前記１の点Ｘに対応する前
   記髪画像の髪領域の点を計算し、その点の画素値を前記
   １の点Ｘの画素値とすることにより、描画されるべき変
   形された髪画像を生成するステップとを含む請求項１乃
   至３のいずれか記載の髪画像適合方法。
5. 【請求項５】（ａ）毛髪を伴う顔を予め撮影することに
   より生成された、前記毛髪に関する髪画像と、前記顔の
   特徴点に関する情報と前記髪画像の髪領域の輪郭に係る
   特徴点及びその特徴点が属する前記髪画像の髪領域の部
   分に基づく所定の属性に関する情報とを含む髪情報を格
   納する格納手段と、（ｂ）撮影装置と、（ｃ）前記撮影
   装置でユーザの顔を撮影することにより生成された顔画
   像から、その特徴点に関する情報を含む顔情報を抽出す
   る手段と、（ｄ）前記顔画像に適合させる髪画像を選択
   する入力をユーザに入力させる入力装置と、（ｅ）前記
   顔情報及び選択された前記髪画像の髪情報を参照するこ
   とにより、前記選択された髪画像又は前記顔画像の顔領
   域の髪領域の大きさ、傾き、及び位置を補正する手段
   と、（ｆ）前記所定の属性を判断して、処理の必要な属
   性を有する前記髪領域の部分の輪郭に係る特徴点を指定
   する手段と、（ｇ）前記顔情報を参照して、指定された
   前記髪領域の部分の輪郭に係る特徴点に対応する特徴点
   を、前記顔領域の輪郭線上に生成する手段と、（ｈ）前
   記顔領域の輪郭線上に生成された特徴点の隣接関係を表
   す１又は複数の顔輪郭ベクトル・データを生成する手段
   と、（ｉ）指定された前記髪領域の部分の輪郭に係る特
   徴点の隣接関係を表す１又は複数の髪輪郭ベクトル・デ
   ータを生成する手段と、（ｊ）前記顔輪郭ベクトル・デ
   ータの、前記髪輪郭ベクトル・データからの変化を参照
   して、描画されるべき髪画像の１の点に対応する、前記
   髪画像の髪領域内の点を計算し、その点の画素値を前記
   １の点の画素値とすることにより、描画されるべき変形
   された髪画像を生成する手段と、（ｋ）表示装置と、
   （ｌ）前記変形された髪画像と、前記顔画像とを重ねて
   前記表示装置に表示する手段と有するコンピュータ・シ
   ステム。
6. 【請求項６】前記手段（ｆ）における、前記処理の必要
   な属性を有する前記髪領域の部分が、前記顔領域に重な
   ってはいけない、髪領域の部分と、前記顔画像の顔領域
   との重なりが許容されている、髪領域の部分であること
   を特徴とする請求項５記載のコンピュータ・システム。
7. 【請求項７】前記手段（ｆ）が、前記顔領域に重なって
   はいけない、髪領域の部分を指定した場合、 前記顔輪郭ベクトル・データが生成された後に、各前記
   顔輪郭ベクトルと前記顔領域の輪郭線の対応する部分と
   の距離が所定の値を超えたか否かを検査する手段と、 前記距離が所定の値を超えた前記顔輪郭ベクトルが存在
   した場合に、その顔輪郭ベクトルに対応する前記髪領域
   の輪郭に係る２つの特徴点の間に新たな特徴点を設定す
   る設定手段と、 前記設定手段が実行された場合には、前記手段（ｇ）を
   再起動する手段とをさらに有する請求項６記載のコンピ
   ュータ・システム。
8. 【請求項８】前記手段（ｊ）が、 前記複数の顔輪郭ベクトルと前記描画されるべき髪画像
   の１の点Ｘとの位置関係に従う、前記複数の髪輪郭ベク
   トルの各々に対する点Ｘ'を計算する手段と、 ＸとＸ'の距離と、前記顔輪郭ベクトルとＸとの距離
   と、前記髪輪郭ベクトルに対応する特徴点の性質とを含
   む重み付け要素を考慮して、前記１の点Ｘに対応する前
   記髪画像の髪領域の点を計算し、その点の画素値を前記
   １の点Ｘの画素値とすることにより、描画されるべき変
   形された髪画像を仮想的に生成する手段とを含む請求項
   ５乃至７のいずれか記載のコンピュータ・システム。