JPH06139318A

JPH06139318A - 眼鏡装用シミュレーション装置

Info

Publication number: JPH06139318A
Application number: JP4287892A
Authority: JP
Inventors: Masaki Ishikawa; 真己石川; Kazuya Horii; 和哉堀井; Keimei Kanisawa; 啓明蟹澤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1992-10-26
Filing date: 1992-10-26
Publication date: 1994-05-20

Abstract

(57)【要約】【目的】眼鏡レンズによる屈折を考慮し、さらに眼鏡
レンズの色を変えることができる、顔の表情や向き等の
シミュレーションが可能な眼鏡装用シミュレーション装
置を得る。【構成】モデル整合処理３で標準顔モデル２を顔原画
像１に整合し、表情、顔の向きの変更のために変形処理
４を加える。また、レンズ部処理８でレンズデータ５の
値により屈折率を計算し、マッピング処理９では、変形
後の顔モデルに対して、レンズ部処理８で計算した屈折
を考慮して、顔原画像１のデータをマッピングする。以
上の処理で生成した表情、向きの変化した顔画像を、眼
鏡合成処理１０で眼鏡フレーム画像６と合成し、表示画
像１１として表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、眼鏡フレームの装用状
態をシミュレーションするためのシミュレーション装置
に関する。

【０００２】

【従来の技術】従来、顧客が眼鏡フレームを購入する際
には、眼鏡フレームをかけた顧客の顔をビデオカメラ等
で撮影、再生し、気に入ったものを選択するといった方
法がある。しかしながら、複数の眼鏡フレームに対して
それぞれビデオ撮影しなければならず煩雑であるととも
に、ビデオテープによる再生では見たい画像を瞬時に再
生するという、いわゆる、ランダムアクセス性に欠け
る。また、ランダムアクセス性を備えるビデオデイスク
等の媒体に記録することも考えられるが、ビデオテープ
に比べ高価であるため、長期的な使用を考えた場合コス
ト的な問題がある。そこで、高速に、容易にシミュレー
ションが行えるものとして、眼鏡フレームをかけない顧
客の顔の静止画像をビデオカメラ等で撮影し、この画像
に対して、予め登録されている眼鏡フレームの画像を合
成表示するといった方法が考えられている。この種の装
置としては、例えば、特開昭６３−３９２９０号公報
「画像合成再生装置」あるいは特開昭６３−１１３６７
１号公報「眼鏡画像合成装置」に示されたものがある。
図１０に、前記引用例の内容を、本発明との比較を容易
にするために修正して示した。図１０において、顔原画
像１は、眼鏡フレーム購入者の正面静止画像データ、眼
鏡画像１２は眼鏡フレームの正面静止画データ、眼鏡合
成処理１０は、前記顔原画像１と眼鏡画像１２を１フレ
ームの画像に合成するための眼鏡合成処理、合成位置７
は、前記眼鏡合成処理１１において、眼鏡画像１２を合
成する顔原画像１上の合成位置、表示画像１１は前記眼
鏡合成処理１０から出力される合成後の表示画像であ
る。

【０００３】次に、動作について説明する。顔原画像１
は、ビデオカメラ等の画像入力機器から入力される、図
１１（ａ）に示したような顧客の顔の正面静止画像であ
る。一方、眼鏡画像１２は、図１１（ｂ）に示したよう
に、実際の眼鏡フレームをビデオカメラ等の画像入力機
器から予め入力し、蓄積装置等に蓄積しておいた画像デ
ータである。眼鏡画像１２はレンズを外した状態の眼鏡
フレームだけの画像であり、髪等で眼鏡フレームの一部
が隠れる場合には、予めその部分を隠して撮影すること
が行われる。また、眼鏡フレームの背景は、顔原画像１
との合成が容易なように固定色とするのが一般的であ
る。以上の顔原画像１と眼鏡画像１２は、眼鏡合成処理
１０において合成、即ち、重ね合わせ処理が行われる。
この時、顔原画像１上のどの位置に眼鏡画像１２を合成
するかを合成位置７で指定する。即ち、図１１（ｃ）に
おいて、顔原画像１上の左上隅の点を基準として、水
平、垂直各方向の画素数Ｘｓ、Ｙｓを指定する。一般
に、一度でうまく合成される場合は少なく、従ってこの
指定は、何度か繰り返して行い、最も適合すると思われ
る位置を最終的な合成位置７とする。また、合成に際し
ては、いわゆる、クロマキー処理が行われる。即ち、眼
鏡画像１２の背景は眼鏡フレーム自体に使われていない
固定色であるので、その固定色の部分には顔原画像１を
表示させ、その他の領域は、眼鏡画像１２を表示させ
る。このような切り替えを画素単位に行うことによっ
て、図１１（ｃ）のような合成画像が生成され、表示画
像１１として表示される。

【０００４】

【発明が解決しようとする課題】通常眼鏡をかけた場
合、レンズによる屈折によって、近視用レンズでは眼が
小さく見え、また遠視用レンズでは眼が大きく見える
が、従来の眼鏡装用シミュレーション装置では、合成さ
れた画像はレンズによる屈折を考慮していないため眼の
大きさは変わらなかった。さらに眼鏡レンズに色がつい
ていないため、眼鏡をかけているという現実感が乏しか
った。

【０００５】

【課題を解決するための手段】本発明は、眼鏡レンズ部
分に、指定されたレンズの屈折率に従って、屈折量を計
算し、対応する前記顔画像をマッピングする手段とを備
える。また眼鏡画像のレンズ部分に、指定されたレンズ
の色を加算処理する機能を備える。

【０００６】

【作用】眼鏡レンズ部は、指定されたレンズの屈折率に
従って屈折量が計算され、さらに指定されたレンズの色
が加算され、対応する顧客の顔画像の眼部分がマッピン
グされて、眼鏡をかけた顔画像が生成される。

【０００７】

【実施例】以下、この発明の実施例について図面を参照
しながら説明する。

【０００８】図１は本発明の第１の実施例における眼鏡
装用シミュレーション装置のブロック図を示したもので
ある。図１において、顔原画像１は、眼鏡フレーム購入
者の正面静止画像データ、標準顔モデル２は平均的な人
間の顔のモデル、モデル整合処理３は標準顔モデル２を
顔原画像１に整合させる整合処理、変形処理４は、モデ
ル整合処理３で整合した後の顔モデルを変形させるため
の変形処理、レンズデータ５は眼鏡レンズの屈折率及び
色のデータ、眼鏡フレーム画像６は眼鏡フレームの静止
画像データ、合成位置７は、顔画像上に眼鏡を合成する
合成位置、レンズ部処理８はレンズ部の屈折量を計算す
るための処理部、マッピング処理９は変形後の顔モデル
に対して、顔原画像１、眼鏡レンズおよび眼鏡フレーム
をマッピングするためのマッピング処理部、眼鏡合成処
理１０は、マッピング処理９で処理された顔画像と眼鏡
フレームを１フレームの画像に合成するための眼鏡合成
処理、表示画像１１は、前記眼鏡合成処理１０から出力
される合成後の表示画像である。

【０００９】次に動作について説明する。

【００１０】ビデオカメラ等の画像入力機器から入力さ
れる顔原画像１は、１枚の無表情の正面静止画像であ
る。一方、標準顔モデル２は図２（ａ）に示したよう
な、点と線分によって構成される、いわゆる、ワイヤー
フレームモデルであり、目、眉、鼻、口等の顔面のパー
ツの外に髪、首、あるいは、肩等の部分を含んでいる。
また、標準顔モデル２は、顔面の各パーツの位置、大き
さ、形状等、一般的な顔を基準に予め作られている。た
だし、平均的ではあっても、入力された顔原画像１と
は、全体的な大きさ、局部的な形状等が完全に一致する
ことは当然のことながらあり得ない。そこで、モデル整
合処理３では、標準顔モデル２の顔原画像１への整合処
理を行う。図２（ａ）の標準顔モデル２に対して、図２
（ｂ）の顔原画像１を整合させる場合を例にとり説明す
る。まず、図２（ｂ）の顔原画像１上において、例え
ば、黒丸で示した特徴点を対話的に指定、あるいは、画
像処理により自動的に検出する。なお、これらの特徴点
は、標準顔モデル２の構成点に含まれる点を選択する。
次に、互いに近傍にある特徴点３点に注目し、顔原画像
１上のそれらの座標をＡ（ｘ１，ｙ１）、Ｂ（ｘ２，ｙ
２）、Ｃ（ｘ３，ｙ３）、また、標準顔モデル２の対応
する座標をＡ’（ｘ１’，ｙ１’）、Ｂ’（ｘ２’，ｙ
２’）、Ｃ’（ｘ３’，ｙ３’）とすると、これら３点
の座標変化が２次元の線形変換で近似できる場合、即
ち、図２（ｂ）の顔原画像１がほぼ正面向きの場合に
は、次の（１）〜（６）式が成り立つ。

【００１１】ｘ１＝ａ・ｘ１’ ＋ｂ・ｙ１’ ＋ｅ（１）ｙ１＝ｃ・ｘ１’ ＋ｄ・ｙ１’ ＋ｆ（２）ｘ２＝ａ・ｘ２’ ＋ｂ・ｙ２’ ＋ｅ（３）ｙ２＝ｃ・ｘ２’ ＋ｄ・ｙ２’ ＋ｆ（４）ｘ３＝ａ・ｘ３’ ＋ｂ・ｙ３’ ＋ｅ（５）ｙ３＝ｃ・ｘ３’ ＋ｄ・ｙ３’ ＋ｆ（６）ここで、ａ，ｂ，ｃ，ｄ，ｅ，ｆは変換係数である。し
たがって、３点の座標変化が求まれば、（１）〜（６）
式より、変換係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを逆に求め
て、３点によって張られる３角形内の点を、その変換係
数を使用して変換することができる。図２（ｂ）におけ
る３角形ＡＢＣを拡大して示したものが図３である。図
３において、点Ｐ１〜Ｐ５は、図２（ｂ）の黒丸で示し
た特徴点に対応する点以外の、標準顔モデル２の頂点で
ある。３角形ＡＢＣの内部に位置する点Ｐ２、Ｐ３は、
点Ａ，Ｂ，Ｃの座標から（１）〜（６）式を使って求め
た変換係数ａ，ｂ，ｃ，ｄ，ｅ，ｆにより変換される。
また、点Ｐ１，Ｐ４，Ｐ５は、それぞれが含まれる３角
形の３頂点より求めた変換係数により変換される。標準
顔モデル２を構成する全ての点について以上の処理を繰
り返すことにより、標準顔モデル２を顔原画像１に整合
させることができる。次に、変形処理４では、モデル整
合処理３において整合させられた顔モデルに対して変形
を加える。変形とは、具体的には、標準顔モデル２の各
頂点を移動させることにほかならない。表情を変化させ
る場合には、予め、表情に対応した標準顔モデル２の点
と移動量のテーブルを持っておくこともできる。また、
顧客に各点の移動量を指定させ、対話的に処理すること
も可能である。さらに、標準顔モデル２の頂点を１点づ
つ指定するのが煩わしい場合には、図２（ｂ）に示した
ような特徴点を予め定めておいて特徴点のみ移動量を指
定し、その他の点は、モデル整合処理３の場合と同様に
線形変換を用いて自動的に移動させることも可能であ
る。

【００１２】レンズ処理８では、眼鏡フレーム画像６お
よび合成位置７で指定した眼鏡レンズの範囲内におい
て、レンズデータ５で指定した屈折率により、屈折量を
計算する。眼鏡レンズを薄肉の球面レンズとして考えた
場合、近軸光線は、図４に示すように、屈折する。この
とき、ｈ’＝ｈ − ｍ’・ｕ’ （７）ｕ’＝ｕ＋ｈ・φ （８）という関係が成立する。φはレンズのパワーである。図
５に上の関係を適用した例を示す。図は人の顔および眼
鏡レンズの一部を上から見た図である。式（７）、
（８）より、ｈａ１’＝ｈａ１ − ｍ’・ｕ’ （９）ｕ’ ＝ｕ＋ｈａ１・φ （１０）ここでａ１点は、図２（ｃ）に拡大表示したように、図
２（ｂ）に示した整合処理を行うための特徴点のうち、
眼の輪郭を示す特徴点であり、ｈａ１’は眼鏡レンズの
光軸からの距離である。式（９）、（１０）より、ｈａ１＝（ｈａ１’＋ｍ’・ｕ）／（１−ｍ’・φ）（１１）が成立する。ｈａ１’は顔原画像１から、ｍ’は眼鏡位
置７から、またφはレンズデータ５から与える。ここで
求めたｈａ１をマッピング処理９に渡して、眼鏡レンズ
範囲内のマッピング処理をする。また、ここではレンズ
を薄肉レンズとして考えたが、実際の厚みをもつレンズ
と考えても同様に求めることができる。また、単純な近
視あるいは遠視ではなく、乱視を矯正するには円柱レン
ズあるいはトーリックレンズが使われるが、この場合も
上と同様に計算することができる。

【００１３】マッピング処理９では、変形処理４で変形
した顔モデルに対して顔原画像１のデータをマッピング
する。眼鏡レンズ部は、屈折量を考慮して図５のａ１の
点の画素をレンズ上のａ１’点にマッピングする。この
時、レンズデータ５で指定されたレンズの色を加算処理
してマッピングする。図５では代表的な１本の近軸光線
を示したが、実際の処理は眼鏡レンズ部すべてについて
行う。また、光線の入射角度は変形処理４で指定された
顔の向きによって決定される。マッピング処理は、顔モ
デルを構成する各３角形を単位として行われる。図６
に、顔モデルを構成する１つの３角形の、変形前と変形
後の様子を示す。マッピング処理の１つの例は、図６に
おいて３角形Ａ’Ｂ’Ｃ’内の画素集合に近似的に線形
写像することである。１つの３角形に対する線形写像の
処理手順は図７のようになる。即ち、まず、３角形Ａ’
Ｂ’Ｃ’内の点Ｘ’の斜交座標（ｓ，ｔ）を求める。こ
こで、斜交軸は辺Ａ’Ｂ’と辺Ａ’Ｃ’の２軸としてい
る。次に、３角形ＡＢＣにおける斜交座標（ｓ，ｔ）の
点Ｘの画素値をピックアップし、この画素値を点Ｘ’の
画素とする。以上を３角形Ａ’Ｂ’Ｃ’内のすべての点
Ｘ’について行うとともに、顔モデルを構成する全ての
パッチについて行い、マッピング処理９を終了する。

【００１４】以上のようにして表情変更あるいは、顔の
向きの変化等の変形処理が施された顔画像に対して、眼
鏡フレーム画像６が眼鏡合成処理１０において合成され
る。眼鏡フレーム画像６は何種類か用意されており、変
形処理が顔全体の回転等を含む場合には、顔の角度に応
じて眼鏡を回転させて撮影した眼鏡フレーム画像６を合
成する。あるいは、複数の眼鏡画像を用意しなくとも、
標準顔モデルと同様に、図８に示すようなワイヤーフレ
ームで構成される眼鏡のモデルから眼鏡フレーム画像６
を生成してもよい。例えば、変形処理４において顔を回
転させる変形を施した場合には、その変形に使用した変
形パラメータを使用して眼鏡モデルも回転させ、眼鏡画
像を生成すればよい。眼鏡モデルにマッピングする画像
データは、実際の眼鏡の画像データでもよいし、あるい
は、コンピュータグラフィクス技術を用いて、仮想的に
発生させたパターンでも構わない。なお、眼鏡合成処理
１０の具体的な内容は、従来例の場合と全く同様である
ため説明を省略する。ただし、眼鏡合成処理１０におけ
る、眼鏡フレーム画像６の合成位置７は、モデル整合処
理３において認識された目、耳の位置等から求めること
ができるため、顧客が指定する必要がなく自動的に決定
することができる。最終的に眼鏡合成処理１０において
合成された画像は、図９（ａ）、（ｂ）に示すような表
示画像１１として表示される。

【００１５】

【発明の効果】以上説明したように本発明によれば、眼
鏡レンズ部分について、実際に眼鏡をかけた場合と同じ
ような画像が得られるので、眼鏡フレームの選択におい
て、顧客が少ない時間で、かつ、実際の眼鏡フレームを
装用した場合に非常に近い状況で総合的に判断すること
ができる。

【図面の簡単な説明】

【図１】本発明の実施例による眼鏡装用シミュレーショ
ン装置のブロック図である。

【図２】本発明における標準顔モデルと整合処理につい
て説明した図である。

【図３】本発明における変形処理について説明した図で
ある。

【図４】一般的なレンズの屈折について説明した図であ
る。

【図５】本発明における眼鏡レンズの屈折について説明
した図である。

【図６】本発明におけるマッピング処理について説明し
た図である。

【図７】本発明におけるマッピング処理のフローチャー
トを示した図である。

【図８】本発明の実施例における眼鏡フレームのモデル
の例を示した図である。

【図９】本発明における眼鏡合成画像の例を示した図で
ある。

【図１０】従来例における眼鏡装用シミュレーション装
置のブロック図である。

【図１１】従来例における眼鏡合成処理について説明し
た図である。

【符号の説明】

１顔原画像２標準顔モデル３モデル整合処理４変形処理５レンズデータ６眼鏡フレーム画像７合成位置８レンズ部処理９マッピング処理１０眼鏡合成処理１１表示画像１２眼鏡画像

Claims

【特許請求の範囲】

【請求項１】顔のモデルと顔画像とを整合させる整合
手段と、前記顔のモデルを変形させる変形手段と、変形
させた前記顔のモデルに、前記顔画像をマッピングする
ためのマッピング手段と、マッピングされた画像に眼鏡
画像を合成するための眼鏡合成手段とを備えた、眼鏡装
用シミュレーション装置において、前記眼鏡画像のレンズ部分に、指定されたレンズの屈折
率に従って、屈折量を計算し、対応する前記顔画像をマ
ッピングする手段を備えたことを特徴とする眼鏡装用シ
ミュレーション装置。
【請求項２】眼鏡画像のレンズ部分に、指定されたレ
ンズの色を加算処理する機能を備えたことを特徴とす
る、請求項１記載の眼鏡装用シミュレーション装置。