JP5327866B2

JP5327866B2 - 眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラム

Info

Publication number: JP5327866B2
Application number: JP2009210575A
Authority: JP
Inventors: 克寛北嶋; 謙明田村
Original assignee: NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Current assignee: NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority date: 2009-09-11
Filing date: 2009-09-11
Publication date: 2013-10-30
Anticipated expiration: 2029-09-11
Also published as: JP2011060100A

Description

本発明は、眼鏡のフィッティングシミュレーションシステム及び眼鏡のフィッティングシミュレーション方法及びプログラムに関する。

従来から、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデリングシステムが知られている（例えば、特許文献１参照）。また、眼鏡フレームの形状データと眼鏡装用者の顔画像データを画面に表示し、画面上において、フレーム種類の変更、パーツの変更、パーツ位置の変更を行えるようにした眼鏡のオーダーメイドシステムが知られている（例えば、特許文献２参照）。

特開２００６−１０７１４５号公報特開２００６−１０７１４５号公報

しかしながら、従来の眼鏡のオーダーメイドシステムは、眼鏡フレームの各パーツの種類や取り付け位置を眼鏡装用者の好みに合わせて決定するものであり、眼鏡フレームが眼鏡装用者の顔にフィットするようにフレームや鼻パッド等を調整する作業までをシミュレートするものではなかった。

本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、眼鏡フレームが個人の顔にフィットするように調整する作業をもシミュレートすることが可能な眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラムを提供することにある。

（１）本発明に係る眼鏡のフィッティングシミュレーションシステムは、
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする。

また本発明は、上記各部としてコンピュータを機能させるためのプログラムに関する。

本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。

（２）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。

本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。

（３）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。

（４）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。

本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。

（５）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。

（６）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。

本発明によれば、眼鏡フレームのモダンが個人の耳裏の付け根に沿うように調整する作業をシミュレートすることができる。

（７）本発明に係る眼鏡のフィッティングシミュレーション方法は、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする。

本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例。本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す図。本顔形状モデル生成部により生成された個人の顔形状モデルの一例を示す図。鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理の一例を示すフローチャート。鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。鼻パッドの形状モデルを顔形状モデルの鼻にフィットさせる処理について説明するための図。顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。顔形状モデルにフィットしていない眼鏡フレームの形状モデルの画像の一例を示す図。モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理の一例を示すフローチャート。モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。モダンの形状モデルを顔形状モデルの耳に掛かった状態にさせる処理について説明するための図。顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理の一例を示すフローチャート。モダンの形状モデルを顔形状モデルの耳裏の付け根に沿って曲げる処理について説明するための図。顔形状モデルと眼鏡フレームの形状モデルの画像の一例を示す図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．装置の構成
図１に本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例を示す。なお本実施形態のフィッティングシミュレーションシステムは図１の構成要素（各部）の一部を省略した構成としてもよい。

記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ、ＶＲＡＭなどにより実現できる。そして、本実施形態の記憶部１７０は、ワーク領域として使用される主記憶部１７２と、個人の複数の顔画像が記憶される顔画像記憶部１７４と、標準顔形状モデルのモデルデータが記憶される標準顔形状モデル記憶部１７６と、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルのモデルデータが記憶される眼鏡フレーム形状モデル記憶部１７８と、最終的な表示画像等が記憶されるフレームバッファ１７９とを含む。なお、顔画像記憶部１７４に記憶される個人の複数の顔画像は、個人の顔をデジタルカメラにより異なる撮像方向から複数枚撮像した画像であり、眼鏡のフィッティングシミュレーションシステムに接続された撮像部（デジタルカメラ）から入力されたものでもよいし、外部の情報処理装置から通信部１９６を介して受信したものでもよい。なお、本実施形態では、正面と左右側面の３枚の顔画像が顔画像記憶部１７４に記憶される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、或いはタッチパネル型ディスプレイなどにより実現できる。

通信部１９６は、インターネット等のネットワークを介して外部（ＰＣ、携帯電話等の情報処理装置やサーバ）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

処理部１００（プロセッサ）は、モデル生成処理、モデル変形処理、描画処理などの処理を行う。この処理部１００は主記憶部１７２をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、顔形状モデル生成部１１０、位置合わせ部１１２、眼鏡フレーム形状モデル変形部１１４、描画部１２０を含む。

顔形状モデル生成部１１０は、まず、顔画像記憶部１７４に記憶された個人の複数の顔画像のそれぞれについて複数の特徴点を抽出する。ここで、特徴点とは、顔形状の個人差を表す形状の特徴点（例えば、鼻の最突出点や目尻）をいう。特徴点の抽出は、例えば、任意の輝度を閾値として２値化した顔画像を走査して、各特徴点の定義に合う点を判定することによって行うことができる。次に、顔形状モデル生成部１１０は、撮像方向の違う各顔画像の特徴点の対応関係から、抽出された特徴点の３次元位置情報を算出する。

次に、顔形状モデル生成部１１０は、算出された特徴点の３次元位置情報に基づき、標準顔形状モデル記憶部１７６に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する。標準顔形状モデル記憶部１７６に記憶された標準顔形状モデルは、ポリゴンメッシュ、或いは自由曲面で構成された幾何学形状と、顔画像から抽出する特徴点（第２の特徴点）と一対一で対応する特徴点（第１の特徴点）から構成される。この標準顔形状モデルの第１の特徴点を、算出された第２の特徴点の３次元位置情報に合うように移動し、且つ第１の特徴点以外の幾何学形状部分を第１の特徴点の移動を補間するように変形する。この手法により、特別な測定装置を必要とせずに個人の顔形状モデルを容易に且つ短時間で生成することができる。

位置合わせ部１１２は、顔形状モデル生成部１１０によって生成された個人の顔形状モデルの座標系に、眼鏡フレーム形状モデル記憶部１７８に記憶された眼鏡フレームの形状モデルを配置し、個人の顔形状モデルに対して眼鏡フレームの形状モデルの位置を合わせる処理を行う。例えば、眼鏡フレームの形状モデルを構成するレンズと、顔形状モデルの目との位置関係等に基づいて、眼鏡フレームの形状モデルの位置合わせを行う。

眼鏡フレーム形状モデル変形部１１４は、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する処理を行う。

また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから顔形状モデルまでの距離に基づいて、眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。

また、眼鏡フレーム形状モデル変形部１１４は、前記クリングスの形状モデルの変形後に、前記鼻パッドの形状モデルの接触面の法線と、顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。

また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。

また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。

また、眼鏡フレーム形状モデル変形部１１４は、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。

描画部１２０は、処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより顔形状モデルと、顔形状モデルにフィットさせた眼鏡フレームの形状モデルとを含む画像であって、オブジェクト空間（座標系）の所与の視点（仮想カメラ）から見える画像を生成し、表示部１９０に出力する。

また本実施形態のフィッティングシミュレーションシステムは、眼鏡フレーム形状モデル変形部１１４により変形された眼鏡フレーム形状モデルの形状データ或いは変形データに基づいて、実物の眼鏡フレームを構成する部品を変形する加工機を含むようにしてもよい。

２．本実施形態の手法
次に本実施形態の眼鏡のフィッティングシミュレーション手法について図面を用いて説明する。

２−１．眼鏡フレームの形状モデルと顔形状モデル
図２に、本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す。眼鏡フレームをレンズ保持部分（リム）の形態によって分類すると、フルリム、ハーフリム、リムレスの３つに分けられる。図２では、リムレスタイプの眼鏡フレームを用いた例を示している。

図２に示す眼鏡フレームの形状モデルＧＭは、ブリッジＢＲ、クリングスＣＬ、鼻パッドＮＰ、ヨロイＹＲ、テンプルＴＭ、モダンＭＤ、レンズＬＮ、ブリッジ−レンズ固定ネジＢＮ、レンズ−ヨロイ固定ネジＹＮの各部品の形状モデルから構成される。各部品の形状モデルはポリゴンメッシュにより構成される。なお、図２では、説明の便宜上、各部品の形状モデルを分離して示しているが、実際には各部品の形状モデルは互いに結合して眼鏡フレームの形状モデルＧＭを構成している。フィッティングシミュレーションに用いる眼鏡フレームの形状モデルを複数の部品の形状モデルにより構成することにより、部品ごとに顔形状モデルに合わせて変形することができ、眼鏡フレームの形状モデルを顔形状モデルにフィットさせる処理を容易に行うことができる。

図３に、本顔形状モデル生成部１１０により生成された個人の顔形状モデルの一例を示す。図３に示す顔形状モデルＦＭも、眼鏡フレームの形状モデルＧＭと同様にポリゴンメッシュにより構成される。図３に示すように、顔形状モデルＦＭが記述される座標系は、法医学復顔法の前頭面、正中矢状面、耳眼水平面をそれぞれＸＹ平面、ＹＺ平面、ＸＺ平面とし、この３つの平面が交差する点を原点ＳＰとする座標系である。

２−２．眼鏡フレームの形状モデルの位置合わせ
本実施形態では、眼鏡のフィッティングシミュレーションの前処理として、図３に示す座標系に眼鏡フレームの形状モデルＧＭを配置し、顔形状モデルＦＭに対して眼鏡フレームの形状モデルＧＭの位置を合わせる処理を行う。

まず、眼鏡フレームの形状モデルＧＭの横方向の中心を、図３に示す座標系のＹＺ平面に合わせて、眼鏡フレームの形状モデルＧＭのＸ位置を決定する。次に、眼鏡フレームの形状モデルＧＭを構成するレンズの形状モデルＬＮが顔形状モデルＦＭの側面から見て１０°前傾した状態になるように眼鏡フレームの形状モデルＧＭを回転させる。次に、レンズの形状モデルＬＮの縦幅の中間位置のＹ値（左右の平均値）を求め、そのＹ値にアイポイント高さ値（一般に２ｍｍ）を加えた値が顔形状モデルＦＭの瞳のＹ値（左右の平均値）となるように、眼鏡フレームの形状モデルＧＭのＹ位置を決定する。最後に、レンズの形状モデルＬＮの裏面と顔形状モデルＦＭの瞳間のＺ軸方向の距離（頂点間距離）が所定の距離（一般に１２ｍｍ）となるように、眼鏡フレームの形状モデルＧＭのＺ位置を決定する。

２−３．クリングスの変形と鼻パッドの回転
眼鏡フレームの形状モデルＧＭの位置合わせを行っても、鼻パッドの形状モデルＮＰの位置と傾きが顔形状モデルＦＭの鼻に合っていなければ、鼻パッドの形状モデルＮＰが鼻に対して浮いたり、めり込んだりする。

そこで、本実施形態の手法では、位置合わせが行われた眼鏡フレームの形状モデルＧＭを構成するクリングスの形状モデルＣＬを変形し、且つ鼻パッドの形状モデルＮＰの傾きを変えることで、鼻パッドの形状モデルＮＰを顔形状モデルＦＭの鼻にフィットさせる処理を行う。以下、鼻パッドの形状モデルＮＰを顔形状モデルＦＭの鼻にフィットさせる処理について、図４のフローチャートと、図５、図６（Ａ）、図６（Ｂ）を用いて説明する。

まず、鼻パッドの形状モデルＮＰの接触面（鼻に接触する面）におけるポリゴンを構成する全ての頂点Ｐ_ｉ(i=1,2‥)を求める（図４のステップＳ１０）。次に、頂点Ｐ_ｉを通り、Ｚ軸に平行な直線が顔形状モデルＦＭと交わる点Ｑ_ｉ(i=1,2‥)を求める（ステップＳ１２）。次に、頂点Ｐ_ｉの平均座標値をＰとし、点Ｑ_ｉの平均座標値をＱとしたとき、ＰとＱ間の距離Ｄｚ（図５参照）を求める（ステップＳ１４）。

次に、図６（Ａ）に示すクリングスの形状モデルＣＬの曲げ回転中心点Ｏから先端部分（クリングスの形状モデルＣＬに繋がる鼻パッドの形状モデルＮＰを含む）を、点Ｏを通りＸ軸に平行な軸回りに回転させた場合に、鼻パッドの形状モデルＮＰの接触面が顔形状モデルＦＭに接触するときの角度λ_ｘを求め（ステップＳ１６）、クリングスの形状モデルＣＬの点Ｏから先端部分を角度λ_ｘだけ回転させる（ステップＳ１８）。ここで、Ｐの座標値を(P_x,P_y,P_z)とすると、角度λ_ｘは、次式により求めることができる。但し、ここでは点Ｏの座標値を(0,0,0)として計算している。

次に、図５に示すベクトルＭとベクトル−Ｎとのなす角度αをベクトルＭとベクトル−Ｎの内積から求める（ステップＳ２０）。ここで、ベクトルＭは、クリングスの形状モデルＣＬを角度λ_ｘだけ曲げ回転させた後の、鼻パッドの形状モデルＮＰの接触面を構成する全てのポリゴンの法線を平均したベクトルである。またベクトル−Ｎは、顔形状モデルＦＭにおける鼻パッドの形状モデルＮＰの接触面が接触する部分を構成する全てのポリゴンの法線を平均したベクトルＮの逆ベクトルである。

次に、ステップＳ２０の処理において求めた角度αが所定の閾値γ以内であるか否かを判断し（ステップＳ２２）、閾値γ以内である場合には処理を終了する。閾値γの値は実験的に定めるが、ここでは、見た目上違和感のないγ＝0.2°の値を採用する。

ステップＳ２２の処理において、角度αが所定の閾値γを超えていると判断された場合には、ベクトルＭとベクトル−Ｎの外積をベクトルＡとしたとき、鼻パッドの形状モデルＮＰが回転する点Ｃ（図６（Ｂ）参照）を通りベクトルＡに平行な軸回りに角度αだけ鼻パッドの形状モデルＮＰを回転させ（ステップＳ２４）、ステップＳ１２の処理に進む。以降、角度αが所定の閾値以内となるまでステップＳ１２からステップＳ２４までの処理を繰り返す。

図７に、本実施形態の手法により、鼻パッドの形状モデルＮＰを個人の顔形状モデルＦＭの鼻にフィットさせる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図７に示すように、本実施形態の手法によれば、鼻パッドの形状モデルＮＰを様々な形状の個人の顔形状モデルＦＭにフィットさせることができる。

２−４．ヨロイとレンズの変形
眼鏡フレームの形状モデルＧＭの横幅が顔形状モデルＦＭの横幅に合っていない場合や、モダンの形状モデルＭＤの高さ位置が顔形状モデルＦＭの耳に合っていない場合は、モダンの形状モデルＭＤが顔に対して浮いたり（図８（Ａ）参照）、めり込んだり（図８（Ｂ）参照）、耳に対して浮いたり（図８（Ｃ）参照）して、モダンの形状モデルＭＤが顔形状モデルＦＭの耳に掛からない。

そこで、本実施形態の手法では、眼鏡フレームの形状モデルＧＭを構成するヨロイの形状モデルＹＲを変形してヨロイの形状モデルＹＲの一部とテンプルの形状モデルＴＭ及びモダンの形状モデルＭＤをＸ軸に平行な軸回りに回転させ、且つレンズの形状モデルＬＮを変形して大きさを変えることで、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行う。以下、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理について、図９のフローチャートと、図１０、図１１（Ａ）、図１１（Ｂ）を用いて説明する。

まず、図１０に示すように、モダンの形状モデルＭＤの一方の先端の点Ｓとモダンの形状モデルＭＤの中間の点Ｒとを結ぶベクトルＲＳと、モダンの形状モデルＭＤの他方の先端の点Ｔと中間の点Ｒとを結ぶベクトルＴＲとのなす角度βを、ベクトルＲＳとベクトルＴＲとの内積から求める（図９のステップ３０）。

次に、ベクトルＲＳとベクトルＴＲとの外積をベクトルＫとしたとき、点Ｒを通りベクトルＫに平行な軸回りに角度βだけモダンの形状モデルＭＤの点Ｒから先端までを回転変形し、モダンの形状モデルＭＤを真っ直ぐに伸ばす（ステップＳ３２）。

次に、図１１（Ａ）に示すヨロイの形状モデルＹＲの曲げ回転中心点Ｂから−Ｚ軸方向に位置する眼鏡部品（ヨロイの形状モデルＹＲに繋がるテンプルの形状モデルＴＭとモダンの形状モデルＭＤとを含む）を、点Ｂを通りＸ軸に平行な軸回りに回転させた場合に、モダンの形状モデルＭＤが点Ｈ’（顔形状モデルＦＭの耳におけるモダンの形状モデルＭＤが接触する点ＥとＺ値及びＹ値が一致する点）に接触するときの角度φ_ｘを求め（ステップＳ３４）、ヨロイの形状モデルＹＲの点Ｂから−Ｚ軸方向に位置する眼鏡部品を角度φ_ｘだけ回転させる（ステップＳ３６）。ここで、点Ｔ、点Ｓ、点Ｅの座標値をそれぞれ(T_x,T_y,T_z)、(S_x,S_y,S_z)、(E_x,E_y,E_z)とすると、角度φ_ｘは次式により求めることができる。

ここでは、a=mE_y+nE_z、b=nE_y-mE_z、c=nT_y-mT_z、m=S_y-T_y、n=S_z-T_zとし、点Ｂの座標値を(0,0,0)として計算している。

次に、点Ｅと点Ｈ’間の距離Ｄｘ（図１１（Ｂ）参照）を求める（ステップＳ３８）。ステップＳ３６の処理により、点Ｔ及び点Ｓが角度φ_ｘだけ回転して、それぞれT’(T_x’,T_y’,T_z’)、S’(S_x’,S_y’,S_z’)に移動したとすると、距離Ｄｘは次式により求めることができる。

次に、レンズの形状モデルＬＺの横幅を所定単位だけ変える。通常レンズの加工は１ｍｍ単位であるので、ここでは１ｍｍだけ横幅を変える（ステップＳ４０）。なお、距離Ｄｘが正の値である場合には、横幅を所定単位だけ小さくし、距離Ｄｘが負の値である場合には、横幅を所定単位だけ大きくする。

次に、再び距離Ｄｘを求め、距離Ｄｘが０に最も近くなったか否かを判断し（ステップＳ４２）、距離Ｄｘが０に最も近くなるまでステップＳ４０及びステップＳ４２の処理を繰り返す。

図１２に、本実施形態の手法により、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図１２に示すように、本実施形態の手法によれば、眼鏡フレームの形状モデルＧＭの横幅が顔形状モデルＦＭの横幅に合っていない場合や、モダンの形状モデルＭＤの高さ位置が顔形状モデルＦＭの耳に合っていない場合であっても、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせることができる。

２−５．モダンの変形
本実施形態の手法では、最後に、モダンを顔形状モデルＦＭの耳に掛かった状態にさせる上記処理によって真っ直ぐに伸ばされたモダンの形状モデルＭＤを、顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理を行う。モダンの形状モデルＭＤを顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理について、図１３のフローチャートと図１４を用いて説明する。

まず、図１４に示すように、顔形状モデルＦＭの耳裏の付け根に沿った複数の点Ｅ_ｉ(i=1,2‥n)を求める（図１３のステップＳ５０）。ここで、点Ｅ_１は、モダンの形状モデルＭＤが顔形状モデルＦＭの耳に接触する点Ｅ（図１１参照）と同一の点である。

次に、ｉに１をセットし（ステップＳ５２）、点Ｅ_ｉ−１と点Ｅ_ｉとを結ぶベクトルＵ_ｉと、点Ｅ_ｉと点Ｅ_ｉ＋１とを結ぶベクトルＶ_ｉとのなす角θ_ｉをベクトルＵ_ｉとベクトルＶ_ｉの内積から求める（ステップＳ５４）。ただし、ｉ＝１のときは、モダンの形状モデルＭＤの一方の先端の点Ｔと他方の先端の点Ｓとを結ぶベクトルＴＳをベクトルＵ_ｉとする。

次に、ベクトルＵ_ｉとベクトルＶ_ｉとの外積をベクトルＧ_ｉとしたとき、点Ｅ_ｉを通りベクトルＧ_ｉに平行な軸回りに角度θ_ｉだけモダンの形状モデルＭＤの点Ｅ_ｉから先端までを回転変形する（ステップＳ５６）。

次に、ｉがｎに達したか否かを判断し（ステップＳ５８）、ｉがｎに達していない場合には、ｉにｉ＋１をセットし（ステップＳ６０）、ステップＳ５４の処理に進む。以降、ｉがｎに達するまでステップＳ５４からステップＳ６０までの処理を繰り返す。

図１５に、本実施形態の手法により、モダンの形状モデルＭＤを顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図１５に示すように、本実施形態の手法によれば、モダンの形状モデルＭＤを、様々な形状の個人の顔形状モデルＦＭの耳裏の付け根にフィットさせることができる。

このように本実施形態の手法によれば、位置合わせが行われた眼鏡フレームの形状モデルを構成する部品の形状モデルを、個人の顔形状モデルに合わせて変形することで、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。そして、本実施形態の手法により変形された眼鏡フレームの形状モデルの画像や形状データ或いは各部品の変形データ（例えば、クリングスの曲げ回転角度λ_ｘ、ヨロイの曲げ回転角度φ_ｘ、モダンの曲げ回転角度θ_ｉ）に基づいて、眼鏡フレームの形状モデルに対応する実物の眼鏡フレームを手作業或いは加工機により調整することができ、顧客が店舗に出向くことを要せずに遠隔地で眼鏡フレームの調整を行うことができる。すわなち、顧客はＰＣや携帯電話等の情報処理端末を用いてサーバにアクセスして、異なる撮像方向から撮像した自身の顔画像を送信し、購入を希望する眼鏡フレームを選択するだけで、自身の顔にフィットする眼鏡フレームを手に入れることができる。

３．変形例
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。

例えば、本実施形態では、リムレスタイプの眼鏡フレームを対象とした場合について説明したが、フルリムタイプ或いはハーフリムタイプの眼鏡フレームを対象とするようにしてもよい。この場合には、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行う際に、レンズの形状モデルＬＮの横幅を変化させることに代えて、ヨロイの形状モデルＹＲの曲げ回転中心点Ｂから−Ｚ軸方向に位置する眼鏡部品を、点Ｂを通りＹ軸に平行な軸回りに回転させるようにすればよい。

１００処理部、１１０顔形状モデル生成部、１１２位置合わせ部、１１４眼鏡フレーム形状モデル変形部、１２０描画部、１７０記憶部、１７６標準顔形状モデル記憶部、１７８眼鏡フレーム形状モデル記憶部、１８０情報記憶媒体、１９０表示部、１９６通信部

Claims

標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含み、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを曲げ回転させ、そのときの前記眼鏡フレームの形状モデルを構成するモダンの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するレンズの形状モデルの横幅を変形することで、前記モダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
請求項１において、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。
請求項２において、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻パッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている
場合に、前記鼻パッドの形状モデルを角度αだけ回転させることを特徴とする眼鏡のフィッティングシミュレーションシステム。
請求項１乃至３のいずれかにおいて、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げることを特徴とする眼鏡のフィッティングシミュレーションシステム。
顔形状モデル生成部が、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する手順と、
位置合わせ部が、生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる手順と、
眼鏡フレーム形状モデル変形部が、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する変形手順とを含み、
前記変形手順では、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを曲げ回転させ、そのときの前記眼鏡フレームの形状モデルを構成するモダンの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するレンズの形状モデルの横幅を変形することで、前記モダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーション方法。
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部としてコンピュータを機能させ、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを曲げ回転させ、そのときの前記眼鏡フレームの形状モデルを構成するモダンの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するレンズの形状モデルの横幅を変形することで、前記モダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とするプログラム。