JP7369154B2 - 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム - Google Patents

眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JP7369154B2
JP7369154B2 JP2021023465A JP2021023465A JP7369154B2 JP 7369154 B2 JP7369154 B2 JP 7369154B2 JP 2021023465 A JP2021023465 A JP 2021023465A JP 2021023465 A JP2021023465 A JP 2021023465A JP 7369154 B2 JP7369154 B2 JP 7369154B2
Authority
JP
Japan
Prior art keywords
model
head
measurement point
parametric
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021023465A
Other languages
English (en)
Other versions
JP2021099504A (ja
Inventor
シュワルツ オリバー
イーケ イヴォ
Original Assignee
カール ツァイス アーゲー
カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59295060&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7369154(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by カール ツァイス アーゲー, カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー filed Critical カール ツァイス アーゲー
Publication of JP2021099504A publication Critical patent/JP2021099504A/ja
Application granted granted Critical
Publication of JP7369154B2 publication Critical patent/JP7369154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • G02C13/005Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/17Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/16Customisation or personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Eyeglasses (AREA)
  • Processing Or Creating Images (AREA)

Description

本出願は眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラムに
関する。
ここで、DIN ESO 77998:2006-01及びDIN ESO 8624
:2015-12に準じて、眼鏡フレームは、これにより眼鏡レンズが頭上に装着され得
るフレーム又はホルダーを意味するように理解されるべきである。特に、本明細書で使用
される用語はまた、リム無し眼鏡フレームを含む。口語的には、眼鏡フレームはフレーム
とも呼ばれる。本出願の範囲内で、眼鏡フレームの仮想装着は、通常はディスプレイ(例
えばコンピュータモニタ)上での眼鏡フレームの人の頭への適合化のグラフィック表現に
関連するコンピュータデバイス上で眼鏡フレームのモデルを頭のモデルへ適合化すること
を表す。
頭上の眼鏡フレームの仮想装着は例えば米国特許出願公開第2003/0123026
A1号明細書又は米国特許出願公開第2002/015530A1号明細書から知られて
いる。これらの文献では、眼鏡フレームの仮想装着は主に、ユーザの頭が眼鏡フレームと
共に表示されるグラフィック表現のおかげでユーザが様々な眼鏡フレームの中から選ぶの
を支援する役目を果たす。
米国特許第9,286,715B2号明細書もまた一対の眼鏡の仮想試装着のための方
法を開示する。ここでは、複数の点が眼鏡フレーム上と頭上との両方で定義される。眼鏡
フレームは、眼鏡フレーム上で選択された点が頭上で選択された点と対応付けられるおか
げで頭上に配置される。位置は選択される点を変更することにより変更される。これは、
視覚印象を得る目的のための仮想試装着を提供する米国特許第9,286,715B2号
明細書の目的に十分な精度での位置決めを容易にする。同様に、米国特許出願公開第20
05/162419A号明細書は特徴点の助けを借りた眼鏡フレームの仮想装着について
説明する。この文献では、フレームは、当初スケーリングされ、次に様々な方向に配置さ
れる。最後に、眼鏡フレームの耳当てが2つの空間軸を中心として回転される。
Volumentalは、2017年3月5日時点で「Vacker」ソフトウェアの
デモ映像をhttps://www.volumental.com/face-sca
nning/において利用可能にしており、ここでは、装着された一対の眼鏡を有する頭
が提示され、一対の眼鏡のパラメータがスライダ(例えば鼻梁上の一対の眼鏡の台座)に
より修正可能である又はそうでなければそり角などの他のパラメータが修正可能である。
眼鏡フレームの色又は眼鏡フレームの蝶番の色もまた選択され得る。次に、選択されたパ
ラメータが出力される。この映像では、眼鏡フレームのパラメトリックモデルの様々なパ
ラメータも適応化される。
一対の眼鏡を仮想的に適合化するための別のシステムが米国特許出願公開第2015/
0055085A1号明細書から知られている。ここでは、一対の眼鏡が、適応化される
人の頭上の眼鏡のサイズ及び適合化のおかげで自動的に適合化される。さらに、眼鏡の形
式、スタイル及び色が選択され得る。
一対の適合化された眼鏡(すなわち人の頭へ自動的に適合化された一対の眼鏡)を構築
する方法及び装置は独国特許出願公開第102016824A1号明細書から知られてい
る。この方法では、頭画像データが2又は3次元で記録され、一対の見本眼鏡が選択され
、この一対の見本眼鏡は一対の見本眼鏡の構築パラメータに基づき表される。構築パラメ
ータは頭画像データに基づき判断される。
米国特許出願公開第2015/0277155A1号明細書は眼鏡フレームのフレーム
の個人化を開示し、この範囲内では、距離が人の顔上で測定され、眼鏡フレームはこの測
定された距離に基づく3D印刷により生成される。
米国特許出願公開第2013/0088490A1号明細書は、眼鏡フレームを適合化
する反復方法を開示する。ここでは、眼鏡フレームはいくつかの小さな段階を経て置かれ
、適合化は衝突検出に基づき実施される。衝突検出では、眼鏡フレームが人の頭と重なる
かどうかに関してのチェックが行われる。
米国特許第8733936B1号明細書は一対の眼鏡を人の頭の画像記録の助けを借り
て人の頭へ適合化するための方法及びシステムを開示する。
国際公開第2014/037915A1号パンフレットは同様に、一対の眼鏡を人の頭
へ適合化するための方法及びシステムを開示し、ここでは、一対の眼鏡が適合化されるよ
うに意図された人の顔の画像内に特性点が識別される。
例えばオペレータによりシステムへ入力される解剖学的データ入力に基づき人の頭へ適
合化される一対の眼鏡を適合化する別の方法及びシステムは米国特許第9703123B
2号明細書又は米国特許出願公開第2016/062152A1号明細書。から知られて
いる。
米国特許出願公開第2015/0293382A1号明細書は装着された例示的フレー
ムを有する人を記録することによる一対の眼鏡の仮想試装着のためのパラメータの判断を
開示する。この例示的フレームにより判断されるパラメータは仮想フレームの仮想試装着
に応じて修正される。人は記録中に眼鏡フレームを既に装着しているので、眼鏡フレーム
の無い頭のいかなる3次元モデルもこの場合使用されない。
記事“Virtual Try-On of Eyeglasses using 3
D-Model of the Head”,Institute for Infoc
omm Research,December 2011,DOI:10.1145/2
087756.2087838において、Niswar、Kahn及びFarbizは一
対の眼鏡を仮想的に試装着する方法について説明している。これは4つの基準点(2点は
耳上に存在し、2点は鼻上に存在する)に基づく。ここでは、頭の3Dモデルが、2~3
個の特徴点に基づき頭の汎用モデルを変形することにより適応化される。
米国特許出願公開第2016/0327811A1号明細書はフレームの仮想モデルか
ら進む方法を説明する。この方法はフレームの仮想モデルから進む。フレームは変形によ
り頭へ適合化される。眼鏡フレームを適合化する目的のために、以下の適合化判断基準が
ここでは実施され得る:例えば、鼻パッドと人の鼻との間の接触領域の最大化、眼鏡耳当
ての接触領域の最大化、眼に対する眼鏡フレームのフレームリムの心取り、眼鏡フレーム
のアラインメント又は、フレームリムと人の頬骨と人の眉毛との接触領域の最小化。
目標値を設定することが、これらの判断基準に対する可能な拡張として規定される。一
例として、このような目標値は、眼鏡フレームの2つの眼鏡耳当て間の距離、フレームの
「装用時」前傾角、フレームのパッド間の距離、眼鏡リムからの眼の距離、眉毛及び頬骨
からの眼鏡リムの距離、眼鏡フレームの「装用時」前傾角、又は眼鏡フレームのそり角に
関連し得る。これらのパラメータ及び目標値は費用関数に含まれ、最適化は従来の最適化
処理(例えばLevenberg-Marquardtアルゴリズム)により行われる。
次に、フレームはさらに変形され得る。
この処理における問題は「グローバル最適条件は、Levenberg-Marqua
rdtアルゴリズムなどの最適化方法が通常は費用関数の局所最小値だけを発見し得るの
でこのような最適化処理を使用することにより必ずしも達成される必要がない」というこ
とである。眼鏡フレーム又は頭のために採用された3Dモデルにおける表面のうねりの場
合、最適化は最適条件からかけ離れたこのような表面うねり内で「行き詰まり」得、した
がって最適適合化は実現されない。
さらに、このような最適化方法による最適化は多くのパラメータが使用されれば多くの
コンピュータ費用を必要とする。これは、比較的多くのパラメータが最適化されなければ
ならないパラメトリックフレームモデルの使用をより困難にする。
上に引用された多くの文献:例えば米国特許第9,286,715B2号明細書、米国
特許出願公開第2005/162419A1号明細書、米国特許出願公開第2016/0
327811A1号明細書では、例えば頭の鼻上の点が、頭の3Dモデル上に印され、次
に、眼鏡フレームのモデルの適合化のために使用される。これらの点は本質的に、与えら
れるものと仮定される。米国特許第9,286,715B2号明細書では、これらの点を
取得するための画像処理が全面的に参照され、米国特許出願公開第2016/03278
11A1号明細書もまた、ここではいかなる詳細な指摘も与えないが、コンピュータ支援
判断を参照する。
米国特許出願公開第2005/0162419A1号明細書は点を頭モデル上に定義す
る方法を開示し、ここでは、人の2D画像が記録され、2D像点が印される。次に、これ
らの点は標準頭モデルへ転送される。次に、眼鏡フレームがこれらの点に基づき適合化さ
れる。したがって、ここではまた、ユーザが対応点を人のそれぞれの顔上に印す必要があ
り、これは時間がかかる。
国際公開第2016/164859A1号パンフレットは人の頭の3Dモデルを実現す
るための2つの異なる可能性を開示する。第1の手順では、一般的パラメトリック頭モデ
ルが例えばユーザにより入力される解剖学的パラメータに基づき人へ適合化される。この
適合化はまた、パラメトリックモデルの特定特徴が人の画像記録へ対応付けられることに
より行われ得る。別の手順では、パラメトリックモデルは人の解剖学的データに基づき新
たに生成される。いずれの場合も、パラメトリックモデルは眼鏡フレームの位置決めに関
係する領域内で特に詳述され得る。一対の眼鏡を適合化することに関係する測定点がここ
ではいくつかの他のやり方で画像記録に基づき同様に定義され得る。したがって、ここで
は追加画像記録が必要とされる。
米国特許出願公開第2005/0162419A1号明細書から進んで、本発明の目的
は、一対の眼鏡を適合化する方法並びに対応コンピュータプログラム及び装置もまた提供
することであり、ここでは、一対の眼鏡が適合化されるように意図された人の顔上又は頭
のモデル上に個々にユーザが点を印す必要無しにそして国際公開第2016/16485
9A1号パンフレットと同様に画像記録の分析を行う必要性無しに点のうちの少なくとも
いくつかが自動的やり方で人の頭の3Dモデル上に定義され得る。
この目的は、請求項1に記載の方法、請求項11、12又は13に記載のコンピュータ
プログラム、請求項14又は15に記載のコンピュータ可読記憶媒体、請求項16に記載
のコンピュータ可読データ媒体、請求項17に記載のデータ媒体信号、及びまた請求項1
8、19、20又は21に記載の装置により達成される。従属請求項は別の実施形態を定
義する。このような方法の助けを借りて適合化された眼鏡フレームを製造する方法が追加
的に提供される。
本発明は、一対の眼鏡の仮想適合化のためにコンピュータにより実行されるコンピュー
タ実施方法又は方法を提供し、ここでは、第1の測定点が人の頭の3Dモデル上に定義さ
れ、眼鏡フレームのモデルが第1の測定点に基づき人の頭の3Dモデルへ適合化される。
本方法は、第1の測定点を定義する工程が、パラメトリック頭モデルを人の頭の3Dモデ
ルへ適合化する工程と、パラメトリック頭モデル上に定義された第2の測定点に基づき第
1の測定点を判断する工程と、パラメトリック頭モデルを頭の3Dモデルへ適合化する工
程とを含むことを特徴とする。
測定点は、一対の眼鏡のその後の適合化のために(特に頭上の距離などの変数を測定す
るために)使用され得るモデル上の点を一般的に意味するものとここでは理解される。
この方法のおかげで、パラメトリック頭モデル上の第2の測定点は一回だけ定義される
必要がある。次に、その上に定義された第2の測定点を有するこのパラメトリック頭モデ
ルは、これらの3Dモデル上の第1の測定点を定義するために様々な人間の頭の3Dモデ
ルのために使用され得る。したがって国際公開第2016/164859A1号パンフレ
ットにおける手順とは対照的に、ここでは、人の画像も他の情報項目も使用されなく、2
つのモデル(すなわちパラメトリック頭モデル及び人の頭の3Dモデル)が使用され、一
方、国際公開第2016/164859A1号パンフレットでは1つのモデルだけが使用
される。
上に述べたようにパラメトリック頭モデル上に第2の測定点を一回定義することは、上
記方法の文脈で行われてもよいし、又はそうでなければ別個に及び/又は前もって行われ
てもよい(例えば異なるコンピュータ上で)。したがって、上記方法はパラメトリック頭
モデル上に第2の測定点を定義する工程を含み得る、又は第2の測定点は、例えばパラメ
トリック頭モデル上に第2の測定点を定義する工程を含む方法が別個に提供されるという
おかげで前もって定義され提供され得る。次に、第2の測定点は、例えば3Dモデル毎の
点が手動で定義される必要無く、人に依存して複数の異なる3Dモデルに使用され得る。
上に述べられ後で説明される方法において使用される用語はまた、以下のように説明さ
れる:
適合化は、この処理がパーソナルコンピュータ(PC)などのコンピュータデバイス上
で行われるので「仮想的」であり、実際の眼鏡フレームは実際の頭の上に置かれない。
モデル(特に3Dモデル)は、記憶媒体(例えばコンピュータのメモリ又はデータ媒体
)内でデータ記録として利用可能である現実物体の3次元表現を意味するものと理解され
るべきである。一例として、このような3次元表現は一組の3D点(頂点とも呼ばれる)
とこれらの点間の接続(縁とも呼ばれる)とからなる3Dメッシュあり得る。最も単純な
場合、この接続は三角形メッシュを形成する。3Dメッシュとしてのこのような表現は物
体の容積ではなく表面だけを記述する。メッシュは必ずしも閉じられる必要はない。した
がって、頭が例えばメッシュの形式で記述されれば、頭はマスクのように見える。このよ
うな3Dモデルに関する詳細は、Rau J-Y,Yeh P-C,“A Semi-A
utomatic Image-Based Close Range 3D Mode
ling Pipeline Using a Multi-Camera Confi
guration.”Sensors(Basle,Switzerland).201
2;12(8):11271-11293.doi:10.3390/s1208112
71;特に11289頁,図16に見出される。
ボクセルグリッド(容積型表現を表す)は3Dモデルを表すための別の選択肢である。
ここでは、空間は小さい立方体又は直方体(ボクセルとも呼ばれる)に分割される。最も
簡単な場合、表される物体の有無がボクセル毎に2進値(1又は0)の形式で格納される
。1mmのボクセルの縁長さ及び300mm×300mm×300mmの容積(頭の典型
的な容積を表す)の場合、合計2700万のこのようなボクセルが結果的に得られる。こ
のようなボクセルグリッドは例えばM.Niessner,M.Zollhoefer,
S.Izadi,及びM.Stamminger,“Real-time 3D rec
onstruction at scale using voxel hashing
”.ACM Trans.Graph.32,6,Article 169(Novem
ber 2013),DOI:https://doi.org/10.1145/25
08363.2508374に記載されている。
特に、頭の3Dモデル及び/又は眼鏡フレームの3Dモデルはテクスチャを有する3D
モデルであり得る。テクスチャを有する3Dモデルは、現実物体の表面点の色情報アイテ
ムを追加的に含む3Dモデルを意味するものと理解される。テクスチャを有する3Dモデ
ルの使用は頭及び眼鏡フレームの真の色表現を容易にする。
ここでは、色情報アイテムが属性として(例えばRGB(赤緑青)色値として)頂点に
直接含まれ得る、又は一対のテクスチャ座標が属性として各頂点へ添付される。頂点は上
に述べたように3Dモデルの点を表す。ここで、属性は通常、物体へ割り当てられる特徴
、特性など(本ケースでは特定頂点)を表す(2017年7月5日時点の独語ウィキペデ
ィア記事“Attribut(Objekt)”[“Attribute(Object
)”]も参照)。このとき、これらの座標は追加テクスチャ画像内の画像座標(画素位置
)であると理解されるべきである。このとき、三角形メッシュの前述の三角形のテクスチ
ャは例えばテクスチャ画像の画素からの補間により生成される。
パラメトリックモデルは1つ又は複数の可変パラメータを有する3Dモデルである。こ
のとき、3Dモデルにより記述される物体(この場合眼鏡フレーム)の幾何学形状は、パ
ラメータ又はパラメータ群を変更することにより変化する(例えばサイズ又は形式に関し
)。このようなパラメータの例は、例えば眼鏡フレームの鼻梁幅又は耳当て長さ又はそう
でなければ眼鏡フレームのフレームリムの形式を含む。これらのパラメータのタイプ及び
数は、パラメトリックフレームモデルにより表される眼鏡フレームに依存する。特に、眼
鏡フレームの製造業者はパラメータの値範囲を設定し得、このとき、パラメータの値範囲
は製造されることができる眼鏡フレームをそれに応じて記述する。自由フレームパラメー
タはパラメトリックフレームモデルのパラメータ(本方法の範囲内で未だ設定されていな
いパラメータ、すなわち依然として適合化され判断されるべきパラメータ)を意味するも
のと理解される。
適合化ガイドラインは、どのように眼鏡フレームが眼、瞳、眉毛又は鼻などの頭上の領
域又は点に対し位置決めされるべきかに関係する仕様である。パラメトリックフレームモ
デルに固有なこれらの適合化ガイドラインは、特に眼鏡フレームの製造業者により望まれ
る美的印象を保証するために使用される。固有適合化ガイドラインは、それぞれの製造業
者により例えば適切なファイルとしてパラメトリックフレームモデルと共に電子的形式で
提供され得る。
対照的に、解剖学的適合化は、頭上の眼鏡フレームの正しい快適な適合化を保証するよ
うに意図された適合化に関係する。この目的のため、それぞれの眼鏡フレームに固有な判
断基準ではないが、むしろ耳上の眼鏡耳当ての正しい適合又は一対の眼鏡の鼻パッドの正
しい適合など複数の眼鏡フレームへ一般的に適用可能な判断基準が使用される。解剖学的
適合化はまた、頭の領域までの最小距離を保証すること(例えば眼鏡フレームのフレーム
リムと頬骨及び/又は頭の眉毛部との間の最小距離を保証すること及び/又はまつ毛まで
の最小距離を保証すること)を含み得る。解剖学的適合化の別の例は、眼鏡レンズと眼と
の間の意図された距離(すなわち頂点間距離(vertex distance:独語略
称HSA))又はこの距離の意図された範囲の設定にある。ここで頂点間距離は眼の角膜
の前面と眼に面する眼鏡レンズの表面との間の距離である。一例として、解剖学的適合化
は、意図された12mmの頂点間距離又は12mm~17mmの範囲の頂点間距離が遵守
されることを保証し得る。この理由は、眼鏡レンズはまつ毛との接触を回避するとともに
レンズ上の凝結(発汗)を回避するためには眼に対し余りに近くに置かれるべきでないと
いうことである。さらに、何人かの眼鏡技師は、球面円柱状屈折を測定するために使用さ
れるフォロプタにおいて初期設定される頂点間距離からの頂点間距離の偏差を回避するこ
とを好む。比較的大きな頂点間距離は屈折力を正のジオプタ値の方向に修正するので、遠
視の場合(すなわち所謂正レンズが必要とされる場合)には較的大きな頂点間距離が恐ら
く好ましいかもしれない。したがって、屈折測定の結果に基づく意図された頂点間距離が
有利なやり方で使用され得る。
適合化ガイドラインはテキスト形式で(例えば処理を簡単にするxml又はJSONフ
ァイルとして)利用可能なことが好ましい。
本出願の範囲内で、「人」は、その頭が眼鏡フレームへ最終的に適合化されるべき人を
表す。「ユーザ」は、眼鏡を適合化するための装置及び方法を操作し行う人を表す。これ
はその人自身でもよいが誰か他の人(例えば眼鏡技師)でもよい。
好適なパラメトリック頭モデルは、例えばA.Brunton,A.Salazar,
T.Bolkart,S.Wuhrer,“Review of Statistica
l Shape Spaces for 3D Data with Comparat
ive Analysis for Human Faces”,Computer V
ision and Image Understanding,128:1-17,2
014に記載されている、又はそうでなければ頭モデルは、J.Booth,A.Rou
ssos,S.Zafeiriou,A.Ponniahy and D.Dunawa
y,“A 3D Morphable Model Learnt from 10,0
00 Faces”,2016 IEEE Conference on Comput
er Vision and Pattern Recognition(CVPR),
Las Vegas,NV,2016 pages 5543~5552,doi:10
.1109/CVPR.2016.598に記載されている。
好適には、パラメトリック頭モデル上に第2の測定点を定義することは、パラメトリッ
ク頭モデルの標準頭上に第2の測定点を定義することにより行われる、又は、第2の測定
点はパラメトリック頭モデルの標準頭上に前もって定義される。この場合、標準頭は、パ
ラメトリック頭モデルのパラメータが所定値を採るパラメトリック頭モデルの頭である。
主成分分析に基づく頭モデルの場合、例えば、主成分の基礎となるデータの平均値が標
準モデルであり得る。
このようにして、本方法のための定義された出発点を提供することが可能である。
次に、標準頭上で定義された特徴は適合化に従って適合化されたパラメトリック頭モデ
ルへ転送され得る、すなわち、適合化されたパラメトリック頭モデルを形成する標準頭の
代替物に従って、第2の測定点もまた、適合化された頭モデル上の対応位置に存在するよ
うにそれに応じて変更される。これに関し、第2の測定点は適合化された頭モデルへ簡単
なやり方で転送され得る。このような点の転送の基本原理は上に引用したJ.Booth
らの参考文献のセクション4.1に説明されている。
次に、第2の頭モデルへ転送される第2の測定点は、頭モデルの適合化が十分に正確で
あれば第1の測定点として直接使用され得る。十分に正確なものは、眼鏡のその後の適合
化の所望精度と、頭の3Dモデルを生成するために使用される測定システムの精度とに依
存する。この点に関し、一例として、0.2mmの測定システムの精度と0.5mmの点
の所望精度とを所与として、パラメトリック頭モデルの適合化の助けを借りて、同様に0
.5mmの精度が達成されるだろう。測定システムが著しく劣悪な精度を有すれば、誤差
の分布が重要である:ガウス分布を有する誤差の場合、平滑化が適合化の結果として得ら
れ、最大偏差という意味での精度が通常は適合化により改善される。代替的に、第2の測
定点を判断することは、転送された測定点を頭の3Dモデルへ投影することを含み得る。
このような投影の結果として、第1の測定点は簡単なやり方で判断され得る。投影目的の
ために、それぞれの転送された第2の測定点と適合化されたパラメトリック頭モデル上の
法線ベクトルとの交点が例えばそれぞれの第1の測定点として使用され得る。
適合化は従来の適合化アルゴリズムの助けを借りて行われ得る(2017年5月22日
時点の独語ウィキペディア記事“Ausgleichsrechnung”[“Curv
e fitting:曲線適合法”]を参照)。
本方法は、頭の3Dモデルの領域を識別する特徴を形成するために複数の第1の測定点
を組み合わせる工程を含み得る。このような特徴の助けを借りて、眼鏡フレームは、適合
化に関係する3Dモデルの領域を特徴が識別すれば効率的に適合化され得る。特徴の例は
例えば鼻翼、額の曲率又は耳の基部を含む。
この場合、組み合わせることは幾何学的基本要素又は関数を複数の測定点へ適合化する
ことを含み得る。このような幾何学的基本要素の例は、面、円の弧、球又は円柱の弧であ
る。関数の例はスプライン関数を含む。この結果、複数の測定点は少数のパラメータ(例
えば、面の場合の基準点と法線ベクトル、額の曲率の場合の半径と中間点)により記述さ
れ得、データが少ないので処理を容易にする。フレームモデルはパラメトリックフレーム
モデルを含み得る。
特徴としての鼻翼により、例えば、次に、パラメトリックフレームモデルの鼻梁幅は、
パラメトリックフレームモデルの鼻パッドが鼻翼と合致されることにより簡単なやり方で
適合化され得る。パラメトリックフレームモデルの耳当て長さは、測定点又は特徴として
の耳の基部における点により判断され得る。DIN EN ISO 13666:201
2 5.18に従う眼鏡フレームの前傾角(すなわちフレームリムの傾斜)は、フレーム
リムと人の3Dモデルの頬を記述する特徴との間の距離を判断することにより判断され得
る。このようにして、パラメトリックフレームモデルの様々なパラメータが簡単なやり方
で適合化され得る。
本方法は、第1の測定点又は上に説明した特徴に基づく頭の3Dモデルの別の測定点の
計算を含み得る。このような計算される別の測定点の例は、頬領域内の第1の測定点から
の耳の基部における点及び/又は耳上の第1の測定点を含む。この場合、耳の基部におけ
る点は、眼鏡フレームの適合化中に眼鏡耳当てが静止することになる点である。他の例示
的実施形態では、耳の基部における点は、第2の測定点に基づき判断される第1の測定点
のうちの1つであり得る。
このような方法では、耳の基部における点のような別の測定点は髪の毛により隠された
場合ですら計算され得る。この場合、計算される別の測定点は、3Dモデル上に必ずしも
存在する必要は無く、むしろそれから一定距離に在ってもよい。
別の測定点を計算するために、第1の測定点とこのような別の測定点との間の所定幾何
学的関係を使用することが可能である。この場合、幾何学的関係はどのように別の測定点
が第1の測定点に対して位置を定められ得るかを規定する。その例として、別の測定点の
計算は一組の第1の測定点の線形結合を含み得る。別の例として、別の測定点の計算は第
1の測定点に基づく外挿を含み得る。この場合、曲線又は領域モデル(例えば1つ又は複
数の自由パラメータを有する曲線又は領域)を補間による又は誤差関数による近似により
一組の第1の測定点に基づき計算することが可能である(例えば自由パラメータが適合化
処理により判断されるという意味で)。
一例として、多項式曲線が、頬上に在る第1の測定点へ適合化され得る。外挿の過程で
、前記多項式曲線は耳の方向に在る領域内で評価され、このようにして計算された別の測
定点が判断される。
さらに、プロセッサ上で実行されると上記方法のうちの1つを行うプログラムコードを
含むコンピュータプログラムも提供される。最後に、コンピュータプログラムを格納する
メモリを含むプロセッサとこのコンピュータプログラムを実行するためのプロセッサとを
含む対応装置が提供される。
コンピュータによりプログラムが実行されるとコンピュータに上述の方法を行わせる指
示を含むコンピュータプログラムも提供される。
コンピュータによりプログラムが実行されるとコンピュータに人の頭の3Dモデル上の
第1の測定点であって一対の眼鏡のその後の適合化に使用され得るモデル上の測定点を定
義する工程と、眼鏡フレームのモデルを第1の測定点に基づき頭の3Dモデルへ適合化す
る工程とを行わせる指示を含むコンピュータプログラムにおいて、第1の測定点を定義す
る工程はパラメトリック頭モデルを人の頭の3Dモデルへ適合化する工程と、パラメトリ
ック頭モデル上に定義された第2の測定点に基づき第1の測定点を判断する工程と、パラ
メトリック頭モデルを頭の3Dモデルへ適合化する工程を含むことを特徴とする、コンピ
ュータプログラムも提供される。
加えて、上に説明したものの中から別の方法工程が行われ得る。
コンピュータにより実行されるとコンピュータに上述の方法を行わせる指示を含む特に
触知可能なコンピュータ可読記憶媒体も提供される。記憶媒体の例は、CD又はDVDな
どの光記憶媒体、ハードディスクドライブなどの磁気記憶媒体、又はフラッシュメモリ又
は読み取り専用メモリ(ROM)などの固体記憶装置を含む。
コンピュータにより実行されるとコンピュータに人の頭の3Dモデル上の第1の測定点
であって一対の眼鏡のその後の適合化に使用され得るモデル上の測定点を定義する工程と
、眼鏡フレームのモデルを第1の測定点に基づき頭の3Dモデルへ適合化する工程とを行
わせる指示を含む特に触知可能なコンピュータ可読記憶媒体において、第1の測定点を定
義する工程はパラメトリック頭モデルを人の頭の3Dモデルへ適合化する工程と、パラメ
トリック頭モデル上に定義された第2の測定点に基づき第1の測定点を判断する工程と、
パラメトリック頭モデルを頭の3Dモデルへ適合化する工程を含むことを特徴とする、コ
ンピュータ可読記憶媒体も提供される。
加えて、上に説明したものの中から別の方法工程が行われ得る。
上述のコンピュータプログラムを格納する特に触知可能なコンピュータ可読データ媒体
も提供される。
さらに、上述のコンピュータプログラムを伝送するデータ媒体信号が(例えばインター
ネットなどのネットワークを介し)提供される。
上述の方法を行う手段を含むデータ処理及び/又は一対の眼鏡を適合化するための装置
も提供される。
人の頭の3Dモデル上の第1の測定点であって一対の眼鏡のその後の適合化に使用され
得るモデル上の測定点を定義する手段と、眼鏡フレームのモデル(120)を第1の測定
点に基づき頭の3Dモデルへ適合化する手段とを含むデータ処理のための及び/又は一対
の眼鏡の適合化のための装置において、第1の測定点を定義する手段はパラメトリック頭
モデルを人の頭の3Dモデルへ適合化する手段と、パラメトリック頭モデル上に定義され
た第2の測定点に基づき第1の測定点を判断する手段と、パラメトリック頭モデルを頭の
3Dモデルへ適合化する手段を含むことを特徴とする、装置も提供される。
この目的のため、任意選択的に、上記方法の別の工程を行う別の手段も追加的に提供さ
れ得る。
上述の方法を行うように構成されたプロセッサを含むデータ処理のための及び/又は一
対の眼鏡の適合化のための装置も提供される。
上述のコンピュータプログラム及び装置は本方法に関して説明したのと同じ特性を有し
得る。
さらに、上述の方法を行う工程、第1の測定点を使用することによる頭の3Dモデルへ
の眼鏡フレームの仮想適合化工程、及び適合化された眼鏡フレームを製造する工程を含む
眼鏡フレームを製造する方法が提供される。
したがって、第1の測定点を含む3Dモデルであって上述の方法によって提供される3
Dモデルが眼鏡フレームの仮想適合化のために当初使用される。眼鏡フレームの仮想適合
化自体は、最初に説明された従来技術において説明したように実施され得る。次に、この
ようにして仮想的に適合化された眼鏡フレームは、最初に引用された従来技術において説
明したのと同様に実物の眼鏡フレームとして製造され得る。製造は3D印刷などの加法的
方法により実施され得る、例えば;この点の概要に関して、2018年6月25日時点の
独語ウィキペディア記事“Generatives Fertigungsverfah
ren”[”Additive manufacturing method”]を参照
されたい。
本発明は添付図面を参照して好ましい例示的実施形態に基づき以下にさらに詳細に説明
される。
例示的一実施形態による一対の眼鏡の仮想適合化のための装置を示す。 図1のカメラデバイスの実施形態の例を示す。 例示的一実施形態による一対の眼鏡を適合化する方法の概要を提供する流れ図を示す。 図3の方法において使用可能である例示的一実施形態による方法の流れ図を示す。 図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。 適合化ガイドラインにおいて参照され得る頭の特徴を解明するための図を示す。 図4の方法工程40又は図5の工程54の詳細な実施形態を示す。 補助的特徴を説明するための線図を示す。 適合化を解明するための頭の概略図を示す。 適合化ガイドラインに基づき適合化を解明するための頭の別の概略図を示す。 図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。 図11の方法の詳細な実施形態の流れ図を示す。 図13A-図13Dは、頭モデルを解明するための図解を示す。 頭モデルを解明するための図解を示す。 図12の方法における一対の眼鏡を適合化する部分的工程を解明するための線図を示す。 鼻梁幅を解明するためのフレームモデルの図を示す。
図1は、例示的一実施形態による一対の眼鏡の仮想適合化のための装置の例示的実施形
態を示す。図1の装置は、プロセッサ12及びメモリ13を含むコンピュータデバイス1
1を含む。メモリ13は、データを格納する役目を果たし、図1の例示的実施形態では、
ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)及び1つ又は複数の
大量記憶媒体(ハードディスク、固体ディスク、光ドライブなど)を含む。プロセッサ1
2上で実行されると、上に既に詳述された又は以下にさらに詳細に説明される一対の眼鏡
を仮想適合化する方法を行うために使用されるプログラムがメモリ13内に格納される。
図1の装置はさらに、コンピュータプログラムがプロセッサ12上で実行されると眼鏡
フレームと共に人の頭を表示するディスプレイ16を含む。ユーザ入力は1つ又は複数の
入力機器17(例えばキーボード、マウス)により実施され得る。追加的に又はその代わ
りに、ディスプレイ16は、入力を実施することができるために接触感知画面(タッチス
クリーン)であり得る。
図1の装置はさらに、これによりデータが受信され得るネットワーク18へのインター
フェース14を含む。特に、ここでは眼鏡フレームのパラメトリックフレームモデルと関
連適合化ガイドラインとを眼鏡の製造業者から受信することが可能である。いくつかの例
示的実施形態では、データがまた、例えばこの一対の眼鏡の適合化に必要とされる計算の
一部分を行うためにインターフェース14を介し別のコンピュータデバイスへ送信される
。一対の眼鏡が適合化されるべき人の頭の3Dモデルを生成するために、図1の装置は任
意選択的に、これにより人の複数の画像が様々な方向から記録され得るとともに3Dモデ
ルが判断され得るカメラデバイス15を含む。画像記録に基づく3Dモデルのこのような
判断に関する情報は、例えばH.Hirschmueller,“Stereo Pro
cessing by Semiglobal Matching and Mutua
l Information”in IEEE Transactions on Pa
ttern Analysis and Machine Intelligence,
vol.30,no.2,pp.328-341,Feb.2008.doi:10.1
109/TPAMI.2007.1166に見出される。
図2は図1のカメラデバイス15の実施形態を示す。図2の例示的実施形態では、カメ
ラの半円状配置110が柱19へ固定される。次に、人は、図2に示すように人の頭11
1が半円状配置110で位置決めされそして様々な方向から記録され得るようなやり方で
自らを位置決めし得る。次に、頭111の3Dモデルが頭111から生成され得る。テク
スチャ(すなわちモデルの色(上に説明したような)に関する情報)もまた画像記録から
生じる。さらに、このような装置は欧州特許出願第17153556.0号明細書に記載
のように心取り測定のために使用され得る。
図3は例示的一実施形態による一対の眼鏡の仮想適合化の方法全体の流れ図を示す。本
発明は特にこの方法の部分的工程に関する。
本方法は工程30で始まる。工程31では、頭モデルメタデータを含む頭の3Dモデル
がメモリからロードされる。この3Dモデルは、図1と図2を参照して上に説明したよう
に画像記録の助けを借りて生成されてもよいし、例えばある人に対する一対の眼鏡の以前
の調整から既に利用可能な3Dモデルであってもよい。
頭モデルメタデータは、モデル自体ではなく3Dモデルの特徴に関する情報項目を含む
データである。特に、メタデータは、頭の3Dモデルに関する追加情報を提供し得る、及
び/又は頭の3Dモデル上のいくつかの点、曲線又は領域を含み得る。このようなメタデ
ータの使用に関するさらなる詳細もまた欧州特許出願第17173929.5号明細書に
見出される。
パラメトリックフレームモデルにより記述される眼鏡フレームの基本モデルが工程32
において選択される。パラメトリックフレームモデルは自由パラメータ(すなわち判断さ
れるべきパラメータ)を有する。このような自由パラメータの例は、特にパラメトリック
フレームモデル(特に眼鏡フレームの鼻梁幅又は耳当て長さ又はそうでなければ眼鏡フレ
ームのフレームリムの形式)の記述の文脈においてさらに上の方で既に規定された。
工程312において、パラメータの少なくともいくつかが次に、上に記載されたそして
以下にさらに詳細に説明されるフレームモデルに関連付けられた適合化ガイドラインに基
づき計算される。他のパラメータが、同様に既に説明されたように解剖学的適合化に基づ
き判断される。
次に、工程33~310では、より深い解剖学的適合化による眼鏡の仮想装着がある。
この目的を達成するために、工程33では、欧州特許出願第17173929.5号明細
書において既に述べられたような配置点及び鼻梁静止点に基づく近似的位置決めがある。
眼鏡耳当ては、頭の耳の方へ開かれて折り曲げられ、配置される。ここでは、工程34及
び35において、一対の眼鏡のx軸を中心とする回転があり得る。ここで、x軸は頭内の
眼同士を結ぶ方向に対応し、z方向は耳当ての方向にほぼ対応し、y方向はそれに対し垂
直である。一対の眼鏡の接触領域はxy面内の微細位置決めにより工程36において最適
化される。さらに、工程312において未だ設定されていないパラメータがここでさらに
適応化され得る。この場合の工程34~36は欧州特許出願第17173929.5号明
細書に記載された対応工程に対応する。この適合化の範囲内で、パラメトリック眼鏡モデ
ルは、特にパラメータが工程312において判断された後に変形及び配置され得る。
次に、フレーム及び頭が工程37において描画される、すなわち図1のディスプレイ1
6上に適切な表現が存在する。この描画も欧州特許出願第17173929.5号明細書
において既に説明された。ここで、描画又は画像合成は、生データ(この場合はそれぞれ
のモデルからの)に基づく画像の(例えばコンピュータモニタ上の表示のための)生成で
あると理解される。
次に、工程38では、工程39に示すように様々な結果を有し得るユーザとモデルとの
相互作用がある。したがって、例えば異なる方向から頭を観測するために単純にナビゲー
ションがあり得る。この場合、新しい描画が工程37においてある。
工程39における相互作用はまた、x軸を中心とするフレームの回転の手動適応化を可
能にする。この場合、本方法は、例えばフレームの新しい位置に従って耳当てを判断する
ために工程35へ戻る。
さらに、モデルとユーザとの相互作用のおかげで、頭モデルの鼻梁上の眼鏡フレームの
位置も本装置のユーザにより適応化され得る。これは工程33において設定された眼鏡フ
レームの位置を実質的に変更する。したがって、本方法はこの場合工程33へ戻る。
例えば観測角度を変更する、回転を適応化する、鼻梁上に配置された一対の眼鏡の位置
を適応化するためのこれらの前述のタイプの相互作用(特にナビゲーション)が同様に欧
州特許出願第17173929.5号明細書において既に詳細に説明されている。
さらに、パラメトリックフレームモデルのフレームパラメータのうちの1つもまた、相
互作用の範囲内でユーザにより設定され得る。一例として、ユーザはこの場合、工程31
2において自動計算により実施されたパラメータの判断を修正し得る。この場合、これは
工程310における自由フレームパラメータの数を低減し、本方法は工程36において続
けられる。ユーザが、相互作用に続く適合化に最終的に満足すれば、本方法は工程311
において終了される。この処理において、最終検査が依然としてあり得る。ユーザ(例え
ば眼鏡技師)は最終チェック中に発注データをチェックする。この処理では、発注のデー
タ及び対応図的表現が概観モニタ上で前記ユーザへ提示される。この表現は、本方法の範
囲内で判断された眼鏡フレーム及び/又は頭のパラメータ(鼻梁幅及び鼻翼角度など)と
、また、恐らく例えば適合化ガイドラインにより処方される理想形からの偏差に関する注
釈も含む発注されたフレームのパラメータとを示す。このようなパラメータの判断も後ほ
ど説明される。次に、確定されたパラメータは、対応パラメータを有する実物の眼鏡フレ
ームを発注するためにそれぞれの製造業者の発注システムへ送信され得る。
図3の方法の個々の態様が図4~15を参照して以下にさらに詳細に説明される。
図4は例示的一実施形態による方法の流れ図を示す。図4は、それぞれのパラメトリッ
クフレームモデルに関連付けられた適合化ガイドラインに基づく適合化とその後に続く頭
の生体構造への適合化とへの眼鏡適合化の下位部分を示す。
図4の方法では、パラメトリックフレームモデルは工程40において適合化ガイドライ
ンに基づき人の頭の3Dモデルへ適合化される。ここで、前記適合化ガイドラインはそれ
ぞれの眼鏡フレームの眼鏡フレーム製造業者により眼鏡フレーム専用に予め定められてい
る。これらの適合化ガイドラインは以下に同様により詳細に説明される美的処方箋に関係
し得る。この工程の実施形態例が後でさらに詳細に説明される。一例として、工程40は
図3の工程312の範囲内で行われ得る。
パラメトリックフレームモデルの第1部分のパラメータが工程40における適合化によ
り設定され得る。
次に、人の頭の生体構造への一般的適合化が工程41において企てられる、すなわち工
程41における適合化は特定適合化ガイドラインとは無関係に実施される。この適合化は
、最初に引用された従来技術において説明されたように実施され得、工程312において
又は任意選択的に工程34及び35における適合化においても同様に実施され得る。この
とき、解剖学的眼鏡適合化がまた、頭モデルのメタデータに基づき又はそうでなければJ
ohannes Eber,“Anatomische Brillenanpassu
ng”,Verlag Optische Fachveroeffentlichun
g GmbH,1987,頁23ffにおいて説明されるように直接発生し得る。
図5は、図4の方法の実施形態の詳細流れ図を示す。
本方法の入力データは図5の工程50~53において提供される。工程51では、フレ
ーム製造業者が眼鏡フレームのパラメトリックフレームモデルを生成する。工程51から
のパラメトリックフレームモデルは、データが専用CAD(コンピュータ支援設計)フォ
ーマットで眼鏡製造業者により供給されれば本発明による方法において使用される一様な
標準化されたフォーマットへ変換され得る。
さらに、従来の圧縮方法の助けを借りたデータ削減(例えば3Dモデルにおける三角形
又はボクセルの数の低減)又はデータ圧縮があり得る。
工程50では、フレーム製造業者は、説明したようにフレームを適合化する際に美的態
様を考慮し得るこのパラメトリックフレームモデルの特定適合化ガイドラインを生成する
人の頭の3Dモデルが工程52及び53において生成及び分析される。ここで、このモ
デルは当初、3D測定システムにより(特に図2に示すカメラデバイスにより)工程52
において生成される。3D頭スキャナなどの他の測定システムも使用され得る。このよう
な頭スキャナの例は2017年6月8日時点でいずれの場合もhttp://cyber
ware.com/products/scanners/ps.html又はhttp
://www.3d-shape.com/produkte/face_d.phpに
見出される。工程53では、点又は領域が、最初に説明された従来技術においても使用さ
れるようなこの頭モデル上の特徴(例えば点、特徴)として識別される。
次に、フレームが、図4における工程40に対応する特定適合化ガイドラインに従って
工程54において適合化される。加えて、眼鏡フレームの意図された位置及び配向が、工
程54における適合化のための開始値として設定され得る。パラメトリックフレームモデ
ルの所定標準パラメータと共に欧州特許出願第17173929.5号明細書におけるも
ののようなメタデータによる位置が適合化のための開始値として役立ち得る意図された位
置及び意図された配向として役立ち得る。その代替案として、意図された位置はいくつか
のケースでは特定適合化ガイドラインから計算され得る。一例として、特定適合化ガイド
ラインはxz面内の瞳孔中心に対するフレームリムの好ましい位置を定義し、意図された
頂点間距離(例えば12mm)はy軸の方向の位置を定義する。空間内のフレームの配向
の一部分としての前向き勾配すなわちx軸のまわりの角度もまた例えば9度の意図された
値へ設定され得る。これは同様に特定適合化ガイドラインの一部であり得る。
次に、フレームは工程55において頭の解剖学的条件へ適合化される。ここで、工程5
4において未だ適合化されなかったパラメータ(すなわち依然として自由なパラメータ)
がさらに適合化される。
工程56では仮想装着及び描画があり、工程57では手動適合化がある。ここで、仮想
装着及び手動適合化は、図3において参照符号33~310を参照して既に説明されたよ
うに実施される。
工程58では、図3の工程311に対応するフレーム製造業者の発注システムへの転送
がある。
次に、フレーム固有適合化ガイドラインの使用及び対応適合化が図6~10を参照して
さらに詳細に説明される。
図6は、このような特定適合化ガイドラインの顔内の特徴及び点として好適である顔の
様々な特徴を示す。換言すれば、顔のこのような点に対する眼鏡フレームの特徴の目標位
置又は目標範囲がこのような例示的実施形態では適合化ガイドライン内に提供される。顔
のこのような特徴はまた、Johannes Eber,“Anatomische B
rillenanpassung”,Verlag Optische Fachver
oeffentlichung GmbH,1987,頁17ffにおいて説明されてい
る。
この例は以下のものを含む:
1.眼の位置、特に瞳孔中心(図6の線L2と線LBとの交点)。線L2はさらに瞳軸
を表す。
2.眼のボックス寸法(すなわち眼の周囲に置かれた矩形の寸法)すなわち各矩形の位
置、矩形の幅及び高さ。
3.図6の線LA、L3に一致する鼻の位置。
4.図6の線LDに対応する顔の幅及びこめかみの位置。
5.図6の線L1と線L5(顎の線)との間の顔の高さ。
6.顎領域(すなわち線L5に接触する顎の部分)の曲率半径。
7.眉毛の位置:ここで図6の線L1は眉毛の中心軸を表し、線LCは眉毛の外側限界
を表す。
8.図6の線L4に一致する口の位置。
前述の特徴は、パラメトリック頭モデルによる又はそうでなければ画像解析方法(画像
認識)による以下に述べるような手順により、及び/又は図2のカメラデバイスにより記
録された画像における機械学習により識別され得、したがって前記特徴の位置は頭の3D
モデル上で判断され得る。このような特徴の自動認識の一つの可能性がまた、V.Kaz
emi,J.Sullivan,“One millisecond face ali
gnment with an ensemble of regression tr
ees”Proceedings of the IEEE Conference o
n Computer Vision and Pattern Recognitio
n,2014に記載されている。
以下の説明では、左眼、右眼、顔の左半分又は顔の右半分などの指定は一対の眼鏡が適
合化された人の観点から理解されるべきである。
図7は、データが提供されることと併せて適合化ガイドラインに基づき眼鏡フレームを
適合化する詳細な方法(すなわち図4の工程40又は図5の工程54の詳細な例)を示す
パラメトリックフレームモデルの適合化ガイドラインが、図7の工程70において提供
され、提示された方法においてこれらを使用することができるために工程73においてコ
ンピュータデバイスへ読み込まれる。ここで、適合化ガイドラインは例えばxmlファイ
ル又はJSONファイルなどのテキストファイルとして格納される。
パラメトリックフレームモデルが工程71において提供され、工程70における適合化
ガイドラインがそれへ割り当てられる。例えばフレームモデルのいくつかの領域又は点を
表すメタデータが、パラメトリックフレームモデルへ割り当てられ得る。フレームモデル
のこのようなメタデータもまた欧州特許出願第17173929.5号明細書に記載され
ている。このパラメトリックフレームモデルは工程74において読み出される。工程77
では、工程74において読み出されることから生じるパラメトリックフレームモデルのパ
ラメータ及びそれらの値範囲がその後の最適化のために提供される。最後に、眼鏡フレー
ムが適合化されるべき人の頭の3Dモデルには工程72において関連メタデータが与えら
れ、前記モデルは工程75において読み出される。
適合化ガイドラインは工程76において解析される。解析は、さらなる処理にとってよ
り好ましいフォーマットへの入力データの分解及び変換を意味するものと理解される。解
析器はこのような解析を行う対応デバイス(通常コンピュータプログラムにより実現され
る)である。この点に関するより詳細は2017年5月19日時点の独語ウィキペディア
記事「解析器」に見出される。
ここで、適合化ガイドラインは、特にその後の最適化処理に好適なフォーマットに翻訳
される。ここで、説明したように、適合化ガイドラインは、特に眼鏡フレームの特徴と頭
上の特徴との間の距離(例えば上側フレームリムと眉毛との間の距離、フレームの上側フ
レームリムと眼の上縁との間の距離、眼の下縁までの下側フレームリムの距離、又はフレ
ームリムに対する瞳の相対位置)の目標量及び/又は許容可能範囲を含み得る。さらに、
計算され導出された特徴(すなわち頭及び/又はフレームの複数の特徴から導出された点
又は領域)までの距離を使用することも可能である。このような導出された特徴は補助的
特徴とも呼ばれる。
このような補助的特徴の一例が図8に示される。図8は眼鏡フレーム81を備えた頭8
0を示す。顔の幅の1/2の半径と鼻の下縁における中心の幅とを有する仮想円が80に
より表される。図8では、yUNは鼻の下縁を表し、yUKは顎の下縁を表し、yUOD
は眼の下縁を表す。顔の幅(すなわち図6の線D同士間の距離)がyGにより表される。
工程76における解析中に検出された適合化ガイドライン70内の項の助けを借りて定義
される導出された補助的特徴yHの例は次のとおりである:
yH=(yUK-(yUN-0.5×xG))/0.5×xG
この値yHは、顔の幅の1/2に対する比として実際の顎下縁からの理想的顔の計算さ
れた顎下縁の偏差を表し、前記値は鼻の下の顔の垂直方向長さの尺度である。このような
補助的特徴は眼鏡フレームの下側フレームリムの比率を設定するために使用され得る。こ
の結果、垂直方向の顔の長さもまた眼鏡フレームにより引き起こされる美的印象に影響を
与え得るということと、したがって特定適合化ガイドラインはパラメータyHに対する眼
鏡フレームのサイズ及び/又は形式の関係性を予め定め得るということとを考慮すること
が可能である。
適合化ガイドラインの別の例はフレーム外接ボックス内の瞳の位置である。これは図1
0Dに示される。図10Dは、この場合は右眼のフレーム外接ボックス102を有する眼
鏡フレーム81を示す。
瞳の適合化点高さ(下側フレームリムの上の瞳の高さ)はyにより表され、瞳の水平位
置はxにより表される。ボックス102の幅はΔaであり、ボックスの高さはΔbである
。一例として、このとき、適合化ガイドラインは「水平方向において瞳がボックス中心と
鼻黄金部分との間に在るべきである、すなわちΔa×3.82<x<Δa×0.5」とい
うことを規定し得る。ここで、黄金部分は、x=Δa×3.82の場合のようにΔa-x
に対するxの比がΔaに対するΔa-xの比に等しいことを意味する。この黄金部分より
フレームリムの内側により近い眼位置はそれほど美的でないということが一般的に分かる
同様のガイドラインは垂直方向に眼位置の位置をセットしてもよい:具体的には、瞳は
ボックス102のボックス中心と中心の上方の黄金部分の値との間の垂直方向に精密に位
置が定められる(すなわちΔb×0.5<y<Δb×0.618)。
適合化ガイドラインはまた、算定式として直接提供され得、ここでは、このとき算定式
の変数が上述の特徴である。換言すれば、特定適合化ガイドライン内のフレームパラメー
タは、項として直接規定され得る、又は最適化ループにより反復的に判断され得る。後者
の場合、項の助けを借りて定義される適合化品質が最適化され、項は目標を設定するがこ
れらの目標は通常は叶えられない。したがって、例えば形式「目標量=項」の表現は、最
適化の意味の範囲内(例えば最小二乗法の意味の範囲内)で適合化品質に寄与するだけで
あろうが、この適合化品質を直接には満足しないだろう。
工程76における解析は、特に、述べられた補助的特徴に関し、この目的を達成するた
めの目標量及び計算処方箋に関し、そして任意選択的に、既に上に説明したように例えば
目標量からの偏差の加重二乗和の形式で利用可能であり且つ追加ペナルティ項を任意選択
的に有し得るスカラ量としての品質値に関し、実施される。
次に、工程76の項の構文ツリーのリストが工程79において生成される。
したがって、瞳孔中心の位置、眼の位置及び寸法(例えば眼を囲む矩形)、鼻の位置、
配向及び寸法、眉毛の位置、配向及び位置、及び/又は顎の位置などの頭モデルの値の位
置、配向及び寸法が工程78において判断される。
補助的特徴の構文ツリーの項が工程710において評価される、すなわち、補助的特徴
が提示及び判断され、例えば上に説明した値yHのこれらの補助的特徴の値が工程711
において判断される。次に、工程712の最適化工程がある。ここで、パラメトリックフ
レームモデルのフレームパラメータは変更され、項は目標量が工程713において到達さ
れるまで評価される。これから、適合化ガイドラインに基づき適合化されたフレームパラ
メータの部分のパラメータセットが714において出現する。特に、これらは美的効果を
有するパラメータ:例えば可変フレームリムの場合は、眼鏡フレームのスケーリング、眼
鏡フレームの「装用時」前傾角及び/又はフレームリムの形式である。例えば鼻パッドの
角度又は眼鏡耳当ての長さ又は鼻梁幅などの別のパラメータが、製造業者により予め定め
られた標準値に当初維持される。次に、これらは解剖学的適合化(例えば図4の工程41
)中に適応化される。
最適化ループはまた、例えば欧州特許出願第17173929.5号明細書に記載のよ
うに仮想装着を含み得る。パラメトリックフレームモデルのパラメータの適合化を含む先
の工程が一対の眼鏡の最適適合化への最適化の収斂を保証する。
仮想装着中に結果として出現すると、第1に例えば回転行列及び変換ベクトルのような
提示可能な幾何学的運動のパラメータ(6つの自由度:2017年5月22日時点の独語
ウィキペディア記事“Bewegung(Mathematik)”[”Motion(
Mathematics)”]を参照)、そして第2にフレームの撓みのパラメータのよ
うなパラメータがある。一般に、後者のパラメータは、曲げ中に耳静止点において横断さ
れた角度の単一パラメータである。これは欧州特許出願第17173929.5号明細書
に記載のような仮想装着に対応する。上述の仮想装着の結果、フレームの回転及び並進並
びに耳当ての変形のパラメータが存在する。
装着後、すべてのフレーム固有特徴が頭の座標系において利用可能である。この目的を
達成するために、幾何学的運動が特徴へ適用される。一例として、個別フレーム(すなわ
ち適合化されたパラメータを有するパラメトリックフレームモデルに対応するフレーム)
の右及び左側鼻パッドの位置及び配向が計算される。理想的ケースでは、この位置及び配
向はフレーム固有パラメータを適応化する工程において以前に計算された位置に対応する
べきである。この工程では、鼻翼の対応特徴は、以下にさらに具体的に説明されるように
、フレーム上の特徴に対応付けされた。しかし、鼻領域における個人化への制約のために
、場合によっては仮想装着の処理はフレームの位置を判断する際に適合化手順と同じ結果
を生じないかもしれない。一例として、これは、フレームの対称的な鼻台(nose r
est)と併せて実際の鼻の非対称性に起因し得る。しかし、一般に、位置間には非常に
わずかな差だけがあるはずである。わずかな差(例えば1mm未満の鼻パッド中心間の距
離)の場合、これは無視され得る。比較的大きな差の場合、仮想装着に続く新しい位置が
、フレーム固有適合化ガイドラインに基づき判断されるべきパラメータの新しい適合化手
順をトリガし得る。フレームモデルのあり得る非互換性に関するオペレータへの通知の形
式でのフィードバックもまた可能である。
図10A~10Cは、頭80における様々な瞳孔間距離PD(図10A)、PD
図10B)及びPD(図10C)のボックス102内の眼のこの位置決めを解明する。
ここで、PDは比較的小さい瞳孔間距離であり、PDは中間の瞳孔間距離であり、P
は比較的大きな瞳孔間距離である。美的適合化のために、フレーム形式100の外側
リムが、例えば黄金部分の状態を維持するために図10Aの場合には厚くされるとともに
、主末端部を備える。主末端部は眼鏡フレームの中心部分の外側部分であり、内側部分は
鼻梁と呼ばれる。したがって、この場合の修正されたパラメータはフレーム形式である。
図10Cの場合、主領域又は主鼻梁は所望美的印象を得るために恐らくより大きな鼻梁幅
と併せて選択される。
図9は、所望美的効果を得るための適合化ガイドラインに基づきパラメータを適合化す
る例を示す。ここで、図9A~9Cは眼鏡フレーム81のスケーリングの効果を示す。図
9Aでは、非常に小さなフレームが人の上に仮想的に置かれるが、これは美的及びファッ
ション態様によると小さ過ぎる。フレームは図9Cでは大き過ぎる。図9Bでは、フレー
ムは中間サイズを有する。一対の眼鏡の美的適合サイズを保証するために、適合化ガイド
ラインは、この場合はフレームリムと顔及び/又は眉毛の縁との間の距離を処方し得る。
図9D~9Fは鼻梁幅の影響を示す。ここで説明される例示的実施形態では、鼻梁幅は
、以下にさらに詳細に説明される鼻上のメガネフレームの解剖学的に正しい適合化を保証
するために、解剖学的適合化中に設定される。しかし、鼻梁幅はまた、解剖学的適合化中
に追加的に考慮され得る美的印象を変更し得る。小さな鼻梁幅bが図9Dでは選択され
る。ここで、フレームは鼻梁との衝突に起因して非常に高く位置する。鼻梁幅は図9Eに
おいて鼻梁幅bへ若干拡張された。結果として、眼鏡フレームは若干下側に且つより調
和の取れたやり方で着座される。図9Fの場合、鼻梁幅はさらに値bまで下げられた。
ここで、瞳は例えば黄金部分に基づくフレームリムに対する所定範囲内に位置を定められ
るという注意が解剖学的適合化の範囲内で払われ得る。
その結果、適合化ガイドラインと、頭の生体構造への適合化が続く適合化ガイドライン
に基づく適合化への分割との助けを借りて保証され得るものは、眼鏡製造業者の処方箋(
特に、美的性質のものである)が満足され得るということである。
前述の方法では、そしてまた一対の眼鏡を適合化する他の方法では、例えば欧州特許出
願第17173929.5号明細書に記載された方法では又は従来技術として最初に説明
された方法のうちのいくつかでは、頭の3Dモデル上のいくつかの点の位置が必要とされ
る、及び/又は静止点又は耳静止領域など眼鏡を適合化するためのいくつかの領域を特徴
付けるメタデータが必要とされる。1つの選択肢は、このような点又は領域を手動で又は
パターン認識方法により判断することにある。次に、別の選択肢が図11~15を参照し
て説明される。
図11は、例示的一実施形態による測定点を人の頭の3Dモデル上へ設定する方法を示
す。ここで、測定点は上述の方法に使用され得る点(例えば耳、眼、眉毛などの顔特徴を
表現する点)を意味するものと理解されるべきである。
工程110では、測定点と共にパラメトリック頭モデルが提供される。ここで、パラメ
トリック頭モデルは頭を記述するパラメトリックモデルである。パラメトリックモデルの
パラメータを変更することで、頭モデルにより記述された頭形式を変更する。本明細書で
使用される用語「パラメトリック頭モデル」はまた、頭の一部分だけ(例えば眼鏡の適合
化に必要な部分(特に、眼、鼻及び耳の領域)だけ)を記述するモデルを含む。パラメト
リック頭モデルの例は図13A、13Cを参照して以下に説明される。測定点は、例えば
手動選択によりこのパラメトリック頭モデル上に設定される。このような測定点の例は図
13A、13Cを参照して同様に以下に説明される。
次に、工程111では、パラメトリック頭モデルが人の頭の3Dモデルへ適合化される
。この目的を達成するために、パラメトリック頭モデルと人の頭の3Dモデルとの間に可
能な限り小さい偏差があるようなやり方(例えば、最小二乗法により又は上に引用された
J.Boothらによる記事内の方法により)でパラメトリック頭モデルのパラメータを
適合化する任意の従来の最適化方法が使用され得る。次に、工程112では、測定点は適
合化に基づき人の頭の3Dモデルへ転送される。異なるやり方で表現すると、適合化され
たパラメトリック頭モデル上の測定点の位置は頭の3Dモデル上の対応測定点を設定する
ために使用される。これは、例えば法線ベクトル(すなわちパラメトリック頭モデル上の
測定点の場合には使用されている頭の3Dモデルと垂直なベクトル)の交点を使用するこ
とによる、パラメトリック頭モデルの頭の3Dモデルへの投影により実現され得る。精密
モデルでは、頭の3Dモデル上の位置としてパラメトリック頭モデル上の測定点の位置を
直接使用することも可能である。
このようにして、パラメトリック頭モデル上に一度だけ設定される必要がある測定点に
より、任意の頭のほぼ任意の3Dモデルの測定点を判断することが可能である。
図12は、一対の眼鏡の仮想適合化の方法に埋め込まれた人の頭の3Dモデル上の測定
点を設定するためのパラメトリック頭モデルを使用するより詳細な方法を示す。図12の
一対の眼鏡の仮想適合化の方法の代わりに、図1~10を参照して上に説明された方法が
また、図11の方法の可能な応用として役立ち得る。
図12において、自由パラメータを含むパラメトリックフレームモデルが工程120に
おいて提供される。図12の例示的実施形態では、自由パラメータは解剖学的適合化に役
立つ。他の例示的実施形態では、上に説明したように、フレーム固有適合化ガイドライン
による追加の適合化があり得る。
工程121では、パラメトリック頭モデルが提供される。パラメトリック頭モデルは、
例えばA.Brunton,A.Salazar,T.Bolkart,S.Wuhre
r,“Review of Statistical Shape Spaces fo
r 3D Data with Comparative Analysis for
Human Faces”,Computer Vision and Image U
nderstanding,128:1-17,2014に説明されるような主成分分析
(PCA:principal component analysis)に基づき判断
される顔モデル又は頭モデル、又はそうでなければJ.Booth,A.Roussos
,S.Zafeiriou,A.Ponniah and D.Dunaway“A 3
D Morphable Model learnt from 10,000 fac
es”,2016 IEEE Conference on Computer Vis
ion and Patent Recognition(CVPR),Las Veg
as,NV 2016 pages 5543-5552 doi:10.1109/C
VPR.2016.598に説明されるような頭モデルであり得る。工程122では、人
の頭の3Dモデル(例えば図2のカメラデバイスにより生成されたかもしれない)が提供
される。
工程123では、測定点がパラメトリック頭モデル上で判断される。顔の少なくとも一
部分のこのような3Dモデルの例が図14に座標軸と共に呈示される。
工程123では、測定点がパラメトリック頭モデル上で判断される。この目的を達成す
るために、パラメトリック頭モデルの所謂標準頭が提供される。標準頭は、パラメトリッ
ク頭モデルのパラメータが所定標準値を採る頭である。主成分分析に基づく頭モデルの場
合、これは、例えば主成分分析の第1の成分に対応する平均的頭であり得る。
工程123では、測定点がパラメトリック頭モデル上で設定される。これは手動で点を
設定することにより実行され得る。このような規定の例が図13Aに示される。ここでは
、複数の点(例えば口の角、鼻の先端、額しわに沿った点、視点、鼻梁、及び鼻翼上の点
)がパラメトリック頭モデルの標準頭130上に設定された。別の例が図13Cに示され
る。ここでは、三角形132(すなわち3点)が頭モデル130の鼻翼上に印される。
そして工程124では、パラメトリック頭モデルは、適合化処理を使用することにより
人の頭の3Dモデルへ適合化される。適合化処理は、パラメトリック頭モデルが(例えば
最小二乗判断基準に従って)人の頭の3Dモデルに可能な限り精密に適合化されるような
やり方でパラメトリック頭モデルのパラメータが判断される処理である。工程123、1
24は任意の順番で行われ得る。工程123は本方法が行われる前に一回だけ行われる必
要があるので、判断された測定点は、本方法が様々な人間の頭の様々な3Dモデル及び様
々なパラメトリックフレームモデルに関して行われるたびに、使用され得る。
次に、工程125では、測定点は適合化済みパラメトリック頭モデルへ転送される。換
言すれば、測定点の位置は適合化済み頭モデル上で判断される。この目的を達成するため
に、これを元に測定点が工程123において判断された標準頭モデルから適合化済みパラ
メトリック頭モデルへ到達するために使用されるほぼ同じ変換が、例えばJ.Booth
らによる前述の記事に記載のように測定点へ適用される。任意選択的に、工程126では
、測定点は頭の3Dモデルへ転送される。工程126が使用されるかどうかは採用された
モデルの精度に(すなわち、どれだけ精確に適合化済みパラメトリック頭モデルが人の頭
の3Dモデルに対応するかに)依存する。一例として、工程126は平均二乗偏差が閾値
未満であれば省略され得る。適合化済みパラメトリック頭モデルから人の頭の3Dモデル
への測定点の転送は、法線ベクトルが適合化済み頭モデル上のそれぞれの測定点を通して
判断され、次にこの法線ベクトルと人の頭の3Dモデルとの交点が人の頭の3Dモデル上
の対応測定点として使用される投影により、実施され得る。この例が図13B、13Dに
示される。図13Bでは、図13Aの点が人の頭の3Dモデル131上へ投影され、図1
3Dでは図13Cの三角形132が三角形132’として3Dモデル131上へ投影され
る。
この投影は、パラメトリックモデルが大きな平滑度(特に図14に示すような頭の典型
的3Dモデルより大きな平滑度)をしばしば有するので、多くの顔モデルの場合確実に働
く。ここで、表面の平滑度は法線ベクトルの局所偏差の尺度として定義され得る。代替的
に、近似多項式面からの頭の3Dモデルのポイントクラウドの局所偏差もまた尺度として
定義され得る(例えばいずれの場合も5mmの径を有する局所領域において)。多項式面
は、無限に多くの回数微分可能であり、その結果、微分幾何学では「平滑」であると呼ば
れる。例示的実施形態において適用され得る「移動最小二乗法」(MLS)による局所平
滑化は2017年6月8日時点でhttp://pointclouds.org/do
cumentation/tutorials/resampling.phpに記載さ
れている。
さらに、手動工程が、頭の3Dモデル上に別の測定点をマーキングするために使用され
得る(図12では不図示)。特に、これらは3Dモデルにより容易に検出されない点(例
えば髪の毛により覆われた人の部分)であり得る。特に、これは耳の場合かもしれない。
したがって、これらの点は人の頭の3Dモデルでは精確に識別可能でなく、前記点は手動
で追加され得る。このような測定点の例は耳の基部上の眼鏡耳当ての静止点である。
次に、工程127では、特徴が測定点(工程126が無しで済まされれば適合化済み頭
モデルにおける測定点、又は工程126が行われる場合は転送済み測定点)に基づき計算
される。測定特徴とも呼ばれるこれらの特徴は、測定点のグループに基づいており、例え
ば頭の領域を定義する。
特徴は、直接計算により(例えば、空間内の3つの非共線点が面を一意的に定義し、そ
の法線ベクトルが正規化差ベクトルのクロス積により計算され得る;4つの非共線点が球
を定義し、5つの非共線点が円柱を定義する)、又は面又は球又は円柱などの幾何学的基
本要素(点、線又は領域)のいくつかの測定点への近似により、確定され得る。次に、特
徴は、適合化済み幾何学的基本要素のパラメータにより(例えば面の場合は面の法線ベク
トル及び参照点により、又は球の場合は球の中心及び半径により、等々により)判断され
る。工程127において計算されるこのような特徴の例は以下のように規定される:
左又は右鼻翼
鼻の左又は右鼻翼に関し、鼻支持体の領域又は鼻パッドの領域内のモデルの小領域(例
えば6mmの径を有する)に対する近似により定義される面(例えば図13D内の三角形
132’に対応する)が特徴として使用され得る。水平及び垂直方向鼻翼角度はこの面の
位置及び配向から生じる。ここで、この面は鼻支持体の領域の中心点内の座標軸により交
差され、生じる角度は何れの場合も測定される。一例として、三角形132に対応する3
点が図13Cの各鼻翼上に印されれば、当該面は3点から計算され得る。4点以上の場合
、当該面は、適合化処理により(例えば一組の点上での主成分分解により又は最小二乗法
の助けを借りた適合化により)計算され得る。上述のように、単一面は面内の点(x,y
,z)とこの点を通る法線ベクトル(nx,ny,nz)とにより表現可能であり、x、
y、zはデカルト座標である。したがって、両方の鼻翼は纏めて、例えば(x[N,OD
,y[N,OD],z[N,OD],nx[N,OD],ny[N,OD],nz[N
,OD],x[N,OS],y[N,OS],z[P,OS],nx[N,OS],ny
[N,OS],nz[N,OS])のように12タプルとして(すなわち12の値(2点
と2つの法線ベクトル)により)表され得る。
ここで、指標Nは鼻を表し、指標ODは右側の眼(右眼)を表し、指標OSは左側の眼
(左眼)を表す。
額の曲率
ここで、空間内の円曲線の断面が図13A、13Cに示すような額上の測定点へ適合化
され得る。この適合化のパラメータは円が存在する面の中心、半径、法線ベクトルである
。この適合化は2つの工程で行われ得る。当初、面は鼻翼について上に説明されたように
適合化され、次に、円がこの面内で適合化される。円のこの適合化は、例えば最小二乗法
又は任意の他の従来の適合化方法により実行され得る。
眉毛及び/又は頬骨
ここで、スプライン曲面S(2017年5月23日時点の独語ウィキペディア記事「ス
プライン」を参照)又は2017年6月8日時点の二変数多項式(例えばhttps:/
/en.wikipedia.org/wiki/Polynomial#Defini
tion→「二変数多項式」参照)が眉毛周囲の領域内で及び/又は頬骨のまわりの領域
内で眉毛の領域内及び頬骨の領域内の測定点に対し適合化される。スプライン表現S(c
1,..,cn):(x,z)→yでは、スプライン関数Sの係数(c1,...,cn
)は、対応領域(眉毛又は頬骨)内の一組の測定点{(x1,y1,z1),...,(
xm,ym,zm)}に関し、二乗平均平方根誤差Fが最小となるような、すなわち誤差
FがF(c1,...,cn)=Σi=1...m(yi-S(c1,..,cn)(x
i,zi))形式を有するようなやり方で判断される。
この表現では、フレームを装着する処理は何れの場合も図14の座標系内の固定y値を
有するxy面に対する平行運動によりその後実施されるという仮定がなされる。後部フレ
ームリムと頭の3Dモデルとの間の最小距離が適合化処理により実現されれば、この距離
値はスプライン曲面に関するオフセットとして予め提供され得る。次に、接触はy値にお
ける対応関係の結果として検出され得る(y値はオフセットとして予め格納されるので)
。この目的を達成するために、次に、後部フレームリムの各頂点は眼鏡フレームの適合化
後の適合化中に検査され得、座標(x,y,z)により与えられるそれぞれの頂点は差Δ
y=y-S(c1,...cn):(x,z)に関し検査される。モデル内の頂点との接
触又はその中に埋められていることが検出されると、眼鏡フレームの位置が適応化され得
る又は眼鏡フレームのフレームリムが修正され得る。
眼鏡耳当ての静止点として働く耳の基部上の点
この目的を達成するために、頭モデル上の単一点が使用され得る;すなわちこの場合い
かなる測定点も組み合わせられる必要がない。他の実施形態では、耳静止曲線は欧州特許
出願第17173929.5号明細書に記載のように判断され得る。耳のモデリングの無
いモデル(例えば純粋な顔モデル)が使用されれば(上記参照)、又は人の頭の3Dモデ
ルを生成する際に耳が覆われていたならば、耳の基部におけるこの点は、異なるやり方で
(例えば頭の3Dモデルの生成のために使用された画像からの機械学習により)生成され
得る。この機械学習では、この目的を達成するために、トレーニングされた特徴検出器が
画像内の耳の基部における点を検出する目的を達成するために使用され得る。2D画像内
で検出されたこれらの点は、別の工程において頭の3Dモデル上へ投影される。このよう
な投影に関する情報は、射影幾何学及びカメラ校正に関する以下の背景文献に見出される
:例えば、Hartley and Zisserman,“Multiple Vie
w Geometry in Computer Vision”,2000、空間内の
直線としての画像ピクセルの表現の頁7から;三角形メッシュと直線との最前交点の計算
としての空間内の3Dモデル上への投影“ray casting”とも呼ばれる;また
例えばソフトウェアライブラリ“vtk”、関数“vtkModifiedBSPTre
e::Intersect WithLine”を参照されたい。代替的に、このような
点はまた、上に説明したように手動で判断され得る。
いくつかの例示的実施形態では、眼位置又は瞳位置などのいくつかの点もまた、別個の
方法により(例えば図2のカメラにより記録される画像を使用する瞳検出及び角膜検出に
より)判断され得る。このような判断は欧州特許出願第17153558.3号明細書及
び欧州特許出願第17153559.4号明細書に記載されている。
工程127においてこのように計算された特徴に基づき、次にパラメトリックフレーム
モデルのフレームパラメータが工程128において計算される。この計算の例が以下に提
供される。しかし、特徴はまた、欧州特許出願第17173929.5号明細書に記載の
ように特定適合化ガイドラインに基づき上述のフレーム適合化のために又は仮想装着のた
めに使用され得る。
一般的に、適合化の目的のために、特徴は、相対位置に関する及び/又は角度又は曲率
などの別の特性に関する組み合わせで評価される。工程128におけるフレームパラメー
タの計算のいくつかの例が以下に説明される。これらもまた、図4の工程41の解剖学的
適合化の例として役立ち得る。
鼻梁幅
鼻梁幅はDIN EN ISO 8624:2015-12,付録Aに定義されている
。鼻梁幅は、より大きな鼻梁幅の場合には鼻パッド同士がさらに離れて位置し、より狭い
鼻梁幅の場合には鼻パッド同士が互いにより接近して位置するので鼻パッド同士の相対位
置から生じる。鼻パッドの無い眼鏡フレームの場合、一般化された鼻パッドが、鼻との接
触領域として設けられる鼻台の特定領域として定義される。鼻梁幅は、これらの一般化さ
れた鼻パッドの中心点同士の間隔として生じる。したがって、鼻梁幅は、両鼻翼上の三角
形(図13Dの三角形132’に対応する)の中心点間の間隔に対応し得る。ここでは、
幾何学的重心(すなわち角度二等分線の交点)が三角形の中心点と見做され得る。
説明目的のために、図16は、鼻パッド160(この意味の範囲内の)及び鼻梁幅16
1を有するパラメトリックフレームモデルの斜視図を示す。
鼻パッドの相対位置及び角度
この適合化は図15において説明される。ここでは、鼻翼は断面として提示される。こ
れは曲線150により表され、鼻パッド151が適合化される。
2つの鼻パッドのそれぞれはそれぞれの鼻パッドと接触する面(接平面)により適合化
され得る。他の面に関して上に説明したように、鼻パッドのこの面は参照点(x,y
,z)と法線ベクトル(nx,ny,nz)とにより近似され得る。特に、参照点は鼻
パッドの中心であり得る。従来の意味での鼻パッドの場合、すなわち金属フレームの場合
、この中心点は、例えば鼻パッドの重心を外側(すなわちパッドと鼻との接触面)へ投影
することにより定義され、このパッド中心はまた、所定点としてパラメータ化可能フレー
ムモデルの一部分であり得る、すなわちこの点はモデルと共に提供される。別個パッドの
無いプラスチックフレームの場合、鼻の接触領域(図16内の160)と想定されるフレ
ームの部分は、鼻台又はここでの一般化されたやり方では鼻パッドと呼ばれる。その結果
、2つの鼻パッドは同様に12タプルとして次のように表され得、この表現は本例示的実
施形態におけるフレームの局所座標系において実現される:
(x[P,OD],y[P,OD],z[P,OD],nx[P,OD],ny[P,
OD],nz[P,OD],x[P,OS],y[P,OS],z[P,OS],nx
P,OS],ny[P,OS],nz[P,OS])、ここで、指標Pは鼻パッドを表す
上に説明したように、このとき、鼻パッドの位置及び配向もまた鼻梁幅を意味する。
鼻パッドのこの表現では、座標系の座標原点及び配向は、12タプルが参照点への共通
回転マッピングと参照点への共通翻訳マッピング及び法線ベクトルにより任意の所望座標
系へ転送可能であるので、自由に選択され得る。前提条件は、前述の12タプルのすべて
のパラメータが実際にパラメトリックフレームモデル内で自由に選択可能であるというこ
とである。実際、パラメータはパラメトリックフレームモデルにおける制約に従い、パラ
メトリックフレームモデルの個々のパラメータの最大及び最小値が存在する(一例として
、フレームは、任意に大きなサイズでは又は任意に大きな又は任意に小さな鼻梁幅では製
造され得ない)。いずれにせよ、両方の鼻パッド及び上に述べたような鼻翼は12タプル
として表され得る。
上述のデカルト座標における代わりに、法線ベクトルは、空間内の2つの角度θ及びφ
(実質的に、極座標における表現)により何れの場合も次のように表され得、ここでは1
が法線ベクトルの長さ(半径)として選択される:
(nx,ny,nz)=(sin(φ)×sin(θ),cos(φ)×sin(θ)
,cos(θ))
したがって、このとき、合計10個の自由度が、パッド(従ってまた鼻鼻梁)に関して
併せて生じ;次の10タプルとしての表現が得られる:
(x[P,OD],y[P,OD],z[P,OD],θOD,φOD,x[P,OS
,y[P,OS],z[P,OS],θOS,φOS)=z[P,OS]
鼻梁幅と鼻パッドの位置との間の関係は図15から明らかである:鼻梁が広げられれば
、それに応じて左及び右パッドの面の参照点同士間の距離の拡大があり、逆も同様である
パラメータの数の低下は、鼻梁が対称であり鼻パッドは互いに対して対称であるという
仮定がなされれば発生する。対称面としての図14のyz面により、以下のことが適用さ
れる:
i.x[P,OS]=-x[P,OD]
ii.y[P,OD]=y[P,OS]及びz[P,OD]=z[P,OS]
iii.θ[P,OD]=θ[P,OS]及びφ[P,OD]=-φ[P,OS]
次に、(w,y,z,θ,φ)が自由パラメータとして生じ、ここで、θ=θ[P
,OD]=θ[P,Os]及びφ=φ[P,OD]=-φ[P,OS]である。ここで、
wは鼻梁幅である。ここでは[P,OD]=w/2及びx[P,OS]=-w/2が
適用される。その結果、パラメトリックフレームモデルを適合化するために使用され得る
5つの自由パラメータは、対称的な場合には存在する。フレームに依存して、上に説明し
たように、より少ない自由度が存在し得る又は自由度は特定適合化ガイドラインにより制
約され得る。
パラメトリックフレームモデルを頭の3Dモデルへ適合化するために、鼻パッドの面は
鼻翼の面に対応するようなやり方で選択され得る;すなわち、一般的に、鼻パッドの12
タプルは鼻翼の12タプルに対応する。
一例として、制約として、鼻梁又は鼻パッドの位置はフレームの局所座標系において固
定され得る(すなわち、値y及びzが固定される)、又はθとφとの間に固定され例
えば線形な関係はθとφが互いに独立に選択され得ないように選択され得る。
縮小された組のフレームパラメータの場合、例えば前述の対称的な場合、平均化が使用
され得る。一例として、鼻翼の対応角度θ[P,OD]とθ[P,OS]とが異なれば、
平均値が使用され得る。角度間の差が閾値より大きければ、不利な摩耗特性を生じる対称
的なフレーム形式の影響に対する警告がこの場合は出力され得る。解剖学的適合化品質を
表す品質尺度が、摩耗特性がどれだけ不利かを評価するために使用され得る。このような
品質尺度は頭の領域からの眼鏡フレームの前述の距離に基づき計算され得、ここでは、様
々な距離が、様々な重み付けを有する品質尺度に含まれ得る。パラメトリックフレームの
タイプに依存して、自由パラメータの数は、例えば鼻支持体の領域内の2つのパラメータ
(具体的には鼻梁幅と鼻梁角度のパラメータ)までさらに低減され得る。一例として、鼻
梁角度は、鼻梁角度に関するJohannes Eber,“Anatomische
Brillenanpassung”,Verlag Optische Fachve
roeffentlichung GmbH,1987,頁26,図24に説明されてい
る。
フレームの前傾角
さらに、フレームの前傾角(「装用時」前傾角とも呼ばれる)は計算されてもよいし、
特徴により適合化されてもよい。上に説明したようなフレーム固有適合化ガイドラインが
使用される例示的実施形態では、前傾角はこの適合化中に既に設定され得る(図4の工程
40)。次にこの前傾角は図12の工程128においてさらに適応化され得る。この目的
を達成するために、フレームリム(例えばフレームリムの下側境界の後縁、フレームの正
面図における左又は右下角)と前述の頬面(スプライン曲面により表され得る)との間の
距離が計算される。次に、前傾角は所定最小距離例えば2mmが保証されるようなやり方
で修正される。
耳当て長さ
耳当て長さは、鼻上のフレームの適合化が例えば前述の鼻パッドにより設定されると工
程128において計算される。フレームの耳当て長さを設定する目的のために(これはパ
ラメトリックフレームモデルの自由パラメータであると仮定する)、耳当ての前側静止点
が耳の基部における前述の点と合致される。
次に、工程129では、工程128において計算されたフレームパラメータがパラメト
リックフレームモデルへ適用される。工程1210では、図5の工程56を参照して説明
したように仮想装着及び描画がある。任意選択的に、別の最適化(例えば、初めに述べた
米国特許出願公開第2016/0327811A1号明細書に説明されるような最適化、
又は図5の工程57において説明されたような手動適合化)が工程1211において発生
し得る。次に、工程1212では発注システムへの転送がある。別のフレームパラメータ
(例えば眼鏡フレームの中心部分の色、眼鏡フレームの眼鏡耳当ての色、眼鏡フレームの
蝶番の材料及び色、眼鏡フレームの眼鏡耳当て上の彫刻、設計要素、眼鏡フレームの眼鏡
耳当て又は中心部分への塗布)を選択することも可能である。次に、発注された眼鏡フレ
ームは、最初に説明したように例えば付加製造方法を使用することにより、判断されたパ
ラメータに従って製造される。

Claims (26)

  1. 人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを含む一対の眼鏡の仮想適合化のためのコンピュータ実施方法において、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する工程(125,126)とを含むことを特徴とする、方法。
  2. 前記第2の測定点は前記パラメトリック頭モデルの標準頭上で定義されることを特徴とする請求項1に記載の方法であって、前記第1の測定点を設定する工程は、前記標準頭上で定義された前記第2の測定点を前記適合化に従って前記適合化されたパラメトリック頭モデルへ転送する工程(125)を含む、方法。
  3. 前記第1の測定点を設定する工程は前記第1の測定点として前記転送された第2の測定点を使用する工程を含むことを特徴とする請求項2に記載の方法。
  4. 前記第1の測定点を設定する工程は前記転送された第2の測定点を前記頭の前記3Dモデル上へ投影する工程(126)を含むことを特徴とする請求項2に記載の方法。
  5. 人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを含む一対の眼鏡の仮想適合化のためのコンピュータ実施方法において、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する工程(125,126)とを含むことを特徴とする、方法であって、
    前記第2の測定点は前記パラメトリック頭モデルの標準頭上で定義され、
    前記第1の測定点を設定する工程は、前記標準頭上で定義された前記第2の測定点を前記適合化に従って前記適合化されたパラメトリック頭モデルへ転送する工程(125)を含み、
    前記第1の測定点を設定する工程は前記第1の測定点として前記転送された第2の測定点を使用する工程又は前記転送された第2の測定点を前記頭の前記3Dモデル上へ投影する工程(126)を追加的に含む、方法。
  6. 前記頭の前記3Dモデルの領域を識別する特徴を形成するために複数の第1の測定点を組み合わせること(127)により特徴付けられる請求項1乃至5のいずれか一項に記載の方法。
  7. 前記組み合わせることは幾何学図形又は関数を前記複数の測定点へ適合化することを含むことを特徴とする請求項6に記載の方法。
  8. 前記3Dモデルの前記領域は鼻翼、額の曲率、眉毛又は頬領域を含むことを特徴とする請求項6又は7に記載の方法。
  9. 前記3Dモデルの少なくとも1つの別の測定点を前記第1の測定点に基づき計算することにより特徴付けられる請求項1乃至8のいずれか一項に記載の方法。
  10. 前記眼鏡フレームの前記モデルはパラメトリックフレームモデルを含むことと、前記適合化する工程は前記パラメトリックフレームモデルの1つ又は複数のパラメータを前記第1の測定点に基づき判断する工程を含むこととを特徴とする請求項1乃至9のいずれか一項に記載の方法。
  11. 前記眼鏡フレームの前記モデルはパラメトリックフレームモデルを含むことと、前記適合化する工程は前記パラメトリックフレームモデルの1つ又は複数のパラメータを前記特徴に基づき判断する工程を含むこととを特徴とする請求項6乃至8のいずれか一項に記載の方法。
  12. 前記方法は前記パラメトリック頭モデル(121)上の前記第2の測定点を定義する工程(123)をさらに含むことを特徴とする請求項1乃至11のいずれか一項に記載の方法。
  13. プロセッサ(12)上で実行されると請求項1乃至12のいずれか一項に記載の方法を行うプログラムコードを含むコンピュータプログラム。
  14. コンピュータによりプログラムが実行されると前記コンピュータに請求項1乃至12のいずれか一項に記載の方法を行わせる指示を含むコンピュータプログラム。
  15. コンピュータによりプログラムが実行されると、前記コンピュータに、人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを行わせる指示を含むコンピュータプログラムにおいて、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記第1の測定点を前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき設定する工程(125,126)とを特徴とする、コンピュータプログラム。
  16. コンピュータによりプログラムが実行されると前記コンピュータに、人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを行わせる指示を含むコンピュータプログラムにおいて、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する工程(125,126)とを含むことを特徴とする、コンピュータプログラムであって、
    前記第2の測定点は前記パラメトリック頭モデルの標準頭上で定義され、
    前記第1の測定点を設定する工程は、前記標準頭上で定義された前記第2の測定点を前記適合化に従って前記適合化されたパラメトリック頭モデルへ転送する工程(125)を含み、
    前記第1の測定点を設定する工程は前記第1の測定点として前記転送された第2の測定点を使用する工程又は前記転送された第2の測定点を前記頭の前記3Dモデル上へ投影する工程(126)を追加的に含む、コンピュータプログラム。
  17. コンピュータにより実行されると前記コンピュータに請求項1乃至12のいずれか一項に記載の方法を行わせる指示を含むコンピュータ可読記憶媒体。
  18. コンピュータによりプログラムが実行されると、前記コンピュータに、人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを行わせる指示を含むコンピュータ可読記憶媒体において、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記第1の測定点を前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき設定する工程(125,126)とを含むことを特徴とする、コンピュータ可読記憶媒体。
  19. コンピュータによりプログラムが実行されると前記コンピュータに、人の頭の3Dモデル(122)上の第1の測定点を定義する工程と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する工程(128)とを行わせる指示を含むコンピュータ可読記憶媒体において、
    前記第1の測定点を定義する工程は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する工程(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する工程(125,126)とを含むことを特徴とする、コンピュータ可読記憶媒体であって、
    前記第2の測定点は前記パラメトリック頭モデルの標準頭上で定義され、
    前記第1の測定点を設定する工程は、前記標準頭上で定義された前記第2の測定点を前記適合化に従って前記適合化されたパラメトリック頭モデルへ転送する工程(125)を含み、
    前記第1の測定点を設定する工程は前記第1の測定点として前記転送された第2の測定点を使用する工程又は前記転送された第2の測定点を前記頭の前記3Dモデル上へ投影する工程(126)を追加的に含む、コンピュータ可読記憶媒体。
  20. 請求項13乃至16のいずれか一項に記載のコンピュータプログラムが格納されるコンピュータ可読データ媒体。
  21. 請求項13乃至16のいずれか一項に記載のコンピュータプログラムが格納されるメモリ(13)と前記コンピュータプログラムを実行するためのプロセッサ(12)とを含む装置(10)。
  22. 請求項1乃至12のいずれか一項に記載の方法を行う手段を含むデータ処理のための装置。
  23. 人の頭の3Dモデル(122)上の第1の測定点を定義する手段と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する手段(128)と含むデータ処理のための装置において、
    前記第1の測定点を定義する前記手段は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する手段(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する手段(125,126)とを含むことを特徴とする、装置。
  24. 人の頭の3Dモデル(122)上の第1の測定点を定義する手段と、眼鏡フレームのモデル(120)を前記第1の測定点に基づき前記頭の前記3Dモデル(122)へ適合化する手段(128)とを含むデータ処理のための装置において、
    前記第1の測定点を定義する前記手段は、1つ以上のパラメータにより頭の形状を記述するパラメトリック頭モデルを、3Dモデル間の点群データの位置合わせを行うための最適化方法を用いて前記人の頭の前記3Dモデルへ適合化する手段(124)と、前記頭の前記3Dモデルへ適合化された前記パラメトリック頭モデル上に定義された第2の測定点に基づき前記第1の測定点を設定する手段(125,126)とを特徴とする、装置であって、
    前記第2の測定点は前記パラメトリック頭モデルの標準頭上で定義され、
    前記第1の測定点を設定する前記手段は、前記標準頭上で定義された前記第2の測定点を前記適合化に従って前記適合化されたパラメトリック頭モデルへ転送する手段(125)を含み、
    前記第1の測定点を設定する前記手段は前記第1の測定点として前記転送された第2の測定点を使用する手段又は前記転送された第2の測定点を前記頭の前記3Dモデル上へ投影する手段(126)を追加的に含む、装置。
  25. 請求項1乃至12のいずれか一項に記載の方法を行うように構成されたプロセッサを含むデータ処理のための装置。
  26. 請求項1乃至12のいずれか一項に記載の方法を行う工程と眼鏡フレームの前記適合化されたモデルに基づき前記眼鏡フレームを製造する工程とを含む眼鏡フレームを製造する方法。
JP2021023465A 2017-07-06 2021-02-17 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム Active JP7369154B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17179990.1 2017-07-06
EP17179990.1A EP3425446B1 (de) 2017-07-06 2017-07-06 Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
JP2020500077A JP6840889B2 (ja) 2017-07-06 2018-07-03 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020500077A Division JP6840889B2 (ja) 2017-07-06 2018-07-03 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021099504A JP2021099504A (ja) 2021-07-01
JP7369154B2 true JP7369154B2 (ja) 2023-10-25

Family

ID=59295060

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020500077A Active JP6840889B2 (ja) 2017-07-06 2018-07-03 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
JP2021023465A Active JP7369154B2 (ja) 2017-07-06 2021-02-17 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020500077A Active JP6840889B2 (ja) 2017-07-06 2018-07-03 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Country Status (9)

Country Link
US (1) US11915381B2 (ja)
EP (2) EP3425446B1 (ja)
JP (2) JP6840889B2 (ja)
KR (1) KR102217887B1 (ja)
CN (2) CN111033364A (ja)
BR (1) BR112020000106B1 (ja)
CA (1) CA3072117C (ja)
ES (1) ES2845569T3 (ja)
WO (1) WO2019007939A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6921768B2 (ja) * 2018-02-21 2021-08-18 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置
US10685457B2 (en) 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
EP3702831A1 (de) * 2019-03-01 2020-09-02 Carl Zeiss Vision International GmbH Datensatz zur verwendung in einem verfahren zur herstellung eines brillenglases
EP3726474A1 (en) * 2019-04-19 2020-10-21 Koninklijke Philips N.V. Methods and systems for handling virtual 3d object surface interaction
US11238611B2 (en) * 2019-07-09 2022-02-01 Electric Avenue Software, Inc. System and method for eyewear sizing
US11366343B2 (en) 2019-09-24 2022-06-21 Bespoke, Inc. Systems and methods for adjusting stock eyewear frames using a 3D scan of facial features
EP3809304A1 (de) 2019-10-18 2021-04-21 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur ermittlung eines parametrischen ersatzmodells eines brillenfassungselements sowie vorrichtung und systeme, die ein solches verfahren benutzen
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
EP3876026A1 (de) 2020-03-06 2021-09-08 Carl Zeiss Vision International GmbH Verfahren und vorrichtungen zum bestimmen des vorneigungswinkels
CN111461814B (zh) * 2020-03-11 2024-03-26 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
JP7272985B2 (ja) * 2020-03-23 2023-05-12 ホヤ レンズ タイランド リミテッド 仮想画像生成装置及び仮想画像生成方法
EP3944004A1 (de) 2020-07-23 2022-01-26 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur erzeugung von daten zur herstellung mindestens eines brillenglases und verfahren zur herstellung einer brille
US20230221585A1 (en) * 2020-07-31 2023-07-13 Tribe Gmbh Method and device for automatically determining production parameters for a pair of spectacles
DE102020131580B3 (de) 2020-11-27 2022-04-14 Fielmann Ventures GmbH Computerimplementiertes Verfahren zum Bereitstellen und Platzieren einer Brille sowie zur Zentrierung von Gläsern der Brille
EP4086693A1 (en) 2021-05-07 2022-11-09 Carl Zeiss Vision International GmbH Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer
EP4352697A1 (en) 2021-05-25 2024-04-17 Applications Mobiles Overview Inc. System and method for providing personalized transactions based on 3d representations of user physical characteristics
FR3124069A1 (fr) * 2021-06-18 2022-12-23 Acep France Procédé d’essayage de lunettes virtuelles
IT202100030014A1 (it) 2021-11-26 2023-05-26 Luxottica Group S P A Procedimento interamente virtuale per misurazioni di grandezze optometriche.
EP4227732A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method for head image recording and corresponding mobile device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792401B1 (en) 2000-10-31 2004-09-14 Diamond Visionics Company Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses
US20050162419A1 (en) 2002-03-26 2005-07-28 Kim So W. System and method for 3-dimension simulation of glasses
JP2011060100A (ja) 2009-09-11 2011-03-24 Tokyo Univ Of Agriculture & Technology 眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラム
JP2013008137A (ja) 2011-06-23 2013-01-10 Tokyo Univ Of Agriculture & Technology 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
US20150243015A1 (en) 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame
US20160299360A1 (en) 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
US20160327811A1 (en) 2014-01-02 2016-11-10 Essilor International (Compagnie Generale D'optique) Method for fitting an actual predetermined glasses frame for the use thereof by a given wearer

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5275987A (en) 1975-12-22 1977-06-25 Hitachi Ltd Gate protecting device
JPH06118349A (ja) 1992-10-02 1994-04-28 Seiko Epson Corp 眼鏡装用シミュレーション装置
EP1299787A4 (en) 2000-05-18 2005-02-02 Visionix Ltd BRASS ADJUSTMENT SYSTEM AND USEFUL ADAPTATION PROCEDURES
FR2812506B1 (fr) 2000-07-25 2002-12-20 Canon Kk Procede et dispositif d'alerte lors du decodage progressif d'une image numerique codee avec une region d'interet
US7016824B2 (en) 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
DE10216824B4 (de) 2002-04-16 2006-03-02 Thomas Doro Verfahren und Vorrichtung zum Konstruieren einer Maßbrille
FR2971873B1 (fr) 2011-02-22 2014-01-03 Fittingbox Procede de detection d'un ensemble predefini de points caracteristiques d'un visage
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US20130088490A1 (en) 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
FR2980592B1 (fr) * 2011-09-28 2014-05-16 Essilor Int Procede de mesure de parametres morpho-geometriques d'un individu porteur de lunettes
US8733936B1 (en) * 2012-01-30 2014-05-27 Ditto Technologies, Inc. Fitting glasses frames to a user
FR2987919B1 (fr) 2012-03-08 2014-03-07 Essilor Int Procede d'estimation d'une distance separant une paire de lunettes et un oeil du porteur de la paire de lunettes
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9552668B2 (en) * 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
KR101821284B1 (ko) 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
FR3016052B1 (fr) 2014-01-02 2018-03-30 Essilor International Procede de determination d'une definition geometrique d'un equipement optique personnalise
FR3016051B1 (fr) 2014-01-02 2017-06-16 Essilor Int Procede de determination d'au moins un parametre geometrique d'une monture personnalisee de lunettes et procede de determination de la monture personnalisee associe
US20150277155A1 (en) 2014-03-31 2015-10-01 New Eye London Ltd. Customized eyewear
US20150293382A1 (en) 2014-04-09 2015-10-15 Pro Fit Optix, Inc. Method and System for Virtual Try-On and Measurement
FR3021205B1 (fr) 2014-05-20 2021-12-24 Essilor Int Procede de determination d'au moins un parametre comportemental
CN107408315B (zh) * 2015-02-23 2021-12-07 Fittingbox公司 用于实时、物理准确且逼真的眼镜试戴的流程和方法
EP3354190B1 (de) 2017-01-27 2018-12-05 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur detektion eines hornhautscheitels
EP3355102A1 (de) 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur bestimmung von zentrierparametern
EP3355100A1 (de) 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Vorrichtung zur bestimmung von zentrierparametern für die brillenanpassung
EP3410178A1 (de) 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792401B1 (en) 2000-10-31 2004-09-14 Diamond Visionics Company Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses
US20050162419A1 (en) 2002-03-26 2005-07-28 Kim So W. System and method for 3-dimension simulation of glasses
JP2011060100A (ja) 2009-09-11 2011-03-24 Tokyo Univ Of Agriculture & Technology 眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラム
JP2013008137A (ja) 2011-06-23 2013-01-10 Tokyo Univ Of Agriculture & Technology 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
US20150243015A1 (en) 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame
US20160327811A1 (en) 2014-01-02 2016-11-10 Essilor International (Compagnie Generale D'optique) Method for fitting an actual predetermined glasses frame for the use thereof by a given wearer
US20160299360A1 (en) 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses

Also Published As

Publication number Publication date
CN113985628A (zh) 2022-01-28
BR112020000106B1 (pt) 2021-01-05
US11915381B2 (en) 2024-02-27
JP6840889B2 (ja) 2021-03-10
WO2019007939A1 (de) 2019-01-10
EP3425446A1 (de) 2019-01-09
CA3072117A1 (en) 2019-01-10
EP3649505B1 (de) 2020-11-25
EP3425446B1 (de) 2019-10-30
JP2021099504A (ja) 2021-07-01
KR102217887B1 (ko) 2021-02-22
CA3072117C (en) 2022-05-10
CN111033364A (zh) 2020-04-17
EP3649505A1 (de) 2020-05-13
KR20200019757A (ko) 2020-02-24
BR112020000106A2 (pt) 2020-07-14
US20200233239A1 (en) 2020-07-23
ES2845569T3 (es) 2021-07-27
JP2020525858A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
JP7369154B2 (ja) 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
JP7356403B2 (ja) 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
US11262597B2 (en) Method, device, and computer program for virtually adjusting a spectacle frame
US10890784B2 (en) Methods, devices, and computer program for determining a near-vision point
CN114730101B (zh) 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法
CN114730101A (zh) 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231013

R150 Certificate of patent or registration of utility model

Ref document number: 7369154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150