JP2024502381A - フレーム調整システム - Google Patents

フレーム調整システム Download PDF

Info

Publication number
JP2024502381A
JP2024502381A JP2023541896A JP2023541896A JP2024502381A JP 2024502381 A JP2024502381 A JP 2024502381A JP 2023541896 A JP2023541896 A JP 2023541896A JP 2023541896 A JP2023541896 A JP 2023541896A JP 2024502381 A JP2024502381 A JP 2024502381A
Authority
JP
Japan
Prior art keywords
frame
measurements
data
facial
nose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023541896A
Other languages
English (en)
Inventor
レイテ,ジェシー
アルミロン,エステバン
ホグビン,マット
Original Assignee
キュービッツ ケーエックス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キュービッツ ケーエックス リミテッド filed Critical キュービッツ ケーエックス リミテッド
Publication of JP2024502381A publication Critical patent/JP2024502381A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • G02C13/005Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Eyeglasses (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【要約】ユーザに合わせて眼鏡フレームを調整してカスタマイズされた眼鏡フレームを提供するコンピュータ利用方法であって、ユーザの頭部を表す三次元座標データを包含する入力データを受信するステップと、入力データ内の複数の目印箇所を特定するステップであって目印箇所が顔面特徴の三次元位置に対応するステップと、少なくとも一つの目印箇所と関連する少なくとも一つの測定値を計算することにより複数の目印箇所に基づいて顔面測定値セットを判断するステップと、基本眼鏡フレームを表すフレーム測定値セットをフレーム測定値のデータベースから検索するステップと、顔面測定値セットをフレーム測定値セットと比較するステップと、比較に基づいてフレーム測定値セットの少なくとも一つのフレーム測定値を調整するステップと、調整済みフレーム測定値セットを包含するデータファイルを出力するステップとを包含し、フレーム測定値セットはレンズ高さ測定値を包含し、調整するステップはレンズ高さ測定値を初期値から調整値に調整することを包含する。

Description

本発明は、フレーム調整システムに関する。
眼鏡フレームは、視力を向上させるように必要な度数及びタイプの一対のレンズを正しい位置及び角度で装用者の両眼の正面に保持するという主な役割を有する。
良適合したメガネ一式又は眼鏡は、装用者に視力向上を提供する為にレンズをユーザの瞳孔に対して正しく配置する際に適正に機能するように、幾つかの主要基準を満たす必要がある。
1.光学性能の最適化
最適な視力矯正を装用者に提供するように、フレームによりレンズの光学的中心が両眼の前に適正に配置されるべきである。
正しい度数及びタイプのレンズの光学的中心は、水平に(正確な瞳孔間距離測定を介してデカルト座標系のx軸上に)、そして垂直に(正確な高さ測定を介してデカルト座標系のy軸上に)、瞳孔の正面に置かれるべきである。
レンズは垂直面に合わせて垂直に位置すべきである。すなわち、瞳孔がレンズの光学的中心に対応する時には、前傾斜度が設けられるべきではない。レンズ斜度の追加はレンズの球面度数を変化させ、不要な円筒成分を出現させる。低度数レンズについては、度数効果はわずかであるが、高度数レンズでは極めて明白であり得る。
選択されるフレームは、高指数単焦点レンズ、非球面レンズ、累進レンズなどを包含する特定タイプの処方について役立つべきである。
2.視野の最大化
レンズの主たる目的は、装用者の視野を最大化することである。正レンズが両眼に近づくにつれて視野が大きくなって倍率が小さくなるので、まつげ、頬骨、また他の障害物の影響下で、フレームはレンズを可能な限り両眼の近くに保持して頂点間距離を最小化するべきである。装用者のまつげは、レンズの後面からわずかに離れるべきである。
選択されたフレームは、ブリッジの高さ、ブリッジの突出、鼻のサイズ及び形状、頭部のサイズ、非対称性などを包含する装用者に固有かつ特有の顔面特徴について機能すべきである。
3.整合状態の保持
フレームは、その整合状態を保持する能力について選択されるべきであるとともに、動きを最小化して鼻からずり落ちないようにすべきである。
これは装用者をいらだたせるばかりでなく深刻な光学的副作用も有する。これらは、1.有効レンズ度数の上昇の結果としての遠視力のぼやけ、2.視野の縮小、3.装用者により視認される物体の倍率上昇、4.観察者にとっての装用者の両眼の見かけサイズの上昇(正レンズについて頂点間距離が減少すると観察者による視認時に装用者の両眼があまり拡大されていないように見える)を含む。
快適性の供与
装用時に、眼鏡フレーム及びレンズは装用者にとって快適であるべきである。ブリッジの表面及び耳にかかる位置においてフレームの重量を均一に分散させることを追求すべきである。フレームがきつすぎる点が生じるべきではない。
必要とされる視力矯正を提供する眼鏡一式を装用者に提供する為に、装用者の頭部について得られた測定値に基づいて装用者の顔面に適合するように眼鏡フレームが加工又は調整され得る。
現在、下に概説されるようにこれらの測定値を得る主な方法は四つある。
第一の、そして最もよく使用されるものは、試行錯誤―装用者が視力検査者又は店員の補助を受けて、又は受けずに、一般には案内の為に内側テンプルに書かれたフレーム測定値を使用して満足するものが見つかるまでフレームを試すこと―である。これらの測定値が装用時のフレームの適合に直接関係していないとすると、光学的適合についての理解が概ね不足していることと相まって、一般にこのアプローチは満足できない結果を招く。
第二の方法は、装用者の顔面の様々な点をペンでマーキングしてからこれらのマーキング点の間の距離を測定することにより、眼鏡技師が装用者の頭部の測定値を定規により手作業で得ることを必要とする。この方法には幾つかの固有の不正確性が関連している。例えば、最初のマークを付ける際と実際の測定を行なう際のヒューマンエラー、測定プロセス中の患者又は測定者の動き、そして顔面非対称性である。加えて、顔面特徴と関連する小さい測定値を扱う時にはペンの幅が重要となり、そのため測定プロセスには更なる不正確性が入り込む。
第三の方法は、電子測定ツールを使用して、例えば装用者の瞳孔の間の距離を測定するのに瞳孔計を使用して、測定値を得ることを必要とする。電子測定ツールは手作業測定と関連する問題の幾つかを軽減できるが、高機能な電子機器でも生じる幾つかのシステム不正確性がそれでも生じる。例えば、電子測定ツールは、測定者による測定ツールの間違った配置と関連する不正確性を排除できない。
第四の方法は、装用者の頭部の静止画像又は写真を使用することと、データム又はスケーリングデバイスを使用して測定値を得ることとを必要とする。これは、装用者の鼻の中心にクレジットカードの一つの縁部が置かれて、クレジットカードの終端の点が測定されるオンライン「クレジットカード」技術と時には称される。この方法に関わる問題は、装用者の顔面の画像に重ねられた時にクレジットカードが正しい垂直面に配置されていることを保証するのが困難で、不正確な測定値の取得につながるということである。更に、カメラの曲率とともにレンズ曲率の非一貫性により、不正確な測定値を招く小さい歪みが画像に入り込む。
ゆえに、明白なことであるが、メガネ一式が着用者の瞳孔に対して正しい位置にレンズを保持するように、頭部に合わせて適切に調整されたメガネを装用者に提供することに関連する固有の問題が多く存在する。
これに関して、眼鏡フレームの正しい調整を可能にする為に正確に測定することが重要である主要パラメータが幾つかある。これらのパラメータは、瞳孔間距離、頂点間距離、前傾斜度、そしてレンズセグメント高さを含む。
装用者がレンズの光学的中心を見ていない場合には、その結果として間違った度数と誘発されるプリズム屈折力とが視覚の明瞭性及び快適性に影響するため、瞳孔間距離は重要である。前傾斜度について、フレーム内のレンズは大抵、垂直面に合わせて垂直には配置されず、こうしてレンズの処方度数の変化を誘発し得る。頂点間距離に関して、レンズの頂点間距離が変更されると、角膜の前面に達する光の度数も変更され、必要とされる視力矯正を装用者に提供するというレンズの能力に影響する。最後に、高さ測定が正確でない場合、装用者は補助注視ではなく主な注視で間違った処方度数で見ているかもしれない。
このように、個人の瞳孔に対してレンズを正しく取り付ける為には個人の頭部に合わせて眼鏡一式を調整する方法を提供することが必要である。
第一の態様によれば、ユーザに合わせて眼鏡フレームを調節してカスタマイズされた眼鏡フレームを提供するコンピュータ利用方法が提供され、ユーザの頭部を表す三次元座標データを包含する入力データを受信するステップと、入力データ内の複数の目印箇所を特定するステップであって、目印箇所が顔面特徴の三次元位置に対応するステップと、目印箇所を使用して少なくとも一つの目印箇所と関連する少なくとも一つの測定値を計算することにより複数の目印箇所に基づいて顔面測定値セットを判断するステップと、基本眼鏡フレームを表すフレーム測定値セットをフレーム測定値のデータベースから検索するステップと、顔面測定値セットをフレーム測定値セットと比較するステップと、比較に基づいてフレーム測定値セットの少なくとも一つのフレーム測定値を調整するステップと、調整済みフレーム測定値セットを包含するデータファイルを出力するステップとを包含し、フレーム測定値セットはレンズ高さ測定値を包含し、調整するステップは、レンズ高さ測定値を初期値から調整値に調整することを包含する。
この文脈で、測定値は、角度、例えば鼻が顔面から突出する角度、あるいは二つの点の間の距離、例えば瞳孔間の距離を含み得る。これらの例で、鼻及び瞳孔は、関連する角度及び距離測定値にそれぞれ対応する目印箇所である。
更に、この文脈で、カスタマイズされた眼鏡フレームの提供は、ユーザの瞳孔に対するレンズ位置が調整されているようにユーザの頭部に適合するべく加工されているメガネフレームを提供して、この特定ユーザについて望ましい最適な光学的補正をレンズが提供できることを指す。言い換えると、カスタマイズされた眼鏡フレームは、最大の視力矯正を提供する装用者の瞳孔に対する垂直位置にレンズを保持する眼鏡フレームである。
それゆえ、本発明は、装用者に最大限の視力矯正を保証する為に少なくとも一つのフレーム測定値を調整する方法を提供する。特に、調整されるフレーム測定値は、瞳孔に対するレンズ位置の制御を補うフレーム測定値である。
レンズ高さは、レンズの最下部と瞳孔中心の高さに対応するレンズ上の点との間の距離を表す。望ましい視力矯正をレンズが提供するには、瞳孔中心の高さに対応するレンズ上の点が実際の瞳孔中心と整合されていることの保証が重要である。
それゆえ、レンズが必要な光学的補正をユーザに提供することを保証するには、レンズ高さの調整が重要である。特に、最大限の視力矯正を行いながら収差の効果とプリズム効果とを最小限にする為に、瞳孔に対するレンズの光学的中心の垂直位置は、ユーザの処方に合わせて正確である必要がある。各ユーザの顔面は別のユーザ顔面と通常異なっているので、レンズが各ユーザに必要とされる光学的補正を提供する為に、レンズ高さ位置の調整は大切である。
顔面測定値セットは好ましくは、鼻の3D構造を表す複数の鼻測定値を包含する。眼鏡フレームの前面すなわちフレームブリッジの為の主な支持箇所となるのは鼻であるので、眼鏡フレームがユーザの顔面に正しく着座しているとの保証に関して、鼻は重要な顔面特徴である。それゆえ、各ユーザについてフレームブリッジが適切に調整及びサイズ決定されて眼鏡フレーム及びレンズがユーザの顔面で瞳孔に対して正しく配置され得るように各ユーザの鼻のサイズ及び形状を正確に表現することは重要である。
装用者の鼻梁に眼鏡フレームが置かれる手法は、レンズ高さ位置とレンズ中心が装用者の瞳孔中心に対してどこに保持されるかに影響を与える。鼻の3D構造を表す複数の鼻測定値を包含する顔面測定値セットの判断は、眼鏡フレームが装用者の鼻梁にどのように着座しているか、続いてレンズ中心が装用者の瞳孔中心に対してどこに配置されるかを予測するのに役立つ。そしてこの予測により、眼鏡フレームにより達成される望ましい光学的補正が実現されるようにレンズ高さを適切に調整するのを可能にする。
好ましくは、複数の鼻測定値は複数のリム間距離(DBR)測定値を包含し、各DBR測定値は鼻の長さに沿った異なるy軸箇所で得られる。鼻の長さに沿って多数の測定値を得ると、鼻の形状の一層正確な表現を構築するのに役立つ。鼻すじは、眼鏡フレームを支持する鼻の部位であり、そのため眼鏡フレームに適切な調整が行われ得るように鼻梁の構造を理解することが重要である。それゆえy軸上の多数の鼻測定値により、鼻梁の一層正確な構造が判断され得る。y軸により、ユーザに対する垂直軸又は縦軸を意味する。
眼鏡フレームが装用者の顔面にどのように着座するかと瞳孔に対してレンズが保持される位置との間には相互関係が見られる。フレームが鼻に正しく着座していない場合には、瞳孔中心に対してレンズが正しく保持されない。鼻の構造の正確な表現により、レンズが装用者の瞳孔に対してフレームにどのように保持されるか、特にレンズ高さ、前傾斜度、頂点間距離について正確な予測が可能である。装用者に合わせた光学的補正が準最適であることを予測が示す場合には、レンズが再配置されて正しい斜度及び頂点間距離で瞳孔中心と整合するようにレンズ高さ測定値を調整すべく、適切な調整がフレームに対して行われる。
幾つかの例において、(デカルト座標系に基づく)第1y座標でx軸に沿って光線照射して鼻座標データを取得し、鼻座標データを鼻データセットに記憶すること、第1y座標を第2y座標までの間隔により調整して第2y座標でx軸に沿って光線照射し、追加の鼻座標データを取得し、追加の鼻座標データを鼻データセットに記憶すること、鼻データセットから鼻座標データを検索すること、フレームブリッジデータを検索すること、鼻座標データをフレームブリッジデータと比較すること、鼻座標データとフレームブリッジデータとの間の重複エリアのサイズを判断すること、そして重複部のサイズが閾値より小さい場合に少なくとも一つのフレーム測定値を調整することにより、複数の鼻測定値が得られる。この方法は、眼鏡フレームがユーザの鼻に置かれている時にフレームブリッジの支点の着座位置の一層正確な判断を可能にする。眼鏡フレームがユーザ顔面からずり落ちず快適に装用され得るように、フレームブリッジと鼻との間に充分な接触エリアが着座位置に設けられなければならない。それゆえこの取得方法は鼻の構造の良好な理解を提供し、フレームの着座位置が各ユーザに合わせて調整されることを可能にする。
比較ステップは、フレーム測定値セットを顔面測定値セットにマッピングすることと、調整される必要のあるフレーム測定値サブセットを特定することとを包含し得る。マッピングは、眼鏡フレームのサイズ及び構造を表すデータが顔面のサイズ及び構造を表すデータと比較されるという点で概念マップであり得る。こうしてユーザにとって適切なサイズではないフレームの部位が特定され得る。全てのフレーム測定値が調整される必要があることが常に当てはまるわけではないので、調整の必要があるフレーム測定値サブセットの特定により、補正の必要があるフレームの部位のみが調整される。この事例で、調整される必要のあるフレームの部位は、このユーザに必要とされる光学的補正をレンズが提供するように瞳孔に対するレンズの位置を調整するフレームの部位を指す。
好ましくは、調整ステップは、特定されたフレーム測定値サブセットを調整することを包含する。こうして、全てのフレーム測定値を調整するのではなく、調整される必要のあるのはユーザの瞳孔に対するレンズの位置に積極的な影響を与えるフレーム測定値のみであることが保証される。積極的な影響により、我々は、レンズの光学的中心の位置が適切な頂点間距離及び角度でユーザの瞳孔に対して良好に置かれるので、そのユーザにとって最良の光学的補正をレンズが提供できることを意味する。
幾つかの事例で、特定されたフレーム測定値サブセットは、眼鏡フレームのブリッジに関係するフレーム測定値を少なくとも一つ包含する。眼鏡フレームのブリッジは、ユーザの鼻に置かれることになるフレームの部位である。それゆえユーザの鼻に対する眼鏡フレームのブリッジの位置は、その瞳孔に対するレンズの位置を規定する。それゆえフレームブリッジに関係するフレーム測定値を調整することにより、各瞳孔に対する各レンズの位置がユーザの処方に合っていることが保証されるように、フレームがユーザの鼻に置かれる位置が調整され得る。
特定されたフレーム測定値サブセットは、眼鏡フレーム内でのレンズの多様なエリアの位置に関係する少なくとも一つの測定値を包含し得る。
累進多焦点レンズ(累進、累進付加レンズ、及びPALとも呼ばれる)では、一般にレンズの上部から下部へレンズ内で度数が徐々に変化し、全ての距離―遠距離、中間距離、近距離、及びその間のどこか―でクリアな視力の為の多数の度数を供与する。それゆえ、特定ユーザにとって望ましい最適の光学補正をレンズがユーザに提供することが保証されるように瞳孔に対するレンズの正しい配置が保証されることが重要である。
好ましくは、レンズ位置を調整するステップは、ユーザの左瞳孔と関連するレンズ位置測定値とユーザの右瞳孔と関連するレンズ高さ測定値とを別々に調整することを包含する。ユーザの左瞳孔及び右瞳孔が正確には互いに一直線上にない事例が多く、これにより我々は、ユーザ顔面で(y軸に沿って)これらが同じ垂直距離にはないことを意味している。それゆえ、左右のレンズの位置が適宜調整されて、各レンズがそれぞれの瞳孔に正しく配置されることを保証するように、左右瞳孔の位置を別々に測定することが重要である。それゆえ、各瞳孔について別々の測定値を得ると、各レンズの垂直位置が最適であることが保証され、各レンズは最大限の光学的補正をユーザに提供できることを意味している。
少なくとも一つのフレーム測定値を調整するステップは、フレーム測定値が少なくとも一つの適合条件を満たすように少なくとも一つの適合ルールをフレーム測定値に適用して少なくとも一つのフレーム測定値を調整することを包含し得る。適合ルールは、フレーム測定値を閾値と比較することを包含し得る。代替的に、あるいは加えて、適合ルールはフレーム測定値を顔面測定値と比較することを包含し得る。それゆえ、少なくとも一つのフレーム測定値がどれほど調整される必要があるかを判断するのに適合ルールが使用され得る。フレーム測定値の調整を補うのに適合ルールを使用すると、フレーム測定値の手作業調整と比較して、より正確なメガネフレーム調整方法が提供される。適合ルールにより、瞳孔に対するレンズの位置が正しくなるまでフレームが調整されることが保証され、間違ったフレーム調整が行われる機会を減少させる。
好ましくは、調整ステップは、複数の適合ルールをフレーム測定値に適用することと、フレーム測定値が複数の適合条件を満たすようにフレーム測定値を調整することとを包含する。フレーム測定値の調整を補うのに多数の適合ルールを使用すると、眼鏡フレームが調整される際の正確さを更に高める。異なるフレーム測定値には異なる適合ルールが適用され得る。これは、瞳孔に対するレンズの位置がユーザにとって正しいとの保証に役立つように異なるフレーム測定値に対応する異なるフレーム態様が調整されることを保証するのに役立ち得る。一以上の適合ルールがフレーム測定値に適用されてもよい。これは、瞳孔に対するレンズの位置がユーザにとって最適であるようにフレーム測定値がユーザに合わせて正しく調整されたことを保証するのに役立つ。
幾つかの例において、複数の適合ルールは、鼻領域、耳領域、顔面造作領域、及び/又は、レンズ領域に対応し得る。複数の適合ルールは上述の領域の幾つか又は全てを包含し得る。幾つかの例で、複数の適合ルールは代替的及び/又は付加的な領域を包含し得る。使用時には、眼鏡フレームが顔面特徴により支持されている幾つかの主要箇所でユーザ顔面の部位と眼鏡フレームが接触する。これらの領域は耳と鼻とを含む。それゆえ、眼鏡フレームがユーザの顔面に正しく着座するようにこれらの主要領域で眼鏡が各ユーザにとって正しいサイズを持つことが重要である。これにより、処方に基づいてユーザの眼に対するレンズの位置がこのユーザにとって最大限の視力矯正を提供する時に、眼鏡フレームが正しく着座していることを意味する。ゆえに、これらの主要領域に関係する幾つかの適合ルールを設けると、眼鏡フレームがこれらの主要領域で各ユーザにとって正確なサイズを持つ良適合した眼鏡フレームが提供されることを保証するのに役立つ。
第二の態様によれば、ユーザの頭部を表す三次元座標データを包含する入力データを受信するように構成された受信モジュールと、入力データ内で複数の目印箇所を特定して目印箇所が顔面特徴の三次元位置に対応するとともに、目印箇所を使用して少なくとも一つの目印箇所と関連する少なくとも一つの測定値を計算することにより複数の目印箇所に基づいて顔面測定値セットを判断するように構成されたプロセッサと、基本眼鏡フレームを表すフレーム測定値セットをフレーム測定値のデータベースから検索するように構成された検索モジュールとを具備する、ユーザに合わせて眼鏡フレームを調整してカスタマイズ眼鏡フレームを提供するように構成されたコンピュータシステムが提供され、プロセッサは更に、顔面測定値セットをフレーム測定値セットと比較し、比較に基づいてフレーム測定値セットの少なくとも一つのフレーム測定値を調整し、調整済みフレーム測定値セットを包含するデータファイルを出力するように構成され、フレーム測定値セットはレンズ高さ測定値を包含し、調整は、レンズ高さ測定値を初期値から調整値に調整することを包含する。
好ましくは、コンピュータシステムは更に、ユーザ頭部をスキャンして入力データを生成するように構成されたスキャンモジュールを包含し得る。スキャンモジュールは更に、入力データを受信モジュールへ送信するように構成され得る。スキャンモジュールをコンピュータシステムの一部として含めると、眼鏡フレームを調整する為の完全な自己完結型コンピュータシステムを提供するのに役立つ。
幾つかの例において、スキャンシステムはカメラと信号発信器とを具備する。信号発信器は複数の信号をユーザ頭部に発信するように構成され、カメラは発信された信号を検出するように構成され得る。こうして、ユーザ頭部を検出するとともにユーザ頭部の画像を得る正確な方法が提供され、画像は、3D座標データの形であるユーザ頭部の3D表現に変換される。複数の信号の発信は、実質的にユーザ頭部の構造の全体が捕捉されることを保証する。
好ましくは、信号発信器は赤外線発信器を具備してカメラは赤外線カメラを具備する。赤外線画像の捕捉により、物体の3D座標データを取得する便利で正確な方法が提供される。
他の例で、スキャンモジュールはLiDARカメラを具備する。これにより、物体の3D座標データを取得する便利で正確な代替的方法が提供される。
第三の態様によれば、コンピュータによる実行時に上記の方法とその変形のいずれかとをコンピュータに行わせる命令を包含するコンピュータプログラムが提供される。
第四の態様によれば、上記のコンピュータプログラムが記憶されたコンピュータ可読データ担体が提供される。
第五の態様によれば、ユーザの頭部を表す三次元座標データを包含する入力画像データを受信するステップと、入力画像データを前処理して前処理済み入力データセットを作成するステップと、前処理済みデータセットを第1ニューラルネットワークに入力して第1結果を出力するステップであって、顔面特徴の箇所の第1推定値を表す三次元座標データを第1結果は包含するステップと、第1結果を処理して処理済み入力データセットを作成するステップと、処理済み入力データセットを第2ニューラルネットワークへ入力して第2結果を出力するステップであって、顔面特徴の箇所の第2推定値を表す三次元座標データを第2結果が包含して第2結果は第1結果と異なっているステップとを包含する、画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法が提供される。
それゆえこの方法は、二つのニューラルネットワークの連続使用を包含し得る。第1及び第2ニューラルネットワークは同じか異なるタイプのニューラルネットワークであり得る。
レンズが瞳孔の正面に正しく保持されるように眼鏡フレームがユーザ顔面に正しく着座することを保証する際には顔面目印の数が特に意味を持つので、これらの顔面目印の箇所(位置)の正確な特定は重要である。機械学習を利用する上記のコンピュータ利用方法は、アルゴリズム全体の分類の正確さが向上した結果として顔面目印位置を入力画像から一層正確に推定することが可能であるので、有利である。
顔面目印の正確な判断により顔面の構造の一層正確な表現を作成することが可能となり、こうして装用者の瞳孔に対してレンズがフレームにどのように保持されるかについての一層正確な予測が可能となる。予測が装用者にとって光学的補正が準最適であることを示している場合には、レンズ高さ測定値を調整して、レンズが正しい斜度及び頂点間距離で瞳孔中心と整合するべく再配置されるように、適切な調整がフレームに対して行われる。
前処理は、入力画像データをサンプリングして第1サンプリングデータセットを作成することと、第1サンプリングデータセットの次元数を削減して第1縮小データセットを作成することとを包含し得る。入力画像データは更にカラーテクスチャマップを包含し、サンプリングは入力画像データの位置及びカラーのサンプリングを包含し得る。サンプリングデータセットの次元数の削減は、データセットの全体サイズが縮小されることを意味し得る。第1縮小データセットは三次元座標データを包含し得る。
処理は、第1結果をサンプリングして第2サンプリングデータセットを作成することと、第2サンプリングデータセットの次元数を削減して第2縮小データセットを作成することとを包含し得る。サンプリングは第1結果の位置及びカラーのサンプリングを包含し得る。
顔面特徴は耳を包含し得る。顔面特徴は瞳孔を包含し得る。
画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法(第五の態様)は、ユーザに合わせて眼鏡フレームを調節してカスタマイズされた眼鏡フレームを提供する第一の態様の方法とその変形のいずれかとの組み合わせで使用され得る。特に、画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法は、ユーザに合わせて眼鏡フレームを調整してカスタマイズされた眼鏡フレームを提供するという「特定」ステップの少なくとも一部を形成し得る。
画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法(第五の態様)は、ユーザに合わせて眼鏡フレームを調整してカスタマイズされた眼鏡フレームを提供するように構成された第二の態様のコンピュータシステムとその変形のいずれかとの組み合わせで使用され得る。特に、「特定」ステップを行なう構成をプロセッサが持つ時には、画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法を行なう構成をコンピュータシステムのプロセッサが持ち得る。
第六の態様によれば、画像データを使用して顔面特徴を位置確認する為の分類器を訓練する方法が提供され、この方法は、第1訓練データセットを生成することであって第1訓練データセットが複数の頭部スキャン画像を包含すること、第1訓練データセットを使用して第1ニューラルネットワークを訓練することであって、訓練が、第1訓練データセットの第1サブセットを選択し、このサブセットを使用して第1ニューラルネットワークを訓練するステップと、第1訓練データセットの第2サブセットを使用して第1ニューラルネットワークの正確さを判断するステップであって、第1訓練データセットの第2サブセットが第1サブセットの一部を形成しない頭部スキャン画像を包含するステップと、第1訓練データセットを使用して第1ニューラルネットワークを反復的に訓練するステップと、連続的反復の出力の間に観察される差分が第1閾値より小さい時に第1ニューラルネットワークの訓練を終了するステップとを包含すること、そして、第1ニューラルネットワークの結果を出力することであって、顔面特徴の箇所の第1推定値を表す出力が顔面特徴の箇所の第1推定値の三次元座標及びカラーテクスチャデータを包含することを包含する。方法は更に、第2訓練データセットを生成することであって、第2訓練データセットが第1訓練データセットからの各頭部スキャン画像の被選択部分を包含し、被選択部分が顔面特徴の箇所の第1推定値の三次元座標を中心とすること、第2訓練データセットを使用して第2ニューラルネットワークを訓練することであって、この訓練が、第1ニューラルネットワークの誤差を表す残差セットを計算するステップと、第2訓練データセットの第1サブセットを選択し、このサブセットを使用して第2ニューラルネットワークを訓練するステップと、第2訓練データセットの第2サブセットを使用して第2ニューラルネットワークの正確さを判断するステップであって、第2訓練データセットの第2サブセットが、第1サブセットの一部を形成しないデータを包含するステップと、第2訓練データセットを使用して第2ニューラルネットワークを反復的に訓練するステップと、連続的反復の出力の間に観察される差分が第2閾値より小さい時に第2ニューラルネットワークの訓練を終了するステップとを包含すること、そして、第2ニューラルネットワークの結果を出力することであって、顔面特徴の箇所の第2推定値の三次元座標及びカラーテクスチャデータを包含する顔面特徴の箇所の第2推定値を出力が表すことを包含し得る。
手作業で行われた顔面箇所マーキングを観察して、顔面特徴の三次元位置座標及びカラーテクスチャマップ値で複数の顔面スキャンに注釈付けすることにより、第1訓練データセットが生成され得る。
懸念を回避する為に、上記の態様及びその変形のいずれかが、他に記載される一以上の態様及びその変形と組み合わされてもよい。
添付図面を参照して、本発明の実施形態が単なる例としてこれから記載される。
デカルト座標系に基づく人の頭部についてのxyz座標系を示す。 適合エンジンAPIワークフローを示す。 コンピューティングデバイスのスキャンモジュールの一例を示す。 顔の前面での顔面目印の例を示す。 顔の左側での顔面目印の例を示す。 顔面測定値の例を示す。 顔面測定値の更なる例を示す。 顔面測定値の更なる例を示す。 フレーム測定値の例を示す。 フレーム測定値の更なる例を示す。 鼻に適用される適合条件の例を示す。 耳に適用される適合条件の例を示す。 顔面に適用される適合条件の例を示す。 フレーム測定値の更なる例を示す。 フレーム測定値の更なる例を示す。 フレーム測定値の更なる例を示す。 フレーム測定値の更なる例を示す。 高度なDBR計算のフロー図を示す。 レイヤに分割される鼻の構造を示す。 円筒パターンでのサンプリングプロセス例を示す。 入力データのサブセットの一例を示す。
眼鏡フレームが装用者の鼻にどのように着座するかを判断するには、装用者の顔面でのフレーム着座位置を予測する為に鼻梁の形状及びフレームブリッジの形状についての知識が必要とされる。
本発明は、フレーム装用時に装用者の瞳孔がレンズとどのように相互作用するかを特定する能力を与える為に、フレーム及び装用者の顔面について取得された情報及びデータに基づいてフレーム着座位置の正確な予測を提供できる適合モデルに関係している。そして良適合したメガネ一式の装用者への提供に役立つように、この予測が使用され得る。
良適合したメガネ一式(眼鏡とも称される)を提供する為に、装用者により固有なものとなるように標準的なメガネフレームがサイズ及び形状について調整され、結果的に良好な適合が得られる。特に、ある種のフレームパラメータが装用者の頭部の測定値に基づいて調整されて、装用者の頭部により適切にサイズ決めされたメガネ一式が提供され得る。良適合により、装用者の頭部へのメガネフレームの載置によって最適な視力矯正が得られるように、レンズを保持するフレームの調整を通して装用者の眼に対するレンズ位置が最適化されることを我々は意味している。眼鏡レンズが瞳孔に対して正しく載置された時に、光軸は装用者の視軸と実質的に一致する。レンズを通して物体を視認する時に装用者が受けるプリズム効果が最少となることを意味するので、これは重要である。
加工済みのメガネ一式を提供するには、眼鏡フレームの要素の正確な測定とともに対象者の顔面特徴の正確な測定が行われなければならない。これらの測定値は、人の頭部及び眼鏡フレームを数学的に記述するのに使用される入力データに変換され得る。下記により詳細に記載されるように、この入力データは解析され、フレームに必要な調整が行われ得る。
適合ルールセットを包含する適合モデル、あるいは眼鏡フレームの多様な態様を調整するのに使用される適合アルゴリズムを使用して、眼鏡フレームが加工される。眼鏡フレームの異なる態様は異なるフレーム測定値に対応し、これは以下でより詳細に考察される。特に、適合モデルは、四つの主なエリア、すなわち鼻と耳と顔面造作とレンズとに集中したものである。これらのエリアの各々は、フレームが特定の装用者に適切なサイズを持つと見なす為に満たす必要のある少なくとも一つの適合条件、幾つかの事例では複数の適合条件と関連している。それゆえ、各エリアと関連する適合条件と、適合ルールの適用を通してこれらの適合条件を利用するアルゴリズムとが、フレーム測定値を調整してカスタマイズされたフレームを提供するのに使用される。
概して、眼鏡フレームのパラメータを調整するには、装用者の頭部の三次元(3D)スキャンを生成する為にスキャンモジュールを使用して装用者の頭部が最初にスキャンされる。スキャンされたデータは、装用者の頭部を表す三次元座標データを包含する3Dデータファイルとして出力される。任意で奥行マップ及び/又はテクスチャマップも出力され得る。三次元座標データを包含する3Dデータファイルは、処理モジュールへ送信される入力データセットを形成する。処理モジュールは3Dスキャンの入力データを解析し、3Dスキャンにおいて少なくとも一つの顔面目印を特定する。目印又は目印箇所は、顔面特徴の三次元位置に対応する。そして目印箇所と関連する測定値を計算することにより、顔面測定値セットを判断するのに目印箇所が使用される。幾つかの事例において、測定値の計算は、二つの目印箇所の間の距離を計算することを包含する。他の事例で、測定値の計算は、二つの目印箇所の間に形成される角度、及び/又は、目印箇所と座標軸又は面との間に形成される角度を計算することを包含する。顔面測定値セットは一般に、上記の計算の組み合わせを包含する。ゆえに3Dスキャンの入力データに基づく顔面目印の測定は、顔面目印の造作(例えばサイズと形状)を判断するのに使用され得る。取得モジュールは、記憶されたフレーム測定値のデータベースから少なくとも一つのフレーム測定値を検索する。記憶された測定値のデータベースは、フレームの特定部位の規格化フレームサイズに対応する。フレーム測定値は少なくとも一つの顔面目印と関連している。例えば、眼鏡フレームの幅は装用者の両眼の間の距離と関連している。取得されたフレーム測定値は、初期眼鏡フレーム又は基本眼鏡フレームを表し、これは適合モデルを使用するとともに適合ルールを適用して調整及び加工される。このステップは、顔面測定値をフレーム測定値と比較して、適合条件を満たす為に行われる必要のある基本フレームのサイズ又は構成の調整を判断することを包含し得る。フレーム測定値が目印測定値の閾値リミット内にある時には、適合条件が満たされている。
適合モデルルールは、装用者がメガネを装用している時に眼に対する最適レンズ位置を提供するのに最も適したフレーム測定値セット案を提供するのに使用される。適合モデルの四つの主なエリア全てについて適合条件を満たすフレーム測定値は、特定ユーザにとって最適であると判断される。
適合モデルの更なる詳細がこれから記載される。図1aに示されているように、x軸への言及はユーザに対して左右(つまり水平又は横)方向を指し、y軸への言及はユーザに対して上下(つまり垂直又は縦)方向を指し、z方向への言及はユーザに対して前後(つまり軸又は奥行)方向を指すことが留意されるべきである。
図1は、適合エンジンAPIの全体ワークフローを示す。適合エンジンAPIは、コンピューティングシステム100、例えばデスクトップコンピュータ又はモバイルコンピューティングデバイスで実装され得る。適合エンジンAPIはクラウドベースシステムでも実装され得る。フレームを自分の頭部に合わせて調整したいユーザは、最初に、コンピューティングシステムに設けられたユーザインタフェースとの対話を通して自分の眼鏡処方をアップロードする(S102)。加工済みフレームをユーザに提供する為に、コンピューティングシステムは顔面測定値をフレーム測定値と比較し、それから顔面測定値及び適合ルールに基づいてフレーム測定値に対する適切な調整を行なう。
顔面測定値は、装用者の顔面に関係する測定値セットであって顔面のみで得られる。フレーム測定値は、フレームの特徴に関係する測定値セットであってフレームのみで得られる。これらの顔面測定値及びフレーム測定値のセットに加えて、追加の顔面フレーム測定値セットが得られる。これらの顔面フレーム測定値はフレームと顔面の両方で行われ、互いに直接関係している。最後に、フレーム側面及びその調整に関係する顔面及びフレーム測定値を包含する側面測定値セットが設けられる。これらの異なる測定値セットは、適合ルールが適用されるデータを形成し、加工済み眼鏡フレームが製作される。これらのセットの各々内の測定値の詳細とこれらがどのように取得されるかがこれから記載される。
スキャナの形を取るスキャンモジュール102を使用して、装用者の顔面測定値が取得される。スキャンモジュール102はコンピューティングシステム100の一部であり、例えばスキャンモジュール102は図2に示されているようなモバイルコンピューティングデバイスのカメラ102を具備し得る。代替的に、スキャンモジュールは、コンピューティングシステムとの通信状態にある別の要素、例えば独立型の頭部スキャナであり得る。ユーザは、顔面測定が行われるユーザの頭部に関係するデータを捕捉する為にスキャンモジュール102を使用して自身の頭部をスキャンする(S104)。
ユーザの頭部全体がスキャンされることが保証される為に、スキャンモジュール102は、ユーザの顔面全体について顔面データが取得されることが保証されるように複数の角度からユーザの頭部を捕捉する必要がある。幾つかの事例で、例えば、顔面の片側からユーザの顔前面を越えて顔面の反対側へユーザ頭部の周りに水平の円弧を描くことにより、固定位置にあるユーザの頭部周りを移動するように、スキャンモジュールが配設され得る。他の例では、スキャンモジュール102が静止したままでユーザが片側から反対側へ自身の頭部を回転させてもよい。この後者の例は図2に示されている。この例で、スキャンモジュール102はモバイルデバイスのカメラの形であり、複数のコマンド、例えば数千の個々の赤外線点から成るユーザ顔面の3Dメッシュが作成されるように頭部を左右に動かすことをユーザに指示する「ゆっくり左を向く」が、モバイルデバイスのディスプレイ画面を介してユーザに提示される。高解像度スキャンを重ねることにより、正確でフォトリアリスティックなユーザ顔面の3Dモデルが作成される。スキャンモジュール102は、3Dスキャンでユーザの頭部を正確に記録する。
スキャンモジュール102は、カメラと、カメラにより検出されたユーザの顔面に複数の信号を発信するように構成された信号発信器とを具備する。発信された信号は、ユーザ顔面の数学的像を構築するのに使用される。
幾つかの例において、スキャンモジュール102は、赤外線発信器を具備するトゥルーデプス(TrueDepth)(登録商標)カメラの形を取る。赤外線発信器は、多数の赤外線ドットを周知のパターンでユーザの顔面へ投射する。そして赤外線カメラは赤外線ドットの画像を捕捉し、ユーザ頭部の3Dモデルを作成する。他の例において、スキャンモジュール102は、多重タイミングレーザパルスを使用してユーザ頭部の3Dモデルを構築するLiDARカメラの形を取る。
そして、頭部にわたる目印として知られる或る位置を特定及び記録する顔面マッピング機械学習アルゴリズムへ3Dスキャンデータが入力される(S106)。機械学習アルゴリズムは、既知の顔面目印を顔面スキャンデータから特定するように予め訓練されている。より具体的には、目印位置は顕著な顔面特徴の位置である。目印の位置は、座標、例えば3Dスキャンデータから取得されたxyz座標として記録され得る。顔面目印の例は、各瞳孔の中心の箇所と鼻尖の箇所と耳の箇所とを含む。
幾つかの顔面目印は他の顔面目印より相対的に重要であると考えられ、例えば、耳の位置と瞳孔の位置とは、鼻尖の位置より重要である。これは、眼鏡フレームが装用者の瞳孔との最適整合状態にレンズを保持するように眼鏡フレームが装用者の顔面に正しく着座するには、眼鏡フレームのアームが耳に置かれ(特に、フレームアームの屈曲部が耳の上部に置かれ)、レンズが瞳孔の正面に配置されなければならないからである。耳及び瞳孔の位置の特定に関する更なる詳細がこれから考察される。
最初に耳の箇所について検討すると、頭部スキャンセットに対して手作業で測定された際の平均的な耳の箇所に基づいて耳目印位置を推定することに関わる問題は、毛髪、あるいは閉塞部など他の障害物の影響と、180度に及ぶスキャンにより耳の後方の位置を推定しようとする際の困難さに起因して、結果として生ずる目印箇所は概ね不正確だということである。
毛髪及び閉塞部の問題を考慮してどのようにして耳の目印点を正確に一貫して特定するかという技術的課題を解決する為に、特定のデータを使用して特定の変数についてMLアルゴリズムが訓練される。
以下の記載では、第1及び第2ニューラルネットワークに言及する。第1ニューラルネットワークは、下記のように処理されると第2ニューラルネットワークの入力として機能する出力を発する。第2ニューラルネットワークは、この入力を使用して、左耳及び/又は右耳などの関連構造の位置や左耳及び/又は右耳に対応する目印点の非常に正確な推定値を生成することができる。付加的に、或る種の前処理ステップも実施される。これらのステップはアルゴリズム全体の分類正確さを予想以上に向上させることが分かっており、つまり、本明細書に記載のアルゴリズムは入力画像から目印位置(例えば耳目印位置)を一層正確に推定できるので有利である。
最初に、第1ニューラルネットワークへ入力される前に3Dスキャンデータ(画像データ)が前処理される。この前処理は、図19に示されているように、円筒形パターンで3Dスキャンデータの位置及びカラーをサンプリングすることを含む。そして(例えば手作業で)推定された初期目標目印箇所の点を中心とするパッチサンプリングプロセスが、3Dスキャンデータからの円筒形サンプリング位置及びカラーデータに対して行われた。パッチサンプリングプロセスから導出されたデータは、直交基底ベクトルセットを使用して次元数が削減される。訓練中には、サンプル頭部スキャンにより取得された例えば3000個のパッチのセットから15個のベクトルによる直交基底セットが導出される(パッチの数は、例えば1000と5000、又は500と10000の間で変化し得る)。次元数の削減により、比較的少数の訓練例で有益なレベルの性能までシステムを訓練することが実現可能になる。
第1ニューラルネットワークへの入力変数には、訓練データセットの平均値に従ってバイアスがかけられる。そしてこのバイアスステップに続いて、訓練データセットの変数で観察される分散の逆数平方根に従ってバイアス補正データが重み付けされる。入力データの平均と分散による正規化とを使用して、バイアスが選択される。このバイアス選択は、ニューラルネットワークにより学習しなければならない情報が少なくなり、ネットワークの深度を縮小するとともに、ネットワークの訓練に必要な反復訓練の総数を減少させることを意味する。
前処理ステップは、(耳の位置などの)目印位置の予想箇所についてのこれまでの我々の知識でニューラルネットワークを支援することにより、またデータの次元数を削減して少量の注釈付き頭部スキャンで訓練プロセスを一層扱いやすくすることにより、所与の量の訓練データについての出力の正確さを向上させるのに役立つ。
第1ニューラルネットワークは、入力変数の一部を形成する位置及びカラーデータのパッチの低次元表現に作用する。ニューラルネットワークの係数は、既存の頭部スキャンセットについて測定された予定の耳点の結果に適合するように調整される。使用されるニューラルネットワークモデルは、好ましくは、整流線形単位と連結整流線形単位とガウス単位との組み合わせで構成される多層パーセプトロンである。耳目印箇所の初期推定値は、3D座標の形で出力として取得される。
第1ニューラルネットワークからの出力が取得されると、第1ニューラルネットワークから取得された位置推定値を中心としてパッチサンプリングステップが繰り返され、その結果が、第1ニューラルネットワークからの出力を向上させるように特別に訓練された第2の異なるニューラルネットワークへ入力される。第2ニューラルネットワークは、目印点、例えば左耳及び/又は右耳目印点の三次元座標を出力する。第1ニューラルネットワークは目印点の座標を大まかに位置確認しているので、第2ニューラルネットワークは、目印点を含有する可能性が高い画像データ全体のサブセットに作用していることが認識されるだろう。これは目印の最終箇所を改善するので有利である。
上記のように、二つのニューラルネットワークを次々に使用すると、二つのニューラルネットワークのハイパーパラメータが互いと無関係に最適化され得るので、有利である。これは、目印検出プロセス全体の正確さを向上させ得る。加えて、上記のように、第1ニューラルネットワークにより実施された第1パスのおかげで、耳目印を含有することが分かっているデータのサブセットに第2ニューラルネットワークが作用する。こうして、初期ニューラルネットワークにより大まかに得られた箇所に人の左耳及び右耳があるとのドメイン知識の適用が可能となり、訓練及び実装の有効性が得られる。
第1及び第2ニューラルネットワークを使用する目印検出プロセスについて記載したが、これらのニューラルネットワークの訓練についての考察がこれから行われる。
第1ニューラルネットワークを訓練するのに使用される訓練データは、頭部スキャンセットである。これは本明細書では第1訓練データセットと称される。各頭部スキャンは本質的に特定の人の頭部の画像であり、上で考察されたタイプのものである。本開示と関係のある当業者により、適切な数の頭部スキャンが選択可能であろう。一般に数千(例えば1000から5000、又は約3000)の頭部スキャンで充分である。しかしながら本発明は、第1訓練データセットに特定数の頭部スキャンを使用することには限定されない。各頭部スキャンは好ましくは、(例えば多角形メッシュデータの形の)幾何学データ、幾何学データ内の多数の点(あるいは関連性のある時にはメッシュ)での法線ベクトル、テクスチャマップ座標、そしてカラーテクスチャマップ(例えばRGBテクスチャマップ)を含む。各頭部スキャンには、訓練を受けた眼鏡販売スタッフの観察と整合性のある技法を使用してマーキングされた三次元の左耳及び右耳位置が注釈付けされる。
好適な実施形態では、眼鏡販売中の慣行として耳点マーキングを観察し、この技法に対応する左右耳点の箇所で三次元での(例えば3000)ヘッドスキャンセットに注釈付けすることにより、第1訓練データセットが生成される。
第1ニューラルネットワークは、第1訓練データセットの一部分を使用して訓練される。訓練されると、第1訓練データセットの残部は第1ニューラルネットワークの正確さを図るのに使用される。第1ニューラルネットワークが充分に正確な結果を出していると見なされるまで、このプロセスが反復的に繰り返される。つまり、連続的最適化の反復の間で観察される差分が閾値より小さい時に、第1ニューラルネットワークの訓練段階が終了されるのである。目下の状況の詳細に関係する当業者により、閾値が選択されることになるだろう。一例として、6個の三次元座標(つまり左耳及び右耳のX座標、Y座標、及び、Z座標)にわたる平均誤差の100ミクロン二乗平均平方根(RMS)又はその領域に、閾値が設定され得る。しかしながら、閾値は代わりに他の値(例えば50から500ミクロンの範囲の値)に設定されてもよいので、本発明はこの値に限定されない。
第1ニューラルネットワークが訓練されると、第2ニューラルネットワークを訓練する為の第2訓練データセットを生成するのに訓練プロセスからの結果が使用される。当の目印特徴に近いデータのみを使用して、第2ニューラルネットワークが訓練される(例えば、三次元位置座標は、第1ニューラルネットワークにより出力された目印位置の初期推定値の所定範囲内にある)。言い換えると、第2ニューラルネットワークは頭部スキャンデータセット全体を使用して訓練されるのでなく、代わりに、当の目印に特に関係するこのデータのサブセットを使用して訓練される。例えば、左右の初期推定値(この推定値は、訓練データセットの頭部スキャン全てにわたり得られた左耳及び右耳の平均箇所から導出される)を中心とする、図20に示されているようなデータ入力のサブセット(例えば16×16グリッド(つまり256個のサンプル)は、左右の初期推定値の箇所を表す三次元座標とともに、また初期の左右推定値の周囲のテクスチャデータのサブセットとともに、第2ニューラルネットワークを訓練するのに使用される第2訓練データセットを形成する。そして第1ニューラルネットワークについて上記のように第2ニューラルネットワークは訓練されるが、第2訓練データセットを使用する。
第2ニューラルネットワークの訓練中に、第1ニューラルネットワークの誤差を表す残差セットが計算され得る。幾つかの事例では、データサブセット(つまり画像の被選択部分)のサイズを管理するのに残差が使用され得る。例えば、第1ニューラルネットワークが座標X+/-1%である耳目印箇所の推定値を出力する場合に、第2ニューラルネットワークは、第2ニューラルネットワークの訓練データセットとしての座標箇所X+/-1%を包含する画像全体のサブセットを使用できる。
代替的に、第1ニューラルネットワークの残差を入力パラメータとして使用して、第2ニューラルネットワークは訓練されてもよい。この事例で、第2ニューラルネットワークは、その分類の一部としての残差を使用し、残差は第2ニューラルネットワークへの入力である。
このような第1及び第2ニューラルネットワークの連続な訓練の結果、特に正確な目印検出プロセスとなり得ることが分かっている。
さて瞳孔の箇所を考慮すると、頭部スキャンセットにおいて手作業で測定される平均箇所に基づく眼の箇所の推定に関わる問題は、スキャンプロセスの困難さゆえにこの方法では瞳孔の箇所の正確な推定値が得られないことである。特に、瞳孔により形成される「ホール」ゆえにスキャンでは眼の硬質面を検出できないので、スキャンでは眼の(外側及び内側の)外眼角の間の中心点を瞳孔の箇所とする。しかしながら、この箇所は正しい瞳孔箇所と必ずしも等しいわけではなく、各眼の相対的瞳孔配置の間には変動が見られることが多い。
両方の瞳孔の目印点(つまり箇所)を正確に一貫してどのように特定するかという技術的課題を解決する為に、本発明では眼の最も暗い領域を見つけてこの領域の中心を瞳孔の中心として設定する。このプロセスは以下の通りである。
出発点として、頭部スキャンセットでの手作業測定値から特定された平均箇所に、各眼の位置が設定される。こうして、本発明により改善された瞳孔の近似箇所が得られる。
これに続いて、今度は各眼の推定位置を中心とする矩形パターンで3D顔面スキャンの位置及びカラーがサンプリングされる。前と同様に、初期の眼箇所推定値を基準として使用してサンプリングによる位置及びカラーデータの次元数を削減する為にパッチサンプリングが行われる。
前のように、ニューラルネットワークは位置及びカラーデータのパッチの低次元表現に作用する。ニューラルネットワークの係数は、既存の頭部スキャンセットについて測定された予定瞳孔点の結果に適合するように調整される。耳目印判断と同様に、出力が取得されると、第1ニューラルネットワークからの出力を向上させるように特別に訓練された異なるニューラルネットワークを使用して、パッチサンプリングステップが繰り返される。最終ニューラルネットワークの出力は左右瞳孔点の三次元座標である。
耳及び眼の位置確認について上述の技術は、他の顔面特徴、例えば鼻、口、眉毛、唇等に適用され得ることが認識されるだろう。
図3及び4は、頭部の前面及び側面での顔面目印を示している。認識されるように、頭部の右側の目印は図4に示されている頭部の左側のものと同じである。
目印が特定されて対応の位置が目印座標のデータセットに記録されると、顔面の幾何学形状についての更なる情報を抽出する為に光線照射が目印データベースに適用される。この更なる情報は、特定の顔面特徴のサイズ及び形状についての詳細を提供するとともに、異なる顔面目印が互いにどのように関係しているかに関する付加的な詳細を提供する。例えば、鼻目印データ点と瞳孔間距離とともに、眼目印データ点に基づく眼の形状に基づいて、鼻の形状を判断するのに光線照射が使用され得る。顔面の幾何学形状についての情報の判断は、眼鏡一式を調整するのに後で使用される個人の頭部の虚像を構築又は構成するのに使用されるのはこの情報であるので、重要である。この文脈において、虚像は数学的な構成概念であり、多様な箇所を全て表すデータ点と、個人の頭部を表す関連の測定値とのデータベースを包含する。
フレーム測定値を調整するのに使用される装用者の頭部の測定値が判断されるのはこの顔面データからであるので、顔面目印の箇所の判断は重要である。装用者の顔面特徴に関係する正確なデータが適合モデルへ入力されるように、3Dスキャンから取得された顔面データは正しく解釈されなければならない。
適合の観点から見た顔面データの主要要素は、鼻である。鼻は、フレームの本体が置かれる顔面構造であるので、眼鏡フレームの正しい配置及び適合に関して最も重要な顔面構造の一つと考えられる。フレームと鼻との間の関係により、フレームが装用者の顔面に正しく適合するかどうかがほぼ判断され、眼鏡の使用を通して装用者の視界が向上するように充分な視力を提供する。しかしながら、鼻の構造は個人により大きく変動し、そのため瞳孔に対してレンズが正しく配置されていることを保証するようにメガネフレームが鼻すじに置かれることを保証するには、幾つかの変数が考慮される必要がある。特に、鼻骨そのものにより形成される隆起部として定義される鼻すじと鼻の角度とは変動が大きく、鼻梁は、眼鏡ブリッジが鼻に置かれるエリアであるので、このエリアの正確な表現が重要である。鼻稜は様々に異なる形状も取り、例えば直線状、凹状、凸状であるか、波のような構成を呈し、そのためこれらの変動が考慮されるべきである。最後に、レンズの中心が瞳孔と正しく整合されるかどうかに影響を有するので、眼鏡フレームを合わせる時には眼と鼻すじとの相対的なレベルが必須である。レンズの位置が適切に調整される為には、眼と鼻梁との間の関係が正確に判断される必要がある。
適合モデルへ入力される顔面測定値セット(S108)を計算するのに目印の箇所が使用され、こうして鼻におけるフレームの正しい位置、ゆえに瞳孔に対するレンズの補正位置が判断される。図5,6,7は、3D頭部スキャンから判断され得る鼻目印に関係する多様な顔面測定値の幾つかを示している。
最初に図5を見ると、鼻の形状に関係する顔面測定値はとりわけ重要である。特に、以下の顔面測定値が判断され、顔面測定値の番号は図5の測定値の参照番号に対応する。
図5の参照番号4―鼻の始点におけるy方向の垂直高さに対応する鼻稜高さ。この測定値は、眼の下部(下瞼)に対する鼻の始点であると考えられ得る。鼻稜高さの上部又は頂点は、鼻稜点として知られる。
図5の参照番号5―前方視点から見て鼻がどのように拡張又は拡開しているかを示す拡開角とも考えられ得る鼻前頭角。鼻孔の外縁部と鼻を通る中心縦軸との間の角度を見つけることにより、これが測定される。
図6の参照番号6―鼻が顔面からどれほど突出しているか(つまり鼻がどれほど上向き又は下向きであるか)を示す鼻稜角。鼻稜と鼻尖を結ぶ線と垂直面との間の角度を見つけることにより、これが計算される。
図5に関する更なる詳細は付記に見られる。
次に図6を見ると、図5を参照して記載された測定値を計算するのに使用される顕著な顔面マーカ又は参照点が示されており、例えばA(^)CRは鼻稜角を表す。図6の更なる詳細は付記に見られる。
最後に、図7を見ると、鼻の異なる広がり角が示されている。広がり角は、上下の視点から鼻がどのように拡張又は拡開しているかを示す、拡開角の別の形とも考えられ得る。指定点での(フレームブリッジ幅と同様であると考えられ得る)眼鏡フレームのリム間距離(DBR)の位置、一般には水平中心線(装用者の下瞼に形成される水平想像線)の10mm下方と鼻の中心線とにより形成される角度を見つけることにより、広がり角が計算される。眼鏡フレームブリッジの鼻に面した表面と付属のノーズパッドとが鼻の表面と整合されるべきであるので、正しく適合した眼鏡フレーム一式を提供する際にはこの測定値が重要である。そのため、鼻とフレームとの間に充分な表面接触エリアを設けて眼鏡が装用者の鼻からずり落ちないような状態でフレームのブリッジが鼻すじに置かれるには、フレームブリッジの角度と鼻の広がり角とが実質的に同じになるべきである。
基本フレーム測定値セットも判断されて、装用者の顔面に合わせて後で調節され得るフレーム測定値の初期データセットが提供される必要がある。
フレーム測定値をより詳しく調べると、図13~16に見られるように、フレームは幾つかの領域、すなわち前面、側面、上面、そして眼に分割されると考えられ得る。
フレームの前面が図示されている図13を参照すると、ブリッジの形状に関係するフレーム測定値は特に重要である。より具体的に記すと、以下のフレーム測定値が得られ、下の参照文字は図13の参照文字に対応する。
・d―レンズ開口部の内縁部の間の距離に対応するレンズ間距離(DBL)。
・4―水平中心線(HCL)の5mm下方に配置される水平参照線に対応する(レンズの上下縁部に対する接線の中間に水平線が引かれる場合のy軸上の距離に対応する)ブリッジ幅線。
・5―ブリッジ幅線に沿って測定された最小リム間距離に対応するブリッジ幅。
・6―ブリッジ幅線からブリッジ下縁部までの距離に対応して、垂直対称軸に沿って測定されたブリッジ高さ。ブリッジ高さの上部は、支点位置として規定される。
図14は、幾つかのフレーム測定値、例えばフレームブリッジと、眼鏡フレームの中心を通る垂直面との間に形成される角度に対応する広がり角ACが求められるフレームの側面を示す。求められ得る更なるフレーム測定値の詳細は付記で考察される。
図15は、付記で考察されるように、他の幾つかのフレーム測定値が求められ得るフレームの上部を示す。
図16は、幾つかの更なるフレーム測定値、例えば眼の水平軸に対するレンズ開口部の角度に対応する前傾斜度が求められるフレームの眼領域を示す。求められ得る更なるフレーム測定値は、付記で考察される。
上記のフレーム測定値とともに、同等の顔面測定値に対応する追加のフレーム測定値も求められる。これらの測定値は以下を含む。
・HCL(0mm)でのリム間距離DBR;5mmでのDBR;10mmでのDBR;15mmでのDBR―y軸上の異なる位置で計算されたリム間のx軸上での距離。特に、これはHCLでの鼻稜点と、HCLの上方5mm、10mm、15mmでの鼻稜点で計算される。
・鼻稜高さ―HCLと、鼻梁の中点である鼻稜点との間のy軸上の距離。
・広がり角―これは、フレーム前面の後方法平面とパッド平面との間の角度にも対応する。
・前頭角―垂直線とブリッジパッドの平面との間の角度を見つけることにより計算され、垂直線はフレームの中点での中心縦軸である。
前に考察されたように、フレームブリッジが装用者の鼻にどのように着座するかを判断し、続いて装用者の瞳孔に対して正しい位置にフレームがレンズを保持する為にフレームに対してどんな調整を行う必要があるかを判断するには、鼻梁の形状とフレームブリッジの形状とを正確に表すことが重要である。すなわち、装用者の顔面でのフレーム着座位置を正確に予測すると、フレームが装用された時に装用者の瞳孔がレンズとどのように相互作用するかを特定することが可能になるのである。
フレーム着座位置の正確な予測を提供するには、上記のフレーム及び顔面測定値に基づいて他の幾つかの重要な測定値が判断され得る。
DBR測定値の修正形は顔面に対して行われて高度なDBRとして知られ、鼻に載置された時にフレームブリッジの支点の為の着座位置の一層正確な判断を可能にする。図17を参照すると、鼻の長さに沿って多くの測定値を取得する為にy軸上の所定間隔でx軸に沿って光線照射することによりこの顔面測定値が概ね計算され、こうして鼻のサイズ及び形状の一層正確な表現が得られる。フレームが顔面、特に鼻にどのように着座するかについて良好なシミュレーションを行なうことにより、眼の正面での眼鏡レンズの配置をより正確に予想することが可能である。
図18に示されているように、鼻は複数の鼻レイヤ180から形成されると見なされ得る。各鼻レイヤは鼻の垂直スライスに対応すると考えられ、そのため鼻レイヤは特定のz軸座標と関連している。各鼻レイヤが一般に同じ厚さを有するように、レイヤは一般にz軸において互いに等しく離間している。特定の鼻と関連する鼻レイヤの数は鼻のサイズに依存し得る。各鼻レイヤは概ね三角形の形を取り、三角形はx軸及びy軸座標により規定される辺を有し、三角形は或るx軸座標に位置する。各鼻レイヤは高度なDBR測定値の一部を形成し、鼻の全体構造がこれらのレイヤから構築され得る。
光線照射は鼻稜点に始まり鼻尖で終わる。鼻稜点に対応するy座標から始めて(S200)、x軸に沿って光線が照射され、x軸上の鼻の異なる部位のz軸位置が判断され得る。判断されたz軸座標データと所与のy軸位置についての多様なx軸位置との組み合わせは、鼻データセットに記憶され得る鼻座標データセットを形成する。そして一定間隔(例えば1mm間隔)でy座標が調整され(S202)、新しいy座標で新しい鼻座標データを取得するように光線照射プロセスが繰り返される。追加の鼻座標データは、鼻データセットに前に記録された鼻データに加えられる。y座標が鼻尖に対応するまでy座標を調整して新しい座標で鼻データを収集することにより、鼻の長さに沿って光線照射プロセスが繰り返される(S204)。
全ての鼻座標データが取得されると、鼻データセットは、鼻の形状を表す3D座標データセットを包含する(S206)。言い換えると、高度なDBR測定値は、鼻の構造(例えばサイズ及び形状)を表す複数の鼻レイヤを包含する点の3Dデータクラウドを包含する。そしてフレームブリッジの形状に対応するデータが検索され(S208)、これはフレームブリッジデータとしても知られる。図13を参照して前に記載されたように、このデータは広がり角、ブリッジ幅線、ブリッジ幅、そしてブリッジ高さを含む。
フレームブリッジデータは、フレームブリッジの形状を表す3D座標データセットを包含する。フレームブリッジが装用者の鼻に適切な形状であるかどうかを判断する為に、フレームブリッジが鼻へ投影され、結果としての適合状態が評価され得る。特に、鼻の構造とフレームブリッジの構造の両方が3Dで概念マッピングされ、xyz座標のデータセットに対応する3Dマップはそれぞれの構造を表し、これらの構造マップが互いに比較されてフレームブリッジが鼻にどのように着座するかが判断される(S210)。
この比較から、鼻座標データとフレームブリッジデータとを使用して、フレームブリッジの表面積と鼻の表面積との間の重複量、つまり接触面積のサイズを判断する(S212)ことが可能である。重複量は、眼鏡フレームが特定の装用者に適したサイズであるかどうかを評価する際の主要な測定基準である。
z軸上で、レンズは眼に可能な限り近く、頂点間距離(VD)として知られて時には後方頂点間距離と呼ばれる角膜からの距離を最小限にすべきである(装用者のまつげがレンズの後面からぎりぎり離れるべきである)。レンズ位置の始点は、屈折を行なうのに使用される検査機器と整合されるべきであり、一般には12.5mmのVDに設定される。
高度なDBR測定値にフレームのブリッジ形状を投影することにより、フレームと鼻とが合致する位置である当接位置を検出することが可能である。眼鏡フレームが鼻からずり落ちるのを防止する為に、当接位置には充分な表面接触面積が設けられなければならない。
比較後に、接触面積のサイズが小さ過ぎる、つまり英国規格BS EN ISO 12870:2014により規定される閾値よりも小さい場合には、接触面積を増大するように鼻におけるブリッジの位置が調整されて(S214)、眼鏡フレームが装用者の鼻からずり落ちないことが保証される。特に、鼻の多様な点でのDBR、前頭角、鼻稜角、そして広がり角に対して調整が行われる。そして最終的な(xyz座標での)当接位置が、最も可能性の高いフレームブリッジの物理的位置として適合エンジンAPIへ送信される。
最も可能性の高い鼻におけるフレームブリッジの物理的位置を判断する時には、眼鏡フレームの他の部位(例えばリムの下縁部)が装用者の顔面の部位(特にその頬及び額)と当接しないとの保証が重要である。フレームと装用者の顔面のこれらの部位との接触は装用者にとって不快であるので、これらの当接点は望ましくない当接点と称され得る。
これらの望ましくない当接点を第一に検出して第二に回避する為に、フレームブリッジは最初に、(第1の高度なDBR測定値が得られるところである)鼻稜点に配置される。フレームブリッジのz軸座標は鼻レイヤ座標に対応する。フレームブリッジx軸位置は鼻の平均x軸位置であるので、最初にフレームブリッジが鼻に載せられる。
望ましくない当接点を検出するように、フレームブリッジ位置を表す座標が(図18に見られるように鼻の外面を表す座標に対応する)鼻レイヤを通るまで、フレームブリッジ位置がy軸上で平行移動される。この点では望ましくない当接が生じる。そして装用者の頬にフレームが当接する位置を判断するようにフレーム縁部の位置がx軸上で左右に調整され得る。このプロセスはz軸上の各位置で繰り返される。眼鏡フレームの上部が装用者の額と接触する鼻の点があるかどうかを判断するのに、同様の技術が使用される。これらの望ましくない当接点を考慮することにより、装用者の顔面の部位とフレームが接触しないこと保証する最終フレームサイズが判断され、眼鏡フレームが装用者の鼻に正しく着座することが妨げられると、レンズは装用者の瞳孔と最適状態で整合しない。こうして、鼻の長さに沿って多数の測定を行なうことにより、鼻及びフレームブリッジの構造のより詳細な判断が行われ、そのため当接位置が一層正確に判断され、続いて装用者に合うように調整される。
それゆえ、装用者の頭部に合わせたサイズを持つ良適合した眼鏡フレームを提供する際には、高度なDBR測定が大切である。特に、使用時に高度なDBRは使用時に装用者の顔面におけるフレーム位置の正確な予測を可能にすることで、使用時に瞳孔に対するレンズ位置の正確な推定を可能にし、こうして、レンズが装用者に対して最適な光学的補正を提供するように瞳孔に対するレンズの位置を調整する為にフレームの正確な調整が行われ得る。
幾つかの鼻梁形状は、鼻すじをフレームの支点位置より上に位置させる。この効果を求めて補正を行なう為に、支点オフセットが計算される。支点オフセットはフレームブリッジが鼻に触れるべきところとフレームブリッジが実際に鼻に触れているところとの差分である。各フレームは、当接位置とも称され得る着座位置に対してフレームを正しく載置するところが適合エンジンAPIで分かるように計算され得る支点オフセットを有する。着座位置は、支点位置と支点オフセットとの合計として計算される。
眼鏡フレームが調整される前に、修正され得る始点又は基本フレームが必要とされる。フレームブリッジはカスタマイズすべきフレームの重要な特徴であるので、各個人に合わせて後で加工され得る普遍的なブリッジ測定値が最初に設けられる。普遍的ブリッジは汎用ブリッジ形状である。加工済みフレームペアを提供する為に、普遍的ブリッジ形状が出発点とされ、顔面測定に基づいて特定の個人に合うように調整される。眼鏡が装用者の顔面で安定するように装用者の鼻によりフレームブリッジが充分に支持されるとの保証により、ブリッジの調整は装用者の鼻におけるフレームの着座位置を向上させる。特に、顔面スキャンから得られた対応の顔面測定値に基づいて、フレームブリッジの広がり角及び鼻稜角が調整され得る。鼻稜高さに関係する条件を満たすことによりパッド高さが規定され、例えば、鼻稜高さ<xである場合にはパッド高さ=ymmに設定し、その際に高さはy軸上で測定されてxは母集団における鼻稜高さの平均値又は一般値を表す。鼻に触れるフレームの部位は広い接触面積を有し、そのため眼鏡フレームと鼻との間に充分な表面積が設けられて装用者の顔面でフレームを安定させることを保証するようにパッド高さが調整され得ることが重要である。
良適合フレームは、特定の装用者にとって可能な最良の視力矯正を提供する位置にレンズを保持しなければならない。そのため、レンズ光学素子が装用者にとって最適であることを保証するようにフレーム調整プロセス中にレンズの位置を検討することが重要である。
単焦点、累進レンズ、二焦点、及び処方箋不要レンズを含む、幾つかの多様なレンズタイプに適合モデルが適用され得る。
適切な補正を提供するレンズの能力を判断する際に重要な測定値は、レンズ高さである。言い換えると、収差の効果及びプリズム効果を最小限にする為に、各瞳孔に対するレンズの光学的中心について正しい垂直配置を提供することが重要である。そのため、実際には高指数レンズ及び累進レンズ/多焦点の事例では特に重要である―後者は「装用状態」レンズ位置の正確な測定を必要とする―が、装用者に必要な最適補正をレンズが提供して、相対的なレンズ度数又はセグメントが装用者の瞳孔と整合されることを保証する為に、瞳孔の中心と比較したレンズ高さ位置は概して本質的な測定値と考えられる。
図8に示されているように、レンズ縁部の最低接線と瞳孔中心との間のy軸上での距離を測定することにより、レンズ高さが計算される。それゆえレンズ高さは、レンズ全体の垂直長さから独立しており、レンズの最も下の部位と瞳孔中心の高さに対応するレンズ上の点との間の距離を表す。左眼と右眼とが必ずしも人の顔面の同じ高さにあるわけではないので、この測定値は必ずしも左右の眼について同じであるわけではないので、各眼について別々の測定値が得られる。
瞳孔がレンズの光学的中心に対応する時には、前傾斜度が設けられるべきではない。追加されるレンズ斜度はレンズの球面度数を変化させ、望ましくない円筒成分が顕著となる。低度数レンズについては、度数効果は取るに足りないが、高度数レンズではかなり明白であり得る。光学的中心が装用者の視線より下にある単焦点レンズのミリメートルごとの光学的性能への負の影響を回避するには、前傾斜度は2度でなければならない。例えば、図9aに描かれているように、光学的中心はレンズの4mm下にあって、顔面の平面に対して8度の前傾斜度を必要とする。
説明したように、幾つかの測定値は顔面とフレームの両方で取得されて互いに直接関係している。これらの測定値は、BDR、鼻稜高さ、ブリッジ高さ、前頭角、広がり角、頭部幅、そしてテンプル幅を含む。顔面のみについて行われるが一以上のフレーム測定値と直接関係する測定値は、頂点曲率半径と鼻稜角とを含む。フレームのみについて行われるが一以上の顔面測定値に直接関係する測定値は、フレームのパッド中心の間の距離を含む。フレーム側面及びその調整に関係するフレーム測定値は、後退角、屈曲部までの長さ、下降長さ、そして側面の全長を含む。
顔面測定値セットを規定する上記の測定値全てが得られて、基本フレーム測定値セットが標準フレーム測定値のデータベースから取得されると、装用者の頭部にぴったり適合するようにフレーム測定値を調整するプロセスが行われる。
装用者の顔面測定値を利用可能な基本フレームの対応の測定値と比較して、顔面及びフレーム測定値の間に初期一致が最も近いものを見つけることにより、基本フレームが選択される。
以下でより詳細に考察されるように、データベースから基本フレームが取得されると、特定ユーザに合わせて基本フレームを調整して加工済み眼鏡フレームを提供する為に、適合モデルにより適合ルールが適用される(S110)。適合ルールが適用されると、装用者のフレームについての適合案を規定するのにこれらが使用され得る(S112)。適合案は、適合条件を適用する(S110)ことにより計算されるフレーム測定値又はサイズ案のセットである。特に、案はフレームのスタイルとこれらのフレームのサイズとして規定され、瞳孔に対するレンズの位置は四つの主なエリアについての適合条件を満たす。
今度は、フレーム案リストを装用者に提示するのに使用される適合ルールを包含する四つの主なエリアについて、これから考察される。
光学的中心位置
以下に基づいてフレームによりレンズの光学的中心を最適位置に配置することを保証する。
・z軸位置。視野を最大化してまつげに影響されるVDを最小化するようにレンズを可能な限り眼の近くに置く。
・x軸位置。水平中心の最小位置で瞳孔の正面に光学的中心を置く。
・y軸位置。垂直中心をHCL又はその近くにし、累進レンズについての高さ計算(一般に22.0mm)を最小にして、瞳孔の正面に光学的中心を置く。
そして、図10に示されているように、鼻に対するフレーム位置の適合条件が判断され得る。
レンズのサイズ
レンズのサイズはフレームの全体サイズに影響し、それゆえフレームサイズの適合条件の重大な要素である。
顔面造作について、適用可能な適合ルールは、フレームの幾何学的中心距離をその軸上での装用者の瞳孔間距離と比較する―前者は前者と少なくとも同じ大きさであるべきである―ことにより、顔面造作に対する眼鏡フレームの良適合が規定されることである。
長さ‐長さ(LTL)幅は、その軸上での装用者の蝶形骨幅とも比較され、適合評価の為の出発点として機能する。
顔面に対するレンズ及びフレーム幅の適合条件は、図12に示されている。
(レンズの最大ブランクサイズ、重量及び快適性、又は頬骨の相対位置に基づく長さ深さ比に基づく)最大閾値の影響は受けるが、装用者が美的又はスタイルの検討に基づいてレンズ及びフレームのサイズを増大したいことがある。
レンズの角度
・光学的中心での前傾斜度がゼロ度であることを保証する。
・側面の「装用状態」角度を装用者の斜度にマッチングさせる。
・これを行なう為に、耳の相対位置のより正確な表示を必要とする。
図9を参照すること。
正しいテンプル長さの評価
次に耳領域について考えると、この領域に適用可能な適合ルールは、フレームの位置をx軸上の耳屈曲部位置と比較することにより耳への良適合が規定されるということである。そして図11に示されているように、耳に対するフレーム位置の適合条件が判断され得る。最適テンプル長さは充分であるので、屈曲部までの長さは、レンズ平面の後ろから耳の始点までのx軸上の長さと少なくとも同じである。
頭部適合の評価
・頭部幅、テンプル幅、後退角を推定する。
・側部把持が設けられるように、フレームHWは測定によるHWより~10mm小さい「補正」測定値として推定される。
・前面の平面から25mm下がった側面の間でフレームのテンプル幅が測定される。
・後退は、装用者の頭部側面との閉塞点が含まれないことを点検したうえで頭部幅とテンプル幅との間で計算される測定値であり得る。
次にこれらのルールの各々を適用することにより、適合条件が満たされるまで基本フレーム測定値が調整され、装用者にとっての良適合フレームが得られる。そして最適化された基本フレームに基づく少なくとも一つの眼鏡フレーム案を包含するセット案を適合モデルが提供し、フレーム案は適合条件によりカテゴリ分類される。そして装用者はフレームセット案からフレームを選択できる(S114)。
眼に対するレンズ位置が装用者にとって最適であるフレームを提供するのに最も適したフレームサイズについてのセット案を提供するのに、適合モデルルールが使用される。当の装用者には、コンピューティングシステム100のディスプレイ画面を介して、フレーム案とともにそのユーザには薦められないフレームを含むフレームのリストが提示される。四つの主なエリア(鼻、耳、顔面造作、レンズ)の全てについての適合条件(例えば良好及び完璧)を満たすフレームが、フレーム案として装用者に提示される。四つの主なエリアのいずれかについて適合条件を満たさないフレームは、薦められないものとして装用者に提示される。少なくとも一つの適合条件を満たすが少なくとも一つの他の適合条件は満たさないフレームは、平均的適合として装用者に提示される。フレームリストのフレームは、適合条件をどれほど厳密に満たすかに基づいて順序付けられる。
要約すると、特定加工の眼鏡フレームの製作を案内するのに適合モデルが使用される。全ての適合条件が鼻、耳、顔面造作、及びレンズ適合ルールを満たすまで眼鏡フレームの多様な部位の寸法が調整される。
装用者は、自身のフレームを選択してしまうと、美的観点からフレームを更にカスタマイズする(S116)ことを選択できる。装用者により最終フレームが決定されると、適合モデルAPIは、装用者がコンピューティングシステムにアップロードする処方にアクセスし(S118)、そして装用者の処方に対応するレンズを選択する(S120)。そして適合モデルAPIは、最終的なフレーム及びレンズの確認書(S124)とともにフレーム仕様ファイル(S122)を生成する。そしてフレーム仕様ファイルが眼鏡フレームの製造者へ送信され(S126)、製造者が装用者の眼鏡一式を組み立てる。
当業者が認識するように、本明細書に記載のステップのいずれか及び全てはプロセッサとメモリとを少なくとも具備するコンピュータにより実装され得る。顔面目印箇所は、出力され、例えばディスプレイへ出力され、ネットワークを経由して別のデバイスへ送信されるか、プリントされる。幾つかの事例では、ユーザ顔面の為に特別に測定及びデザインされたメガネ一式をプリントするのに、他のデータとの組み合わせで3Dプリンタにより出力が使用され得る。
幾つかの例で、本発明は上述の機械学習技術を使用してカラー及び/又はスタイル案も作成できる。概して、目印位置(特に耳及び眼)の位置確認について記載されたのと同じプロセスがカラー及び/又はスタイル案を作成するのに使用されるが、出力は異なるだろう。
簡潔に記すと、フレームスタイル案を作成する為に、一以上の目印位置について三つの寸法推定値(例えばメッシュの形)が、前に記載したようにスキャンデータの円筒投影深度マップ表現に作用するニューラルネットワークから取得される。目印位置は、眼の箇所、(各眉毛の5個の点で測定され得る)眉毛の箇所、頬の箇所、(顎の先から耳の下部までの5個の点で測定され得る)下顎輪郭箇所を含み得る(が必ずしもこれらに限定されない)。そして各点での曲率推定値を取得するように、目印箇所の周り(例えば目印箇所の周りから5mm)の座標データから、形状データが抽出される。頭部スキャンセットからのデータ例を基礎として使用して、目印位置の次元数が削減される。ここで、基底ベクトルにより説明される分散を最大化するように、進行中の解析の為に送信される10個の基底ベクトルが選択される。周囲の多数の点でのフレームの曲線の測定値に基づいて、製造されるフレームのデザインは一組の数字に縮小される。フレームデザインセット例を基礎として使用して、フレームデザインの次元数が削減される。ニューラルネットワークは、低次元の目印位置及びフレームデザインデータに作用する。ニューラルネットワークはボランティア集団からのスコアセット例に適合するように調整される。ニューラルネットワークの出力は、個人の為の(例えば数字スコアの形の)フレームスタイルである。
簡潔に記すと、フレームカラー案を作成する為に、(例えばメッシュの形の)三次元座標データと、メッシュの異なる点でのカラーを表す二次元画像(例えばカラーテクスチャマップ)とを包含する入力データが取得される。スキャンデータの深度マップ表現に作用するニューラルネットワークから、目印位置の三次元推定値が取得される。前に取得された三次元推定値をテクスチャ画像に投影することにより、テクスチャデータの目印位置の二次元推定値が取得される。各目印点でカラーデータを取得するようにテクスチャ画像がサンプリングされる。カラー案に使用される目印点は、額、左右の頬骨、眼(例えば瞳孔を中心とする直径5mmの円)、毛髪(耳の点から20mm上方の点として得られる)を含む。抽出されたカラーパッチとカラーのHSV値とにニューラルネットワークが作用する。このニューラルネットワークはボランティア集団からのスコアセット例に適合するように調整される。ニューラルネットワークの出力は、個人についての(例えば数字スコアの形の)フレームカラーである。
付記
図5及び6は、3D頭部スキャンから判断され得る幾つかの異なる顔面測定値を示す。
図5について、以下の顔面測定値が判断され、顔面測定値の番号は図5の測定値の参照番号に対応する。
4.鼻上部での円弧の半径に対応する頂端半径。
5.下瞼(下縁)に概ね位置する鼻横断水平線に対応する顔面水平中心線(F‐HCL)。
6.F‐HCLと実質的に同じであるHCLでの顔面リム間距離(F‐DBR)。F‐DBR測定値は鼻の異なる位置、例えば5mm、10mm、15mmで得られ、これらの距離はF‐HCLからの鼻のオフセット(mm)を表す。
7.y方向での垂直高さに対応する鼻稜高さであり、F‐HCLに対する鼻の始点(「鼻稜」)である。この測定値は、眼の下部(下瞼)に対して鼻が始まるところと考えられ得る。鼻稜高さの上部又は頂点は鼻稜点として知られる。
8.前方視点から鼻がどのように拡張又は拡開しているかを示す拡開角とも考えられ得る鼻前頭角。これは、鼻孔の外縁部と鼻の中心縦軸との間の角度を見つけることにより測定される。
9.鼻が顔面からどれほど突出しているか(つまり鼻がどれほど上向き又は下向きであるか)を示す鼻稜角。これは、F‐HCLと鼻尖を結ぶ線と垂直面との間の角度を見つけることにより計算される。
10.実質的に鼻梁と耳の間の距離に対応する顔面屈曲部長さ。言い換えると、これは、フレームのヒンジから始まってフレームアームの屈曲部の始点で終了する眼鏡フレーム部分の距離である。
11.一般には装用者の耳の間の距離として測定されるとともに、耳の上部に対応する高さで測定される、装用者の頭部のx軸上での幅に対応する顔面頭部幅。頭部幅は「耳点」の間で測定され、フレームの各屈曲部の中点の間の距離に対応する。頭部の幅最大点ではない。フレーム頭部幅は通常、測定による頭部幅より~10mm小さくて側部把持が設けられるように「補正」される。
12.頭部の側面での装用者の左右テンプルの間でのx軸上の距離に対応する顔面テンプル幅。この測定値に関係するのは、左右の蝶形骨(概ね眉毛の縁部)の間でのx軸上の距離である蝶形骨の幅である。前面の平面から25mm下がった側面の間で測定されるフレームのテンプル幅が光学基準に定められている。
13.各瞳孔の中心点の間の距離に対応する瞳孔間距離。
次に図6を見ると、図5を参照して記載された測定値を計算するのに使用される顕著な顔面マーカ又は参照点が示されている。特に、以下の参照点がマーキングされ、参照点の文字は図6の特徴の参照文字に対応する。
・S―顔面テンプル幅と蝶形骨幅とに関連する蝶形骨
・T―顔面テンプル幅に関連するテンプル
・A―顔面屈曲部長さ及び顔面頭部幅に関連する耳屈曲点
・I―屈曲部長さ
・L.P.―瞳孔間距離に関連する瞳孔中心線
・L.C.―F‐HCL及びF‐DBRに関連する顔面水平中心線(H‐HCL)
・A(^)CR―鼻稜角
・i―前傾斜度
・P.M.―フレーム平面
フレーム前面が示されている図13を参照すると、以下のフレーム測定が行われ、下の参照文字は図13の参照文字に対応する。
・CR,CL―フレームの右及び左レンズ開口部の中心点に対応する右及び左中心
・a―レンズ開口部の幅に対応する水平レンズサイズ
・b―レンズ開口部の高さに対応する垂直レンズサイズ
・d―レンズ開口部の内縁部の間の距離に対応するレンズ間距離(DBL)
・1―レンズの上下縁部の接線の中間の水平線が引かれたy軸上での距離に対応するフレーム水平中心線(HCL)
・2R,2L―各レンズ開口部の中心点を通る垂直線に対応する右及び左の垂直中心線
・3―フレームの前面の垂直対称軸
・4―HCLの5mm下方に配置された水平参照線に対応するブリッジ幅線
・5―ブリッジ幅線で測定されたリム間の最小距離に対応するブリッジ幅
・6―ブリッジ幅線からブリッジの下縁部までの距離に対応して垂直対称軸で測定されるブリッジ高さ。ブリッジ高さの上部は支点位置として規定される。
・7―(レンズ幅×2+ブリッジ幅-1)として計算されるレンズ幅(LTL)
フレームの側面が図示されている図14を参照すると、以下のフレーム測定値が得られ、下の参照文字は図14の参照文字に対応する。
・1―ヒンジジョイント(例えばドエルねじ)の軸であり、ジョイントはフレームアームをフレーム前面に接続する。
・2―ヒンジジョイントの正中面
・3―フレームアームの中心縦軸を通る水平線に対応する側面中心線
・4―ヒンジジョイントとフレームアームの屈曲部との間の距離に対応する屈曲部長さ
・5―フレームアームの屈曲部より延出するフレームアーム部位の長さに対応する下降長さ
・I―寸法4及び5の合計に対応する側面全長(つまり屈曲部長さと下降長さとの合計)
・X―ジョイントの測定位置の詳細
・FTB―フレーム前面の後面と側面屈曲部との間の距離に対応する前面屈曲部長さ
・AC―フレームブリッジと、眼鏡フレームの中心を通る垂直面との間に形成される角度に対応する広がり角
フレームの上部が示されている図15を参照すると、以下のフレーム測定値が得られ、下の参照文字は図15の参照文字に対応する。
・λ―側面(フレームアーム)とフレーム前面の法線との間の角度に対応する後退角
フレームの眼領域が示されている図16を参照すると、以下のフレーム測定値が得られる。
・レンズの視点(装用者の眼の視軸が補正眼鏡レンズの後面と交差する点)を表すフレームの点と瞳孔との間の距離に対応する、時には後方頂点距離(BVD)と呼ばれる頂点間距離(VD)。頂点間距離は視軸上で測定される。
・眼の水平軸に対するレンズ開口部の角度に対応する前傾斜度
・テンプルに対するフレーム前面の角度に対応する前傾角
1 フレーム水平中心線(HCL)/ヒンジジョイント軸
2 ヒンジジョイント正中面
2R,2L 右垂直中心線,左垂直中心線
3 垂直対称軸/側面中心線
4 鼻稜高さ/頂端半径/ブリッジ幅線/屈曲部長さ
5 鼻前頭角/顔面水平中心線(F‐HCL)/ブリッジ幅/下降長さ
6 鼻稜角/顔面リム間距離(F‐DBR)/ブリッジ高さ
7 鼻稜高さ/レンズ幅(LTL)
8 鼻前頭角
9 鼻稜角
10 顔面屈曲部長さ
11 顔面頭部幅
12 顔面テンプル幅
13 瞳孔間距離
S 蝶形骨
T テンプル
A 耳屈曲点
I 屈曲部長さ/側面全長
L,P. 瞳孔中心線
L.C. 顔面水平中心線(F‐HCL)
ACR 鼻稜角
i 前傾斜度
P.M.フレーム平面
CR,CL 右中心,左中心
a 水平レンズサイズ
b 垂直レンズサイズ
d レンズ間距離(DBL)
X ジョイントの測定位置の詳細
FTB 前面屈曲部長さ
AC 広がり角
λ 後退角

Claims (26)

  1. ユーザに合わせて眼鏡フレームを調整してカスタマイズされた眼鏡フレームを提供するコンピュータ利用方法であって、
    ユーザの頭部を表す三次元座標データを包含する入力データを受信するステップと、
    前記入力データ内で複数の目印箇所を特定するステップであり、目印箇所が顔面特徴の三次元箇所に対応するステップと、
    前記少なくとも一つの目印箇所と関連する少なくとも一つの測定値を計算することにより前記複数の目印箇所に基づいて顔面測定値セットを判断するステップと、
    基本眼鏡フレームを表すフレーム測定値セットをフレーム測定値のデータベースから検索するステップと、
    前記顔面測定値セットを前記フレーム測定値セットと比較するステップと、
    前記比較に基づいて前記フレーム測定値セットの少なくとも一つのフレーム測定値を調整するステップと、
    調整済みフレーム測定値セットを包含するデータファイルを出力するステップと、
    を包含し、
    前記フレーム測定値セットはレンズ高さ測定値を包含し、前記調整するステップは前記レンズ高さ測定値を初期値から調整値に調整することを包含する、
    方法。
  2. 前記顔面測定値セットは鼻の3D構造を表す複数の鼻測定値を包含する、請求項1に記載の方法。
  3. 前記複数の鼻測定値は複数のリム間距離(DBR)測定値を包含し、各DBR測定値は前記鼻の長さに沿った多様なy軸箇所で取得される、請求項2に記載の方法。
  4. 第1y座標のx軸に沿って光線照射して鼻座標データを取得し、前記鼻座標データを鼻データセットに記憶することと、
    第2y座標までの間隔により前記第1y座標を調整し、前記第2y座標の前記x軸に沿って光線照射して追加鼻座標データを取得し、前記追加鼻座標データを前記鼻データセットに記憶することと、
    前記鼻座標データを前記鼻データベースから検索することと、
    フレームブリッジデータを検索することと、
    前記鼻座標データを前記フレームフリッジデータと比較することと、
    前記鼻座標データと前記フレームブリッジデータとの間の重複エリアのサイズを判断することと、
    前記重複のサイズが閾値より小さい場合に、少なくとも一つのフレーム測定値を調整することと、
    により前記複数の鼻測定値が取得される、請求項2又は請求項3に記載の方法。
  5. 前記比較するステップは、前記フレーム測定値セットを前記顔面測定値セットにマッピングすることと、調整の必要があるフレーム測定値サブセットを特定することとを包含する、請求項1から請求項4のいずれか一項に記載の方法。
  6. 前記調整するステップは前記フレーム測定値サブセットを調整することを包含する、請求項5に記載の方法。
  7. 前記フレーム測定値サブセットは、前記眼鏡フレームのブリッジに関係する少なくとも一つのフレーム測定値を包含する、請求項5又は請求項6に記載の方法。
  8. 前記フレーム測定値サブセットは、前記眼鏡フレーム内でのレンズ区分の位置に関係する少なくとも一つの測定値を包含する、請求項5から請求項7のいずれか一項に記載の方法。
  9. 前記レンズ高さ測定値を調整することは、前記ユーザの左瞳孔と関連するレンズ高さ測定値と、前記ユーザの右瞳孔と関連するレンズ高さ測定値とを別々に調整することを包含する、請求項1から請求項9のいずれか一項に記載の方法。
  10. 前記少なくとも一つのフレーム測定値を調整するステップは、少なくとも一つの適合ルールを前記フレーム測定値に適用することと、前記フレーム測定値が少なくとも一つの適合条件を満たすように前記少なくとも一つのフレーム測定値を調整することとを包含する、請求項1から請求項9のいずれか一項に記載の方法。
  11. 前記調整するステップは、複数の適合ルールを前記フレーム測定値に適用することと、前記フレーム測定値が複数の適合条件を満たすように前記フレーム測定値を調整することとを包含する、請求項10に記載の方法。
  12. 前記複数の適合ルールは、鼻領域と耳領域と顔面造作領域とレンズ領域とに対応する、請求項11に記載の方法。
  13. ユーザに合わせて眼鏡フレームを調整してカスタマイズされた眼鏡フレームを提供するように構成されたコンピュータシステムであって、
    ユーザの頭部を表す三次元座標データを包含する入力データを受信するように構成された受信モジュールと、
    プロセッサであって、
    前記入力データ内で複数の目印箇所を特定して、目印箇所が顔面特徴の三次元位置に対応し、
    少なくとも一つの目印箇所と関連する少なくとも一つの測定値を計算することにより前記複数の目印箇所に基づいて顔面測定値セットを判断する、
    ように構成されたプロセッサと、
    基本眼鏡フレームを表すフレーム測定値セットをフレーム測定値のデータベースから検索するように構成された検索モジュールと、
    を具備し、
    前記プロセッサは更に、
    前記顔面測定値セットを前記フレーム測定値セットと比較し、
    前記比較に基づいて前記フレーム測定値セットの少なくとも一つのフレーム測定値を調整し、
    調整済みフレーム測定値セットを包含するデータファイルを出力する、
    ように構成され、
    前記フレーム測定値セットはレンズ高さ測定値を包含し、前記調整することは前記レンズ高さ測定値を初期値から調整値に調整することを包含する、
    コンピュータシステム。
  14. ユーザの頭部をスキャンして入力データを生成するように構成され、前記入力データを前記受信モジュールへ送信するようにさらに構成されたスキャンモジュールを更に具備する、請求項13に記載のコンピュータシステム。
  15. 前記スキャンシステムはカメラと信号発信器とを具備し、前記信号発信器は前記ユーザの頭部に複数の信号を発信するように構成され、前記カメラは前記発信信号を検出するように構成された、請求項14に記載のコンピュータシステム。
  16. 前記信号発信器は赤外線発信器を具備し、前記カメラは赤外線カメラを具備する、請求項15に記載のコンピュータシステム。
  17. 前記スキャンモジュールはLiDARカメラを具備する、請求項14に記載のコンピュータシステム。
  18. コンピュータによる実行時に、請求項1から請求項12のいずれか一項に記載の方法を前記コンピュータに行わせる命令を包含するコンピュータプログラム。
  19. 請求項18に記載の前記コンピュータプログラムが記憶されたコンピュータ可読データ担体。
  20. 画像データを処理して顔面特徴の箇所を推定するコンピュータ利用方法であって、
    ユーザの頭部を表す三次元座標データを包含する入力画像データを受信するステップと、
    前記入力画像データを前処理して前処理済み入力データセットを作成するステップと、
    前記前処理済みデータセットを第1ニューラルネットワークへ入力して第1結果を出力するステップであって、前記第1結果は、顔面特徴の前記箇所の第1推定値を表す三次元座標データを包含するステップと、
    前記第1結果を処理して処理済み入力データセットを作成するステップと、
    前記処理済み入力データセットを第2ニューラルネットワークへ入力して第2結果を出力するステップであって、前記第2結果は、前記顔面特徴の前記箇所の第2推定値を表す三次元座標データを包含し、前記第2結果は前記第1結果と異なっているステップと、
    を包含するコンピュータ利用方法。
  21. 前記前処理するステップは、前記入力画像データをサンプリングして第1サンプリングデータセットを作成することであって、前記入力画像データは更にカラーテクスチャマップを包含し、前記サンプリングは前記入力画像データの位置及びカラーのサンプリングを包含することと、
    前記第1サンプリングデータセットの次元数を削減して第1縮小データセットを作成することと、
    を包含する、請求項20のコンピュータ利用方法。
  22. 前記処理するステップは、前記第1結果をサンプリングして第2サンプリングデータセットを作成することであって、前記サンプリングすることは前記第1結果の前記位置及びカラーのサンプリングすることを包含することと、
    前記第2サンプリングデータセットの前記次元数を削減して第2縮小データセットを作成することと、
    を包含する、請求項20又は請求項21に記載のコンピュータ利用方法。
  23. 前記顔面特徴は耳を包含する、請求項20から請求項22のいずれか一項に記載の方法。
  24. 前記顔面特徴は瞳孔を包含する、請求項20から請求項22のいずれか一項に記載の方法。
  25. 画像データを使用して顔面特徴を位置確認する為の分類器を訓練する方法であって、
    第1訓練データセットを生成することであって、前記第1訓練データセットは複数の頭部スキャン画像を包含することと、
    前記第1訓練データセットを使用して前記第1ニューラルネットワークを訓練することであって、前記訓練することは、
    前記第1訓練データセットの第1サブセットを選択し、前記サブセットを使用して前記第1ニューラルネットワークを訓練するステップと、
    前記第1訓練データセットの第2サブセットを使用して前記第1ニューラルネットワークの正確さを判断することであって、前記第1訓練データセットの前記第2サブセットは、前記第1サブセットの一部を形成しない前記頭部スキャン画像を包含するステップと、
    前記第1訓練データセットを使用して前記第1ニューラルネットワークを反復的に訓練するステップと、
    連続的反復の出力の間で観察される差分が第1閾値より小さい時に、前記第1ニューラルネットワークの前記訓練を終了するステップと、
    前記第1ニューラルネットワークの結果を出力するステップであって、前記出力するステップは、前記顔面特徴の箇所の第1推定値の三次元座標及びカラーテクスチャデータを包含する前記顔面特徴の前記箇所の前記第1推定値を表すステップと、
    を包含することと、
    第2訓練データセットを生成することであって、前記第2訓練データセットは、前記第1訓練データセットからの各頭部スキャン画像の被選択部分を包含し、前記被選択部分は、前記顔面特徴の前記箇所の前記第1推定値の三次元座標を中心とすることと、
    前記第2訓練データセットを使用して前記第2ニューラルネットワークを訓練することであって、前記訓練することは、
    前記第1ニューラルネットワークの誤差を表す残差セットを計算するステップと、
    前記第2訓練データセットの第1サブセットを選択し、前記サブセットを使用して前記第2ニューラルネットワークを訓練するステップと、
    前記第2訓練データセットの第2サブセットを使用して前記第2ニューラルネットワークの正確さを判断するステップであって、前記第2訓練データセットの前記第2サブセットは、前記第1サブセットの一部を形成しないデータを包含するステップと、
    前記第2訓練データセットを使用して前記第2ニューラルネットワークを反復的に訓練するステップと、
    前記連続反復の出力の間で観察される差分が第2閾値より小さい時に前記第2ニューラルネットワークの訓練を終了するステップと、
    前記第2ニューラルネットワークの結果を出力するステップであって、前記出力するステップは、前記顔面特徴の箇所の第2推定値の三次元座標及びカラーテクスチャデータを包含する前記顔面特徴の箇所の第2推定値を表すステップと、
    を包含することと、
    を包含する方法。
  26. 手作業で行われる顔面箇所マーキングを観察して、前記顔面特徴の三次元位置座標及びカラーテクスチャマップの値で前記複数の顔面スキャンを注釈付けすることにより、前記第1訓練データセットが生成される、請求項25に記載の方法。
JP2023541896A 2021-01-11 2022-01-11 フレーム調整システム Pending JP2024502381A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB2100314.0A GB202100314D0 (en) 2021-01-11 2021-01-11 Frame adjustment systems
GB2100314.0 2021-01-11
PCT/GB2022/050051 WO2022148978A2 (en) 2021-01-11 2022-01-11 Frame adjustment system

Publications (1)

Publication Number Publication Date
JP2024502381A true JP2024502381A (ja) 2024-01-18

Family

ID=74667690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023541896A Pending JP2024502381A (ja) 2021-01-11 2022-01-11 フレーム調整システム

Country Status (6)

Country Link
US (1) US20240061278A1 (ja)
EP (2) EP4275092A2 (ja)
JP (1) JP2024502381A (ja)
CN (1) CN116964513A (ja)
GB (1) GB202100314D0 (ja)
WO (1) WO2022148978A2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220390771A1 (en) * 2021-06-07 2022-12-08 Blink Technologies Inc. System and method for fitting eye wear
US20230252745A1 (en) * 2022-02-09 2023-08-10 Google Llc Validation of modeling and simulation of virtual try-on of wearable device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3016052B1 (fr) * 2014-01-02 2018-03-30 Essilor International Procede de determination d'une definition geometrique d'un equipement optique personnalise
US9400922B2 (en) * 2014-05-29 2016-07-26 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
US10330958B2 (en) * 2015-04-10 2019-06-25 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Samsung Electronics Co.,Ltd. 顔認識方法及び装置
ES2604806B1 (es) * 2016-03-03 2018-07-25 Horizons Optical S.L.U. Procedimiento de pedido de gafas y procedimientos de fabricación y suministro y dispositivo correspondientes
EP3410178A1 (de) * 2017-06-01 2018-12-05 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
DK3425447T3 (da) * 2017-07-06 2019-12-02 Zeiss Carl Vision Int Gmbh Fremgangsmåde, anordning og computerprogram til virtuel tilpasning af en brillefatning
US20190286885A1 (en) * 2018-03-13 2019-09-19 Kneron Inc. Face identification system for a mobile device
US10825260B2 (en) * 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技(深圳)有限公司 一种三维对象重建方法和装置

Also Published As

Publication number Publication date
EP4275092A2 (en) 2023-11-15
WO2022148978A2 (en) 2022-07-14
GB202100314D0 (en) 2021-02-24
EP4379679A2 (en) 2024-06-05
WO2022148978A3 (en) 2022-09-01
US20240061278A1 (en) 2024-02-22
CN116964513A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN111031893B (zh) 用于确定与眼科装置相关联的至少一个参数的方法
KR102056333B1 (ko) 안경 렌즈 에지의 표시를 설정하기 위한 방법 및 장치 및 컴퓨터 프로그램
US6755524B2 (en) Ophthalmic optical elements and methods for the design thereof
US10108028B2 (en) Method for determining a geometric definition of a customized optical device
JP5795362B2 (ja) 視野角に依存する処方データを用いて眼鏡レンズを計算する方法
JP6377080B2 (ja) 1対の累進眼科用レンズ(1、2)を提供する方法
JP6625976B2 (ja) 累進眼科用レンズの少なくとも1つの光学的設計パラメータを判断する方法
KR20200022499A (ko) 안경테를 가상으로 맞추기 위한 방법, 장치 및 컴퓨터 프로그램
JP2024502381A (ja) フレーム調整システム
JP6232287B2 (ja) 累進焦点眼鏡用レンズを選択する方法
CN104146679A (zh) 用于确定眼睛支点位置的方法和设备
JP2010055122A (ja) 視線が向かう点と各視線の方向を関連付ける上記メガネ用累進式多焦点レンズに関するエルゴラマを決定する方法
EP2899584B1 (en) Spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection method, measuring system and measuring method
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
EP2959338B1 (en) Method of manufacturing a pair of progressive ophthalmic lenses
CN110346946B (zh) 一种基于眼镜佩戴者个性化特征检测眼镜片的方法
CN114830015A (zh) 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法
AU2019262151B2 (en) System and method for obtaining and utilizing measurements to enable customized eyewear to be purchased online
CN116745689A (zh) 用于确定视觉设备的配适性的方法和设备
US20220390771A1 (en) System and method for fitting eye wear
US11747654B2 (en) Computer-implemented method for generating data in order to produce at least one spectacle lens, and method for producing a pair of spectacles
CN114730102A (zh) 用于确定眼科镜片相对于配戴者参考系的配适位置的方法和系统以及用于确定眼科镜片的镜片设计的方法
TWM535542U (zh) 眼鏡含框及鏡片量測用之仿真頭臉模型