JP6936852B2 - アイバッグの３次元分析のための、システム、デバイス、及び方法 - Google Patents

Description

概要
いくつかの実施形態において、３次元顔面スキャンデータを処理するコンピュータ実行方法が提供される。顔面分析デバイスは、顔面の３次元スキャンを表す第１の顔面スキャンデータを受信する。顔面分析デバイスは、第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する。顔面分析デバイスは、第１のモデルに基づいて第１のスコアを決定し、第１のスコアをスキャンデータストアに記憶する。

いくつかの実施形態において、３次元顔面スキャンデータを処理するためのシステムが提供される。システムは、３次元スキャナー及びスキャナーに通信可能に結合された顔面分析デバイスを含む。顔面分析デバイスは、以下の動作を含む複数の動作を実施するように構成される：３次元スキャナーから、顔面の３次元スキャンを表す第１の顔面スキャンデータを受信する動作；第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する動作；第１のモデルに基づいて第１のスコアを決定する動作；及び第１のスコアをスキャンデータストアに記憶する動作。

いくつかの実施形態において、３次元顔面スキャンデータを処理するためのシステムが提供される。システムは、顔面の３次元スキャンを表す第１の顔面スキャンデータを受信するための回路；第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定するための回路；第１のモデルに基づいて第１のスコアを決定するための回路；及び第１のスコアをスキャンデータストアに記憶するための回路を含む。

この概要は、詳細な説明において以下にさらに説明される概念の選択を、簡略化された形で紹介するために提供される。この概要は、特許請求の範囲に記載の発明の内容の重要な特徴を識別することを意図するものではなく、特許請求の範囲に記載の発明の内容の範囲を決定する際の補助として使用されることを意図するものでもない。

本発明の前述の態様及び付随する利点の多くは、それが、添付の図面と併せて以下の詳細な説明を参照することによってよりよく理解されるにつれて、より容易に理解されるようになるであろう。

図１は、本開示の様々な態様に係る、アイバッグを分析するためのシステムの例示的な実施形態の構成要素を示す模式図である。

図２Ａは、本開示の様々な態様に係る、顔面のモデルを構築及び分析する方法の例示的な実施形態を示すフローチャートである。 図２Ｂは、本開示の様々な態様に係る、顔面のモデルを構築及び分析する方法の例示的な実施形態を示すフローチャートである。

図３は、本開示の様々な態様に係る、比較された２次元アイバッグモデルの一例を示すチャートである。

図４は、スキャンデータの３次元表現に基づく比較されたアイバッグモデルの一例を示すチャートである。

図５は、本開示の様々な態様に係る、絶対曲線下面積スコアの決定を示すチャートである。

図６は、本開示の様々な態様に係る、最大／最小値スコアの決定を示すチャートである。

図７は、本開示の様々な態様に係る、傾きスコアの決定を示すチャートである。

図８は、本開示の様々な態様に係る、アーク長さスコアの決定を示すチャートである。

図９は、本開示のコンピューティングデバイスとして使用するのに適切な、１つの例示的なコンピューティングデバイスの態様を示すブロック図である。

詳細な説明
化粧品業界において、３次元分析ツールの使用は、製品の効能の技術的測定及び消費者への製品の利点の伝達のための新しい手段を提供する。しかしながら、アイバッグ（ｅｙｅｂａｇ、目の下のたるみ）エリアを定量的に説明又は評価するためのインビボ測定は存在しない。アイバッグエリアの３次元スキャンの自動分析を提供し、エンドユーザ（消費者、臨床医、科学者、又は別のタイプのユーザなど）に、評価に使用可能な出力を生成することができる、システム及び方法が求められている。

３次元イメージング技術の使用は、文献において幾何情報を欠く物理的な顔面の特徴であるアイバッグの、定量的測定にとって、新しい。定量的測定に加えて、アイバッグモデルはまた、アイバッグエリアに対する製品の作用のメカニズムを決定するのにも有用であり得る。

３次元測定は、非接触イメージング技術によって達成され、これはインビボアイバッグ形状について正確な情報を提供し、訓練された臨床医による主観的視覚的等級付けと比較して有利である。さらに、３次元スキャニングデバイスは、分析のための非常にきめの細かいデータを提供し、そのため、複数のスキャンの詳細な比較を可能にすることができる。次いで、製品の効能を定量的に試験するために、形状を変化させることでアイバッグの外観を低減することが意図される製品の適用の前後などで、経時的に、ユーザの顔面上のアイバッグエリアの形状を追跡するために、この詳細な比較を使用することができる。加えて、個々の測定を使用して、診断評価のためにアイバッグの重症度を等級付けすることもできる。本開示のいくつかの実施形態において、顔面表面構造が３次元イメージングデバイスを用いて捕捉され、その結果記憶された３次元スキャンがもたらされる。この３次元スキャンはディスプレイデバイス上に表示して、アイバッグエリアに焦点を合わせることができる。いくつかの実施形態において、各３次元スキャンについて、幾何形状の最も高いｚ点と最も低いｚ点との間に中央平面を描くことができる。この平面の上下の測定点の広がりは、ヒストグラムの標準偏差などの単一のメトリックとして計算することができる。ユーザには、アイバッグの現在の「平坦」状態の診断として、この単数のメトリックを提示することができる。代替的に、後続のメトリックを比較して、アイバッグが受けた「平坦化」の量を特徴付けて、進行又は製品の効果を追跡することができる。いくつかの実施形態において、各３次元スキャンについて、アイバッグの中央に垂直の切断部が作られる。分析は、様々な異なる時点からのデータ取得を使用することができる。これらの曲線のスキャンの特徴付け（例えば、曲線下面積、アイバッグ高さ、ティアトラフのくぼみの深さ、アーク長さ、傾き、など）に基づいて、製品の効果を評価することができる。ユーザのために、これは、追跡メトリックとして提示することができる。

図１は、本開示の様々な態様に係る、アイバッグを分析するためのシステムの例示的な実施形態の構成要素を示す模式図である。図示されているように、システム１００は、３次元スキャナー１０２、顔面分析デバイス１０４、及びディスプレイ１６を含む。３次元スキャナー１０２は、顔面などの対象物の３次元表現を生成することができる任意の適切なデバイスである。３次元スキャナー１０２は、フリンジ投影法、立体写真計測法、又は３次元表現を生成するための任意の他の適切な技術を使用してよい。３次元スキャナー１０２として使用するのに適しているであろうデバイスの一例は、EOTECH SAによって製造されるDermaTOPである。３次元スキャナー１０２として使用するのに適しているであろうデバイスの別の例は、Canfield Scientific, Incによって製造されるVECTRA M3である。３次元スキャナー１０２として使用するのに適しているであろうデバイスの別の例は、カメラ画像又は他のデータ源から３次元モデルを生成することができる、スマートフォン用のアタッチメントデバイスである。これらの例は、限定するものとみなすべきではない。なぜなら、同様の機能を備える任意の他のデバイスを使用してもよいからである。

顔面分析デバイス１０４は、３次元スキャナー１０２に通信可能に結合されたコンピューティングデバイスである。いくつかの実施形態において、顔面分析デバイス１０４の機能のうちいくつか又は全てが、３次元スキャナー１０２に組み込まれたコンピューティングデバイスによって提供される。いくつかの実施形態において、顔面分析デバイス１０４の機能のうちいくつか又は全てが、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、スマートフォン、クラウドサービスのデバイス、及び／又は任意の他のタイプのコンピューティングデバイスなどの、別個のコンピューティングデバイスによって提供される。

顔面分析デバイスは、スキャン分析エンジン１０８及びスキャンデータストア１１０を含む。いくつかの実施形態において、スキャン分析エンジン１０８は、３次元スキャナー１０２からスキャンデータを受信し、スキャンデータに基づいてアイバッグモデルを生成し、アイバッグモデルを比較して差分を決定し、計算された差分を様々な方法で使用するように構成される。いくつかの実施形態において、スキャンデータストアは、スキャンデータ、モデルデータ、及び差分データのうち１又は複数を記憶するように構成される。スキャン分析エンジン１０８及びスキャンデータストア１１０の構成のさらなる詳細が以下に提供される。

一般に、本明細書で使用される場合、用語「エンジン」は、ハードウェア又はソフトウェアの命令で具体化された論理を指し、プログラミング言語、例えば、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ＪＡＶＡ（商標）、ＰＨＰ、Ｐｅｒｌ、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ、ＶＢＳｃｒｉｐｔ、ＡＳＰＸ、Ｃ＃などのＭｉｃｒｏｓｏｆｔ ．ＮＥＴ（商標）言語、Ｍａｔｌａｂなどの特定用途向け言語などで記述することができる。エンジンは、実行可能プログラムにコンパイルされてもよく、又はインタプリタ形式のプログラミング言語で記述されてもよい。エンジンは、他のエンジンから、又はそれらのエンジン自体から、呼び出し可能であってよい。一般に、本明細書に記載されるエンジンは、他のエンジン又はアプリケーションと統合することができる、又はサブエンジンに分割することができる、論理モジュールを指す。エンジンは、任意のタイプのコンピュータ可読媒体又はコンピュータ記憶デバイスに記憶し、１又は複数の汎用コンピュータに記憶してそれにより実行し、その結果、エンジンを提供するように構成される専用コンピュータを作製することができる。したがって、本明細書に示されるデバイス及びシステムは、示されるエンジンを提供するように構成される１又は複数のコンピューティングデバイスを含むが、コンピューティングデバイス自体は、明確にするために、すべての場合において、示されていない。

当業者によって理解されるように、本明細書に記載される「データストア」は、コンピューティングデバイスによるアクセスのためのデータを記憶するように構成される、任意の適切なデバイスによって提供され得る。データストアの一例は、１又は複数のコンピューティングデバイス上で実行され、ローカルに又は高速ネットワークを介してアクセス可能な、高度に信頼性の高い、高速リレーショナルデータベース管理システム（ＲＤＢＭＳ）である。しかしながら、クエリに応答して記憶されたデータを迅速に及び確実に提供することのできる、キーバリューストア、オブジェクトデータベースなどの、任意の他の適切な記憶技術及び／又はデバイスを使用してもよい。データストアを提供するコンピューティングデバイスは、ネットワークを介してではなくローカルにアクセス可能であってよく、又はクラウドベースのサービスとして提供されてよい。データストアはまた、以下でさらに説明されているように、組織的な形でコンピュータ可読記憶媒体に記憶されたデータを含んでもよい。データストアの別の例は、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブなどのコンピュータ可読媒体上のファイル（又はレコード）にデータを記憶するファイルシステム又はデータベース管理システムである。本開示の範囲から逸脱することなく、本明細書に記載される別個のデータストアは単一のデータストアに組み合わせてよいこと、及び／又は本明細書に記載される単一のデータストアは複数のデータストアに分けてよいことを、当業者は認識するであろう。

ディスプレイ１０６は、顔面分析デバイス１０４に通信可能に結合している。ＬＣＤモニター、ＣＲＴモニター、プロジェクター、タッチスクリーンデバイス、スマートフォン、などの、任意のタイプのディスプレイデバイスをディスプレイ１０６として使用してよい。いくつかの実施形態において、ディスプレイ１０６は顔面分析デバイス１０４とは別個のものである。いくつかの実施形態において、ディスプレイ１０６は、顔面分析デバイス１０４及び／又は３次元スキャナー１０２と組み合わされる。

いくつかの実施形態において、システム１００は、ユーザアカウント及び履歴情報を管理するための追加のインターフェイスを提供する。例えば、顔面分析デバイス１０４はユーザアカウント情報を記憶することができ、ユーザ９０は、ユーザ名及びパスワードを使用して、過去のスキャンデータ、人口統計情報、購入履歴、以前に使用した製品、などの、ユーザ９０についての情報を記憶する顔面分析デバイス１０４上のアカウントに、アクセスすることができる。いくつかの実施形態において、スキャンデータストア１１０は、サーバ又はクラウドサービスによって提供されてよく、顔面分析デバイス１０４は、スキャンデータストア１１０への送信の前に、顔面スキャンデータ、人口統計情報、個人を特定できる情報、及び／又はユーザ９０に関する任意の他の情報を暗号化及び／又は匿名化してよい。

図２Ａ−２Ｂは、本開示の様々な態様に係る、顔面のモデルを構築及び分析する方法の例示的な実施形態を示すフローチャートである。方法２００は、開始ブロックからブロック２０２に進み、ここでは、３次元スキャナー１０２が顔面の第１のスキャンを実施し、第１のスキャンデータを顔面分析デバイス１０４に提供する。第１のスキャンデータは、３次元スキャナー１０２によって得られた顔面の３次元表現である。いくつかの実施形態において、第１のスキャンデータは、．ｐｌｙ又は．ｓｔｌファイルに保存された表面幾何形状を含んでよいが、いくつかの実施形態においては、他の適切なデータフォーマットを使用してよい。次に、ブロック２０４において、顔面分析デバイス１０４が第１のスキャンデータをスキャンデータストア１１０に記憶する。いくつかの実施形態において、３次元スキャナー１０２から受信したスキャンデータ全体が、スキャンデータストア１１０に記憶される。いくつかの実施形態において、スキャンデータからの関心領域が、スキャンデータストア１１０に記憶され、スキャンデータの残部が破棄される。いくつかの実施形態において、モデルを（以下に説明されるように）生成してよく、このモデルをスキャンデータ全体の代わりにスキャンデータストア１１０に記憶してよい。いくつかの実施形態において、モデルスコアを（以下に説明されるように）生成してよく、このモデルスコアをスキャンデータ又はモデル全体の代わりにスキャンデータストア１１０に記憶してよい。

ブロック２０６において、３次元スキャナー１０２が顔面の第２のスキャンを実施し、第２のスキャンデータを顔面分析デバイス１０４に提供し、ブロック２０８において、顔面分析デバイス１０４が第２のスキャンデータをスキャンデータストア１１０に記憶する。ブロック２０６及び２０８において実施される動作は、ブロック２０２及び２０４において実施される動作と同様であるが、時間的により後である。いくつかの実施形態において、第２のスキャンは、ある期間が経過した後実施してよく、この期間の間に製品が顔面９０に適用されていてもよい。このようにして、第２のスキャンを実施し、それを第１のスキャンと比較することによって、顔面９０に対する製品の効果を決定してよい。単一のスキャンが実行され、モデル間又はモデルスコア間の比較が実施されない実施形態などの、いくつかの実施形態において、第１のスキャンのみが実施され、第１のスキャンデータのみが記憶される。

いくつかの実施形態において、各スキャン中の３次元スキャナー１０２に対する顔面９０の不完全な再配置に起因して、複数の時点で撮影された同じ顔面９０の画像は位置ずれをする可能性がある。したがって、スキャンデータの表面幾何形状の自動再整列が望ましい場合がある。コンピュータ化された整列の１つの非限定的な例が、ブロック２１０及び２１２において記載されている。ブロック２１０において、顔面分析デバイス１０４のスキャン分析エンジン１０８が、粗調整を実行して、第１のスキャンデータと第２のスキャンデータを整列させる。いくつかの実施形態において、ペアワイズ粗調整を実施してよい。このような実施形態において、拘束フラクションオーバーラップパラメーター及びエラー耐性（適合の自由度）パラメーターの案内の下で、第１のスキャンデータが第２の「アンカー」スキャンデータに整列される。顔面の目印（鼻及び目など）が整列するまで、可能なオーバーラップの順列が繰り返される。次いで方法２００はブロック２１２に進み、ここでは、スキャン分析エンジン１０８が微調整を実行して、スキャンデータストア１１０にある顔面の全てのスキャンデータを整列させる。いくつかの実施形態において、微調整は、第１のスキャンデータと第２のスキャンデータを単純に整列させてよい。いくつかの実施形態において、スキャンデータストア１１０に記憶されている顔面９０の追加のスキャンを互いに整列させてもよい。いくつかの実施形態において、各スキャンデータは、エラー耐性が０．００１単位以内になるまで再整列される。一般に、全てのスキャンデータを全体的に整列するために、精密整列処理シーケンスの１０回の繰り返しを使用してよいが、いくつかの実施形態においては、より多い又はより少ない反復を使用してよい。

方法２００は次いで、継続末端（「末端Ａ」）に進み、末端Ａ（図２Ｂ）からブロック２１４に進み、ここでは、スキャン分析エンジン１０８が、第１のスキャンデータについての第１のアイバッグモデル及び第２のスキャンデータについての第２のアイバッグモデルを生成する。アイバッグエリアは、顔によって異なる複雑な表面エリアであり、そのため、アイバッグエリアの定量化可能に比較できる表現の決定が求められる。いくつかの実施形態において、アイバッグモデルは、スキャンデータの２次元断面に基づく。そのようなアイバッグモデルは、それぞれの目の両端に対するそれぞれのアイバッグの中央で取られた垂直断面に基づいており、それ故に、アイバッグの特徴の定量化可能な分析の標準化が可能になる。垂直のアイバッグプロファイルに基づくこのアイバッグモデルは、劇的な変化についての有用な情報を提供する。なぜなら、アイバッグのたるんだ皮膚は、測定の最も大きい範囲の変形距離を提供するためである。いくつかの実施形態において、アイバッグモデルはスキャンデータの３次元表現に基づく。そのようなアイバッグモデルは、スキャンデータ内の基準面を決定し、スキャンデータの全てのピクセル又はボクセルについての基準面からの距離を決定することによって、生成してよい。基準面の１つの非限定的な例は、スキャンデータの最も前方の点とスキャンデータの最も後方の点との間の中点に位置する中央平面又は垂直面である。この場合のアイバッグモデルは、基準面からの決定された距離のヒストグラムであってよい。

図３は、本開示の様々な態様に係る、比較された２次元アイバッグモデルの一例を示すチャートである。第１のアイバッグモデル３０２は、アイバッグエリアに製品を適用する前の顔面の第１のスキャンから得られた、垂直断面の「Ｓ」形状として示されている。一群の後続のアイバッグモデル３０４は、アイバッグエリアへの製品の適用後の、経時的な垂直断面の変化を示す。チャートはまた、第１のスキャンに基づくアイバッグモデルの傾き３０６及び後続のスキャンに基づくアイバッグモデルの傾き３０８を示す。

図４は、スキャンデータの３次元表現に基づく比較されたアイバッグモデルの一例を示すチャートである。第１のアイバッグモデル４０２は、スキャンデータのピクセル又はボクセルの、スキャンデータの基準面までの距離のヒストグラムとして示される。第２のアイバッグモデル４０４も示されている。そのようなモデルについてのスコアを決定するために、ヒストグラムの標準偏差を決定してよく、決定された標準偏差をスコアとして使用してよい。より低いスコアは、アイバッグの外観の改善を示すだろう。なぜならば、より低いスコアは、より多くのアイバッグエリアが基準面の近くに位置し、したがってこのエリアが、より滑らかであるか、又はより規則的な形状であることを意味すると考えられるからである。いくつかの実施形態において、ヒストグラムの最大値の決定、ヒストグラムのＸ軸上の位置の決定、及び／又は他の適切な技術などの、他の技術を使用してスコアを決定してよい。

図２Ｂに戻ると、ブロック２１６において、スキャン分析エンジン１０８が、第１のアイバッグモデルと第２のアイバッグモデルとの間の差分を生成する。多くの適切な形態の定量的アイバッグモデル測定を実施してよい。いくつかのスコア又はメトリックは、それぞれのアイバッグモデルについて別々に計算してよく、計算されたスコアは比較してよい。他の場合において、メトリックは、選択されたアイバッグモデル間の差分として計算してよい。アイバッグモデルが得られたら、スコア又はメトリックは、Ｍａｔｌａｂ、カスタムスタンドアローンソフトウェア、など含むがこれらに限定されない任意の適切なツールを使用して計算してよい。いくつかの実施形態において、複数のモデル間の差分を生成する代わりに、単一のモデルについてのスコアを決定し記憶してよい。

図５〜８は、アイバッグエリアの垂直断面に基づくアイバッグプロファイルについて決定された様々なメトリック又はスコアを示す。図５は、本開示の様々な態様に係る、絶対曲線下面積スコアの決定を示すチャートである。このメトリックについて、ベースラインのアイバッグモデルに対するアイバッグモデルの曲線下の面積は、アイバッグの減少量を示す。面積差が大きいほど、ベースラインの顔面スキャンと、その後の顔面スキャンとの間に適用された任意の製品の効果が大きい。

図６は、本開示の様々な態様に係る、最大／最小値スコアの決定を示すチャートである。このメトリックについて、アイバッグモデルのアイバッグ部分の高さ及び／又はアイバッグモデルのティアトラフ部分の深さを測定することにより決定されるスコアを、計算してよく、そしてアイバッグモデル間で比較して、アイバッグの減少の程度を決定してよい。最大値間の差分がより大きいことは、ベースラインの顔面スキャンと、その後の顔面スキャンとの間に適用された任意の製品の効果がより大きいことを示す。いくつかの実施形態において、アイバッグ部分の高さのみを比較してよい。いくつかの実施形態において、ティアトラフ部分の深さのみを比較してよい。いくつかの実施形態において、アイバッグ部分の高さとティアトラフ部分の深さとの間の差分を組み合わせて、組み合わせられたメトリックを生成してよい。

図７は、本開示の様々な態様に係る、傾きスコアの決定を示すチャートである。このメトリックについて、アイバッグモデルの始点からアイバッグモデルの終点までの傾きが決定され、ゼロにより近い値はアイバッグエリアの外観の改善を示す。

図８は、本開示の様々な態様に係る、アーク長さスコアの決定を示すチャートである。アイバッグモデルのアーク長さは、アイバッグのたるみ度と、アイバッグの皮膚上の製品によって生じる収縮応力に関連する。内部応力が大きいほど、アーク長さは小さくなり、それ故にアイバッグの外観がより大きく改善される。

図２Ｂに戻ると、方法２００は次いでブロック２１８に進み、ここでは、スキャン分析エンジン１０８が、第１のアイバッグモデルと第２のアイバッグモデルとの間の差分をスキャンデータストアに記憶する。記憶された差分には様々な用途がある。例えば、いくつかの実施形態において、記憶された差分を使用して、アイバッグエリアへの製品の適用の前、及びアイバッグエリアに製品を適用してから１又は複数の期間経った後などの、アイバッグの形状の経時的な変化を定量的に比較してよい。本開示の前は、このような定量的比較は不可能であった。別の例として、いくつかの実施形態において、任意選択のブロック２２０〜２２４において以下に説明されるように、記憶された差分を使用して予測モデルを生成してよい。差分は、差分絶対値として、変化のパーセンテージとして、又は任意の他の適切なフォーマットで記憶してよい。上述のように、いくつかの実施形態において、単一のアイバッグモデルが処理され、モデル間又はスコア間の差分の代わりに（又はそれに加えて）、単一のアイバッグモデルについてのスコアが記憶される。

任意選択のブロック２２０において、３次元スキャナー１０２が新しい顔面のスキャンを実施し、新しいスキャンデータを顔面分析デバイス１０４に提供する。任意選択のブロック２２２において、スキャン分析エンジン１０８が、第１のアイバッグモデルと第２のアイバッグモデルとの間の記憶された差分を使用して、新しいスキャンデータに基づき予測されたスキャンデータを生成する。例えば、記憶された差分は、アイバッグ高さの４０％の減少及びティアトラフ深さの６０％の減少を示す可能性があり、したがってスキャン分析エンジン１０８は、新しいスキャンデータのアイバッグ高さが４０％減少し、新しいスキャンデータのティアトラフ深さが６０％減少した、予測されたスキャンデータを生成するだろう。いくつかの実施形態において、（第１のアイバッグモデルと第２のアイバッグモデルとの間の差分だけではなく）複数の記憶された差分を組み合わせて使用し、予測されたスキャンデータを生成することができる。

次に、任意選択のブロック２２４において、顔面分析デバイス１０４が、予測されたスキャンデータをディスプレイ１０６上に表示する。予測されたスキャンデータは、第１のアイバッグモデルの生成と第２のアイバッグモデルの生成との間に使用された製品を適用した後に、新しい顔面がどのように見え得るかを表すだろう。そのような表示は、製品を使用するかどうかの決定に影響を与えるのを助けることができ、又は複数の製品間での選択を助けることができる。ブロック２２０〜２２４は、任意選択のものとして示されている。なぜならば、いくつかの実施形態は、差分情報を単に、定量的比較のためだけに使用し、予測されたスキャンデータを生成するためには使用しないからである。また、いくつかの実施形態において、単一のスキャンを実施してよく、スコアは、比較差分スコアではなく、診断スコアとして、単一のアイバッグモデルに基づいて生成してよい。方法２００は次いで終了ブロックに進み、終了する。

図９は、本開示のコンピューティングデバイスとして使用するのに適切な１つの例示的なコンピューティングデバイス９００の態様を示すブロック図である。複数の異なるタイプのコンピューティングデバイスを上で論じたが、例示的なコンピューティングデバイス９００は、多くの異なるタイプのコンピューティングデバイスに共通の様々な要素を説明している。図９は、ネットワーク上のデバイスとして実行されるコンピューティングデバイスを参照して説明されているが、以下の説明は、サーバ、パーソナルコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、組み込みコンピューティングデバイス、及び本開示の実施形態の一部を実行するのに使用することができる他のデバイスに適用可能である。さらに、当業者及び他の者は、コンピューティングデバイス９００が、任意の数の現在入手可能なデバイス又はまだ開発中のデバイスのうちの任意の１つであり得ることを認識するであろう。

その最も基本的な構成において、コンピューティングデバイス９００は、少なくとも１つのプロセッサ９０２及び通信バス９０６によって接続されたシステムメモリ９０４を含む。デバイスの正確な構成及びタイプに応じて、システムメモリ９０４は、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ＥＥＰＲＯＭ、フラッシュメモリ、又は同様のメモリ技術などの、揮発性又は不揮発性メモリであってよい。当業者及び他の者は、システムメモリ９０４が典型的には、プロセッサ９０２によって直ちにアクセス可能である及び／又は現在操作されている、データ及び／又はプログラムモジュールを記憶することを認識するだろう。これに関して、プロセッサ９０２は、命令の実行をサポートすることによって、コンピューティングデバイス９００の計算センターとして機能し得る。

図９においてさらに示されるように、コンピューティングデバイス９００は、ネットワークを介して他のデバイスと通信するための１又は複数の構成要素を含む、ネットワークインターフェイス９１０を含んでよい。本開示の実施形態は、一般的なネットワークプロトコルを使用して通信を実施するために、ネットワークインターフェイス９１０を利用する基本サービスにアクセスしてよい。ネットワークインターフェイス９１０はまた、ＷｉＦｉ、２Ｇ、３Ｇ、ＬＴＥ、ＷｉＭＡＸ、ブルートゥース、ブルートゥース低エネルギー、などの１又は複数の無線通信プロトコルを介して通信するように構成される無線ネットワークインターフェイスを含んでもよい。当業者によって理解されるように、図９に示されるネットワークインターフェイス９１０は、システム１００の特定の構成要素に関して上で説明され示される１又は複数の無線インターフェイス又は物理的通信インターフェイスを表し得る。

図９に図示される例示的な実施形態において、コンピューティングデバイス９００はまた、記憶媒体９０８を含む。しかしながら、サービスは、データをローカルの記憶媒体に保持するための手段を含まないコンピューティングデバイスを使用してアクセスすることができる。それ故に、図９に示される記憶媒体９０８は、記憶媒体９０８が任意選択のものであることを示すために、破線で表される。いずれにしても、記憶媒体９０８は、揮発性又は不揮発性であってよく、取り外し可能又は取り外し不能であってよく、情報を記憶することのできる任意の技術を使用して実行してよく、任意の技術としては、例えば、ハードドライブ、ソリッドステートドライブ、ＣＤ ＲＯＭ、ＤＶＤ、又は他のディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、などがあるが、これらに限定されない。

本明細書で使用される場合、用語「コンピュータ可読媒体」は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶することができる任意の方法又は技術で実行される、揮発性及び非揮発性で取り外し可能及び取り外し不能の媒体を含む。これに関して、図９に示されるシステムメモリ９０４及び記憶媒体９０８は、コンピュータ可読媒体の単なる例である。

プロセッサ９０２、システムメモリ９０４、通信バス９０６、記憶媒体９０８、及びネットワークインターフェイス９１０を含むコンピューティングデバイスの適切な実装形態は、既知であり市販されている。説明を容易にするため且つ特許請求の範囲に記載の発明の内容の理解にとって重要ではないため、図９は、多くのコンピューティングデバイスの典型的な構成要素のうちいくつかを示していない。これに関して、コンピューティングデバイス９００は、キーボード、キーパッド、マウス、マイクロフォン、タッチ入力デバイス、タッチスクリーン、タブレット、などの入力デバイスを含んでよい。そのような入力デバイスは、ＲＦ、赤外線、シリアル、パラレル、ブルートゥース、ブルートゥース低エネルギー、ＵＳＢ、又は無線接続又は物理的接続を使用する他の適切な接続プロトコルを含む、有線接続又は無線接続によって、コンピューティングデバイス９００に結合してよい。同様に、コンピューティングデバイス９００はまた、ディスプレイ、スピーカー、プリンター、などの出力デバイスを含んでもよい。これらのデバイスは本分野において周知であるため、本明細書ではさらに図示又は説明しない。

本明細書中に開示されるある特定の実施形態は、機能の実行、より多くの構成要素の操作可能な結合、情報の生成、操作条件の決定などのために、回路を利用する。任意のタイプの回路を使用することができる。いくつかの実施形態において、回路は、とりわけ、１又は複数のコンピューティングデバイス、例えば、プロセッサ（例えば、マイクロプロセッサ）、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、又は任意のそれらの組み合わせを含み、そして個別のデジタル又はアナログの回路素子又は電子機器、又はそれらの組み合わせを含むことができる。いくつかの実施形態において、回路は、複数の所定のロジックコンポーネントを有する１又は複数のＡＳＩＣを含む。いくつかの実施形態において、回路は、複数のプログラマブルロジックコンポーネントを有する１又は複数のＦＰＧＡを含む。

例示的な実施形態を図示し説明してきたが、本発明の精神及び範囲から逸脱することなく、様々な変更を加えることができるということを理解されたい。

Claims (24)

1. ３次元顔面スキャンデータを処理するコンピュータ実行方法であって、前記方法が、
   顔面分析デバイスによって、顔面の３次元スキャンを表す第１の顔面スキャンデータを受信する工程；
   前記顔面分析デバイスによって、前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する工程；
   前記顔面分析デバイスによって、前記第１のモデルに基づいて第１のスコアを決定する工程；及び
   前記顔面分析デバイスによって、前記第１のスコアをスキャンデータストアに記憶する工程
   を含み、
   前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する工程が、関連する目の両端に対する前記アイバッグエリアの中央で、前記アイバッグエリアの垂直断面を決定する工程を含む、
   方法。
2. 前記顔面分析デバイスによって、前記第１のモデルを、前記顔面の以前の３次元スキャンを表す以前の顔面スキャンデータの少なくとも１つの記憶されたモデルと比較して、前記モデル間の差分を決定する工程；及び
   前記顔面分析デバイスによって、決定された前記差分を前記スキャンデータストアに記憶する工程
   をさらに含む、請求項１に記載の方法。
3. 前記顔面分析デバイスによって、新しい顔面の３次元スキャンを表す新しい顔面スキャンデータを受信する工程；
   前記顔面分析デバイスによって、前記新しい顔面スキャンデータのアイバッグエリアの新しいモデルを決定する工程；
   前記顔面分析デバイスによって、前記新しいモデル及び前記スキャンデータストアに記憶された決定された前記差分を使用して、予測された顔面スキャンデータを決定する工程；及び
   前記顔面分析デバイスによって、前記予測された顔面スキャンデータをディスプレイ上に表示する工程
   をさらに含む、請求項２に記載の方法。
4. 前記以前の顔面スキャンデータを受信した後且つ前記第１の顔面スキャンデータを受信する前に、前記アイバッグエリアに適用された処置を評価するために、前記顔面分析デバイスによって、決定された前記差分を表示する工程
   をさらに含む、請求項２〜３のいずれか一項に記載の方法。
5. 前記第１のモデルに基づいて第１のスコアを決定する工程が、
   前記第１のモデルについての絶対曲線下面積（ＡＵＣ）を決定する工程；
   前記第１のモデルについての最大値又は最小値を決定する工程；
   前記第１のモデルについての曲線終点間の傾きを決定する工程；及び
   前記第１のモデルについてのアーク長さを決定する工程
   のうち少なくとも１つを含む、
   請求項1〜４に記載の方法。
6. 前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する工程が、
   前記第１の顔面スキャンデータの基準面を決定する工程；
   前記第１の顔面スキャンデータ内の各ボクセルから前記基準面までの距離を決定する工程；及び
   前記距離のヒストグラムを決定する工程
   を含み、
   前記第１のモデルに基づいて第１のスコアを決定する工程が、前記ヒストグラムの標準偏差を決定する工程を含む、
   請求項１〜５のいずれか一項に記載の方法。
7. ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させる工程；及び
   全体的な微調整を実施して、エラー耐性が所定の閾値内になるまで全ての顔面スキャンデータを繰り返し再整列させる工程
   によって、前記第１の顔面スキャンデータを以前の顔面スキャンデータに整列させる工程をさらに含む、
   請求項１〜６のいずれか一項に記載の方法。
8. ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させる工程が、拘束フラクションオーバーラップパラメーター及びエラー耐性パラメーターの案内の下で、顔面の目印が整列するまで、前記第１の顔面スキャンデータを前記第２の顔面スキャンデータに繰り返し整列させる工程を含む、
   請求項７に記載の方法。
9. ３次元顔面スキャンデータを処理するためのシステムであって、前記システムが、
   ３次元スキャナー；及び
   顔面分析デバイス
   を含み、
   前記顔面分析デバイスが、前記スキャナーに通信可能に結合され、以下の複数の動作：
   前記３次元スキャナーから、顔面の３次元スキャンを表す第１の顔面スキャンデータを受信する動作；
   前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する動作；
   前記第１のモデルに基づいて第１のスコアを決定する動作；及び
   前記第１のスコアをスキャンデータストアに記憶する動作
   を実施するように構成される、
   システムであって、
   前記複数の動作が、
   前記第１のモデルを、前記顔面の以前の３次元スキャンを表す以前の顔面スキャンデータの少なくとも１つの記憶されたモデルと比較して、前記モデル間の差分を決定する動作；及び
   決定された前記差分を前記スキャンデータストアに記憶する動作
   をさらに含み、
   前記システムがディスプレイをさらに含み、
   前記複数の動作が、
   前記スキャナーから、新しい顔面の３次元スキャンを表す新しい顔面スキャンデータを受信する動作；
   前記新しい顔面スキャンデータのアイバッグエリアの新しいモデルを決定する動作；
   前記新しいモデル及び前記スキャンデータストアに記憶された決定された前記差分を使用して、予測された顔面スキャンデータを決定する動作；及び
   前記ディスプレイ上に、前記予測された顔面スキャンデータを表示する動作
   をさらに含む、システム。
10. 前記複数の動作が、前記以前の顔面スキャンデータを受信した後且つ前記第１の顔面スキャンデータを受信する前に、前記アイバッグエリアに適用された処置を評価するために、決定された前記差分を表示する動作をさらに含む、請求項９に記載のシステム。
11. 前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する動作が、関連する目の両端に対する前記アイバッグエリアの中央で、前記アイバッグエリアの垂直断面を決定する動作を含む、請求項９又は１０に記載のシステム。
12. 前記第１のモデルに基づいて第１のスコアを決定する動作が、以下の動作：
    前記第１のモデルについての絶対曲線下面積（ＡＵＣ）を決定する動作；
    前記第１のモデルについての最大値又は最小値を決定する動作；
    前記第１のモデルについての曲線終点間の傾きを決定する動作；及び
    前記第１のモデルについてのアーク長さを決定する動作
    のうち少なくとも１つを含む、
    請求項１１に記載のシステム。
13. 前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定する動作が、
    前記第１の顔面スキャンデータの基準面を決定する動作；
    前記第１の顔面スキャンデータ内の各ボクセルから前記基準面までの距離を決定する動作；及び
    前記距離のヒストグラムを決定する動作
    を含み、
    前記第１のモデルに基づいて第１のスコアを決定する動作が、前記ヒストグラムの標準偏差を決定する動作を含む、
    請求項９〜１２のいずれか一項に記載のシステム。
14. 前記複数の動作が、
    ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させる動作；及び
    全体的な微調整を実施して、エラー耐性が所定の閾値内になるまで全ての顔面スキャンデータを繰り返し再整列させる動作
    によって、前記第１の顔面スキャンデータを以前の顔面スキャンデータに整列させる動作をさらに含む、
    請求項９〜１３のいずれか一項に記載のシステム。
15. ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させる動作が、拘束フラクションオーバーラップパラメーター及びエラー耐性パラメーターの案内の下で、顔面の目印が整列するまで、前記第１の顔面スキャンデータを前記第２の顔面スキャンデータに繰り返し整列させる動作を含む、請求項１４に記載のシステム。
16. ３次元顔面スキャンデータを処理するためのシステムであって、前記システムが、
    顔面の３次元スキャンを表す第１の顔面スキャンデータを受信するための回路；
    前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定するための回路；
    前記第１のモデルに基づいて第１のスコアを決定するための回路；及び
    前記第１のスコアをスキャンデータストアに記憶するための回路
    を含む、システムであって、
    前記第１のモデルを、前記顔面の以前の３次元スキャンを表す以前の顔面スキャンデータの少なくとも１つの記憶されたモデルと比較して、前記モデル間の差分を決定するための回路；及び
    決定された前記差分を前記スキャンデータストアに記憶するための回路
    をさらに含み、
    新しい顔面の３次元スキャンを表す新しい顔面スキャンデータを受信するための回路；
    前記新しい顔面スキャンデータのアイバッグエリアの新しいモデルを決定するための回路；
    前記新しいモデル及び前記スキャンデータストアに記憶された決定された前記差分を使用して、予測された顔面スキャンデータを決定するための回路；及び
    前記予測された顔面スキャンデータをディスプレイ上に表示するための回路
    をさらに含む、
    システム。
17. 前記以前の顔面スキャンデータを受信した後且つ前記第１の顔面スキャンデータを受信する前に、前記アイバッグエリアに適用された処置を評価するために、決定された前記差分を表示するための回路をさらに含む、請求項１６に記載のシステム。
18. 前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定することが、関連する目の両端に対する前記アイバッグエリアの中央で、前記アイバッグエリアの垂直断面を決定することを含む、請求項１６又は１７に記載のシステム。
19. 前記第１のモデルに基づいて第１のスコアを決定することが、
    前記第１のモデルについての絶対曲線下面積（ＡＵＣ）を決定すること；
    前記第１のモデルについての最大値又は最小値を決定すること；
    前記第１のモデルについての曲線終点間の傾きを決定すること；及び
    前記第１のモデルについてのアーク長さを決定すること
    のうち少なくとも１つを含む、
    請求項１８に記載のシステム。
20. 前記第１の顔面スキャンデータのアイバッグエリアの第１のモデルを決定することが、
    前記第１の顔面スキャンデータの基準面を決定すること；
    前記第１の顔面スキャンデータ内の各ボクセルから前記基準面までの距離を決定すること；及び
    前記距離のヒストグラムを決定すること
    を含み、
    前記第１のモデルに基づいて第１のスコアを決定することが、前記ヒストグラムの標準偏差を決定することを含む、
    請求項１６〜１９のいずれか一項に記載のシステム。
21. ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させること；及び
    全体的な微調整を実施して、エラー耐性が所定の閾値内になるまで全ての顔面スキャンデータを繰り返し再整列させること
    によって、前記第１の顔面スキャンデータを以前の顔面スキャンデータに整列させるための回路をさらに含む、
    請求項１６〜２０のいずれか一項に記載のシステム。
22. ペアワイズ粗調整を実施して、前記第１の顔面スキャンデータを第２の顔面スキャンデータと整列させることが、拘束フラクションオーバーラップパラメーター及びエラー耐性パラメーターの案内の下で、顔面の目印が整列するまで、前記第１の顔面スキャンデータを前記第２の顔面スキャンデータに繰り返し整列させることを含む、請求項２１に記載のシステム。
23. コンピューティングデバイスの１又は複数のプロセッサによる実行に応答して、前記コンピューティングデバイスに請求項１〜８のいずれか一項に記載の３次元顔面スキャンデータを処理する方法を実施させるコンピュータ実行可能命令が記憶されている、非一時的コンピュータ可読媒体。
24. 請求項１〜８のいずれか一項に記載の３次元顔面スキャンデータを処理する方法を実施するように構成される、顔面分析デバイス。

Images