JP2023528376A - キャプチャ画像の処理システム及び方法 - Google Patents

Abstract

本明細書に記載されているシステム、方法及び機器は、モバイル装置によって、基準オブジェクトに対して垂直に位置するオブジェクトの画像を表示するステップと、決定された少なくとも１つの深さ測定値に基づいて、前記モバイル装置の深さセンサを使用して、前記画像がキャプチャされたときの前記モバイル装置の前記予測高さを計算するステップと、前記予測高さに基づいて前記画像のためのスケールデータを計算するステップと、前記画像内の前記オブジェクト及び前記基準オブジェクトの位置を識別する基準線を決定するステップと、前記画像内の前記オブジェクトの外部のピクセルから前記画像内の前記オブジェクトの内部のピクセルを分割するステップと、前記オブジェクトの内部の前記ピクセル及び前記スケールデータに基づいて前記オブジェクトを測定するステップと、前記オブジェクト、前記スケールデータ及び前記測定値を含む、前記モデルデータを生成するステップと、を含む画像処理を提供することができる。

Description

関連出願の相互参照
本願は、米国非仮出願であり、２０２０年５月２９に出願された米国仮特許出願第６３／０３１，８８５号及び２０２０年６月２９日に出願された米国仮特許出願第６３／０４５，４３１号に基づく優先権を主張し、そのすべての内容は参照により本願に組み込まれる。

技術分野
本発明は、一般的に画像処理に関し、特に、画像をキャプチャする装置に基づく画像処理に関する。

今でも、ほとんどの靴の買い物はまだ実際の実店舗（オフラインショップ）で行われている。ほとんどの顧客は、店舗管理者やアシスタントと同様に、従来のショッピングの制限に慣れている。一般に、顧客は、ショッピングアシスタントに案内されて製品、在庫製品の場所、試着場所に行く。また、顧客が同じ又は異なる店舗を訪問する度に典型的な実店舗（場合によってはオンライン）でのショッピング経験を繰り返さなければならず、これは非効率性とユーザの不満を招く。

上記の背景に基づき、本発明の一部の態様の基本的な理解を提供するために、以下に本開示の簡略化された概要を示す。この概要は、本発明の詳細な説明ではない。本発明の主要要素又は重要な要素を識別するか又は本発明の範囲を記述することを意図しない。次の概要は、以下に示されるより詳細な説明の序文として、本発明の一部の概念を簡略化された形で示すにすぎない。

オンライン及び店舗で、非常に正確でユーザフレンドリーな自動又は半自動のアパレル及び履物フィッティング解決案を提供するシステム又は方法を持つことが非常に有利である。本発明の実施形態によれば、パーソナライズされたオンライン製品フィッティングを提供する機器、システム、及び方法を提供する。ユーザの体の一部などのオブジェクトを測定するために、ユーザはモバイル装置を使用して、オブジェクトの１つ又は複数の画像をキャプチャできる。実際の世界でのオブジェクトに対するモバイル装置の物理的な移動と位置決めの組み合わせを示す詳細なコマンドを提供するために、ユーザインターフェースをモバイル装置に提供できる。例えば、ユーザの足の画像をキャプチャするための命令セットには、ユーザが、靴を脱ぐこと、コントラストの良い靴下を履くこと、きれいな壁を見つけること、かかとを壁に当てて、足が平行でまっすぐになるようにすること、モバイル装置を足の上の中央に置くこと、モバイル装置上のアライメントインジケータを整列してモバイル装置を水平にすること、モバイル装置を地面に置くこと、及びモバイル装置をピックアップすることが含まれ得る。様々な実施形態において、ユーザは靴下を履く必要がないか、壁及び／又は床とのコントラストの低い靴下を履くことができる。モバイル装置の床への移動中及びピックアップ中の移動を測定することによって、画像が撮影された高さ及び手から地面への移動中のモバイル装置の移動グラフを計算することができる。この情報に基づいて、実際の世界での測定に対する画像のスケールを決定することができ、当該スケールを使用して、キャプチャされた画像内のオブジェクトを測定することができる。例えば、このスケールは、ユーザの足のサイズをミリメートル精度で測定するのに使用できる。測定されたサイズは、ユーザに製品を推奨し、キャプチャされたオブジェクトの正確なデジタルモデルを生成するなど、様々な目的に使用できる。

説明される構成は、他の追加要素、ステップ、コンピュータ実行可能な命令、又はコンピュータ読み取り可能なデータ構造をさらに含むことができる。この点に関して、本明細書に他の実施形態が開示及び主張されている。本発明のこれらの実施形態及び他の実施形態の詳細は、添付図面及び以下の説明に記載されている。本発明の他の特徴及び利点は、明細書、添付図面及び特許請求の範囲から明らかになるだろう。

本発明は、例示的な方式により説明され、且つ類似の符号は同様な要素を示す添付図面に限定されるものではない。

本明細書に記載の１つ又は複数の態様を実装できる例示的なオペレーティング環境を示す。

本明細書に記載の１つ又は複数の態様に係る例示的なコンピューティング装置を示す。

本明細書に記載の１つ又は複数の態様に係るオブジェクトのモデルを生成するためのプロセスを概念的に示すフローチャートである。

本明細書に記載の１つ又は複数の態様に係る１つ又は複数のオブジェクトの画像をキャプチャするためのプロセスを概念的に示すフローチャートである。

本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。

本明細書に記載の１つ又は複数の態様に係る画像のスケールを決定するプロセスを概念的に示すフローチャートである。

本明細書に記載の１つ又は複数の態様に係る画像内のオブジェクトを検出するためのプロセスを概念的に示すフローチャートである。

本明細書に記載の１つ又は複数の態様に係る画像内の特徴のスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像内の特徴のスクリーンショットである。 本明細書に記載の１つ又は複数の態様に係る画像内の特徴のスクリーンショットである。

本明細書に記載の１つ又は複数の態様に係るオブジェクトの測定の概念図である。

本明細書に記載の１つ又は複数の態様に係る測定された足の特徴を示す表である。

本明細書に記載の１つ又は複数の態様に係るモバイル装置の移動に基づく高さ予測の概念図である。

本明細書に記載の１つ又は複数の態様に係る画像に対して生成されたスケールの概念図である。 本明細書に記載の１つ又は複数の態様に係る画像に対して生成されたスケールの概念図である。

本明細書に記載の１つ又は複数の態様に係る推奨を提供するためのプロセスを概略フローチャートである。

以下の説明は、当業者が特定の用途及びその要件の文脈で提供される本発明を製造及び使用することを可能にするために提供される。本明細書の一部を形成する添付図面を参照し、実施可能な本開示の様々な実施形態を図示する。他の実施形態を利用できることを理解されたい。記載された実施形態に対する様々な変更は、当業者にとっては明らかであり、本明細書に定義される一般的な原理は、他の実施形態に適用できる。したがって、本発明は、上記の図示及び説明された特定の実施形態に限定されるものではなく、本明細書に開示される原理及び新規特徴と一致する最も広い範囲が付与されるべきである。他の例では、本発明を曖昧にしないようにするために、よく知られている方法、手順、及び構成要素を詳細に説明しなかった。

次に、図面に目を向けると、画像をキャプチャし、推奨を提供するためのシステム及び方法が開示されている。アパレルフィッティング及び／又はカスタマイズ製造では、一般的に、オブジェクトの実際のサイズの１％以内の正確な測定が要求される反面、既存の解決案におけるオブジェクト検出は、同じオブジェクトを複数回測定する場合に大きく変化する可能性があり、最大２０％ずれる可能性がある。本開示の各態様に係るキャプチャされた画像には、さらに、画像をキャプチャするコンピューティング装置の状態に関する様々なメタデータがキャプチャされており、これらのメタデータは、本明細書に記載されたように、オブジェクトの検出、スケールの決定、及びオブジェクトの測定の精度を大幅に向上させるために使用できる。例えば、本開示の各態様に係るオブジェクトの測定は、一般的に、実際のオブジェクトのサイズの２ミリメートル以内で実施される。オブジェクトの決定と測定の精度の向上により、一貫してユーザの身体と正確に一致するアパレル及び／又は履物のカスタマイズ製造が可能になる。ユーザの体の一部などのオブジェクトを測定するために、ユーザはモバイル装置を使用して、オブジェクトの１つ又は複数の画像をキャプチャできる。実際の世界でのオブジェクトに対するモバイル装置の物理的な移動と位置決めの組み合わせを示す詳細なコマンドを提供するために、ユーザインターフェースをモバイル装置に提供できる。例えば、ユーザの足の画像をキャプチャするための命令セットには、ユーザが、靴を脱ぐこと、コントラストの良い靴下を履くこと、きれいな壁を見つけること、かかとを壁に当てて、足が平行でまっすぐになるようにすること、モバイル装置を足の上の中央に置くこと、モバイル装置上のアライメントインジケータを整列してモバイル装置を水平にすること、モバイル装置を地面に置くこと、及びモバイル装置をピックアップすることが含まれ得る。様々な実施形態において、ユーザは靴下を履く必要がないか、壁及び／又は床とのコントラストの低い靴下を履くことができる。モバイル装置の床への移動中及びピックアップ中の移動を測定することによって、画像が撮影された高さ及び手から地面への移動中のモバイル装置の移動グラフを計算することができる。複数の実施例において、モバイル装置中の１つ又は複数の深さセンサを用いて、高さを単独で又はモバイル装置の移動中に計算された高さと組み合わせて測定することができる。この情報に基づいて、実際の世界での測定に対する画像のスケールを決定することができ、当該スケールを使用して、キャプチャされた画像内のオブジェクトを測定することができる。例えば、このスケールは、ユーザの足のサイズをミリメートル精度で測定するのに使用できる。さらに、深さセンサを使用してキャプチャしたデータに基づいて、オブジェクトのスケール及び／又は測定値を単独で又は決定されたスケールと組み合わせて計算することができる。測定されたサイズは、ユーザに製品を推奨し、キャプチャされたオブジェクトの正確なデジタルモデルを生成するなど、様々な目的に使用できる。

オブジェクトを測定し、推奨を提供するための様々なシステム及び方法が、米国特許公開第２０１９／０１８８７８４号、第２０１９／０２２８４４８号及び第２０１９／０３４７７０３号に開示されている。１つ又は複数の基準面を使用してオブジェクトを測定するための様々なシステム及び方法が、米国特許第１０，４２０，３９７号及び米国特許出願第１６／７９１，５７２号に開示されている。オブジェクトのスキャン、製品適合性の判定、及び推奨の提供のための様々なシステム及び方法が、米国特許第１０，０６２，０９７号、第１０，２８２，７７３号、第１０，３６６，５２４号及び第１０，４３０，８６１号及び米国特許出願第１６／５５２，４１４号に開示されている。これらの米国特許、特許公開、及び特許出願のそれぞれの開示内容は、全体が参照により本明細書に組み込まれる。

オペレーティング環境及びコンピューティング装置
図１は、本発明の一実施形態に係るオペレーティング環境１００を示す。オペレーティング環境１００は、ネットワーク１４０を介して通信する少なくとも１つのモバイル装置１１０、少なくとも１つの処理サーバシステム１２０、及び／又は少なくとも１つの推奨サーバシステム１３０を含む。図２に関して説明した１つ又は複数のコンピューティングシステムを使用して、本明細書に記載のいずれの装置及びシステムの全部又は一部を実装することができる。

モバイル装置１１０は、本明細書に記載されているように、モバイル装置１１０の位置決めに関する画像データ及びメタデータをキャプチャし、及び／又は、キャプチャされた情報を提供及び／又は処理することができる。処理サーバシステム１２０は、本明細書により詳細に記載されているように、画像データ及び／又はメタデータを取得し、画像データ内の様々なオブジェクトを識別し、及び／又はオブジェクトのモデルを生成することができる。推奨サーバシステム１３０は、本明細書に記載されているように、モデル及び／又は好みデータに基づいて様々な推奨を生成することができる。ただし、モバイル装置１１０、処理サーバシステム１２０及び／又は推奨サーバシステム１３０のいずれも、本明細書に記載されている任意のプロセスの任意のステップの一部又はすべてを実行できることに留意されたい。ネットワーク１４０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線電気通信ネットワーク、及び／又は任意の他の通信ネットワーク、又はそれらの組み合わせを含み得る。

本明細書に記載されているように、オペレーティング環境１００内の様々な装置の間で送受信されるデータには、機密文書、開発者プロファイル及び／又は文書を開発するための手順のような安全で機密性の高いデータが含まれ得る。したがって、セキュリティネットワークプロトコル及び暗号化を使用して、これらのデータの伝送を保護すること、及び／又はドキュメント開発システム内の様々なコンピューティング装置に保存されているデータの完全性を保護することが望ましい場合がある。例えば、ファイルベースの統合方式又はサービスベースの統合方式は、様々なコンピューティング装置間でデータ伝送に活用することができる。データは、様々なネットワーク通信プロトコルを使用して伝送できる。データの完全性は、セキュリティデータ伝送プロトコル及び／又は暗号化（例えば、ファイル伝送プロトコル（ＦＴＰ、Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、セキュアファイル伝送プロトコル（ＳＦＴＰ、ＳｅｃｕｒｅＦｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、プリティグッドプライバシー（ＰＧＰ、Ｐｒｅｔｔｙ Ｇｏｏｄ Ｐｒｉｖａｃｙ）暗号化）をファイル伝送に使用して保護することができる。多くの実施形態において、１つ又は複数のウェブサービスを様々なコンピューティング装置内に実装することができる。認証された外部装置及びユーザは、オペレーティング環境１００内の様々なコンピューティング装置間のデータの入力、抽出、及び操作をサポートするために、ウェブサービスにアクセスすることができる。パーソナライズされたディスプレイシステムをサポートするように構築されたウェブサービスは、クロスドメイン及び／又はクロスプラットフォームであってもよく、企業に使用されるように構築されてもよい。このようなＷｅｂサービスは、Ｗｅｂサービスの相互運用性（ＷＳ－Ｉ）ガイドラインなど、様々なＷｅｂサービス標準に従って開発できる。安全ソケット層（ＳＳＬ、Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）又は伝送階層セキュリティ（ＴＬＳ、Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）プロトコルを使用してデータを伝送することで、コンピューティング装置間の安全な接続を提供する。Ｗｅｂサービスは、ＸＭＬ暗号化を使用して安全なＳＯＡＰメッセージを提供するＷＳ－Ｓｅｃｕｒｉｔｙ標準を使用して実装できる。専用のハードウェアを使用して、安全なＷｅｂサービスを提供できる。例えば、セキュアネットワーク機器に、ハードウェア加速ＳＳＬ及びＨＴＴＰＳ、ＷＳ－Ｓｅｃｕｒｉｔｙ、ファイアウォールなどの内臓特徴を含めることができる。このような専用ハードウェアは、任意の外部装置が専用ハードウェアと直接通信できるように、１つ又は複数のコンピューティング装置の前のオペレーティング環境（１００）にインストール及び構成されることができる。

示されたネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用できることを理解されたい。ＴＣＰ／ＩＰ、イーサネット、ＦＴＰ、ＨＴＴＰなどの多様なネットワークプロトコルのいずれか、及びＧＳＭ（登録商標）、ＣＤＭＡ、ＷｉＦｉ、ＷｉＭＡＸなどの多様な無線通信技術があると推定すされ、本明細書に記載されている多様なコンピューティング装置は、これらのネットワークプロトコル又は技術のいずれかを使用して通信するように構成されてもよい。

次に、図２を参照して、本発明の一実施形態に係るコンピューティング装置２００を示す。コンピューティング装置２００は、コンピューティング装置２００と、ＲＡＭ２０５、ＲＯＭ２０７、入出力装置２０９、通信インターフェース２１１及び／又はメモリ２１５を含む関連構成要素との全体的な動作を制御するためのプロセッサ２０３を含むことができる。プロセッサ２０３、ＲＡＭ２０５、ＲＯＭ２０７、メモリ２１５、Ｉ／Ｏ装置２０９、及び／又は通信インターフェース２１１は、データバスを介して互いに接続することができる。通信インターフェース２１１は、本明細書に記載されているものを含む任意のプロトコルを使用して、有線又は無線の任意のネットワークを介して通信するための１つ又は複数のトランシーバ、デジタル信号プロセッサ、及び／又は追加の回路並びにソフトウェアを含み得る。

入出力（Ｉ／Ｏ）装置２０９は、コンピューティング装置２００のユーザが入力を提供できるマイク、キーパッド、タッチスクリーン、及び／又はスタイラスを含むことができ、また、オーディオ出力を提供するための１つ又は複数のスピーカーと、テキスト、オーディオビジュアル及び／又はグラフィカルの出力を提供するためのビデオ表示装置を含み得る。多くの実施形態において、Ｉ／Ｏ装置２０９は、１つ又は複数の深さセンサ及び／又は１つ又は複数の画像キャプチャ装置を含む。画像キャプチャ装置は、シーンの画像をキャプチャするために使用できる。深さセンサは、１つ又は複数の画像キャプチャ装置を使用して、キャプチャされた画像深さを決定するために使用できる。コンピューティング装置２００が様々な動作を実行することを可能にする命令をプロセッサ２０３に提供するために、ソフトウェアをメモリ２１５内に格納してもよい。例えば、メモリ２１５は、オペレーティングシステム２１７、アプリケーションプログラム２１９、及び／又は関連付けられた内部データベース２２１などの、コンピューティング装置２００によって使用されるソフトウェアを格納することができる。メモリ２１５内の様々なハードウェアメモリユニットには、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、又は他のデータなどの情報を保存するための任意の方法又は技術によって実装される揮発性及び不揮発性取り外し可能な及び取り外しができないメディアが含まれ得る。メモリ２１５には、１つ又は複数の物理的な永久メモリ装置及び／又は１つ又は複数の非永久メモリ装置が含まれ得る。メモリ２１５は、ランダムアクセスメモリ（ＲＡＭ）２０５、読み取り専用メモリ（ＲＯＭ）２０７、電気的消去・プログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は所望の情報を記憶するために使用できる、プロセッサ２０３によってアクセスできる他の媒体を含むが、これらに限定されない。

プロセッサ２０３は、シングルコア又はマルチコアプロセッサ（例えば、デュアルコア、クアッドコアなど）であり得る単一の中央処理装置（ＣＰＵ）を含んでもよいし、複数のＣＰＵを含んでもよい。プロセッサ２０３及び関連構成要素は、コンピューティング装置２００にコンピュータ読み取り可能な一連の命令を実行させ、本明細書に記載のプロセスの一部又は全部を実行することができる。図２には示されていないが、メモリ２１５内の様々な要素又はコンピューティング装置２００内の他の構成要素には、例えば、プロセッサ２０３によって使用されるＣＰＵキャッシュ、オペレーティングシステム２１７によって使用されるページキャッシュ、ハードドライブのディスクキャッシュ、及び／又はデータベース２２１からのコンテンツをキャッシュするために使用されるデータベースキャッシュが含まれ得る。ＣＰＵキャッシュを含む実施形態では、ＣＰＵキャッシュは、メモリ遅延及びアクセス時間を短縮するために、１つ又は複数のプロセッサ２０３によって使用されることができる。プロセッサ２０３は、メモリ２１５からの読み取り／メモリ２１５への書き込みの代わりに、ＣＰＵキャッシュからデータを読み出すか、又はＣＰＵキャッシュにデータを書き込むことができ、これらの動作の速度を向上させることができる。一部の例では、データベース２２１からの特定のデータをＲＡＭ２０５又は別個のコンピューティング装置上など、データベースとは別個のメモリ内の別個のより小さなデータベースにキャッシュするデータベースキャッシュが作成されることができる。例えば、多層アプリケーションにおいて、アプリケーションサーバ上のデータベースキャッシュは、ネットワークを介してバックエンドデータベースサーバと通信する必要がないため、データ検索及びデータ操作時間を短縮することができる。これらのタイプのキャッシュ及びその他を様々な実施形態に含まれることができ、ドキュメント開発システムの特定の実装において、データを送受信する際のより速い応答時間やネットワーク条件への依存度の低下などの潜在的な利点を提供できる。

コンピューティング装置２００の様々な構成要素を別々に説明したが、本発明から逸脱することなく、様々な構成要素の特徴は、単一の構成要素及び／又は通信中の複数のコンピューティング装置によって組み合わされ、及び／又は実行され得る。

概要
画像は、通常、画像の題材である１つ又は複数のオブジェクトをキャプチャしたものである。アップルのＡＲＫｉｔ（登録商標）のような様々な既存のシステムにより、画像内のオブジェクトの検出が可能になる。ただし、キャプチャされたオブジェクトの精度が最適ではなく、画像の正確なスケールを決定することは困難である。このような精度の欠如により、これらの画像は、高いレベルの精度を求めるアプリケーションに必要なレベルの精度で、画像内のオブジェクトの大きさを決定するために使用することには適さない。例えば、靴フィッティング及び／又はオーダーメード型靴製造は、一般的に、オブジェクトの実際のサイズの１％以内で正確な測定が要求される一方、ＡＲＫｉｔのオブジェクト検出は、同じオブジェクトに対して何度も測定する場合に大きく変化する可能性があり、最大２０％ずれる可能性がある。本開示の態様に係るキャプチャされた画像は、また、キャプチャされた画像のコンピューティング装置の状態に関する、複数の軸に沿った加速度データ及び方位データのような様々なメタデータをキャプチャし、これらのメタデータは、画像がキャプチャされた環境の様々な属性及びキャプチャされたオブジェクトに対するコンピューティング装置の配向を判定するために使用することができる。このメタデータは、本明細書に記載のオブジェクト検出、スケール決定、及びオブジェクト測定の精度を大幅に向上させるために使用され得る。

図３Ａは、本明細書に記載された１つ又は複数の態様に応じたオブジェクトのモデルを生成するためのプロセスを概念的に示すフローチャートである。プロセス３００のステップの一部又は全部は、本明細書に記載の１つ又は複数のコンピューティング装置を使用して実行されてもよい。様々な実施形態において、以下に説明されるステップの一部又は全部は、適宜に組み合わされてもよく、及び／又はサブステップに分けられてもよい。

ステップ３１０において、ユーザインターフェースを提示することができる。ユーザインターフェースは、画像データをキャプチャするステップ及び／又はモデルを生成するステップの詳細な指示を提供することができる。多くの実施形態では、画像キャプチャプロセスは、実際の世界での装置の物理的な移動及び位置決めと、スクリーン上の従来の「アプリタイプ」命令との組み合わせを伴い、結果的に装置の位置決め及び移動がどれだけうまく実行されるかに影響される。オブジェクトの画像をキャプチャする前に、すべての適切な条件が満たされていることを保証するために、装置上で様々なプロセスを実行することができる。例えば、慣性測定センサ（ジャイロスコープ又は加速度計など）を使用して、画像がキャプチャされる間、装置がオブジェクトに対して最小角度でバランスが取れているかを確認できる。

ステップ３１２において、画像データを生成できる。ステップ３１４において、装置を基準面に移動させることができる。しかしながら、特に深さセンサを用いる実施形態では、装置を基準面に移動させる必要がない場合があることに留意されたい。

ステップ３１６において、高さデータを予測することができる。いくつかの実施形態では、高さデータは、画像がキャプチャされた位置から基準面への装置の移動に基づいて決定できる。多くの実施形態において、高さデータは、装置に組み込まれた深さセンサを使用して決定することができる。例えば、光検出及び測距（ＬＩＤＡＲ）センサは、１つ又は複数のレーザビームを環境内に投影し、レーザビームがＬＩＤＡＲセンサに反射されて戻ると、投影されたレーザビームと検出されたレーザビームとの間の時間を決定することができる。決定された時間は、レーザビームが移動した距離を計算するために使用されてもよく、この距離は、装置から基準面（床など）又はキャプチャされた画像内に位置する任意のオブジェクトまでの高さの測定値に変換できる。１つ又は複数の赤外線ドットをキャプチャされた画像に投影する赤外線深さセンサを含む任意の深さセンサを使用して、適切な深さを測定できることに留意されたい。様々な実施形態において、複数の深さ測定値を、深さセンサを使用して測定することができ、得られた深さ測定値を平均して高さデータを決定することができる。

ステップ３１８において、画像スケールデータを決定できる。画像データは、１つ又は複数のオブジェクト及び／又は１つ又は複数の基準面の画像をキャプチャすることによって生成されることができる。キャプチャ後、装置を基準面に移動させることができる。いくつかの実施形態では、基準面が画像データにキャプチャされる。慣性測定センサは、装置が基準面に移動する間に様々なデータを測定することができる。移動中に、測定されたデータに基づいて、画像が撮影された高さと手から地面に移動する間の携帯電話の移動グラフを高い精度で計算することができる。さらに、深さ測定値を単独で、又は計算された高さと組み合わせて使用して、高さ及び／又は画像スケールデータを決定することができる。多くの実施形態において、電話が地面に置かれており、結果のためにピックアップされる間、装置及びその他のプロセスを使用してキャプチャされた様々なデータを実行することができる。この段階で、データに異常なパターンがある場合、装置は、これらのパターンをフィルタリングしてユーザに通知することができる。これにより、フラグが指定されたスキャンの場合、全体処理時間を待つ必要がなく、またオブジェクトを再スキャンする必要もないため、ユーザの体験が向上する。

画像スケールデータは、画像をキャプチャする装置の様々な属性、装置の移動、及び画像が撮影された高さに基づいて、決定することができる。メーカー及びモデルが異なる装置間のサンプリング率、誤差率、ノイズなどが一貫していないため、スケールデータ計算には慣性測定ユニットからの信号を正規化することが含まれ得る。信号の正規化には、信号を共通のサンプル率に変換すること、信号の最小値及び最大値を決定すること、及び／又は測定された信号からのノイズをフィルタリングすることが含まれ得る。高さは、物理的シミュレーションモデル及び信号によって決定される装置の経路に基づいて決定できる。モデルを改良して、信号のドリフト及び／又は誤差を修正することができる。物理モデル及び物理的に固定されたモデルの結果は、スキャン条件からのメタデータとともに、高さ固定推定値を生成する機械学習分類器に提供できる。機械学習分類器の使用により装置の計算能力を向上させることができ、これは機械学習分類器がメーカー及びモデルが異なる装置間の誤差及び／又は差異を修正するのに非常に適しているためである。例えば、異なる装置は、異なるカメラセンサ及びレンズを有してもよい。このような理由で、スキャンが行われた高さを知れば、適切な装置とともに、機械学習分類器がこの高さを高精度に画像スケールに変換するようにすることができる。図３Ｂを参照して、本開示の態様に係る画像データをキャプチャするための様々なプロセスを説明する。図５を参照して、本開示の態様による画像の高さ情報を予測し且つ画像のスケールデータを決定するための様々なプロセスを説明する。

ステップ３２０において、モデルデータを生成することができる。画像データと高さデータとに基づいてモデルデータを生成することができる。いくつかの実施形態では、モデルデータは、モバイル装置の深さセンサを使用して決定された画像内のオブジェクトのメッシュモデルに基づいて生成される。慣性測定データ及び／又は装置データは、キャプチャされた画像内の任意の遠近感を直線化及び／又は補正するために使用できる。この補正は、最適な測定を達成すること、及び／又は、キャプチャ中に装置の位置又は角度から発生する影響を中和するのに役立つ。多くの実施形態において、変換マトリックスは、画像を補正するために計算及び／又は使用することができる。

画像内のオブジェクトの位置を識別するために、画像内で境界ボックスを決定することができる。境界ボックスを使用して、画像のオブジェクト検出中に処理される部分を減らすことができる。画像内の１つ又は複数のオブジェクトを検出することができる。いくつかの実施形態では、オブジェクトのクラスを識別するように訓練された機械学習分類器を使用してオブジェクトを検出することができる。例えば、深さ学習ニューラルネットワークは、境界ボックスの結果を分類し、且つ、正しい位置で両足を見たか否か、他のものであるか、又は素足、靴、又は誤った姿勢などのユーザへの特定の通知であるか否かを分類するように、訓練されてもよい。また、これは行われたスキャンが正しいかどうかを検証するために使用でき、すべての足の大きさを測定するためにも使用できる。線は、画像内で決定できる。線は、キャプチャされた画像内の壁と床との間の輪郭を識別できる。例えば、単一画像ではかかとと足指ボックスの完全な形をキャプチャできないことがあり、基準オブジェクトを使用して足の位置の正確な開始点を決定することができる。様々な実施形態において、基準オブジェクトは壁である。

多くの実施形態において、ＬＩＤＡＲセンサのような深さセンサを１つ又は複数使用してキャプチャした情報に基づいて、モデルデータを生成することができる。深さセンサは、画像データ内のキャプチャされたオブジェクトの１つ又は複数の部分の高さを決定するために使用され得る。オブジェクトの異なる部分の詳細な高さ情報を使用して、オブジェクトの体積（例えば、３Ｄ体積）及び／又は円周を適切に計算することができる。さらに、オブジェクトの異なる部分間の高さの差を使用して、オブジェクトの形状及び／又はキャプチャされたオブジェクトと基準オブジェクト（例、床又は壁）との間の輪郭を決定することができる。

様々な実施形態において、オブジェクトのメッシュモデルに基づいてモデルデータを生成することができる。深さセンサによってオブジェクトに投影された１つ以上のビーム及び／又はドットに基づいて、オブジェクトのメッシュモデルを決定することができる。ビーム及び／又はドットを接続して、オブジェクトのメッシュモデルを生成することができる。いくつかの実施形態では、画像をキャプチャする装置のオペレーティングシステムによって提供されるアプリケーションプログラミングインターフェース（ＡＰＩ）は、オブジェクトのメッシュモデルを提供できる。

画像からオブジェクトを分割することができる。いくつかの実施形態では、オブジェクトの分割（segmentation）は、ピクセルパーフェクトである。画像をキャプチャする設定と組み合わせが非常に多様であることを考慮すると、処理の精度上、背景からオブジェクトを正確に分離することが極めて重要となる。一部の環境では照明条件やコントラスト条件が厳しくなる可能性があることを考慮すると、このタスクは困難になる場合がある。最大の精度を達成するには、オブジェクトが互いに平行である、及び／又は、基準オブジェクトに垂直である必要がある。その場合ではなく、ユーザが非常に誤った位置に立っている場合には、その旨をコンテキストにマークしてスキャン終了を許可しない旨を通知する。ただし、姿勢がわずかにずれている場合は、測定する前にオブジェクトの向きを修正できる。分割（segment）されたオブジェクト内部のピクセル及び画像スケールデータに基づいて、オブジェクトの測定値を計算することができる。オブジェクトのメッシュモデルは、キャプチャされた画像内のオブジェクトのエッジを適切に決定するのに役立つように使用されてもよい。

モデルデータは、オブジェクト、オブジェクトの測定値、オブジェクトのメッシュモデル、及び／又はオブジェクトに関する様々な他のデータを適切に含むことができる。モデルデータは、画像内の１つ又は複数のオブジェクトについて生成されてもよい。モデルデータは、キャプチャされたオブジェクトの様々な測定値及び／又はモデルを含むことができる。例えば、キャプチャされたオブジェクトに足が含まれる場合、足の長さ、幅、足指の長さ、対角線の幅、足の総面積に対する足指先ボックスの体積、及び長さと幅の比率のような、様々な測定値を計算してモデルデータに含めることができる。各足に対して個別に計算されるマトリックスに加え、各足の大きさ間の差のような両足を比較してマトリックスを生成する測定値もある。これらの測定値は、足ごとに履物の正確なサイズを決定するために使用できる。例えば、解剖学的情報は、靴のスタイルや種類からのデータ、及び他の選手からのデータ、並びに好みと一緒に、モデルデータにおいてモデル化された足のために推奨サイズを生成する。図６を参照して、本開示の態様によるモデルデータを生成するための様々なプロセスを説明する。

オブジェクトの画像をキャプチャする
図３Ｂは、本明細書に記載の１つ又は複数の態様に係る１つ又は複数のオブジェクトの画像をキャプチャするためのプロセスを概念的に示すフローチャートである。プロセス３５０のステップの一部又は全部は、本明細書に記載の１つ又は複数のコンピューティング装置を使用して実行されてもよい。様々な実施形態において、以下に説明されるステップの一部又は全部は、適宜に組み合わされてもよく、及び／又はサブステップに分けられてもよい。

ステップ３６０において、キャプチャ対象となるオブジェクトを決定することができる。いくつかの実施形態では、モバイル装置上で実行される画像キャプチャアプリケーションを使用して、キャプチャ対象となるオブジェクトをフレーミングすることができる。キャプチャ対象となるオブジェクトは、測定及び／又はモデリングする任意のオブジェクトである可能性がある。様々な実施形態において、オブジェクトには、ユーザの足が含まれ得る。画像キャプチャアプリケーションは、どのようにモバイル装置をターゲットオブジェクトに対して配向するか、及び／又は、どのようにモバイル装置を、空間内を移動させるかに関する様々な命令を提供することができる。例えば、命令には、画像をキャプチャするオブジェクトの解析を含む一連のステップが含まれることができ、当該命令は、モバイル装置によって提供される一連のユーザインターフェースを使用して、キャプチャのためのオブジェクトを準備し、オブジェクトを基準面に接して配置し、オブジェクトを定義された方向に配向することを保証し、画像キャプチャウィンドウ内でオブジェクトを中心に配置し、モバイル装置を水平にし、モバイル装置を基準面に移動させ、モバイル装置を基準面から除去するために用いられる。図４Ａ～図４Ｆは、本明細書に記載の１つ又は複数の態様に係る画像をキャプチャするためのユーザインターフェースのスクリーンショットである。様々な機械学習分類器を使用して、ユーザインターフェースのステップ間で自動的に進むこと、及び／又は、キャプチャ対象となるオブジェクトに対するモバイル装置の配向を改善するようユーザに動的に指示することができる。

ステップ３６２において、装置をオブジェクトに整列することができる。オブジェクトがキャプチャされた画像内で一貫した位置に現れるように、装置をオブジェクトに整列することができる。例えば、モバイル装置を使用して、オブジェクトの画像をキャプチャすることができる。ただし、カメラの位置はモバイル装置ごとに異なる場合がある。したがって、特定のモバイル装置の大きさに基づいて、オブジェクトに対するモバイル装置の位置を調整する必要がある。多くの実施形態において、モバイル装置上で実行される画像キャプチャアプリケーションは、モバイル装置に対するオブジェクトの位置を示すフレームを提示し、及び／又は、オブジェクトに対するモバイル装置の正確な整列を指示するコンテキスト命令（及び／又は他の視覚的表示）を提供することができる。

いくつかの実施形態では、モバイル装置は、オブジェクトのライブプレビューを提供し、ライブプレビューに対して様々な分類器を実行して、モバイル装置とオブジェクトとが適切に整列されているかどうかを決定することができる。図６を参照して、本発明の実施形態に係る使用可能な正確な整列を決定するための様々なプロセスをより詳細に説明する。

オブジェクトをキャプチャする装置は、空間内で整列されることもできる。いくつかの実施形態では、オブジェクトを空間内で整列することには、モバイル装置が水平であることを決定することが含まれる。例えば、画像キャプチャアプリケーションは、モバイル装置内に位置する加速度計及び／又はジャイロスコープによって測定された、空間内のモバイル装置の配向を示す十字線要素を提示することができる。加速度計は、１つ又は複数の軸におけるモバイル装置の移動を個別に測定することができ、ジャイロスコープは、空間におけるモバイル装置の配向を測定することができる。

ステップ３６４において、画像をキャプチャすることができる。キャプチャされた画像には、オブジェクト及び１つ又は複数の基準面が含まれ得る。いくつかの実施形態では、２つの十字線を示すことができ、１番目の十字線は点線であり、一定の位置にある。２番目の十字線は、実線であり、空間内のモバイル装置の角度に沿って移動することができる。ピッチ角とロール角がゼロ近く、及び／又は所定の閾値を下回るとき、モバイルデバイスが安定的に維持されている間に十字が整列され、アニメーションが出現する。十字線を整列する間、オブジェクトの１つ又は複数の画像をキャプチャすることができる。様々な実施形態において、モバイル装置が空間内の位置及び／又はオブジェクトに関する位置から外れる場合、画像のキャプチャを中断及び／又は再開することができる。

ステップ３６６において、装置を基準面に移動させることができる。いくつかの実施形態では、キャプチャされた画像に関連しているメタデータは、画像をキャプチャする装置が基準面からどれだけ離れているかの測定を含み得る。装置を基準面に移動させることにより、加速度計、ジャイロスコープ、磁力計などのような様々なセンサを用いて装置から基準面までの距離を測定することができる。装置の移動中にキャプチャされたデータを用いて、画像が撮影された高さ及び基準面に移動中の装置の移動グラフを計算することができる。装置が基準面に到達して移動を停止するまで、１００ｈｅｒｔｚなどのサンプリング率でデータをキャプチャすることができる。各センサは、同じ及び／又は異なるサンプリング率でデータをキャプチャできる。装置の移動中に、様々な状況メッセージを提供することができ、当該状況メッセージは、装置が移動を開始するタイミングと安定性に達したタイミングを識別すること、異常行動のマークを可能にする移動、着地などのための基本的な時間を測定すること、命令に従わなかったことを示す上向きの移動を識別することなどを含むが、これらに限定されない。

ステップ３６８において、装置を基準面から取り外すことができる。一旦、装置が基準面の上又は基準面の近くにあると、装置をピックアップすることができる。いくつかの実施形態では、装置が基準面に到達した後、それをピックアップするようにユーザに指示するためのユーザインターフェースを提示することができる。その間に、すべてのデータを圧縮及び／又は処理サーバシステムに伝送することができる。さらに、装置は、データ中の異常パターンを識別及び／又はフィルタリングすることができる。異常なデータが識別され、画像の再キャプチャを引き起こしたことを示す通知を提供することができる。

ステップ３７０において、メタデータを生成することができる。メタデータは、本明細書に記載されるように、装置が基準面への移動及び基準面からの移動の間に測定される任意のデータを含むことができる。メタデータには、装置の移動に対する説明も含まれ得る。装置の移動は、画像のキャプチャ中に装置が空気中を移動する勾配を再構成するために使用でき、且つ、画像のキャプチャ中に装置が位置する高さと位置を計算するために使用できる。いくつかの実施形態では、本明細書に記載の物理的シミュレーション及び／又は機械学習分類器を使用して、高さを計算する。図５に関するより詳細な説明のように、この高さは、キャプチャされた画像のスケールを生成するために使用できる。

ステップ３７２において、画像データを生成できる。画像データには、オブジェクトの画像及び／又はメタデータを含めることができる。いくつかの実施形態において、画像データ及び／又はメタデータを、物理的属性及び個人的好みを含むすべての関連情報が統合されたファイルフォーマットで保存して、ユーザを表し、且つ、ユーザが衣類、眼鏡、履物又は他の身体関連製品のパーソナライズ化されたカスタマイズ型又は非カスタマイズ型買い物を行うのを支援することができる。

図５は、本明細書に記載の１つ又は複数の態様に係る画像のスケールを決定するプロセスを模式的に示すフローチャートである。プロセス５００のステップの一部又は全部は、本明細書に記載の１つ又は複数のコンピューティング装置を使用して実行されてもよい。様々な実施形態において、以下に説明されるステップの一部又は全部は、適宜に組み合わされてもよく、及び／又はサブステップに分けられてもよい。

ステップ５１０において、画像データ及びメタデータを取得できる。本明細書に記載されるように、画像データは、特定の位置から撮影されたオブジェクトの画像、及び／又は画像データをキャプチャする装置の配向及び移動を説明する様々なセンサ情報を含むことができる。様々な実施形態において、メタデータは、深さデータ及び／又は温度データだけでなく、それぞれ３軸にある加速器、ジャイロスコープ及び磁力計を含むが、これらに限定されない、モバイル装置から提供されるデータを含み得る。深さデータは、赤外線センサ、光検出及び測距（ＬＩＤＡＲ）センサなどのような様々な深さセンサを使用して決定された深さを含み得る。さらに、メタデータには、ユーザインターフェース相互作用、画像がいつ撮影されたかを示す時間データ、モバイル装置が基準面に到達した時間データ、モバイル装置がモバイル装置から取り外された時間などのような、モバイル装置による画像のキャプチャ中に発生するイベントを含めることができる。さらに、メタデータには、モバイル装置を説明する様々なデータを含めることができ、当該データは、メーカー、モデル、オペレーティングシステムバージョン、カメラ識別データ、センサ識別データ、インターネットプロトコルデータなどを含むが、これらに限定されない。

ステップ５１２において、メタデータを削除することができる。メタデータの削除には、キャプチャされたデータ内のノイズをフィルタリングすること及び／又はデータを共通サンプリング率で正規化することを含むことができる。いくつかの実施形態では、メタデータの削除には、データをキャプチャするために使用される特定のセンサに基づくデータ処理が含まれ得る。例えば、センサの特定のメーカー及びモデルは、センサを使用して測定されたデータ内の特定のレベル及び／又はパターンのノイズのような、事前定義された特性を有してもよい。これらの特性は、センサのメーカー及び／又はモデルから予測されるノイズを除去するためのセンサを使用してキャプチャしたデータを正規化するために使用することができる。操作される特定のタイプのデータに適するように、フーリエ変換などの様々な方法を使用して、データを削除することができる。さらに、メタデータは、画像キャプチャプロセス中の既知の動作に基づいて削除及び／又はフィルタリングされることができる。例えば、モバイル装置が基準面に置かれているとき、オブジェクトに対する装置の高さと速度はどちらもゼロである。また、画像がキャプチャされるときのモバイル装置の速度は、ほぼゼロである。

ステップ５１４において、予測高さを計算することができる。高さは、キャプチャ時のモバイル装置の位置の測定値であってもよい。予測高さは、物理的シミュレーションモデルを使用して計算することができる。例えば、各軸の加速度を二重積分することで、モバイル装置の移動全過程にわたる速度及び変位経路を計算することができる。メタデータ内の加速度及び／又は他の生データを用いてこの時系列データを精査（refine）して、測定の潜在的なドリフトを解決することができる。例えば、モバイル装置移動の開始時と終了時に加速度がないこと、モバイル装置が基準面上に置かれているときに速度がゼロであることなどの予測される傾向に適合するように、一連の加速度及び速度データを操作して、結果を最適化することができる。図７Ｆは、本明細書に記載の１つ又は複数の態様に係るモバイル装置の移動に基づいて高さを予測する概念図である。

ステップ５１６において、予測高さを精査することができる。１つ又は複数の機械学習分類器で予測高さを精査することができる。機械学習分類器は、様々な特徴に基づいて物理モデルの誤差を識別して修正するように訓練され、当該特徴には、カメラパラメータ、カメラレンズの収差、及び特定のメーカー及びモデルモバイル装置の画像キャプチャ専用の他の問題などを含むが、これらに限定されない。この特徴には、インターネットプロトコルアドレス、メディアアクセス制御アクセスアドレス、携帯電話のタイプ、携帯電話の製造日及び／又はバージョン、オペレーティングシステムバージョン、及び／又はモバイル装置の属性及び／又はモバイル装置によってキャプチャされた画像の特性を識別するために使用できる任意の他のデータがさらに含まれることが可能である。この機械学習分類器は、高さを予測する物理モデル及び／又はメタデータを使用して、精査された高さと、精査された高さが画像の地面からの真の高さに対応する可能性を示す信頼性メトリックとを計算することができる。多くの実施形態において、ＬＩＤＡＲセンサのような深さセンサを使用して決定された１つ又は複数の高さ測定値に基づいて、予測高さを精査することができる。様々な実施形態において、予測高さを精査するために、予測高さを、深さセンサを使用して決定された１つ以上の高さと平均することができる。

当業者には明らかなように、決定木、ｋ近傍法（k-nearest neighbors）、サポートベクトルマシン（ＳＶＭ）、ニューラルネットワーク（ＮＮ）、再帰ニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、及び／又は確率ニューラルネットワーク（ＰＮＮ）を含むが、これらに限定されない、様々な機械学習分類器が使用され得る。ＲＮＮは、さらに、完全再帰ネットワーク、ホップフィールドネットワーク、ボルツマンマシン、自己組織化マップ、学習ベクトル定量化、単純再帰ネットワーク、エコ状態ネットワーク、長短期記憶ネットワーク、双方向ＲＮＮ、階層型ＲＮＮ、ランダムニューラルネットワーク及び／又は遺伝子スケールＲＮＮを含めることができるが、これらに限定されない。いくつかの実施形態では、機械学習分類器の組み合わせを利用することができ、利用可能な場合には、より具体的な機械学習分類器を利用し、他の場合は一般的な機械学習分類器を利用して、予測の精度をさらに高めることができる。

ステップ５１８において、成功メトリックを決定することができる。成功メトリックは、精査された高さが画像の地面からの真の高さに対応する可能性を示すことができる。メタデータのルールベースの分析及び／又は機械学習分類器によって生成された信頼性メトリックに基づいて、成功メトリックを決定できる。ルールベースの分析には、メタデータからの様々なパラメータ（例えば、加速度、各段階のタイミング、電話の角度など）を処理すること、及び１つ又は複数のパラメータがパラメータの閾値を超えるとフラグを立てることが含まれる。

ステップ５２０において、画像のスケールデータを計算することができる。スケールデータは、画像内のピクセル数に基づいて、画像内のオブジェクトの実際のサイズを計算するために使用できるメトリックであり得る。多くの実施形態において、スケールデータは、画像のピクセル対ミリメートルの比率を示す。必要に応じて、メタデータ及び精査された高さデータに基づいて、スケールデータを計算することができる。各モバイル装置には異なるカメラセンサ及びレンズが含まれているので、特定の画像のスケールメトリックは、画像をキャプチャするモバイル装置の高さと特性の両方によって決定できる。様々な実施形態において、高さデータ及びメタデータは、高さデータをミリメートルレベルのピクセル測定値に変換するモデルへの入力として使用される。図７Ｇ～図７Ｈは、本明細書に記載の１つ又は複数の態様に係る画像に対して生成されるスケールの概念図である。

図６は、本明細書に記載の１つ又は複数の態様に係る画像内のオブジェクトを検出するプロセスを概念的に示したフローチャートである。プロセス６００のステップの一部又は全部は、本明細書に記載の１つ又は複数のコンピューティング装置を使用して実行されてもよい。様々な実施形態において、以下に説明されるステップの一部又は全部は、適宜に組み合わされてもよく、及び／又はサブステップに分けられてもよい。

ステップ６１０において、画像データ及びメタデータを取得できる。本明細書で説明されているように、画像データ及びメタデータを取得できる。画像データには、検出対象の物体を１つ以上含むことができる。一旦検出されると、画像データに対して計算されたスケールデータを使用してオブジェクトを測定することができる。メタデータを使用してスケールデータを保存できる。

ステップ６１２において、遠近感を修正することができる。画像をキャプチャするためのカメラ及び／又はレンズの物理的特性及び／又は空間内のモバイル装置の向きの影響を受ける可能性のある特定の視点から、画像データをキャプチャすることができる。画像のキャプチャ中にモバイル装置の位置又は角度からの影響を制限することにより、画像をまっすぐにして高さの測定を改善することができる。キャプチャに使用されるモバイル装置の仕様と、視野及び焦点距離などのカメラの属性とを含むメタデータは、変換マトリックスを生成するために使用され得る。変換行列を画像に適用して画像を平らにし、遠近感効果を除去することができる。

ステップ６１４において、オブジェクトを検出することができる。画像データからオブジェクトを検出することができる。様々な実施形態において、機械学習分類器を使用して、画像内の１つ又は複数のオブジェクトの境界ボックスを決定することができる。機械学習分類器は、肌の色の変化、靴のタイプ及び／又は姿勢だけでなく、光線、床及び部屋の状態の組み合わせを含む様々な条件下で特定クラスのオブジェクトを検出するように、訓練されることができる。例えば、深層学習ニューラルネットワークを使用して、靴下を履いた２つの足を検出し、それらの周りに境界オブジェクトを生成することができる。境界オブジェクトには、オブジェクトを囲む境界オブジェクトの角座標が含まれることができる。図７Ａは、本発明の１つ又は複数の態様に係る画像内で決定される境界ボックスを示す。

ステップ６１６において、線を検出できる。これらの線は、画像内で１つ又は複数の基準面が交差する位置を識別することができる。例えば、ユーザが足の画像を撮るために壁に向かって立っている画像の場合、これらの線は床（例えば、第１の基準面）が壁（例えば、第２の基準面）と交差する位置を識別することができる。これは、画像内のオブジェクトの始点を決定するのを助けるために使用できる。先の例に戻ると、壁と床との交差点を使用して、足が壁と床との交差点に位置する場合、かかとの位置を決めることができる。多くの実施形態において、ＬＩＤＡＲセンサのような深さセンサを使用して、基準面内の１つ又は複数の位置を決定することができる。深さセンサは、１つ又は複数のビーム又はドットを画像に投影することができ、ビーム又はドットに基づいて基準面の形状を決定することができる。例えば、床や壁のような基準面は、通常、シーン内のオブジェクトに比べて非常に平らである。オブジェクトの平坦度（例えば、輪郭の欠如）をビーム又はドットに基づいて決定することができ、シーン内のオブジェクトの平らなものを画像内の基準オブジェクトとして決定することができる。

いくつかの実施形態では、画像内の線を識別するために３ステップのプロセスを使用することができる。第１のステップには、エッジ検出技術を使用して、画像の正しい領域にある線の候補を識別することが含まれ得る。検証セットを使用して、既知の物理的特性と設定及び姿勢に基づいて候補線を選別することができる。多くの実施形態において、深さセンサを使用して、キャプチャされた深さ情報に基づいて姿勢を決定することができる。第２のステップには、機械学習分類器を使用して各候補線の信頼性メトリックを決定することが含まれ得る。信頼性メトリックは、基準面の真の交差点を識別する可能性が最も高い線の候補を決定するために使用できる。第３のステップには、最大精度のために、選択された線の候補位置を完全固定ピクセルで表示される線に調整することが含まれ得る。これは、エッジ検出技術及び／又は機械学習分類器を適切に使用して実行できる。図７Ｂは、本発明の１つ又は複数の態様に係る画像内で決定される候補線セットを示す。

ステップ６１８において、オブジェクトを分割することができる。画像からオブジェクトを分割することには、画像内のオブジェクトを構成するピクセルを識別することが含まれ得る。画像がキャプチャされる様々な設定と組み合わせを考慮すると、画像内のオブジェクトの輪郭の精度は、オブジェクトの測定精度を確保するのに重要である。様々な実施形態において、生成された深さマップに基づいて、深さセンサを使用してオブジェクトの輪郭を決定することができる。多くの実施形態において、３ステップのプロセスを使用して、画像内のオブジェクトを分割することができる。第１のステップにおいて、機械学習分類器を使用して、画像内の背景から前景オブジェクトをマークするヒートマップを生成することができる。第２のステップには、前景オブジェクトとして識別された部分が正しいことを確認するためのヒートマップの検証が含まれ得る。一旦検証されると、バイナリマスクを生成して、画像から背景部分を除去することができる。第３のステップには、バイナリマスク及び画像データを使用して、オブジェクトに属するすべてのピクセルを含み、背景の一部であるピクセルを含まないように、オブジェクトの正確なエッジを決定することが含まれる。例えば、画像内のオブジェクトは足であり、背景には床及びユーザの足が投影された影が含まれ得る。図７Ｃは、本開示の１つ又は複数の態様に係る画像内の分割されたオブジェクトの図を示す。様々な実施形態において、キャプチャ装置のオペレーティングシステムによって提供されるオブジェクト追跡及びセグメンテーションアプリケーションプログラミングインターフェース（ＡＰＩ）を使用して、オブジェクトを分割することができる。多くの実施形態において、ＡＰＩを介して提供されるオブジェクトセグメンテーションと、バイナリマスクベースのオブジェクトセグメンテーションとを組み合わせて、キャプチャされた画像内のオブジェクトのエッジをさらに精査することができる。

ステップ６２０において、オブジェクトの向きを決定できる。オブジェクトの向きは、他の検出されたオブジェクトに対して及び／又は画像内の基準面に対して決定されることができる。複数のオブジェクトがある場合、オブジェクトが平行になるようにオブジェクトの向きを揃えることができる。いくつかの実施形態では、基準面に対して垂直になるように、オブジェクトを移動又は回転させることができる。例えば、画像に２つの足オブジェクトが含まれている場合には、各足オブジェクトの向きを、互いに平行になるとともに、基準面の壁に垂直になるように調整することができる。多くの実施形態において、バイナリマスクの形状及び傾向を使用して、実質的に垂直な姿勢を表す位置を見つけることができる。

ステップ６２２において、オブジェクトを測定できる。画像のスケールデータに基づいて、検出されたオブジェクトを測定できる。測定したいピクセル数にスケールを掛けることで、任意の次元での物体の測定が可能になる。例えば、検出されたオブジェクトが足である場合、足の様々な属性を計算することができる。これらの特性には、足の長さ、幅、足指の長さ、対角線の幅などが含まれるが、これらに限定されない。足の総面積に対する足指ボックスの体積及び縦横比など、様々な相対的測定値も測定することができる。図７Ｄは、本開示の１つ又は複数の態様に係る使用可能な足の測定の模式図を示す。複数のオブジェクトが検出された場合、複数のオブジェクトを比較する測定値も計算することができる。いくつかの実施形態では、ＬＩＤＡＲセンサのような深さセンサによって提供される深さ情報に基づいて、オブジェクトを測定することができる。深さセンサを使用してキャプチャされたオブジェクトの特定の輪郭を決定し、これらの輪郭を使用してオブジェクトの大きさを微調整することができる。深さ情報の使用により、オブジェクトの体積や周長のようなオブジェクトの様々な属性を改善することができる。

図７Ｅは、本開示の１つ又は複数の態様によって計算できる足の測定値の表である。性別、地理的位置、及び／又は年齢別に、様々な足モデル上に生成されたモデルに基づいて、各測定値を計算することができる。いくつかの実施形態では、機械学習分類器を使用して足の測定値を生成することができる。

ステップ６２４において、モデルデータを生成することができる。モデルデータは、画像データ、メタデータ、及び／又は計算された測定値とともに、検出されたオブジェクトを適切に含むことができる。モデルデータには、２Ｄモデル、３Ｄモデル、メッシュモデル、及び／又は検出されたオブジェクトの任意の他のモデルが含まれ得る。様々な実施形態において、３次元モデリングプログラムと互換可能なファイルフォーマット（例えばＳＴＬファイル）及び／又はデジタル切断（digital cutting）装置と互換可能なファイルフォーマット（例えばＤＸＦ及び／又はＤＷＧファイル）を使用してモデルデータを生成することができる。ただし、任意のファイルフォーマットを使用してモデルデータを適切に保存することができる。図８を参照して説明したように、モデルデータを使用して、様々な製品の推奨及び／又はカスタマイズ製品の製造を提供することができる。

推奨（Recommendations）の提供
特定の製品のためのサイズの推奨を生成するために、モデルデータに記載される解剖学的情報、靴のスタイルからのデータ及びユーザの好みに基づいて様々な推奨を行うことができる。例えば、ユーザの好みには、青色又はグレーのスポーツシューズのような、好ましいスタイル、靴のタイプ、及び色が含まれ得る。製品のデータベースには、例えば、青、黒、赤の運動靴が含まれ得る。適切なサイズ（モデルデータに基づいて計算）と青色（ユーザの好みに基づいて決定）の運動靴を推奨することができる。様々な実施形態において、モデルデータに基づいて、カスタマイズ履物及びカスタマイズ矯正機のようなカスタマイズ製品を自動的に製造することを推奨することができる。モデルデータに基づいてカスタマイズ製品のサイズを決定することができ、好みデータに基づいてカスタマイズ製品のスタイル及び／又は色を決定することができる。このようにして、ユーザ固有の要件又はカスタマイズ要件に従って推奨製品を構成することができる。

図８は、本明細書に記載の１つ又は複数の態様に係る推奨を提供するためのプロセスを概略フローチャートである。プロセス８００のステップの一部又は全部は、本明細書に記載の１つ又は複数のコンピューティング装置を使用して実行されてもよい。様々な実施形態において、以下に説明されるステップの一部又は全部は、適宜に組み合わされてもよく、及び／又はサブステップに分けられてもよい。

ステップ８１０において、画像データをキャプチャすることができる。ステップ８１２において、モデルデータを生成することができる。本明細書に記載のように、画像データをキャプチャすることができ、モデルデータを生成することができる。

ステップ８１４において、ユーザの好みデータを取得することができる。ユーザの好みデータには、１つ又は複数の製品に対するユーザの任意の好みが含まれ得る。これには、スタイル、形状、色などが含まれるが、これらに限定されない。

ステップ８１６において、グローバル好みデータを取得できる。グローバル好みデータには、複数のユーザの好みデータが含まれ得る。グローバル好みデータには、さらに、ユーザの好みに関連する測定データ及び／又はモデルデータが含まれ得る。

ステップ８１８において、推奨データを生成できる。推奨データには、好みデータ、モデルデータ及び／又はグローバル好みデータに基づいて決定された１つ又は複数の製品が含まれ得る。取得したモデルデータと類似の測定値及び／又はモデルデータを持つユーザの好みデータ及び／又はグローバル好みデータに基づいて、製品を決定することができる。推奨製品のサイズはモデルデータに基づいて決定できる。好みデータに基づいて、推奨製品のスタイル、形状、色などを決定することができる。様々な実施形態において、ユーザが推奨製品を好む可能性及び／又は購入する可能性を示す信頼性メトリック及び潜在的に一致する製品を決定する機械学習分類器を使用して、推奨データを生成する。

ステップ８２０において、推奨データを提供できる。いくつかの実施形態では、推奨は、画像データをキャプチャするために使用されるモバイル装置上で実行されるアプリケーション内で提供される。様々な実施形態において、推奨データを使用して、オンラインストアから推奨製品を注文することができる。多くの実施形態において、推奨データを使用して、ユーザのための１回きりのカスタマイズ製品となるように、推奨製品を製造することができる。モデルデータは、３Ｄプリンタなどの製造装置に直接提供して、パーソナライズされた製品を製造することができる。

本明細書で説明される１つ又は複数の態様は、本明細書で説明されるように、１つ又は複数のコンピュータ又は他の装置によって実行される１つ又は複数のプログラムモジュールのような、コンピュータ実行可能データ又は可読データ及び／又はコンピュータ実行可能命令で具現化できる。一般に、プログラムモジュールには、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれ、それらは、コンピュータ又は他の装置内のプロセッサによって実行されるとき、特定のタスクを実行するか、特定の抽象データタイプを実装する。これらのモジュールは、実行のために後にコンパイルされるソースコードプログラミング言語で作成されるか、ＨＴＭＬ又はＸＭＬなど（ただし、これらに限定されない）のスクリプト言語で作成されることができる。コンピュータ実行可能命令は、ハードディスク、光ディスク、取り外し可能記憶媒体、固体メモリ、ＲＡＭなどのコンピュータ可読媒体に保存することができる。当業者が分かるように、プログラムモジュールの機能は、種々の実施形態において、所望に応じて組み合わされても、分散されてもよい。さらに、この機能の全部又は一部は、集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのようなファームウェア又はハードウェアの等価物に実装できる。特定のデータ構造は、本明細書で検討される１つ又は複数の態様をより効果的に実装するために使用でき、このようなデータ構造は、本明細書で説明されるコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内であると考えられる。本明細書で説明される様々な態様は、方法、コンピューティング装置、システム、及び／又はコンピュータプログラム製品として具現化され得る。

本発明を特定の態様で説明したが、多くの追加修正例及び変形は当事者には明らかであるだろう。特に、上記の様々なプロセスのいずれかは、特定の用途の要件により適した方法で類似の結果を達成するために、代替の順序及び／又は並列に（異なるコンピューティング装置上で）実行されてもよい。本発明は、本発明の範囲及び精神から逸脱することなく、具体的に説明された方法の以外の方法で実施することができることを理解されたい。したがって、本発明の実施形態は、すべての面で例示的なものであり、限定的なものではないと考えるべきである。

Claims (20)

1. モバイル装置によって、基準オブジェクトに対して垂直に位置するオブジェクトの画像を表示するステップと、
   前記モバイル装置によって、前記モバイル装置が前記オブジェクトに整列されていると決定するステップと、
   前記モバイル装置によって、前記オブジェクト及び前記基準オブジェクトを含む画像をキャプチャするステップと、
   前記モバイル装置によって、前記モバイル装置内の深さセンサを使用して決定された少なくとも１つの深さ測定値に基づいて、前記画像がキャプチャされたときの前記モバイル装置の予測高さを計算するステップと、
   前記モバイル装置によって、前記予測高さに基づいて前記画像のためのスケールデータを計算するステップと、
   前記モバイル装置によって、前記画像内の前記オブジェクトを検出するステップと、
   前記モバイル装置によって、前記画像内の前記オブジェクト及び前記基準オブジェクトの位置を識別する基準線を決定するステップと、
   前記モバイル装置によって、前記画像内の前記オブジェクトの内部のピクセルを前記画像内の前記オブジェクトの外部のピクセルから分割するステップと、
   前記モバイル装置によって、前記オブジェクトの内部の前記ピクセル及び前記スケールデータに基づいて前記オブジェクトを測定するステップと、
   前記モバイル装置によって、前記オブジェクト、前記スケールデータ及び前記測定値を含む、モデルデータを生成するステップと、
   を含むオブジェクトのモデルを生成する方法。
2. 前記モバイル装置によって、前記モデルデータに基づいて製品サイズの推奨を生成するステップをさらに含む、
   請求項１に記載の方法。
3. 前記モデルデータに足の測定値が含まれ、前記製品サイズの推奨に履物の勧めが含まれる、
   請求項２に記載の方法。
4. 前記モデルデータにユーザの身体の一部分の測定値が含まれ、前記製品サイズの推奨にアパレルの推奨が含まれる、
   請求項２に記載の方法。
5. 前記モバイル装置によって、前記深さ測定値に基づいて、前記モデルデータの透視を修正するステップをさらに含む、
   請求項１に記載の方法。
6. 前記モバイル装置が前記オブジェクトに整列されていると決定するステップは、前記モバイル装置上のアライメントインジケータにより前記モバイル装置を水平にするステップを含む、
   請求項１に記載の方法。
7. 前記モデルデータに基づいて、前記オブジェクトのモデルデータ及びユーザ固有の１つ又は複数の設定に関連するメタデータを含む画像データを生成するステップをさらに含む、
   請求項１に記載の方法。
8. 前記画像がキャプチャされたときの前記モバイル装置の前記予測高さを計算するステップは、
   光検出及び測距（ＬＩＤＡＲ）センサを含む前記深さセンサを使用して１つ又は複数のレーザビームを前記オブジェクトに投影するステップと、
   前記ＬＩＤＡＲセンサによって、反射されて前記ＬＩＤＡＲセンサに戻る反射レーザビームを検出するステップと、
   前記１つ又は複数のレーザビームを投影してから、前記反射レーザビームを検出するまでの持続時間を決定するステップと、
   前記持続時間に基づいて前記予測高さを計算するステップと、
   を含む、請求項１に記載の方法。
9. 前記画像がキャプチャされたときの前記モバイル装置の前記予測高さを計算するステップは、前記深さセンサを使用して複数の深さ測定値を取得するステップと、前記複数の深さ測定値を平均化して前記予測高さを計算するステップとを含む、
   請求項１に記載の方法。
10. 前記モデルデータを生成するステップは、前記深さセンサから前記オブジェクトへの投影に基づいて、前記オブジェクトの１つ又は複数のメッシュモデルを生成するステップを含む、
    請求項１に記載の方法。
11. 前記１つ又は複数のメッシュモデルに基づいて前記オブジェクトのエッジ位置を決定するステップをさらに含む、
    請求項１０に記載の方法。
12. 前記深さセンサを使用して生成した深さマップに基づいて、前記オブジェクトの輪郭を決定するステップをさらに含む、
    請求項１に記載の方法。
13. 前記画像内の前記オブジェクト及び前記基準オブジェクトの前記位置を識別する前記基準線を決定するステップは、前記深さセンサによって、１つ又は複数のビーム又はドットを前記オブジェクトに投影するステップと、前記１つ又は複数のビーム又はドットに基づいて前記基準線を決定するステップとを含む、
    請求項１に記載の方法。
14. 前記画像内の前記オブジェクトの内部のピクセルを前記画像内の前記オブジェクトの外部のピクセルから分割するステップは、機械学習分類器を適用して、前記画像内の背景から前記オブジェクトを含む前景がマークされているヒートマップを生成する、
    請求項１に記載の方法。
15. 少なくとも１つの深さセンサと、
    少なくとも１つの画像キャプチャ装置と、
    プロセッサと、
    コンピュータ可読命令が格納されているメモリと、を含む機器であって、前記コンピュータ可読命令が実行されると、当該機器が、
    基準オブジェクトに垂直に位置するオブジェクトの画像を表示し、
    当該機器が前記オブジェクトに整列されていると決定し、
    前記オブジェクト及び前記基準オブジェクトを含む画像をキャプチャし、
    前記深さセンサを使用して決定された少なくとも１つの深さ測定値に基づいて、前記画像がキャプチャされたときの当該機器の予測高さを計算し、
    前記予測高さに基づいて、前記画像のためのスケールデータを計算し、
    前記画像内の前記オブジェクトの位置及び前記基準オブジェクトを識別する基準線を決定し、
    前記画像内の前記オブジェクトの内部のピクセルを前記画像内の前記オブジェクトの外部のピクセルから分割し、
    前記オブジェクトの内部の前記ピクセル及び前記スケールデータに基づいて前記オブジェクトを測定し、且つ、
    前記オブジェクト、前記スケールデータ及び前記測定値を含む、モデルデータを生成するようになる、
    機器。
16. 前記少なくとも１つの深さセンサは、赤外線センサ、光検出センサ、又はＬＩＤＡＲセンサのうちの少なくとも１つを含む、
    請求項１５に記載の機器。
17. 前記画像がキャプチャされたときの当該機器の前記予測高さの計算には、
    ＬＩＤＡＲセンサを含む前記深さセンサを使用して、１つ又は複数のレーザビームを前記オブジェクトに投影することと、
    前記ＬＩＤＡＲセンサによって、反射されて前記ＬＩＤＡＲセンサに戻る反射レーザビームを検出することと、
    前記１つ又は複数のレーザビームを投影してから、前記反射レーザビームを検出するまでの持続時間を決定することと、
    前記持続時間に基づいて前記予測高さを計算することと、
    が含まれる、請求項１５に記載の機器。
18. 前記モデルデータの生成には、前記深さセンサから前記オブジェクトへの投影に基づいて、前記オブジェクトの１つ又は複数のメッシュモデルを生成することが含まれる、
    請求項１５に記載の機器。
19. 前記画像内の前記オブジェクト及び前記基準オブジェクトの前記位置を識別する前記基準線の決定には、前記深さセンサによって、１つ又は複数のビーム又はドットを前記オブジェクトに投影し、前記１つ又は複数のビーム又はドットに基づいて前記基準線を決定することが含まれる、
    請求項１５に記載の機器。
20. モバイル装置によって、基準オブジェクトに対して垂直に位置するオブジェクトの画像を表示するステップと、
    前記モバイル装置によって、前記モバイル装置が前記オブジェクトに整列されていると決定するステップと、
    前記モバイル装置によって、前記オブジェクト及び前記基準オブジェクトを含む画像をキャプチャするステップと、
    前記モバイル装置によって、前記モバイル装置が基準面に向いて移動する際の前記モバイル装置の移動を測定するステップと、
    前記モバイル装置によって、前記測定された移動に基づいて、前記画像がキャプチャされたときの前記モバイル装置の予測高さを計算するステップと、
    前記モバイル装置及び前記予測高さによって、前記画像のスケールデータを計算するステップと、
    前記モバイル装置によって、前記画像内の前記オブジェクトを検出するステップと、
    前記モバイル装置によって、前記画像内の前記オブジェクト及び前記基準オブジェクトの位置を識別する基準線を決定するステップと、
    前記モバイル装置によって、前記画像内の前記オブジェクトの内部のピクセルを前記画像内の前記オブジェクトの外部のピクセルから分割するステップと、
    前記モバイル装置によって、前記オブジェクトの内部の前記ピクセル及び前記スケールデータに基づいて前記オブジェクトを測定するステップと、
    前記モバイル装置によって、前記オブジェクト、前記スケールデータ及び測定値を含む、モデルデータを生成するステップと、
    を含む、オブジェクトのモデルを生成する方法。

Images