JP6424293B1 - ボディの画像化 - Google Patents

Abstract

１つの態様では、ボディを画像化する装置が開示される。１つの配置では、前記装置は、コントローラと；前記コントローラを制御するための電子プログラム命令を記憶する記憶装置と；ユーザインタフェースを表示するためのディスプレイと；入力手段とを含む。１つの形態では、前記コントローラは、前記入力手段を介して、前記ボディの第１の表現を含む入力を受信し、前記第１の表現を処理し、前記第１の表現の処理に基づいて前記ボディの第２の表現を作成し、作成された前記第２の表現をディスプレイを介して表示するように前記電子プログラム命令の制御下で操作可能である。【選択図】図１

Description

本発明は、一般的に、ボディの画像化に関する。

パーソナルフィットネスの目標を含む目的の達成を促進するために、特に人体の画像化を参照して本発明を説明するが、他のボディに関して、また、更なる及び／又は別の目的のために本発明を用いてもよいことが理解される。

ヒトの肥満は、世界中に蔓延していることが明らかになっている。非特許文献１及び２によれば、過体重に分類されるヒトの数は、推定で１９８０年の８億５７００万人から２０１３年には２１億に増加しており、２０３０年には４０億人が過体重になると予測されている。

これには、経済的なコストがかかる。例えば、英国では、２００７年に、男性の４２％及び女性の３２％が過体重であると推定され、その経済的なコストは推定２６０億米ドルであった。米国では、２０１０年に、男性の７４％及び女性の６４％が過体重であると推定され、その経済的なコストは推定１，４７０億米ドルであった。オーストラリアでは、２０１２年に、男性の４２％及び女性の２８％が過体重であると推定され、その経済的なコストは推定５３０億米ドルであった［国立保健医療研究委員会（ＮＨＭＲＣ）、オーストラリア心臓財団：疾病管理センター（ＣＤＣ）；国民健康栄養調査（ＮＨＡＮＥＳ）；保健・社会医療情報センター（ＨＳＣＩＣ）］。

更に、オーストラリア人（５５．７％）及びアメリカ人（５１％）の半分以上が減量を試みており、健康体重範囲の女性の４５％及び男性の２３％が、自身を過体重であると考えており、女性の約９１％が自身の身体に不満を抱いており、そして、肥満は主に２０歳〜４０歳で増加していると報告されている［非特許文献３〜６］。

これら統計値に鑑みて、多くの人々が、体重の減少、増加、若しくは維持／モニタリング、及び／又は身体サイズ若しくは体形の改善というパーソナルフィットネスの目標を有していることは驚くことではない。

例えば、体重測定及び／又は周囲長の測定等のセルフモニタリングを頻繁に行うことは、体重の減少又は増加、及び他のフィットネスの目標において決定的ではないにしても、重要な役割を果たしていることが研究によって繰り返し示されている。

体重をモニタリングするための現在の方法としては、以下が挙げられる：
・ 計量器（即ち、物体の重量又は質量を求めるための測定機器）の使用。この技術は、安価且つ迅速であるという利点を有するが、体形の変化を示すことができない。
・ 測定テープの使用。安価であるが、この技術は、ユーザエラーが生じやすく、実用的ではなく、時間もかかる。
・ 二重エネルギーＸ線吸収測定法（ＤＸＡ又はＤＥＸＡ）の使用。この技術は、正確な体組成特定を容易にするが、身体の胴囲／周囲長測定値が得られず、高価であり、時間がかかるという不利点を有する。更に、健康への影響を伴う可能性がある。この点について、この技術において用いられる放射線の量は、典型的には、極めて少なく、標準的な胸部レントゲンの線量の１０分の１未満であり、自然放射線への１日の曝露量よりも少ないが、臨床的及び商業的使用については、健康への影響のため個体をスキャンするのは年間２回だけにすべきであると推奨されている。
・ 例えば、商標名Ｉｍａｇｅ Ｔｗｉｎ（商標）及びｍＰｏｒｔ（商標）として供給されている三次元（３Ｄ）ボディスキャナー及びマッパーの使用。Ｉｍａｇｅ Ｔｗｉｎ（商標）システムによって身体の正確な３Ｄアバター表現を作成することができるようになるが、高価であり、典型的には検査室に設置される特殊な設備の使用を必要とする。ｍＰｏｒｔ（商標）システムによって身体の正確な３Ｄアバター表現を作成し、周囲長測定値を得ることができるようになる。しかし、これも高価であり、規定の場所で特殊な設備を使用する必要があり、体重変化のグラフデータしか得られない。
・ 例えば、商標名Ｍｏｄｅｌ Ｍｙ Ｄｉｅｔ（商標）、Ｃｈａｎｇｅ ｉｎ Ｓｅｃｏｎｄｓ（商標）、及びＶｉｒｔｕａｌ Ｗｅｉｇｈｔ Ｌｏｓｓ Ｍｏｄｅｌ Ｌｉｔｅ（商標）（ソフトウェアアプリ）として供給されているバーチャル重量減少シミュレータの使用。これらシステムは、典型的には、「前」及び「後」のボディのアニメーションアバター表現の作成が可能である。これらは、コンピュータ、例えば、デスクトップで実行される実行可能ファイルとして入手することしかできず、基本的な身体計測データを用いることでしか基本推定値が得られない。
・ 例えば、商標名Ｏｐｔｉｔｅｘ（商標）として供給されているバーチャルプロダクトシミュレータの使用。Ｏｐｔｉｔｅｘ（商標）システムは、単一のボディのアニメーションアバター表現の作成が可能である。これらは、コンピュータ、例えば、デスクトップで実行される実行可能ファイルとして入手することしかできず、基本的な身体計測データを用いることでしか基本推定値が得られない。
・ 例えば、商標名Ｇｏｏｄ Ｈｏｕｓｅｋｅｅｐｉｎｇ（商標）として供給されているもの等の写真の使用。Ｇｏｏｄ Ｈｏｕｓｅｋｅｅｐｉｎｇ（商標）システムは、写真ベースであるが、画像操作／処理ソフトウェア（例えば、ｐｈｏｔｏｓｈｏｐ（登録商標））で用いられる画像モーフィングアプローチの基本型である二次元（２Ｄ）空間においてアップロードされた写真を単に縮小及び拡大することしかできない。

（非特許文献７に公開されている）研究によって、アバターベースのプログラムにおける高い関心レベルが明らかになっており、造形作業が有望であることが示されている。インビボにおける曝露及び実行に関連する高コストを前提として、この研究は、体重減少挙動をモデリングするためのツールとしてアバターベースの技術を使用する可能性を証明するものである。

本発明はこのような背景の下で開発された。

Ｗｏｒｌｄ Ｈｅａｌｔｈ Ｏｒｇａｎｉｓａｔｉｏｎ ２００８ Ｇｌｏｂａｌ Ｂｕｒｄｅｎ ｏｆ Ｄｉｓｅａｓｅ Ｓｔｕｄｙ ２０１３，Ｔｈｅ Ｌａｎｃｅｔ Ｊｅｆｆｅｒｙ ＲＷ，Ｓｈｅｒｗｏｏｄ ＮＥ，Ｂｒｅｌｊｅ Ｋ，ｅｔ ａｌ．Ｍａｉｌ ａｎｄ ｐｈｏｎｅ ｉｎｔｅｒｖｅｎｔｉｏｎｓ ｆｏｒ ｗｅｉｇｈｔ ｌｏｓｓ ｉｎ ａ ｍａｎａｇｅｄ−ｃａｒｅ ｓｅｔｔｉｎｇ：Ｗｅｉｇｈ−Ｔｏ−Ｂｅ ｏｎｅ−ｙｅａｒ ｏｕｔｃｏｍｅｓ．Ｉｎｔ Ｊ Ｏｂｅｓ Ｒｅｌａｔｅｄ Ｍｅｔａｂ Ｄｉｓｏｒｄ． ２００３；２７（１２）：１５８４−１５９２ Ｌｉｎｄｅ ＪＡ，Ｊｅｆｆｅｒｙ ＲＷ，Ｆｒｅｎｃｈ ＳＡ，Ｐｒｏｎｋ ＮＰ，Ｂｏｙｌｅ ＲＧ．Ｓｅｌｆｗｅｉｇｈｉｎｇ ｉｎ ｗｅｉｇｈｔ ｇａｉｎ ｐｒｅｖｅｎｔｉｏｎ ａｎｄ ｗｅｉｇｈｔ ｌｏｓｓ ｔｒｉａｌｓ．Ａｎｎ Ｂｅｈａｖ Ｍｅｄ．２００５；３０（３）：２１０−２１６ Ｂｕｔｒｙｎ ＭＬ，Ｐｈｅｌａｎ Ｓ，Ｈｉｌｌ ＪＯ，Ｗｉｎｇ ＲＲ．Ｃｏｎｓｉｓｔｅｎｔ ｓｅｌｆ ｍｏｎｉｔｏｒｉｎｇ ｏｆ ｗｅｉｇｈｔ：ａ ｋｅｙ ｃｏｍｐｏｎｅｎｔ ｏｆ ｓｕｃｃｅｓｓｆｕｌ ｗｅｉｇｈｔ ｌｏｓｓ ｍａｉｎｔｅｎａｎｃｅ．Ｏｂｅｓｉｔｙ．２００７；１５（１２）：３０９１−３０９６ Ｔｈｅ Ｔｅｃｈｎｏｌｏｇｙ Ｂｏｏｍ：Ａ Ｎｅｗ Ｅｒａ ｉｎ Ｏｂｅｓｉｔｙ Ｍａｎａｇｅｍｅｎｔ．Ｇｉｌｍｏｒｅ，Ｄｕｈｅ’，Ｆｒｏｓｔ，Ｒｅｄｍａｎ．Ｊ Ｄｉａｂｅｔｅｓ Ｓｃｉ Ｔｅｃｈｎｏｌ．２０１４ Ｆｅｂ ２７；８（３）：５９６−６０８． Ｊ Ｄｉａｂｅｔｅｓ Ｓｃｉ Ｔｅｃｈｎｏｌ．２０１３ Ｊｕｌ １；７（４）：１０５７−６５．Ｕｓｉｎｇ ａｖａｔａｒｓ ｔｏ ｍｏｄｅｌ ｗｅｉｇｈｔ ｌｏｓｓ ｂｅｈａｖｉｏｒｓ：ｐａｒｔｉｃｉｐａｎｔ ａｔｔｉｔｕｄｅｓ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ ｄｅｖｅｌｏｐｍｅｎｔ

本発明の目的は、上述の関連技術の問題点のうちの１以上を克服若しくは少なくとも改善するか、又は有用若しくは商業的な選択肢を消費者に与えることにある。

本発明の他の目的及び利点は、例証及び実例として本発明の好ましい実施形態が開示される添付図面に関連する以下の記載から明らかになるであろう。

本発明の広い態様によれば、ボディを画像化する装置であって、
コントローラと；
前記コントローラを制御するための電子プログラム命令を記憶する記憶装置と；
ユーザインタフェースを表示するためのディスプレイと；
入力手段と
を含み、
前記コントローラが、
前記入力手段を介して、前記ボディの分類及び前記ボディの第１の表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を含む入力を受信し、
前記ボディの分類を考慮して前記第１の表現を処理し、
前記第１の表現の処理に基づいて前記ボディの第２の表現を作成し、
作成された前記第２の表現をディスプレイを介して表示するように前記電子プログラム命令の制御下で操作可能である装置が提供される。

本発明の第１の広い態様によれば、ボディを画像化する装置であって、
コントローラと；
前記コントローラを制御するための電子プログラム命令を記憶する記憶装置と；
ユーザインタフェースを表示するためのディスプレイと；
入力手段と
を含み、
前記コントローラが、
前記入力手段を介して、前記ボディの第１の表現を含む入力を受信し、
前記第１の表現を処理し、
前記第１の表現の処理に基づいて前記ボディの第２の表現を作成し、
作成された前記第２の表現をディスプレイを介して表示するように前記電子プログラム命令の制御下で操作可能である装置が提供される。

実施形態では、コントローラは、ボディの第１の表現をセグメンテーションして、前記ボディの実質的に真の三次元スキャンの単純な形態の投影シャドウで表される複数のシルエットを得ることによって前記ボディの前記第１の表現を処理し；前記シルエットに基づいて前記ボディの第２の表現を作成するように電子プログラム命令の制御下で操作可能である。

１つの実施形態では、シルエットは、例えば、投影及び人体の動きの基本を含んでいてよい。

好ましくは、コントローラは、また、入力が受信されたらディスプレイ上に現れるユーザ特有のスケルトンを作成し；第１の表現のセグメンテーションのプロセス中、ユーザが、前記第１の表現におけるボディを前記ユーザ特有のスケルトンと位置合わせできるようにするように電子プログラム命令の制御下で操作可能である。

有利なことに、前記コントローラは、また、
可聴音／単語／セリフを介して、表示されたユーザ特有のスケルトンにボディの部分を位置合わせするようにユーザに指示するように前記電子プログラム命令の制御下で操作可能であり、前記電子プログラム命令は、様々なデータを用いて及び／又は作成されたスケルトン及びボディのリアルタイムに捕捉された画像から抽出した形状外観、並びにばらつきの特徴、姿勢の特徴、及び時空間的特徴を含む特性間で計算される誤差によって位置合わせプロセスを制御するように電子プログラム命令の制御下で操作可能である。

好ましくは、コントローラは、また、
送信されたユーザの高さ情報、画像サイズ(画像の高さ及び幅(ピクセル))に基づいて、二値画像のユーザブロブ解析、投影理論、及びカメラモデルを用いて、
ポーズＰとして定義される、各画像におけるカメラの位置及び姿勢を含む捕捉センサ又はカメラの固有及び外部パラメータの初期推定値、並びに
スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む、ＪＫとして定義される、ボディのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値
を計算するように電子プログラム命令の制御下で操作可能である。

この実施形態では、コントローラは、また、
送信されたユーザの高さ及び重量及び性別の情報、又はユーザの高さ及び性別の情報のみに基づいて、一般的にユーザが入力した高さ、重量、又は分かっている場合他のボディ測定値によって異なる、Ａｖとして定義される、初期平均アバターを予測し、
前記平均アバターＡｖを、参照ポーズにおける公知のスケルトンモデルＪＫ及びＷとして定義されるボーンの重量／熱マトリクスを有するサイズＮのジョイントの参照スケルトンにリギングするように電子プログラム命令の制御下で操作可能である。

好ましくは、マトリクスＷは、ヒトの形状のオフライン機械学習プロセス中に一度だけオフラインで計算され、次いで、それまで学習されていない他のアバター又はヒトの形状の予測又は作成に用いられる参照スケルトンモデルＪＫと共に保存され、Ｗの幾つかの目的は、ヒトの皮膚に対して自然に生じる変形を含むジョイント、ボーン、及び実際の３Ｄアバター表面又は３Ｄトポロジーの間の関係をコンストレイン、制御、及びモデリングすることである。表面又は３Ｄトポロジーは、独自にモデリングされ、その頂点Ｖ、エッジＥ、及び面Ｆによって表され得る。

有利には、初期平均アバターＡｖを予測するプロセスは、複雑な多変量系機械学習アプローチに従う。好ましくは、多変量系機械学習アプローチは、様々な年齢、民族、及び様々なボディポーズの現実のヒト（男性及び女性）の複数のリギング及びレンダリングされた三次元スキャンから抽出された独自の顕著な３Ｄ特徴を用いるヒト形状の３Ｄ形状のオフライン学習を含む。典型的には、多変量系機械学習アプローチは、更に、ベクトルＭ＝（ｍ１，ｍ２，．．．，ｍＬ）（Ｌは、異なる測定値の数である）として定義される異なるボディ測定値間の様々な統計的関係を含み、使用中に、１以上の異なる測定値を考慮して１以上の測定値を予測することができ、これら測定値のうちの１以上を考慮して平均アバターＡｖを予測することができる。

好ましくは、新たな第１の表現において表される通り、アバターを変形させるか又は単にアニメーション化してボディのＡｖ１として定義される新たなアバターにするために、参照又は平均アバターデータ（Ｖ、Ｅ、Ｆ、ＪＫ、Ｗ）、及び新たな第１の表現のＪＫ１として定義されるユーザのジョイント運動の公知値又は推定値を、Ａｖを公知であるか又は自然なヒトの動きから学習された多数の物理コンストレイントに基づいてＡｖ１に最適化及び変形させる、£として定義されるコスト関数に供給し、ここでは、使用中、新たにアニメーション化されたアバターＡｖ１を、単純にするために平均アバターＡｖと同じボディ測定値を有すると仮定して、参照又は平均アバターデータの非線形関数、即ち、Ａｖ１＝ｆ（Ａｖ，Ｗ，ＪＫ，ＪＫ１）としてモデリングすることができる。典型的には、コスト関数£の実行は、２以上の重み付けされたエネルギー最小化関数を合わせることによって行われる：
例えば、Ｖ、Ｆ、及びＥを使用するラプラシアンコタンジェントマトリクスを利用する表面平滑度関数、並びに
アバター頂点とそのスケルトン構造との間の対応を確実にコンストレインするために、Ｖ、Ｆ、及びＷを使用するボーン結合関数。

好ましくは、実際のボディの３Ｄ表現、３Ｄアバターを作成するために、シルエット又はその表現のうちの１以上に対して適応的非線形最適化を用いてＡｖ１の１以上の表現をマッチングし、比較する。プロセスは、マッチングが行われるまで、Ａｖ１データ及びＭ、ＪＫを含む測定値の最初の推定値を調整する。

更なる実施形態では、入力は、ボディの分類を含み、コントローラは、電子プログラム命令の制御下で、ボディの分類に基づいて、ボディの分類に対応するデータを得；第１の表現と得られたデータとを比較することによって第１の表現を処理し；比較に基づいてボディの第２の表現を作成するように操作可能である。

実施形態では、入力は、ボディの細目を含む。細目は、ボディに関連するデータ及び／又は情報を含み得る。

本発明の実施形態では、１以上のソースからそれの検索、受信、抽出、及び同定のうちの１以上を行うことによってデータを得ることができる。実施形態では、得られたデータは、テンプレート；ボディの以前の表現、この場合、ボディの分類は、ボディの同定を含み得る；ボディの１以上の以前の表現及び／又は他のボディの積分又はボディの１以上の以前の表現及び／又は他のボディのデータ若しくは関連するデータの積分のうちの少なくとも１つを含む。

実施形態では、ボディの第１の表現は、ボディの分類を含む。

実施形態では、ボディは、人体又はその１以上の部分である。かかる場合、ボディは、人体測定学に従って分類し得る。実施形態では、装置は、複数のテンプレートを含み、各テンプレートは、標準的な平均人体測定学的測定値を有する人体の三次元モデルを含むテンプレートデータに関連付けられている。これは、平均ボディモデルと称される場合もある。標準的な平均人体測定学的測定値は、性別、サイズ（例えば、ヒトの衣類のサイズ）、重量、高さ、年齢、及び民族のばらつきについての測定値を含む、１以上の測定値に関するものであってよい。

実施形態では、ボディは、生物のボディ又はその１以上の部分である。

実施形態では、ボディは、非生物のボディ若しくはその１以上の部分である。

入力手段は、少なくとも１つのセンサを含んでいてよく、これは、センサシステム又はセンサのセットの一部であってよい。

実施形態では、第１の表現は、ボディの視覚的表現を含む。かかる実施では、少なくとも１つのセンサは、ボディの視覚的表現を捕捉するように操作可能である画像化手段を含んでいてよい。画像化手段は、デジタルカメラであってよい。

センサのセット内の個々のセンサは、運動センサ、赤外線センサ、深さセンサ、三次元イメージングセンサ、慣性センサ、及びマイクロエレクトロメカニカル（ＭＥＭＳ）センサ、画像化手段、加速度センサ、姿勢センサ、方位センサ、及び位置センサを含んでいてよい。

実施形態では、第１の表現は、ボディの１以上の視覚的表現を含む。かかる実施形態では、１以上のセンサ（提供される場合）は、ボディの１以上の視覚的表現を捕捉するように操作可能である画像化手段を含んでいてよい。更に、１以上のセンサは、平面への位置合わせを促進して精度を高めるためにボディの１以上の視覚的表現の捕捉中に使用するための姿勢データを提供するように操作可能である姿勢センサを含んでいてよい。

実施形態では、ボディの１以上の視覚的表現は、ボディの少なくとも１つの正面及び少なくとも１つの側面の写真を含む。写真は、本発明の実施形態では、標準的な二次元（２Ｄ）の二値、グレー、又はカラー画像；色及び／又はテクスチャを有するか又は有しない奥行き画像；色及び／又はテクスチャを有するか又は有しないボディの完全三次元（３Ｄ）点群又は多数の不完全点群；及び／又は色及び／又はテクスチャを有するか又は有しないボディの三次元（３Ｄ）メッシュを含んでいてよい。

実施形態では、コントローラは、更に、
第１の表現のボディの１以上の視覚的表現のボディを含む少なくとも１つの前景をセグメンテーションする；
第１の表現の１以上の視覚的表現の１以上のセグメンテーションされた前景をそれぞれのシルエットに変換し；
１以上のセグメンテーションされた前景及びそのそれぞれのシルエットを用いてボディの形状の３Ｄビジュアルハルを構築し、及び／又は特徴を抽出し、及び／又はキーポイントの測定値を抽出し；そして、
ハル及び／又は特徴及び／又はキーポイントの測定値のうちの１以上を使用して、選択されたテンプレートのボディの３Ｄモデル（平均ボディモデル）に対して修正、リギング、及びモーフィングのうちの１以上を行い、第２の表現である修正済の対象特有の３Ｄモデル画像を作成するように電子プログラム命令の制御下で操作可能である。

実施形態では、色及び／又はテクスチャを有するか又は有しない奥行き画像、点群、及びメッシュの場合、コントローラは、ボディの三次元対象特有の形状を再構築するように電子プログラム命令の制御下で操作可能である。実施形態では、コントローラは、更に、第１の表現の１以上の視覚的表現を削除するように電子プログラム命令の制御下で操作可能である。

ディスプレイ、ユーザインタフェース、及び入力手段は、例えば、タッチスクリーンに統合されていてよい。或いは、これらは、別個であってもよい。

実施形態では、入力は、入力手段を介してユーザによって入力されるユーザの命令を含む。ユーザの命令は、動作を実施するためのコマンドを含んでいてよく、この場合、コントローラは、受信したユーザの命令に従って動作を実施するように電子プログラム命令の制御下で操作可能である。

動作は、相互作用動作を含んでいてよく、以下のうちの１以上を含んでいてよい：作成される第２の表現の領域又は部分を選択してその測定値の詳細を得る。

テンプレートは、装置の記憶装置から、又は装置から離れた記憶装置から検索してよい。

実施形態では、第１の表現、テンプレート、及び第２の表現のうちの１以上は、１以上のデータベースに又は１以上のデータベースにまたがって記憶されていてよい。

実施形態では、電子プログラム命令は、ソフトウェアを含む。装置は、移動通信装置であってよく、この場合、それは、ソフトウェアがインストールされているスマートフォン、ノートパソコン／タブレット／デスクトップコンピュータ、カメラ、又は携帯用メディア装置を含んでいてよい。ソフトウェアは、装置にダウンロードすることができるソフトウェアアプリケーションとして提供され得る。

好ましくは、装置によって実施される操作は、ヒトの介入を必要とすることなしに自動的に行われる。

本発明の第２の広い態様によれば、ボディを画像化する方法であって、
コントローラを制御するための電子プログラム命令を記憶することと、
前記電子プログラム命令を介してコントローラを制御して、
前記ボディの第１の表現を含む入力を、入力手段を介して受信し、
前記第１の表現を処理し、
前記第１の表現の処理に基づいて、ボディの第２の表現を作成することと
を含む方法が提供される。

実施形態では、前記方法は、作成された第２の表現を通信することを更に含んでいてよい。通信は、作成された第２の表現をディスプレイを介して表示することを含んでいてよい。

実施形態では、前記方法は、電子プログラム命令を介してコントローラを制御して、ボディの第１の表現をセグメンテーションすることによって前記ボディの第１の表現を処理して、ボディの実質的に真の三次元スキャンの単純な形態の投影シャドウで表される複数のシルエットを得；前記シルエットに基づいて前記ボディの第２の表現を作成することを更に含む。好ましくは、前記方法は、電子プログラム命令を介してコントローラを制御して、入力が受信されたらディスプレイ上に現れるユーザ特有のスケルトンを作成し；第１の表現をセグメンテーションするプロセス中、ユーザに前記第１の表現におけるボディをユーザ特有のスケルトンと位置合わせさせることを更に含む。

好ましくは、ユーザに位置合わせさせる工程は、可聴音／単語／セリフを介して、表示されたユーザ特有のスケルトンにボディの部分を位置合わせするようにユーザに指示することを含み、前記電子プログラム命令は、作成されたスケルトン及びボディのリアルタイムで捕捉された画像から抽出した形状外観、並びにばらつきの特徴、姿勢の特徴、及び時空間的特徴を含む様々なものを用いて、これらの間で計算される誤差によって位置合わせプロセスを制御するように操作可能である。

有利には、前記方法は、更に、
送信されたユーザの高さ情報、画像サイズ(画像の高さ及び幅(ピクセル))に基づいて、二値画像のユーザブロブ解析、投影理論、及びカメラモデルを用いて、
ポーズＰとして定義される、各画像におけるカメラの位置及び姿勢を含む捕捉カメラの固有及び外部パラメータの初期推定値、並びに
スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む、ＪＫとして定義される、ボディのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値
を計算するように電子プログラム命令を介してコントローラを制御することを含む。

有利には、前記方法は、更に、
送信されたユーザの高さ情報、画像サイズ(画像の高さ及び幅(ピクセル))に基づいて、二値画像のユーザブロブ解析、投影理論、及びカメラモデルを用いて、
ポーズＰとして定義される、各画像におけるカメラの位置及び姿勢を含む捕捉センサ又はカメラの固有及び外部パラメータの初期推定値、並びに
スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む、ＪＫとして定義される、ボディのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値
を計算するように電子プログラム命令を介してコントローラを制御することを含む。

典型的には、前記方法は、更に、
送信されたユーザの高さ及び重量及び性別の情報、又はユーザの高さ及び性別の情報のみに基づいて、ユーザが入力した高さ、重量、又は分かっている場合他のボディ測定値によって異なる、Ａｖとして定義される、初期平均アバターを予測し、
前記平均アバターＡｖを、参照ポーズにおける公知のスケルトンモデルＪＫ及びＷとして定義されるボーンの重量／高さマトリクスを有するサイズＮのジョイントの参照スケルトンにリギングするように電子プログラム命令を介してコントローラを制御することを含む。好ましくは、マトリクスＷは、予測プロセスの学習プロセス中に１回だけオフラインで計算され、次いで、他のアバターの予測又は作成のために用いられる参照スケルトンモデルＪＫと共に保存され、Ｗの目的は、その頂点Ｖ、エッジＥ、及び面Ｆによって表される、ジョイント、ボーン、及び実際の３Ｄアバター表面間の関係をコンストレイン、制御、及びモデリングすることである。

典型的には、前記方法は、更に、
送信されたユーザの高さ及び重量及び性別の情報、又はユーザの高さ及び性別の情報のみに基づいて、ユーザが入力した高さ、重量、又は分かっている場合他のボディ測定値によって異なる、Ａｖとして定義される、初期平均アバターを予測し、
前記平均アバターＡｖを、参照ポーズにおける公知のスケルトンモデルＪＫ及びＷとして定義されるボーンの重量／熱マトリクスを有するサイズＮのジョイントの参照スケルトンにリギングするように電子プログラム命令を介してコントローラを制御することを含む。好ましくは、マトリクスＷは、ヒト形状のオフライン機械学習プロセス中に１回だけオフラインで計算され、次いで、他のアバターの予測又は作成のために用いられる参照スケルトンモデルＪＫと共に保存され、Ｗの幾つかの目的は、ヒトの皮膚に対して自然に生じる変形を含むジョイント、ボーン、及び実際の３Ｄアバター表面又は３Ｄトポロジーの間の関係をコンストレイン、制御、及びモデリングすることである。表面又は３Ｄトポロジーは、その頂点Ｖ、エッジＥ、及び面Ｆによって独自に表され得る。

好ましくは、初期平均アバターＡｖを予測するプロセスは、複雑な多変量系機械学習アプローチに従う。典型的には、多変量系機械学習アプローチは、様々な年齢及びポーズの現実のヒト（男性及び女性）の複数のリギング及びレンダリングされた三次元スキャンから抽出された独自かつ顕著な３Ｄ特徴を用いるヒト形状の３Ｄ形状のオフライン学習を含む。

有利には、多変量系機械学習アプローチは、更に、ベクトルＭ＝（ｍ１，ｍ２，．．．，ｍＬ）（Ｌは、異なる測定値の数である）として定義される異なるボディ測定値間の様々な統計的関係の機械知能学習を含み、使用中に、１以上の異なる測定値を考慮して１以上の測定値を予測することができ、これら測定値のうちの１以上を考慮して平均アバターＡｖを予測することができる。

この実施形態では、新たな第１の表現において表される通り、アバターを変形させるか又は単にアニメーション化してボディのＡｖ１として定義される新たなアバターにするために、参照又は平均アバターデータ（Ｖ、Ｅ、Ｆ、ＪＫ、Ｗ）、及び新たな第１の表現のＪＫ１として定義されるユーザのジョイント運動の公知値又は推定値を、Ａｖを公知であるか又は自然なヒトの動きから学習された多数の物理コンストレイントに基づいてＡｖ１に最適化及び変形させる、£として定義されるコスト関数に供給し、ここでは、使用中、新たにアニメーション化されたアバターＡｖ１を、単純にするために平均アバターＡｖと同じボディ測定値を有すると仮定して、参照又は平均アバターデータの非線形関数、即ち、Ａｖ１＝ｆ（Ａｖ，Ｗ，ＪＫ，ＪＫ１）としてモデリングすることができる。典型的には、コスト関数£の実行は、２以上の重み付けされたエネルギー最小化関数を合わせることによって行われる：
例えば、Ｖ、Ｆ、及びＥを使用するラプラシアンコタンジェントマトリクスを利用する表面平滑度関数、並びに
アバター頂点とそのボーンとの間の対応を確実にコンストレインするために、Ｖ、Ｆ、及びＷを使用するボーン結合関数。

更なる実施形態では、実際のボディの３Ｄ表現、３Ｄアバターを作成するために、シルエット又はその表現のうちの１以上に対して適応的非線形最適化を用いてＡｖ１の１以上の表現をマッチングし、比較する。プロセスは、マッチングが行われるまで、Ａｖ１データ及びＭ、ＪＫを含む測定値の最初の推定値を調整する。

更なる実施形態では、入力は、ボディの分類を含み、前記方法は、更に、
ボディの分類に基づいて、ボディの分類に対応するデータを得；
第１の表現と得られたデータとを比較することによって第１の表現を処理し；
比較に基づいてボディの第２の表現を作成するように電子プログラム命令を介してコントローラを制御することを含む。

本発明の第３の広い態様によれば、演算手段によって実行されるときに、上記の通り本発明の第２の広い態様に係る方法を演算手段に実施させる命令が記憶されているコンピュータ可読記憶媒体が提供される。

本発明の第４の広い態様によれば、上記の通り本発明の第２の広い態様に係る方法を実行するようプログラムされている演算手段が提供される。

本発明の第５の広い態様によれば、演算システムによって受信及び解釈することができる少なくとも１つの命令を含むデータ信号であって、前記命令が、上記の通り本発明の第２の広い態様に係る方法を実行するデータ信号が提供される。

本発明の第６の態様によれば、上記の通り本発明の第１の広い態様に係る装置を含む、ボディを画像化するシステムが提供される。

本発明の第７の広い態様によれば、目標を達成する方法であって、上記の通り本発明の第１の広い態様に係る装置を用いて、ディスプレイを介してボディの１以上の第２の表現を作成し、表示して、目的を達成するためのモチベーションを与えることを含む方法が提供される。

実施形態では、ボディは、人体であり、目的は、人体のパーソナルフィットネスの目標を含む。

次に、本発明をより深く理解し、実現できるようにするために、添付図面を参照してその好ましい実施形態について説明する。

図１は、本発明の態様に係るシステムの第１の実施形態を用いて、方法の第１の実施形態のユーザが完了した動作のフローチャートを示す。 図２は、本発明の態様に係る装置の実施形態の概略図を示す。 図３は、図１のシステムの簡易システム図を示す。 図４は、本発明の態様に係るシステムの第２の実施形態を用いて、方法の第２の実施形態のユーザが完了した動作のフローチャートを示す。 図５は、方法及びシステムの第２の実施形態の使用中の画像における、可能性の高いユーザボディを標識するプロセスを示す。

本発明は、以下の特定の実施形態によって範囲が限定されるものではない。この詳細な記載は、例示のみを目的とすることを意図する。機能的に等価な製品、組成物、及び方法は、本明細書に記載する本発明の範囲内である。この立場と一致して、当業者は、本明細書に記載する本発明に対して、具体的に記載するもの以外の変更及び改変を行いやすいことを理解するであろう。本発明は、全てのかかる変更及び改変を含むと理解すべきである。また、本発明は、本明細書に個別に又は集合的に言及されるか又は指定される工程、特徴、組成物、及び化合物の全て、並びに前記工程又は特徴のいずれか及び全ての組合せ又はいずれか２以上も含む。

本発明の更なる特徴について本明細書の実施例においてより詳細に記載する。しかし、この詳細な説明は、本発明を例示する目的のためだけに含まれることを理解すべきであり、如何なる方法であっても上述の本発明のより広い説明を限定すると理解すべきではない。

本明細書に引用する全ての刊行物（特許、特許出願、論文、研究室マニュアル、書籍、又は他の文書）の開示全体を参照によって本明細書に援用する。参照文献はいずれも、先行技術を構成したり、本発明が関連する分野における研究の技術常識の一部であったりすることを認めるものではない。

本明細書全体を通して、特に必要としない限り、用語「含む」又は「含み」若しくは「含んでいる」等の変形は、記載されている整数又は整数群を含むことを意味するが、任意の他の整数又は整数群を除外するものではないことが理解される。

本明細書で使用する選択された用語の他の定義は、本発明の詳細な説明内に見出すことができ、明細書全体に適用される。特に定義しない限り、本明細書で使用する全ての他の科学用語及び技術用語は、本発明が属する分野の当業者に一般的に理解されているのと同じ意味を有する。

本明細書に記載する発明は、１以上の値の範囲（例えば、サイズ、置換、及び場の強度等）を含み得る。値の範囲は、範囲を規定する値、及び範囲の境界を規定する値に直ぐ隣接する値と同じか又は実質的に同じ結果を導く範囲に隣接する値を含む、範囲内の全ての値を含むと理解される。例えば、範囲の上限又は下限における１０％の変動が全体として適切であり得、本発明に包含されることを当業者は理解するであろう。より具体的には、範囲の上限又は下限における変動は、５％であるか又は当技術分野において一般的に認識されている通りであるか、いずれか大きい方である。

本明細書全体を通して、用語「約」及び「略」等の相対的な用語を用いる。この用語は、指定の数又は範囲に対して少なくとも１０％の変動を組み込もうとする。その変動は、指定される具体的な数字プラス１０％又はマイナス１０％であってよい。

図面では、類似の特徴は、類似の参照番号で参照されている。

図１では、本発明の態様にかかる装置１２を用いてボディを画像化するシステム１０の第１の実施形態の使用中に実施される動作について記載する。

記載する実施形態では、ボディは、重量の減少、増加、若しくは維持／モニタリング、及び／又はボディのサイズ若しくは形状の改善というパーソナルフィットネスの目標を含む目的を達成することを望んでいるヒト１６（システム１０のユーザである）のボディ１４である。このように、特に、１６歳〜４８歳の女性、新婦／新郎、運動選手、及びボディービルダーによって；妊娠前／後に；並びに医学的モニタリングにおいて使用するのに適用可能である。更に詳細に記載する通り、システム１０は、ヒト１６の正確な個別化された対象特有の画像を提供して、ボディ１４の有効且つ正確なモニタリングを通してパーソナルフィットネスの目標の達成を促進及び支援するように操作可能である。提供される画像は、アバターと称されることがある。

本発明は、人体を画像化してパーソナルフィットネスの目標を達成するモチベーションを促進及び提供することに特に関連して説明されるが、特にボディに関して、そして、更なる及び／又は別の意図若しくは目的のために用いてもよいことが理解される。

本発明は、画像化されるボディ又は画像化する意図に関して限定されないことが理解され、別の実施形態では、本発明は、更なる及び／又は別のもののボディの画像化に、そして、更なる及び／又は別の意図のために記載するものに適用してもよい。実行に依存して、ボディは、生物のボディ若しくはその１以上の部分、又は非生物のボディ若しくはその１以上の部分であってよい。本発明の実施形態は、特に、家畜を含む動物及び自然状態の食品等、あるボディと別のボディとの間にばらつきが存在するもののボディの画像化に適用できる。

装置１２は、ユーザ１６であるヒトによって持ち運ばれる。

装置１２は、適切な回路及び／又は連結を介して操作可能に接続されて装置１２が本明細書に記載の機能及び操作を実施できるようにする複数のコンポーネント、サブシステム、及び／又はモジュールを含む。装置１２は、本発明の実施形態に係るボディを画像化する方法及び目的を達成する方法等の適切なコンピュータ命令を受信、記憶、及び実行するのに必要な好適なコンポーネントを含む。

特に、図２に示す通り、装置１２は、この実施形態では、コントローラ１８と、コントローラ１８を制御するための電子プログラム命令、並びに情報及び／又はデータを記憶するための記憶装置２０とを含む演算手段と；ユーザインタフェース２４を表示するためのディスプレイ２２と；入力手段２６とを含み、これらは全て容器又は筐体２８内に収容される。

更に詳細に記載する通り、コントローラ１８は、ボディ１４の第１の表現を含む入力を入力手段を介して受信し；前記第１の表現を処理し；前記処理に基づいてボディ１４の第２の表現を作成し；作成された第２の表現をディスプレイ２２を介して表示するように、電子プログラム命令の制御下で操作可能である。

更に、第１の実施形態では、入力は、ボディ１４の分類も含み、そして、コントローラ１８は、ボディ１４の分類に基づいて、ボディの分類に対応するデータを得；第１の表現と得られたデータとを比較することによって第１の表現を処理し；前記比較に基づいてボディ１４の第２の表現を作成するように、電子プログラム命令の制御下で操作可能である。

本発明の実施形態では、データは、１以上のソースから検索、受信、抽出、及び同定のうちの１以上を行うことによって得ることができる。データの１以上のソースは、記憶装置２０に存在していてもよく、及び／又は装置１２から離れた他の場所に存在していてもよい。

記載する実施形態では、得られたデータは、ボディ１４の分類に基づいて検索されるテンプレートの形態で提供され、ボディ１４を分類するために形態測定が用いられる。

複数のテンプレートが提供され、各テンプレートは、それに関連して、性別及び民族のばらつきを含むアイテムの標準的な平均人体測定値を有する人体の三次元（３Ｄ）モデルを含むテンプレートデータを有する。テンプレートは、全てのボディ要素の高さ及び幅について全次元の平均３Ｄデジタルモデルである。この実施形態では、装置は、表示又は計算され得る測定数値としてこれらのサブセットを抽出するように操作可能である。更に詳細に記載する通り、これら特定のデータ点を使用して、入力画像を比較し、画像サイズデータに関連付けるためにテンプレートを修正できるようにする。

本発明の実施形態では、得られたデータは、ボディの以前の表現を含んでいてよく、この場合、ボディの分類は、ボディの同定を含み得る。

他の実施形態では、得られたデータは、ボディの１以上の以前の表現及び／又は他のボディの統合を含むか、又はこれらのデータ若しくはこれらに関連するデータを含んでいてよい。かかるデータは、装置１２の操作を介して作成されてもよく、及び／又は例えば、１以上の他の装置１２等の１以上の他のソース若しくはＤＥＸＡ技術から得られてもよい。

コントローラ１８は、プロセッサの形態の処理手段を含む。

記憶装置２０は、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含む。

装置１２は、ＲＯＭ又はＲＡＭに保持され得る命令を受信することができ、プロセッサによって実行することができる。プロセッサは、以下に更に詳細に記載する通り、命令の処理／実行、及び装置１２を通じたデータ及び情報の流れの管理を含む動作を電子プログラム命令の制御下で実施するように操作可能である。

この実施形態では、装置１２のための電子プログラム命令は、単一のソフトウェアアプリケーション（アプリ）又はイメージングアプリと呼ばれることがあるモジュールを介して提供される。記載する実施形態では、前記アプリは、商標名ＭＹＦＩＺＩＱ（商標）として販売されており、ウェブサイト（又は他の好適な電子装置プラットフォーム）からダウンロードするか又は他の方法でデバイス１２の記憶装置２０に保存若しくは記憶することができる。

本発明の好ましい実施形態では、装置１２は、モバイル通信装置であり、商標名ＩＰＨＯＮＥ（登録商標）としてＡｐｐｌｅ Ｉｎｃによって、又はＡｎｄｒｏｉｄ、ＷＥＢＯＳ、Ｗｉｎｄｏｗｓ（登録商標）、若しくは他の携帯アプリプラットフォームを有するＮｏｋｉａ Ｃｏｒｐｏｒａｔｉｏｎ若しくはＳａｍｓｕｎｇ Ｇｒｏｕｐ等の他のプロバイダによって販売されているもの等のスマートフォンを含む。或いは、装置１０は、商標名ＩＰＡＤ（登録商標）若しくはＩＰＯＤ ＴＯＵＣＨ（登録商標）としてＡｐｐｌｅ Ｉｎｃによって、又はＨｅｗｌｅｔｔ−Ｐａｃｋａｒｄ Ｃｏｍｐａｎｙ若しくはＤｅｌｌ，Ｉｎｃ等の他のプロバイダによって販売されているパソコン、ノートパソコン、又はタブレット等の他の演算手段、或いは他の好適な装置を含んでいてよい。

また、装置１２は、コマンドを発行することができるオペレーティグシステムを含み、アプリと相互作用して本明細書に記載する本発明の実施形態に係るそれぞれの工程、機能、及び／又は手順を装置１２が実行するように配置される。オペレーティグシステムは、装置１２に適したものであってよい。例えば、装置１２がＩＰＨＯＮＥ（登録商標）スマートフォンを含む場合、オペレーティグシステムはｉＯＳであってよい。

図３に示す通り、装置１２は、サーバ、パソコン、端子、ワイヤレス若しくはハンドヘルド演算装置、有線通信装置、又は携帯電話等のモバイル通信装置等の１以上の遠隔装置３２に様々に接続し得る１以上の通信リンク３０を介して通信するように操作可能である。複数の通信リンク３０のうちの少なくとも１つは、電気通信ネットワークを通じて外部演算ネットワークに接続され得る。

記載する実施形態では、遠隔装置３２は、管理者が所有及び操作する演算システム３４に加えて、他人が所有及び／又は操作する他の装置１２を含む。

管理者の演算システム３４は、実施形態ではサーバ３６の形態を有する。サーバ３６を用いて、本発明の実施形態に係るボディを画像化するシステム及び方法、並びに目的を達成する方法等のアプリケーション及び／又はシステムサービスを実行することができる。

この実施形態では、サーバ３６は、一元管理されるアドミニストレーションセンタに物理的に位置する。別の実施形態では、クラウドベースのプラットフォームで保持されていてもよい。

装置１２と同様に、サーバ３６は、適切な電子プログラム命令を受信、記憶、及び実行するのに必要な好適なコンポーネントを含む。前記コンポーネントは、サーバプロセッサ、リードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）を含むサーバストレージ、１以上のサーバ入力／出力装置、例えば、ディスクドライブ、並びに関連するサーバユーザインタフェースの形態の処理手段を含む。遠隔通信装置３２（装置１２を含む）は、１以上の通信リンク３０を介してサーバ３６と通信するように配置される。

サーバ３２は、ＲＯＭ、ＲＡＭ、又はディスクドライブに保持され得る命令を受信することができ、サーバプロセッサによって実行することができる。サーバプロセッサは、以下に更に詳細に記載する通り、演算システム３４を通じた命令の処理／実行並びにデータ及び情報のフローの管理を含む動作を電子プログラム命令の制御下で実施するように操作可能である。

サーバ３６は、その記憶装置に存在する複数のデータベース又はデータバンクにアクセスするためのコマンドを発行することができるサーバオペレーティングシステムを含む。この実施形態では、２つのかかるデータベース又はデータバンクが提供され、１つは、ＲＵデータベース３８と称されることがある、システム１０の登録ユーザ（ＲＵ）のデータベースであり；１つは、テンプレートデータベース４０と称されることがある、テンプレートデータを含む下記テンプレートのデータベースである。オペレーティングシステムは、データベース３８及び４０並びにサーバーソフトウェアのセット／スイートの１以上のコンピュータプログラムと相互作用して、本明細書に記載する本発明の実施形態に係るそれぞれの工程、機能、及び／又は手順をサーバ３６に実行させるように配置される。

アプリ、サーバソフトウェアセットのコンピュータプログラム、並びに装置１２及びサーバ３６の演算コンポーネントのための他の電子命令又はプログラムは、当業者に周知である通り、任意の好適な言語で書かれていてよい。例えば、ＩＰＨＯＮＥ（登録商標）スマートフォンを含む装置１２において操作する場合、画像化アプリは、Ｏｂｊｅｃｔｉｖｅ−Ｃ言語で書かれていてよい。本発明の実施形態では、電子プログラム命令は、実行又は実施形態の要件に応じて、スタンドアロンアプリケーションとして、一式又は複数のアプリケーションとして、ネットワークを介して提供されてもよく、又はミドルウェアとして追加してもよい。

本発明の別の実施形態では、ソフトウェアは、１以上のモジュールを含んでいてよく、ハードウェアで実行され得る。かかる場合、例えば、モジュールは、それぞれ当技術分野において周知である以下の技術：データシグナルに対する論理関数を実行するための論理ゲートを有する離散論理回路、適切な組合せ論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、プログラム可能ゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のうちのいずれか１つ又は組合せを用いて実行してよい。

それぞれの演算手段は、プログラム可能論理コントローラ（ＰＬＣ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、パソコン、ノートパソコン、若しくはタブレット、又は専用サーバ若しくはネットワークサーバを含む任意の好適な種類のシステムであってよい。

それぞれのプロセッサは、演算手段に関連する幾つかのプロセッサの中でも、任意の特別注文又は市販のプロセッサ、中央処理装置（ＣＰＵ）、データシグナルプロセッサ（ＤＳＰ）、又は補助プロセッサであってよい。本発明の実施形態では、処理手段は、例えば、半導体ベースのマイクロプロセッサ（マイクロチップの形態）又はマクロプロセッサであってよい。

本発明の実施形態では、それぞれの記憶装置は、揮発性メモリ素子（例えば、ランダムアクセスメモリ（ＲＡＭ）、例えば、動的ランダムアクセスメモリ（ＤＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ））、及び不揮発性メモリ素子（例えば、読取り専用メモリ（ＲＯＭ）、消去及びプログラム可能読取り専用メモリ（ＥＰＲＯＭ）、電子的消去及びプログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、テープ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）等）のうちのいずれか１つ又は組合せを含んでいてよい。それぞれの記憶装置には、電子、磁気、光学、及び／又は他の種類の記憶媒体が組み込まれていてよい。更に、それぞれの記憶装置は、分散構成を有していてよく、この場合、様々なコンポーネントは互いに離れて位置しているが、処理手段によってアクセスすることができる。例えば、ＲＯＭは、装置１２の操作を制御するために処理手段によって実行される様々な命令、プログラム、ソフトウェア、又はアプリケーションを記憶し得、ＲＡＭは、操作の変数又は結果を一時的に記憶し得る。

ソフトウェアアプリケーションを用いるコンピュータの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。

更に、任意の好適な通信プロトコルを用いて装置１２の任意のサブシステム又はコンポーネント、サーバ３６の任意のサブシステム又はコンポーネント、並びに装置１２及びサーバ３６及び他の装置又はシステム（有線及び無線を含む）の間の接続及び通信を容易にすることができるが、これは当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。

用語「記憶する」、「保持する」、及び「保存する」、又は類似の用語が本発明に関連して用いられる場合、これらは、後で検索するために記憶手段、装置、又は媒体において永続的に及び／又は一時的に、また、例えば実行される処理操作の一部として瞬間的に又は即時的に、データ又は情報を保管する又は保持することに対する言及を含むと理解すべきである。

更に、用語「システム」、「装置」、及び「機器」が本発明に関連して用いられる場合、互いに近接、分離、統合、又は離散して位置し得る、機能的に関連するか、又は相互作用する、相互関連する、相互依存する、若しくは関連するコンポーネント又はエレメントの任意の群に対する言及を含むと理解すべきである。

更に、本発明の実施形態では、用語「決定する」は、関連するデータ又は情報を受信するか又はアクセスすることを含むと理解される。

本発明の実施形態では、ユーザインタフェース２４及びユーザ入力手段２６を表示するためのディスプレイ２２がタッチスクリーン４２に統合されている。別の実施形態では、これらコンポーネントは、離散エレメント又はアイテムとして提供され得る。

タッチスクリーン４２は、装置１２のディスプレイ領域内におけるタッチの存在及び位置を感知又は検出するように操作可能である。タッチスクリーン４２の感知された「タッチ」は、コマンド又は命令として装置１２に入力され、コントローラ１８に通信される。ユーザ入力手段２６はタッチスクリーンを含むことには限定されず、本発明の別の実施形態では、入力、コマンド、又は命令を受信し、制御された相互作用を提供するための任意の適切な装置、システム、又は機器、例えば、キーパッド若しくはキーボード、ポインティングデバイス、又は複合デバイス、並びにボイスアクチベーション、音声及び／又は思想制御、及び／又はホログラフィー／投影イメージングを含むシステムを用いてよいことを理解すべきである。

また、装置１２のセンサシステム又はセンサのセット４４の一部である少なくとも１つのセンサを介して入力を受信してもよい。センサのセット４４内の個々のセンサは、装置１２、周囲環境、又はこれらに関連若しくは接続しているコンポーネント、システム、若しくは装置の１以上の特徴、特性、及びパラメータに関連又は関係するセンサデータ及び／又は情報をモニタリング、感知、及び収集又は測定するように操作可能である。例えば、センサのセット４４は、装置１２の状態及び／又は装置１２の周囲環境の状態に関係するセンサデータを感知及び収集するように操作可能である。実施形態では、装置１２の状態は、装置１２の位置を含む。実施形態では、装置１２の状態は、更に、装置１２の速力及び／又は速度を含む。センサのセット４４は、加速度センサ及び姿勢センサ、方位センサ及び位置センサを含む慣性センサシステムを含む。本発明の別の実施形態は、運動センサ、赤外線センサ、深さセンサ、三次元イメージングセンサ、慣性センサ、及びマイクロエレクトロメカニカル（ＭＥＭＳ）センサを含む、追加及び／又は別のセンサを含んでいてよい。

加速度センサは、装置１２の加速度を測定し、加速度データを作成するように操作可能である。例えば、加速度センサは、加速度計であってよい。姿勢センサは、装置１２の姿勢の変化速度（即ち、角速度）を測定し、姿勢データを作成するように操作可能である。例えば、姿勢センサは、ジャイロスコープであってよい。方位センサは、地球の磁極に対する方位を求め、方位データを作成するように操作可能である。例えば、方位センサは、電子コンパスであってよい。位置センサは、装置１２の位置を求め、位置データを作成するように操作可能である。例えば、位置センサは、全地球測位システム（ＧＰＳ）であってよい。かかるセンサの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。

第１の表現は、ボディ１４の１以上の視覚的表現を含んでいてよい。記載する実施形態では、第１の表現は、ボディ１４の視覚的表現のセットを含む。したがって、センサのセット４４は、視覚的表現を含む画像を捕捉するように操作可能であるデジタルカメラの形態の画像化手段を含む。カメラは、実施形態において装置１２と統合されている。画像化手段は、静止画及び／又は動画の取得を容易にする任意の好適なシステム又は装置を含んでいてよい。例えば、装置１２がＩＰＨＯＮＥ（登録商標）スマートフォンを含む場合、画像化手段は、ｉＳｉｇｈｔ（商標）カメラであってよい。カメラの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。

装置１２は、用いられる知覚技術に適切なコンピュータチップ（集積回路）、トランシーバ／レシーバアンテナ、及びソフトウェアを含む、記載の通りパフォーマンスを促進にする動作可能に連結／接続されたコンポーネントを含む。

センサのセット４４の１以上のセンサは、装置１２と統合されていてよく、場合によっては、ＩＰＨＯＮＥ（登録商標）スマートフォンを含む。或いは、装置１２は、上記センサのセット４４のうちの１以上と操作可能に接続されていてもよい。

テンプレートデータベース４０に記憶されることに加えて、この実施形態では、テンプレートの細目の少なくとも一部が、記憶装置２０に存在するデータベース４６又はデータバンクに記憶又は保存され、アプリの制御下でコントローラ１８によってアクセス可能である。これらは、アプリの一部としてインストールされ得る。コントローラ１８は、データベース４６と相互作用して、本明細書に記載する本発明の実施形態に係るそれぞれの工程、機能、及び／又は手順を装置１２に実行させるように配置される。

テンプレートの残りの細目は、離れて、例えば、サーバ３６のテンプレートデータベース４０等、１以上の遠隔システム又は装置３２のそれぞれの記憶装置に存在する１以上の遠隔データベースモジュールに記憶又は保存され、１以上の通信リンク３０を介して装置１２によってアクセス可能である。コントローラ１８は、必要なときに使用するために利用可能な離れて記憶されているコンテンツを作成するために１以上の遠隔データベースとのユーザインタラクションを容易にするように配置される。

データベースは、任意の好適な記憶装置に存在してよく、前記記憶装置は、ソリッドステートドライブ、ハードディスクドライブ、光学ドライブ、又は磁気テープドライブを包含し得ることが理解される。データベースは、単一の物理記憶装置に存在していてもよく、複数の記憶装置又はモジュールにまたがって広がっていてもよい。

当業者に周知である通り、情報及びデータをデータベース４６に読み込むか又は前記データベースから読み出すことができるようにするために、データベース４６をコントローラ１８に接続し、データ通信させる。任意の好適なデータベース構造を用いてよく、１以上のデータベースが存在していてよい。本発明の実施形態では、データベース４６は、収集及び／又は提示される電子プログラム命令及び任意の他のデータ又は情報と同様に、（例えば、記憶装置２０における）装置１２のコンポーネントとしてローカルに、又は遠隔サーバ等において離れて提供され得る。

同様に、当業者に周知である通り、データをＲＵデータベース３８及びテンプレートデータベース４０に読み込むか又は前記データベースから読み出すことができるようにするために、ＲＵデータベース３８及びテンプレートデータベース４０の両方をサーバ３６に接続し、データ通信させる。任意の好適なデータベース構造を用いてよい。ＲＵデータベース３８及びテンプレートデータベース４０のいずれか一方又は両方は、ソフトウェアのサーバセットと同様に、（例えば、記憶装置における）サーバ３６のコンポーネントとしてローカルに、又は遠隔サーバ等において離れて提供され得る。実施形態では、ネットワーククライアントサーバアプリケーションを有するために幾つかのコンピュータをこのようにセットアップしてよい。記載する実施形態では、ＲＵデータベース３８及びテンプレートデータベース４０のそれぞれを、シングルデータベース構造のパーティションとしてサーバ３６の記憶装置内部に記憶する。本発明の別の実施形態では、より多い又はより少ないデータベースが存在していてもよい。

アプリを装置１２にインストールすると、コントローラ１８は、カメラを介して捕捉される画像等のセンサのセット４４のセンサを介して感知されるデータ及び／又は情報を含む情報及び／又はデータ、装置１２及びシステム１０の操作に関する命令及びコマンドを入力又は捕捉できるようにするナビゲーション可能な電子ページ、スクリーン、及びフォームのシーケンスを、タッチスクリーン４２を介して装置１２のユーザ１６に提示するように、アプリの制御下で操作可能になる。

記載する実施形態では、サーバ３６のサーバソフトウェアセットは、ウェブサーバアプリケーション、レジストレーション及びリクエストアプリケーション、画像処理アプリケーション、通信アプリケーション、インボイス／請求書作成アプリケーション、及び支払処理アプリケーションを含む。

更に詳細に記載する通り、サーバソフトウェアセットのそれぞれのアプリケーションを介して、サーバ３６は、以下を含む機能を実行するように操作可能である：ユーザデータの登録及び共有；データの抽出、データの変換、及びアプリを介して受信されるデータとの結合；並びにアプリインタフェースを通過する全てのリアルタイムデータ。

ウェブサーバアプリケーションは、ウェブページ又は他の電子ページ若しくは画面等の専用ウェブサイトを介して、システム１０の既存のユーザ又は潜在ユーザにシステム１０に関するコンテンツを配信するように操作可能である。このウェブサイトは、通信ネットワークを介してシステム１０とデータ通信するように操作可能に連結される、ノートパソコン又はスマートフォン（実施形態における装置１２を含む）等のインターネット接続可能なモバイル通信装置のウェブブラウザを介してアクセス可能である。記載する実施形態では、データ通信の手段は、インターネットを介しているが、本発明の他の実施形態では他の手段、例えば、直接接続を使用してもよい。

コンテンツは、フィットネスの目標に関する一般的な情報、例えば、商標名ＹｏｕＴｕｂｅ（登録商標）、Ｆａｃｅｂｏｏｋ（商標）、及び／又はＴｗｉｔｔｅｒ（商標）として提供されているサービスを含む、フォーラム又は媒体のうちの適切な１つ又は組合せを介して配信される公告及び販促又は広報情報を含み得る。

アクセス可能なウェブページは、ユーザによってシステム１０の初回使用時に完了されるオンライン登録ページ１１０、及びリクエストページ１１２を含む。ウェブサイトアプリケーションは、システムの潜在ユーザがユーザとして手動で自身を登録するか又は記録して、パーソナルアカウントを作成し、アバターをリクエストすることができるように操作可能である。これは、それぞれ、ユーザ登録及びリクエスト情報を含む電子登録及びリクエストフォームの形態でユーザが通信を完了し、登録ページ１１０及びリクエストページ１１２を介してサーバ３６に送信することによって容易になる。

ユーザ登録情報は、以下を含む、ユーザ及びそのボディに関する情報及び／又はデータを含む細目を含む：
１） ユーザの同定及び連絡先の詳細：ユーザの同定及び通信を容易にする細目。これら細目は、ユーザの非公開フルネーム、システム１０を使用するときのためのユーザネーム、非公開の自宅住所、転送対応のために用いられる物理アドレス及び／又は電子メールアドレス、連絡先電話番号、認証情報（例えば、パスワード）、並びに適用可能な場合、任意の他の固有の及び／又は関連する識別情報を含んでいてよい。システム１０を用いて作成されるアバターに関する対応及び請求書作成を含む情報は、ユーザと通信するためのシステム１０によって用いられる。
２） ユーザのボディの細目：ユーザのボディに関する情報及び／又はデータ。記載する実施形態では、これは、性別、高さ、重量、衣類サイズ（例えば、数例を挙げると、Ｓ、Ｍ、Ｌ、ＸＬ、又はＸＸＬ）、年齢、及び民族を含むボディの形態計測データを含む。本発明の別の実施形態では、ユーザのボディに関連及び／又は関係する追加の及び／又は別の細目をリクエストしてもよい。
３） 請求書作成及び支払細目：請求書を作成し、ユーザがシステム１０を使用するための支払を行う責任がある債務者（人）から支払を受け取るのを容易にする細目。請求書作成の細目は、例えば、処理及び支払のための課金通知を含む転送対応のために用いられる物理アドレス及び／又は電子メールアドレスを含んでいてよい。支払細目は、実施形態におけるアバターの作成等のシステム１０を介して実行される動作に関連するアイテムを購入するために記憶及び使用される、債務者のクレジットカードアカウント等の金融口座の細目を含んでいてよい。例えば、本発明の実施形態において、ＰａｙＰａｌ及びＢｉｔｃｏｉｎ（ＢＴＣ）サービスが挙げられるがこれらに限定されない、追加の及び／又は別の支払処理プラットフォームを使用することもできる。

リクエスト情報は、第１の表現を含む。既に記載した通り、この実施形態では、第１の表現は、ボディ１４の視覚的表現のセットを含む。好ましくは、視覚的表現のセット内の視覚的表現は、ボディ１４の様々な図を含み、これらは、対照的な実質的にクラッタ／ノイズを含まない（即ち、非ビジーな）背景の前に位置するボディ１４で捕捉される。特に、記載する実施形態では、視覚的表現のセットは、非限定的な例として、ボディ１４の２枚の写真を含み、第１の写真はボディ１４の正面であり、第２の写真はボディ１４の側面である。２枚の写真の捕捉及びアップロードを容易にするために、リクエストページ１１２を介して、ユーザ１６は、画像捕捉画面１１４にアクセスすることができる。画像捕捉画面によって、アップロードする前に写真を捕捉し、再吟味することができるようになり、前記画面は、プロセスを通してユーザを導くための１以上のサブ画面を含んでいてよい。記載する実施形態では、装置１２は、画像化アプリの制御下でコントローラ１８を介して、精度を高めるために画像を確実に垂直面で撮影するために（装置１２の姿勢を計算する姿勢センサの）内部ジャイロスコープを介して作成される姿勢データを含むデータを使用するように操作可能である。

本発明の実施形態では、視覚的表現（例えば、写真）のセットは、カラー、グレー、又は二値（例えば、シルエット）画像を含む標準的な二次元（２Ｄ）画像；色及び／又はテクスチャを有するか又は有しない奥行き画像；色及び／又はテクスチャを有するか又は有しないボディのＭＲＩ、ＤＥＸＡ（ＤＸＡ）、Ｘ線、ＣＴスキャン、完全三次元（３Ｄ）点群、又は複数の不完全点群；並びに色及び／又はテクスチャを有するか又は有しない三次元（３Ｄ）メッシュを含んでいてよい。視覚的表現のセットは、対象の物理的三次元（３Ｄ）表面又はハルの再構築を可能にするレベルまで対象の形状（例えば、記載する実施形態では、ヒトの形状）を表す任意の形態のデータ又は特徴を感知し、出力することができる画像化（感知）装置を用いて捕捉される任意の画像のうちの１つ又は組合せを含んでいてよい。

本発明の実施形態では、プライバシーを高めるために、視覚的表現のセットにおけるユーザの顔及び／又は他の識別できる特徴を隠すように操作可能である正規化／ぼかし機能を提供してもよい。視覚的表現を更にプライバシー保護してもよい。

本発明の別の実施形態では、ユーザ登録及びリクエスト情報は、別の又は追加の細目、情報、及び／又はデータを含んでいてよい。

ウェブサーバアプリケーション及び登録アプリケーションを含むサーバソフトウェアセットのアプリケーションを介して収集された全てのデータ及び情報は、本明細書に記載する通り使用するためにシステム３４内で分配される。

ＲＵデータベース３８は、複数のＲＵレコードを有する。各ＲＵレコードは、そのために作成されるアバター等のＲＵに関連する他の情報と共に、上記の登録及びリクエスト情報を含むシステム１０のＲＵのアカウントに関係するＲＵ情報のセットを含む。

サーバ３６は、（専用ウェブサイト又は本明細書に記載する他の手段を介して送信される）ユーザ登録及びリクエスト情報を含む通信のレシートを感知又は検出するように操作可能である感知手段を有する。このような情報のレシートを感知したとき、サーバ３６は、データベースマネジメントモジュール又はアプリケーションを含む、サーバソフトウェアセットの関連するアプリケーションの制御下で、そのプロセッサを介して、ＲＵデータベース３８における記録（及びテンプレートデータベース４０における記録）を作成し、追加し、管理するように、また、受信されたデータ及び情報に従って本明細書に記載する動作を実行するように操作可能である。

また、潜在ユーザは、例えば、サーバーソフトウェアのセットのソフトウェアの動作によって自動で捕捉し、ＲＵデータベース３８に入力するためにｅメール、ファックス、若しくは他の通信（Ｆａｃｅｂｏｏｋ（商標）又はＴｗｉｔｔｅｒ（商標）等のソーシャルネットワーキングサービスを介していてよい）を介してユーザ登録情報を提供することによって、又はデータ入力担当者若しくは管理者の他の従業員によって、自身をユーザとして登録又は記録することができる。

登録成功後、ＲＵは、続いて、オンラインアクセス又は「ログイン」ページ１１６を介してシステム１０にアクセスし、ユーザが適切な識別及びセキュリティ承認（例えば、ユーザネーム及び関連するパスワード）を入力すると、システム１０にアクセスできるようになることに留意すべきである。

画像処理アプリケーションは、送信されたユーザボディの細目及びボディ１６の第１の表現を受信及び処理して、第２の表現を作成するように操作可能である。

記載する実施形態では、２Ｄ画像であろうと３Ｄ奥行き画像であろうと、画像を送信したとき、（ユーザボディの細目の）登録から初期設定が使用されるが、これは、フォトスクリーン１１７の形態を介して、必要に応じてユーザがアップデートすることができる（ユーザのボディの細目は、例えば、目標に向かって進行するにつれて経時的に変化するため）。これによって、有利なことに、データ入力時間が短縮される。

特に、送信された性別、高さ、重量、サイズの有り無し、及び民族情報の有り無しに基づいて、画像処理アプリケーションは、ボディ１４を分類し、複数のテンプレートの中からそれに最も近い３Ｄモデルを有するテンプレートを決定し、選択するように操作可能である。

これが行われたら、画像処理アプリケーションは、
２枚の写真から前景（人体）をセグメンテーションし、第１の表現を２つのそれぞれのシルエットに変換し；
セグメンテーションされた前景及びそのそれぞれのシルエットを使用して、特徴並びにキーポイント及び／又はディスクリプタ及び／又は特徴の測定値を抽出し；
抽出された特徴及びキーポイントの測定値を用いて、選択されたテンプレートの３Ｄモデルを修正し、修正済の対象特有の３Ｄモデル画像（第２の表現である）を作成し；
修正済の３Ｄモデル画像をユーザアカウントに関連付け；そして、
第１の表現の２枚の写真を削除／破壊するように操作可能である。

有利なことに、この実施形態では、作成された第２の画像は、対象（即ち、画像化されるボディ）に特有であり、その所望の特徴を正確に表す。

本発明の実施形態では、画像処理アプリケーションは、第１の表現のボディの１以上の視覚的表現のボディを含む少なくとも１つの前景をセグメンテーションし；第１の表現の１以上の視覚的表現の１以上のセグメンテーションされた前景をそれぞれのシルエットに変換し；１以上のセグメンテーションされた前景及びそのそれぞれのシルエットを使用して、ボディの形状のハルを構築し、及び／又は特徴を抽出し、及び／又はキーポイントの測定値を抽出し；ハル及び／又は特徴及び／又はキーポイントの測定値のうちの１以上を用いて、選択されたテンプレートのボディの３Ｄモデル（平均的なボディモデル）の修正、リギング、及びモーフィングのうちの１以上を行って、第２の表現である修正済の対象特有の３Ｄモデル画像を作成するように操作可能である。

実施形態では、奥行き画像、点群、及びメッシュ（いずれも、色及び／又はテクスチャを有するか又は有しない）の場合、画像処理アプリケーションは、ボディの対象特有の三次元形状を再構築するように操作可能である。

通信アプリケーションは、サーバ３６とそれと通信する装置との間の通信を可能にするように操作可能である。かかる通信は、本明細書に記載する通信を含み、ｅメール、ポップアップ通知、及びＳＭＳメッセージを含む任意の適切な種類であってよく、セキュリティを高めるために暗号化してもよい。

通信アプリケーションを介して行われる通信は、アップロードされた画像が消去されたことを確認する通知及びユーザの３Ｄアバターを作成するためにシルエットが用いられていることを示す通知等、ユーザへの状態通知を含んでいてよい。

通信アプリケーションを介して、修正済の３Ｄモデル画像を装置１２に通信し（適切な通知メッセージと共に）、そこで、主画像画面１１８に表示することができる。この実施形態で作成される修正済の３Ｄモデル画像は、ワーキングモデルであり、ユーザのボディ１４の形状及び測定値を正確に反映しており、この点から、ユーザは、ユーザインタフェース２４を介して１以上の相互作用を実施することができる。１以上の相互作用は、モデルの領域又は部分を選択してその正確な周囲長の詳細を得ることを含み得る。特に、記載する実施形態では、ユーザは、３Ｄモデルの一部を「クリックする」か又は他の方法で選択し、選択された部分に関連する数値を（ディスプレイ２２を介して）見ることができる。ユーザがユーザインタフェース２４を介して３Ｄモデルを回転させ、ズームすることができるようにする機能も提供される。

本発明の実施形態では、ユーザがリクエスト情報を送信してから、修正済の３Ｄモデル画像が作成され、装置１２に通信されるまでに約９０秒間経過し得る。

この実施形態では、性別に基づいてモデルを着色する：女性はピンク、男性は青。

ユーザは、作成された電子画面及びページ上に提供されるそれぞれのナビゲーションインタフェースエレメントボタンの実行を介して、前記電子画面及びページに進んだり戻ったりすることを含むナビゲートを行うことができる。特に、その特定の測定値及び要件に基づいてパーソナルフィットネスの目標のサポートにアクセスすることを含む動作を実行するために、それを介してユーザがシステム１０を制御することができるインタフェースエレメントボタンを有するナビゲーションバー１２０が提供される。記載する実施形態では、かかるサポートとしては、摂取することによってユーザがパーソナルフィットネスの目標を達成するのを支援する食事のレシピ；測定値；ユーザに合わせて作成し得る栄養学的計画及び運動プログラムを含む計画；新たな画像の撮影（新たな修正済の３Ｄモデル画像を作成）；及びシステム１０からのサインアウト／退出にアクセスすることを含む。

本発明の実施形態では、装置１２は、作成された修正済の３Ｄモデル画像（第２の表現である）を保存し、それを次にユーザがボディ１４の新たな画像を作成するために装置１２を使用するときに比較のためのテンプレートとして使用するように操作可能である。即ち、装置１２の初回使用後、ボディ１４の新たな画像を作成するためにユーザが装置１２を使用する毎に、その前回の装置１２の使用中に作成された修正済の３Ｄモデル画像を新たな画像の作成において使用する。したがって、かかる実施形態では、作成されたボディ１４の第２の表現に基づいてボディ１４の第３の表現を作成し、作成されたボディ１４の第３の表現に基づいてボディ１４の第４の表現を作成し、以下同様である。

実施形態では、サポートは、例えば、ＤＥＸＡスキャンの統合等、１以上の他のシステムとの統合を含み得る。かかる場合では、ユーザインタフェース２４を介して実施され得る１以上の相互作用は、３Ｄモデル上に表示されるオーバーレイとしてＤＥＸＡスキャンから得られたデータ及び／又は情報にアクセスし、３Ｄモデルの一部を選択し、選択された部分に関連するＤＥＸＡスキャンデータ及び／又は情報を（ディスプレイ２２を介して）見ることを含み得る。

インボイス／請求書作成アプリケーションは、システム１０の使用に従って支払うべき量を含む、各登録されたユーザに対するインボイスを作成するように操作可能である。

支払処理アプリケーションは、各インボイスについての支払を受領するように操作可能である。

本発明の実施形態では、システム１０によって実施される記載した操作、追加の操作、及び／又は別の操作のうちの１以上は、ヒトの介入を必要とすることなしに自動的に行われる。

次に、本発明の実施形態の上記及び他の特徴及び利点について、図１に示すフローチャートを参照し、使用中のシステム１０を参照して更に説明する。

対象となるヒトは、上記の通りの登録プロセスを介してシステム１０のユーザとして登録され、その結果、ユーザアカウントが与えられる。

その後、（ここで登録された）ユーザは、上記の通りシステム１０にアクセスし、前記システムを使用して、そのボディの１以上の修正済の３Ｄモデル画像を作成し、ユーザを支援してパーソナルフィットネスの目標を達成するための他の提供されているサポートにアクセスする。

経時的に、ユーザは、体内の変化を示す、ボディの修正済の３Ｄモデル画像のシーケンスを作成することができる。かかるセルフモニタリングを頻繁に行うことを介して、ユーザは、パーソナルフィットネスの目標への進展を評価することができるので、前記目標を達成する可能性が高くなる。

図４及び５は、本発明の態様に従って装置２１２を用いてボディを画像化するためのシステム２１０の第２の実施形態の使用中に実施される動作を示す。第２の実施形態におけるシステム２１０の類似の又は同じ特徴は、第１の実施形態と同一の参照番号を用いて記載される。

更に詳細に記載する通り、第２の実施形態は、生態学的に有効なシステム、及び三次元人体モデル（アバター）を再構築する方法を提供する。更に詳細に記載する通り、前記システム及び前記方法は、その高さ及び／又は重量（例えば、個人の場合であるが、普遍性が失われることはない）が与えられた対象の１以上の画像を利用する。

第２の実施形態では、装置２１２のコントローラは、ボディ１４の実質的に真の三次元スキャンの投影シャドウを単純な形態で表す複数のシルエットを得るためにボディ１４の第１の表現をセグメンテーションすることによってボディ１４の第１の表現を処理し；前記シルエットに基づいてボディ１４の第２の表現を作成するように電子プログラム命令の制御下で操作可能である。

また、コントローラは、入力が受信されたら装置２１２のディスプレイ上に現れるユーザ特有のスケルトンを作成し；第１の表現をセグメンテーションするプロセス中、ユーザが第１の表現におけるボディ１４をユーザ特有のスケルトンと位置合わせできるようにするように電子プログラム命令の制御下で操作可能である。

特に、第２の実施形態では、システム２１０は、ユーザの３Ｄアバターを作成又は構築するために以下の逐次タスク（１〜６）を実行するようにアプリの電子プログラム命令の制御下で操作可能である。

タスク１：ユーザの真の３Ｄスキャンの投影シャドウを単純な形態で表す二値画像（シルエット、Ｓと定義）を得るために、各画像においてユーザを自動的にセグメンテーションする。第２の実施形態では、セグメンテーションは、以下のいずれか又は両方の後に行われる：
ａ． ボディ１４の正面の第１の写真を捕捉し始めたら、ユーザは、作成され、装置１２のディスプレイ２２を介して表示されるユーザ特有のスケルトンとボディとを位置合わせする。この操作は、最適な画像を確実に捕捉するために装置２１２を介して配信される視覚的及び／又は聴覚的フィードバックを伴い得る。
ｂ． ユーザは、確実に、ボディの正面の第１の写真において顔、手、及び足が見えており、覆われていないようにする。ボディの側面図の第２の写真では、第２の実施形態に従って顔と足の一方又は両方とのみが見えていればよい。

タスク２：セグメンテーションされたシルエットから様々な種類の特徴を抽出し、抽出された特徴を合わせて表現（データベクトル）を形成する。１シルエット当たり１表現。

タスク３：送信されたユーザの高さ情報、画像サイズ（画像の高さ及び幅（ピクセル））に基づき、二値画像のブロブ解析、投影理論、及びカメラモデルを用いて、以下を計算する：
ａ． 各画像におけるカメラの位置及び姿勢を含む、捕捉カメラの固有及び外部パラメータの初期推定値（ポーズとも称され得る）；Ｐと定義。
ｂ． ユーザのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値、ＪＫと定義。これは、スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む。

タスク４：送信されたユーザの高さ及び重量の情報に基づいて、又はユーザの高さ情報のみに基づいて、平均アバター（Ａｖと定義）を予測するが、これは、知られている場合、ユーザが入力した高さ、重量、又は更なるボディ測定値に応じて変動する。また、Ａｖは、サイズＮのジョイントの参照スケルトンにリギングされ、参照ポーズの公知のＪＫ及びボーン重量／高さマトリクス（Ｗと定義）を有する。

第２の実施形態では、マトリクスＷは、予測モジュールの学習プロセス中に一度だけオフラインで計算され、次いで、他のアバターの予測又は作成のために用いられる参照スケルトンＪＫと共に画像化アプリに保存される。Ｗの目的は、ジョイントと、ボーンと、頂点Ｖ、エッジＥ、及び面Ｆによって表される実際の３Ｄアバター表面との関係をコンストレインし、制御し、モデリングすることである。言い換えれば、画像化アプリに送信された画像におけるユーザのアバターを新たなアバター（Ａｖ１と定義）に変形又は単にアニメーション化する。参照又は平均アバターデータ（Ｖ、Ｅ、Ｆ、ＪＫ、Ｗ）及び送信された画像のユーザジョイント運動（ＪＫ１と定義）の公知値又は推定値は、公知であるか又は自然なヒトの動きから学習された多数の物理コンストレイントに依存してＡｖをＡｖ１に最適化及び変形させるコスト関数に供給される。コンストレイントとしては、例えば、数例を挙げると、骨盤ジョイントが有し得る最大回転、又はジョイントの別のジョイントに対する３Ｄ位置及び姿勢、ジョイントのヒエラルキー、及び他の動きに影響を与えるものを挙げることができる。言い換えれば、平均アバターと同じボディ測定値を有する新たにアニメーション化されたアバターＡｖ１は、参照／平均データの関数である；即ち、Ａｖ１＝ｆ（Ａｖ，Ｗ，ＪＫ，ＪＫ１）。第２の実施形態の技術では、２つの重み付けされたエネルギー最小化関数を合わせた関数に由来する：
ａ． Ｖ、Ｆ、及びＥを使用するラプラシアンコタンジェントマトリクスを利用する表面平滑度関数、並びに
ｂ． アバターの頂点とそのボーンとの間の対応を確実にコンストレインするために（Ｖ、Ｆ、及びＷ）を使用するボーン結合関数。

初期アバターＡｖの予測（例えば、ベイジアン多変量を使用する）は、複雑な多変量系機械学習アプローチに従う。第２の実施形態では、これは、様々な年齢及びポーズの現実の人間（男性及び女性）の２０，０００枚を越えるリギング及びレンダリング済の三次元スキャンから抽出された３Ｄ特徴を用いるヒトの形状の機械知能学習（オフラインで行われる）を含む（したがって、本明細書で用いられるこの用語は生態学的に妥当である）。また、異なるボディ測定値間の様々な統計的関係の機械知能学習も含む（ベクトルＭ＝（ｍ１，ｍ２，．．．，ｍＬ）と定義、Ｌは異なる測定値の数である）。例として、ｍ１は、胸囲であってよい。開発された技術は、１以上の異なる測定値を考慮して１以上の測定値を予測することができ、これら測定値のうちの１以上を考慮してアバターを予測する。学習プロセスは、各実際の３Ｄスキャンから抽出される様々な三次元形状（表面）の特徴を使用することを含む。

人工知能及び機械学習は、この点に限定されず、本発明の別の実施形態では、画像化することを意図するボディ又は物体、及び行われるか又は分類される決定に従って、更なる及び／又は別のトレーニング、試験、及び検証を用いることができる。

タスク５：
前提
ａ． ユーザの高さ、又は高さ及び重量及び性別、Ｍにおける残りの測定値を予測し、次いで、ユーザの初期平均アバターＡｖを作成（予測する）。したがって、Ａｖ自体は、測定値Ｍの関数である、即ち、Ａｖ＝ｆａ（ｍ１，ｍ２，．．．，ｍＬ）＝ｆａ（Ｍ）、
ｂ． 投影マトリクスＰの初期推定値、
ｃ． Ａｖの参照ポーズジョイント運動ＪＫ及びそのボーンマトリクスＷ、
ｄ． セグメンテーションされたシルエットは、第１の表現のＳを定義する。
問題：
上記を前提として、アバターＡｖ１及びその正確な測定値を見つけ、ユーザのＭ１を定義する？
解決法：
ａ− Ｍを用いてＭ１を初期化する。
ｂ− ユーザが参照ポーズとは異なるボディポーズを有するとき、そのジョイント運動をＪＫ１であると推定し、参照オフラインポーズＪＫを用いてそれを初期化する。
ｃ− Ｐを用いてＰ１を初期化し、Ｐ１は、正確なカメラパラメータとなる。
ｄ− 関数Ａｖ１＝ｆ（Ｖ，Ｆ，Ｅ，Ｍ１，ＪＫ１，Ｗ）を形成する。

次いで、適応性及び反復するコンストレインされた凸最適化技術を用いて、ユーザのシルエットＳ、ユーザのシルエットから抽出された表現又は顕著な特徴、及びアバターＡｖ１の投影シルエットを比較するか又は一致させるコスト関数を最小化する。即ち、Ｓ対Ａｖ１のシルエット。

Ａｖ１のシルエットは、Ａｖ１＝Ｐ１（Ａｖ１）の投影を用いて評価され、続いて、画像モーフィングプロセス（例えば、スムージング、エッジ検出、エロージョン、拡大、ホールフィリング、孤立点の除去、及び連結成分解析を用いるスモールブロブを含む）が行われる。画像化技術の開発された最適化プロセスは、適応的に及び自動的に、（ｉ）最初に予測された測定値Ｍを新たなボディ特有の値Ｍ１に達するように、（ｉｉ）最初に推定された投影マトリクスＰを新たな実際のマトリクスＰ１に達するように、及び（ｉｉｉ）最初に推定されたジョイント運動ＪＫを実際の３Ｄ用語におけるボディの新たな且つ実際の値ＪＫ１に調整する。それが極小に達し、ユーザのシルエット（又はその特徴若しくは表現）がアバターのＡｖ１投影シルエットに一致するまで、全て単一の反復するコンストレインされた方法で。コンストレイントとしては、例えば、最大値及び最小値が挙げられ、ヒトの臀部、腰等は、現実的に、ＪＫが有し得る中でも特定のジョイントの位置及び姿勢の最大値及び最小値であってもよく；又はカメラが有し得る最大回転角及び転換（オフセット）であってもよい。

関連技術のシステムとは異なり、第２の実施形態のシステム及び方法は、ユーザのアバター又はシルエットに一致する最も近いシルエット又はアバターを見出すために別個の原理成分解析（ＰＣＡ）ベースのＬＯＯＫＵＰテーブルを必要としない。開発されたモデルベースの多変量系機械学習アプローチは、学習された３Ｄスキャンのそれぞれを高次元超空間における点として（例えば、Ｒｅｍａｉｎｅｎ、Ｇｒａｓｓｍａｎｎ多様体、又はＬｉｅ群）表す。捕捉された画像における何らかの手動調整も参照物体も必要としない。更に、最適化プロセス全体が、完全に自動的であり、正確なユーザ特有のアバターを作成し、各画像におけるユーザのポーズを自動的に推定し、カメラの固有及び外部パラメータを自動的に推定することが可能である。

タスク６：５におけるシルエットを一致させるために、様々な特徴及び表現を試験し、最適なものを選択した。例えば、特徴は、数例を挙げると、直接コサイン変換（ＤＣＴ）、角／縁、配向勾配のヒストグラム（ＨＯＧ）、スピードアップロバスト特徴（ＳＵＲＦ）、スケール不変特徴変換（ＳＩＦＴ）、及びカールベット特徴に基づく。

第２の実施形態のシステム１０の電子プログラム命令は、登録モジュール（フロントアプリ）、画像捕捉モジュール、画像検査及び前処理モジュール、前景（ユーザのシルエット）セグメンテーションモジュール、並びにアバター及びシルエットマッチングモジュールを含む複数のソフトウェアモジュールを含む。

登録モジュール（フロントアプリ）
第２の実施形態の登録モジュール（フロントアプリ）は、第１の実施形態のウェブサイトアプリケーションと同様に動作し、ボディに関する情報及び／又はデータをユーザが入力するのを容易にする。第２の実施形態では、これは、ユーザの高さ及び重量、又は高さのみを含み得る。それは、また、システム１０の試験フェーズ又は学習フェーズにこれらデータを与えることを望んでいるかどうかについての指示をユーザから受信するように動作可能であり、これは、例えば、受信された画像をぼかしたり暗号化したりする程度を求めることができる。

第２の実施形態では、ユーザデータをクラウドオーバーＳＳＬに記憶させ、プライベートなデータを暗号化する。

画像捕捉モジュール
画像捕捉モジュールは、クラシックオプション及びスマートオプションを含む、画像をシステムに入力するためのオプションをユーザに提供するように操作可能である。

クラシックオプションを介して、ユーザは、自身のデジタルカメラを用いて１枚若しくは複数の画像を捕捉するか、又は任意の種類の画像（例えば、本明細書に記載するもの）を捕捉し、パソコン、ノートパソコン、ｉｐａｄ、タブレット、又は類似の装置を用いて画像をアップロードするよう誘導される。

スマートオプションを介して（スマートフォン、パソコン、ノートパソコン、タブレット、又は類似の装置を用いるときに適用可能）、ユーザは、スマートフォン、ノートパソコンに接続又は内蔵されているカメラ、パソコン、又は捕捉装置（例えば、カメラ）が一体化している任意の装置を用いて画像を捕捉し、プログラム、スクリプト、アプリ、又は類似のものを実行することができる。

画像捕捉モジュールは、ユーザ自身が画像を捕捉するか又は別の人物が画像を捕捉するかに応じて、最適な画像を捕捉するようユーザを誘導するために、視覚的及び聴覚的補助を提供するように操作可能である。

普遍性を失うことなしに、リアルタイムヒトトラッカー及び／又はヒト顔トラッカー等の視覚的補助を始動させ、次いで、捕捉プロセス中に開始して、最良の最適画像を捕捉するために第三者を支援する。

これに関して、画像捕捉モジュールは、カラー画像又はグレースケール画像のいずれかにおいて独自のキーポイント及び独特の顔特徴、並びに時空間的特徴を合わせてヒトの顔を検出及び追跡する方法を学習する適応的カーネル系トラッカーを含む。眼、鼻、耳、及び口のディテクター及びトラッカーは、主な顔トラッカー内でも網羅される間接的サブモダリティである。開発されたトラッカーは、決定論的単変量及び多変量確率モデルを使用する。

ヒトトラッカーは、顔トラッカーと同じ技術的側面に従うが、本明細書に記載する独特のヒトの形状及び動きの特徴を用いる。

上記の通り、画像捕捉モジュールは、独自の対象（ユーザ）特有のヒトスケルトンを作成し、最適な画像を捕捉するようユーザを誘導するように操作可能である。この目的のために、多変量データ解析を含む最新の人工知能及び機械学習技術を用いて、対象の高さ及び重量、又は重量のみが与えられたスケルトンジョイントの三次元位置の作成に関与するモデルを学習する。第２の実施形態では、学習プロセスは、２０，０００人を超える実際のヒト対象の３Ｄスキャンに属するグラウンドトルース（実際の）解剖学的データによってコンストレインされるので、この用語は生態学的に妥当である。凸最適化及びフィッティングのプロセス、形状収縮は、また、３Ｄスキャンをその曲線スケルトン、解剖学的スケルトンにスキニング、リギングし、これらのうちの２つのそれぞれの間の対応を得るために開発された。

人工知能及び機械学習は、この点に限定されず、本発明の別の実施形態では、追加の及び／又は別のモデルを学習し、画像化することを意図するボディ又は物体に従ってスケルトンを作成できることを理解すべきである。学習プロセスのコンストレインは、本発明の実施に適切な場合、第２の実施形態よりもより多い又はより少ないデータ、並びに追加の及び／又は別の種類のデータを含み得る。

捕捉プロセス中、システム２１０によって実行される上記アプローチは、多数のボーン及びジョイントを含むリアルタイムオンスクリーンヒトスケルトンを作成し、（装置２１２のタッチスクリーン１４２に）示す。次いで、（システム２１０の操作によって作成され、装置２１２を介して出力される）可聴音／単語／セリフを介して、ボディの部分（例えば、胸、腕、脚、及び頭）を画面上のヒトスケルトンのボーンと位置合わせするようにユーザに指示する。画像捕捉モジュールは、作成されたスケルトン及びユーザのリアルタイムで捕捉される画像から抽出した形状外観及びばらつきの特徴、ポーズの特徴、時空間的（又は、数例を挙げると、光学フローの特徴若しくは他の運動データベクトル）を含む様々なデータと特性の間で計算される誤差によって位置合わせプロセスを制御するように操作可能である。装置２１２のセンサのセットのセンサからの出力、例えば、そのジャイロスコープによって捕捉される三次元姿勢ジャイロスコープ角も、最適な直線画像捕捉を更に保証するためにこのモジュールで利用される。

次いで、画像におけるスケルトンポーズとユーザポーズとの間の誤差の分類及び種類をフィードバックモジュールに供給又は入力して、ユーザが最適な画像（写真）を画像化するように誘導する。

位置合わせプロセス並びに視覚的及び聴覚的フィードバックモジュールは、図４に示す通り、ユーザ画像とスケルトンとの間で許容可能な位置合わせが行われるまで、同時に作動する。

画像検査及び前処理モジュール
画像検査及び前処理モジュールは、正確なヒトアバターの再構築に影響を与える１以上の問題、好ましくは如何なる問題についても、捕捉された画像を十分に検査するように操作可能である。かかる問題としては、ユーザエラー、画像品質に起因するエラー、固有及び外部ノイズに起因するエラー、外来対象、複数の対象の存在、並びにカメラレンズに起因する歪みを挙げることができるが、これらに限定されない。これは、第２の実施形態では、２つのレベルで行われる。
ａ． 検査の第１のレベルは、アプリレベルである。この場合、（ｉ）アプリは、関心対象（第２の実施形態における対象の例として、ヒトユーザを含む）の存在についてチェックするように操作可能である。このタスクのために、単純であるが効率的な顔及びヒトのディテクター及びトラッカーが開発されており、これは、検査に基づいて画像を検査し、承認又は拒絶するように操作可能である。（ｉｉ）また、アプリは、装置２１２の内臓ジャイロスコープデータを使用して、最適な画像を捕捉するようユーザを誘導し、所定のポーズ閾値のセットに従って画像を承認又は拒絶するように操作可能である。（ｉｉｉ）また、アプリは、規定の基準が満たされているかどうか及び画像を承認可能であるかどうかを判定するために、例えば、フォーマット、サイズ（寸法（ピクセル）及び必要な記憶容量）を含む画像の詳細をチェックするように操作可能である。承認される場合、アプリは、次いで、元の承認された品質の９９％以上で品質を維持しながら、画像のサイズを低減するように操作可能である。これら工程のいずれにおいても、聴覚的及び視覚的フィードバックを作成し、提示して、ユーザを導くことができる（上記の通り）。
ｂ． 検査の第２のレベルは、クラウドにおいて動作する高度画像前処理（ＡＩＰＰ）モジュール内で生じ、且つ以下の通り動作する綿密なレベルである。
ｉ． ＡＩＰＰは、画像におけるノイズを最小化し、次に行われるプロセスであるセグメンテーションのために画像を調製するために、様々なサイズ及び分散のガウス分布カーネルを用いて、捕捉された画像をフィルタリングする。
ｉｉ． また、ＡＩＰＰは、ピクセルカラー値又はその強度、及びその画像位置を用いて推定される確率及び結合確率関数に基づいて統計検定を構築する。次いで、照明及び明暗に関連するばらつき又は影について補正する。次いで、統計検定は、大きな画像データベースのオフライン検定を通して同定される所定の閾値に基づいて画像を承認するか拒絶するかを判定する。
ｉｉｉ． ＡＩＰＰは、複数の顔を有する画像、不規則に反転しているか又は歪んだ画像、完全／不完全な複数の人／１人の人の画像、主な対象（ユーザ）に干渉する特性を有する任意の外来対象又は背景を有する画像、ユーザが肢切断者であることが示され且つ追加のデータが提供されている場合又は２枚以上の画像を用いる場合（２枚の画像の場合、ユーザの正面の完全なキャプチャを提示しなければならない）を除いて、ユーザのボディの不完全なキャプチャを有する画像を検査し、拒絶する。この目的／タスクのために、機械学習アプローチが用いられ、１人以上の人を含むか又は全く含まないビデオを含む大きな画像データセットから抽出した様々な融合した多様式の顕著な画像特徴、ディスクリプタ、及びキーポイントによって駆動される。（数例を挙げると）ヒトの皮膚、顔、鼻、口、耳、腕、上半身、下半身、脚、足に属する特徴、ディスクリプタ、及びキーポイントも、この検査モジュールにおける機械学習のトレーニング、試験、及び検証のために用いられる。

人工知能及び機械学習は、この点に限定されず、本発明の別の実施形態では、画像化することを意図するボディ又は物体及び行われる決定に従って、追加の及び／又は別のトレーニング、試験、及び検証を用いてもよいことを理解すべきである。

前景（ユーザのシルエット）セグメンテーションモジュール
単一画像から前景−背景セグメンテーションに対して行われる大部分の関連技術の作業は、ＴＶ番組で用いられるクロマキースクリーン等、公知の又は半公知の背景特性を推測するものである。他のものは、ユーザに、画像を手動でデジタル化するか又は画像中のボディを同定させる。しかし、画像中のユーザのボディの外形又はユーザ若しくは背景に属する独特な特徴（公知である場合、判定／入力されるか又は推定することができる）は、ボディの形状の正確なシルエットのセグメンテーションに強い制約を加える。

本発明者らは、完全に自動的な方法において用いられる、画像中のヒトのシルエットをセグメンテーションするために「グラフカット」原理による最適化に基づく反復アプローチを開発した。本発明のアプローチは、多数の態様における最大フロー最小カット定理、ベイズ−マッティング（トリマップを含む）、及び確率的カラーモデル等の標準的なグラフカットにおいて用いられる原則を拡大し、最も重要なことに、第２の実施形態では、本発明者らの確率モデルは、ピクセル強度だけでなく、ヒトの形状の構造（グラフ）に対するその位置及び関連性／接続（密着）も含むので、それは、完全に自動的であり、そして、前景及び背景の色分布が十分に分離されないときロバストである。第２の実施形態のシステム２１０が実施するように操作可能である、開発されたアプローチの工程は、以下の通り要約することができる。

前記アプローチは、画像からユーザのシルエットをセグメンテーションするために、以下の入力のうちの一部又は全てを必要とする。
ｉ． ユーザのボディを含む画像における境界ボックス若しくは領域又はブロブ。これは、「ハード」セグメンテーショングラフカットシナリオとして知られているものについて用いられる。
ｉｉ． 確実に、略確実に、恐らく／多分ユーザのボディである、画像中の前景領域又は特徴。
ｉｉｉ． 確実に、略確実に、恐らく／多分ユーザのボディではない、画像中の背景領域又は特徴。

言い換えれば、画像中の各ピクセルには、前景又は背景に属する可能性を示す確率値が与えられる。

ユーザは上述の画面上のスケルトンとボディとを位置合わせするように求められるので、
ｉｖ． スケルトンを包含する境界ボックス（領域）は、上記（ｉ）において必要なものを厳密に規定する。しかし、不確実性エラーを考慮するために、第２の実施形態における５％の不確実性因子を領域位置に追加する、即ち、５％増加させる。
ｖ． スケルトンボーンに沿った（重なるか又は同時登録される）画像ピクセルは、確実に又は略確実に人体の一部であり、これは上記（ｉｉ）を満たす。システム２１０は、可変サイズのカーネルによって重なった画像−スケルトン領域を広げることにより、これら「確実な」ボディ部分画像領域を更に拡張及び拡大するように操作可能である。サイズは、ボディ部分に比例していてよい。例えば、背骨に沿った領域は、図２に示す通り、腕の一方よりも大きなサイズのカーネルによって広げられる。
ｖｉ． 境界ボックス外のピクセルは、背景に属する可能性が非常に高く、上記（ｉｉｉ）を満たす。
ｖｉｉ． 下記の通り、別のアプローチによってチェックされるまで、前景又は背景のいずれとしてもマークされていない境界ボックス内のピクセルには、等しい確率が与えられる。

このサブモジュールは、正確なシルエットのセグメンテーションを更に強化するように操作可能である。また、皮膚色を有する可能性が高い画像におけるピクセルを同定するベイジアン系皮膚色ディテクターも学習され、開発された。これは、ユーザの顔、手、及び足（最悪の場合、ボディの残りが覆われる）、並びに他の不必要な皮膚様対象の検出及びセグメンテーション（同定ではない）を可能にするように操作可能である。システム２１０は、セグメンテーションされた皮膚ブロブを解析し、半スケルトンリンクを作成するために連結成分分析及びフィッティング、曲率分析を使用するように操作可能である。次いで、隣接データ（マトリクス）を再構築及び解析して、ヒトスケルトンリンク（ボーン様）の一部ではないブロブを除去する。次いで、残りのブロブを、ユーザのボディである可能性が非常に高いと分類する。

次いで、学習された顔ディテクターを用いて、ユーザの顔を検出することによって上述のアプローチを更に改良する。顔又は顔の輪郭が検出されたら、次いで、予め規定したマスクを適用して、ヒトの皮膚の色合いのみを有する顔領域を切り取る。即ち、眼、眉毛、及び口を検出し、除去する。次いで、切り取られた顔マスクの色ヒストグラムに基づく逆投影アルゴリズムを適用して、顔マスクと同じ統計値を有する画像中のピクセルを同定する。第２の実施形態におけるこのサブモジュールの出力は、記載の反復グラフカットアプローチに必要なピクセル及び領域に更に追加し、改良するユーザ特有の皮膚の色合いを有するブロブを含む。

最後に、ピクセルの色、その位置、及びその分類を、提案された反復グラフカットに供給して、ユーザのシルエットをセグメンテーションする。これに続いて、画像及びエッジの平滑化、穴及び欠損データの充填、並びに小さな離散ブロブの除去等をシステム２１０が実施するように操作可能である多数の画像処理及びモーフィングプロセスを実施する。

アバター及びシルエットマッチングモジュール
アバター及びシルエットマッチングモジュールは、本明細書に記載する通り、タスク４、５、及び６に従ってアバター及びシルエットマッチングプロセスを実施するように操作可能である。

要約すると、本発明の第２の実施形態は、３Ｄ多関節モデル（スケルトンにリグされるヒトモデル／アバター）を用いる。グラフマッチタイプの前景セグメンテーション（シルエット）を使用し、赤い（ｉｎｆａｍｍｅｄ）スケルトンに重なっている画像データによってコンストレインされる。皮膚、顔、鼻、口、及び耳のディテクター及びトラッカーを用いて、これを更に改善／コンストレインする。スマートマスクを用いて、ユーザ特有の皮膚の色合いを得る。次いで、逆投影技術を用いて、ユーザ独自の皮膚ブロブを分類し、如何にして人体の部分が連結され、それらが互いに対して関連しているかに関する、決定された連結性解析とは一致もせず適合もしないものを拒絶する。また、主測地線分析（ＰＧＡ）及び一般的なマニホールドも用いられる。幾何学的データ分析及び統計的形状解析では、主測地線分析は、主成分分析を形状ディスクリプタ及び表現と共に用いるのに好適なマニホールドの非ユークリッド非線形設定に一般化したものである。

本発明に記載された実施形態は、幾つかの利点を提供することが理解される。

本発明の実施形態の主な利点は、重量減少／重量増加／重量維持の努力の結果である事実データがユーザに提供される点であり、これに関して、本発明の実施形態は、教育ツールとして機能することが分かる。ユーザからデータを集めるとき、本発明の実施形態は、ユーザに対する潜在的な健康上の利益を推定するように操作可能である１以上の予測アルゴリズムを含み得る。これに関して、本明細書に記載するとき、本発明の実施形態では、反復データは、ボディの１以上の以前の表現及び／又は他のボディの積分又はボディの１以上の以前の表現及び／又は他のボディのデータ若しくは関連するデータの積分を含み得、データは、装置１２の操作を介して作成され得る及び／又は１以上の他のソース、例えば、１以上の他の装置１２又はＤＥＸＡ技術から得られ得る。長期にわたるユーザのカロリー摂取及び運動を含み得るかかるデータに基づいて、１以上の予測アルゴリズムを介して、装置１２は、かかるレジメが維持される場合、ユーザのボディ１４がどうように見える可能性があるのかを示す１以上の予測アバターを作成し、提示するように操作可能である。

本発明の実施形態の装置１２は、かかる他のソースを探し、配置し、通信を確立するように操作可能であり得る。

本発明の実施形態は、有効且つ正確なモニタリングを介して重量減少（及び／又は他のパーソナルフィットネスの目標）を促進するために正確なカスタマイズされたアバターの作成を提供する。アバターは、即時に及び非侵襲的手順を介して作成し得る。作成されたアバター及び関連するデータを記憶することによって、経時比較を行うことができるようになるので、ボディの変化の正確なモニタリングが可能になる。

本発明の実施形態を用いて、健康上の変化を更に促進するためのフィードバックを提供することができる。システムを介して、経時的にユーザのボディ変化を示すアバターのシーケンスを作成することができる。アバターのシーケンスは、ユーザの努力の歴史的事例研究を作成する。ユーザは、（観察者バイアスを有する写真の使用に対して）結果を定量的に見ることができる。

小さな範囲の標準的なテンプレート及びシルエットを用いることによって、不良画像から生じる誤差が低減されるが、それは、処理要件であるためである。その結果、プロセスをより速く且つより低コストにすることによって、ユーザの経験が改善される。

更に、セグメンテーションされた前景及びシルエットの特徴によって、ユーザが送信した画像を、個人の写真画像データと一緒には保存しないようにすることができる。記載する実施形態では、ユーザの写真画像は破壊され、それによって、ユーザのプライバシー保護が強化される。

本明細書に記載する本発明の変形及び変更は、その趣旨及び範囲から逸脱することなしに明らかになることを当業者は理解するであろう。当業者に明らかになる変形及び変更は、本明細書に記載する発明の広い範囲及び範疇内であるとみなされる。

Claims (27)

1. ユーザのボディを画像化する装置であって、
   コントローラと；
   前記コントローラを制御するための電子プログラム命令を記憶する記憶装置と；
   ユーザインタフェースを表示するためのディスプレイと；
   視覚的な画像を捕捉するように構成された画像捕捉装置と；
   を含み、
   前記コントローラが、
   前記画像捕捉装置を介して、前記ボディの第１の表現を含む入力を少なくとも一部受信し、前記第１の表現が１以上の視覚的表現を含み、
   前記第１の表現を前記ディスプレイを介して表示し、
   前記入力が受信されたら、（ｉ）スケルトンジョイント位置のモデルと、（ｉｉ）前記ユーザの少なくとも重量とを用いて、前記ディスプレイ上に現れるユーザ特有のスケルトンを作成し、
   前記ユーザが、少なくとも一部（ｉ）前記ユーザ特有のスケルトンを、前記ボディの１以上のリアルタイムに捕捉された画像と共に表示することと、（ｉｉ）前記表示されたボディが前記表示されたユーザ特有のスケルトンに位置合わせされるように動くように、前記ユーザに指示することにより、前記第１の表現における前記ボディを前記ユーザ特有のスケルトンと位置合わせできるようにし、
   前記表示されたボディが、前記表示されたユーザ特有のスケルトンと位置合わせされたときに、前記ボディの前記第１の表現をセグメンテーションして、前記ボディの実質的に真の三次元スキャンの投影シャドウに対応する複数のシルエットを得ることによって前記第１の表現を処理し；
   前記複数のシルエットに基づいて前記ボディの第２の表現を作成し、
   作成された前記第２の表現を前記ディスプレイを介して表示するように前記電子プログラム命令の制御下で操作可能であることを特徴とする装置。
2. 前記コントローラが、
   前記複数のシルエット及び知能機械学習技術を用いてオフラインで学習される数千の公知のヒトの形状に基づいて前記ボディの前記第２の表現を作成するように前記電子プログラム命令の制御下で操作可能である請求項１に記載の装置。
3. 前記コントローラが、また、
   可聴音、単語、又はセリフを介して、表示された前記ユーザ特有のスケルトンに表示されたボディの部分を位置合わせするように前記ユーザに指示するように前記電子プログラム命令の制御下で操作可能であり、前記電子プログラム命令が、作成された前記スケルトン及び前記ボディの前記１つ以上のリアルタイムに捕捉された画像から抽出した形状の特徴、ポーズの特徴、及び時空間的特徴を含む特性間で計算される誤差によって位置合わせプロセスを制御するように操作可能である請求項１に記載の装置。
4. 前記コントローラが、また、
   送信されたユーザの高さ情報、並びに画像の高さ及びピクセルにおける幅に基づいて、二値画像のユーザブロブ解析、投影理論、及びカメラモデルを用いて、
   ポーズＰとして定義される、各画像におけるカメラの位置及び姿勢を含む捕捉カメラの固有及び外部パラメータの初期推定値、並びに
   スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む、ＪＫとして定義される、前記ボディのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値
   を計算するように前記電子プログラム命令の制御下で操作可能である請求項３に記載の装置。
5. 前記コントローラが、また、
   送信されたユーザの高さ及び重量の情報、又は前記ユーザの高さの情報のみに基づいて、前記ユーザが入力した高さ、重量、又は分かっている場合他のボディ測定値によって異なる、Ａｖとして定義される、初期平均アバターを予測し、
   前記平均アバターＡｖを、参照ポーズにおける公知のスケルトンモデルＪＫ、及びＷとして定義されるボーンの重量／高さマトリクスを有するサイズＮのジョイントの参照スケルトンにリギングするように前記電子プログラム命令の制御下で操作可能である請求項３に記載の装置。
6. 前記マトリクスＷが、前記予測プロセスの学習プロセス中に一度だけオフラインで計算され、次いで、他のアバターの予測又は作成に用いられる前記参照スケルトンモデルＪＫと共に保存され、Ｗを用いて、ジョイント、ボーン、並びに頂点Ｖ、エッジＥ、及び面Ｆによって表される実際の３Ｄアバター表面の関係をコンストレイン、制御、及びモデリングすることである請求項５に記載の装置。
7. 前記初期平均アバターＡｖを予測するプロセスが、多変量系機械学習アプローチに従う請求項６に記載の装置。
8. 前記入力が、前記ボディの分類を更に含み、前記コントローラが、
   前記ボディの分類に基づいて、前記ボディの分類に対応するデータを得；
   更に前記第１の表現と得られたデータとを比較することによって前記第１の表現を処理し；
   更に前記比較に基づいて前記ボディの前記第２の表現を作成するように前記電子プログラム命令の制御下で操作可能である請求項１に記載の装置。
9. 得られた前記データが、テンプレート；前記ボディの以前の表現；並びに（ｉ）前記ボディ及び（ｉｉ）他のボディの一方又は両方の１以上の以前の表現の積分又は前記１以上の以前の表現に関連するデータの積分のうちの少なくとも１つを含む請求項８に記載の装置。
10. 前記入力が、運動センサ、赤外線センサ、深さセンサ、三次元イメージングセンサ、慣性センサ、マイクロエレクトロメカニカル（ＭＥＭＳ）センサ、加速度センサ、姿勢センサ、方位センサ、及び位置センサのうちの１以上を介して、一部受信される請求項１に記載の装置。
11. 前記入力が、平面への位置合わせを促進して精度を高めるために前記ボディの前記１以上の視覚的表現の捕捉中に使用するための姿勢データを提供するように操作可能である姿勢センサを介して、一部受信される請求項１０に記載の装置。
12. 前記ボディの前記１以上の視覚的表現が、前記ボディの少なくとも１つの正面の写真及び前記ボディの少なくとも１つの側面の写真を含み、前記写真が、標準的な二次元（２Ｄ）の二値、グレー、又はカラー画像；色及びテクスチャの１つ又は両方を有するか又は有しない奥行き画像；色及びテクスチャの１つ又は両方を有するか又は有しないボディの完全三次元（３Ｄ）点群又は多数の不完全点群；又は色及びテクスチャの１つ又は両方を有するか又は有しないボディの三次元（３Ｄ）メッシュのうちの少なくとも１つを含む請求項１１に記載の装置。
13. 前記コントローラが、更に、
    可聴音、単語、セリフを介して、表示された前記ユーザ特有のスケルトンに前記ボディの部分を位置合わせするように前記ユーザに指示し、前記電子プログラム命令が、作成された前記スケルトン及び前記ボディの１以上のリアルタイムに捕捉された画像から抽出した形状特徴、ポーズ特徴、及び時空間的特徴を含む特性及び各種データ間で計算される誤差によって位置合わせプロセスを制御するように操作可能であり、
    確実に、略確実に、又は恐らく／多分前記ボディである、前記ボディの１以上の視覚的表現の１以上の前景領域又は特徴をセグメンテーションし；
    前記１以上の視覚的表現の前記１以上の前景領域又は特徴を、前記複数のシルエットのそれぞれに変換し；
    前記１以上のセグメンテーションされた前景領域又は特徴及びそのそれぞれのシルエットを、（ｉ）前記ボディの形状のハルの構築、（ｉｉ）特徴の抽出、又は（ｉｉｉ）キーポイントの測定値の抽出の１以上に用い；
    前記ハル、前記特徴、又は前記キーポイントの測定値のうちの１以上を使用して、選択されたテンプレートの平均ボディの３Ｄモデルに対して修正、リギング、及びモーフィングのうちの１以上を行い、前記第２の表現である修正済の対象特有の３Ｄモデル画像を作成するように前記電子プログラム命令の制御下で操作可能である請求項１２に記載の装置。
14. 色及びテクスチャの一方又は両方を有するか又は有しない奥行き画像、点群、及びメッシュの場合、前記コントローラが、前記ボディの三次元の対象特有の形状を再構築するように前記電子プログラム命令の制御下で操作可能である請求項１３に記載の装置。
15. ユーザのボディを画像化する方法であって、
    コントローラを制御するための電子プログラム命令を記憶することと、
    前記電子プログラム命令を介して前記コントローラを制御し、
    前記ボディの第１の表現を含む入力を、視覚的な画像を捕捉するように構成された画像捕捉装置を介して受信し、前記第１の表現が前記ボディの１以上の視覚的表現を含み、
    前記第１の表現をユーザディスプレイ上に表示し、
    前記入力が受信されたら、（ｉ）スケルトンジョイント位置のモデルと、（ｉｉ）前記ユーザの少なくとも重量とを用いて、前記ディスプレイ上に現れるユーザ特有のスケルトンを作成し、
    前記ユーザが、少なくとも一部（ｉ）前記ユーザ特有のスケルトンを、前記ボディの１以上のリアルタイムに捕捉された画像と共に表示することと、（ｉｉ）前記表示されたボディが前記表示されたユーザ特有のスケルトンに位置合わせされるように動くように、前記ユーザに指示することにより、前記第１の表現における前記ボディを前記ユーザ特有のスケルトンと位置合わせできるようにし、
    前記表示されたボディが、前記表示されたユーザ特有のスケルトンと位置合わせされたときに、前記ボディの前記第１の表現をセグメンテーションして、前記ボディの実質的に真の三次元スキャンの投影シャドウに対応する複数のシルエットを得ることによって前記第１の表現を処理し；
    前記複数のシルエットに基づいて前記ボディの第２の表現を作成し、
    作成された前記第２の表現を表示することとを含むことを特徴とする方法。
16. 前記ユーザが、前記ボディを前記ユーザ特有のスケルトンに位置合わせできるようにすることが、可聴音、単語、又はセリフを介して、表示された前記ユーザ特有のスケルトンに前記ボディの部分を位置合わせするように前記ユーザに指示することを含み、前記電子プログラム命令が、作成された前記スケルトン及び前記ボディの前記１以上のリアルタイムに捕捉された画像から抽出した形状特徴、ポーズ特徴、及び時空間的特徴を含む特性間で計算される誤差によって位置合わせプロセスを制御するように操作可能である請求項１５に記載の方法。
17. 前記電子プログラム命令を介して前記コントローラを制御して、
    送信されたユーザの高さ情報、並びに画像の高さ及びピクセルにおける幅に基づいて、二値画像のユーザブロブ解析、投影理論、及びカメラモデルを用いて、
    ポーズＰとして定義される、各画像におけるカメラの位置及び姿勢を含む捕捉カメラの固有及び外部パラメータの初期推定値、並びに
    スケルトンモデルの各ジョイントの３Ｄ位置及び３Ｄ姿勢を含む、ＪＫとして定義される、前記ボディのスケルトンを表すスケルトンモデルのジョイント運動の初期推定値
    を計算することを更に含む請求項１６に記載の方法。
18. 前記電子プログラム命令を介して前記コントローラを制御して、
    送信されたユーザの高さ及び重量の情報、又は前記ユーザの高さの情報のみに基づいて、前記ユーザが入力した高さ、重量、又は分かっている場合他のボディ測定値によって異なる、Ａｖとして定義される、初期平均アバターを予測し、
    前記平均アバターＡｖを、参照ポーズにおける公知のスケルトンモデルＪＫ、及びＷとして定義されるボーンの重量／高さマトリクスを有するサイズＮのジョイントの参照スケルトンにリギングすることを更に含む請求項１７に記載の方法。
19. 前記マトリクスＷが、前記予測プロセスの学習プロセス中に一度だけオフラインで計算され、次いで、他のアバターの予測又は作成に用いられる前記参照スケルトンモデルＪＫと共に保存され、Ｗを用いて、ジョイント、ボーン、並びに頂点Ｖ、エッジＥ、及び面Ｆによって表される実際の３Ｄアバター表面の関係をコンストレイン、制御、及びモデリングすることである請求項１８に記載の方法。
20. 前記初期平均アバターＡｖを予測するプロセスが、多変量系機械学習アプローチに従う請求項１９に記載の方法。
21. 前記多変量系機械学習アプローチが、様々な年齢及びポーズの現実のヒトの複数のリギング及びレンダリングされた三次元スキャンから抽出された３Ｄ特徴を用いてヒト形状のオフライン機械知能学習することを含む請求項２０に記載の方法。
22. 前記多変量系機械学習アプローチが、更に、ベクトルＭ＝（ｍ１，ｍ２，．．．，ｍＬ）（Ｌは、異なる測定値の数である）として定義される異なるボディ測定値間の様々な統計的関係の機械知能学習することを含み、使用中に、１以上の異なる測定値を考慮して１以上の測定値を予測することができ、これら測定値のうちの１以上を考慮して平均アバターＡｖを予測することができる請求項２１に記載の方法。
23. 新たな第１の表現において表される通り、アバターを変形させるか又は単にアニメーション化して前記ボディのＡｖ１として定義される新たなアバターにするために、前記参照又は平均アバターデータ（Ｖ、Ｅ、Ｆ、ＪＫ、Ｗ）、及び前記新たな第１の表現のＪＫ１として定義されるユーザのジョイント運動の公知値又は推定値を、Ａｖを公知であるか又は自然なヒトの動きから学習された多数の物理コンストレイントに基づいてＡｖ１に最適化及び変形させるコスト関数に供給し、使用中、前記平均アバターＡｖと同じボディ測定値を有する新たにアニメーション化されたアバターＡｖ１が、前記参照又は平均データの関数、Ａｖ１＝ｆ（Ａｖ，Ｗ，ＪＫ，ＪＫ１）である請求項２２に記載の方法。
24. 関数が、以下の２つの重み付けされたエネルギー最小化関数：
    Ｖ、Ｆ、及びＥを使用するラプラシアンコタンジェントマトリクスを利用する表面平滑度関数と、
    アバター頂点とそのスケルトン構造との間の対応を確実にコンストレインするために、Ｖ、Ｆ、及びＷを使用するボーン結合関数と
    を合わせることによって得られる請求項２３に記載の方法。
25. 前記入力が、前記ボディの分類を更に含み、前記電子プログラム命令を介して前記コントローラを制御して、
    前記ボディの分類に基づいて、前記ボディの分類に対応するデータを得；
    更に前記第１の表現と得られたデータとを比較することによって前記第１の表現を処理し；
    更に前記比較に基づいて前記ボディの前記第２の表現を作成することを更に含む請求項１５に記載の方法。
26. １以上のプロセッサによって実行されるとき、前記１以上のプロセッサに、
    視覚的な画像を捕捉するように構成された画像捕捉装置を介して、ボディの第１の表現を含む入力を受信させ、前記第１の表現は１以上の視覚的表現を含む、
    前記第１の表現を前記ディスプレイを介して表示させ、
    前記入力が受信されたら、（ｉ）スケルトンジョイント位置のモデルと、（ｉｉ）前記ユーザの少なくとも重量とを用いて、前記ディスプレイ上に現れるユーザ特有のスケルトンを作成させ、
    前記ユーザが、少なくとも一部（ｉ）前記ユーザ特有のスケルトンを、前記ボディの１以上のリアルタイムに捕捉された画像と共に表示することと、（ｉｉ）前記表示されたボディが前記表示されたユーザ特有のスケルトンに位置合わせされるように動くように、前記ユーザに指示することにより、前記第１の表現における前記ボディを前記ユーザ特有のスケルトンと位置合わせできるようにさせ、
    前記表示されたボディが、前記表示されたユーザ特有のスケルトンと位置合わせされたときに、前記ボディの前記第１の表現をセグメンテーションして、前記ボディの実質的に真の三次元スキャンの投影シャドウに対応する複数のシルエットを得ることによって前記第１の表現を処理させ、
    前記複数のシルエットに基づいて前記ボディの第２の表現を作成し、
    前記作成された第２の表現を表示させる命令が記憶されていることを特徴とする非一過性コンピュータ可読記憶媒体。
27. 画像捕捉装置を介して、前記ボディの第１の表現を含む入力を少なくとも一部受信し、前記第１の表現が１以上の視覚的表現を含み、
    前記第１の表現を前記ディスプレイを介して表示し、
    前記入力が受信されたら、（ｉ）スケルトンジョイント位置のモデルと、（ｉｉ）前記ユーザの少なくとも重量とを用いて、前記ディスプレイ上に現れるユーザ特有のスケルトンを作成し、
    前記ユーザが、少なくとも一部（ｉ）前記ユーザ特有のスケルトンを、前記ボディの１以上のリアルタイムに捕捉された画像と共に表示することと、（ｉｉ）前記表示されたボディが前記表示されたユーザ特有のスケルトンに位置合わせされるように動くように、前記ユーザに指示することにより、前記第１の表現における前記ボディを前記ユーザ特有のスケルトンと位置合わせできるようにし、
    前記表示されたボディが、前記表示されたユーザ特有のスケルトンと位置合わせされたときに、前記ボディの前記第１の表現をセグメンテーションして、前記ボディの実質的に真の三次元スキャンの投影シャドウに対応する複数のシルエットを得ることによって前記第１の表現を処理し；
    前記複数のシルエットに基づいて前記ボディの第２の表現を作成し、
    作成された前記第２の表現を前記ディスプレイを介して表示する、
    処理をコンピュータに実行させることを特徴とするプログラム。