JP7169489B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7169489B1
JP7169489B1 JP2022517318A JP2022517318A JP7169489B1 JP 7169489 B1 JP7169489 B1 JP 7169489B1 JP 2022517318 A JP2022517318 A JP 2022517318A JP 2022517318 A JP2022517318 A JP 2022517318A JP 7169489 B1 JP7169489 B1 JP 7169489B1
Authority
JP
Japan
Prior art keywords
dots
suit
information processing
clusters
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517318A
Other languages
English (en)
Other versions
JPWO2022190217A1 (ja
Inventor
正裕 伊藤
ゴフィネ フランソワ
ヘザー ジェイミー
リ ボー
ガードナー ジム
ヴィシャマリン リゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zozo Inc
Original Assignee
Zozo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zozo Inc filed Critical Zozo Inc
Publication of JPWO2022190217A1 publication Critical patent/JPWO2022190217A1/ja
Application granted granted Critical
Publication of JP7169489B1 publication Critical patent/JP7169489B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41HAPPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H1/00Measuring aids or methods
    • A41H1/02Devices for taking measurements on the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Details Of Garments (AREA)
  • Debugging And Monitoring (AREA)

Abstract

情報処理装置は、スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、ドットのクラスターを形成する形成部と、クラスターとドットとに番号を割り当てる割当部と、割り当てられた番号を取得して、所定の座標位置に設定し、シルエットを特定する特定部と、特定されたシルエットに基づいて、3Dモデルを生成する生成部と、を備える。形成部は、スーツのドットパターンから六角形のクラスターを形成し、六角形のクラスターを増やしていき一意のハニカム構造を形成する。割当部は、ハニカム構造から、クラスターとドットとに番号を割り当てる。スーツの全体に、ドットとして、中実のドットと中空のドットとがプリントされている。これにより、身体サイズ測定用衣服を用いて、より高精度にユーザの体の形状の3Dモデルを作成する。

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
従来、ユーザの体の形状を測定するための身体サイズ測定用衣服が開示されている。
意匠登録第1619661号公報 意匠登録第1619759号公報 意匠登録第1619761号公報 意匠登録第1619762号公報
しかしながら、上記の従来技術は、技術的に開発途上のものであり、さらなる発展・改良の余地がある。身体サイズ測定用衣服は、ユーザの体の形状に伴い、体の測定値(ウエストやヒップの周囲など)を示す正確な3Dモデルを作成するために用いられる。そのため、身体サイズ測定用衣服を用いて、より高精度にユーザの体の形状の3Dモデルを作成するための技術が求められている。
本願は、上記に鑑みてなされたものであって、より高精度にユーザの体の形状の3Dモデルを作成することを目的とする。
本願に係る情報処理装置は、スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成部と、前記クラスターに基づいて、3Dモデルを生成する生成部と、を備えることを特徴とする。
実施形態の一態様によれば、より高精度にユーザの体の形状の3Dモデルを作成することができる。
図1は、実施形態に係る身体サイズ測定方法の概要を示す説明図である。 図2は、旧型ボディスーツと新型ボディスーツとの一例を示す図である。 図3は、旧型ボディスーツと新型ボディスーツとの比較表を示す図である。 図4は、実施形態に係る端末装置の構成例を示す図である。 図5は、実施形態に係る処理手順を示すフローチャートである。 図6は、実施形態に係る画像処理手順を示すフローチャートである。 図7は、実施形態に係る3Dフィッティング処理手順を示すフローチャートである。 図8は、ハードウェア構成の一例を示す図である。
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.身体サイズ測定方法の概要〕
まず、図1を参照し、実施形態に係る情報処理装置が行う身体サイズ測定方法の概要について説明する。図1は、実施形態に係る身体サイズ測定方法の概要を示す説明図である。なお、図1では、身体サイズ測定用衣服を着用したユーザの体の形状を測定して、ユーザの体の3Dモデル(3次元モデル)を作成する場合を例に挙げて説明する。
(情報処理システム1)
本実施形態に係る情報処理システム1は、身体サイズ測定用衣服であるボディスーツを着用したユーザの体の形状に伴い、体の測定値(ウエストやヒップの周囲など)を示す正確な3Dボディモデルを作成する。3Dボディモデルは、アパレルのフィッティング、ダイエット・フィットネスレジメンの効果の追跡、機械学習・AI(Artificial Intelligence)システムのトレーニングなど、様々な使用目的に適応可能である。以下の説明において、3Dボディモデルを3Dモデルと簡略に表記する場合がある。
本実施形態に係る情報処理システム1は「ハードウェア」(伸縮性のあるボディスーツ+スマートフォン)と「ソフトウェア」(端末で起動されるアプリ、サーバソフトウェア・ウェブサイト)で構成されている。以下、これらの要素を詳細に解説する。
図1に示すように、情報処理システム1は、端末装置10と情報提供装置100と新型ボディスーツZSとを含む。端末装置10と情報提供装置100とは、それぞれネットワークNを介して、有線又は無線により互いに通信可能に接続される。ネットワークNは、例えば、LAN(Local Area Network)や、インターネット等のWAN(Wide Area Network)である。また、端末装置10は、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)等の無線通信網や、Bluetooth(登録商標)、無線LAN(Local Area Network)等の近距離無線通信を介してネットワークNに接続し、情報提供装置100と通信することができる。
また、図1に示す情報処理システム1に含まれる各装置の数は図示したものに限られない。例えば、図1では、図示の簡略化のため、端末装置10を1台のみ示したが、これはあくまでも例示であって限定されるものではなく、2台以上であってもよい。また、以下の説明において、新型ボディスーツZSを「スーツ」と簡略に記載することもある。すなわち、特に記載のない場合、スーツは新型ボディスーツZSを指す。
(情報提供装置100)
情報提供装置100は、ユーザU(利用者)の端末装置10と連携し、ユーザUの端末装置10に対して、各種アプリケーション(アプリ)等に対するAPIサービス等と、各種データを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。本実施形態では、情報提供装置100は、端末装置10に対して身体サイズ測定用のアプリケーション(アプリ)を提供し、端末装置10からアプリを用いて生成された3Dボディモデルを受け取る。そして、情報提供装置100は、3Dボディモデルを様々な目的に使用したり、様々な端末装置やサーバ装置に提供したりする。
(端末装置10)
端末装置10は、ユーザUにより使用されるスマートフォンやタブレット等のスマートデバイスであり、4G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置10は、スマートデバイスのみならず、デスクトップPC(Personal Computer)やノートPC等の情報処理装置であってもよい。
本実施形態では、端末装置10として、スマートフォンを例に説明する。リーズナブルな品質のカメラ(撮像装置)を搭載している条件を除けば、スマートフォンに特別な対応要件は必要ない。すなわち、スマートフォンは、一般的な品質のカメラを備えていれば十分であり、高解像度カメラや深度センサなどを備えた最新モデルである必要はない。
ユーザUが、身体サイズ測定用衣服である新型ボディスーツZSを用いて身体の3Dスキャンを行う場合、まず端末装置10に身体サイズ測定用のアプリケーション(アプリ)をインストールして起動し、端末装置10をスタンドに置いて新型ボディスーツZSを着用した状態で端末装置10の前に立ち、ゆっくりと身体を回転させながら一連の画像をキャプチャする。十分な数の画像(通常は12枚)が収集されると、アプリは画像を処理し、ユーザUの体のサイズと形状を表す3D「メッシュ」を構築する。
(新型ボディスーツZS)
新型ボディスーツZSは、標準的な低コストの衣服印刷技術(デジタル昇華印刷)を使用して製造された伸縮性及び密着性のあるぴったりとしたボディスーツである。新型ボディスーツZSは、着用者の全身(顔・頭を除く)をカバーし、レギンスとトップスの二つの部分で構成されている。新型ボディスーツZSには、表面のほとんどの部分を覆うドット柄のパターンがあり、密集された正六角形(ハニカム状)に配置されている。各ドットは「中実」(solid)または「中空」(hollow)のいずれかであり、疑似ランダムアルゴリズムを使用して選択されている。中空のドットはO字型(ドーナツ型)である。例えば、スーツ全体にほぼ同じ数の中実と中空のドットがプリントされている仕様である。新型ボディスーツZSの任意部位のドットのパターンを分析することにより、衣服のどの部分を見ているかを推測することができる。
ここで、図2を参照し、従来品である旧型ボディスーツFSと対比して、新型ボディスーツZSの特徴について説明する。図2は、旧型ボディスーツFSと新型ボディスーツZSとの一例を示す図である。
図2に示すように、旧型ボディスーツFSでは、1個当たり数cm程度の旧型マーカーFM(その上に2mmのドットDTが複数配置されている)を認識対象としていたが、新型ボディスーツZSでは、1個当たり6mmの新型マーカーM1、M2を認識対象としている。新型マーカーM1、M2はそれぞれドットを兼ねている。すなわち、新型マーカーM1、M2自体がドットである。ここでは、新型マーカーM1は「中実」(solid)のドットであり、新型マーカーM2は「中空」(hollow)のドットである。これにより、認識性が向上し、スマートフォンのカメラでより多くのマーカー情報をとらえることが可能になった。なお、上記のサイズは一例に過ぎない。実際には、ドットや中空は任意のサイズであってもよい。
また、旧型ボディスーツFSを用いた測定では約400個のマーカーを認識対象としていたが、新型ボディスーツZSを用いた測定では約20,000個のマーカーを認識対象とすることができる。すなわち、新型ボディスーツZSは、旧型ボディスーツFSと比べて約50倍のマーカー数となり、計測・解析精度が大幅に向上している。これにより、詳細な体型情報の読み取りを行い、より正確な3Dモデルを生成することが可能になった。
(ドット柄の主なデザイン・印刷要件)
スーツのドット(新型ボディスーツZSの新型マーカーM1、M2)は可能な限り密に詰める必要があるが、斜めから見たときとカメラのレンズを通して遠くから見たときにスーツの背景色から検出してセグメント化できるよう、各ドットの周囲に十分な余白が必要である。また、「中空」ドットの場合、円の内枠部分のサイズは上記の見た目条件下で中実のドットと明確に区別できる必要がある。さらに、印刷された各ドットの前景色と背景色のコントラストについては、照明環境が悪い場合でも簡単に検出できることが重要である。
ドットの色と背景色の選定に関しては柔軟性が許容される。最も単純なケースでは、ドットは白で、スーツの背景色は黒である。しかし、色付きのスーツやドット、単一のスーツ全体に複数の背景色のバリエーションなど、幅広いカラー仕様の対応が可能である。また、スーツの背景にロゴや画像を埋め込んで、よりカスタマイズされたデザインを作成することも可能である。
また、円形のドットの代わりに、正方形や六角形を使用したり、2種類のドットや他の幾何学模様を区別するために色を使用したりすることもできる。
新型ボディスーツZSの生地に関しては、伸縮性がありピッタリとフィットすることが重要で、ほとんどの人が快適にかつフィットした状態で着られる生地を使うことによって、必要なサイズのバリエーション数を最小限に抑えることができる。また、生地は高度に引き延ばされた場合でも、ドットをはっきりと認識できる十分なコントラストを備えていることが重要である。
(基準マーカーRM)
伸縮性のないインクでプリントされていたマーカー(旧型マーカーFM)がついていた旧型ボディスーツFSとは異なり、新型ボディスーツZSのマーカー(新型マーカーM1、M2)は伸縮性があるため、スーツ自体の製造がより簡単である。ただし、新型ボディスーツZSは、スケールの参照を持つために、伸縮しない基準マーカーRM(既知のサイズ)をいくつか保持している。基準マーカーRMは、少なくとも新型マーカーM1、M2よりもサイズが大きい。本実施形態では、基準マーカーRMは、旧型マーカーFMと同じサイズである。これらの基準マーカーRMは、ロゴが中心にある白い丸型のもので、戦略的な部位(バスト、背中、脚)につけられている。本実施形態では、新型ボディスーツZSは、胸部の中心に1つ、背中の肩甲骨の辺りに2つ(右側に1つ、左側に1つ)、脚の両膝の外側に2つ(右脚側に1つ、左脚側に1つ)の合計5個の基準マーカーRMを保持している。基準マーカーRMの素材には伸縮しないプラスチックを使用していて、ヒートプレスを使ってスーツに付着している。
(ボディモデル)
本実施形態では、ボディモデルとして、人体のパラメトリックモデルを想定している。例えば、ボディモデルとして、商用ライセンスされているSMPLモデル(Skinned Multi-Person Linear model)を使用する。他のパラメトリックボディモデル(独自仕様または第三者提供)も使用できる。原則として、適切なボディモデルが利用可能であれば、例えばPET(Positron Emission Tomography:陽電子放出断層撮影)など、他のオブジェクトのスキャンも可能である。
(画像処理)
3Dモデルを構築するための基本的な入力データは、様々な視野角(画角も含む)から撮影された、スーツを着用したユーザUの写真(画像)である。本実施形態では、様々な視野角から12枚の写真を撮影する。使用アルゴリズムは、スーツを覆うドットパターンを検知して認識することにより画像内の人物を検出することができる。見えている範囲であれば、画像内の顔や目を検出することも可能である。
画像は、スーツのドット(新型ボディスーツZSの新型マーカーM1、M2)である可能性のある小さな円形/楕円型の「丸」(blob)を認識するために処理される。また、それぞれ検出されたドットが「中実」、「中空」 、「不明」に分類される。そして、各ローカル画像近傍で検出されたドットの相対的な位置を分析して、予想されるハニカム(正六角形)パターンに適合するようなドットの「クラスター」(Cluster)を形成する。
形成された各クラスターは、スーツのドットの印刷に使用された既知の疑似ランダムパターンに対して一致しているか、回転対称性を考慮した上で確認される。一部のクラスターは小さすぎて一致を取得できないため、または無効なドットが含まれていて認識できないため、この段階で拒否される。残りのクラスターについては、各ドットにスーツ上で識別するための一意の番号(数値識別子)が割り当てられる。
ドット検出と識別プロセスは、各画像に適用され、検出された各ドットのピクセル座標のセットおよび対応する数値識別子を取得する。取得データは、3Dボディモデルをフィッティングするために必要な基本入力データとして3Dフィッティングアルゴリズムに入力される。
ドットの位置に加えて、使用しているアルゴリズムは、各写真を処理して画像内の人物のシルエット(輪郭)を特定することも可能である。ただし、輪郭の特定は、スーツと背景のコントラストにもよるため、シルエットが明確に表示されているピクセルのみに対して検出できる。シルエットは、3Dモデルをより明確にフィッティングするための強力な入力データである。
(3Dフィッティング)
3Dフィッティングアルゴリズムでは、各画像フレームで検出されたドット、シルエットの位置に正確にフィットするボディモデルパラメーター、および相対的なカメラポーズのセットを計算する。具体的には、(i)ユーザUの体の形状の3Dモデル、(ii)体の各ドットの位置、(iii)体に対するカメラの位置と向き、そして(iv)各画像に写っている体のポーズを同時に推定することを目的としている。方法としては、反復手順を使用し、すべてのパラメーターを調整しながら(最初の推測から開始)、各画像の各ドットの予測位置と観測位置の間のピクセル距離を最小化する。一つまたは複数の画像フレームでシルエットが検出された場合、それらも最小化に含まれる。フィッティングプロセスは、以下のような、いくつかの連続したステップで構成されている。
(1)最初の推測
平均的な体の形から始めて、体の各ドットの「デフォルト」の位置を想定し、フィッティングアルゴリズムが検出された画像データと一致する相対的なカメラポーズのセットを見つけようとする。収束を高速化させるために、アルゴリズムにユーザUの性別、身長、体重、ユーザUのポーズ(対応しているポーズから選択)などの追加情報(利用可能な場合)を入力する。
(2)ポイントクラウドフィット
最初の推測から始めて、各ドットの3D位置とカメラのポーズの推定値が繰り返し調整され、各画像フレームで検出されたドットの位置との一致が向上する。このステップは、コンピュータービジョンでは標準的であり、通常は「バンドル調整」と呼ばれる。次に、パラメトリックボディモデル(SMPL)のパラメーターを最適化し、各3Dドット位置からメッシュの表面までの距離を最小化することにより、3Dボディモデルの初期フィットが実行される。
(3)ボディフィッティング
続いて、パラメトリックボディモデル(SMPL)のパラメーターをさらに調整して、各画像の予測ドット位置と観測ドット位置の間の距離を最小化する。このステップでは、必要に応じてドットを体の表面上で移動させることができる。スーツの着用方法にばらつきが生じた場合、生地を局所的にねじったり伸ばしたりすると、体の予期しない場所にドットが表示される可能性があるためである。また、シルエットデータは、この段階でフィッティングプロセスに含まれる。フィッティングプロセスは反復的であり、「粗いものから細かいものへ」の処理戦略に従う。この戦略では、最も重要なモデルパラメーターのサブセットが最初に推定され、アルゴリズムが進むにつれて追加のパラメーターが導入される。フィッティングの最後のステップでは、モデルの「動的」な変化、つまり画像フレーム間の手足の動きが可能になる。
これらのステップの構成方法にはある程度の柔軟性がある。また、用途ごとに異なる構成を使用できる。上記3ステップは、スマートフォンで約30秒以内にすべての処理を完了させることができる独自の高速数学アルゴリズムを使用して実装されている。
(アプリ)
ユーザUをスキャンするための「デフォルト」モードでは、スマートフォンである端末装置10を段ボール製のスタンドに乗せ、スタンドを平面の机の上に置いた状態で背面カメラをユーザUに向ける。上記のスタンドは、スーツの付属品としてユーザUに提供されてもよい。次に、ユーザUは端末装置10の前に立ち、写真を撮っている間、様々な角度で体を回転するように案内される。ユーザUはスキャン全体を通して一貫した体のポーズを維持し、各写真が撮影されている間は静止する必要がある。デフォルトのスキャンポーズでは、直立の状態で、脚を肩幅に広げ、腕をまっすぐにして下向きに保持し、腰から少し離す。デフォルトポーズの他、腕を上げてスキャンするポーズなども対応している。
アプリは、スキャンを開始する前に、ユーザUが正しくスーツを着用していることを確認し、最適な立位に誘導するためのチュートリアル、デザイン図、インタラクティブなチェック、音声案内を提供している。その他、以下のような代替スキャンモードも実装されている。
(1)他者撮影
ユーザUが静止している際に、2人目の人物に様々な角度から写真を撮ってもらう。いわゆる「バディモード」で、スキャン手順を理解していない子供をスキャンする場合に便利である。
(2)連続回転
ユーザUが写真を撮る際に停止する必要をなくすために、静止画のセットの代わりにビデオキャプチャを使用する。
(3)柔軟な動作対応
例えば、画像のフレーム間の大幅な手足の動きを認識する。
端末装置10は、スキャンが完了すると、3Dボディモデルが作成され、画面上でユーザUに表示する。あるいは、問題が検出されるとユーザUにエラーを提示し、再試行できるようにする。ユーザUの身体の測定値(ヒップ、ウエスト、脚の長さ等)も3Dモデルから計算され、計測結果としてユーザUに表示される。
(サーバ送信)
端末装置10は、スキャンが成功すると、3Dボディモデルをメインサーバである情報提供装置100にアップロードする。これにより、情報提供装置100は、アップロードされた3Dボディモデルを、衣服のフィッティングや時間の経過に伴う体の形状の追跡など、様々な場面で使用できるようになる。
アルゴリズムの高速な処理時間は、当該情報処理システム1の優れた機能の一つでもあり、集中処理のためにサーバに画像をアップロードする必要がなく、端末上ローカル(端末装置10)ですべての処理を完了することができる。例えば、端末装置10によっては約30秒で処理が完結する。この機能のおかげで画像のアップロードが完了するのを待つ必要がなく、個人の画像をインターネット経由で保存する必要もないので、ユーザにとっても有利である。
ただし、場合によっては、サーバ上(情報提供装置100)で処理を行うことが望ましいケースもある。例えば、非常に遅いOSの端末装置10をサポートする場合や、当該情報処理システムを専用アプリではなくWebブラウザで実行する場合などである。本実施形態に係るアルゴリズムとUX機能は、サーバ上(情報提供装置100)での処理にも対応している。すなわち、上記の身体サイズ測定及び3Dモデルの生成に関する処理は、端末上(端末装置10)に限らず、サーバ上(情報提供装置100)で実行してもよい。この場合、上記のアプリは、サーバソフトウェアと読み替えてもよい
〔1-1.新旧比較〕
次に、図3を参照し、旧型ボディスーツFSと新型ボディスーツZSとの具体的な違いについて説明する。図3は、旧型ボディスーツFSと新型ボディスーツZSとの比較表を示す図である。
(マーカー)
旧型ボディスーツFSには、400個から500個の固定サイズのマーカーがスーツ全体にまばらに分布されている。一方、新型ボディスーツZSでは、20,000個から40,000個の伸縮性のある円形ドットがスーツの表面を密に覆っている。そのため、特に曲率の高い部位では体形をより明確に表現することが可能である。
(エンコーディング)
旧型ボディスーツFSの各マーカー(旧型マーカーFM)には、1~512の識別子をエンコードする一連の小さな円形のドットDTが含まれている。一方、新型ボディスーツZSの各ドット(新型マーカーM1、M2)は、中実または中空の円形になっている。ドットの局所的な位置を分析し、より大きな疑似ランダムパターンで一致を見つけることによって一意に識別される。
(スケール参考基準)
旧型ボディスーツFSでは、すべてのマーカー(旧型マーカーFM)は既知サイズの直径20mm(±0.5mm)の固定マーカーFMである。一方、新型ボディスーツZSでは、伸縮性がある新型マーカーM1、M2とは別に、いくつかの既知サイズのロゴ付きの固定マーカー(基準マーカーRM)が衣服の重要な位置(胸、背中、脚)につけられている。
(製造)
旧型ボディスーツFSでは、特殊な低伸縮性インクを使用し、カスタマイズされた高価なスクリーン印刷方法で製造している。一方、新型ボディスーツZSでは、標準の低コストで高速かつクリーンな製造方法(標準のスクリーン印刷やデジタル印刷など)を使用している。熱伝達を使用して手動で取り付けられるスケールマーカーも用いている。
(画像処理)
旧型ボディスーツFSでは、画像内の基準マーカーとなる旧型マーカーFMのいずれかを検出及び識別するためのアルゴリズムを用いている。一方、新型ボディスーツZSでは、画像内のドット(新型マーカーM1、M2)のクラスターを検出、分類、および識別するためのアルゴリズムを用いている。
(ボディモデル)
旧型ボディスーツFSでは、独自のPCAボディモデル(手足の動きの基本的なサポートのみ)を使用し、体の形状を推定する。一方、新型ボディスーツZSでは、関節式の商用ボディモデル(SMPL)により、ボディ形状の推定とモデルの動的な再配置が可能である。
(計測精度)
旧型ボディスーツFSでは、平均表面計測誤差は7mm以下である。一方、新型ボディスーツZSでは、平均表面計測誤差は4mm以下である。
〔1-2.他の特徴点〕
ここで、新型ボディスーツZSの他の特徴点について以下に説明する。
(1)固定マーカーの設置
スーツが伸縮するため、伸縮性がある計測マーカーである新型マーカーM1、M2も伸縮することにより、計測時の基準スケールが取得できなくなるという課題があった。そこで、スケールサイズを特定するために伸縮しない固定マーカーである基準マーカーRMを所定の数だけ所定の位置に、定点設置することで解決した。
所定の位置と数は、計測精度を落とさず、全身を撮影する時の各視野角での撮影時に、必ず固定マーカーが含まれる位置(胸、背中、足)と数(4点以上)である。すなわち、所定の位置と数は、スーツの全体をどの角度から撮影しても、必ず固定マーカーが含まれる位置と数である。
固定マーカーである基準マーカーRMの周辺に伸縮素材エリアを設けることにより、新型ボディスーツZSに適した固定マーカーを実現した。
(2)ドット検知方法
端末装置10は、ドットの相対的な位置分析をして、ハニカムパターンに適合するように、ドットのクラスターを形成する。例えば、端末装置10は、ドットパターンから六角形のクラスターを作り、六角形のクラスターを増やしていき一意のハニカム構造を作る。そのハニカム構造から、クラスターとドットに番号を振り分ける。このとき、端末装置10は、各クラスターのドッドのランダムパターンが、既知のランダムパターンと一致しているか確認する(パターンマッチング)。端末装置10は、ランダムパターンを確認する際、各ドットを所定のドットに分類する。例えば、各ドットを、中実、中空、不明(特定不能)のいずれかに分類する。
端末装置10は、割り当てられた番号を取得して、所定の座標位置に設定し、シルエット(輪郭)を特定する。そして、端末装置10は、特定したシルエットに対し、予め設定した所定のボディパラメーター+カメラポーズセットデータに基づき、体の3Dモデル形状データを生成し、生成した形状データから身体サイズの計測を可能とする。
(3)スーツサイズパターン判定
スーツは、予め複数のサイズパターン(所定のパターン数)を用意し、ユーザ側の身体に応じて、任意のサイズパターンを選択する。例えば、サイズパターンとして、Sサイズ(小)、Mサイズ(中)、Lサイズ(大)等のスーツを用意してもよい。計測にあたっては、サイズパターンごとの計測アルゴリズムを設け、スーツ撮影時に、上記ハニカム構造の分析に基づき、サイズパターンを判定し、サイズパターンに応じた計測アルゴズムを適用する。
〔1-3.基本動作〕
以上を踏まえて、実施形態に係る情報処理装置が行う身体サイズ測定方法の基本動作について説明する。
図1に示すように、端末装置10は、アプリを起動し、カメラ機能により、様々な視野角(画角も含む)から、新型ボディスーツZSを着用したユーザUの全身(スーツ全体)を撮影する(ステップS1)。本実施形態では、予め複数のサイズパターン(所定のパターン数)のスーツが用意されており、ユーザUの身体に応じて、任意のサイズパターンが選択される。端末装置10は、様々な視野角から12枚の写真を撮影する。また、全身を撮影する時の各視野角での撮影時に、必ず固定マーカー(基準マーカーRM)が含まれる。
続いて、端末装置10は、撮影された画像から、スーツのドット(新型ボディスーツZSの新型マーカーM1、M2)である可能性のある小さな円形/楕円型の「丸」(blob)を検出する(ステップS2)。
続いて、端末装置10は、それぞれ検出されたドットを、「中実」、「中空」 、「不明」のいずれかに分類する(ステップS3)。
続いて、端末装置10は、検出されたドットの相対的な位置を分析して、予想されるハニカム(正六角形)パターンに適合するようなドットの「クラスター」(Cluster)を形成する(ステップS4)。例えば、端末装置10は、ドットパターンから六角形のクラスターを作り、六角形のクラスターを増やしていき一意のハニカム構造を作る。
続いて、端末装置10は、形成されたクラスターについて、スーツのドットの印刷に使用された既知の疑似ランダムパターンに対して一致しているか、回転対称性を考慮した上で確認する(ステップS5)。一部のクラスターは、小さすぎて一致を取得できないため、または無効なドットが含まれていて認識できないため、この段階で拒否される。
続いて、端末装置10は、形成されたクラスターについて、各ドットにスーツ上で識別するための一意の番号を割り当てる(ステップS6)。すなわち、番号は数値識別子である。
続いて、端末装置10は、上記ハニカム構造の分析に基づき、サイズパターンを判定し、サイズパターンごとの計測アルゴリズムの中から、判定されたサイズパターンに応じた計測アルゴズムを適用する(ステップS7)。
続いて、端末装置10は、適用された計測アルゴズムに基づいて、新型ボディスーツZSを着用したユーザUの体の形状のシルエットを特定する(ステップS8)。本実施形態では、端末装置10は、検出された各ドットのピクセル座標のセットおよび対応する数値識別子を取得する。そして、取得データを、3Dボディモデルをフィッティングするために必要な基本入力データとして3Dフィッティングアルゴリズムに入力する。端末装置10は、ドットの位置に加えて、使用しているアルゴリズムに基づいて、各写真を処理して画像内の人物のシルエットを特定する。
続いて、端末装置10は、特定されたシルエットに基づいて、3Dモデルを生成する(ステップS9)。端末装置10は、生成された3Dモデルを、画面上でユーザUに表示する。また、端末装置10は、生成された3DモデルからユーザUの身体の測定値(ヒップ、ウエスト、脚の長さ等)も計算し、計測結果としてユーザUに表示する。
なお、端末装置10は、生成された3Dモデルを情報提供装置100にアップロードしてもよい。また、上記のステップS2~S9の処理は、任意の段階で、情報提供装置100が行うようにしてもよい。すなわち、上記のステップS2~S9の説明において、端末装置10は情報提供装置100と読み替えてもよい。
〔2.端末装置の構成例〕
次に、図4を用いて、端末装置10の構成について説明する。図4は、端末装置10の構成例を示す図である。図4に示すように、端末装置10は、通信部11と、表示部12と、入力部13と、測位部14と、撮像部15と、センサ部20と、制御部30(コントローラ)と、記憶部40とを備える。
(通信部11)
通信部11は、ネットワークN(図3参照)と有線又は無線で接続され、ネットワークNを介して、情報提供装置100との間で情報の送受信を行う。例えば、通信部11は、NIC(Network Interface Card)やアンテナ等によって実現される。
(表示部12)
表示部12は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescent Display)である。また、表示部12は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
(入力部13)
入力部13は、ユーザUから各種操作を受け付ける入力デバイスである。また、入力部13は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部12がタッチパネル式のディスプレイである場合、表示部12の一部が入力部13として機能する。なお、入力部13は、ユーザUから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
(測位部14)
測位部14は、GPS(Global Positioning System)の衛星から送出される信号(電波)を受信し、受信した信号に基づいて、自装置である端末装置10の現在位置を示す位置情報(例えば、緯度及び経度)を取得する。すなわち、測位部14は、端末装置10の位置を測位する。なお、GPSは、GNSS(Global Navigation Satellite System)の一例に過ぎない。
また、測位部14は、GPS以外にも、種々の手法により位置を測位することができる。例えば、測位部14は、位置補正等のための補助的な測位手段として、端末装置10の様々な通信機能を利用して位置を測位してもよい。
(撮像部15)
撮像部15は、新型ボディスーツZSを着用したユーザUを撮影する画像センサ(カメラ)である。例えば、撮像部15は、CMOSイメージセンサやCCDイメージセンサ等である。なお、撮像部15は、内蔵カメラに限らず、端末装置10と通信可能なワイヤレスカメラや、Webカメラ等の外付けカメラであってもよい。
(センサ部20)
センサ部20は、端末装置10に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置10以外の検知装置であってもよい。図4に示す例では、センサ部20は、加速度センサ21と、ジャイロセンサ22と、気圧センサ23と、気温センサ24と、音センサ25と、光センサ26と、磁気センサ27とを備える。
なお、上記した各センサ21~27は、あくまでも例示であって限定されるものではない。すなわち、センサ部20は、各センサ21~27のうちの一部を備える構成であってもよいし、各センサ21~27に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。
加速度センサ21は、例えば、3軸加速度センサであり、端末装置10の移動方向、速度、及び、加速度等の端末装置10の物理的な動きを検知する。ジャイロセンサ22は、端末装置10の角速度等に基づいて3軸方向の傾き等の端末装置10の物理的な動きを検知する。気圧センサ23は、例えば端末装置10の周囲の気圧を検知する。
端末装置10は、上記した加速度センサ21やジャイロセンサ22、気圧センサ23等を備えることから、これらの各センサ21~23等を利用した歩行者自律航法(PDR:Pedestrian Dead-Reckoning)等の技術を用いて端末装置10の位置を測位することが可能になる。これにより、GPS等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。
例えば、加速度センサ21を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ22を利用して、ユーザUの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ23で検知した気圧から、ユーザUの端末装置10が存在する高度やフロアの階数を知ることもできる。
気温センサ24は、例えば端末装置10の周囲の気温を検知する。音センサ25は、例えば端末装置10の周囲の音を検知する。光センサ26は、端末装置10の周囲の照度を検知する。磁気センサ27は、例えば端末装置10の周囲の地磁気を検知する。
上記した気圧センサ23、気温センサ24、音センサ25、光センサ26及び撮像部15は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置10の周囲の環境や状況等を検知することができる。また、端末装置10の周囲の環境や状況等から、端末装置10の位置情報の精度を向上させることが可能になる。
(制御部30)
制御部30は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。
制御部30は、表示部12等を含め、端末装置10全体を制御する。例えば、制御部30は、通信部11を介して記憶部40に記憶された各種情報を送信することや、受信された各種情報を表示部12へ出力して表示させることができる。また、制御部30は、アプリを起動して、各種の機能を実現する。例えば、制御部30は、アプリを起動して、後述する検出部31、分類部32、形成部33、確認部34、割当部35、適用部36、特定部37、及び生成部38の機能を実現する。
制御部30は、検出部31と、分類部32と、形成部33と、確認部34と、割当部35と、適用部36と、特定部37と、生成部38とを備える。
検出部31は、撮像部15により新型ボディスーツZSを着用したユーザUの全身が撮影された際に、撮影された画像から、新型ボディスーツZSとともに伸縮する計測マーカーであるドット(新型ボディスーツZSの新型マーカーM1、M2)を検出する。
なお、新型ボディスーツZSの全体に、ドットとして、中実のドットと中空のドットとがプリントされている。また、新型ボディスーツZSには、スケールサイズを特定するために、ドットとは別に、伸縮しない固定マーカー(基準マーカーRM)が所定の数、所定の位置に、定点設置されている。なお、所定の位置と数は、新型ボディスーツZSの全体を撮影する時の各視野角での撮影時に、必ず固定マーカーが含まれる位置と数である。例えば、また、所定の位置は、新型ボディスーツZSの胸、背中、足に相当する位置である。そして、所定の数は、4点以上である。また、ドットとは別に、固定マーカーの周辺には伸縮素材エリアが設けられている。
分類部32は、新型ボディスーツZSの各ドットを中実、中空、不明のいずれかに分類する。すなわち、分類部32は、撮影された画像に含まれる新型ボディ新型ボディスーツZSZSの新型マーカーM1、M2を、中実、中空、不明のいずれかに分類する。
形成部33は、新型ボディスーツZSとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、ドットのクラスターを形成する。例えば、形成部33は、新型ボディスーツZSのドットパターンから六角形のクラスターを形成し、六角形のクラスターを増やしていき一意のハニカム構造を形成する。
確認部34は、形成されたクラスターのドッドのランダムパターンが既知のランダムパターンと一致しているか確認する。
割当部35は、ハニカム構造から、クラスターとドットとに番号を割り当てる。例えば、割当部35は、形成されたクラスターについて、各ドットにスーツ上で識別するための一意の番号を割り当てる。
適用部36は、形成されたクラスターに基づいて、複数のサイズパターンが用意されている新型ボディスーツZSのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する。
特定部37は、割り当てられた番号を取得して、所定の座標位置に設定し、シルエットを特定する。
生成部38は、クラスターに基づいて、3Dモデルを生成する。具体的には、生成部38は、特定されたシルエットに基づいて、3Dモデルを生成する。
(記憶部40)
記憶部40は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。かかる記憶部40には、各種プログラムや各種データ等が記憶される。
本実施形態では、記憶部40は、身体サイズ測定用のアプリを記憶する。また、記憶部40は、各ドットに割り当てられた番号を記憶する。また、記憶部40は、ランダムパターンの確認用の既知の疑似ランダムパターンを記憶する。また、記憶部40は、サイズパターンごとの計測アルゴリズムを記憶する。また、記憶部40は、新型ボディスーツZSを着用したユーザUの体の測定値(ウエストやヒップの周囲など)や、生成された3Dボディモデルを記憶する。さらに、記憶部40は、前述のデータ以外にも、実施形態に係る処理に用いられるデータや、処理の結果として得られるデータ等を記憶する。
〔3.処理手順〕
次に、図5を用いて実施形態に係る端末装置10による処理手順について説明する。図5は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、端末装置10の制御部30によって繰り返し実行される。
図5に示すように、端末装置10の制御部30は、撮像部15を用いて、新型ボディスーツZSを着用したユーザUの全身をスキャンする(ステップS101)。新型ボディスーツZS(スーツ)は標準的な低コストの衣服印刷技術(デジタル昇華印刷)を使用して製造された伸縮性のあるぴったりとしたボディスーツである。スーツは全身(顔・頭を除く)をカバーし、レギンスとトップスの二つの部分で構成されている。本実施形態では、制御部30は、スキャンを開始する前に、ユーザUが正しくスーツを着用していることを確認し、最適な立位に誘導するためのチュートリアル、デザイン図、インタラクティブなチェック、音声案内を提供する。そして、制御部30は、ユーザUをスキャンするための「デフォルト」モードにおいて、平面の机上に置かれた段ボール製のスタンドに乗せられた端末装置10の背面カメラの前に立ったユーザUに対して、様々な角度で体を回転するように案内する。案内は、音声出力による音声案内である。なお、端末の画面表示や光デバイスを用いた案内であってもよい。ユーザUはスキャン全体を通して一貫した体のポーズを維持し、各写真が撮影されている間は静止する。そして、制御部30は、撮像部15を用いて、様々な角度から、12枚の写真を撮影する。
続いて、端末装置10の制御部30は、スキャンにより撮影されたユーザUの全身の写真に対して、画像処理を行う(ステップS102)。本実施形態では、制御部30は、様々な角度から撮影された、スーツを着用したユーザUの写真(画像)を基本的な入力データとし、スーツを覆うドットパターンを検知して認識することにより画像内の人物を検出する。また、制御部30は、撮影された画像内の顔や目を検出してもよい。スーツには、表面のほとんどの部分を覆うドット柄のパターンがあり、密集された正六角形(ハニカム状)に配置されている。すなわち、制御部30は、スーツのドット(新型ボディスーツZSの新型マーカーM1、M2)である可能性のある小さな円形/楕円型の「丸」(blob)を認識するために画像処理を行う。各ドットは「中実」(solid)または「中空」(hollow)のいずれかであり、疑似ランダムアルゴリズムを使用して選択され、スーツ全体にほぼ同じ数の中実と中空のドットがプリントされている。そして、制御部30は、スーツの任意部位のドットのパターンを分析することにより、スーツのどの部分を見ているかを推測する。また、制御部30は、ドットの位置に加えて、各写真を処理して画像内の人物のシルエット(輪郭)を特定する。
続いて、端末装置10の制御部30は、各画像フレームで検出されたドット及びシルエットの位置に基づいて、3Dフィッティングを行う(ステップS103)。本実施形態では、制御部30は、3Dフィッティングアルゴリズムにより、各画像フレームで検出されたドット及びシルエットの位置に正確にフィットするボディモデルパラメーター、および相対的なカメラポーズのセットを計算する。具体的には、制御部30は、ユーザUの体の形状の3Dモデル、ユーザUの体の各ドットの位置、ユーザUの体に対するカメラの位置と向き、そして、各画像に写っている体のポーズを同時に推定する。このとき、制御部30は、反復手順を使用し、すべてのパラメーターを調整しながら(最初の推測から開始)、各画像の各ドットの予測位置と観測位置の間のピクセル距離を最小化する。なお、一つまたは複数の画像フレームでシルエットが検出された場合、それらも最小化する。
〔3-1.画像処理手順〕
ここで、図6を用いて実施形態に係る画像処理手順について説明する。図6は、実施形態に係る画像処理手順を示すフローチャートである。なお、以下に示す処理手順は、端末装置10の制御部30によって繰り返し実行される。
図6に示すように、端末装置10の検出部31は、撮像部15により新型ボディスーツZSを着用したユーザUの全身が撮影された際に、撮影された画像から、新型ボディスーツZSとともに伸縮する計測マーカーであるドット(新型ボディスーツZSの新型マーカーM1、M2)を検出する(ステップS201)。
続いて、端末装置10の分類部32は、新型ボディスーツZSの各ドットを中実、中空、不明のいずれかに分類する(ステップS202)。例えば、分類部32は、撮影された画像に含まれる新型ボディ新型ボディスーツZSZSの新型マーカーM1、M2を、中実、中空、不明のいずれかに分類する。
続いて、端末装置10の形成部33は、新型ボディスーツZSとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、ドットのクラスターを形成する(ステップS203)。例えば、形成部33は、各ローカル画像近傍で検出されたドットの相対的な位置を分析して、予想されるハニカム(正六角形)パターンに適合するようなドットのクラスターを形成する。
続いて、端末装置10の確認部34は、形成されたクラスターのドッドのランダムパターンが既知のランダムパターンと一致しているか確認する(ステップS204)。例えば、確認部34は、形成された各クラスターが、スーツの印刷に使用された既知の疑似ランダムパターンに対して一致しているか、回転対称性を考慮した上で確認する。一部のクラスターは小さすぎて一致を取得できないため、または無効なドットが含まれていて認識できないため、この段階で拒否される。
続いて、端末装置10の割当部35は、形成されたクラスターについて、各ドットにスーツ上で識別するための一意の番号を割り当てる(ステップS205)。例えば、割当部35は、確認部34により拒否されなかった残りのクラスターについて、各ドットにスーツ上で識別するための一意の番号を割り当てる。
続いて、端末装置10の適用部36は、形成されたクラスターに基づいて、複数のサイズパターンが用意されている新型ボディスーツZSのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する(ステップS206)。
続いて、端末装置10の特定部37は、割り当てられた番号を取得して、所定の座標位置に設定し、シルエットを特定する(ステップS207)。例えば、特定部37は、検出された各ドットのピクセル座標のセットおよび対応する数値識別子を取得し、各ドットのピクセル座標のセットおよび対応する数値識別子に基づいてシルエットを特定する。
〔3-2.3Dフィッティング処理手順〕
ここで、図7を用いて実施形態に係る3Dフィッティング処理手順について説明する。図7は、実施形態に係る3Dフィッティング処理手順を示すフローチャートである。なお、以下に示す処理手順は、端末装置10の制御部30によって繰り返し実行される。
図7に示すように、端末装置10の生成部38は、3Dフィッティングアルゴリズムにおける第1のフィッティングプロセスとして、最初の推測を行う(ステップS301)。例えば、生成部38は、平均的な体の形から始めて、体の各ドットの「デフォルト」の位置を想定し、フィッティングアルゴリズムが検出された画像データと一致する相対的なカメラポーズのセットを検出する。これを繰り返して収束させる。このとき、生成部38は、収束を高速化させるために、アルゴリズムにユーザUの性別、身長、体重、ユーザUのポーズ(対応しているポーズから選択)などの追加情報(利用可能な場合)を入力する。
続いて、端末装置10の生成部38は、3Dフィッティングアルゴリズムにおける第2のフィッティングプロセスとして、ポイントクラウドフィットを行う(ステップS302)。例えば、生成部38は、上記の最初の推測から始めて、各ドットの3D位置とカメラのポーズの推定値を繰り返し調整し、各画像フレームで検出されたドットの位置との一致を向上させる(バンドル調整)。次に、生成部38は、パラメトリックボディモデル(SMPL)のパラメーターを最適化し、各3Dドット位置からメッシュの表面までの距離を最小化することにより、3Dボディモデルの初期フィットを実行する。
続いて、端末装置10の生成部38は、3Dフィッティングアルゴリズムにおける第3のフィッティングプロセスとして、ボディフィッティングを行う(ステップS303)。例えば、生成部38は、パラメトリックボディモデル(SMPL)のパラメーターをさらに調整して、各画像の予測ドット位置と観測ドット位置の間の距離を最小化する。また、スーツの着用方法にばらつきが生じた場合、生地を局所的にねじったり伸ばしたりすると、体の予期しない場所にドットが表示される可能性があるため、必要に応じてドットを体の表面上で移動させる。また、シルエットデータは、この段階でフィッティングプロセスに含まれる。フィッティングプロセスは反復的であり、「粗いものから細かいものへ」の処理戦略に従う。この戦略では、最も重要なモデルパラメーターのサブセットが最初に推定され、アルゴリズムが進むにつれて追加のパラメーターが導入される。フィッティングの最後のステップでは、モデルの「動的」な変化、つまり画像フレーム間の手足の動きが可能になる。
〔4.変形例〕
上述した端末装置10及び情報提供装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
上記の実施形態において、ドット(新型ボディスーツZSの新型マーカーM1、M2)の色と背景色の選定に関しては柔軟性が許容される。例えば、円形のドットの代わりに正方形や六角形を使用したり、複数の種類のドットや他の幾何学模様を区別するために色を使用したりするなど、様々なデザインのバリエーションが許容される。ドット本体に限らず、中空の形状や色についても同様である。また、固定マーカー(基準マーカーRM)の色と背景色の選定に関しても同様である。また、上記の実施形態において、1個当たり6mmの新型マーカーM1、M2を例示しているが、実際には、ドットや中空、固定マーカーは、任意のサイズであってもよい。
また、上記の実施形態において、端末装置10が実行している処理の一部又は全部は、実際には、情報提供装置100が実行してもよい。例えば、サーバ上(情報提供装置100側)で処理が完結してもよい。この場合、情報提供装置100に、上記の実施形態における端末装置10の機能が備わっているものとする。
〔5.効果〕
上述してきたように、本願に係る端末装置10は、スーツ(新型ボディスーツZS)とともに伸縮する計測マーカーであるドット(新型マーカーM1、M2)の相対的な位置分析をして、ドットのクラスターを形成する形成部33と、クラスターに基づいて、3Dモデルを生成する生成部38と、を備える。
また、本願に係る端末装置10は、クラスターとドットとに番号を割り当てる割当部35と、割り当てられた番号を取得して、所定の座標位置に設定し、シルエットを特定する特定部37と、をさらに備える。そして、生成部38は、特定されたシルエットに基づいて、3Dモデルを生成する。
また、形成部33は、スーツのドットパターンから六角形のクラスターを形成し、六角形のクラスターを増やしていき一意のハニカム構造を形成する。そして、割当部35は、ハニカム構造から、クラスターとドットとに番号を割り当てる。
また、スーツの全体に、ドットとして、中実のドットと中空のドットとがプリントされている。
また、本願に係る端末装置10は、スーツの各ドットを中実、中空、不明のいずれかに分類する分類部32と、形成されたクラスターのドッドのランダムパターンが既知のランダムパターンと一致しているか確認する確認部34と、をさらに備える。
また、スーツには、スケールサイズを特定するために、ドットとは別に、伸縮しない固定マーカー(基準マーカーRM)が所定の数、所定の位置に、定点設置されている。
また、所定の位置と数は、スーツの全体を撮影する時の各視野角での撮影時に、必ず固定マーカーが含まれる位置と数である。
また、所定の位置は、スーツの胸、背中、足に相当する位置である。そして、所定の数は、4点以上である。
また、ドットとは別に、固定マーカーの周辺には伸縮素材エリアが設けられている。
また、本願に係る端末装置10は、スーツの撮影時に、クラスターに基づいて、複数のサイズパターンが用意されているスーツのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する適用部36と、をさらに備える。
上述した各処理のいずれかもしくは組合せにより、身体サイズ測定用衣服を用いて、より高精度にユーザの体の形状の3Dモデルを作成することが可能になる。
〔6.ハードウェア構成〕
また、上述した実施形態に係る端末装置10や情報提供装置100は、例えば図8に示すような構成のコンピュータ1000によって実現される。以下、端末装置10を例に挙げて説明する。図8は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力I/F(Interface)1060、入力I/F1070、ネットワークI/F1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置1030は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等により実現される。
一次記憶装置1040は、RAM(Random Access Memory)等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。二次記憶装置1050は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置1050は、USBメモリやSD(Secure Digital)メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置1050は、クラウドストレージ(オンラインストレージ)やNAS(Network Attached Storage)、ファイルサーバ等であってもよい。
出力I/F1060は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力I/F1070は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置1020から情報を受信するためのインターフェイスであり、例えば、USB等により実現される。
また、出力I/F1060及び入力I/F1070はそれぞれ出力装置1010及び入力装置1020と無線で接続してもよい。すなわち、出力装置1010及び入力装置1020は、ワイヤレス機器であってもよい。
また、出力装置1010及び入力装置1020は、タッチパネルのように一体化していてもよい。この場合、出力I/F1060及び入力I/F1070も、入出力I/Fとして一体化していてもよい。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。
ネットワークI/F1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力I/F1060や入力I/F1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が端末装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部30の機能を実現する。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器から取得したプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ1000の演算装置1030は、ネットワークI/F1080を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。
〔7.その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメーターを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
例えば、上述した情報提供装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
1 情報処理システム
10 端末装置
11 通信部
15 撮像部
30 制御部
31 検出部
32 分類部
33 形成部
34 確認部
35 割当部
36 適用部
37 特定部
38 生成部
40 記憶部
100 情報提供装置
ZS 新型ボディスーツ
M1、M2 新型マーカー
RM 基準マーカー

Claims (16)

  1. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記スーツのドットパターンから所定の多角形からなるクラスターを形成し、前記多角形からなるクラスターを増やしていくことで一意のクラスター構造を形成する形成部と、
    形成された クラスター構造に基づいて、シルエットを特定する特定部と、
    特定されたシルエットに基づいて、 3Dモデルを生成する生成部と、
    を備えることを特徴とする情報処理装置。
  2. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成部と、
    前記クラスターに基づいて、3Dモデルを生成する生成部と、
    を備え、
    前記スーツには、スケールサイズを特定するために、前記ドットとは別に、伸縮しない固定マーカーが所定の数、所定の位置に、定点設置されている
    ことを特徴とする情報処理装置。
  3. 前記所定の位置と数は、前記スーツの全体を撮影する時の各視野角での撮影時に、必ず前記固定マーカーが含まれる位置と数である
    ことを特徴とする請求項に記載の情報処理装置。
  4. 前記所定の位置は、前記スーツの胸、背中、足に相当する位置であり、
    前記所定の数は、4点以上である
    ことを特徴とする請求項又はに記載の情報処理装置。
  5. 前記ドットとは別に、前記固定マーカーの周辺には伸縮素材エリアが設けられている
    ことを特徴とする請求項のうちいずれか1つに記載の情報処理装置。
  6. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成部と、
    前記クラスターに基づいて、3Dモデルを生成する生成部と、
    前記スーツの撮影時に、前記クラスターの分析に基づいて、複数のサイズパターンが用意されている前記スーツのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する適用部と、
    を備えることを特徴とする 情報処理装置。
  7. 前記クラスターと前記ドットとに番号を割り当てる割当部と、
    割り当てられた番号を取得して、所定の座標位置に設定し、シルエットを特定する特定部と、
    をさらに備え、
    前記生成部は、特定されたシルエットに基づいて、前記3Dモデルを生成する
    ことを特徴とする請求項1~6のうちいずれか1つに記載の情報処理装置。
  8. 前記形成部は、前記スーツのドットパターンから六角形のクラスターを形成し、前記六角形のクラスターを増やしていき一意のハニカム構造を形成し、
    前記割当部は、前記ハニカム構造から、前記クラスターと前記ドットとに番号を割り当てる
    ことを特徴とする請求項に記載の情報処理装置。
  9. 前記スーツの全体に、前記ドットとして、中実のドットと中空のドットとがプリントされている
    ことを特徴とする請求項1~のうちいずれか1つに記載の情報処理装置。
  10. 前記スーツの各ドットを中実、中空、不明のいずれかに分類する分類部と、
    形成されたクラスターのドッドのランダムパターンが既知のランダムパターンと一致しているか確認する確認部と、
    をさらに備えることを特徴とする請求項に記載の情報処理装置。
  11. 情報処理装置が実行する情報処理方法であって、
    スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記スーツのドットパターンから所定の多角形からなるクラスターを形成し、前記多角形からなるクラスターを増やしていくことで一意のクラスター構造を形成する形成工程と、
    形成された クラスター構造に基づいて、シルエットを特定する特定工程と、
    特定されたシルエットに基づいて、 3Dモデルを生成する生成工程と、
    を含むことを特徴とする情報処理方法。
  12. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記スーツのドットパターンから所定の多角形からなるクラスターを形成し、前記多角形からなるクラスターを増やしていくことで一意のクラスター構造を形成する形成手順と、
    形成された クラスター構造に基づいて、シルエットを特定する特定手順と、
    特定されたシルエットに基づいて、 3Dモデルを生成する生成手順と、
    をコンピュータに実行させるための情報処理プログラム。
  13. 情報処理装置が実行する情報処理方法であって、
    スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成工程と、
    前記クラスターに基づいて、3Dモデルを生成する生成工程と、
    を含み、
    前記スーツには、スケールサイズを特定するために、前記ドットとは別に、伸縮しない固定マーカーが所定の数、所定の位置に、定点設置されている
    ことを特徴とする情報処理方法。
  14. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成手順と、
    前記クラスターに基づいて、3Dモデルを生成する生成手順と、
    をコンピュータに実行させるための情報処理プログラムであって、
    前記スーツには、スケールサイズを特定するために、前記ドットとは別に、伸縮しない固定マーカーが所定の数、所定の位置に、定点設置されている
    ことを特徴とする情報処理プログラム。
  15. 情報処理装置が実行する情報処理方法であって、
    スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成工程と、
    前記クラスターに基づいて、3Dモデルを生成する生成工程と、
    前記スーツの撮影時に、前記クラスターの分析に基づいて、複数のサイズパターンが用意されている前記スーツのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する適用工程と、
    を含むことを特徴とする情報処理方法。
  16. スーツとともに伸縮する計測マーカーであるドットの相対的な位置分析をして、前記ドットのクラスターを形成する形成手順と、
    前記クラスターに基づいて、3Dモデルを生成する生成手順と、
    前記スーツの撮影時に、前記クラスターの分析に基づいて、複数のサイズパターンが用意されている前記スーツのサイズパターンを判定し、サイズパターンごとに設けられた計測アルゴリズムのうち、判定されたサイズパターンに応じた計測アルゴズムを適用する適用手順と、
    をコンピュータに実行させるための情報処理プログラム。
JP2022517318A 2021-03-09 2021-03-09 情報処理装置、情報処理方法及び情報処理プログラム Active JP7169489B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009350 WO2022190217A1 (ja) 2021-03-09 2021-03-09 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2022190217A1 JPWO2022190217A1 (ja) 2022-09-15
JP7169489B1 true JP7169489B1 (ja) 2022-11-10

Family

ID=83226438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517318A Active JP7169489B1 (ja) 2021-03-09 2021-03-09 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (7)

Country Link
US (1) US20240153204A1 (ja)
EP (1) EP4306903A1 (ja)
JP (1) JP7169489B1 (ja)
CN (1) CN116964625A (ja)
CA (1) CA3212839A1 (ja)
TW (1) TWI819512B (ja)
WO (1) WO2022190217A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269936A (ja) * 2002-03-19 2003-09-25 Sanyo Electric Co Ltd 自動採寸方法
JP2009508193A (ja) * 2005-08-26 2009-02-26 ソニー株式会社 1次マーカ及び2次マーカを使用するモーションキャプチャ
US20120095589A1 (en) * 2010-10-15 2012-04-19 Arkady Vapnik System and method for 3d shape measurements and for virtual fitting room internet service
WO2018047687A1 (ja) * 2016-09-12 2018-03-15 パナソニックIpマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
WO2019189846A1 (ja) * 2018-03-30 2019-10-03 株式会社Zozo サイズ測定システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514350A (zh) * 2012-06-27 2014-01-15 富泰华工业(深圳)有限公司 具有虚拟试衣功能的电子装置及虚拟试衣方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269936A (ja) * 2002-03-19 2003-09-25 Sanyo Electric Co Ltd 自動採寸方法
JP2009508193A (ja) * 2005-08-26 2009-02-26 ソニー株式会社 1次マーカ及び2次マーカを使用するモーションキャプチャ
US20120095589A1 (en) * 2010-10-15 2012-04-19 Arkady Vapnik System and method for 3d shape measurements and for virtual fitting room internet service
WO2018047687A1 (ja) * 2016-09-12 2018-03-15 パナソニックIpマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
WO2019189846A1 (ja) * 2018-03-30 2019-10-03 株式会社Zozo サイズ測定システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
染原睦美 ほか,楽天・伊藤忠が参戦 打倒ゾゾ、EC大競争,日経コンピュータ,日本,日経BP社,2018年05月24日,第965号,pp.6-9,ISSN 0285-4619
染原睦美 ほか: "楽天・伊藤忠が参戦 打倒ゾゾ、EC大競争", 日経コンピュータ, vol. 第965号, JPN6021019526, 24 May 2018 (2018-05-24), JP, pages 6 - 9, ISSN: 0004799456 *

Also Published As

Publication number Publication date
TWI819512B (zh) 2023-10-21
TW202248871A (zh) 2022-12-16
US20240153204A1 (en) 2024-05-09
CA3212839A1 (en) 2022-09-15
WO2022190217A1 (ja) 2022-09-15
JPWO2022190217A1 (ja) 2022-09-15
EP4306903A1 (en) 2024-01-17
CN116964625A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
JP6368142B2 (ja) 情報処理装置、情報処理方法
JP2018538593A (ja) 表情検出機能を備えたヘッドマウントディスプレイ
WO2017161660A1 (zh) 增强现实设备、系统、图像处理方法及装置
US20170000389A1 (en) Biomechanical information determination
WO2015108071A1 (ja) 3次元データ生成装置、造形物製造システム及び3次元データ生成方法
JP6640294B1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
TWI790369B (zh) 尺寸測定系統
US11585931B2 (en) Light direction detector systems and methods
KR20160110070A (ko) 전자 장치 및 그 제어 방법
US11443486B2 (en) Mobile 3D body scanning methods and apparatus
JP2013196388A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN109345636B (zh) 获取虚拟人脸图的方法和装置
JP7169489B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7214092B2 (ja) 画像制御装置、及びそのプログラム
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
TWI764393B (zh) 壓力織物的製造方法
CN113405674B (zh) 体温测量方法及摄像设备
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP2022081282A (ja) 情報処理装置、情報処理プログラム及び情報処理システム
JP2013098588A (ja) 画像処理装置、画像処理方法
US10620436B2 (en) Head-mounted apparatus
US20160110886A1 (en) Information processing apparatus and clothes proposing method
US11645772B2 (en) Mobile 3D crowd scanning methods and apparatus
KR102495435B1 (ko) 특수 마네킹의 마커를 이용한 의류제품의 3차원 이미지 생성 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221028

R150 Certificate of patent or registration of utility model

Ref document number: 7169489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150