JP7228025B2 - 多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス - Google Patents

多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス Download PDF

Info

Publication number
JP7228025B2
JP7228025B2 JP2021503221A JP2021503221A JP7228025B2 JP 7228025 B2 JP7228025 B2 JP 7228025B2 JP 2021503221 A JP2021503221 A JP 2021503221A JP 2021503221 A JP2021503221 A JP 2021503221A JP 7228025 B2 JP7228025 B2 JP 7228025B2
Authority
JP
Japan
Prior art keywords
database
graphic
communication device
person
electronic communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503221A
Other languages
English (en)
Other versions
JP2021518626A (ja
Inventor
ジレイリヤ モハメッド アラヤ
コヴァセヴィチ,ミシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Page International FZ LLC
Original Assignee
Page International FZ LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Page International FZ LLC filed Critical Page International FZ LLC
Publication of JP2021518626A publication Critical patent/JP2021518626A/ja
Application granted granted Critical
Publication of JP7228025B2 publication Critical patent/JP7228025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47FSPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/19Show stands, hangers, or shelves, adapted for particular articles or materials for garments
    • A47F2007/195Virtual display of clothes on the wearer by means of a mirror, screen or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイスに関する。
ここ数年間、シャツ、Tシャツ、ズボンまたはメガネや帽子または縁なし帽などの付属品のいずれであれ、衣服の仮想試着のために拡張現実を使用することが知られてきている。この場合、ユーザは、カメラが接続されたPCタイプのコンピュータまたは通常は専用であるコンピュータデバイスを用いて、自身の画像上に衣服を仮想的に重ね合わせ、スクリーン上に結果を表示することができる。通常、これらのデバイスは、機材の観点から見て比較的重く、異なる姿勢でおよび/または運動中の状態でユーザを表示することを可能にしない。
近年、使用するデバイスをより軽量にすることを目的とした技術的改良が出現している。こうして、米国特許出願公開第2017/0018024号は、スマートフォンまたはタブレットなどの無線移動体デバイスを用いた拡張現実による仮想試着方法を開示している。この方法は、人物の顔面、次に肩および首を検出して、この人物の上半身の形状をモデリングし、シャツまたはTシャツなどの衣服をこの静的形状の上に重ね合わせる。
該方法は、追跡によって人物の動きをたどり、こうして衣服の動きを人物の動きに適応させることを可能にする。あらゆる場合において、人物の画像上に重ね合わされる衣服は、所与の数の衣服を伴う定義済みのデータベースから引き出される。実際、ユーザは、デバイスの提供者によって提供される多少の差こそあれ大量の衣服コレクションから1つの衣服を選択する。したがってユーザは、選択された衣服をパーソナライズすることができない。さらに、この方法では、1人の人物上に1つの衣服の1つの画像しか重ね合わせることができない。
以上のことは、実装が容易でありながら、かつさまざまな形態の複数のユーザにより、仮想的かつ同時に試着されるべき衣服のパーソナライゼーションの可能性を提供する方法およびデバイスを提案することによって、本発明がより特定的に克服しようとする欠点である。
この目的で、本発明の主題は、少なくとも1つのスクリーンおよび1つの画像取得機構が備わった電子通信デバイスを用いた拡張現実に基づく衣服の仮想試着のための方法において、
a) 電子通信デバイスの前に位置する少なくとも2人の人物の少なくとも顔面および肩を、画像取得機構で検出するステップと、
b) ステップa)において検出された人物各人の顔面および肩の形状および寸法を表わすデジタルデータを定義するステップと、
c) ステップb)において定義されたデータに基づいて、電子通信デバイスのスクリーン上で人物各人の顔面および肩の位置を表わすデジタルデータを定義するステップと、
d) 電子通信デバイスのスクリーン上でデータマッピングにより、ステップb)およびc)で定義されたデジタルデータを用いて人物各人の画像上にデータベースからの衣服の画像を重ね合わせるステップと、
e) 電子通信デバイスのスクリーン上で、電子通信デバイスの画像取得機構の検出フィールド内で人物が動く間、人物各人の画像上への衣服の画像の重ね合わせを維持するステップと、
を少なくとも含み、ここで
- ステップa)~e)は、電子通信デバイスの画像取得機構の前に位置する人物の数と同じ回数だけ反復され、ステップd)の前に、データベースからのグラフィックモチーフの画像を衣服の画像上に重ね合わせマージすることを伴う少なくとも1つの追加ステップf)が行なわれる、
方法に関する。
したがって、人物が電子通信デバイスのビデオ画像取得機構の前に位置していることを条件として、2人以上の人物のために本発明を使用することが可能であり、ここで、該取得機構は、例えばスチルカメラまたはビデオカメラは固定画像または動画像を取得するように適応しているということが理解される。人物の多重検出は、これらの人物が大人および/または子供のいずれであっても、人物が単独であるか1つの群の中にいるかに関わらず各人物の画像上に衣服を仮想的に重ね合わせることを可能にする。本発明は、方法のステップを規則的に反復することによって、他の人物との関係における各人物の相対的位置の如何に関わらず、画像取得機構の視界内の人物の動きのみならず、画像取得機構の視界内の所与の瞬間において目に見える人物の数をも管理することを可能にする。
その上、試着すべき衣服は、ステップf)中にデータベースから所与のグラフィックモチーフを重ね合わせることによってパーソナライズされ得る。こうして、本発明の使用中における広範囲にわたるパーソナライゼーションの可能性が利用可能となる。
本発明の有利な、ただし強制的でない態様によると、このような方法は、以下のステップのうちの一つ以上を含むことができる。
- グラフィックモチーフが所与の衣服上で、印刷表面を境界画定する仮想フレームとの関係におけるグラフィックモチーフのサイズ(S)、グラフィックモチーフの位置(P)およびグラフィックモチーフの回転(R)を考慮に入れて、場所変数(SPR)と結び付けられた識別変数(DV)によって定義される。
- グラフィックモチーフの変数(SPR)および(DV)を、衣服を特徴づける変数と結び付けることによって、衣服上のグラフィックモチーフのマージを表わす変数(GF)を定義する。
- ステップe)およびf)において、各人物上でグラフィックモチーフと衣服の画像を重ね合わせるために変数(GF)を使用する。
- 電子通信デバイスは、スマートフォン、タブレット、ラップトップ型またはデスクトップ型コンピュータ、マルチメディアタッチスクリーンまたはスクリーンを備えたロボットの中から選択される。
- 画像取得機構は、固定画像取得機構または動画像取得機構の中から選択される。
- ステップf)中、グラフィックモチーフは、データベース内に記憶された描画、絵画または写真の中から選択される。
- ステップf)中、データベースは、電子通信デバイスから遠隔であり、クラウドホストされている。
- ステップf)中、データベースは、電子通信デバイスによってホストされている。
- ステップf)中、データベース中に記憶されたグラフィックモチーフは、方法のユーザによって提供される。
- ステップf)中、データベース中に記憶されたグラフィックモチーフは、データベースに対して制限されたアクセスしか有さない第3者により提供される。
- ステップf)中、グラフィックモチーフを提供する第3者についての追加情報は、グラフィックモチーフと結び付けられる。
- 追加情報は、第3者の地理位置情報、または専用サイトへのインターネットリンクである。
本発明は同様に、少なくとも1つの電子通信デバイス、グラフィックモチーフのデータベースおよび衣服の画像のデータベースを含む、前述のステップのうちの1つに係る方法を用いる衣服の仮想試着デバイスにも関する。
添付図面を参照しながら、非限定的な例として示されている本発明の複数の実施形態についての以下の説明から、本発明およびそのさらなる利点をより良く、より明確に理解できるものである。
本発明の一実施形態に係る方法の異なるステップを示す概略図である。 図1に表わされた方法のステップa)を示す斜視図である。 ステップb)およびc)を示す、図2と類似の図である。 一人の人物を伴う、ステップd)およびe)を完遂した時点での移動体電子デバイスのスクリーンを示す。 複数の人物を伴う、ステップd)およびe)を完遂した時点での移動体電子デバイスのスクリーンを示す。
図1は、本発明の一実施形態に係る方法の複数のステップの実装の概略図である。ここで方法は、スマートフォンタイプの電子通信デバイス1を用いて示されている。一変形形態として、タブレット、ラップトップ型またはデスクトップ型コンピュータ、マルチメディアタッチスクリーン、スクリーンを備えたロボット、または任意の他の有線または無線電子通信デバイスを使用することができる。これ以降、読み易さのために、スマートフォンおよび電子通信デバイスという表現は、互換的に使用されるものとする。
スマートフォン1には少なくとも1つのスクリーン2および少なくとも1つのビデオ画像取得機構3が具備されている。ここで、スクリーン2はタッチスクリーンである。変形形態として、非タッチスクリーンを使用することができる。別の実施形態において、スクリーンはフレキシブルタイプのスクリーンである。典型的には、スマートフォン1の場合、画像取得機構は、スマートフォン1に組み込まれたカメラである。このようなカメラは、写真を撮影しビデオシーケンスを生成することができるように適応されている。換言すると、画像取得機構3は、固定画像または動画像を取得するように適応されている。別の実施形態において、機構3は、夜間画像、赤外線画像さらには熱画像さえも取得するように適応されていることが分かるであろう。以下では、読み易さのため、カメラなる用語は、固定画像または動画像の取得機構を描写するために使用されるものとする。
カメラ3は、スクリーン2が取付けられた面とは反対側のスマートフォン1の面に位置設定されている。一変形形態として、これが、スマートフォン1に対する有線または無線接続によって接続された独立したカメラであることが分かるであろう。
図1の左側に概略的に表わされているユーザ4は、スクリーン2に対面して身を置いており、この場合、カメラ3は、概略的に示されている2人の人物5および人物6に向けられている。
カメラ3によって行なわれる画像取得から、人物が静止しているか運動中であるかに関わらず、スマートフォン1のスクリーン2上に人物5、人物6の上半身を位置できるようにする特性が定義される。運動は、通常の歩行ペースでの人物5、人物6の動きを意味し、こうして、6km/時の速度を超えるあらゆる運動、つまり、速い速度で歩いているまたは走っている人物は除外される。
人物5および人物6の上半身の特性および位置に関する詳細を捕捉およびエンコードした後、ユーザは、データベース8のグラフィックモチーフ7を選択する。ここで「グラフィックモチーフ」なる表現は、絵画、描画、ロゴまたは写真のいずれであれ、かつ文字および/または番号を含め、示された対象の如何に関わらず、カラーまたは白黒のあらゆるモチーフを意味する。これらの異なるタイプのモチーフを共に組合わせることが可能であり、例えば成句または表現を形成する文字と描画を組合わせることができるということが分かるであろう。したがって、広義では、これは、美的および装飾的機能を有する図形的または絵画的表現に関する。
図1では、データベース8は、スマートフォン1とは独立したエンティティとして示されている。換言すると、このデータベースは、スマートフォン1から遠隔のサーバ上、有利にはクラウドコンピューティング内または外部ストレージディスク上でホストされ得る。データベース8と電子通信デバイス1間のデータ交換は、無線または非無線で、例えばWiFi(登録商標)、Bluetooth(登録商標)他によって行なわれる。
変形形態として、データベースは、電子通信デバイス1内、例えばSDまたはマイクロSDメモリカード上、さらにはスマートフォン1の内部メモリ内でさえホストされる。例えば、グラフィックモチーフ7がスマートフォン1のカメラ3で撮られその中に記憶された写真である場合がそれである。したがって、ユーザ4自身が、データベース8にグラフィックモチーフ7を投入することができる。本発明によると、ユーザは、スマートフォン1内に記憶されたデータベースから選択されたモチーフに対して、テキスト、数字他を追加することができる。
選択されたグラフィックモチーフ7は、データベース10中に記憶された衣服9の画像上に重ね合わせられマージされる。ここで、衣服なる用語は、縁なし帽または帽子などの付属品を含め、衣服のタイプ(シャツ、Tシャツ、スウェットシャツ、セータなど)、布地材料の如何に関わらず、広義でとらえられなければならない。読み易さのために、Tシャツの例が以下で説明されるものとする。
ここで、データベース10も同様に、スマートフォン1から遠隔であり、この場合、ベース8とスマートフォン1の間の接続と類似の手法で、有線または無線接続でこのスマートフォン1に接続される。
別の実施形態では、データベース8およびデータベース10は組み合わされかつ/または遠隔サーバ上でホストされる。衣服9のモチーフ7を選択した後、本発明が網羅する方法は、これら2つのマージ画像を、スマートフォン1のスクリーン上の人物5、人物6の画像上に重ね合わせることを可能にする。この重ね合わせは、人物がカメラ3の視界内にいることを条件として、一方または両方の人物5、人物6が動く間も持続する。同様にして、人物がカメラ3の視界から出た場合、本発明が網羅する方法は、他方の人物の画像に影響を及ぼすことなく、スクリーン2からその人物の画像を消去することを可能にする。新たな人物がカメラ3の視界内に入った場合、またはカメラ3の視界を離れた人物が再び視界内に戻った場合、この人物は、該方法によって考慮され、この人物の画像は、選択された衣服およびモチーフと共にスクリーン2上に現われる。
該方法の異なるステップについてここで、図2~5を参照しながらより詳細に説明する。
図2は、読み易さのために、人物5は一人だけで、該方法のステップa)およびb)を示す。第1に、人物5は、この場合はスチルカメラ3であるビデオカメラのレンズの前に自らを位置付けなければならない。姿勢は、一定の制約条件を順守していなければならない。したがって人物5の上半身、少なくとも顔面11および胴12、腹部に至るまでは、カメラ3の視界内に見えなくてはならない。明らかに、人物5の身体の他の部分、例えば脚13も、カメラ3の視界内に見えることが可能である。人物5は、カメラ3に対面して自らを位置付けなくてはならない。このステップ中、人物は、静止はしていなくても、少なくとも6km/時前後の速度を超えないペースで、すなわちいわゆる通常の歩行ペースで動いている状態にとどまらなくてはならない。
ひとたび人物5が位置したならば、その顔面11は、例えばグーグルによって開発されたGoogle Cloud Vision APIソフトウェアなどの公知のコンピュータ手段により検出される。ソフトウェアが顔面を全く検出しない場合、ソフトウェアは、人物の顔面11が検出されるまでサーチし続ける。このソフトウェアは、デジタル画像、写真またはビデオ内で人間の顔面の自動位置特定を保証するということを覚えておきたい。位置特定は、顔面の所与のサイズおよび配向と結び付けられる。ひとたび顔面11が検出されたならば、出願人が開発したアプリケーションは、顔面11内の特異点をサーチする。例えば、左右の眼または鼻である。この任意のステップは、ひとたび顔面11が全体として検出された時点で行なわれる。実際、注視点のサーチは、比較的長く、したがって、デフォルトによるルーティンとして行なわれない。いずれの場合でも、顔面11の形状およびサイズに関係する情報は、アプリケーションにより、A1と呼ばれる数値変数の形で記録される。
図3で示されているように、スクリーン2上の顔面11の位置ならびにスクリーン2のサイズとの関係におけるそのサイズ、ひいてはスクリーン2との関係における顔面11の寸法を定義する比率は、顔面11の形状および寸法を定義する変数A1と結び付けられながら3本の軸XYZに沿って予め収集されアプリケーションによって記録された、AA1として公知の、位置特定特性に基づいて決定される。
顔面11を検出するために使用されるソフトウェアは、人物の胴12の残りの部分の検出を可能にしない。検出エリアは、下部で顎14により制限される。ここで、衣服を仮想試着できるためには、人物の胴12を検出することが必要である。このために、出願人は、当該方法の範囲内で、人物の首15の長さ、その肩16の幅および両肩間の距離を、スクリーン上の人物の肩16の位置と結び付けて考慮するソフトウェアを開発した。このために、該方法は、背景画像そして次にこの画像内に存在する任意の他の要素を、人物の身体の一部とみなすことによって記録する。記憶された画像上で、首15の長さを考慮に入れて、顔面11の顎14と肩16の間の空間について測定が行なわれる。こうして、人物の胴12の開始場所を演繹することが可能である。出願人により提供され専用データベース内に記憶された統計に基づいて、該方法は、人物が顔面、首または胴に目立った奇形を有さず、人物の形態が衣服のサイズを定義するのに使用される通常の規格内に入ることを条件として、人物の顔面および首の寸法をその胴の寸法と結び付ける。
この情報は、数値変数の形で、変数A1およびAA1と組合わされる。こうして、人物5の胴12の寸法および位置が知られる。ひとたびこのステップc)が完了したならば、次にステップd)において衣服は重ね合わされる。このために、公知の寸法および形状の一定数の衣服9が、排他的ではないものの有利にはスマートフォン1内にホストされているデータベース10中に記憶されている。ここで、衣服9は、XS、S、M、L、XLおよびXXLという文字によって表示される標準的な公知のサイズのTシャツである。これらのTシャツ9は、各サイズについて少なくとも1つの色で記憶される。各々のTシャツ9は、スクリーン2上のその位置を定義することになる2つの軸に沿ったその座標およびその寸法を考慮に入れて、数値変数AB1によって定義される。ここで衣服9は平担なオブジェクトであることから、3本の軸に沿った位置付けを必要とする体積オブジェクトである顔面11とは異なり、2本の軸に沿ったその位置を定義するだけで十分である。
変数A1、AA1およびAB1を組合わせることによって、人物5の胴12上の衣服9の最適な重ね合わせが、公知の手法で保証される。この段階において、追加ステップf)がすでに行なわれているか、あるいはここで実施される。
このステップf)には、先に定義済みのグラフィックモチーフ7を、衣服9上に重ね合わせるステップ、より厳密にはマージするステップを伴う。グラフィックモチーフ7は、スマートフォン1に内蔵されたデータベース8から、または典型的にはサーバによりホストされる遠隔データベースから、またはスマートフォンの外部に位置設定されているもののユーザによって管理されているデータベースから来ている。いずれの場合でも、モチーフは、ユーザ自身によってかまたは第3者によって提供され得る。モチーフは、例えば写真、会社、協会またはスポーツクラブのロゴ、描画またはアーチストの絵画であってよい。該方法の使用に先立ち、例えば絵画作品を提供したアーチストによってデータベース8が増加され得るということは容易に理解できる。この場合、ユーザは、ベース8から直接モチーフを選択する。一変形形態として、ユーザは自ら個人的なグラフィックモチーフ、例えば自らが創作した写真または絵画作品を導入することができる。
同様にして、モチーフ7を供給した第3者についての追加の情報をモチーフと結び付けることができる。これは、例えば、第3者の地理位置情報、そのウェブサイト、伝記的情報、第3者にリンクされたイベントダイアリに対するアクセス、またはモチーフおよび/またはモチーフの第3者のクリエータに関する他の任意の情報であり得る。
各モチーフ7は、DVという名の識別変数によって識別される。モチーフ7は、2次元オブジェクトであり、ベクトルの形で、つまり2つのX、YまたはZ軸に沿ったその空間座標で、データベース8上に記憶される、有利には、このモチーフは、サーバ上に .EPSフォーマットで記憶される。サーバは同様に、ユーザが自らのスマートフォン上で使用できる少なくとも1つの形態を有するように少なくとも1つの他の形態、例えば .PNGフォーマットでファイルを記憶する。
サーバが管理するデータベース8内でユーザがモチーフ7を選択する場合、モチーフの著作者が許可しかつ/または著作権および美術創作品の権利に関する現行の法律を遵守していることを条件として、ユーザは、モチーフの色を変更し、モチーフを回転させ、それを拡大または縮小し、モチーフの一部上でズームし、それを複製し、テキストまたはサーバが許可した他の任意の修正を追加する可能性を有する。
所与の衣服9に対する印刷上の制約条件によって定義される仮想フレームが、印刷エリアを具体化し、したがって、最適な印象を得るために、選択されたモチーフ7が上に印刷される衣服9の表面を境界画定する。仮想フレームは、2本の軸X、YまたはZに沿ったその空間座標によりサーバによって識別される。
読み易さのためにさまざまな図の中に示されていないこのフレームは、二次フレームが最大寸法の仮想フレームの一部であることを条件として、同一の形状を有するかまたは有していない複数の二次フレームへと分割され得る。ユーザは、1つ以上のコピー中で、選択されたモチーフ7を単数または複数のこのフレーム内に位置付けすることができる。
選択されたモチーフ7の座標ならびにそれに対する何らかの変更は、SPR(サイズ、位置、回転)と名付けられた一時的場所変数として、サーバ内に記憶される。この変数中、パラメータS(サイズ)は、仮想フレームの最大エリアとの関係におけるモチーフ7の表面の百分率として与えられる。パラメータR(回転)は、Z軸に沿った数値であり、パラメータP(位置)は、X、YまたはZ軸のうちの2本に沿った値である。モチーフ7がサーバにより管理される非データベースに由来する場合、SPR一時的変数は、いかなる修正も含まず、モチーフの初期パラメータのみを含むことが考えられる。
ユーザが、「拡張現実」モードに切換えるかまたはモチーフを自らのバスケット内にセーブするかのいずれかによって、修正の有無にかかわらず自らのモチーフ選択を有効化した時点で、サーバは、モチーフ7に関係する全てのパラメータ、つまり識別変数DVおよび場所変数SPRを、衣服9ひいては衣服を定義する変数AB1、および衣服9上の印刷フレームの座標に結び付ける。
このとき、GF(大域融合)と呼ばれる大域変数が得られる。この変数GFに対して、それ自体公知である融合アルゴリズム、例えばImageMagick(登録商標)ソフトウェアが応用される。
これにより、一時的かつ汎用のブランクファイルが作成され、サイズおよび特性は予め定義され、サーバにより記憶されている。モチーフに関するデータ(DVおよびSPR変数)および衣服に関するデータ(変数AB1)を含むこのソースファイルは、異なる用途のために使用可能な異なるフォーマットへと分解され得るように、ベクトルの形で記憶される。これらには、例えば、ユーザのスマートフォン上でのビューイングのための .PNGフォーマットファイル、ウェブページディスプレイ用の .JPGフォーマットファイルまたは、印刷用の .PDFファイルが含まれる。
変数GFによって、モチーフ7および衣服9は単一の画像であるものとみなされる。このとき、先に説明した通り、変数A1、AA1およびGFを組合わせて、衣服9が人物5の胴12に重ね合わされている状態で、衣服9上へのモチーフ7の最適な重ね合わせを、それ自体公知の手法で、保証することが可能である。また2つの明確に異なる画像(衣服およびモチーフ)の変位は人物の変位に関係付けされるのではなく、事実上、一人の人物の変位との関係における一画像(モチーフと結び付けられた衣服)の変位に関係付けされる。
GF変数は、速度および流動性の観点から見た人物の追跡を容易にする。追跡の計算時間は半分になり、こうして、メモリおよびエネルギーの観点から見た消費量の低減が誘発される。
この画像融合ひいては変数GFは、人数の追跡の流動性、速度、および適応可能性を保ちながら、人物の多重検出を容易にし、最適化する。
図5は、人物の多重検出を示す。このためには顔面11を検出するステップa)において、本発明によって網羅されている方法は、顔面11がすでに検出されている場合でも、顔面の継続的サーチを可能にする。この継続的サーチは、カメラ3の視界に入る全ての新しい顔面11A~11Dの検出を可能にする。ひとたびこの他の顔面11A~11Dが検出されたならば、アプリケーションはそれに対して、最初の顔面の場合と同様に、3本の軸に沿った位置付けおよび寸法設定の数値的変数を割り当てる。この第2の顔面11A~11Dに結び付けられた肩ひいては胴の検出および特徴付けに関する同じステップが行なわれる。そうすることにより、スクリーン2上に見える人物5~5Dは、その位置および/または数が変動するか否かとは関わりなく、継続的にモデリングされる。こうして、検出された人物5~5Dの各々について、モチーフ7と結び付けられた衣服9~9Dを重ね合わせることが可能である。実際、ステップa)は、停止命令無く継続的に行なわれ、検出された要素は記憶される。検出された新たな顔面は全て、変数の集積を定義し、すでに検出された顔面についてすでに収集された変数のベースに追加する。
第1の実施形態によると、全ての検出された人物5~5Dは、仮想的に、同じグラフィックモチーフ7を伴う同じ衣服9~9Dを着用している。一変形形態として、各々の検出された人物5~5Dには、色、形状および選択されたグラフィックモチーフすべてに関して、他の人物5~5Dとは異なっていてよいパーソナライズされた衣服9~9Dが提供される。このために、人物5~5D、衣服9~9Dおよびグラフィックモチーフ7を定義する変数の結び付けは個別化される。
いずれの場合でも、本発明により網羅されている方法は、人物が運動中であるときでさえ、検出された人物5~5Dの形態に適応されたサイズの衣服9~9Dの継続的重ね合わせを可能にする。換言すると、カメラ3の視界内に子供または大人が出現した場合、衣服9~9Dが小さ過ぎるまたは大き過ぎる視覚的効果を与えないように、人物5~5Dのための正しいサイズの衣服の重ね合わせが自動的に行われることになる。いずれの場合でも、ユーザは、本発明により、自らのシルエット上に衣服を仮想的にディスプレーするだけでなく、グラフィックモチーフで衣服をパーソナライズすることもできる。
示されていない他の実施形態において、サポートは、例えば縁なし帽、帽子、スカーフまたはバッグなどの付属品であることが理解されるであろう。ユーザにとって試着が満足のいくものである場合、ユーザは公知の方法で、選択されたグラフィックモチーフ7を伴う衣服9を注文できるということが理解されるであろう。このために、グラフィックモチーフ7を定義する変数DVおよびSPRならびに衣服9を定義する変数AB1を含むファイルが、衣服上にモチーフを適用する目的で提供者に対し送付される。これは、例えば、衣服上でフロック加工、スクリーン印刷、レーザーエッチングまたは刺繍を行なう提供者であり得る。
1 電子通信デバイス(スマートフォン)
2 スクリーン
3 ビデオ画像取得機構(カメラ)
4 ユーザ
5 人物
6 人物
7 グラフィックモチーフ
8 データベース
9 衣服(Tシャツ)
10 データベース
11 顔面
12 胴
13 脚
14 顎
15 首
16 肩

Claims (14)

  1. 少なくとも1つのスクリーン(2)および1つの画像取得機構(3)が備わった電子通信デバイス(1)を用いた拡張現実に基づく衣服(9~9D)の仮想試着のための方法において、
    a) 前記電子通信デバイス(1)の前に位置する少なくとも2人の人物(5~5D、6)の少なくとも顔面(11~11D)および肩(16)を、前記画像取得機構(3)で検出するステップであって、前記電子通信デバイスの前に位置する静止しているか6km/時の速度までで運動中である、少なくとも2人の人物、大人または子供の少なくとも顔面および肩を前記画像取得機構で、位置とは関わりなく継続的に検出するステップと、
    b) ステップa)において検出された前記人物(5~5D、6)各人の前記顔面(11~11D)および肩(16)の形状および寸法を表わすデジタルデータを定義するステップと、
    c) ステップb)において定義された前記データに基づいて、前記電子通信デバイス(1)のスクリーン(2)上で前記人物(5~5D、6)各人の前記顔面(11~11D)および肩(16)の位置を表わすデジタルデータを定義するステップと、
    d) 前記電子通信デバイス(1)の前記スクリーン(2)上でデータマッピングにより、ステップb)およびc)で定義された前記デジタルデータを用いて前記人物(5~5D、6)各人の画像上にデータベースからの衣服(9~9D)の画像を人物が運動中であるときでさえ継続的に重ね合わせるステップと、
    e) 前記電子通信デバイス(1)の前記スクリーン(2)上で、前記電子通信デバイス(1)の前記画像取得機構(3)の検出フィールド内で前記人物が動く間、前記人物(5~5D、6)各人の前記画像上への前記衣服(9~9D)の前記画像の重ね合わせを維持するステップと、
    を含み、ここで
    - ステップa)~e)は、前記電子通信デバイス(1)の前記画像取得機構(3)の前に位置する人物(5~5D、6)の数と同じ回数だけ反復され、ステップd)の前に、データベース(8)からのグラフィックモチーフ(7)の画像を前記衣服(9~9D)の前記画像上に重ね合わせマージすることを伴う少なくとも1つの追加ステップf)が行なわれる、
    方法。
  2. グラフィックモチーフ(7)が所与の衣服(9~9D)上で、印刷表面を境界画定する仮想フレームとの関係における前記グラフィックモチーフのサイズ(S)、前記グラフィックモチーフの位置(P)および前記グラフィックモチーフ(7)の回転(R)を考慮に入れて、場所変数(SPR)と結び付けられた識別変数(DV)によって定義される、請求項1に記載の方法。
  3. 前記グラフィックモチーフ(7)の変数(SPR)および(DV)を、衣服(9~9D)を特徴づける変数(AB1)と結び付けることによって、前記衣服(9~9D)上の前記グラフィックモチーフ(7)の前記マージを表わす変数(GF)を定義する、請求項2に記載の方法。
  4. ステップe)およびf)において、各人物(5~5D、6)上でグラフィックモチーフ(7)と前記衣服(9~9D)の画像を重ね合わせるために前記変数(GF)を使用する、請求項3に記載の方法。
  5. 前記電子通信デバイスが、スマートフォン(1)、タブレット、ラップトップ型またはデスクトップ型コンピュータ、マルチメディアタッチスクリーンまたはスクリーンを備えたロボットの中から選択される、請求項1に記載の方法。
  6. 前記画像取得機構(3)が、固定画像取得機構または動画像取得機構の中から選択される、請求項1に記載の方法。
  7. ステップf)中、前記グラフィックモチーフ(7)が、データベース(8)内に記憶された描画、絵画または写真の中から選択される、請求項1に記載の方法。
  8. ステップf)中、前記データベース(8)が、前記電子通信デバイス(1)から遠隔であり、クラウドホストされている、請求項7に記載の方法。
  9. ステップf)中、前記データベース(8)が前記電子通信デバイス(1)によってホストされている、請求項7に記載の方法。
  10. ステップf)中、データベース(8)中に記憶された前記グラフィックモチーフ(7)が前記方法のユーザによって提供される、請求項7に記載の方法。
  11. ステップf)中、データベース中に記憶された前記グラフィックモチーフ(7)が、前記データベース(8)に対して制限されたアクセスしか有さない第3者により提供される、請求項7に記載の方法。
  12. ステップf)中、前記グラフィックモチーフ(7)を提供する第3者についての追加情報が、前記グラフィックモチーフ(7)と結び付けられる、請求項7に記載の方法。
  13. 前記追加情報が、前記第3者の地理位置情報、専用サイトへのインターネットリンクである、請求項12に記載の方法。
  14. 少なくとも1つの電子通信デバイス(1)、グラフィックモチーフ(7)のデータベース(8)、および衣服(9~9D)の画像のデータベース(10)を含む、請求項1に記載の方法を用いる衣服(9~9D)の仮想試着デバイス。

JP2021503221A 2018-04-05 2019-03-28 多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス Active JP7228025B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/946,073 US10453265B1 (en) 2018-04-05 2018-04-05 Method and device for the virtual try-on of garments based on augmented reality with multi-detection
US15/946,073 2018-04-05
PCT/IB2019/052547 WO2019193467A1 (en) 2018-04-05 2019-03-28 Method and device for the virtual try-on of garments based on augmented reality with multi-detection

Publications (2)

Publication Number Publication Date
JP2021518626A JP2021518626A (ja) 2021-08-02
JP7228025B2 true JP7228025B2 (ja) 2023-02-22

Family

ID=66542454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503221A Active JP7228025B2 (ja) 2018-04-05 2019-03-28 多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス

Country Status (6)

Country Link
US (1) US10453265B1 (ja)
EP (1) EP3776482A1 (ja)
JP (1) JP7228025B2 (ja)
KR (1) KR102406104B1 (ja)
CA (1) CA3091717C (ja)
WO (1) WO2019193467A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
US10866716B2 (en) * 2019-04-04 2020-12-15 Wheesearch, Inc. System and method for providing highly personalized information regarding products and services
KR102374141B1 (ko) 2021-03-03 2022-03-15 (주)내스타일 유연한 가상 피팅 이미지 생성을 위한 의상영역 제거 방법
CN114663552B (zh) * 2022-05-25 2022-08-16 武汉纺织大学 一种基于2d图像的虚拟试衣方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002180318A (ja) 2000-09-29 2002-06-26 Seiren Co Ltd 着装シミュレーション方法およびそのシステム
JP2006249618A (ja) 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
JP2012108805A (ja) 2010-11-18 2012-06-07 Toshiba Tec Corp 試着システム
JP2012118948A (ja) 2010-12-03 2012-06-21 Ns Solutions Corp 拡張現実感提示装置、拡張現実感提示方法及びプログラム
JP2013101526A (ja) 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US20140035913A1 (en) 2012-08-03 2014-02-06 Ebay Inc. Virtual dressing room
US20140198096A1 (en) 2013-01-11 2014-07-17 Disney Enterprises, Inc. Mobile tele-immersive gameplay
JP2016004564A (ja) 2014-06-19 2016-01-12 大日本印刷株式会社 拡張現実を利用した試着支援システム
JP2018055619A (ja) 2016-09-30 2018-04-05 株式会社ブイシンク 画像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3314704B2 (ja) * 1998-01-20 2002-08-12 東洋紡績株式会社 試着状況を示す画像の合成方法および該方法を用いた仮想試着システム
US10628729B2 (en) * 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
KR20120105581A (ko) * 2011-03-02 2012-09-26 김석수 증강현실 명함시스템을 이용한 위치정보 제공방법
US20130304587A1 (en) * 2012-05-01 2013-11-14 Yosot, Inc. System and method for interactive communications with animation, game dynamics, and integrated brand advertising
US20140279192A1 (en) * 2013-03-14 2014-09-18 JoAnna Selby Method and system for personalization of a product or service
US10373244B2 (en) 2015-07-15 2019-08-06 Futurewei Technologies, Inc. System and method for virtual clothes fitting based on video augmented reality in mobile phone

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002180318A (ja) 2000-09-29 2002-06-26 Seiren Co Ltd 着装シミュレーション方法およびそのシステム
JP2006249618A (ja) 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
JP2012108805A (ja) 2010-11-18 2012-06-07 Toshiba Tec Corp 試着システム
JP2012118948A (ja) 2010-12-03 2012-06-21 Ns Solutions Corp 拡張現実感提示装置、拡張現実感提示方法及びプログラム
JP2013101526A (ja) 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US20140035913A1 (en) 2012-08-03 2014-02-06 Ebay Inc. Virtual dressing room
US20140198096A1 (en) 2013-01-11 2014-07-17 Disney Enterprises, Inc. Mobile tele-immersive gameplay
JP2016004564A (ja) 2014-06-19 2016-01-12 大日本印刷株式会社 拡張現実を利用した試着支援システム
JP2018055619A (ja) 2016-09-30 2018-04-05 株式会社ブイシンク 画像表示装置

Also Published As

Publication number Publication date
CA3091717C (en) 2023-01-24
US10453265B1 (en) 2019-10-22
EP3776482A1 (en) 2021-02-17
KR102406104B1 (ko) 2022-06-13
JP2021518626A (ja) 2021-08-02
CA3091717A1 (en) 2019-10-10
KR20200139766A (ko) 2020-12-14
WO2019193467A1 (en) 2019-10-10
US20190311540A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
JP7228025B2 (ja) 多重検出を伴う拡張現実に基づく衣服の仮想試着のための方法およびデバイス
JP6490430B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5991536B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
EP3038053B1 (en) Method and system for generating garment model data
CN110609617B (zh) 虚拟镜子的装置、系统和方法
JP6341646B2 (ja) 試着支援装置及び方法
EP3479296A1 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
CN110021061A (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN102982525A (zh) 图像处理装置、图像处理方法和程序
US20080262944A1 (en) Online clothing display system and method therefor
JP2016054450A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
TW201401222A (zh) 具有虛擬試衣功能的電子裝置及虛擬試衣方法
CN113711269A (zh) 用于确定身体量度和提供服装尺码推荐的方法和系统
CN113034219B (zh) 虚拟着装方法、装置、设备及计算机可读存储介质
US20200082138A1 (en) Clothing having one or more printed areas disguising a shape or a size of a biological feature
CN104408702B (zh) 一种图像处理方法及装置
JP2020129356A (ja) プログラム、情報処理方法、及び情報処理端末
CN104899917B (zh) 一种基于3d的物品虚拟穿戴的图片保存和分享方法
Yolcu et al. Real time virtual mirror using kinect
CN107958232A (zh) 基于体感交互的虚拟试衣方法、系统和试衣间
KR20140139901A (ko) 의류 관리 및 코디네이션 기능을 갖춘 어플리케이션
CN113781291B (zh) 图像处理方法、装置、电子设备及存储介质
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
JP7214092B2 (ja) 画像制御装置、及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R150 Certificate of patent or registration of utility model

Ref document number: 7228025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20230216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02