JPWO2020171237A1 - 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム - Google Patents
画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム Download PDFInfo
- Publication number
- JPWO2020171237A1 JPWO2020171237A1 JP2021502253A JP2021502253A JPWO2020171237A1 JP WO2020171237 A1 JPWO2020171237 A1 JP WO2020171237A1 JP 2021502253 A JP2021502253 A JP 2021502253A JP 2021502253 A JP2021502253 A JP 2021502253A JP WO2020171237 A1 JPWO2020171237 A1 JP WO2020171237A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- wearing
- fitting
- user
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 75
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 description 84
- 230000036544 posture Effects 0.000 description 81
- 230000037237 body shape Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013434 data augmentation Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
仮想的な装着品の試着を行う場合の計算負荷を低減することができる画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラムを提供する。画像処理装置１００は、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データ１２４を用いた機械学習により学習させた学習済みモデル１２６に対し、参照装着品を装着したユーザの画像を入力して、試着装着品を試着したユーザの画像を生成する画像生成部１１８を備える。
Description
本出願は、２０１９年２月２２日に出願された米国仮出願６２／８０９０８８に基づくもので、ここにその記載内容を援用する。
本発明は、画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラムに関する。
従来、人体の動きに合わせて衣類の画像を生成し、生成した衣類の画像と人体の画像とを重ね合わせることで、仮想的な衣類の試着を行う技術が知られている（例えば、非特許文献１参照）。また、近年では、深層学習を用いて仮想的な衣類の試着を実現する技術も提案されている（例えば、非特許文献２参照）。
Kim,J.,＆Forsythe,S.″Adoption of Virtual Try - on technology for online apparel shopping.″Journal of Interactive Marketing, Volume 22, Spring 2008, Page 45-59.
Christoph Lassner,Gerard Pons-Moll,Peter V.Gehler.The IEEE International Conference on Computer Vision（ICCV）, July 2017,Page 853-862.
しかしながら、従来の技術では、目的とする衣服毎に設定される多数のパラメータを用いたシミュレーションを実行する際に計算負荷が過大となってしまうという問題があった。
なお、こうした課題は、衣類を仮想的に試着する場合に限らず、例えば、眼鏡や靴などの他の装着品を仮想的に試着する場合にも概ね共通するものであった。
そこで、本発明は、仮想的な装着品の試着を行う場合の計算負荷を低減することができる画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラムを提供する。
本発明の一態様に係る画像処理装置は、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成部を備える。
この態様によれば、参照装着品の画像と試着装着品の画像とを対応付けた学習用データを用いて学習済みモデルを学習させ、この学習モデルに参照装着品を装着したユーザの画像を入力することで、仮想的な装着品の試着を行う場合の計算負荷を低減することができる。
上記態様において、前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像と前記ユーザの身体部分の画像とを抽出し、前記抽出した参照装着品の画像を前記学習済みモデルに入力し、前記学習済みモデルから出力された前記試着装着品の画像と、前記抽出したユーザの身体部分の画像とを合成することによって、前記試着装着品を試着したユーザの画像を生成してもよい。
この態様によれば、試着装着品を試着したユーザの画像を正確に合成することができる。
上記態様において、前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像の深度情報と前記ユーザの身体部分の画像の深度情報とを抽出し、前記抽出した深度情報に基づいて、前記試着装着品の画像と前記ユーザの身体部分の画像とを合成してもよい。
この態様によれば、画像の深度情報を用いることで、試着装着品を装着したユーザの画像をより正確に合成することができる。
上記態様において、前記学習用データは、所定の姿勢で装着主体が装着した前記参照装着品の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した第１のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、かつ、前記入力データに対して、前記所定の姿勢と共通する姿勢で装着主体が装着した第２のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、前記画像生成部は、前記試着装着品のバリエーションの選択を受け付け、前記参照装着品を装着したユーザの画像を前記学習済みモデルに入力して、前記選択されたバリエーションの前記試着装着品を試着したユーザの画像を生成してもよい。
この態様によれば、ユーザにより選択された試着装着品のバリエーションごとに区別して、試着装着品を試着したユーザの画像を生成することができる。
上記態様において、前記装着品は、衣類であり、前記学習用データは、所定の姿勢で装着主体が装着した前記参照衣類の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した前記試着衣類の画像を前記出力データとして関連付けたデータを含んでもよい。
この態様によれば、参照衣類の画像と試着衣類の画像とを対応付けた学習用データを用いて学習済みモデルを学習させることで、仮想的な衣類の試着を行う場合の計算負荷を低減することができる。
本発明の一態様に係る学習済みモデルは、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いて機械学習により学習させた。
この態様によれば、上記画像処理装置の発明と同様の効果が得られる。
本発明の一態様に係る画像収集装置は、ロボットマネキンと、カメラと、前記ロボットマネキンの姿勢を制御するロボット制御部と、前記ロボット制御部の制御に基づいて装着品を装着させた前記ロボットマネキンの姿勢を所定の姿勢に制御した状態で、前記カメラで前記装着品の画像を撮影し、撮影された画像を前記姿勢と関連付けて記憶部に記憶させる撮影制御部とを備える。
この態様によれば、参照装着品の画像と試着装着品の画像との対応付けを的確に行うことができ、学習済みモデルの学習に用いられる学習用データの信頼性を高めることができる。
本発明の一態様に係る画像処理方法は、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成ステップを含む。
この態様によれば、上記画像処理装置の発明と同様の効果が得られる。
本発明の一態様に係る画像処理プログラムは、コンピュータに、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させる処理を実行させる。
この態様によれば、上記画像処理プログラムの発明と同様の効果が得られる。
本発明によれば、仮想的な装着品の試着を行う場合の計算負荷を低減することができる。
（第１の実施の形態）
以下、図面を参照し、本発明の画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および画像処理プログラムの実施形態について説明する。
以下、図面を参照し、本発明の画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および画像処理プログラムの実施形態について説明する。
図１に示すように、画像収集装置１は、例えば、カメラ１０と、ロボットマネキン２０と、ディスプレイ３０と、画像処理装置１００とを備える。これらの装置や機器は、通信線や無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、例えば、ロボットマネキン２０の前方に固定して配置され、装着品の一例である衣類を装着したロボットマネキン２０の画像を撮影する。カメラ１０は、例えば、ステレオカメラであってもよいし、深度カメラであってもよい。
ロボットマネキン２０は、例えば、ヒト型ロボットである。ロボットマネキン２０は、例えば、両肩に４自由度、両肘に４自由度、腰の回転に２自由度で駆動可能に構成されており、衣類を装着した状態で様々な姿勢を取ることが可能である。
ディスプレイ３０は、例えば、液晶ディスプレイであり、画像処理装置１００により生成された画像を表示する。
画像処理装置１００は、例えば、制御部１１０と、記憶部１２０とを備える。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部：circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め画像処理装置１００のＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで画像処理装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。
制御部１１０は、例えば、ロボット制御部１１２と、撮影制御部１１４と、学習部１１６と、画像生成部１１８とを備える。
ロボット制御部１１２は、ロボットマネキン２０の動作を制御する。ロボット制御部１１２は、例えば、ロボットマネキン２０の各自由度における動作量を制御することにより、ロボットマネキン２０の姿勢を制御する。ロボットマネキン２０の各自由度は、両肩の自由度、両肘の自由度、腰の回転の自由度など、ロボットマネキン２０のポーズの自由度に加え、鉛直方向に延びる中心軸を中心としたロボットマネキン２０の回転位置の自由度を含む。ロボットマネキン２０の自由度は、例えば、カメラ１０の撮影位置・方向に対するロボットマネキン２０の角度を含んでもよい。なお、上記の説明は、ロボットマネキン２０の姿勢の一例にすぎず、これに限られない。
撮影制御部１１４は、カメラ１０による画像の撮影動作を制御する。撮影制御部１１４は、例えば、ロボット制御部１１２の制御に基づいてロボットマネキン２０の姿勢を所定の姿勢に制御した状態でロボットマネキン２０の画像を撮影する。撮影制御部１１４は、例えば、ロボット制御部１１２の制御に基づいて、ロボットマネキン２０の種々のポーズについて、ロボットマネキン２０の回転位置を変化させつつ、ロボットマネキン２０の画像を撮影する。撮影制御部１１４は、撮影された画像をロボットマネキン２０の姿勢と関連付けて記憶部１２０に記憶させる。撮影制御部１１４は、例えば、計測用衣類を装着したロボットマネキン２０の画像、および、試着用衣類を装着したロボットマネキン２０の画像を撮影する。撮影制御部１１４は、計測用衣類を装着したロボットマネキン２０の画像から計測用衣類の画像を領域分割し、領域分割した画像を、画像の撮影時におけるロボットマネキン２０の姿勢と関連付けて画像データ１２２として記憶部１２０に記憶させる。また、撮影制御部１１４は、試着用衣類を装着したロボットマネキン２０の画像から試着用衣類の画像を領域分割し、領域分割した画像を、画像の撮影時におけるロボットマネキン２０の姿勢と関連付けて画像データ１２２として記憶部１２０に記憶させる。
図２は、画像データ１２２のデータ内容の一例を示す図である。図示の例では、画像データ１２２のデータ属性は、例えば、画像の種類、画像情報、および、ロボットマネキン２０の姿勢を含む。画像の種類は、ロボットマネキン２０が装着している衣類の種類であり、例えば、計測用衣類、および、試着用衣類を含む。計測用衣類は、試着用衣類を合成する上で参照される参照衣類の一例である。計測用衣類は、例えば、ユーザの身体に関する情報を取得するための衣類であり、人体の肌の色と区別しやすく、様々な試着用衣類と対応付けがしやすいことが好ましい。試着用衣類は、仮想的な試着の対象となる衣類であり、例えば、デザインが異なる複数の種類の衣類を含む。画像情報は、カメラ１０により撮影された画像の画像位置ごとの輝度値（Ｒ，Ｇ，Ｂ）に関する情報を含む。画像情報は、さらに、カメラ１０により撮影された画像の画像位置ごとの深度情報を含んでもよい。ロボットマネキン２０の姿勢は、ロボットマネキン２０の各自由度の動作量の組み合わせにより規定されるパラメータである。
学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の姿勢が共通する試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。すなわち、学習部１１６は、同じポーズで同じ方向から撮影した計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４として記憶部１２０に格納する。学習部１１６は、例えば、記憶部１２０に格納された画像データ１２２を参照し、計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４を記憶部１２０に格納する。学習部１１６は、学習用データ１２４を用いた機械学習により学習モデルを学習させて学習済みモデル１２６を生成する。学習済みモデル１２６は、例えば、機械学習のモデルの一種であるニューラルネットワークにより構成されている。学習部１１６は、計測用衣類の画像および試着用衣類の画像に対して平行移動、拡大縮小、回転、ノイズの付与などの処理を加えることで、学習用データ１２４のデータ数を水増しする、いわゆるデータオーギュメンテーションを行ってもよい。
図３は、学習用データ１２４のデータ内容の一例を示す図である。図示の例では、学習用データ１２４は、計測用衣類の画像情報として、ロボットマネキン２０の姿勢が互いに異なる複数（図示の例ではＮ個）の画像情報「Ａ１」〜「ＡＮ」が含まれている。また、学習用データ１２４は、計測用衣類のそれぞれの画像情報「Ａ１」〜「ＡＮ」とロボットマネキン２０の姿勢が共通する試着用衣類の画像情報が対応付けられている。具体的には、学習用データ１２４は、計測用衣類のそれぞれの画像情報「Ａ１」〜「ＡＮ」とロボットマネキン２０の姿勢が共通する衣類ごと（「衣類１」、「衣類２」など）の画像情報とが対応付けられている。
図４は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図４に示すように、学習用データ１２４は、ロボットマネキン２０の姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、ロボットマネキン２０の姿勢が「姿勢１」である場合の計測用衣類の画像情報「Ａ１」と試着用衣類の画像情報「Ｂ１１」とが対応付けられ、ロボットマネキン２０の姿勢が「姿勢２」である場合の計測用衣類の画像情報「Ａ２」と試着用衣類の画像情報「Ｂ１２」とが対応付けられている。
画像生成部１１８は、計測用衣類を装着したユーザの画像を学習済みモデル１２６入力して、試着用衣類を試着したユーザの画像を生成する。画像生成部１１８は、例えば、計測用衣類を装着したユーザの画像から計測用衣類の画像とユーザの身体部分の画像とを抽出し、抽出した計測用衣類の画像を学習済みモデル１２６に入力し、学習済みモデル１２６から出力された試着用衣類の画像と、抽出したユーザの身体部分の画像とを合成する。
図５は、画像処理装置１００による画像の生成処理の一例を説明するための図である。
同図に示すように、画像処理装置１００は、学習フェーズとして、まず、計測用衣類を装着したロボットマネキン２０の画像から計測用衣類の画像を領域分割し、かつ、試着用衣類を装着したロボットマネキン２０の画像から試着用衣類の画像を領域分割する。
次に、画像処理装置１００は、領域分割された計測用衣類の画像と試着用衣類の画像とを学習用データ１２４として対応付け、この学習用データ１２４を用いた機械学習により学習モデルを学習させることにより、学習済みモデル１２６を生成する。
次に、画像処理装置１００は、実行フェーズとして、計測用衣類を装着したユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。この場合、画像処理装置１００は、計測用衣類の画像の深度情報と、ユーザの身体部分の画像の深度情報とを取得してもよい。これにより、計測用衣類の画像と、ユーザの身体部分の画像との領域分割が正確に行われる。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、ユーザの姿勢に対応する試着用衣類の画像が学習済みモデル１２６から出力される。
次に、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。画像処理装置１００は、例えば、ユーザの身体部分の画像を、計測用衣類の画像よりも手前に位置するように、試着用衣類を装着したユーザの画像を合成する。画像処理装置１００は、例えば、計測用衣類の画像の深度情報と、ユーザの身体部分の画像の深度情報とに基づいて、試着用衣類を装着したユーザの画像を生成してもよい。この場合、画像処理装置１００は、例えば、衣類の首の部分にユーザの顔や首を合成できたり、衣類の袖の部分にユーザの腕を合成できたりするなど、試着用異類を装着したユーザの画像を精度よく合成することができる。
図６は、学習済みモデル１２６の学習処理の一例を示すフローチャートである。なお、図６に示すフローチャートの処理に先立ち、ロボットマネキン２０の姿勢ごとの計測用衣類の画像の撮影は完了しているものとする。また、図６に示すフローチャートの処理は、例えば、ロボットマネキン２０に試着用衣類が装着された場合に、所定の操作をトリガーとして実行される。
図６に示すように、まず、ロボット制御部１１２は、試着用衣類を装着したロボットマネキン２０を所定の姿勢に制御する（ステップＳ１０）。次に、撮影制御部１１４は、カメラ１０を用いてロボットマネキン２０の画像を撮影する（ステップＳ１２）。次に、撮影制御部１１４は、ロボットマネキン２０の画像から試着用衣類の画像を領域分割する（ステップＳ１４）。次に、撮影制御部１１４は、ロボットマネキン２０の姿勢が共通する計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４として記憶部１２０に格納する（ステップＳ１６）。次に、学習部１１６は、記憶部１２０に格納された学習用データ１２４に加え、学習用データ１２４に対してデータオーギュメンテーションを行うことで水増しされたデータを用いて、機械学習により学習モデルを学習させる（ステップＳ１８）。次に、撮影制御部１１４は、学習が終了したか否かを判定する（ステップＳ２０）。そして、ロボット制御部１１２は、撮影制御部１１４により学習が終了していないと判定された場合には、ロボットマネキン２０の姿勢を変更し（ステップＳ２２）、計測用衣類の画像に対する試着用衣類の画像の対応付けが完了するまでの間、ステップＳ１２〜ステップＳ２０の処理を繰り返す。一方、撮影制御部１１４は、学習が終了したと判定した場合には、本フローチャートの処理が終了する。
図７は、画像生成処理の一例を示すフローチャートである。なお、図７に示すフローチャートの処理に先立ち、試着用衣類はユーザにより事前に選択されているものとする。また、図７に示すフローチャートの処理は、例えば、計測用衣類を装着したユーザの画像が撮影された場合に、所定の操作をトリガーとして実行される。
図７に示すように、まず、画像生成部１１８は、計測用衣類を装着したユーザの画像から、ユーザの身体部分の画像と計測用衣類の画像とを領域分割する（ステップＳ３０）。次に、画像生成部１１８は、先のステップＳ３０において領域分割した計測用衣類の画像を学習済みモデル１２６に入力する（ステップＳ３２）。次に、画像生成部１１８は、学習済みモデル１２６から出力された試着用衣類の画像と、先のステップＳ３０において領域分割したユーザの身体部分の画像とを合成する（ステップＳ３４）。次に、画像生成部１１８は、合成した画像をディスプレイ３０に出力する（ステップＳ３６）。これにより、本フローチャートの処理が終了する。
以上説明したように、上記第１の実施の形態によれば、以下に示す効果を得ることができる。
（１）画像処理装置１００は、所定の姿勢でロボットマネキン２０が装着した計測用衣類の画像を入力データとし、所定の姿勢と共通する姿勢でロボットマネキン２０が装着した試着用衣類の画像を出力データとして関連付けた学習用データ１２４を用いた機械学習により学習済みモデル１２６を学習する。また、画像処理装置１００は、学習済みモデル１２６に対し、計測用衣類を装着したユーザの画像を入力して、試着用衣類を試着したユーザの画像を生成する。すなわち、ユーザが装着した計測用衣類の画像を学習済みモデル１２６を用いて試着用衣類の画像に変換し、変換後の画像を用いて試着用衣類を試着したユーザの画像を生成する。これにより、人体や衣類の三次元モデルを用意して物理シミュレーションを実行することが不要となるため、仮想的な衣類の試着を行う場合の計算負荷を低減することができる。また、目的とする衣服毎に多数のパラメータを正確に計測することが不要となるため、仮想的な衣類の試着を行う場合の利便性を向上することができる。
（１）画像処理装置１００は、所定の姿勢でロボットマネキン２０が装着した計測用衣類の画像を入力データとし、所定の姿勢と共通する姿勢でロボットマネキン２０が装着した試着用衣類の画像を出力データとして関連付けた学習用データ１２４を用いた機械学習により学習済みモデル１２６を学習する。また、画像処理装置１００は、学習済みモデル１２６に対し、計測用衣類を装着したユーザの画像を入力して、試着用衣類を試着したユーザの画像を生成する。すなわち、ユーザが装着した計測用衣類の画像を学習済みモデル１２６を用いて試着用衣類の画像に変換し、変換後の画像を用いて試着用衣類を試着したユーザの画像を生成する。これにより、人体や衣類の三次元モデルを用意して物理シミュレーションを実行することが不要となるため、仮想的な衣類の試着を行う場合の計算負荷を低減することができる。また、目的とする衣服毎に多数のパラメータを正確に計測することが不要となるため、仮想的な衣類の試着を行う場合の利便性を向上することができる。
（２）画像処理装置１００は、計測用衣類を装着したユーザの画像から計測用衣類の画像とユーザの身体部分の画像とを抽出し、抽出した計測用衣類の画像を学習済みモデル１２６に入力する。また、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、先に抽出したユーザの身体部分の画像とを合成することによって、試着用衣類を試着したユーザの画像を生成する。すなわち、学習済みモデル１２６を用いて変換した試着用衣類の画像とユーザの身体部分の画像とを位置合わせして合成することで、試着用衣類を試着したユーザの画像を正確に合成することができる。
（３）画像処理装置１００は、計測用衣類を装着したユーザの画像から計測用衣類の画像の深度情報とユーザの身体部分の画像の深度情報とを抽出し、抽出した深度情報に基づいて、試着用衣類の画像とユーザの身体部分の画像とを合成する。これにより、試着用衣類を試着したユーザの画像をより正確に合成することができる。
（４）画像処理装置１００は、衣類を装着させたロボットマネキン２０の姿勢を所定の姿勢に制御した状態で、カメラ１０で衣類の画像を撮影し、撮影された衣類の画像をロボットマネキン２０の姿勢と関連付けて記憶部１２０に記憶させる。これにより、計測用衣類の画像と試着用衣類の画像との対応付けを正確に行うことができ、学習用データ１２４の信頼性を高めることができる。
（５）画像処理装置１００は、ロボットマネキン２０を正面から見た画像に加え、ロボットマネキン２０を横方向から見た画像など、ロボットマネキン２０を様々な回転位置から見た画像を含むように学習用データ１２４を構成している。これにより、ユーザが様々な姿勢を取る場合であっても、試着用衣類を試着したユーザの画像を正確に合成することができる。
（６）画像処理装置１００は、計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４を構成している。これにより、ユーザの姿勢の変化に伴った試着用衣類の変形を正確に予測することが可能となり、試着用衣類を装着したユーザの画像をより正確に合成することができる。
（第２の実施の形態）
次に、画像処理装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。
次に、画像処理装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。
第２の実施の形態に係る学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の姿勢が共通する複数のバリエーションの試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。複数のバリエーションは、例えば、試着用衣類の色やサイズを含む。学習用データ１２４は、例えば、計測用衣類の画像を入力データとし、計測用衣類とロボットマネキン２０の姿勢が共通する第１のバリエーションの試着用衣類の画像を出力データとして関連付け、かつ、計測用衣類の画像を入力データとし、計測用衣類とロボットマネキン２０の姿勢が共通する第２のバリエーションの試着用衣類の画像を出力データとして関連付けている。
図８は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図８に示すように、学習用データ１２４は、ロボットマネキン２０の姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＳサイズの試着用衣類の画像情報「Ｂ１１α」とが対応付けられている。また、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＭサイズの試着用衣類の画像情報「Ｂ１１β」とが対応付けられている。また、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＬサイズの試着用衣類の画像情報「Ｂ１１γ」とが対応付けられている。
図９は、画像処理装置１００による画像の生成処理の一例を説明するための図である。
同図に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着したユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。この場合、学習済みモデル１２６から出力される試着用衣類のサイズ（図示の例では「Ｍサイズ」）が事前に選択されている。これにより、事前に選択されたサイズに対応する試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。
以上説明したように、上記第２の実施の形態によれば、第１の実施の形態の上記（１）〜（６）の効果に加えて、以下に示す効果を得ることができる。
（７）画像処理装置１００は、試着用衣類のバリエーションの選択を受け付け、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、先に選択されたバリエーションの試着用衣類を試着したユーザの画像を生成する。これにより、ユーザにより選択された試着用衣類のバリエーションごとに区別して、試着用衣類を試着したユーザの画像を生成することができる。
（７）画像処理装置１００は、試着用衣類のバリエーションの選択を受け付け、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、先に選択されたバリエーションの試着用衣類を試着したユーザの画像を生成する。これにより、ユーザにより選択された試着用衣類のバリエーションごとに区別して、試着用衣類を試着したユーザの画像を生成することができる。
（第３の実施の形態）
次に、画像処理装置の第３の実施の形態について図面を参照して説明する。なお、第３の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。
次に、画像処理装置の第３の実施の形態について図面を参照して説明する。なお、第３の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。
第３の実施の形態に係る学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の体型並びに姿勢が共通する試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。ロボットマネキン２０の体型は、例えば、腕囲、肩幅、腹囲などのパラメータにより規定される。学習用データ１２４は、例えば、通常の体型に相当するロボットマネキン２０により装着された計測用衣類の画像と、この計測用衣類とロボットマネキン２０の体型ならびに姿勢が共通する試着用衣類の画像とを対応付け、かつ、肥満型に相当するロボットマネキン２０により装着された計測用衣類の画像と、この計測用衣類とロボットマネキン２０の体型ならびに姿勢が共通する試着用衣類の画像と対応付けて学習用データ１２４を構成している。すなわち、学習用データ１２４は、複数の体型のユーザに対応するように計測用衣類の画像と試着用衣類の画像とを対応付けており、学習用データ１２４のデータ数が水増しされている。
図１０は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図１０に示すように、学習用データ１２４は、ロボットマネキン２０の体型ならびに姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、通常の体型に相当するロボットマネキン２０について、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」と試着用衣類の画像情報「Ｂ１１」とが対応付けられている。また、肥満型に相当するロボットマネキン２０について、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１Ｘ」と試着用衣類の画像情報「Ｂ１１Ｘ」とが対応付けられている。
図１１は、画像処理装置１００による画像の生成処理の一例を説明するための図である。
図１１（ａ）に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着した通常の体型のユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、通常の体型に近い試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。
図１１（ｂ）に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着した肥満型のユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、肥満型に近い試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。
以上説明したように、上記第３の実施の形態によれば、第１の実施の形態の上記（１）〜（６）の効果に加えて、以下に示す効果を得ることができる。
（８）画像処理装置１００は、複数の体型のユーザに対応するように計測用衣類の画像と試着用衣類の画像とを対応付けた学習用データ１２４を用いて学習済みモデル１２６を学習している。また、画像処理装置１００は、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、様々な体型のユーザが試着用衣類を装着した画像を生成する。すなわち、様々な体型のユーザに対応するように学習用データ１２４を構成することで、計算負荷を抑えつつ、リアリティの高い試着用衣類の画像を生成することができる。
（８）画像処理装置１００は、複数の体型のユーザに対応するように計測用衣類の画像と試着用衣類の画像とを対応付けた学習用データ１２４を用いて学習済みモデル１２６を学習している。また、画像処理装置１００は、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、様々な体型のユーザが試着用衣類を装着した画像を生成する。すなわち、様々な体型のユーザに対応するように学習用データ１２４を構成することで、計算負荷を抑えつつ、リアリティの高い試着用衣類の画像を生成することができる。
（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態においては、画像処理装置１００がロボットマネキン２０を制御することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集した。これに代えて、被験者が衣類を着用した状態で姿勢を変更することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集してもよい。
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態においては、画像処理装置１００がロボットマネキン２０を制御することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集した。これに代えて、被験者が衣類を着用した状態で姿勢を変更することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集してもよい。
・上記各実施の形態においては、ユーザが装着した計測用衣類の画像を用いて学習済みモデル１２６を学習するようにした。これに代えて、ユーザが装着した普通の衣類の画像を用いて学習済みモデル１２６を学習するようにしてもよい。例えば、ユーザが装着した普通の衣類の画像に基づいてユーザの姿勢を推定し、推定したユーザの姿勢を普通の衣類の画像と関連付けて学習用データ１２４を構成してもよい。なお、普通の衣類の画像に基づいてユーザの姿勢を推定する場合には、ロボットマネキン２０に普通の衣類を装着させた画像を用いてもよいし、被検者に普通の衣類を装着させた画像を用いてもよい。
〔ハードウェア構成〕
図１２は、実施の形態の画像処理装置１００のハードウェア構成の一例を示す図である。図示するように、画像処理装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Randome Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、画像処理装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、ロボット制御部１１２、撮影制御部１１４、学習部１１６、画像生成部１１８が実現される。
図１２は、実施の形態の画像処理装置１００のハードウェア構成の一例を示す図である。図示するように、画像処理装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Randome Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、画像処理装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、ロボット制御部１１２、撮影制御部１１４、学習部１１６、画像生成部１１８が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させるように構成されている、画像処理装置。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させるように構成されている、画像処理装置。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
１…画像生成システム、１０…カメラ、２０…ロボットマネキン、３０…ディスプレイ、１００…画像処理装置、１１０…制御部、１１２…ロボット制御部、１１４…撮影制御部、１１６…学習部、１１８…画像生成部、１２０…記憶部、１２２…画像データ、１２４…学習用データ、１２６…学習済みモデル。
Claims (9)
- 所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成部を備える、
画像処理装置。 - 前記画像生成部は、
前記参照装着品を装着したユーザの画像から前記参照装着品の画像と前記ユーザの身体部分の画像とを抽出し、
前記抽出した参照装着品の画像を前記学習済みモデルに入力し、前記学習済みモデルから出力された前記試着装着品の画像と、前記抽出したユーザの身体部分の画像とを合成することによって、前記試着装着品を試着したユーザの画像を生成する、
請求項１に記載の画像処理装置。 - 前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像の深度情報と前記ユーザの身体部分の画像の深度情報とを抽出し、
前記抽出した深度情報に基づいて、前記試着装着品の画像と前記ユーザの身体部分の画像とを合成する、
請求項２に記載の画像処理装置。 - 前記学習用データは、所定の姿勢で装着主体が装着した前記参照装着品の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した第１のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、かつ、前記入力データに対して、前記所定の姿勢と共通する姿勢で装着主体が装着した第２のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、
前記画像生成部は、
前記試着装着品のバリエーションの選択を受け付け、
前記参照装着品を装着したユーザの画像を前記学習済みモデルに入力して、前記選択されたバリエーションの前記試着装着品を試着したユーザの画像を生成する、
請求項１から３のいずれか１項に記載の画像処理装置。 - 前記装着品は、衣類であり、
前記学習用データは、所定の姿勢で装着主体が装着した前記参照衣類の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した前記試着衣類の画像を前記出力データとして関連付けたデータを含む、
請求項１から４のいずれか１項に記載の画像処理装置。 - 所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いて機械学習により学習させた、
学習済みモデル。 - ロボットマネキンと、
カメラと、
前記ロボットマネキンの姿勢を制御するロボット制御部と、
前記ロボット制御部の制御に基づいて装着品を装着させた前記ロボットマネキンの姿勢を所定の姿勢に制御した状態で、前記カメラで前記装着品の画像を撮影し、撮影された画像を前記姿勢と関連付けて記憶部に記憶させる撮影制御部とを備える、
画像収集装置。 - 所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成ステップを含む、
画像処理方法。 - コンピュータに、
所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させる、
処理を実行させる、
画像処理プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962809088P | 2019-02-22 | 2019-02-22 | |
| US62/809,088 | 2019-02-22 | ||
| PCT/JP2020/007392 WO2020171237A1 (ja) | 2019-02-22 | 2020-02-25 | 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020171237A1 true JPWO2020171237A1 (ja) | 2021-12-16 |
| JP7497059B2 JP7497059B2 (ja) | 2024-06-10 |
Family
ID=72144680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021502253A Active JP7497059B2 (ja) | 2019-02-22 | 2020-02-25 | 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7497059B2 (ja) |
| WO (1) | WO2020171237A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6921768B2 (ja) * | 2018-02-21 | 2021-08-18 | 株式会社東芝 | 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置 |
| CN112991494B (zh) * | 2021-01-28 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6921768B2 (ja) | 2018-02-21 | 2021-08-18 | 株式会社東芝 | 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置 |
-
2020
- 2020-02-25 JP JP2021502253A patent/JP7497059B2/ja active Active
- 2020-02-25 WO PCT/JP2020/007392 patent/WO2020171237A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020171237A1 (ja) | 2020-08-27 |
| JP7497059B2 (ja) | 2024-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210074005A1 (en) | Image processing method and apparatus, image device, and storage medium | |
| JP4473754B2 (ja) | 仮想試着装置 | |
| US20150248583A1 (en) | Image processing apparatus, image processing system, image processing method, and computer program product | |
| JP6369811B2 (ja) | 歩行解析システムおよび歩行解析プログラム | |
| CN107481280B (zh) | 一种骨骼点的矫正方法及计算设备 | |
| CN104966284A (zh) | 基于深度数据获得对象尺寸信息的方法及设备 | |
| JPWO2020171237A1 (ja) | 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム | |
| Xu et al. | 3d virtual garment modeling from rgb images | |
| JP2019003565A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Cha et al. | Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors | |
| Chang et al. | Seeing through the appearance: Body shape estimation using multi-view clothing images | |
| CN110175629B (zh) | 一种人体动作相似度计算方法及装置 | |
| JP6684336B1 (ja) | データ補正装置およびプログラム | |
| JP2009095631A (ja) | ゴルフスウィング計測システム | |
| JP2021099666A (ja) | 学習モデルの生成方法 | |
| JP7501543B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| WO2023162223A1 (ja) | 学習プログラム、生成プログラム、学習方法および生成方法 | |
| JP7294402B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Pei et al. | An image-based measuring technique for the prediction of human body size | |
| AU2020436767B2 (en) | Markerless motion capture of hands with multiple pose estimation engines | |
| JP6868875B1 (ja) | 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム | |
| Nam et al. | Accurate 3D human pose recognition via fusion of depth and motion sensors | |
| JP2020204790A (ja) | シミュレーション装置、シミュレーション方法、及びコンピュータプログラム | |
| de Aguiar et al. | Capture and stylization of human models | |
| Stavrakakis et al. | Gait Analysis with Trinocular Computer Vision Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7497059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |