JP7443473B2 - ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム - Google Patents
ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム Download PDFInfo
- Publication number
- JP7443473B2 JP7443473B2 JP2022186934A JP2022186934A JP7443473B2 JP 7443473 B2 JP7443473 B2 JP 7443473B2 JP 2022186934 A JP2022186934 A JP 2022186934A JP 2022186934 A JP2022186934 A JP 2022186934A JP 7443473 B2 JP7443473 B2 JP 7443473B2
- Authority
- JP
- Japan
- Prior art keywords
- garment
- fitting
- virtual fitting
- virtual
- characteristic parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000015654 memory Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明の一実施形態による端末100は、ビデオ会議ベースの仮想フィッティングサービスを提供するフィッティングアプリケーションが設置された所定のコンピューティングデバイスであってもよい。
一方、本発明の一実施形態による仮想フィッティング提供サーバ200は、ビデオ会議ベースの仮想フィッティングサービスを提供するための一連のプロセスを行うことができる。
以下において、本発明の一実施形態による端末100の少なくとも1つ以上のプロセッサにより実行されるフィッティングアプリケーション111がビデオ会議プログラムベースの仮想フィッティングを行う方法を添付の図3乃至図10を参照して詳しく説明する。
Claims (12)
- 端末の少なくとも1つのプロセッサにより実行されるフィッティングアプリケーションがビデオ会議プログラムベースの仮想フィッティングを実行する方法であって、
前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者映像を取得する段階、
前記取得された他の参加者映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得する段階、
前記取得された衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定する段階、
前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定する段階、
前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出する段階、
前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定する段階、
前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者映像内の前記使用者に仮想試着させた仮想フィッティング映像を生成する段階、及び
前記生成された仮想フィッティング映像を提供する段階を含み、
前記仮想フィッティング衣服を決定する段階は、
前記少なくとも1つの候補フィッティング衣服のうち、前記仮想試着を行う時のデータ処理量及びデータ処理時間のうち少なくとも1つを含む仮想試着演算量を最小に有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
ビデオ会議プログラムベースの仮想フィッティング方法。 - 前記衣服特性パラメータ値は、
所定の衣服の色、パターンの種類、ネックライン(neckline)の種類及びスリーブ(sleeve)の長さのうち少なくとも1つを含む衣服特性パラメータのそれぞれに対するデータ値を含む
請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記ドレスコード(dress code)を決定する段階は、
少なくとも1つの衣装カテゴリ別の出現頻度数に基づいて前記ドレスコードを決定する段階を含む
請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記候補フィッティング衣服を検出する段階は、
前記ドレスコードにマッチングされる衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記候補フィッティング衣服を検出する段階は、
前記少なくとも1つの衣服特性パラメータ値内の前記衣服特性パラメータ別の最多出現データ値を取りまとめた統合特性パラメータ値を生成する段階と、
前記生成された統合特性パラメータ値をデータベースに既に格納されている複数の衣服イメージのそれぞれの衣服特性パラメータ値と比較する段階と、
前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
請求項2に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記候補フィッティング衣服を検出する段階は、
前記ドレスコードにマッチングされる衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
請求項5に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記仮想フィッティング衣服を決定する段階は、
前記少なくとも1つの候補フィッティング衣服のうちいずれか1つを選択する使用者入力に基づいて前記仮想フィッティング衣服を決定する段階を含む
請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記仮想フィッティング衣服を決定する段階は、
前記使用者入力に基づいて選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更するパラメータ調整インタフェースを提供する段階と、
前記提供されたパラメータ調整インタフェースに基づいた使用者入力に基づいて前記選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更する段階と、
前記衣服特性パラメータ値が変更された候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階をさらに含む
請求項7に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 前記仮想フィッティング衣服を決定する段階は、
前記少なくとも1つの候補フィッティング衣服のうち前記統合特性パラメータ値と最も高い一致率の衣服特性パラメータ値を有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
請求項5に記載のビデオ会議プログラムベースの仮想フィッティング方法。
- 前記生成された仮想フィッティング映像を提供する段階は、
前記仮想フィッティング映像を前記ビデオ会議プログラムを介して送出して前記ビデオ会議に参加した少なくとも1人の他の使用者及び前記使用者の端末に提供する段階を含む
請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。 - 仮想フィッティング映像を出力する少なくとも1つ以上のディスプレイ、
少なくとも1つ以上のメモリ、及び
少なくとも1つ以上のプロセッサを含み、
前記メモリに格納され、前記プロセッサにより実行されてビデオ会議プログラムベースの仮想フィッティングを行う少なくとも1つのアプリケーションであって、前記少なくとも1つのアプリケーションは、
前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者映像を取得し、
前記取得された他の参加者映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得し、
前記取得した衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定し、
前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定し、
前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出し、
前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定し、
前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者映像内の前記使用者に仮想試着させた前記仮想フィッティング映像を生成し、
前記生成された仮想フィッティング映像を提供することを含み、
前記仮想フィッティング衣服を決定する段階は、
前記少なくとも1つの候補フィッティング衣服のうち、前記仮想試着を行う時のデータ処理量及びデータ処理時間のうち少なくとも1つを含む仮想試着演算量を最小に有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
ビデオ会議プログラムベースの仮想フィッティングシステム。 - 請求項1乃至請求項10のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210162203A KR102527398B1 (ko) | 2021-11-23 | 2021-11-23 | 화상미팅 프로그램 기반의 가상 피팅 방법 및 그 시스템 |
KR10-2021-0162203 | 2021-11-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023076818A JP2023076818A (ja) | 2023-06-02 |
JP7443473B2 true JP7443473B2 (ja) | 2024-03-05 |
Family
ID=86143306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022186934A Active JP7443473B2 (ja) | 2021-11-23 | 2022-11-22 | ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230164297A1 (ja) |
JP (1) | JP7443473B2 (ja) |
KR (2) | KR102527398B1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002058001A (ja) | 2000-08-09 | 2002-02-22 | Digital Electronics Corp | 通話装置の画像送信方法 |
JP2016502713A (ja) | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインSingapore University of Technologyand Design | 衣類マッチングシステム及び方法 |
JP2016532197A (ja) | 2013-08-04 | 2016-10-13 | アイズマッチ エルティーディー.EyesMatch Ltd. | 鏡における仮想化の装置、システム、及び方法 |
JP2017175544A (ja) | 2016-03-25 | 2017-09-28 | 大和ハウス工業株式会社 | 対話システム及び対話システムの制御方法 |
JP2020107084A (ja) | 2018-12-27 | 2020-07-09 | 日本電気株式会社 | 服装提案装置、服装提案方法、およびプログラム |
US20210350441A1 (en) | 2019-01-24 | 2021-11-11 | Samsung Electronics Co., Ltd. | Electronic device and method for operating same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201710840D0 (en) * | 2017-07-05 | 2017-08-16 | Jones Maria Francisca | Virtual meeting participant response indication method and system |
KR20200141251A (ko) * | 2019-06-10 | 2020-12-18 | 오드컨셉 주식회사 | 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버 |
KR20210083551A (ko) | 2019-12-27 | 2021-07-07 | 주식회사 케이티 | 실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램 |
-
2021
- 2021-11-23 KR KR1020210162203A patent/KR102527398B1/ko active IP Right Grant
-
2022
- 2022-11-22 JP JP2022186934A patent/JP7443473B2/ja active Active
- 2022-11-22 US US17/992,753 patent/US20230164297A1/en active Pending
-
2023
- 2023-04-25 KR KR1020230054141A patent/KR20230076122A/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002058001A (ja) | 2000-08-09 | 2002-02-22 | Digital Electronics Corp | 通話装置の画像送信方法 |
JP2016502713A (ja) | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインSingapore University of Technologyand Design | 衣類マッチングシステム及び方法 |
JP2016532197A (ja) | 2013-08-04 | 2016-10-13 | アイズマッチ エルティーディー.EyesMatch Ltd. | 鏡における仮想化の装置、システム、及び方法 |
JP2017175544A (ja) | 2016-03-25 | 2017-09-28 | 大和ハウス工業株式会社 | 対話システム及び対話システムの制御方法 |
JP2020107084A (ja) | 2018-12-27 | 2020-07-09 | 日本電気株式会社 | 服装提案装置、服装提案方法、およびプログラム |
US20210350441A1 (en) | 2019-01-24 | 2021-11-11 | Samsung Electronics Co., Ltd. | Electronic device and method for operating same |
Also Published As
Publication number | Publication date |
---|---|
US20230164297A1 (en) | 2023-05-25 |
JP2023076818A (ja) | 2023-06-02 |
KR102527398B1 (ko) | 2023-04-28 |
KR20230076122A (ko) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11670059B2 (en) | Controlling interactive fashion based on body gestures | |
US20220327709A1 (en) | Garment segmentation | |
US11836862B2 (en) | External mesh with vertex attributes | |
US11908083B2 (en) | Deforming custom mesh based on body mesh | |
US11663792B2 (en) | Body fitted accessory with physics simulation | |
US11900506B2 (en) | Controlling interactive fashion based on facial expressions | |
US20230154129A1 (en) | Body normal network light and rendering control | |
US20240070766A1 (en) | Personalized try-on ads | |
US20240096040A1 (en) | Real-time upper-body garment exchange | |
US20230169739A1 (en) | Light and rendering of garments | |
JP7443473B2 (ja) | ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム | |
US20230196602A1 (en) | Real-time garment exchange | |
US20240161242A1 (en) | Real-time try-on using body landmarks | |
WO2024107634A1 (en) | Real-time try-on using body landmarks | |
KR20240090365A (ko) | 정점 속성을 갖는 외부 메시 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |