JP7161572B2 - ディープラーニング基盤の仮想イメージ生成方法及びシステム - Google Patents
ディープラーニング基盤の仮想イメージ生成方法及びシステム Download PDFInfo
- Publication number
- JP7161572B2 JP7161572B2 JP2021073577A JP2021073577A JP7161572B2 JP 7161572 B2 JP7161572 B2 JP 7161572B2 JP 2021073577 A JP2021073577 A JP 2021073577A JP 2021073577 A JP2021073577 A JP 2021073577A JP 7161572 B2 JP7161572 B2 JP 7161572B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- product
- pose
- deep learning
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 title claims description 63
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 239000000047 product Substances 0.000 description 305
- 238000007726 management method Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 210000003423 ankle Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 210000001624 hip Anatomy 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Description
本発明の実施形態においてコンピューティングデバイス100は、オンラインショッピングモールサービスを利用するための環境を提供し、このようなオンラインショッピングモールサービス環境内で1つの製品に対する複数の製品イメージを分類し、ここで求められる必要製品イメージをディープラーニングに基づいて生成できるイメージアプリケーションを実行できる。
本発明の実施形態において、モバイルタイプのコンピューティングデバイス200は、イメージアプリケーションがインストールされたスマートフォンやタブレットPCのようなモバイル装置であることができる。
図3は、本発明の実施形態に係るデスクトップタイプのコンピューティングデバイス300の内部ブロック図である。
一方、本発明の実施形態において、イメージ管理サーバ400は、ディープラーニング基盤のイメージ生成サービスを提供するための一連のプロセスを行うことができる。
また、本発明の実施形態においてショッピングモールサーバ500は、オンラインショッピングモールサービス(Online shopping-mall service)を提供するための一連のプロセスを行うことができる。
以下、添付された図面を参照して本発明の実施形態に係るディープラーニング基盤のイメージ生成方法について詳細に説明する。
Claims (15)
- コンピューティングデバイスのプロセッサにより実行されるイメージアプリケーションが、
1つの製品に対する複数の製品イメージを取得し、
前記取得された複数の製品イメージを、互いに異なるポーズ(pose)形態を基準に区分された複数のカテゴリーのうちの少なくとも1つのカテゴリーに分類し、
前記複数のカテゴリーのうち、少なくとも1つのターゲットカテゴリーを決定し、
前記複数の製品イメージのうちの少なくとも1つの製品イメージを基に、前記少なくとも1つのターゲットカテゴリーにマッチングされた第1ポーズ形態の仮想イメージを生成し、
前記生成された仮想イメージを出力する、ことを含み、
前記ターゲットカテゴリーの決定は、
前記複数のカテゴリーのうち、前記複数の製品イメージが分類されなかった空のカテゴリーを検出し、
前記検出された空のカテゴリーを前記ターゲットカテゴリーとして決定する、
ことを含むディープラーニング基盤の仮想イメージ生成方法。 - 前記仮想イメージは、
少なくとも前記1つの製品イメージと前記第1ポーズ形態に関する情報が予め学習されたディープラーニングニューラルネットワークに入力して、前記第1ポーズ形態を有するように生成された前記1つの製品に対するイメージである請求項1に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記第1ポーズ形態の仮想イメージの生成は、
前記複数の製品イメージのうち、少なくとも1つをベースイメージとして決定する、
ことを含む請求項1に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記ベースイメージの決定は、
予め設定されたカテゴリー別の優先順位にしたがって最優先順位のカテゴリーの製品イメージを前記ベースイメージとして決定する、
ことを含む請求項3に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記第1ポーズ形態の仮想イメージの生成は、
前記ベースイメージ及び前記第1ポーズ形態の情報が予め学習されたディープラーニングニューラルネットワークに入力して、前記第1ポーズ形態のポーズセマンティックレベルマップ(Semantic Label Map)を生成する、
ことをさらに含む請求項3に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記第1ポーズ形態の仮想イメージの生成は、
前記ベースイメージのセマンティックレベルマップであるベースセマンティックレベルマップ(Base Semantic Label Map)を生成する、
ことをさらに含む請求項5に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記第1ポーズ形態の仮想イメージの生成は、
前記ポーズセマンティックレベルマップ及び前記ベースイメージが予め学習されたディープラーニングニューラルネットワークに入力して、出力として前記仮想イメージを生成する、
ことをさらに含む請求項5に記載のディープラーニング基盤の仮想イメージ生成方法。 - 前記第1ポーズ形態の仮想イメージの生成は、
前記ベースイメージ及びベースセマンティックレベルマップと対応するように、前記第1ポーズ形態の情報及びポーズセマンティックレベルマップをディープラーニングニューラルネットワークに入力して、出力として前記第1ポーズ形態を有する前記仮想イメージを生成する、
ことを含む請求項5に記載のディープラーニング基盤の仮想イメージ生成方法。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより実行されるイメージアプリケーションに対する格納命令を格納するメモリと、
を備え、
前記イメージアプリケーションの格納命令は、
1つの製品に対する複数の製品イメージを取得し、
前記取得された複数の製品イメージを、互いに異なるポーズ(pose)形態を基準に区分された複数のカテゴリーに分類し、
前記複数のカテゴリーのうち、前記複数の製品イメージが分類されなかった空のカテゴリーを検出し、
前記検出された空のカテゴリーをターゲットカテゴリーとして決定し、
前記複数の製品イメージのうちの少なくとも1つの製品イメージを基に前記決定されたターゲットカテゴリーにマッチングされた第1ポーズ形態の仮想イメージを生成し、
前記生成された仮想イメージを出力する、命令語を含む、
ディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
前記複数の製品イメージのうち、少なくとも1つをベースイメージとして決定する、命令語を含む、
請求項9に記載のディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
予め設定されたカテゴリー別の優先順位にしたがって最優先順位のカテゴリーの製品イメージを前記ベースイメージとして決定する、命令語を含む、
請求項10に記載のディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
前記ベースイメージ及び前記第1ポーズ形態の情報を予め学習されたディープラーニングニューラルネットワークに入力して、前記第1ポーズ形態のポーズセマンティックレベルマップ(Semantic Label Map)を生成する、命令語を含む、
請求項11に記載のディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
前記ベースイメージのセマンティックレベルマップであるベースセマンティックレベルマップ(Base Semantic Label Map)を生成する、命令語を含む、
請求項12に記載のディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
前記ポーズセマンティックレベルマップ及び前記ベースイメージを予め学習されたディープラーニングニューラルネットワークに入力して、出力として前記仮想イメージを生成する、命令語を含む、
請求項13に記載のディープラーニング基盤の仮想イメージ生成システム。 - 前記イメージアプリケーションの格納命令は、
前記ベースイメージ及びベースセマンティックレベルマップと対応するように、前記第1ポーズ形態の情報及びポーズセマンティックレベルマップをディープラーニングニューラルネットワークに入力して、出力として前記第1ポーズ形態を有する前記仮想イメージを生成する、命令語を含む、
請求項14に記載のディープラーニング基盤の仮想イメージ生成システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200049121A KR102466978B1 (ko) | 2020-04-23 | 2020-04-23 | 딥러닝 기반 가상 이미지 생성방법 및 시스템 |
KR10-2020-0049121 | 2020-04-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174553A JP2021174553A (ja) | 2021-11-01 |
JP7161572B2 true JP7161572B2 (ja) | 2022-10-26 |
Family
ID=78222636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021073577A Active JP7161572B2 (ja) | 2020-04-23 | 2021-04-23 | ディープラーニング基盤の仮想イメージ生成方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11727605B2 (ja) |
JP (1) | JP7161572B2 (ja) |
KR (1) | KR102466978B1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023068632A1 (ko) | 2021-10-18 | 2023-04-27 | 라이트비전 주식회사 | 딥러닝을 이용하여 가상 tem sadp 영상과 실제 tem sadp 영상을 상호 변환시키는 회절 패턴 영상 변환 시스템 및 방법 |
KR102582498B1 (ko) | 2021-10-18 | 2023-09-26 | 라이트비전 주식회사 | 높은 분별력을 가지는 tem sadp 영상 생성 시스템 및 방법 |
WO2023068631A1 (ko) | 2021-10-18 | 2023-04-27 | 라이트비전 주식회사 | 높은 분별력을 가지는 tem sadp 영상 생성 시스템 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019204476A (ja) | 2018-05-17 | 2019-11-28 | 株式会社Preferred Networks | 画像生成装置、画像生成方法及びプログラム |
US20190371080A1 (en) | 2018-06-05 | 2019-12-05 | Cristian SMINCHISESCU | Image processing method, system and device |
JP2020038640A (ja) | 2018-08-31 | 2020-03-12 | エヌエイチエヌ コーポレーション | イメージ自動分類方法及びシステム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102240302B1 (ko) | 2014-10-21 | 2021-04-14 | 삼성전자주식회사 | 가상 피팅 장치 및 이의 가상 피팅 방법 |
CN107330439B (zh) | 2017-07-14 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 一种图像中物体姿态的确定方法、客户端及服务器 |
CN109670444B (zh) * | 2018-12-18 | 2019-12-24 | 北京字节跳动网络技术有限公司 | 姿态检测模型的生成、姿态检测方法、装置、设备及介质 |
US11030772B2 (en) | 2019-06-03 | 2021-06-08 | Microsoft Technology Licensing, Llc | Pose synthesis |
US10949960B2 (en) | 2019-06-20 | 2021-03-16 | Intel Corporation | Pose synthesis in unseen human poses |
US20210232858A1 (en) * | 2020-01-23 | 2021-07-29 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm using synthetic images |
-
2020
- 2020-04-23 KR KR1020200049121A patent/KR102466978B1/ko active IP Right Grant
-
2021
- 2021-04-23 JP JP2021073577A patent/JP7161572B2/ja active Active
- 2021-04-23 US US17/238,203 patent/US11727605B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019204476A (ja) | 2018-05-17 | 2019-11-28 | 株式会社Preferred Networks | 画像生成装置、画像生成方法及びプログラム |
US20190371080A1 (en) | 2018-06-05 | 2019-12-05 | Cristian SMINCHISESCU | Image processing method, system and device |
JP2020038640A (ja) | 2018-08-31 | 2020-03-12 | エヌエイチエヌ コーポレーション | イメージ自動分類方法及びシステム |
Non-Patent Citations (2)
Title |
---|
Albert Pumarola et al.,Unsupervised Person Image Synthesis in Arbitrary Poses,2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition,米国,IEEE,2018年,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8578997 |
中田 秀基 外1名,ニューラルネットワークを用いた任意人物・姿勢画像の生成,電子情報通信学会技術研究報告,第118巻 第513号,日本,一般社団法人電子情報通信学会,2019年03月10日,pp.73~78 |
Also Published As
Publication number | Publication date |
---|---|
US11727605B2 (en) | 2023-08-15 |
KR102466978B1 (ko) | 2022-11-14 |
KR20210130953A (ko) | 2021-11-02 |
JP2021174553A (ja) | 2021-11-01 |
US20210335021A1 (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210406960A1 (en) | Joint-based item recognition | |
JP7161572B2 (ja) | ディープラーニング基盤の仮想イメージ生成方法及びシステム | |
US20220130125A1 (en) | Virtual content generation | |
US20230394681A1 (en) | Region-based stabilized face tracking | |
US11055514B1 (en) | Image face manipulation | |
CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
US10719993B1 (en) | Augmented reality system and method with space and object recognition | |
US10157324B2 (en) | Systems and methods of updating user identifiers in an image-sharing environment | |
CN108229559B (zh) | 服饰检测方法、装置、电子设备、程序和介质 | |
Shi et al. | Human-computer interaction based on face feature localization | |
CN106030610A (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
US10726631B1 (en) | Augmented reality system and method with frame region recording and reproduction technology based on object tracking | |
US9959480B1 (en) | Pixel-structural reference image feature extraction | |
CN111368116B (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
Tammvee et al. | Human activity recognition-based path planning for autonomous vehicles | |
CN117940962A (zh) | 基于面部表情控制交互时尚 | |
KR102534182B1 (ko) | 딥러닝 기반 상품검색 방법 및 시스템 | |
KR102467010B1 (ko) | 이미지 복원에 기반한 상품 검색 방법 및 시스템 | |
US20220067812A1 (en) | Method and system for providing search results for similar products based on deep-learning | |
Aravindan et al. | A Smart Assistive System for Visually Impaired to Inform Acquaintance Using Image Processing (ML) Supported by IoT | |
Milanova et al. | Markerless 3D virtual glasses try-on system | |
KR102401626B1 (ko) | 이미지 기반 상품검색 방법 및 그 시스템 | |
Jain et al. | [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices | |
KR102665456B1 (ko) | 2차원 이미지에 기초한 3차원 가상 의류 착용방법 및 그 시스템 | |
WO2023135699A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7161572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |