KR102592596B1 - 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법 - Google Patents

인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법 Download PDF

Info

Publication number
KR102592596B1
KR102592596B1 KR1020230090186A KR20230090186A KR102592596B1 KR 102592596 B1 KR102592596 B1 KR 102592596B1 KR 1020230090186 A KR1020230090186 A KR 1020230090186A KR 20230090186 A KR20230090186 A KR 20230090186A KR 102592596 B1 KR102592596 B1 KR 102592596B1
Authority
KR
South Korea
Prior art keywords
human model
image
wearing
fashion item
wearing image
Prior art date
Application number
KR1020230090186A
Other languages
English (en)
Inventor
백하정
Original Assignee
주식회사 패션에이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 패션에이드 filed Critical 주식회사 패션에이드
Priority to KR1020230090186A priority Critical patent/KR102592596B1/ko
Application granted granted Critical
Publication of KR102592596B1 publication Critical patent/KR102592596B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 시스템은, 패션 아이템이 장착된 제1 착용 이미지를 입력 받는 제1 착용 이미지 입력부; 상기 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하고, 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정하는 휴먼모델 추정부; 상기 휴먼모델을 상기 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성하는 제2 착용 이미지 생성부; 및 상기 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링하는 광고 페이지 렌더링부를 포함하며, 상기 휴먼모델 추정부는, 상기 광고 페이지에 삽입된 제2 착용 이미지 각각의 클릭 수를 기반으로 상기 휴먼모델을 추정한다.

Description

인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING HUMAN MODEL AUTOMATICALLY BASED ON ARTIFICIAL INTELLIGENCE}
본 발명의 실시예들은 인공지능을 기반으로 가상의 휴먼모델을 자동으로 생성하는 기술과 관련된다.
일반적으로, 의류, 모자, 신발 등과 같은 패션 아이템에 대한 사용자(소비자)의 구매력을 고취시키기 위해서는 피팅 모델을 섭외한 후 피팅 모델이 패션 아이템을 장착하고 있는 상태를 촬영하는 과정이 필수적이다. 그러나, 패션 아이템의 종류 및 개수가 방대함에 따라 모든 패션 아이템마다 피팅 모델을 섭외하여 착용 이미지를 촬영하는 것은 현실적으로 불가능하다.
이에, 패션 아이템이 마네킹에 장착된 상태에서 이를 촬영하거나, 아바타에 패션 아이템을 합성하여 착용 이미지를 획득하는 방법이 주로 사용되고 있다. 그러나, 마네킹의 착용 이미지는 피팅 모델의 착용 이미지에 비해 패션 아이템에 대한 사용자의 구매력 고취에 한계가 있다. 또한, 아바타의 착용 이미지는 사용자로 하여금 부자연스러움을 불러일으키며, 이는 곧 패션 아이템에 대한 사용자의 구매력 저하로 이어진다. 또한, 피팅 모델의 이미지를 패션 아이템에 합성하여 가상피팅하는 경우도 있으나, 이 경우 가상피팅된 착용 이미지를 바라보는 사용자의 나이, 인종 등을 전혀 고려하지 않아 사용자의 공감대 형성에 어려움이 있는 경우가 많고, 피팅 모델의 이미지가 패션 아이템의 스타일, 색깔 등과 어울리지 않아 사용자로 하여금 부자연스러움을 일으키는 경우가 빈번하다.
한국등록특허공보 제10-2486094호(2023.01.04)
본 발명의 실시예들은 패션 아이템에 대한 제1 착용 이미지를 패션 아이템의 종류, 스타일 및 컬러에 맞는 제2 착용 이미지로 변환하여 패션 아이템의 판매를 극대화시키기 위한 것이다.
소비자는 온라인 쇼핑시 상품 사진에 비해 상품이 착용된 착용 이미지(즉, 피팅 모델 이미지)를 더 선호하며, 피팅 모델의 얼굴이 매력적이면 해당 상품을 더 구매하는 것으로 리서치 결과가 나타났다. 또한, 위 리서치 결과에 따르면 소비자는 피팅 모델의 피부, 인종, 연령, 체형, 얼굴, 헤어 등이 자신과 상이하면 구매를 망설이는 것으로 나타났다. 이에, 본 발명에서는 패션 아이템에 대한 소비자의 구매를 가장 극대화시키는 가상의 휴먼모델을 자동으로 생성한 후 상기 패션 아이템에 대한 휴먼모델의 착용 이미지를 제공할 수 있도록 하였다.
예시적인 실시예에 따르면, 패션 아이템이 장착된 제1 착용 이미지를 입력 받는 제1 착용 이미지 입력부; 상기 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하고, 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정하는 휴먼모델 추정부; 상기 휴먼모델을 상기 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성하는 제2 착용 이미지 생성부; 및 상기 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링하는 광고 페이지 렌더링부를 포함하며, 상기 휴먼모델 추정부는, 상기 광고 페이지에 삽입된 제2 착용 이미지 각각의 클릭 수를 기반으로 상기 휴먼모델을 추정하는, 인공지능 기반의 휴먼모델 자동 생성 시스템이 제공된다.
상기 휴먼모델 추정부는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 패션 아이템을 기 분류된 복수 개의 카테고리 중 하나로 분류하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터를 기반으로 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델 추정부는, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, GAN(Generative Adversarial Network) 모델과 Diffusion 모델을 이용하여 각 속성 정보를 보정하여 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델 추정부는, 상기 사용자 단말에서 촬영된 사용자의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 촬영 정보를 수집하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, 상기 촬영 정보를 기반으로 각 속성 정보를 보정하여 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델 추정부는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 휴먼모델의 표정을 기 분류된 복수 개의 표정 카테고리 중 하나로 변화시킬 수 있다.
상기 휴먼모델 추정부는, 상기 광고 페이지가 렌더링되는 상기 사용자 단말의 정보를 수집하고, 상기 사용자 단말의 정보에 따라 상기 휴먼모델을 다르게 추정할 수 있다.
상기 사용자 단말의 정보는, 상기 사용자 단말을 소지하는 사용자의 국적, 성별, 나이 및 인종 중 적어도 하나를 포함하며, 상기 제2 착용 이미지는, 상기 사용자 단말의 정보에 따라 상기 광고 페이지에서 서로 다른 형태로 렌더링될 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 마네킹 이미지일 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 아바타 이미지일 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 실제 모델 이미지일 수 있다.
다른 예시적인 실시예에 따르면, 제1 착용 이미지 입력부에서, 패션 아이템이 장착된 제1 착용 이미지를 입력 받는 단계; 휴먼모델 추정부에서, 상기 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하는 단계; 상기 휴먼모델 추정부에서, 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정하는 단계; 제2 착용 이미지 생성부에서, 상기 휴먼모델을 상기 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성하는 단계; 및 광고 페이지 렌더링부에서, 상기 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링하는 단계를 포함하며, 상기 휴먼모델을 추정하는 단계는, 상기 광고 페이지에 삽입된 제2 착용 이미지 각각의 클릭 수를 기반으로 휴먼모델을 추정하는, 인공지능 기반의 휴먼모델 자동 생성 방법이 제공된다.
상기 휴먼모델을 추정하는 단계는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 패션 아이템을 기 분류된 복수 개의 카테고리 중 하나로 분류하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터를 기반으로 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델을 추정하는 단계는, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, GAN(Generative Adversarial Network) 모델과 Diffusion 모델을 이용하여 각 속성 정보를 보정하여 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델을 추정하는 단계는, 상기 사용자 단말에서 촬영된 사용자의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 촬영 정보를 수집하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, 상기 촬영 정보를 기반으로 각 속성 정보를 보정하여 상기 휴먼모델을 추정할 수 있다.
상기 휴먼모델을 추정하는 단계는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 휴먼모델의 표정을 기 분류된 복수 개의 표정 카테고리 중 하나로 변화시킬 수 있다.
상기 휴먼모델을 추정하는 단계는, 상기 광고 페이지가 렌더링되는 상기 사용자 단말의 정보를 수집하고, 상기 사용자 단말의 정보에 따라 상기 휴먼모델을 다르게 추정할 수 있다.
상기 사용자 단말의 정보는, 상기 사용자 단말을 소지하는 사용자의 국적, 성별, 나이 및 인종 중 적어도 하나를 포함하며, 상기 제2 착용 이미지는, 상기 사용자 단말의 정보에 따라 상기 광고 페이지에서 서로 다른 형태로 렌더링될 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 마네킹 이미지일 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 아바타 이미지일 수 있다.
상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 실제 모델 이미지일 수 있다.
본 발명의 실시예들에 따르면, 패션 아이템에 대한 제1 착용 이미지를 패션 아이템의 종류, 스타일 및 컬러에 맞는 제2 착용 이미지로 변환함으로써, 제1 착용 이미지에 대한 부자연스러움을 최소화하고 이에 따라 패션 아이템에 대한 사용자의 구매력을 고취시킬 수 있다. 특히, 패션 아이템의 종류, 스타일 및 컬러에 따라 제2 착용 이미지가 동적으로 실시간 변화될 수 있도록 함으로써, 고정된 가상 이미지가 일률적으로 합성되는 기존의 가상피팅 기술에 비해 패션 아이템의 판매가 보다 극대화될 수 있다.
또한, 본 발명의 실시예들에 따르면, 광고 페이지를 응시하는 사용자 단말의 정보 또는 사용자 단말에서 촬영된 촬영 정보에 따라 제2 착용 이미지가 동적으로 실시간 변화될 수 있도록 함으로써, 사용자에게 보다 친숙한 형태의 휴먼모델을 실시간으로 구현할 수 있으며 이는 곧 패션 아이템의 구매력 증진에 큰 도움이 된다.
도 1은 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 제1 착용 이미지의 예시
도 3은 본 발명의 다른 실시예에 따른 제1 착용 이미지의 예시
도 4는 본 발명의 다른 실시예에 따른 제1 착용 이미지의 예시
도 5는 본 발명의 일 실시예에 따른 제1 착용 이미지 내 신체 영역의 예시
도 6은 본 발명의 일 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 7은 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 8은 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 9는 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 10은 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 11은 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 12는 본 발명의 다른 실시예에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시
도 13은 본 발명의 일 실시예에 따라 사용자 단말의 정보에 따라 광고 페이지에서 서로 다른 형태의 제2 착용 이미지가 렌더링되는 과정을 나타낸 예시
도 14는 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 방법을 설명하기 위한 흐름도
도 15는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 시스템(100)은 네트워크(미도시)를 통해 광고 서버(200) 및 사용자 단말(300)과 연결된다.
광고 서버(200)는 사용자 단말(300)에 제공되는 광고 페이지를 관리하는 장치이다. 광고 서버(200)는 광고 페이지를 생성하여 휴먼모델 자동 생성 시스템(100)으로 전달하며, 후술할 패션 아이템에 대한 착용 이미지가 상기 광고 페이지에 삽입되어 사용자 단말(300)에 렌더링될 수 있다. 이때, 광고 서버(200)는 판매하고자 하는 패션 아이템에 대한 구매링크를 광고 페이지에 삽입할 수 있으며, 사용자는 광고 페이지 내 착용 이미지를 클릭함으로써 상기 구매링크에 접속할 수 있다. 또한, 후술할 바와 같이, 광고 서버(200)는 광고 페이지 내 패션 아이템의 착용 이미지에 대한 사용자의 클릭 수를 카운팅하여 휴먼모델 자동 생성 시스템(100)에 제공할 수 있다.
사용자 단말(300)은 사용자가 소지하는 단말로서, 예를 들어 데스크탑, 노트북, 태블릿 컴퓨터, 스마트폰, PDA, 스마트 워치와 같은 웨어러블 디바이스 등이 될 수 있다. 여기서, 사용자는 의류, 모자, 신발 등과 같은 패션 아이템을 구매하고자 하거나 잠재적인 구매 가능성이 있는 소비자를 의미한다. 사용자는 자신이 소지하는 사용자 단말(300)을 통해 온라인 상에서 웹 서핑(web surfing)할 수 있으며, 이 과정에서 광고 페이지를 확인할 수 있다. 상술한 바와 같이, 사용자는 광고 페이지에 삽입된 패션 아이템에 대한 착용 이미지를 클릭함으로써 상기 패션 아이템을 구매할 수 있다. 상기 광고 페이지에 삽입된 패션 아이템의 착용 이미지는 휴먼모델 자동 생성 시스템(100)에서 생성될 수 있다.
도 1을 참조하면, 도 1은 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 시스템(100)은 제1 착용 이미지 입력부(102), 휴먼모델 추정부(104), 데이터베이스(106), 제2 착용 이미지 생성부(108) 및 광고 페이지 렌더링부(110)를 포함한다.
제1 착용 이미지 입력부(102)는 패션 아이템이 장착된 제1 착용 이미지를 입력 받는다. 본 실시예들에 있어서, 패션 아이템은 사용자의 신체 영역에 착용 가능한 의류, 모자, 신발 등이 될 수 있으며 상품별로 다양한 스타일 및 컬러를 가질 수 있다. 제1 착용 이미지는 예를 들어, 상기 패션 아이템을 장착하고 있는 마네킹 이미지, 상기 패션 아이템을 장착하고 있는 아바타 이미지, 상기 패션 아이템을 장착하고 있는 실제 모델 이미지 등이 될 수 있다. 제1 착용 이미지 입력부(102)는 예를 들어, 온라인 쇼핑몰 서버, 온라인 패션몰 서버, 온라인 패션 매거진 서버 등과 같은 다양한 형태의 패션 플랫폼으로부터 제1 착용 이미지를 입력 받을 수 있다.
도 2는 패션 아이템을 장착하고 있는 마네킹 이미지의 예시이다. 도 2에 도시된 바와 같이, 마네킹 이미지는 신체 영역의 일부 누락 또는 부자연스러움이 있을 수 밖에 없으므로, 실제 모델 이미지에 비해 패션 아이템에 대한 사용자의 구매력 고취에 한계가 있다.
도 3은 패션 아이템을 장착하고 있는 아바타 이미지의 예시이다. 도 3에 도시된 바와 같이, 아바타 이미지는 가상의 캐릭터가 패션 아이템을 장착하고 있는 이미지로서, 사용자로 하여금 부자연스러움을 불러일으킨다.
이러한 마네킹 이미지 및 아바타 이미지의 부자연스러움은 패션 아이템에 대한 사용자의 구매력 저하를 불러일으키며, 이는 곧 패션 아이템의 매출 하락으로 이어지게 된다.
또한, 도 4는 패션 아이템을 장착하고 있는 실제 모델 이미지의 예시이다. 도 4에 도시된 바와 같이, 실제 모델 이미지는 마네킹 이미지 및 아바타 이미지에 비해 자연스러운 장점이 있다. 그러나, 패션 아이템마다 촬영을 위한 실제 모델을 섭외하는 데 많은 시간과 비용이 소요되며, 실제 모델의 신체 영역을 패션 아이템에 합성하여 가상피팅 하더라도 가상피팅된 착용 이미지를 바라보는 사용자의 나이, 인종 등을 전혀 고려하지 않아 사용자의 공감대 형성에 어려움이 있는 경우가 많다. 또한, 이 경우 실제 모델의 이미지가 패션 아이템의 스타일, 색깔 등과 어울리지 않아 사용자로 하여금 부자연스러움을 일으키는 경우가 빈번하다. 이에, 본 발명에서는 이러한 제1 착용 이미지로부터 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정한 후 이를 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성할 수 있도록 하였다.
다시 도 1로 돌아오면, 휴먼모델 추정부(104)는 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하고, 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정한다. 본 실시예들에 있어서, 휴먼모델은 실제 사람의 모습으로 구현되는 가상의 모델로서, 패션 아이템의 종류, 스타일 및 컬러에 따라 동적으로 변경될 수 있다.
먼저, 휴먼모델 추정부(104)는 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정할 수 있다. 여기서, 제1 착용 이미지 내 신체 영역은 제1 착용 이미지 내에서 패션 아이템의 외부로 드러나는 신체 영역을 의미한다.
도 5는 본 발명의 일 실시예에 따른 제1 착용 이미지 내 신체 영역(A)의 예시이다. 제1 착용 이미지 내 신체 영역(A)은 예를 들어, 얼굴 영역, 손 영역, 팔 영역, 종아리 영역 등이 될 수 있다.
휴먼모델 추정부(104)는 데이터베이스(106)에 저장된 학습 데이터를 기반으로 제1 착용 이미지 내 신체 영역(A)을 결정할 수 있다. 일 예시로서, 휴먼모델 추정부(104)는 데이터베이스(106)에 저장된 학습 데이터와 제1 착용 이미지를 비교하여 제1 착용 이미지와의 유사도가 기준치 이상인 학습 데이터를 선별하고, 선별된 학습 데이터 내 신체 영역으로부터 제1 착용 이미지 내 신체 영역(A)을 결정할 수 있다. 이때, 휴먼모델 추정부(104)는 SVM(Support vector machine) 등과 같이 널리 알려진 이미지 분류 기법, 이미지 분석 기법을 이용하여 제1 착용 이미지 내 신체 영역(A)을 결정할 수 있다.
다음으로, 휴먼모델 추정부(104)는 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정할 수 있다. 이를 위해, 휴먼모델 추정부(104)는 상기 패션 아이템의 스타일 및 컬러에 따라 상기 패션 아이템을 기 분류된 복수 개의 카테고리 중 하나로 분류할 수 있다. 여기서, 패션 아이템의 종류는 예를 들어, 남성 자켓, 남성 바지, 여성 원피스, 여성 블라우스, 운동화, 구두, 캐주얼 모자 등이 될 수 있다. 또한, 패션 아이템의 스타일은 예를 들어, 캐주얼(casual), 스트릿(street), 빈티지(vintage), 페미닌(feminine), 댄디(dandy), 클래식(classic), 매니시(menish), 엘레강스(elegance), 에스닉(ethnic), 모던(modern), 내추럴(natural), 로맨틱(romantic), 스포티(sporty), 뉴트로(newtro), 힙합(hiphop), 맥시멈(maximum), 펑크(punk) 등이 될 수 있다. 또한, 패션 아이템의 컬러는 예를 들어, 화이트(white), 블랙(black), 블루(blue), 레드(red) 등이 될 수 있다. 일 예시로서, 휴먼모델 추정부(104)는 패션 아이템을 상의/아웃도어/남성 정장/댄디/블랙 등의 카테고리로 분류할 수 있다. 다른 예시로서, 휴먼모델 추정부(104)는 패션 아이템을 상의/아웃도어/여성 블라우스/페미닌/화이트 등의 카테고리로 분류할 수 있다.
이후, 휴먼모델 추정부(104)는 데이터베이스(106)에 저정된 학습 데이터들 중 상기 분류된 카테고리에 대응되는 학습 데이터를 선별할 수 있다. 데이터베이스(106)에 저장된 학습 데이터들은 과거 광고 페이지에 삽입된 이력이 있는 착용 이미지로서, 복수 개의 카테고리 중 하나로 분류되어 있을 수 있다. 또한, 데이터베이스(106)에는 각 학습 데이터 별로 광고 페이지에 삽입된 시간 및 해당 시간동안 발생된 사용자의 클릭 수가 저장되어 있을 수 있다.
휴먼모델 추정부(104)는 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터를 기반으로 휴먼모델을 추정할 수 있다. 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 경우 사용자의 구매가 많이 발생했을 것으로 예상되므로, 휴먼모델 추정부(104)는 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터를 기준으로 패션 아이템의 판매에 최적화된 휴먼모델을 추정할 수 있다.
구체적으로, 휴먼모델 추정부(104)는 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습할 수 있다. 휴먼모델 추정부(104)는 학습된 속성 정보를 기반으로 제1 착용 이미지 내 신체 영역에 맞는 휴먼모델을 추정할 수 있다. 일 예시로서, 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 제1 학습 데이터의 속성 정보가 20대 초반 계란형 얼굴 형상, 화이트 피부톤, 웃는 표정, 검은색 긴머리의 한국인 여성인 경우, 휴먼모델 추정부(104)는 상기 학습된 속성 정보에 대응되면서 제1 착용 이미지 내 신체 영역에 맞는 한국인 여성의 휴먼모델을 실시간으로 생성할 수 있다. 다른 예시로서, 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 제2 학습 데이터의 속성 정보가 20대 초반 둥근형 얼굴 형상, 화이트 피부톤, 무표정, 검은색 긴머리의 한국인 여성인 경우, 휴먼모델 추정부(104)는 상기 학습된 속성 정보에 대응되면서 제1 착용 이미지 내 신체 영역에 맞는 한국인 여성의 휴먼모델을 실시간으로 생성할 수 있다. 이와 같이, 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터는 복수 개 있을 수 있다. 이때, 휴먼모델 추정부(104)는 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 휴먼모델의 표정을 기 분류된 복수 개의 표정 카테고리 중 하나로 변화시킬 수 있다. 표정 카테고리는 예를 들어, 청순(pure), 시크(chic), 소프트(soft) 등이 될 수 있다. 패션 아이템의 종류, 스타일 및 컬러에 따라 어울리는 휴먼모델의 표정이 달라지므로, 휴먼모델 추정부(104)는 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터 내 표정을 기초로 상기 패션 아이템의 종류, 스타일 및 컬러에 맞는 휴먼모델의 표정을 추정할 수 있다. 일 예시로서, 휴먼모델 추정부(104)는 패션 아이템이 엘레강스 스타일의 여성 화이트 원피스인 경우 휴먼모델의 표정을 청순한 형태로 변화시킬 수 있으며 패션 아이템이 남성 정장인 경우 휴먼모델의 표정을 시크한 형태로 변화시킬 수 있다.
또한, 휴먼모델 추정부(104)는 GAN(Generative Adversarial Network) 모델과 Diffusion 모델을 이용하여 각 속성 정보를 보정하여 상기 휴먼모델을 추정할 수 있다. 휴먼모델 추정부(104)는 예를 들어, 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 복수 개의 학습 데이터에 대응되는 속성정보 각각을 보정해 가면서 보정된 속성정보와의 유사도가 가장 높은 학습 데이터를 포함하는 광고 페이지의 광고 수익률(ROAS : Return On Ad Spend)을 상호 비교한 후 상기 광고 수익률이 가장 높았을 때의 속성 정보로 휴먼모델을 추정할 수 있다. GAN 모델의 경우 사용자들이 부자연스러움을 느끼는 영역의 속성정보(예를 들어, 눈, 코, 입, 귀, 피부, 헤어 등)를 개별 학습한 후 기준치 이상의 자연스러움을 갖도록 속성정보 각각을 보정할 수 있다. 이때, GAN 모델만 사용할 경우 패션 아이템의 프린트(print)나 텍스쳐(texture)가 흐릿하게 보이는 문제가 발생될 수 있으므로, 휴먼모델 추정부(104)는 Diffusion 모델을 이용하여 흐릿하거나 비어있는 부분을 새롭게 그려낼 수 있다. Diffusion 모델의 경우 다량의 래퍼런스 이미지를 토대로 상기 흐릿하거나 비어있는 부분을 자동으로 생성, 보정할 수 있다. 이 경우, 광고 수익률이 가장 높을 것으로 예상되면서 보다 자연스러운 휴먼모델이 자동으로 추정될 수 있다.
또한, 휴먼모델 추정부(104)는 GAN 모델과 같은 생성 AI(Generative AI) 모델을 이용하여 제1 착용 이미지에 포함된 제1 포즈(pose)를 상기 제1 포즈와 상이한 제2 포즈로 변경하거나, 패션 아이템의 촬영각도를 제1 촬영각도(예를 들어, 측면)에서 제2 촬영각도(예를 들어, 후면)로 변경하면서 휴먼모델을 생성할 수 있다. 즉, 휴먼모델 추정부(104)는 제1 착용 이미지를 기반으로 휴먼모델을 생성하되, 생성 AI 모델을 이용하여 휴먼모델의 생성 과정에서 포즈나 촬영각도를 새롭게 변화시킬 수 있다. 이때, 휴먼모델 추정부(104)는 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 패션 아이템의 판매를 극대화시킬 수 있는 포즈나 촬영각도를 결정하고, 결정된 포즈나 촬영각도에 따라 휴먼모델의 포즈 또는 촬영각도를 결정할 수 있다. 휴먼모델 추정부(104)는 앞서 설명한 방법과 동일한 방법으로 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터를 기준으로 패션 아이템의 판매에 최적화된 휴먼모델의 포즈 및 촬영각도를 결정할 수 있다.
또한, 휴먼모델 추정부(104)는 광고 페이지를 응시하는 사용자의 특성을 고려하여 휴먼모델을 추정할 수 있다. 이를 위해, 휴먼모델 추정부(104)는 광고 서버(200)와 연동하여 상기 광고 페이지가 렌더링되는 사용자 단말(300)의 정보, 즉 상기 광고 페이지를 응시하는 사용자의 특성 정보를 수집할 수 있다. 여기서, 사용자 단말(300)의 정보는 예를 들어, 사용자 단말(300)을 소지하는 사용자의 국적, 성별, 나이 및 인종 중 적어도 하나를 포함할 수 있다. 휴먼모델 추정부(104)는 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터를 기반으로 상기 휴먼모델을 추정하되, 상기 휴먼모델을 추정하는 과정에서 사용자 단말(300)의 정보를 고려할 수 있다. 앞선 예시에서, 광고 페이지에 삽입된 시간 대비 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터가 복수 개 존재하는 경우, 휴먼모델 추정부(104)는 상기 복수 개의 학습 데이터 중 사용자 단말(300)의 정보와 유사도가 높은 학습 데이터를 기준으로 휴먼모델을 추정할 수 있다. 예를 들어, 휴먼모델 추정부(104)는 한국인 여성이 광고 페이지를 응시하는 경우 한국인 여성의 휴먼모델을 생성하고, 미국인 여성이 광고 페이지를 응시하는 경우 미국인 여성의 휴먼모델을 생성할 수 있다.
또한, 휴먼모델 추정부(104)는 사용자 단말(300)에서 촬영된 사용자의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 촬영 정보를 수집하고, 이를 이용하여 휴먼모델을 추정할 수도 있다. 휴먼모델 추정부(104)는 상기 분류된 카테고리에 대응되는 학습 데이터 중 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터를 기반으로 상기 휴먼모델을 추정하되, 상기 촬영 정보를 기반으로 각 속성 정보를 보정하여 휴먼모델을 추정할 수 있다. 예를 들어, 휴먼모델 추정부(104)는 사용자 단말(300)에서 촬영된 사용자의 피부톤과 헤어 스타일이 각각 화이트, 단발 머리인 경우 추정된 휴먼모델의 피부톤과 헤어 스타일을 각각 화이트와 단발 머리로 보정할 수 있다. 즉, 휴먼모델 추정부(104)는 광고 페이지를 응시하는 사용자의 스타일과 유사한 스타일의 휴먼모델을 생성할 수 있다.
데이터베이스(106)는 휴먼모델의 추정 및 생성을 위해 필요한 학습 데이터가 저장되는 저장소이다. 상술한 바와 같이, 데이터베이스(106)에는 과거 광고 페이지에 삽입된 이력이 있는 착용 이미지가 학습 데이터로서 다수 저장될 수 있다. 상기 학습 데이터는 복수 개의 카테고리 중 하나로 분류되어 있을 수 있다. 또한, 데이터베이스(106)에는 각 학습 데이터 별로 광고 페이지에 삽입된 시간 및 해당 시간동안 발생된 사용자의 클릭 수가 저장되어 있을 수 있다. 나아가, 데이터베이스(106)에는 각 학습 데이터와 대응되는 배경 이미지가 다수 저장될 수 있다.
제2 착용 이미지 생성부(108)는 휴먼모델 추정부(104)에서 추정된 휴먼모델을 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성한다.
도 6 내지 도 12는 본 발명의 실시예들에 따라 제1 착용 이미지로부터 제2 착용 이미지가 생성되는 과정을 나타낸 예시이다.
도 6을 참조하면, 제2 착용 이미지 생성부(108)는 마네킹 이미지로부터 20대 초반 계란형 얼굴 형상, 검은색 긴머리의 한국인 여성을 나타내는 휴먼모델이 합성된 제2 착용 이미지를 생성할 수 있다. 이때, 제2 착용 이미지 생성부(108)는 휴먼모델뿐 아니라 제1 착용 이미지 내 배경 이미지 또한 신규 배경 이미지로 교체할 수 있다. 제2 착용 이미지 생성부(108)는 데이터베이스(106)에 저장된 배경 이미지 중 휴먼모델과의 어울림 정도가 가장 높은 배경 이미지를 선별하고, 제1 착용 이미지 내 배경 이미지를 상기 선별된 배경 이미지로 교체할 수 있다. 휴먼모델의 각 속성 정보와 배경 이미지 간의 어울림 정도는 데이터베이스(106)에 수치화되어 저장되어 있을 수 있다. 예를 들어, 특정 속성 정보를 갖는 학습 데이터와 특정 속성 정보를 갖는 배경 데이터와가 함께 존재하는 빈도가 높아질수록 상기 어울림 정도가 높아질 수 있다.
도 7 및 도 8을 참조하면, 제2 착용 이미지 생성부(108)는 아바타 이미지로부터 20대 중반의 여성을 나타내는 휴먼모델이 합성된 제2 착용 이미지를 생성할 수 있다. 도 7 및 도 8에 도시된 바와 같이, 제1 착용 이미지인 아바타 이미지의 경우 사용자로 하여금 부자연스러움을 불러일으키는 반면, 제2 착용 이미지의 경우 제1 착용 이미지에 비해 훨씬 더 자연스러워진 것을 확인할 수 있다.
도 9 내지 도 12를 참조하면, 제2 착용 이미지 생성부(108)는 실제 모델 이미지로부터 사용자 단말(300)의 정보 또는 사용자 단말(300)에서 촬영된 촬영 정보에 맞는 휴먼모델이 합성된 제2 착용 이미지를 생성할 수 있다. 도 9에서는 광고 페이지를 응시하는 사용자가 앞머리가 있는 20대 한국 여성이므로, 제2 착용 이미지에 포함된 휴먼모델 또한 앞머리가 있는 20대 한국 여성으로 생성된 것을 확인할 수 있다. 또한, 도 10에서는 광고 페이지를 응시하는 사용자가 앞머리가 없는 단발머리의 20대 한국 여성이므로, 제2 착용 이미지에 포함된 휴먼모델 또한 앞머리가 없는 단발머리의 20대 한국 여성으로 생성된 것을 확인할 수 있다. 또한, 도 11에서는 광고 페이지를 응시하는 사용자가 30대 한국 여성이므로, 제2 착용 이미지에 포함된 휴먼모델 또한 30대 한국 여성의 아이로 생성된 것을 확인할 수 있다. 또한, 도 12에서는 사용자 단말(300)에서 촬영된 촬영 정보에 포함된 헤어 스타일 및 피부톤과 동일한 헤어 스타일 및 피부톤을 갖는 휴먼모델이 생성되었다.
다시 도 1로 돌아오면, 광고 페이지 렌더링부(110)는 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말(300)에 렌더링한다. 광고 페이지 렌더링부(110)는 광고 서버(200)로부터 렌더링이 필요한 광고 페이지를 수신하고, 광고 페이지 내 설정된 위치에 상기 제2 착용 이미지를 삽입하여 사용자 단말(300)에 렌더링할 수 있다.
도 13은 제2 착용 이미지(B)가 삽입된 광고 페이지의 예시를 나타낸다. 이때, 제2 착용 이미지(B)는 패션 아이템의 종류, 스타일 및 컬러에 따라 서로 다른 형태로 사용자 단말(300)에 렌더링될 수 있다. 즉, 패션 아이템의 종류, 스타일 및 컬러가 달라지는 경우, 휴먼모델이 달라져 제2 착용 이미지(B) 또한 달라질 수 있다. 또한, 제2 착용 이미지(B)는 사용자 단말(300)의 정보 또는 사용자 단말(300)에서 촬영된 촬영 정보에 따라 서로 다른 형태로 사용자 단말(300)에 렌더링될 수 있다. 즉, 동일한 패션 아이템이더라도 광고 페이지를 응시하는 사용자가 누구인지에 따라 제2 착용 이미지(B) 또한 달라질 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 패션 아이템에 대한 제1 착용 이미지를 패션 아이템의 종류, 스타일 및 컬러에 맞는 제2 착용 이미지로 변환함으로써, 제1 착용 이미지에 대한 부자연스러움을 최소화하고 이에 따라 패션 아이템에 대한 사용자의 구매력을 고취시킬 수 있다. 특히, 패션 아이템의 종류, 스타일 및 컬러에 따라 제2 착용 이미지가 동적으로 실시간 변화될 수 있도록 함으로써, 고정된 가상 이미지가 일률적으로 합성되는 기존의 가상피팅 기술에 비해 패션 아이템의 판매가 보다 극대화될 수 있다.
또한, 본 발명의 실시예들에 따르면, 광고 페이지를 응시하는 사용자 단말(300)의 정보 또는 사용자 단말(300)에서 촬영된 촬영 정보에 따라 제2 착용 이미지가 동적으로 실시간 변화될 수 있도록 함으로써, 사용자에게 보다 친숙한 형태의 휴먼모델을 실시간으로 구현할 수 있으며 이는 곧 패션 아이템의 구매력 증진에 큰 도움이 된다.
도 14는 본 발명의 일 실시예에 따른 휴먼모델 자동 생성 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
S102 단계에서, 제1 착용 이미지 입력부(102)는 패션 아이템이 장착된 제1 착용 이미지를 입력 받는다.
S104 단계에서, 휴먼모델 추정부(104)는 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정한다.
S106 단계에서, 휴먼모델 추정부(104)는 패션 아이템의 종류, 스타일 및 컬러를 분석하여 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정한다.
S108 단계에서, 제2 착용 이미지 생성부(108)는 휴먼모델을 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성한다.
S110 단계에서, 광고 페이지 렌더링부(110)는 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링한다.
S112 단계에서, 광고 서버(200)는 광고 페이지에 삽입된 제2 착용 이미지의 클릭 수를 카운팅한다. 제2 착용 이미지 및 이에 대한 클릭 수는 데이터베이스(106)에 저장되며, 이는 휴먼모델 추정부(104)에서 휴먼모델을 추정하는 데 사용될 수 있다. 상술한 바와 같이, 휴먼모델 추정부(104)는 광고 페이지에 삽입된 제2 착용 이미지 각각의 클릭 수를 기반으로 휴먼모델을 추정할 수 있다. 이러한 휴먼모델의 추정, 광고 페이지의 렌더링, 클릭 수 카운팅, 데이터베이스(106)에 저장되는 과정이 반복될 때마다 휴먼모델의 추정을 위한 인공지능 모델은 더욱 고도화되며, 이에 따라 패션 아이템의 판매를 극대화시키기 위한 휴먼모델의 추정이 더욱 정교해질 수 있다.
도 15는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 휴먼모델 자동 생성 시스템(100), 또는 휴먼모델 자동 생성 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 휴먼모델 자동 생성 시스템
102 : 제1 착용 이미지 입력부
104 : 휴먼모델 추정부
106 : 데이터베이스
108 : 제2 착용 이미지 생성부
110 : 광고 페이지 렌더링부
200 : 광고 서버
300 : 사용자 단말

Claims (20)

  1. 패션 아이템이 장착된 제1 착용 이미지를 입력 받는 제1 착용 이미지 입력부;
    상기 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하고, 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하며, 상기 패션 아이템의 분석결과 및 데이터베이스에 저장된 학습 데이터들을 기초로 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정하는 휴먼모델 추정부;
    상기 휴먼모델을 상기 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성하는 제2 착용 이미지 생성부; 및
    상기 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링하는 광고 페이지 렌더링부를 포함하며,
    상기 광고 페이지에 삽입된 상기 제2 착용 이미지의 클릭 수가 광고 서버에 의해 카운팅되어 상기 데이터베이스에 저장되고,
    상기 학습 데이터들은, 과거에 상기 광고 페이지에 삽입된 이력이 있는 착용 이미지로서 기 분류된 복수 개의 카테고리 중 하나로 분류되어 상기 데이터베이스에 저장되어 있으며,
    상기 데이터베이스에는, 각 학습 데이터 별로 상기 광고 페이지에 삽입된 시간 및 상기 삽입된 시간 동안 발생된 사용자의 클릭 수가 저장되어 있으며,
    상기 휴먼모델 추정부는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 패션 아이템을 기 분류된 복수 개의 카테고리 중 하나로 분류하고, 분류된 상기 카테고리에 대응되는 학습 데이터를 선별한 후 선별된 상기 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하며, GAN(Generative Adversarial Network) 모델과 Diffusion 모델을 이용하여 각 속성 정보를 보정하여 상기 휴먼모델을 추정하고,
    상기 제2 착용 이미지는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 동적으로 실시간 변화되고,
    상기 휴먼모델의 추정과정, 상기 광고 페이지의 렌더링 과정 및 상기 제2 착용 이미지의 클릭 수가 카운팅되어 상기 데이터베이스에 저장되는 과정이 반복 수행됨에 따라 상기 휴먼모델의 추정을 위한 인공지능 모델이 업데이트되는, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 휴먼모델 추정부는, 상기 사용자 단말에서 촬영된 사용자의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 촬영 정보를 수집하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, 상기 촬영 정보를 기반으로 각 속성 정보를 보정하여 상기 휴먼모델을 추정하는, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  5. 청구항 1에 있어서,
    상기 휴먼모델 추정부는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 휴먼모델의 표정을 기 분류된 복수 개의 표정 카테고리 중 하나로 변화시키는, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  6. 청구항 1에 있어서,
    상기 휴먼모델 추정부는, 상기 광고 페이지가 렌더링되는 상기 사용자 단말의 정보를 수집하고, 상기 사용자 단말의 정보에 따라 상기 휴먼모델을 다르게 추정하는, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  7. 청구항 6에 있어서,
    상기 사용자 단말의 정보는, 상기 사용자 단말을 소지하는 사용자의 국적, 성별, 나이 및 인종 중 적어도 하나를 포함하며,
    상기 제2 착용 이미지는, 상기 사용자 단말의 정보에 따라 상기 광고 페이지에서 서로 다른 형태로 렌더링되는, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  8. 청구항 1에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 마네킹 이미지인, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  9. 청구항 1에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 아바타 이미지인, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  10. 청구항 1에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 실제 모델 이미지인, 인공지능 기반의 휴먼모델 자동 생성 시스템.
  11. 제1 착용 이미지 입력부에서, 패션 아이템이 장착된 제1 착용 이미지를 입력 받는 단계;
    휴먼모델 추정부에서, 상기 제1 착용 이미지를 분석하여 상기 제1 착용 이미지 내 신체 영역을 결정하는 단계;
    상기 휴먼모델 추정부에서, 상기 패션 아이템의 종류, 스타일 및 컬러를 분석하는 단계;
    상기 휴먼모델 추정부에서, 상기 패션 아이템의 분석결과 및 데이터베이스에 저장된 학습 데이터들을 기초로 상기 패션 아이템의 판매가 가장 극대화될 것으로 예상되는 가상의 휴먼모델을 추정하는 단계;
    제2 착용 이미지 생성부에서, 상기 휴먼모델을 상기 제1 착용 이미지 내 신체 영역에 합성하여 제2 착용 이미지를 생성하는 단계; 및
    광고 페이지 렌더링부에서, 상기 제2 착용 이미지를 설정된 광고 페이지에 삽입하여 사용자 단말에 렌더링하는 단계를 포함하며,
    상기 학습 데이터들은, 과거에 상기 광고 페이지에 삽입된 이력이 있는 착용 이미지로서 기 분류된 복수 개의 카테고리 중 하나로 분류되어 상기 데이터베이스에 저장되어 있으며,
    상기 데이터베이스에는, 각 학습 데이터 별로 상기 광고 페이지에 삽입된 시간 및 상기 삽입된 시간 동안 발생된 사용자의 클릭 수가 저장되어 있으며,
    상기 휴먼모델을 추정하는 단계는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 패션 아이템을 기 분류된 복수 개의 카테고리 중 하나로 분류하고, 분류된 상기 카테고리에 대응되는 학습 데이터를 선별한 후 선별된 상기 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하며, GAN(Generative Adversarial Network) 모델과 Diffusion 모델을 이용하여 각 속성 정보를 보정하여 상기 휴먼모델을 추정하고,
    상기 제2 착용 이미지는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 동적으로 실시간 변화되고,
    상기 휴먼모델의 추정과정, 상기 광고 페이지의 렌더링 과정 및 상기 제2 착용 이미지의 클릭 수가 카운팅되어 상기 데이터베이스에 저장되는 과정이 반복 수행됨에 따라 상기 휴먼모델의 추정을 위한 인공지능 모델이 업데이트되는, 인공지능 기반의 휴먼모델 자동 생성 방법.
  12. 삭제
  13. 삭제
  14. 청구항 11에 있어서,
    상기 휴먼모델을 추정하는 단계는, 상기 사용자 단말에서 촬영된 사용자의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 촬영 정보를 수집하고, 분류된 상기 카테고리에 대응되는 학습 데이터 중 상기 광고 페이지에 삽입된 시간 대비 상기 광고 페이지의 클릭 수가 기준치 이상 발생된 학습 데이터의 얼굴 형상, 신체부위의 특징, 피부톤, 표정 및 헤어 스타일 중 적어도 하나를 포함하는 속성 정보를 학습하고, 상기 촬영 정보를 기반으로 각 속성 정보를 보정하여 상기 휴먼모델을 추정하는, 인공지능 기반의 휴먼모델 자동 생성 방법.
  15. 청구항 11에 있어서,
    상기 휴먼모델을 추정하는 단계는, 상기 패션 아이템의 종류, 스타일 및 컬러에 따라 상기 휴먼모델의 표정을 기 분류된 복수 개의 표정 카테고리 중 하나로 변화시키는, 인공지능 기반의 휴먼모델 자동 생성 방법.
  16. 청구항 11에 있어서,
    상기 휴먼모델을 추정하는 단계는, 상기 광고 페이지가 렌더링되는 상기 사용자 단말의 정보를 수집하고, 상기 사용자 단말의 정보에 따라 상기 휴먼모델을 다르게 추정하는, 인공지능 기반의 휴먼모델 자동 생성 방법.
  17. 청구항 16에 있어서,
    상기 사용자 단말의 정보는, 상기 사용자 단말을 소지하는 사용자의 국적, 성별, 나이 및 인종 중 적어도 하나를 포함하며,
    상기 제2 착용 이미지는, 상기 사용자 단말의 정보에 따라 상기 광고 페이지에서 서로 다른 형태로 렌더링되는, 인공지능 기반의 휴먼모델 자동 생성 방법.
  18. 청구항 11에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 마네킹 이미지인, 인공지능 기반의 휴먼모델 자동 생성 방법.
  19. 청구항 11에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 아바타 이미지인, 인공지능 기반의 휴먼모델 자동 생성 방법.
  20. 청구항 11에 있어서,
    상기 제1 착용 이미지는, 상기 패션 아이템을 장착하고 있는 실제 모델 이미지인, 인공지능 기반의 휴먼모델 자동 생성 방법.
KR1020230090186A 2023-07-12 2023-07-12 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법 KR102592596B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230090186A KR102592596B1 (ko) 2023-07-12 2023-07-12 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230090186A KR102592596B1 (ko) 2023-07-12 2023-07-12 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102592596B1 true KR102592596B1 (ko) 2023-10-23

Family

ID=88508429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230090186A KR102592596B1 (ko) 2023-07-12 2023-07-12 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102592596B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
JP2022068552A (ja) * 2020-10-22 2022-05-10 株式会社サイバーエージェント 画像生成プログラム、画像生成装置及び画像生成方法
KR20220094008A (ko) * 2020-12-28 2022-07-05 주식회사 슈퍼플럭스 인공지능을 이용한 디지털 휴먼 기반 콘텐츠 생성 장치 및 방법
KR102486094B1 (ko) 2021-10-26 2023-01-06 주식회사 헬로브이알 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
JP2022068552A (ja) * 2020-10-22 2022-05-10 株式会社サイバーエージェント 画像生成プログラム、画像生成装置及び画像生成方法
KR20220094008A (ko) * 2020-12-28 2022-07-05 주식회사 슈퍼플럭스 인공지능을 이용한 디지털 휴먼 기반 콘텐츠 생성 장치 및 방법
KR102486094B1 (ko) 2021-10-26 2023-01-06 주식회사 헬로브이알 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법

Similar Documents

Publication Publication Date Title
US10489683B1 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
US11663484B2 (en) Content generation method and apparatus
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
JP2019102068A (ja) ユーザの身体的特徴に基づいた推薦システム
CN108053365A (zh) 用于生成信息的方法和装置
WO2018012136A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
JP6934632B2 (ja) メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
US11507781B2 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN108182232A (zh) 基于电子书的人物展示方法、电子设备及计算机存储介质
CN111767817B (zh) 一种服饰搭配方法、装置、电子设备及存储介质
KR102399255B1 (ko) 인공지능을 이용한 웹툰 제작 시스템 및 방법
KR102592596B1 (ko) 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법
US20190035007A1 (en) Virtual store and social media integration
CN111447260A (zh) 信息推送、信息发布方法及装置
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
KR102652199B1 (ko) 포즈추정 기반의 영상 컨텐츠 생성 시스템 및 방법
KR20140015709A (ko) 이미지 매칭 시스템 및 방법
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
JP2020154844A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム
CN110009560A (zh) 图像处理装置
US20240037869A1 (en) Systems and methods for using machine learning models to effect virtual try-on and styling on actual users
US20240161423A1 (en) Systems and methods for using machine learning models to effect virtual try-on and styling on actual users
CN113537043B (zh) 图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant