KR20200034917A - 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법 - Google Patents

속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법 Download PDF

Info

Publication number
KR20200034917A
KR20200034917A KR1020190021284A KR20190021284A KR20200034917A KR 20200034917 A KR20200034917 A KR 20200034917A KR 1020190021284 A KR1020190021284 A KR 1020190021284A KR 20190021284 A KR20190021284 A KR 20190021284A KR 20200034917 A KR20200034917 A KR 20200034917A
Authority
KR
South Korea
Prior art keywords
image
attribute
matching
clothing
discriminator
Prior art date
Application number
KR1020190021284A
Other languages
English (en)
Inventor
하이쥔 장
린린 리우
옌팡 순
Original Assignee
하얼빈 인스티튜트 오브 테크놀로지, 썬전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하얼빈 인스티튜트 오브 테크놀로지, 썬전 filed Critical 하얼빈 인스티튜트 오브 테크놀로지, 썬전
Publication of KR20200034917A publication Critical patent/KR20200034917A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법에 관한 것으로서, 생성적 모델 및 의류 매칭 분야에 관한 것이다. 기존의 의류 이미지를 근거로 서로 매칭되는 의류 이미지를 생성하는 문제에 대해서, 먼저 매칭 의류 데이터 세트를 구축하는데, 여기에는 매칭 의류의 이미지 정보, 텍스트 정보 및 상응하는 속성 정보가 포함된다. 그 다음 속성 생성적 대립 네트워크를 설계하는데 여기에는 생성기, 매칭 판별기 및 속성 판별기가 포함된다. 그 다음 이에 대해 대립 트레이닝을 진행하여 생성기 네트워크 파라미터를 학습하여 얻는다. 마지막으로 새로운 의류 이미지를 트레이닝한 생성기에 입력하여 서로 매칭되는 의류 이미지를 생성한다. 본 발명은 트레이닝을 통해 설계된 속성 생성적 대립 네트워크가 입력한 이미지에 매칭되는 의류 이미지를 생성하여 사용자의 의상 코디에 참고 근거를 제공하는 것이다. 고급 시맨틱(semantic) 속성 상에서 사람들의 통상적인 매칭 규칙에 부합하며 의류 추천, 의류 검색, 패션 디자인 등 분야에서 엄청난 응용 잠재력을 갖고 있다.

Description

속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법 {AN ATTRIBUTE GENERATION CONTENTION NETWORK AND A CLOTHING MATCHING GENERATION METHOD BASED ON THE NETWORK}
본 발명은 생성적 모델 및 의류 매칭 분야에 관한 것으로서, 더욱 상세하게는 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법에 관한 것이며, 상기 방법은 의류 매칭 쌍과 상응하는 속성 정보를 가장 원시적인 입력으로 사용한다.
패션 요소는 자아를 표현하고 문화를 만들어내는 능력을 갖고 있기 때문에 현재 사회에서 갈수록 중요한 기능을 한다. 최근 인터넷 쇼핑에서 패션상품에 대한 수요가 계속 증가하는데, 효과적으로 패션 아이템을 추천하는 방법에는 두 가지가 있다. 하나는 기존의 아이템 조합에 매칭되는 상품을 추천하는 것이고, 다른 하나는 사용자가 제공한 문자 설명 또는 장면 이미지를 통해 요구 사항을 충족하는 패션 아이템 세트를 생성하는 방법이다. 이러한 기능을 구현하려면 여전히 많은 과제가 있다. 다른 종류의 패션 아이템 간의 호환성을 모델링하는 것이 어렵고, 이는 일반적인 컴퓨팅 이미지의 유사도와 다르다. 현재 패션 학습 분야의 연구 내용은 의류 분할, 의류 식별, 패션 추천 또는 의류 검색 등에만 집중되어 있다. 그러나 이러한 작업에는 하나의 완전한 세트의 패션을 매칭시킬 때 그 매칭되는 원인이 어디에 있는지, 또는 매칭에 대한 모델링을 통해 가상의 매칭 아이템을 생성하여 사람들의 의상 코디를 지도하는 것에 대한 심도 있는 연구가 없다. 상기와 같은 연구 문제는 이미지와 텍스트 두 가지 영역에서 고려할 수 있는데, 이미지 측면에서 매칭되는 아이템 세트는 시각적으로 서로 어울리고 스타일로도 공유성이 있어야 하고, 텍스트 측면에서 하나의 아이템에 대한 설명 정보, 속성 또는 적합한 장소 등을 제공하여 일련의 코디 지도를 줄 수 있어야 한다.
GAN은 ‘생성적 대립 네트워크(Generative Adversarial Networks)’의 줄임말로 2014년 몬트리올(Montreal)에서 박사과정을 밟던 이안 굿펠로우(Ian Goodfellow)가 딥러닝(Deep Learning) 분야에 도입하였다. 2016년 GAN 열풍이 AI 분야 콘퍼런스를 휩쓸면서 ICLR부터 NIPS에 이르기까지 대량의 고품질 논문이 발표 및 논의되었다. GAN은 상당이 유연한 설계 프레임으로 각 유형의 손실 함수가 모두 GAN 모델에 통합되는데, 이는 다른 태스크에 임할 때 우리가 다른 유형의 손실 함수를 설계하여 GAN의 프레임 하에서 학습과 최적화가 모두 가능하게 만들어 준다. 하나의 생성적 모델로서 GAN의 가장 직접적인 응용은 바로 진실 데이터가 분포하는 모델링과 생성에 사용되는 것으로, 여기에는 이미지와 영상을 생성하는 것, 및 자연어와 음악 등을 생성하는 것 등이 포함된다. 또한 내부 대립 트레이닝의 메커니즘으로 인해 GAN은 종래의 머신러닝(Machine Learning)에서 직면한 데이터 부족 문제를 해결할 수 있으므로, 준지도학습(semi-supervised learning), 비지도학습(unsupervised learning), 멀티뷰(multi-view), 멀티태스크 학습(multi-task learning)의 태스크에 응용할 수 있다. 그 외 GAN은 CNN(컨볼루션 신경망), RNN(순환 신경망)과 하나로 결합할 수 있다. 미분 가능한 모든 함수는 GAN의 생성 모델과 판별 모델을 파라미터로 표시하는 데 사용할 수 있다. 그렇다면 실제로 우리는 CNN을 사용해 생성 모델을 파라미터로 표시할 수 있다. 상기 내용을 종합하면 상기 CNN과 GAN은 단독으로 연구하든지 결합해서 문제를 해결하든지 모두 비교적 이상적인 연구 전망을 갖고 있다.
본 발명은 종래의 조건 생성적 대립 네트워크 모델에 의거하여 속성 생성적 대립 네트워크 모델을 제안하며, 의류 속성 생성과 이에 매칭되는 의류를 기반으로, 모델 중 생성기에서 입력 이미지에 매칭되는 의류를 학습 및 합성하며, 판별기가 합성한 이미지가 입력 이미지에 매칭되는지, 및 속성상 조건 이미지에 근접하는지를 각각 판단하는 것이다. 상기를 기반으로 본 발명은 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 방법을 제안한다.
상기 속성 생성적 대립 네트워크에는 1개의 생성기와 2개의 판별기가 포함되고, 상기 생성기는 입력 의류 이미지를 상응하는 매칭 의류 이미지로 전환하는 작업을 완료하고, 2개의 판별기는 각각 매칭 판별기와 속성 판별기이고, 상기 매칭 판별기는 생성된 의류 이미지 쌍의 매칭 여부를 판단하고, 상기 속성 판별기는 생성된 이미지가 상응하는 의류 속성을 갖고 있는지 판단한다. 상기 속성 생성적 대립 네트워크는 조건 생성적 대립 네트워크의 목표 함수와 기존 손실을 혼합하고, 판별기의 태스크가 변하지 않도록 유지하며, 생성기는 판별기를 속일 뿐만 아니라 생성된 합성 이미지는 유사도 거리 상에서 조건 이미지에 근접해야 한다. 바람직하게는 상기 유사도 거리는 L1 거리이다.
더 나아가, 상기 생성기는“U-Net”구조를 채택하고, 상기 매칭 판별기는“Patch-GAN”을 채택하고; 상기 속성 판별기에는 4개의 컨볼루션층(convolution layer)과 M개의 완전연결층이 포함되고, 여기에서 M은 속성 개수이고, 컨볼루션층 컨볼루션 커널(convolution kernel) 크기는 4Ｘ4이고, M개 교차 엔트로피(Cross Entropy) 손실 함수의 합계 평균을 속성 판별기의 목표 함수로 삼는 것이다.
더 나아가, 상기 속성 생성적 대립 네트워크는 상기 판별기가 매칭 판별기와 속성 판별기의 목표 함수를 최대화시키고, 생성기는 자신의 목표 함수를 최소화시켜, 양자가 서로 대립하도록 만드는 것을 특징으로 한다.
상기 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법은 이하의 단계를 포함한다.
A. 매칭 의류 데이터 세트 구축: 이미지 정보, 텍스트 정보 및 의류 매칭 정보를 포함한 의류 데이터 세트를 구축한다. 세분화된 의류 속성 데이터 세트를 구축하고, 그 의류 이미지에 대해 라벨링을 진행한다.
B. 속성 생성적 대립 네트워크 설계: 상기 속성 생성적 대립 네트워크에는 1개의 생성기와 2개의 판별기가 포함되고, 상기 생성기는 입력 의류 이미지를 상응하는 매칭 의류 이미지로 전환하는 작업을 완료하고, 2개의 판별기는 각각 매칭 판별기와 속성 판별기이고, 상기 매칭 판별기는 생성된 의류 이미지 쌍의 매칭 여부를 판단하고, 상기 속성 판별기는 생성된 이미지가 상응하는 의류 속성을 갖고 있는지 판단하고; 또한, 상기 속성 생성적 대립 네트워크는 조건 생성적 대립 네트워크의 목표 함수와 기존 손실을 혼합하고, 판별기의 태스크가 변하지 않도록 유지하며, 생성기는 판별기를 속일 뿐만 아니라 생성된 합성 이미지는 유사도 거리 상에서 조건 이미지에 근접해야 한다. 바람직하게는 상기 유사도 거리는 L1 거리이다.
C. 속성 생성적 대립 네트워크 트레이닝: 의류 쌍 이미지 중의 하나를 입력으로 삼고, 다른 하나는 조건으로 삼으며, 그 중의 생성기를 통하여 매칭되는 의류를 합성하고, 매칭 판별기는 끊임없이 학습하여 진실 이미지 쌍과 합성 이미지 쌍을 구분하고, 속성 판별기는 학습하여 진실 이미지와 합성 이미지의 속성을 예측한다.
D. 매칭 의류 이미지 생성: 속성 생성적 대립 네트워크의 트레이닝을 완료한 후, 상응하는 네트워크 파라미터를 수득하고, 새로운 의류 이미지에 대하여 생성기 내에 입력하여 서로 매칭되는 의류 이미지를 생성한다.
더 나아가, 상기 단계 A 매칭 의류 데이터 세트 구축에는 이하의 단계가 포함된다.
A1. 의류 데이터 세트 구축에는 매칭 정보의 의류 이미지와 텍스트 정보가 포함되며, 텍스트에는 의류에 대한 설명, 한 세트의 의류에 대한 선호도 등이 포함된다.
A2. 복수개 전자상거래업체의 키워드 검색 항목을 종합하여 세분화된 의류 속성 세트를 구축하는데, 여기에는 유형, 컬러, 무늬, 디자인, 세부사항 등이 포함되고, 의류 매칭 데이터 세트 중의 의류 이미지에 대하여 속성 인공 라벨링을 진행한다.
더 나아가, 상기 단계 B 속성 생성적 대립 네트워크 설계에는 이하의 단계가 포함된다.
B1. 생성기는 하나의 디코딩-인코딩의 변형 프레임을 채택하고,“U-Net”구조를 채택하며, 상기 프레임은 대응하는 층 사이가 스킵 커넥션(skip connection)되고, 상세하게는 인코딩 단계 네트워크에서 대응층의 특징을 연결하고, 다시 이어서 컨볼루션 또는 배치 정규화(batch-normalization)를 진행하고 나아가 샘플링을 진행한다.
B2. 매칭 판별기는“Patch-GAN”을 채택하며, 먼저 이미지를 복수개의 patch로 나눈 후 이미지 쌍의 NＸN 블록 상에서 매칭이 진짜인지 여부를 판단하며, 다시 모든 patch의 판정 결과에 대한 평균값을 얻은 후 최종적으로 판정을 출력한다.
B3. CNN을 설계하며, 여기에는 4층의 컨볼루션층, M개의 완전연결(Fully Connected, FC)층이 포함되는데, M은 속성 개수이고, 속성 판별기는 M개 교차 엔트로피 손실 함수의 합계 평균을 속성 판별기의 목표 함수로 삼는다.
B4. L1 거리를 추가 지도 정보로 선택하고, 합성 이미지가 L1 거리 상에서 더욱 진실 이미지에 가깝도록 만들고; 생성기의 목표 함수에 생성 이미지와 조건 이미지의 L1 거리를 추가한다.
더 나아가, 상기 단계 C는 이하의 단계를 포함한다.
C1. 쌍을 이루는 매칭 이미지, 및 생성하려는 이미지 유형의 속성 지도 정보를 속성 생성적 대립 네트워크에 입력한다.
C2. 반복 프로세스에서, 입력 이미지와 진실 조건 이미지로 진실 매칭 이미지 쌍을 구성하고, 입력 이미지와 합성 이미지는 합성 매칭 이미지 쌍을 구성하고, 이를 각각 양의 샘플 쌍과 음의 샘플 쌍으로 삼아 매칭 판별기에 입력하여 의류 이미지 매칭 여부의 판정을 학습한다.
C3. 반복 프로세스에서, 진실 조건 이미지, 합성 이미지와 대응하는 속성 정보를 각각 양의 샘플과 음의 샘플로 삼아 각각 CNN에 입력하여 이미지가 다차원 속성으로 매핑되는 것을 학습한다.
상세하게는, 속성 생성적 대립 네트워크의 입력은 2개 부분으로 나뉘는데, 그중 한 부분은 수집한 것에 매칭 정보의 의류 이미지 쌍이 포함되며, 다른 한 부분은 매칭 의류 데이터 세트의 인공 라벨링에 대한 속성 정보이다. 1회 반복 프로세스에서, 입력 이미지와 진실한 조건 이미지는 진실 매칭 이미지 쌍을 구성하고, 입력 이미지와 합성 이미지는 합성 매칭 이미지 쌍을 구성하며, 각각 양의 샘플 쌍과 음의 샘플 쌍으로 매칭 판별기에 입력되어 의류 이미지 매칭 여부의 판정을 학습한다. 1회 반복 프로세스에서, 진실 조건 이미지, 합성 이미지와 대응하는 속성 정보는 각각 양의 샘플과 음의 샘플로 속성 판별기에 입력되고, 이미지가 고급 시맨틱 속성으로 매핑되는 것을 학습한다. CNN을 이용하여 진실 이미지와 합성 이미지의 속성을 예측하고 속성 예측을 최적화하는 과정에서 판별기는 고급 시맨틱 정보를 추가로 제공한다.
본 발명의 유익한 효과는 이하와 같다. 즉, 본 발명은 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 방법에 관한 것으로서, 트레이닝을 통해 설계된 속성 생성적 대립 네트워크는 입력 이미지에 매칭되는 의류 이미지를 생성하여 사용자의 의상 코디 및 의류 디자이너의 의류 디자인에 참고 근거를 제공한다. 상세하게는 본 발명은 속성 생성적 대립 네트워크에 관한 것으로서, 고급 시맨틱 속성 매칭 규칙에 기반한 의류 이미지를 생성한다. 속성 생성적 대립 네트워크 프레임 하에서 생성기는 입력 이미지에 매칭되는 의류 이미지를 생성하고, 매칭 판별기가 생성된 의류 이미지와 입력 의류 이미지가 매칭되는지를 판정하며, 속성 판별기가 생성된 의류 이미지가 입력 이미지의 속성 규칙에 부합하는지 여부를 판단한다. 트레이닝의 최종 결과, 매칭 판별기는 생성된 의류 이미지가 매칭되는지, 생성된 의류 속성이 정확한지를 판단할 수 없었다. 하나의 속성 반별기를 추가한 상황에서, 생성된 매칭 의류 이미지는 고급 시맨틱 속성 상에서 사람들의 통상적인 매칭 규칙에 부합하였다. 상기 프레임은 의류 추천, 의류 검색, 패션 디자인 등 실제 응용에 상당한 잠재력이 있다.
도 1은 본 발명에 있어서 속성 생성적 대립 네트워크에 기반한 의류 매칭 방법의 흐름도이다.
도 2는 본 발명에 있어서 속성 생성적 대립 네트워크의 모델 프레임도이다.
도 3은 본 발명에 있어서 속성 생성적 대립 네트워크 중의 속성 판별기의 모델 프레임도이다.
도 4는 본 발명의 방법으로 생성한 서로 매칭되는 의류 이미지 결과도이다.
이하에서는, 본 발명의 목적, 기술 방안, 장점을 보다 자세히 이해하기 위해서 첨부도면과 실시예를 참조하여 본 발명에 대해 보다 상세히 설명한다. 이하에서 설명한 구체적인 실시예는 본 발명을 설명하기 위한 것으로서 본 발명을 한정하지 않는다.
도 1은 본 발명이 제공하는 속성 생성적 대립 네트워크에 기반한 의류 매칭 방법의 흐름도를 도시한 것이다.
단계 S1: 매칭 의류 데이터 세트를 구축한다. 본 발명에서 사용하는 트레이닝용 데이터는 www.ployvore.com 사이트에서 유래한다. 사이트의 사용자는 생성된 의류 매칭 조합을 업로드, 공유, 수정할 수 있으며, 기타 사용자는 평론하고 점수를 매길 수 있다. 본 발명에서는 이미지 정보, 텍스트 정보를 포함한 매칭 조합을 크롤링하였으며, 텍스트 정보에는 주로 매칭에 대한 텍스트 설명 및 사용자의 선호도가 포함된다.
이를 기반으로, 복수개의 전자상거래업체 사용자가 자주 사용하는 검색 키워드 항목을 종합하여 하나의 세분화된 의류 속성 세트를 구축하였으며 여기에는 유형, 컬러, 무늬, 디자인 등을 포함한 총 90가지 속성이 있다. 크롤링한 매칭 의류 이미지에 대해 속성의 인공 라벨링을 진행하고 라벨링과 정리를 통해 총 19081개 매칭을 획득하였는데 그 중 15000쌍 매칭을 트레이닝에 사용하고 3000쌍은 검증에 사용하고 1081쌍은 테스트에 사용하였다.
단계 S2: 속성 생성적 대립 네트워크를 설계한다. 본 발명은 속성 생성적 대립 네트워크에 관한 것으로서, 상세한 모델 프레임은 도 2에서 도시하는 바와 같이 생성기, 매칭 판별기, 속성 판별기의 세 부분으로 나뉜다. 속성 생성적 대립 네트워크의 입력은 매칭 의류 이미지 쌍 및 대응하는 속성 정보이다.
여기에서, 생성기는 주로 매칭 의류 이미지 쌍 중의 한 장의 이미지를 다른 이미지로 매핑시키는 것을 학습하는데 이는
Figure pat00001
로 표시된다. 생성기는 디코딩-인코딩의 변형 프레임을 채택하고, 상기 프레임은 대응하는 층 사이가 스킵 커넥션되고, 인코딩 단계 네트워크에서 대응층의 특징을 연결하고, 다시 이어서 컨볼루션 또는 배치 정규화를 진행하고 나아가 샘플링을 진행하는데, 이러한 프레임을 통상적으로“U-Net”이라고 부른다. 상세하게는, 생성기 CNN의 각 i층과 n-i층 사이에 스킵 커넥션을 진행하며, 그 중 n은 총 네트워크 층수이다. 각 스킵 커넥션는 i층과 n-i층의 모든 채널을 연결한다.
매칭 판별기 입력은 생성한 매칭 의류 이미지와 입력 이미지로 구성된 매칭 의류 이미지 쌍이고, 출력은 상기 매칭 의류 이미지가 매칭되는지 여부를 판정한 것으로
Figure pat00002
로 표시된다. 구체적으로 블록을 나누어 판단하는“Patch-GAN”을 채택하는데, 즉 이미지를 복수개의 patch로 나누고 이미지 쌍의 N x N 블록 상에서 매칭이 진실인지 여부를 판단한 후 다시 모든 patch의 판정 결과에 대한 평균값을 내어 최종적으로 판정을 출력하는 것이다.
마지막 매칭 판별기의 목표 함수는 이하와 같이 표시된다.
Figure pat00003
여기에서
Figure pat00004
는 매칭 판별기이고,
Figure pat00005
는 생성기이고,
Figure pat00006
는 데이터 분포를 나타내고,
Figure pat00007
는 생성기를 통해 생성한 매칭 이미지
Figure pat00008
이다.
조건 생성적 대립 네트워크 목표 함수와 기존 손실 함수를 혼합한다. 매칭 판별기의 목표 함수가 변하지 않도록 유지하고, 생성기의 목표 함수에 L1 거리를 추가하여 생성한 매칭 이미지가 판별기를 속일 뿐만 아니라 L1 거리 상에서 조건 매칭 이미지에 근접하도록 만든다. 생성기의 목표 함수는 이하와 같이 표시된다.
Figure pat00009
여기에서
Figure pat00010
는 L1 거리이다.
속성 판별기에 있어서, 먼저 CNN을 설계하는데 여기에는 4층 컨볼루션층, M개의 FC층이 포함되고, M은 속성 개수이다. 속성 판별기는 다중 클래스 분류기로 볼 수 있고, FC층 후 M개 교차 엔트로피 손실 함수의 합계 평균을 속성 판별기의 손실 함수로 계산한다. 속성 판별기의 프레임은 도 3에서 도시하는 바와 같이 4개의 컨볼루션층과 하나의 FC층을 포함하고, 컨볼루션층의 컨볼루션 커널 크기는 4 Ｘ4이고, FC층을 연결하는 출력 노드 수는 속성 태그 수이다. 최종적인 속성 판별기 목표 함수는 이하와 같이 표시된다.
Figure pat00011
여기에서 A i 는 제i의 의류 속성을 나타내고, a i 는 제i의 속성 진실값을 나타낸다. 트레이닝 프로세스에서 조건 의류 이미지 및 상응하는 속성 정보를 양의 샘플로 삼고, 생성한 의류 이미지와 진실 이미지의 속성 정보를 음의 샘플로 삼아, 반복 프로세스에서 속성 판별기에 입력하고 이미지가 고급 시맨틱 속성 사이로 매핑되는 것을 학습한다.
판별기
Figure pat00012
와
Figure pat00013
는 매칭 판별기와 속성 판별기의 목표 함수 최대화를 최대한 시도하며, 생성기 G는 자신의 목표 함수 최소화를 시도하여 양자가 대립을 형성한다. 즉 최종적으로 만족해야 할 생성기 목표 함수는 이하와 같다.
Figure pat00014
여기에서 λ는 사전 정의한 파라미터이며, 여러 차례 시험 조정 후 선택한 가장 바람직한 λ로 가장 진실한 의류 이미지를 생성한다.
단계 S3: 의류 쌍 이미지 중의 하나를 입력으로 삼고, 다른 하나는 조건으로 삼으며, 그 중의 생성기를 통하여 매칭되는 의류를 합성하고, 매칭 판별기는 끊임없이 학습하여 진실 이미지 쌍과 합성 이미지 쌍을 구분하고, 속성 판별기는 학습하여 진실 이미지와 합성 이미지의 속성을 예측한다. 속성 생성적 대립 네트워크의 트레이닝 프로세스에서 표준 GAN 모델 트레이닝 프로세스를 채택하고, 생성기, 매칭 판별기와 속성 판별기는 교대로 기울기 하강하고, 소량의 랜덤 기울기 하강, Adam 알고리즘을 사용하여 트레이닝을 진행한다.
단계 S4: 속성 생성적 대립 네트워크 트레이닝을 완료한 후 생성기의 네트워크 파라미터를 획득하고, 의류 이미지를 생성기 내에 입력하고, 이와 서로 매칭되는 의류 이미지를 생성한다. 본 발명의 방법으로 생성한 서로 매칭되는 의류 이미지 결과 예시는 도 4에서 도시하는 바와 같다.
본 발명의 주요 장점은 이하와 같다. (1) 본 발명은 패션 사이트의 이미지와 텍스트 데이터를 크롤링하여 이미지 정보, 텍스트 정보, 매칭도 정보가 포함된 매칭 의류 데이터 세트를 구축하였다. 이어서 사람들의 통상적인 매칭 규칙에 부합하는 세분화된 속성 세트를 구축하고, 의류 데이터 세트 중의 이미지에 대해 속성 인공 라벨링을 진행했다. (2) 본 발명은 속성 생성적 대립 네트워크에 관한 것으로서, 조건 대립 생성적 네트워크를 기반으로 속성 판별기를 추가하며, 생성 이미지와 조건 이미지가 매칭되는지 여부를 판단하는 동시에, 생성 이미지가 조건 이미지의 고급 시맨틱 속성을 가지고 있는지를 판단한다. 이렇게 생성기가 진실한 이미지를 생성할 뿐만 아니라 속성 매칭 규칙을 충족시키는 이미지를 생성하도록 구속하기 때문에, 이후의 이미지 검색과 추천에 엄청난 연구 잠재력을 제공한다.
상기 내용은 본 발명의 비교적 바람직한 실시예에 불과하며 본 발명을 제한하지 않는다. 본 발명의 정신과 원칙을 기반으로 수정, 동등한 수준의 치환과 개선 등을 진행한 경우 이는 모두 본 발명의 보호범위에 속한다.

Claims (10)

  1. 속성 생성적 대립 네트워크에 있어서,
    1개의 생성기와 2개의 판별기가 포함되고, 상기 생성기는 입력 의류 이미지를 상응하는 매칭 의류 이미지로 전환하는 작업을 완료하고, 2개의 판별기는 각각 매칭 판별기와 속성 판별기이고, 상기 매칭 판별기는 생성된 의류 이미지 쌍의 매칭 여부를 판단하고, 상기 속성 판별기는 생성된 이미지가 상응하는 의류 속성을 갖고 있는지 판단하고; 상기 속성 생성적 대립 네트워크는 조건 생성적 대립 네트워크의 목표 함수와 기존 손실을 혼합하고, 판별기의 태스크가 변하지 않도록 유지하며, 생성기는 판별기를 속일 뿐만 아니라 생성된 합성 이미지는 유사도 거리 상에서 조건 이미지에 근접해야 하는 것을 특징으로 하는 속성 생성적 대립 네트워크.
  2. 제1항에 있어서,
    상기 생성기는“U-Net”구조를 채택하고; 상기 매칭 판별기는“Patch-GAN”을 채택하며; 상기 속성 판별기에는 4개의 컨볼루션층(convolution layer)과 M개의 완전연결층이 포함되고, 여기에서 M은 속성 개수이고, 컨볼루션층의 컨볼루션 커널 크기는 4Ｘ4이고, M개 교차 엔트로피(Cross Entropy) 손실 함수의 합계 평균을 속성 판별기의 목표 함수로 삼는 것을 특징으로 하는 속성 생성적 대립 네트워크.
  3. 제1항에 있어서,
    상기 판별기가 매칭 판별기와 속성 판별기의 목표 함수를 최대화시키고, 생성기는 자신의 목표 함수를 최소화시켜, 양자가 서로 대립하도록 만드는 것을 특징으로 하는 속성 생성적 대립 네트워크.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 유사도 거리는 L1 거리인 것을 특징으로 하는 속성 생성적 대립 네트워크.
  5. 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법은 이하의 단계,
    A. 매칭 의류 데이터 세트 구축: 이미지 정보, 텍스트 정보 및 의류 매칭 정보를 포함한 의류 데이터 세트를 구축하고; 세분화된 의류 속성 데이터 세트를 구축하고, 그 의류 이미지에 대해 라벨링을 진행하고;
    B. 속성 생성적 대립 네트워크 설계: 상기 속성 생성적 대립 네트워크에는 1개의 생성기와 2개의 판별기가 포함되고, 상기 생성기는 입력 의류 이미지를 상응하는 매칭 의류 이미지로 전환하는 작업을 완료하고, 2개의 판별기는 각각 매칭 판별기와 속성 판별기이고, 상기 매칭 판별기는 생성된 의류 이미지 쌍의 매칭 여부를 판단하고, 상기 속성 판별기는 생성된 이미지가 상응하는 의류 속성을 갖고 있는지 판단하고; 또한, 상기 속성 생성적 대립 네트워크는 조건 생성적 대립 네트워크의 목표 함수와 기존 손실을 혼합하고, 판별기의 태스크가 변하지 않도록 유지하며, 생성기는 판별기를 속일 뿐만 아니라 생성된 합성 이미지는 유사도 거리 상에서 조건 이미지에 근접해야 하고;
    C. 속성 생성적 대립 네트워크 트레이닝: 의류 쌍 이미지 중의 하나를 입력으로 삼고, 다른 하나는 조건으로 삼으며, 그 중의 생성기를 통하여 매칭되는 의류를 합성하고, 매칭 판별기는 끊임없이 학습하여 진실 이미지 쌍과 합성 이미지 쌍을 구분하고, 속성 판별기는 학습하여 진실 이미지와 합성 이미지의 속성을 예측하고;
    D. 매칭 의류 이미지 생성: 속성 생성적 대립 네트워크의 트레이닝을 완료한 후, 상응하는 네트워크 파라미터를 수득하고, 새로운 의류 이미지에 대하여 생성기 내에 입력하여 서로 매칭되는 의류 이미지를 생성하는 것을 포함하는 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
  6. 제5항에 있어서,
    상기 단계 A는 이하의 단계,
    A1. 의류 데이터 세트 구축에는 매칭 정보의 의류 이미지와 텍스트 정보가 포함되며, 텍스트에는 의류에 대한 설명, 한 세트의 의류에 대한 선호도 등이 포함되고;
    A2. 복수개 전자상거래업체의 키워드 검색 항목을 종합하여 세분화된 의류 속성 세트를 구축하는데, 여기에는 유형, 컬러, 무늬, 디자인, 세부사항 등이 포함되고, 의류 매칭 데이터 세트 중의 의류 이미지에 대하여 속성 인공 라벨링을 진행하는 것을 포함하는 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
  7. 제5항에 있어서,
    상기 단계 B는 이하의 단계,
    B1. 생성기는 하나의 디코딩-인코딩의 변형 프레임을 채택하고,“U-Net”구조를 채택하며, 상기 프레임은 대응하는 층 사이가 스킵 커넥션(skip connection)되고, 즉 인코딩 단계 네트워크에서 대응층의 특징을 연결하고, 다시 이어서 컨볼루션 또는 배치 정규화(batch-normalization)를 진행하고, 나아가 샘플링을 진행하고;
    B2. 매칭 판별기는“Patch-GAN”을 채택하며, 먼저 이미지를 복수개의 patch로 나눈 후, 이미지 쌍의 NＸN 블록 상에서 매칭이 진짜인지 여부를 판단하며, 다시 모든 patch의 판정 결과에 대한 평균값을 얻은 후 최종적으로 판정을 출력하고;
    B3. CNN을 설계하며, 여기에는 4층의 컨볼루션층, M개의 완전연결(Fully Connected, FC)층이 포함되는데, M은 속성 개수이고, 속성 판별기는 M개 교차 엔트로피 손실 함수의 합계 평균을 속성 판별기의 목표 함수로 삼고;
    B4. L1 거리를 추가 지도 정보로 선택하고, 합성 이미지가 L1 거리 상에서 더욱 진실 이미지에 가깝도록 만들고; 생성기의 목표 함수에 생성 이미지와 조건 이미지의 L1 거리를 추가하는 것을 포함하는 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
  8. 제5항에 있어서,
    상기 단계 C는 이하의 단계,
    C1. 쌍을 이루는 매칭 이미지, 및 생성하려는 이미지 유형의 속성 지도 정보를 속성 생성적 대립 네트워크에 입력하고;
    C2. 반복 프로세스에서, 입력 이미지와 진실 조건 이미지로 진실 매칭 이미지 쌍을 구성하고, 입력 이미지와 합성 이미지는 합성 매칭 이미지 쌍을 구성하고, 이를 각각 양의 샘플 쌍과 음의 샘플 쌍으로 삼아 매칭 판별기에 입력하여 의류 이미지 매칭 여부의 판정을 학습하고;
    C3. 반복 프로세스에서, 진실 조건 이미지, 합성 이미지와 대응하는 속성 정보를 각각 양의 샘플과 음의 샘플로 삼아 각각 CNN에 입력하여 이미지가 다차원 속성으로 매핑되는 것을 학습하는 것을 포함하는 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
  9. 제5항 내지 제8항 중 어느 한 항에 있어서,
    상기 유사도 거리는 L1 거리인 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
  10. 제5항 내지 제8항 중 어느 한 항에 있어서,
    상기 단계 C에서, 표준 GAN 모델 트레이닝 프로세스를 채택하고, 생성기, 매칭 판별기와 속성 판별기는 교대로 기울기 하강하고, 소량의 랜덤 기울기 하강, Adam 알고리즘을 사용하여 트레이닝을 진행하는 것을 특징으로 하는 속성 생성적 대립 네트워크를 기반으로 하는 의류 매칭 방법.
KR1020190021284A 2018-09-14 2019-02-22 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법 KR20200034917A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811074522.0 2018-09-14
CN201811074522.0A CN110909754B (zh) 2018-09-14 2018-09-14 一种属性生成对抗网络及基于该网络的搭配服饰生成方法

Publications (1)

Publication Number Publication Date
KR20200034917A true KR20200034917A (ko) 2020-04-01

Family

ID=69812302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190021284A KR20200034917A (ko) 2018-09-14 2019-02-22 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법

Country Status (2)

Country Link
KR (1) KR20200034917A (ko)
CN (1) CN110909754B (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667547A (zh) * 2020-06-09 2020-09-15 创新奇智(北京)科技有限公司 Gan网络训练方法、服装图片生成方法、装置及电子设备
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
CN113901289A (zh) * 2021-10-08 2022-01-07 新华智云科技有限公司 一种基于无监督学习的推荐方法及系统
CN114662138A (zh) * 2020-12-23 2022-06-24 中国科学院沈阳自动化研究所 一种工业过程数据脱敏方法
US11537688B2 (en) 2020-08-06 2022-12-27 D3d Co., Ltd. System and method for processing copyright and profit distribution of clothes fashion design using blockchain
CN116710913A (zh) * 2020-12-29 2023-09-05 迪真诺有限公司 将文本与设计进行匹配的方法及其装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476868B (zh) * 2020-04-07 2023-06-23 哈尔滨工业大学 基于深度学习的动画生成模型训练、动画生成方法及装置
CN112100908B (zh) * 2020-08-31 2024-03-22 西安工程大学 一种基于多条件深度卷积生成对抗网络的服装设计方法
CN112529768B (zh) * 2020-12-04 2023-01-06 中山大学 一种基于生成对抗网络的服装编辑和生成方法
CN112861884B (zh) * 2021-03-19 2022-05-03 电子科技大学 一种基于深度学习的服饰图像外观属性修改方法
CN113222069B (zh) * 2021-06-03 2024-03-19 韶鼎人工智能科技有限公司 一种基于多任务生成对抗网络的灰度图像着色方法
CN113298906B (zh) * 2021-06-10 2024-08-20 浙江工业大学 一种基于草图引导的配对服装图像生成方法
CN113722783A (zh) * 2021-07-08 2021-11-30 浙江海阔人工智能科技有限公司 基于深度学习模型的面向用户的服装智能设计系统及方法
CN115147681B (zh) * 2022-06-30 2023-07-21 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170096971A (ko) * 2016-02-17 2017-08-25 옴니어스 주식회사 스타일 특징을 이용한 상품 추천 방법
CN107437099A (zh) * 2017-08-03 2017-12-05 哈尔滨工业大学 一种基于机器学习的特定服饰图像识别与检测方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107945204B (zh) * 2017-10-27 2021-06-25 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN108109049A (zh) * 2017-12-29 2018-06-01 广东欧珀移动通信有限公司 服饰搭配预测方法、装置、计算机设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667547A (zh) * 2020-06-09 2020-09-15 创新奇智(北京)科技有限公司 Gan网络训练方法、服装图片生成方法、装置及电子设备
CN111667547B (zh) * 2020-06-09 2023-08-11 创新奇智(北京)科技有限公司 Gan网络训练方法、服装图片生成方法、装置及电子设备
US11537688B2 (en) 2020-08-06 2022-12-27 D3d Co., Ltd. System and method for processing copyright and profit distribution of clothes fashion design using blockchain
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
WO2022039450A1 (ko) * 2020-08-18 2022-02-24 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
CN114662138A (zh) * 2020-12-23 2022-06-24 中国科学院沈阳自动化研究所 一种工业过程数据脱敏方法
CN114662138B (zh) * 2020-12-23 2024-06-11 中国科学院沈阳自动化研究所 一种工业过程数据脱敏方法
CN116710913A (zh) * 2020-12-29 2023-09-05 迪真诺有限公司 将文本与设计进行匹配的方法及其装置
CN113901289A (zh) * 2021-10-08 2022-01-07 新华智云科技有限公司 一种基于无监督学习的推荐方法及系统

Also Published As

Publication number Publication date
CN110909754B (zh) 2023-04-07
CN110909754A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
KR20200034917A (ko) 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법
Li et al. Mining fashion outfit composition using an end-to-end deep learning approach on set data
CN110580501B (zh) 一种基于变分自编码对抗网络的零样本图像分类方法
Lee et al. Style2vec: Representation learning for fashion items from style sets
CN112464016A (zh) 一种基于深度关系自注意力网络的场景图生成方法
CN109978050A (zh) 基于svm-rf的决策规则提取及约简方法
Jin et al. Cold-start active learning for image classification
CN113158063B (zh) 一种基于图像理解的纺织面料个性化推荐方法
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
CN112733602B (zh) 关系引导的行人属性识别方法
CN113806560A (zh) 一种电力数据知识图生成方法及系统
Zhang et al. The generative adversarial networks and its application in machine vision
CN116012094A (zh) 一种深度图匹配网络及基于该网络的时尚搭配推荐方法
Peng et al. Dual contrastive learning network for graph clustering
CN114781503A (zh) 一种基于深度特征融合的点击率预估方法
Ding et al. Clothes-Eraser: clothing-aware controllable disentanglement for clothes-changing person re-identification
Yuan et al. A novel forget-update module for few-shot domain generalization
CN104317853B (zh) 一种基于语义Web的服务簇构建方法
Ahmad et al. Understanding GANs: fundamentals, variants, training challenges, applications, and open problems
Hao et al. Jointly recommendation algorithm of knn matrix factorization with weights
Zhang et al. Information guiding and sharing enhanced simultaneous heat transfer search and its application to k-means optimization
Shi [Retracted] Application Model Construction of Traditional Cultural Elements in Illustration Design under Artificial Intelligence Background
CN114896514B (zh) 一种基于图神经网络的Web API标签推荐方法
CN115146140B (zh) 一种基于融合影响力的群体推荐方法、装置
Zhou et al. BC-GAN: A Generative Adversarial Network for Synthesizing a Batch of Collocated Clothing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application