WO2021221247A1 - 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램 - Google Patents

하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
WO2021221247A1
WO2021221247A1 PCT/KR2020/014141 KR2020014141W WO2021221247A1 WO 2021221247 A1 WO2021221247 A1 WO 2021221247A1 KR 2020014141 W KR2020014141 W KR 2020014141W WO 2021221247 A1 WO2021221247 A1 WO 2021221247A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification information
information
fashion
fashion image
artificial intelligence
Prior art date
Application number
PCT/KR2020/014141
Other languages
English (en)
French (fr)
Inventor
권수희
Original Assignee
주식회사 웨얼리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨얼리 filed Critical 주식회사 웨얼리
Publication of WO2021221247A1 publication Critical patent/WO2021221247A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Definitions

  • Various embodiments of the present invention relate to a fashion image analysis method, apparatus, and computer program using an artificial intelligence model of a hierarchical structure.
  • Machine learning machine learning
  • deep learning technology which is widely used for image analysis among machine learning technologies.
  • Deep learning is a set of machine learning algorithms that attempt high-level abstractions (summarizing key contents or functions in large amounts of data or complex data) through a combination of several nonlinear transformation methods. Defined. Deep learning can be viewed as a field of machine learning that teaches computers to think in a broad framework.
  • Deep Neural Networks DNN
  • CNN Convolutional Deep Neural Networks
  • RNN Recurrent Neural Network
  • DBN Deep Belief Networks
  • a deep neural network is an artificial neural network (ANN) composed of a plurality of hidden layers between an input layer and an output layer.
  • the problem to be solved by the present invention is to create a fashion image by sequentially using three AI models having a hierarchy structure (eg, a first AI model, a second AI model, and a third AI model). It is to provide a fashion image analysis method, apparatus and computer program using an artificial intelligence model of hierarchical structure that can classify fashion images by more accurately quantifying the qualitative results of complex and unclear contents by analyzing and classifying them.
  • a hierarchy structure eg, a first AI model, a second AI model, and a third AI model.
  • Another problem to be solved by the present invention is a hierarchical structure that can improve the accuracy of classification by self-verifying a plurality of extracted classification information using a plurality of classification information extracted from three artificial intelligence models having a hierarchical structure. It is to provide a fashion image analysis method, device and computer program using the artificial intelligence model of
  • a fashion image analysis method using an artificial intelligence model of a hierarchical structure according to an embodiment of the present invention for solving the above problems is a method performed by a computing device, the method comprising: obtaining a fashion image; from the fashion image extracting first classification information, extracting second classification information from the fashion image, extracting third classification information from the fashion image, the first classification information, the second classification information and the third
  • the method may include analyzing a correlation between classification information and classifying the fashion image according to a result of analyzing the correlation.
  • the extracting of the first classification information may include learning a first artificial intelligence model using a plurality of fashion images labeled with preset style information as training data, and using the first artificial intelligence model. and extracting the first classification information indicating the style of the fashion image.
  • the extracting of the second classification information may include learning a second artificial intelligence model using a plurality of fashion images labeled with preset attribute information as training data, and using the second artificial intelligence model. and extracting the second classification information indicating the attribute of the fashion image.
  • the extracting of the third classification information may include learning a third artificial intelligence model using a plurality of fashion images labeled with preset emotional information as learning data, and using the third artificial intelligence model. and extracting the third classification information indicating the emotion of the fashion image.
  • the analyzing may include learning a fourth artificial intelligence model using a connection relationship and a dependency relationship between a plurality of style information, a plurality of attribute information, and a plurality of emotional information for the fashion image as learning data. and extracting a correlation between the first classification information, the second classification information, and the third classification information by using the fourth artificial intelligence model.
  • the classifying may include determining whether the second classification information and the third classification information are dependent on the first classification information based on the association relationship, and whether the second classification information is dependent on the first classification information. verifying the first classification information according to whether the second classification information and the third classification information depend on the first classification information, classifying the fashion image based on the first classification information; and when the second classification information and the third classification information do not depend on the first classification information, correcting the first classification information using the second classification information and the third classification information, and It may include classifying the fashion image based on the first classification information.
  • the classifying may include, when two or more pieces of first classification information are extracted from one fashion image, the second classification information and the third classification information and the relationship between the two or more first classification information analyzing, selecting any one of the two or more first classification information according to the analysis result of the correlation, and classifying the fashion image based on the selected one of the first classification information may include the step of
  • the classifying includes analyzing the fashion image to calculate a probability value that the fashion image belongs to each of a plurality of preset style information, and style information having the highest probability value among the calculated probability values. is extracted as the first classification information for the fashion image, and when the calculated probability value is less than a preset probability value or the difference between the calculated probability values is less than a preset difference value, the fashion image indicating attribute information
  • the method may include classifying the fashion image using only the second classification information and the third classification information indicating emotional information of the fashion image.
  • a fashion image analysis apparatus using an artificial intelligence model of a hierarchical structure according to another embodiment of the present invention for solving the above-described problems a memory for storing one or more instructions, and a processor for executing the one or more instructions stored in the memory Including, the processor may perform the fashion image analysis method using the artificial intelligence model of the hierarchical structure according to an embodiment of the present invention by executing the one or more instructions.
  • a computer program is combined with a computer that is hardware to perform a fashion image analysis method using an artificial intelligence model of hierarchical structure according to an embodiment of the present invention. may be stored in a computer-readable recording medium.
  • fashion images are analyzed and analyzed sequentially using three artificial intelligence models having a hierarchical structure (eg, a first artificial intelligence model, a second artificial intelligence model, and a third artificial intelligence model).
  • three artificial intelligence models having a hierarchical structure (eg, a first artificial intelligence model, a second artificial intelligence model, and a third artificial intelligence model).
  • classification accuracy can be improved by self-verifying the extracted plurality of classification information using the plurality of classification information extracted from three AI models having a hierarchical structure.
  • FIG. 1 is a diagram illustrating a fashion image analysis system using an artificial intelligence model of a hierarchical structure according to an embodiment of the present invention.
  • FIG. 2 is a hardware configuration diagram of an apparatus for analyzing a fashion image using an artificial intelligence model having a hierarchical structure according to another embodiment of the present invention.
  • FIG. 3 is a flowchart of a fashion image analysis method using an artificial intelligence model of a hierarchical structure according to another embodiment of the present invention.
  • 4 to 6 are diagrams illustrating configurations of extracting first to third classification information from a fashion image by using the first to third artificial intelligence models, according to various embodiments.
  • FIG. 7 is a diagram illustrating a configuration of self-verifying first classification information using second classification information and third classification information, according to various embodiments.
  • FIG. 8 is a flowchart of a method of classifying a fashion image according to whether second classification information and third classification information depend on first classification information, according to various embodiments of the present disclosure
  • unit refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles.
  • “part” or “module” is not meant to be limited to software or hardware.
  • a “unit” or “module” may be configured to reside on an addressable storage medium or to reproduce one or more processors.
  • “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables.
  • Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or as additional components and “parts” or “modules”. can be further separated.
  • spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc. It can be used to easily describe the correlation between a component and other components.
  • a spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
  • a computer means all types of hardware devices including at least one processor, and may be understood as encompassing software configurations operating in the corresponding hardware device according to embodiments.
  • a computer may be understood to include, but is not limited to, smart phones, tablet PCs, desktops, notebooks, and user clients and applications running on each device.
  • each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and at least a portion of each step may be performed in different devices according to embodiments.
  • FIG. 1 is a diagram illustrating a fashion image analysis system using an artificial intelligence model of a hierarchical structure according to an embodiment of the present invention.
  • a fashion image analysis system using an artificial intelligence model of a hierarchical structure may include a fashion image analysis apparatus 100 , a user terminal 200 , and an external server 300 .
  • the fashion image analysis system using the artificial intelligence model of the hierarchical structure shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and additional, if necessary, may be changed or deleted.
  • the fashion image analysis apparatus 100 may classify fashion images by analyzing fashion images (eg, fashion items such as clothing and accessories, images generated by photographing a person wearing a fashion item or a mannequin). .
  • fashion images eg, fashion items such as clothing and accessories, images generated by photographing a person wearing a fashion item or a mannequin.
  • the fashion image analysis apparatus 100 may classify a fashion image and provide fashion information on the fashion image by analyzing the fashion image using an artificial intelligence model having a hierarchical structure. For example, the fashion image analysis apparatus 100 sequentially uses the first artificial intelligence model, the second artificial intelligence model, and the third artificial intelligence model to obtain the first classification information, the second classification information, and the third classification information from the fashion image. Information may be extracted, and a fashion image may be classified using the extracted first classification information, second classification information, and third classification information.
  • the present invention is not limited thereto.
  • the fashion image analysis apparatus 100 relates to the first classification information, the second classification information, and the third classification information extracted using the first artificial intelligence model, the second artificial intelligence model, and the third artificial intelligence model.
  • the fashion image analysis apparatus 100 extracts a relationship between the first classification information, the second classification information, and the third classification information using the fourth artificial intelligence model, and uses the extracted association relationship to analyze the fashion image. can be classified.
  • the present invention is not limited thereto.
  • the fashion image analysis apparatus 100 may provide a fashion information providing service that provides customized fashion information to a user using result data of analyzing and classifying a plurality of fashion images.
  • the fashion information providing service may mean a service that receives preferred fashion information (eg, information on preferred fashion items, etc.) or a fashion image input from a user, and selects and provides a recommended fashion item in response thereto.
  • preferred fashion information eg, information on preferred fashion items, etc.
  • fashion image input from a user e.g., a fashion image input from a user
  • present invention is not limited thereto.
  • the fashion image analysis apparatus 100 may provide a UI capable of performing a labeling operation on a plurality of fashion images to the user terminal 200 (eg, a terminal of a fashion major or expert), and the UI By receiving the labeling operation result data (eg, a fashion image labeled with specific information) generated through , it can be used as training data for generating artificial intelligence model training data.
  • the labeling operation result data eg, a fashion image labeled with specific information
  • the user terminal 200 may be connected to the fashion image analysis apparatus 100 through the network 400 , and provides a fashion image to be classified into the fashion image analysis apparatus 100 , or provides the provided fashion image. Classification results and fashion information can be provided.
  • the user terminal 200 may include a display on at least a portion of the user terminal 200 , and output a user interface (UI) provided by the fashion image analysis apparatus 100 through the display.
  • UI user interface
  • the user terminal 200 may include at least one of a smartphone, a tablet PC, a desktop, and a laptop including a display in at least a partial area.
  • the present invention is not limited thereto.
  • the external server 300 may be connected to the fashion image analysis apparatus 100 through the network 400 , and the fashion image analysis apparatus 100 may analyze, classify, and generate various types of fashion information required for the fashion image analysis apparatus 100 . You can provide information and data.
  • the external server 300 may receive and store fashion image classification result data and fashion information data on the fashion image from the fashion image analysis apparatus 100 .
  • the external server 300 may include a storage server (eg, a cloud server) for storing and managing various data.
  • the present invention is not limited thereto, and the fashion image analysis apparatus 100 may include a separate storage server therein, and may store and manage various data in the storage server separately provided therein.
  • a hardware configuration of the fashion image analysis apparatus 100 will be described with reference to FIG. 2 .
  • FIG. 2 is a hardware configuration diagram of an apparatus for analyzing a fashion image using an artificial intelligence model having a hierarchical structure according to another embodiment of the present invention.
  • the fashion image analysis apparatus 100 may include a processor 110 and a memory 120 .
  • the computing device 100 may further include a network interface (or communication interface) (not shown), storage (not shown), and a bus (not shown).
  • the processor 110 may control the overall operation of each component of the computing device 100 .
  • the processor 110 may include a central processing unit (CPU), a micro processor unit (MPU), a micro controller unit (MCU), or any type of processor well known in the art.
  • the processor 110 may perform an operation on at least one application or program for executing the method according to the embodiments of the present invention.
  • the processor 110 includes one or more cores (not shown) and a graphic processing unit (not shown) and/or a connection path (eg, a bus, etc.) for transmitting and receiving signals to and from other components. can do.
  • the processor 110 temporarily and/or permanently stores a signal (or data) processed inside the processor 110 , a random access memory (RAM) and a read access memory (ROM). -Only Memory, not shown) may be further included.
  • the processor 110 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processing unit, a RAM, and a ROM.
  • SoC system on chip
  • the processor 110 executes one or more instructions stored in the memory 120 , so that a method to be described with reference to FIGS. 3 to 8 (eg, a fashion image using an artificial intelligence model of a hierarchical structure) analysis method).
  • the processor 110 executes one or more instructions stored in the memory 120 to obtain a fashion image, extracting first classification information from the fashion image, and extracting second classification information from the fashion image. step, extracting third classification information from the fashion image, analyzing the correlation between the first classification information, the second classification information, and the third classification information, and classifying the fashion image according to the result of analyzing the correlation It is possible to perform a fashion image analysis method using an artificial intelligence model of a hierarchical structure including However, the present invention is not limited thereto.
  • memory 120 may store various data, commands, and/or information.
  • the memory 120 may store programs (one or more instructions) for processing and controlling the processor 110 .
  • Programs stored in the memory 120 may be divided into a plurality of modules according to functions.
  • steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof.
  • a software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • the components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • the components of the present invention may be implemented as software programming or software components, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors.
  • FIGS. 3 to 8 a fashion image analysis method using an artificial intelligence model of a hierarchical structure performed by the computing device 100 will be described with reference to FIGS. 3 to 8 .
  • FIG. 3 is a flowchart of a fashion image analysis method using an artificial intelligence model of a hierarchical structure according to another embodiment of the present invention.
  • step S110 the computing device 100 may obtain a fashion image.
  • the computing device 100 may be connected to the user terminal 200 by wire or wireless, and may provide a UI for uploading a fashion image to the user terminal 200 , and by uploading a fashion image through the UI , fashion images can be obtained.
  • the computing device 100 may provide a fashion image shooting UI capable of shooting a specific fashion-related object to the user terminal 200 , and the user may create a fashion image shooting UI by photographing a specific target through the fashion image shooting UI. You can be provided with a fashion image that becomes
  • the computing device 100 may be connected to the external server 300 in a wired or wireless connection, and a fashion image that is not classified by the computing device 100 among a plurality of fashion images pre-stored in the external server 300 is provided.
  • a fashion image can be obtained.
  • the present invention is not limited thereto, and various methods for obtaining a fashion image are applicable.
  • step S120 the computing device 100 may extract the first classification information by analyzing the fashion image obtained in step S110 (eg, FIG. 4 ).
  • the computing device 100 may extract the first classification information indicating the style of the fashion image 1 by analyzing the fashion image 1 using the first artificial intelligence model 10 .
  • the first artificial intelligence model 10 uses a plurality of fashion images 1 labeled with preset style information (eg, hip-hop style, classic style, modern style, sporty style, casual style, and romantic style). It may be an artificial intelligence model that has already been learned as the learning data.
  • preset style information eg, hip-hop style, classic style, modern style, sporty style, casual style, and romantic style. It may be an artificial intelligence model that has already been learned as the learning data.
  • the computing device 100 may train the first artificial intelligence model 10 using at least one of a convolutional neural network (CNN), preprocessing, and supervised learning.
  • CNN convolutional neural network
  • the present invention is not limited thereto.
  • a plurality of fashion images 1 labeled with style information used as the learning data of the first artificial intelligence model 10 are labeled by a fashion professional engaged in a fashion-related industry for more professional and accurate classification.
  • classification of the fashion image 1 may be performed according to a feeling of ordinary people, but may be performed without knowing exactly the meaning of each style.
  • the style information labeling operation for the plurality of fashion images 1 may be preferably performed by an expert.
  • the present invention is not limited thereto.
  • the first classification information may refer to information indicating which style the fashion image 1 is.
  • the first classification information may include at least one of a hip-hop style, a classic style, a modern style, a sporty style, a casual style, and a romantic style.
  • the present invention is not limited thereto.
  • the computing device 100 may train the first artificial intelligence model 10 using the first classification information and the fashion image 1 extracted through step S120 as training data.
  • the computing device 100 may store the first classification information extracted from the first artificial intelligence model 10 and the corresponding fashion image 1 as one learning data, and using this, the first artificial intelligence model (10) can be learned.
  • the present invention is not limited thereto.
  • the computing device 100 analyzes the fashion image 1 to calculate a probability value that the fashion image 1 belongs to each of a plurality of preset style information, and calculates the highest probability value among the calculated probability values.
  • the branch style information may be extracted as the first classification information for the fashion image 1 .
  • the computing device 100 analyzes the fashion image 1 to calculate a probability value that the fashion image 1 belongs to each of a plurality of preset style information, but the calculated probability values are 70% modern and classic, respectively. In the case of 30% and 50% sporty, "modern style" may be extracted as the first classification information for the fashion image 1 .
  • the present invention is not limited thereto.
  • the computing device 100 analyzes the fashion image 1 and extracts two or more style information as first classification information based on a probability value that the fashion image 1 belongs to each of a plurality of preset style information. can do. For example, the computing device 100 sets first style information having the highest probability value belonging to each of the plurality of style information as main style information and style information having a high probability value after the main style information as sub-style information Classification information can be extracted.
  • the present invention is not limited thereto.
  • the computing device 100 may analyze the fashion image 1 to identify a plurality of fashion items included in the fashion image 1 , and individually provide first classification information for each of the plurality of fashion items can be extracted. For example, when the plurality of fashion items included in the fashion image 1 are outerwear, pants, and shoes, the computing device 100 may provide first classification information (eg, outerwear) for each of the outerwear, pants, and shoes. wear & "hip hop style", pants & "modern style” and shoes & “sporty style”) can be extracted.
  • first classification information eg, outerwear
  • the computing device 100 may identify a plurality of fashion items included in the fashion image 1 , and extract first classification information for each of the plurality of fashion items, but the extracted first classification information Based on the number of , representative first classification information for the fashion image 1 may be selected.
  • the computing device 100 extracts the first classification information for the fashion image 1 using the first artificial intelligence model 10 , and uses the extracted first classification information to the first artificial intelligence model ( By tagging the fashion image 1 input in 10), output data (style data) may be generated.
  • output data style data
  • the computing device 100 may use the style data as learning data for learning the first artificial intelligence model 10 .
  • step S130 the computing device 100 may analyze the fashion image 1 obtained in step S110 to extract second classification information (eg, FIG. 5 ).
  • the computing device 100 may extract the second classification information indicating the property of the fashion image 1 by analyzing the fashion image 1 using the second artificial intelligence model 20 .
  • the second artificial intelligence model 20 uses a plurality of fashion images 1 labeled with preset attribute information (eg, color information, material information, pattern information, fit information, and additional information) as learning data. As such, it can be a pre-learned artificial intelligence model.
  • preset attribute information eg, color information, material information, pattern information, fit information, and additional information
  • the computing device 100 may train the second artificial intelligence model 20 using at least one of CNN, preprocessing, and supervised learning.
  • the present invention is not limited thereto.
  • a plurality of fashion images 1 labeled with attribute information used as learning data of the second artificial intelligence model 20 are labeled by a fashion major engaged in a fashion-related industry for more professional and accurate classification.
  • the present invention is not limited thereto.
  • the second classification information may refer to information indicating which properties the fashion image 1 has, color information (eg, red, blue, green, white, black, gray, etc.), material information (e.g. denim, silk, leather, cotton, wool, wool, etc.), pattern information (e.g. flower, stripe, animation, herringbone, etc.), fit information (e.g. loose, tight, baggy, date, bootcut) etc.) and additional information.
  • color information eg, red, blue, green, white, black, gray, etc.
  • material information e.g. denim, silk, leather, cotton, wool, wool, etc.
  • pattern information e.g. flower, stripe, animation, herringbone, etc.
  • fit information e.g. loose, tight, baggy, date, bootcut
  • each attribute information included in the second classification information has a connection relationship connected to any one or more styles among a plurality of styles included in the first classification information, or a dependent relationship dependent on any one or more styles.
  • the computing device 100 may train the second artificial intelligence model 20 using the second classification information and the fashion image 1 extracted through step S130 as training data.
  • the computing device 100 may store the second classification information extracted from the second artificial intelligence model 20 and the corresponding fashion image 1 as one learning data, and using this, the second artificial intelligence model (20) can be learned.
  • the present invention is not limited thereto.
  • the computing device 100 may identify a plurality of fashion items included in the fashion image 1 through step S120 , and may extract second classification information for each of the identified plurality of fashion items. have.
  • the plurality of fashion items included in the fashion image 1 are respectively outerwear, pants, and shoes
  • the computing device 100 may extract second classification information for each of the outerwear, pants, and shoes. have.
  • the present invention is not limited thereto.
  • the computing device 100 extracts second classification information for the fashion image 1 by using the second artificial intelligence model 20 , and uses the extracted second classification information as the second artificial intelligence model ( 20) may be tagged to the input fashion image 1 to generate output data (attribute data).
  • the computing device 100 may use the attribute data as learning data for learning the second artificial intelligence model 20 .
  • step S140 the computing device 100 may analyze the fashion image 1 obtained in step S110 to extract third classification information (eg, FIG. 6 ).
  • third classification information indicating emotional information of the fashion image 1 may be extracted.
  • the third artificial intelligence model 30 uses a plurality of fashion images 1 labeled with preset emotional information (eg, beauty, coolness, coolness, hotness, chic, sexuality and masculinity, etc.) as learning data. It may be a trained artificial intelligence model.
  • preset emotional information eg, beauty, coolness, coolness, hotness, chic, sexuality and masculinity, etc.
  • the computing device 100 may train the third artificial intelligence model 30 using at least one of CNN, preprocessing, and supervised learning.
  • the present invention is not limited thereto.
  • a plurality of fashion images 1 labeled with emotional information used as learning data of the third artificial intelligence model 30 are labeled by general consumers (users) as well as fashion majors engaged in fashion-related industries. It can be created by working.
  • the computing device 100 may receive emotional information about the fashion image 1 at the same time as the fashion image 1 is uploaded from the user, and the corresponding fashion image ( 1) can perform emotional information labeling.
  • style information labeling operation the attribute information labeling operation, and the emotional information labeling operation may be performed by the same operator, but is not limited thereto, and may be performed by different operators for each labeling operation.
  • present invention is not limited thereto.
  • the third classification information may mean information indicating which emotion (or feeling) the fashion image 1 has, and at least one of beauty, coolness, coolness, kannity, masculinity, and sexyness. may include.
  • the present invention is not limited thereto.
  • each sentiment information included in the third classification information has a connection relationship connected to any one or more styles among a plurality of styles included in the first classification information, or a dependent relationship dependent on any one or more styles.
  • the computing device 100 may train the third artificial intelligence model 30 using the third classification information and the fashion image 1 extracted through step S140 as training data.
  • the computing device 100 may store the third classification information extracted from the third artificial intelligence model 30 and the corresponding fashion image 1 as one learning data, and using this, the second artificial intelligence model (20) can be learned.
  • the present invention is not limited thereto.
  • the computing device 100 extracts the first classification information using the first artificial intelligence model 10 , extracts the second classification information using the second artificial intelligence model, and the third artificial intelligence model Extracting the third classification information using (30), the first classification information by operating the first artificial intelligence model 10, the second artificial intelligence model 20, and the third artificial intelligence model 30 in stages;
  • the second classification information and the third classification information may be sequentially extracted.
  • the computing device 100 extracts the first classification information using the first artificial intelligence model 10 , and operates the second artificial intelligence model 20 when the extraction of the first classification information is completed. and extracting the second classification information using the second artificial intelligence model 20, and operating the third artificial intelligence model 30 when the extraction of the second classification information is completed to generate the third classification information. can be extracted.
  • the computing device 100 when the computing device 100 obtains the fashion image 1 from the outside, the first artificial intelligence model 10 , the second artificial intelligence model 20 , and the third artificial intelligence model 30 are simultaneously performed. operation to extract the first classification information, the second classification information, and the third classification information at the same time.
  • the present invention is not limited thereto.
  • the computing device 100 includes a plurality of fashion images 1 labeled with preset style information, a plurality of fashion images 1 labeled with preset attribute information, and a plurality of labels labeled with preset emotional information.
  • the operation of extracting the first classification information, the operation of extracting the second classification information, and the operation of extracting the third classification information are performed step by step using a single artificial intelligence model previously learned using the fashion image 1 as learning data. By doing so, the first classification information, the second classification information, and the third classification information may be sequentially extracted.
  • the computing device 100 extracts third classification information for the fashion image 1 by using the third artificial intelligence model 30 , and uses the extracted third classification information as a third artificial intelligence model ( 30) may be tagged to the input fashion image 1 to generate output data (emotional data).
  • the computing device 100 may use emotional data as learning data for learning the third artificial intelligence model 30 .
  • the computing device 100 may analyze the correlation between the first classification information extracted in operation S120 , the second classification information extracted in operation S130 , and the third classification information extracted in operation S140 .
  • the computing device 100 may extract a correlation between the first classification information, the second classification information, and the third classification information by using the fourth artificial intelligence model.
  • the fourth artificial intelligence model may be an artificial intelligence model in which a plurality of style information for a fashion image, a plurality of attribute information, and a plurality of emotional information are pre-learned as learning data.
  • the computing device 100 may train the fourth artificial intelligence model using at least one of CNN, preprocessing, and supervised learning.
  • the present invention is not limited thereto.
  • association relationship may mean a connection relationship or a dependency relationship between a specific style and attribute information and emotion information.
  • the attribute information and emotional information extracted in response to the fashion image are elements included in the first style corresponding to the fashion image, or the computing device 100 includes elements included in the first style, , it may be determined that the corresponding attribute information and the emotional information and the first style have a connection relationship or a dependent relationship.
  • the computing device 100 may determine that attribute information and emotional information, which frequently appear in the first style, have a connection relationship or a dependent relationship with the first style. For example, when the frequency of common appearance of attributes A and B and the first and second emotional information in a plurality of fashion images classified as hip-hop styles is high (eg, more than a preset number of times), hip-hop It may be determined that the style and the A attribute, the B attribute, the first emotional information, and the second emotional information have a relationship.
  • the present invention is not limited thereto.
  • the computing device 100 may configure the second classification information, the third classification information, and the first classification information based on the frequency in which the first classification information indicating a specific style, the second classification information, and the third classification information appear together.
  • a correlation score between information may be calculated, and a correlation between the second classification information and the third classification information and the first classification information may be determined according to the calculated correlation score. For example, when the correlation score between the second classification information and the third classification information and the first classification information is equal to or greater than the reference score, the computing device 100 determines the correlation between the second classification information and the third classification information and the first classification information. It can be judged that there is However, the present invention is not limited thereto.
  • the computing device 100 may generate association data based on the association between the first classification information, the second classification information, and the third classification information extracted using the fourth artificial intelligence model. .
  • the computing device 100 may group the first style information, the first attribute information, and the first emotion information into one group. Grouping (eg, "first style information, first attribute information, first sentiment information") or connecting the first style information, the first attribute information, and the first sentiment information with one line (or arrow) (eg, the first style information ⁇ first attribute information ⁇ first emotion information), it is possible to generate connection relationship data indicating a connection relationship between a plurality of classification information.
  • the present invention is not limited thereto.
  • the computing device 100 may calculate a similarity score for each of the first to third classification information.
  • the similarity score may be expressed as a probability concept or as a quantitative concept set within a predetermined score range, but is not limited thereto.
  • a connection relationship may be created only between classification information in which a similarity score between the first to third classification information is equal to or greater than a preset criterion. Accordingly, a database in which information on a preset connection relationship is stored may be acquired, and an analysis of the fashion image may be performed through this.
  • the computing device 100 may train the fourth artificial intelligence model by using the fashion image classified through step S160 to be described later as learning data.
  • the computing device 100 may perform self-verification on the first classification information by analyzing the correlation between the second classification information and the third classification information and the first classification information.
  • the attribute information of the fashion image included in the second classification information and the emotional information of the fashion image included in the third classification information are main style information or sub-style information included in the first classification information.
  • the computing device 100 relates the attribute information of the fashion image included in the second classification information and the emotional information of the fashion image included in the third classification information to the main style information or sub-style information included in the first classification model.
  • the computing device 100 may be determined that there is an abnormality in the first classification information extraction operation of the first artificial intelligence model 10 .
  • the computing device 100 extracts the first classification information using the first artificial intelligence model 10 .
  • the action can be redone.
  • the present invention is not limited thereto.
  • the computing device 100 may classify the fashion image based on the correlation between the first classification information, the second classification information, and the third classification information extracted in operation S150 .
  • the computing device 100 may classify the fashion image according to whether the second classification information and the third classification information depend on the first classification information. Hereinafter, it will be described with reference to FIG. 8 .
  • FIG. 8 is a flowchart of a method of classifying a fashion image according to whether second classification information and third classification information depend on first classification information, according to various embodiments of the present disclosure
  • step S1601 the computing device 100 determines the correlation between the first classification information, the second classification information, and the third classification information extracted through the correlation analysis step (eg, step S160 of FIG. 3 ). It may be determined whether the second classification information and the third classification information depend on the first classification information based on the .
  • the computing device 100 may determine that the first classification information is “hip hop style”, the second classification information is “red”, “silk” and “stripe”, and the third classification information is “beauty” and “cool”.
  • the second classification information “red” and “silk” and the third classification information "beauty” using correlation diagram data indicating a correlation between the first classification information, the second classification information, and the third classification information It may be determined whether "and "cool” are keywords dependent or linked to "hip-hop style", which is the first classification information.
  • the present invention is not limited thereto.
  • step S1602 when it is determined that the second classification information and the third classification information depend on the first classification information through step S1601, the computing device 100 may classify the fashion image based on the first classification information. .
  • step S1603 when it is determined that the second classification information and the third classification information do not depend on the first classification information through the step S1601, the computing device 100 uses the second classification information and the third classification information to 1 Classification information can be corrected.
  • the first classification information extracted using the first artificial intelligence model does not depend on “hip-hop style” or the second classification information and the third classification information do not depend on “hip-hop style”, and the second
  • the style information indicated by the classification information and the third classification information is "modern style”
  • the first classification information is converted from "hip-hop style” It can be calibrated with "modern style”.
  • the present invention is not limited thereto.
  • step S1604 the computing device 100 may classify the fashion image based on the first classification information corrected in step S1603.
  • the present invention is not limited thereto.
  • the computing device 100 uses a first artificial intelligence model to provide two or more pieces of first classification information (eg, main style information and sub-style information) for one fashion image. is extracted, the second classification information and the third classification information and each of the two or more first classification information are analyzed to select any one of the two or more first classification information, and the selected one The fashion image may be classified based on the first classification information of .
  • first classification information eg, main style information and sub-style information
  • the computing device 100 extracts two pieces of first classification information “hip-hop style” and “modern style” from one fashion image, the second and third classification information and “hip-hop style” It is possible to analyze the correlation between “ and the relationship between the second classification information and the third classification information and the "modern style”.
  • the computing device 100 determines that there is no correlation between the second classification information and the third classification information and “hip-hop style”, but there is a dependent relationship between the second classification information and the third classification information and “modern style”
  • the first classification information may be determined as “modern style” and the fashion image may be classified as “modern style”.
  • the present invention is not limited thereto.
  • the computing device 100 analyzes the fashion image, calculates a probability value that the fashion image belongs to each of a plurality of preset style information, and converts the style information having the highest probability value among the calculated probability values to the fashion image. If the calculated probability value is less than the preset probability value or the difference between the calculated probability values is less than the preset difference value, the second classification information indicating the attribute information of the fashion image and the fashion image are extracted as the first classification information for Fashion images may be classified using only the third classification information indicating emotional information.
  • the highest probability value among the probability values that the style of the fashion image belongs to each of the plurality of style information is low (eg, less than 50%)
  • the first classification information extracted through the first artificial intelligence model is reliable.
  • the highest probability value among the probability values that the style of the fashion image belongs to each of the plurality of style information is 80% for “modern style”, but 75% for the probability value to belong to “hip-hop style” and the probability to belong to “classic style” is In the case of 78%, that is, when the difference in probability values between style information is small, it may be difficult to determine that the style of the fashion image is "modern style".
  • the second Fashion images may be classified using only the second classification information and the third classification information.
  • the present invention is not limited thereto.
  • the computing device 100 of the present invention step by step applying a plurality of artificial intelligence models that have learned not only a fashion image labeled with style information, but also a fashion image labeled with attribute information and a fashion image labeled with emotional information, respectively, It is possible to secure various elements for style classification for fashion images, and through this, there is an advantage that accurate style classification of fashion images is possible compared to the conventional style classification method.
  • the computing device 100 of the present invention includes attribute classification and emotion classification for each style, thereby generating additional high-quality data from the same data. This has the advantage of being able to secure a large amount of learning data, and through this, the style classification performance can be dramatically improved.
  • the computing device 100 of the present invention extracts classification information step by step using an artificial intelligence model of a hierarchical structure, but first classification information indicating style information using the classification information sequentially extracted through the steps can perform a self-verification process. Through this, not only can accurate classification performance be secured, but there is an advantage in that when re-learning is performed using the result data, it is possible to prevent learning using the wrong data.

Abstract

하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법은 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 패션 이미지를 얻는 단계, 상기 패션 이미지로부터 제1 분류 정보를 추출하는 단계, 상기 패션 이미지로부터 제2 분류 정보를 추출하는 단계, 상기 패션 이미지로부터 제3 분류 정보를 추출하는 단계, 상기 제1 분류 정보, 상기 제2 분류 정보 및 상기 제3 분류 정보 간의 연관 관계를 분석하는 단계 및 상기 연관 관계를 분석한 결과에 따라 상기 패션 이미지를 분류하는 단계를 포함한다.

Description

하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
본 발명의 다양한 실시예는 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
인공지능 기술은 머신러닝(Machine Learning, 기계학습) 기술을 포함하며, 머신러닝 기술 중에서도 특히 영상을 분석하는 데 널리 이용되는 딥러닝(Deep Learning) 기술을 포함한다.
딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아들을 수 있는 형태(예를 들어, 영상의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있다. 이러한 노력의 결과로 다양한 딥 러닝 기법들이 개발되었다. 딥 러닝 기법들로는 심층 신경망(Deep Neural Networks, DNN), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Recurrent Neural Network, RNN) 및 심층 신뢰 신경망(Deep Belief Networks, DBN)을 예로 들 수 있다.
심층 신경망(Deep Neural Networks, DNN)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.
최근에는 이러한 인공지능 기술이 이미지 분석에 적용되어 이미지에 포함된 객체를 인식하고, 그 속성을 추출하는 데 널리 활용되고 있다. 이에 따라, 인공지능 기술을 이용하여 온라인 게시물들을 분석함으로써 패션 정보를 획득하는 기술들이 개발되고 있으나, 기존의 기술들은 이미지에 기반한 분석에만 그 범위가 제한되는 한계가 있었다.
본 발명이 해결하고자 하는 과제는 하이라키(Hierarchy) 구조를 가지는 3개의 인공지능 모델(예: 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델)을 순차적으로 이용하여 패션 이미지를 분석 및 분류함으로써, 복잡하고 불명확한 내용들의 정성적인 결과물을 보다 정확하게 정량화하여 패션 이미지를 분류할 수 있는 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 하이라키 구조를 가지는 3개의 인공지능 모델로부터 추출된 복수의 분류 정보를 이용하여 추출된 복수의 분류 정보를 자체 검증함으로써 분류의 정확성을 향상시킬 수 있는 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 패션 이미지를 얻는 단계, 상기 패션 이미지로부터 제1 분류 정보를 추출하는 단계, 상기 패션 이미지로부터 제2 분류 정보를 추출하는 단계, 상기 패션 이미지로부터 제3 분류 정보를 추출하는 단계, 상기 제1 분류 정보, 상기 제2 분류 정보 및 상기 제3 분류 정보 간의 연관 관계를 분석하는 단계 및 상기 연관 관계를 분석한 결과에 따라 상기 패션 이미지를 분류하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 제1 분류 정보를 추출하는 단계는, 기 설정된 스타일 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제1 인공지능 모델을 학습시키는 단계 및 상기 제1 인공지능 모델을 이용하여 상기 패션 이미지의 스타일을 가리키는 상기 제1 분류 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 제2 분류 정보를 추출하는 단계는, 기 설정된 속성 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제2 인공지능 모델을 학습시키는 단계 및 상기 제2 인공지능 모델을 이용하여 상기 패션 이미지의 속성을 가리키는 상기 제2 분류 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 제3 분류 정보를 추출하는 단계는, 기 설정된 감성 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제3 인공지능 모델을 학습시키는 단계 및 상기 제3 인공지능 모델을 이용하여 상기 패션 이미지의 감성을 가리키는 상기 제3 분류 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 분석하는 단계는, 상기 패션 이미지에 대한 복수의 스타일 정보와 복수의 속성 정보 및 복수의 감성 정보 간의 연결 관계 및 종속 관계를 학습 데이터로 하여 제4 인공지능 모델을 학습시키는 단계 및 상기 제4 인공지능 모델을 이용하여 상기 제1 분류 정보, 상기 제2 분류 정보 및 상기 제3 분류 정보 간의 연관 관계를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 분류하는 단계는, 상기 연관 관계에 기초하여 상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되는지 여부를 판단하고, 상기 제1 분류 정보에 종속되는지 여부에 따라 상기 제1 분류 정보를 검증하는 단계, 상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되는 경우, 상기 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계 및 상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되지 않는 경우, 상기 제2 분류 정보 및 상기 제3 분류 정보를 이용하여 상기 제1 분류 정보를 보정하고, 상기 보정된 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 분류하는 단계는, 하나의 패션 이미지로부터 둘 이상의 제1 분류 정보가 추출되는 경우, 상기 제2 분류 정보 및 상기 제3 분류 정보와 상기 둘 이상의 제1 분류 정보 각각의 연관 관계를 분석하는 단계, 상기 연관 관계의 분석 결과에 따라 상기 둘 이상의 제1 분류 정보 중 어느 하나의 제1 분류 정보를 선택하는 단계 및 상기 선택한 어느 하나의 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 분류하는 단계는, 상기 패션 이미지를 분석하여 상기 패션 이미지가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값을 산출하고, 상기 산출된 확률 값 중 가장 높은 확률 값을 가지는 스타일 정보를 상기 패션 이미지에 대한 제1 분류 정보로써 추출하되, 상기 산출된 확률 값이 기 설정된 확률 값 미만이거나 상기 산출된 확률 값들 간의 차이가 기 설정된 차이 값 미만인 경우, 상기 패션 이미지의 속성 정보를 가리키는 상기 제2 분류 정보와 상기 패션 이미지의 감성 정보를 가리키는 상기 제3 분류 정보만을 이용하여 상기 패션 이미지를 분류하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법을 수행할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 하이라키 구조를 가지는 3개의 인공지능 모델(예: 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델)을 순차적으로 이용하여 패션 이미지를 분석 및 분류함으로써, 복잡하고 불명확한 내용들의 정성적인 결과물을 보다 정확하게 정량화하여 패션 이미지를 분류할 수 있다는 이점이 있다.
또한, 하이라키 구조를 가지는 3개의 인공지능 모델로부터 추출된 복수의 분류 정보를 이용하여 추출된 복수의 분류 정보를 자체 검증함으로써 분류의 정확성을 향상시킬 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법의 순서도이다.
도 4 내지 6은 다양한 실시예에서, 제1 내지 제3 인공지능 모델을 이용하여 패션 이미지로부터 제1 내지 제3 분류 정보를 추출하는 구성을 도시한 도면이다.
도 7은 다양한 실시예에서, 제2 분류 정보와 제3 분류 정보를 이용하여 제1 분류 정보를 자체 검증하는 구성을 도시한 도면이다.
도 8은 다양한 실시예에서, 제2 분류 정보와 제3 분류 정보가 제1 분류 정보에 종속되는지 여부에 따라 패션 이미지를 분류하는 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
또한, 본 명세서에서는 하이라키 구조의 인공지능 모델을 이용하여 패션 이미지를 분석 및 분류하는 것을 예시로 설명하고 있으나, 이에 한정되지 않고, 다양한 분야에 적용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 시스템은 패션 이미지 분석 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 패션 이미지 분석 장치(100)는 패션 이미지예: 의류, 액세서리 등과 같은 패션 아이템, 패션 아이템을 착용한 사람 또는 마네킹을 촬영함으로써 생성된 이미지)를 분석하여 패션 이미지를 분류할 수 있다.
다양한 실시예에서, 패션 이미지 분석 장치(100)는 하이라키 구조의 인공지능 모델을 이용하여 패션 이미지를 분석함으로써, 패션 이미지를 분류하고, 패션 이미지에 대한 패션 정보를 제공할 수 있다. 예를 들어, 패션 이미지 분석 장치(100)는 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델을 순차적으로 이용하여 패션 이미지로부터 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보를 추출할 수 있고, 추출한 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보를 이용하여 패션 이미지를 분류할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 패션 이미지 분석 장치(100)는 제1 인공지능 모델, 제2 인공지능 모델 및 제3 인공지능 모델을 이용하여 추출한 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계(예: 연결 관계 및 종속 관계)를 분석하여 패션 이미지를 분류할 수 있다. 예를 들어, 패션 이미지 분석 장치(100)는 제4 인공지능 모델을 이용하여 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계를 추출하고, 추출한 연관 관계를 이용하여 패션 이미지를 분류할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 패션 이미지 분석 장치(100)는 복수의 패션 이미지를 분석 및 분류한 결과 데이터를 이용하여 사용자에게 맞춤형 패션 정보를 제공하는 패션 정보 제공 서비스를 제공할 수 있다.
여기서, 패션 정보 제공 서비스는 사용자로부터 입력된 선호 패션 정보(예: 선호하는 패션 아이템에 대한 정보 등) 또는 패션 이미지를 업로드 받고, 이에 대한 응답으로 추천 패션 아이템을 선정하여 제공하는 서비스를 의미할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 패선 이미지 분석 장치(100)는 사용자 단말(200)(예: 패션 전공자 또는 전문가의 단말)로 복수의 패션 이미지에 대한 레이블링 작업을 수행할 수 있는 UI를 제공할 수 있고, UI를 통해 생성된 레이블링 작업 결과 데이터(예: 특정 정보가 레이블링된 패션 이미지)를 제공받아 인공지능 모델 학습 데이터를 생성하기 위한 학습 데이터로써 사용할 수 있다.
일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 패션 이미지 분석 장치(100)와 연결될 수 있으며, 패션 이미지 분석 장치(100)로 분류하고자 하는 패션 이미지를 제공하거나, 제공한 패션 이미지에 대한 분류 결과 및 패션 정보를 제공받을 수 있다.
다양한 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 포함할 수 있으며, 디스플레이를 통해 패션 이미지 분석 장치(100)가 제공하는 사용자 인터페이스(User interface, UI)를 출력할 수 있고, UI를 통해 패션 이미지를 업로드하거나 업로드한 패션 이미지에 대한 분류 결과 및 패션 정보를 얻을 수 있다. 예를 들어, 사용자 단말(200)은 적어도 일부 영역에 디스플레이를 포함하는 스마트폰, 태블릿 PC, 데스크톱 및 노트북 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 패션 이미지 분석 장치(100)와 연결될 수 있으며, 패션 이미지 분석 장치(100)가 패션 이미지 분석, 분류 및 패션 정보 생성하기 위해 필요한 각종 정보 및 데이터를 제공할 수 있다.
다양한 실시예에서, 외부 서버(300)는 패션 이미지 분석 장치(100)로부터 패션 이미지 분류 결과 데이터 및 패션 이미지에 대한 패션 정보 데이터를 제공받아 저장할 수 있다. 예를 들어, 외부 서버(300)는 각종 데이터를 저장 및 관리하기 위한 저장 서버(예: 클라우드 서버)를 포함할 수 있다. 그러나, 이에 한정되지 않고, 패션 이미지 분석 장치(100)는 내부에 별도의 저장 서버를 구비할 수 있으며, 내부에 별도로 구비되는 저장 서버에 각종 데이터를 저장 및 관리할 수 있다. 이하, 도 2를 참조하여, 패션 이미지 분석 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 장치의 하드웨어 구성도이다.
도 2를 참조하면, 다양한 실시예에서, 패션 이미지 분석 장치(100)(이하, "컴퓨팅 장치(100)")는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 네트워크 인터페이스(또는 통신 인터페이스)(미도시), 스토리지(미도시), 버스(bus)(미도시)를 더 포함할 수 있다.
일 실시예에서, 프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
다양한 실시예에서, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 다양한 실시예에서, 프로세서(110)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예: 버스(bus) 등)를 포함할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
일 실시예에서, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션(instruction)을 실행함으로써, 도 3 내지 8과 관련하여 설명될 방법(예: 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법)을 수행할 수 있다.
예를 들어, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 패션 이미지를 얻는 단계, 패션 이미지로부터 제1 분류 정보를 추출하는 단계, 패션 이미지로부터 제2 분류 정보를 추출하는 단계, 패션 이미지로부터 제3 분류 정보를 추출하는 단계, 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계를 분석하는 단계 및 연관 관계를 분석한 결과에 따라 패션 이미지를 분류하는 단계를 포함하는 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법을 수행할 수 있다. 그러나, 이에 한정되지 않는다.
일 실시예에서, 메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(120)에는 프로세서(110)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
다양한 실시예에서, 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 8을 참조하여 컴퓨팅 장치(100)가 수행하는 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법에 대해 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법의 순서도이다.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 패션 이미지를 얻을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)과 유무선 연결될 수 있으며, 사용자 단말(200)로 패션 이미지를 업로드 받기 위한 UI를 제공할 수 있으며, UI를 통해 패션 이미지를 업로드 받음으로써, 패션 이미지를 얻을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)로 패션과 관련된 특정 대상을 촬영할 수 있는 패션 이미지 촬영 UI를 제공할 수 있고, 사용자가 패션 이미지 촬영 UI를 통해 특정 대상을 촬영함으로써 생성되는 패션 이미지를 제공받을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 외부 서버(300)와 유무선 연결될 수 있으며, 외부 서버(300)에 기 저장된 복수의 패션 이미지 중 컴퓨팅 장치(100)에 의해 분류되지 않은 패션 이미지를 제공받음으로써, 패션 이미지를 얻을 수 있다. 그러나, 이에 한정되지 않고, 패션 이미지를 얻는 다양한 방법이 적용 가능하다.
S120 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 얻은 패션 이미지를 분석하여 제1 분류 정보를 추출할 수 있다(예: 도 4).
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)을 이용하여 패션 이미지(1)를 분석함으로써, 패션 이미지(1)의 스타일을 가리키는 제1 분류 정보를 추출할 수 있다.
여기서, 제1 인공지능 모델(10)은 기 설정된 스타일 정보(예: 힙합 스타일, 클래식 스타일, 모던 스타일, 스포티 스타일 캐주얼 스타일 및 로맨틱 스타일 등)가 레이블링(Labeling)된 복수의 패션 이미지(1)를 학습 데이터로써 기 학습한 인공지능 모델일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 합성곱 신경망(Convolutional Neural Network, CNN), 전처리 및 지도학습 중 적어도 하나를 이용하여 제1 인공지능 모델(10)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 제1 인공지능 모델(10)의 학습 데이터로써 사용되는 스타일 정보가 레이블링된 복수의 패션 이미지(1)는 보다 전문적이고 정확한 분류를 위해 패션과 관련된 업종에 종사하는 패션 전공자에 의해 레이블링 작업됨으로써 생성될 수 있다.
일반적으로, 패션 이미지(1)를 분류하는 것은 일반인이 느낌에 따라 수행할 수도 있으나, 각 스타일에 대한 의미를 정확하게 모르는 상태에서 수행될 수 있다. 이러한 점을 고려하여, 복수의 패션 이미지(1)에 대한 스타일 정보 레이블링 작업은 전문가에 의해 수행되는 것이 바람직할 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제1 분류 정보는 패션 이미지(1)가 어떤 스타일인지를 가리키는 정보를 의미할 수 있다. 예를 들어, 제1 분류 정보는 힙합 스타일, 클래식 스타일, 모던 스타일, 스포티 스타일 캐주얼 스타일 및 로맨틱 스타일 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계를 거쳐 추출된 제1 분류 정보와 패션 이미지(1)를 학습 데이터로 하여 제1 인공지능 모델(10)을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)로부터 추출된 제1 분류 정보와 해당 패션 이미지(1)를 하나의 학습 데이터로 저장할 수 있고, 이를 이용하여 제1 인공지능 모델(10)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지(1)를 분석하여 패션 이미지(1)가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값을 산출하고, 산출된 확률 값 중 가장 높은 확률 값을 가지는 스타일 정보를 패션 이미지(1)에 대한 제1 분류 정보로써 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 패션 이미지(1)를 분석하여 패션 이미지(1)가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값을 산출하되, 산출된 확률 값이 각각 모던 70%, 클래식 30% 및 스포티 50%인 경우, "모던 스타일"을 패션 이미지(1)에 대한 제1 분류 정보로써 추출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지(1)를 분석하여 패션 이미지(1)가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값에 기초하여 둘 이상의 스타일 정보를 제1 분류 정보로써 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 스타일 정보 각각에 속할 확률 값이 가장 높은 스타일 정보를 메인 스타일 정보로 하고 메인 스타일 정보 이후에 높은 확률 값을 가지는 스타일 정보를 서브 스타일 정보로 하는 제1 분류 정보를 추출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지(1)를 분석하여 패션 이미지(1)에 포함된 복수의 패션 아이템을 식별할 수 있고, 복수의 패션 아이템 각각에 대하여 개별적으로 제1 분류 정보를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 패션 이미지(1)에 포함된 복수의 패션 아이템이 각각 아우터웨어, 바지, 신발인 경우, 아우터웨어, 바지 및 신발 각각에 대한 제1 분류 정보(예: 아우터웨어&"힙합 스타일", 바지&"모던 스타일" 및 신발&"스포티 스타일")를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지(1) 내에 포함된 복수의 패션 아이템을 식별할 수 있고, 복수의 패션 아이템 각각에 대한 제1 분류 정보를 추출하되, 추출된 제1 분류 정보의 수에 기초하여 패션 이미지(1)에 대한 대표 제1 분류 정보를 선정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)을 이용하여 패션 이미지(1)에 대한 제1 분류 정보를 추출하고, 추출된 제1 분류 정보를 제1 인공지능 모델(10)에 입력된 패션 이미지(1)에 태깅(tagging)하여 출력 데이터(스타일 데이터)를 생성할 수 있다. 여기서, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)을 학습시키기 위한 학습 데이터로써 스타일 데이터를 사용할 수 있다
S130 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 얻은 패션 이미지(1)를 분석하여 제2 분류 정보를 추출할 수 있다(예: 도 5).
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 인공지능 모델(20)을 이용하여 패션 이미지(1)를 분석함으로써, 패션 이미지(1)의 속성을 가리키는 제2 분류 정보를 추출할 수 있다.
여기서, 제2 인공지능 모델(20)은 기 설정된 속성 정보(예: 색상 정보, 소재 정보, 패턴 정보, 핏(fit) 정보 및 부가 정보 등)가 레이블링된 복수의 패션 이미지(1)를 학습 데이터로써 기 학습한 인공지능 모델일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 CNN, 전처리 및 지도학습 중 적어도 하나를 이용하여 제2 인공지능 모델(20)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 제2 인공지능 모델(20)의 학습 데이터로써 사용되는 속성 정보가 레이블링된 복수의 패션 이미지(1)는 보다 전문적이고 정확한 분류를 위해 패션과 관련된 업종에 종사하는 패션 전공자에 의해 레이블링 작업됨으로써 생성될 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제2 분류 정보는 패션 이미지(1)가 어떤 속성을 가지고 있는지를 가리키는 정보를 의미할 수 있으며, 색상 정보(예: 레드, 블루, 그린, 화이트, 블랙, 그레이 등), 소재 정보(예: 데님, 실크, 가죽, 면, 모직, 울 등), 패턴 정보(예: 플라워, 스트라이프, 애니메이션, 헤링본 등), 핏(fit) 정보(예: 루즈, 타이트, 배기, 일자, 부츠컷 등) 및 부가 정보 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제2 분류 정보에 포함된 각각의 속성 정보는 제1 분류 정보에 포함된 복수의 스타일 중 어느 하나 이상의 스타일과 연결되는 연결 관계를 가지거나, 어느 하나 이상의 스타일에 종속되는 종속 관계를 가질 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S130 단계를 거쳐 추출된 제2 분류 정보와 패션 이미지(1)를 학습 데이터로 하여 제2 인공지능 모델(20)을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제2 인공지능 모델(20)로부터 추출된 제2 분류 정보와 해당 패션 이미지(1)를 하나의 학습 데이터로 저장할 수 있고, 이를 이용하여 제2 인공지능 모델(20)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S120 단계를 거쳐 패션 이미지(1)에 포함된 복수의 패션 아이템을 식별할 수 있고, 식별된 복수의 패션 아이템 각각에 대한 제2 분류 정보를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 패션 이미지(1)에 포함된 복수의 패션 아이템이 각각 아우터웨어, 바지, 신발인 경우, 아우터웨어, 바지 및 신발 각각에 대한 제2 분류 정보를 추출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 인공지능 모델(20)을 이용하여 패션 이미지(1)에 대한 제2 분류 정보를 추출하고, 추출된 제2 분류 정보를 제2 인공지능 모델(20)에 입력된 패션 이미지(1)에 태깅하여 출력 데이터(속성 데이터)를 생성할 수 있다. 여기서, 컴퓨팅 장치(100)는 제2 인공지능 모델(20)을 학습시키기 위한 학습 데이터로써 속성 데이터를 사용할 수 있다
S140 단계에서, 컴퓨팅 장치(100)는 S110 단계에서 얻은 패션 이미지(1)를 분석하여 제3 분류 정보를 추출할 수 있다(예: 도 6).
다양한 실시예에서, 제3 인공지능 모델(30)을 이용하여 패션 이미지(1)를 분석함으로써, 패션 이미지(1)의 감성 정보를 가리키는 제3 분류 정보를 추출할 수 있다.
여기서, 제3 인공지능 모델(30)은 기 설정된 감성 정보(예: 아름다움, 멋짐, 쿨함, 핫함, 시크함, 여성스러움 및 남성스러움 등)가 레이블링된 복수의 패션 이미지(1)를 학습 데이터로써 기 학습한 인공지능 모델일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 CNN, 전처리 및 지도학습 중 적어도 하나를 이용하여 제3 인공지능 모델(30)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제3 인공지능 모델(30)의 학습 데이터로써 사용되는 감성 정보가 레이블링된 복수의 패션 이미지(1)는 패션과 관련된 업종에 종사하는 패션 전공자뿐만 아니라 일반 수요자(사용자)에 의해 레이블링 작업됨으로써 생성될 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자로부터 패션 이미지(1)를 업로드 받음과 동시에 패션 이미지(1)에 대한 감성 정보를 입력받을 수 있고, 사용자로부터 입력된 감성 정보를 이용하여 해당 패션 이미지(1)에 대한 감성 정보 레이블링을 수행할 수 있다.
또한, 스타일 정보 레이블링 작업, 속성 정보 레이블링 작업 및 감성 정보 레이블링 작업은 동일한 작업자에 의해 수행될 수 있으나, 이에 한정되지 않고 각각의 레이블링 작업마다 서로 다른 작업자에 의해 수행될 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제3 분류 정보는 패션 이미지(1)가 어떤 감성(또는 느낌)을 가지고 있는지를 가리키는 정보를 의미할 수 있으며, 아름다움, 멋짐, 쿨함, 여성스러움, 남성스러움 및 섹시함 중 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 제3 분류 정보에 포함된 각각의 감성 정보는 제1 분류 정보에 포함된 복수의 스타일 중 어느 하나 이상의 스타일과 연결되는 연결 관계를 가지거나, 어느 하나 이상의 스타일에 종속되는 종속 관계를 가질 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S140 단계를 거쳐 추출된 제3 분류 정보와 패션 이미지(1)를 학습 데이터로 하여 제3 인공지능 모델(30)을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제3 인공지능 모델(30)로부터 추출된 제3 분류 정보와 해당 패션 이미지(1)를 하나의 학습 데이터로 저장할 수 있고, 이를 이용하여 제2 인공지능 모델(20)을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)을 이용하여 제1 분류 정보를 추출하고, 제2 인공 지능 모델을 이용하여 제2 분류 정보를 추출하며 제3 인공지능 모델(30)을 이용하여 제3 분류 정보를 추출하되, 제1 인공지능 모델(10), 제2 인공지능 모델(20) 및 제3 인공지능 모델(30)을 단계적으로 동작시킴으로써 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보를 순차적으로 추출할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)을 이용하여 제1 분류 정보를 추출하고, 제1 분류 정보의 추출이 완료되는 시점에서 제2 인공지능 모델(20)을 동작시킬 수 있으며, 제2 인공지능 모델(20)을 이용하여 제2 분류 정보를 추출하고, 제2 분류 정보의 추출이 완료되는 시점에서 제3 인공지능 모델(30)을 동작시킴으로써 제3 분류 정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 외부로부터 패션 이미지(1)를 얻는 경우, 제1 인공지능 모델(10), 제2 인공지능 모델(20) 및 제3 인공지능 모델(30)을 동시에 동작시켜 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보를 동시에 추출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 설정된 스타일 정보가 레이블링된 복수의 패션 이미지(1), 기 설정된 속성 정보가 레이블링된 복수의 패션 이미지(1) 및 기 설정된 감성 정보가 레이블링된 복수의 패션 이미지(1)를 학습 데이터로써 기 학습한 하나의 인공지능 모델을 이용하여 제1 분류 정보를 추출하는 동작, 제2 분류 정보를 추출하는 동작 및 제3 분류 정보를 추출하는 동작을 단계적으로 수행함으로써, 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보를 순차적으로 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제3 인공지능 모델(30)을 이용하여 패션 이미지(1)에 대한 제3 분류 정보를 추출하고, 추출된 제3 분류 정보를 제3 인공지능 모델(30)에 입력된 패션 이미지(1)에 태깅하여 출력 데이터(감성 데이터)를 생성할 수 있다. 여기서, 컴퓨팅 장치(100)는 제3 인공지능 모델(30)을 학습시키기 위한 학습 데이터로써 감성 데이터를 사용할 수 있다
S150 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 추출한 제1 분류 정보, S130 단계에서 추출한 제2 분류 정보 및 S140 단계에서 추출한 제3 분류 정보 간의 연관 관계를 분석할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제4 인공지능 모델을 이용하여 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계를 추출할 수 있다.
여기서, 제4 인공지능 모델은 패션 이미지에 대한 복수의 스타일 정보와 복수의 속성 정보 및 복수의 감성 정보 간의 연관 관계를 학습 데이터로써 기 학습한 인공지능 모델일 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 CNN, 전처리 및 지도학습 중 적어도 하나를 이용하여 제4 인공지능 모델을 학습시킬 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 연관 관계는 특정 스타일과 속성 정보 및 감성 정보 간의 연결 관계 또는 종속 관계를 의미할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지에 대응하여 추출된 속성 정보 및 감성 정보가 패션 이미지에 대응하는 제1 스타일에 포함되는 요소이거나 또는 제1 스타일에 포함되는 요소를 포함하고 있는 경우, 해당 속성 정보 및 감성 정보와 제1 스타일이 연결 관계 또는 종속 관계가 있는 것으로 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지가 제1 스타일일 경우에 출현되는 빈도수가 높은 속성 정보 및 감성 정보를 제1 스타일과의 연결 관계 또는 종속 관계인 것으로 판단할 수 있다. 예를 들어, 힙합 스타일로 분류된 복수의 패션 이미지에 대하여, A 속성 및 B 속성과 제1 감성 정보 및 제2 감성 정보가 공통적으로 출현하는 빈도수가 높은 경우(예: 기 설정된 횟수 이상), 힙합 스타일과 A 속성, B 속성, 제1 감성 정보 및 제2 감성 정보가 연관 관계를 가지는 것으로 판단할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 특정 스타일을 가리키는 제1 분류 정보와 제2 분류 정보 및 제3 분류 정보가 함께 출현되는 빈도수에 기초하여 제2 분류 정보 및 제3 분류 정보와 제1 분류 정보 간의 연관성 점수를 산출할 수 있고, 산출된 연관성 점수에 따라 제2 분류 정보 및 제3 분류 정보와 제1 분류 정보 간의 연관 관계를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제2 분류 정보 및 제3 분류 정보와 제1 분류 정보 간의 연관성 점수가 기준 점수 이상인 경우, 제2 분류 정보 및 제3 분류 정보와 제1 분류 정보 간의 연관 관계가 있는 것으로 판단할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제4 인공지능 모델을 이용하여 추출된 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계에 기초하여 연관 관계도 데이터를 생성할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 스타일 정보와 제1 속성 정보 및 제1 감성 정보가 연관 관계를 가지는 경우, 제1 스타일 정보와 제1 속성 정보 및 제1 감성 정보를 하나의 그룹으로 그룹화(예: "제1 스타일 정보, 제1 속성 정보, 제1 감성 정보")하거나 제1 스타일 정보, 제1 속성 정보 및 제1 감성 정보 하나의 선(또는 화살표)으로 연결(예: 제1 스타일 정보 → 제1 속성 정보 → 제1 감성 정보)함으로서 복수의 분류 정보 간의 연결 관계를 나타내는 연결 관계도 데이터를 생성할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제1 내지 제3 분류 정보 각각에 대한 유사도 점수를 산출할 수 있다. 유사도 점수는 확률 개념으로 표현될 수도 있고, 소정의 점수범위 내에서 설정되는 정량적 개념으로 표현될 수도 있으나, 이에 제한되는 것은 아니다.
실시 예에 따라서, 제1 내지 제3 분류 정보 간의 유사도 점수가 기 설정된 기준 이상인 분류정보 간에만 연결관계가 생성될 수도 있다. 이에 따라, 기 설정된 연결관계에 대한 정보가 저장되는 데이터베이스가 획득될 수 있고, 이를 통해 패션 이미지에 대한 분석이 수행될 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 후술되는 S160 단계를 거쳐 분류된 패션 이미지를 학습 데이터로 하여 제4 인공지능 모델을 학습시킬 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 분류 정보 및 제3 분류 정보와 제1 분류 정보 간의 연관 관계를 분석하여 제1 분류 정보에 대한 자체 검증을 수행할 수 있다.
예를 들어, 도 7을 참조하면, 제2 분류 정보에 포함된 패션 이미지의 속성 정보와 제3 분류 정보에 포함된 패션 이미지의 감성 정보가 제1 분류 정보에 포함된 메인 스타일 정보 또는 서브 스타일 정보와 연관 관계가 있는 경우, 제1 인공지능 모델(10)이 제1 분류 정보를 정확하게 추출한 것으로 판단할 수 있다.
반면, 컴퓨팅 장치(100)는 제2 분류 정보에 포함된 패션 이미지의 속성 정보와 제3 분류 정보에 포함된 패션 이미지의 감성 정보가 제1 분류 모델에 포함된 메인 스타일 정보 또는 서브 스타일 정보와 연관 관계가 없는 것으로 판단되는 경우, 제1 인공지능 모델(10)의 제1 분류 정보 추출 동작에 이상이 있는 것으로 판단할 수 있다.
이후, 컴퓨팅 장치(100)는 제1 인공지능 모델(10)의 제1 분류 정보 추출 동작에 이상이 있는 것으로 판단되는 경우, 제1 인공지능 모델(10)을 이용하여 제1 분류 정보를 추출하는 동작을 재 수행할 수 있다. 그러나, 이에 한정되지 않는다.
S160 단계에서, 컴퓨팅 장치(100)는 S150 단계에서 추출한 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계에 기초하여 패션 이미지를 분류할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 분류 정보 및 제3 분류 정보가 제1 분류 정보에 종속되는지 여부에 따라 패션 이미지를 분류할 수 있다. 이하, 도 8을 참조하여 설명하도록 한다.
도 8은 다양한 실시예에서, 제2 분류 정보와 제3 분류 정보가 제1 분류 정보에 종속되는지 여부에 따라 패션 이미지를 분류하는 방법의 순서도이다.
도 8을 참조하면, S1601 단계에서, 컴퓨팅 장치(100)는 연관 관계 분석 단계(예: 도 3의 S160 단계)를 거쳐 추출된 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계에 기초하여 제2 분류 정보 및 제3 분류 정보가 제1 분류 정보에 종속되는지 여부를 판단할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 분류 정보가 "힙합 스타일"이고, 제2 분류 정보가 "레드", "실크" 및 "스트라이프"이며, 제3 분류 정보가 "아름다움" 및 "멋짐"인 경우, 제1 분류 정보, 제2 분류 정보 및 제3 분류 정보 간의 연관 관계를 가리키는 연관 관계도 데이터를 이용하여 제2 분류 정보인 "레드" 및 "실크"와 제3 분류 정보인 "아름다움" 및 "멋짐"이 제1 분류 정보인 "힙합 스타일"에 종속 또는 연결되는 키워드인지를 판단할 수 있다. 그러나, 이에 한정되지 않는다.
S1602 단계에서, 컴퓨팅 장치(100)는 S1601 단계를 거쳐 제2 분류 정보 및 제3 분류 정보가 제1 분류 정보에 종속되는 것으로 판단되는 경우, 제1 분류 정보에 기초하여 패션 이미지를 분류할 수 있다.
S1603 단계에서, 컴퓨팅 장치(100)는 S1601 단계를 거쳐 제2 분류 정보 및 제3 분류 정보가 제1 분류 정보에 종속되지 않는 것으로 판단되는 경우, 제2 분류 정보 및 제3 분류 정보를 이용하여 제1 분류 정보를 보정할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 제1 인공지능 모델을 이용하여 추출한 제1 분류 정보가 "힙합 스타일"이나 제2 분류 정보 및 제3 분류 정보가 "힙합 스타일"에 종속되지 않고, 제2 분류 정보 및 제3 분류 정보가 가리키는 스타일 정보(또는 제2 분류 정보 및 제3 분류 정보가 공통적으로 종속 및 연결되는 스타일 정보)가 "모던 스타일"인 경우, 제1 분류 정보를 "힙합 스타일"에서 "모던 스타일"로 보정할 수 있다. 그러나, 이에 한정되지 않는다.
S1604 단계에서, 컴퓨팅 장치(100)는 S1603 단계를 거쳐 보정된 제1 분류 정보에 기초하여 패션 이미지를 분류할 수 있다. 그러나, 이에 한정되지 않는다.
다시, 도 3을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 제1 인공지능 모델을 이용하여 하나의 패션 이미지에 대한 둘 이상의 제1 분류 정보(예: 메인 스타일 정보 및 서브 스타일 정보)가 추출되는 경우, 제2 분류 정보 및 제3 분류 정보와 둘 이상의 제1 분류 정보 각각의 연관 관계를 분석하여 둘 이상의 제1 분류 정보 중 어느 하나의 제1 분류 정보를 선택할 수 있고, 선택한 어느 하나의 제1 분류 정보에 기초하여 패션 이미지를 분류할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 하나의 패션 이미지에 대하여 2개의 제1 분류 정보인 "힙합 스타일" 및 "모던 스타일"이 추출된 경우, 제2 분류 정보 및 제3 분류 정보와 "힙합 스타일" 간의 연관 관계 및 제2 분류 정보 및 제3 분류 정보와 "모던 스타일" 간의 연관 관계를 분석할 수 있다.
이때, 컴퓨팅 장치(100)는 제2 분류 정보 및 제3 분류 정보와 "힙합 스타일" 간의 연관 관계가 부재하나, 제2 분류 정보 및 제3 분류 정보와 "모던 스타일" 간에는 종속 관계가 있는 것으로 판단되는 경우, 제1 분류 정보를 "모던 스타일"로 결정할 수 있고, 패션 이미지를 "모던 스타일"로 분류할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 이미지를 분석하여 패션 이미지가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값을 산출하고, 산출된 확률 값 중 가장 높은 확률 값을 가지는 스타일 정보를 패션 이미지에 대한 제1 분류 정보로써 추출하되, 산출된 확률 값이 기 설정된 확률 값 미만이거나 산출된 확률 값들 간의 차이가 기 설정된 차이 값 미만인 경우, 패션 이미지의 속성 정보를 가리키는 제2 분류 정보와 패션 이미지의 감성 정보를 가리키는 상기 제3 분류 정보만을 이용하여 패션 이미지를 분류할 수 있다.
예를 들어, 패션 이미지의 스타일이 복수의 스타일 정보 각각에 속할 확률 값 중 가장 높은 확률 값이 낮은 경우(예: 50% 미만인 경우), 제1 인공지능 모델을 통해 추출된 제1 분류 정보를 신뢰할 수 없다. 또한, 패션 이미지의 스타일이 복수의 스타일 정보 각각에 속할 확률 값 중 가장 높은 확률 값이 "모던 스타일" 80%이나, "힙합 스타일"에 속할 확률 값이 75%이고 "클래식 스타일"에 속할 확률이 78%인 경우 즉, 스타일 정보간의 확률 값 차이가 작을 경우, 패션 이미지의 스타일이 "모던 스타일"인 것으로 단정짓기 어려울 수 있다.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 확률 값이 기 설정된 확률 값 미만이거나 산출된 확률 값들 간의 차이가 기 설정된 차이 값 미만인 경우 즉, 제1 분류 정보를 신뢰할 수 없는 것으로 판단되는 경우, 제2 분류 정보 및 제3 분류 정보만을 이용하여 패션 이미지를 분류할 수 있다. 그러나, 이에 한정되지 않는다.
종래의 스타일 분류 방법은 복수의 패션 이미지 각각에 스타일 정보를 레이블링하고, 이를 이용하여 외부로부터 얻은 패션 이미지를 스타일에 따라 분류하였기 때문에, 패션 이미지에 대한 분류 성능이 떨어진다는 문제가 있었다.
그러나, 본 발명의 컴퓨팅 장치(100)는 스타일 정보가 레이블링된 패션 이미지뿐만 아니라 속성 정보가 레이블링된 패션 이미지 및 감성 정보가 레이블링된 패션 이미지를 각각 학습한 복수의 인공지능 모델을 단계적으로 적용함으로써, 패션 이미지에 대한 스타일 분류를 위한 다양한 요소를 확보할 수 있고, 이를 통해, 종래의 스타일 분류 방법 대비 패션 이미지에 대한 정확한 스타일 분류가 가능하다는 이점이 있다.
또한, 패션 이미지를 분류하기 위하여 많은 양의 데이터를 학습하는 과정이 필수적인데, 본 발명의 컴퓨팅 장치(100)는 각 스타일 별로 속성 분류 및 감성 분류를 포함함으로써, 동일한 데이터에서 추가적인 양질의 데이터를 발생시켜 다량의 학습 데이터를 확보할 수 있고, 이를 통해, 스타일 분류 성능을 획기적으로 향상시킬 수 있다는 이점이 있다.
또한, 본 발명의 컴퓨팅 장치(100)는 하이라키 구조의 인공지능 모델을 이용하여 단계적으로 분류 정보를 추출하되, 단계를 거치면서 순차적으로 추출되는 분류 정보들을 이용하여 스타일 정보를 가리키는 제1 분류 정보를 자체 검증하는 과정을 수행할 수 있다. 이를 통해, 정확한 분류 성능을 확보할 수 있을 뿐만 아니라, 결과 데이터를 이용하여 재학습할 경우 잘못된 데이터를 이용하여 학습되는 것을 방지할 수 있다는 이점이 있다.
전술한 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    패션 이미지를 얻는 단계;
    상기 패션 이미지로부터 제1 분류 정보를 추출하는 단계;
    상기 패션 이미지로부터 제2 분류 정보를 추출하는 단계;
    상기 패션 이미지로부터 제3 분류 정보를 추출하는 단계;
    상기 제1 분류 정보, 상기 제2 분류 정보 및 상기 제3 분류 정보 간의 연관 관계를 분석하는 단계; 및
    상기 연관 관계를 분석한 결과에 따라 상기 패션 이미지를 분류하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  2. 제1항에 있어서,
    상기 제1 분류 정보를 추출하는 단계는,
    기 설정된 스타일 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제1 인공지능 모델을 학습시키는 단계; 및
    상기 제1 인공지능 모델을 이용하여 상기 패션 이미지의 스타일을 가리키는 상기 제1 분류 정보를 추출하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  3. 제1항에 있어서,
    상기 제2 분류 정보를 추출하는 단계는,
    기 설정된 속성 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제2 인공지능 모델을 학습시키는 단계; 및
    상기 제2 인공지능 모델을 이용하여 상기 패션 이미지의 속성을 가리키는 상기 제2 분류 정보를 추출하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  4. 제1항에 있어서,
    상기 제3 분류 정보를 추출하는 단계는,
    기 설정된 감성 정보가 레이블링된 복수의 패션 이미지를 학습 데이터로 하여 제3 인공지능 모델을 학습시키는 단계; 및
    상기 제3 인공지능 모델을 이용하여 상기 패션 이미지의 감성을 가리키는 상기 제3 분류 정보를 추출하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  5. 제1항에 있어서,
    상기 분석하는 단계는,
    상기 패션 이미지에 대한 복수의 스타일 정보와 복수의 속성 정보 및 복수의 감성 정보 간의 연결 관계 및 종속 관계를 학습 데이터로 하여 제4 인공지능 모델을 학습시키는 단계; 및
    상기 제4 인공지능 모델을 이용하여 상기 제1 분류 정보, 상기 제2 분류 정보 및 상기 제3 분류 정보 간의 연관 관계를 추출하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  6. 제1항에 있어서,
    상기 분류하는 단계는,
    상기 연관 관계에 기초하여 상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되는지 여부를 판단하고, 상기 제1 분류 정보에 종속되는지 여부에 따라 상기 제1 분류 정보를 검증하는 단계;
    상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되는 경우, 상기 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계; 및
    상기 제2 분류 정보 및 상기 제3 분류 정보가 상기 제1 분류 정보에 종속되지 않는 경우, 상기 제2 분류 정보 및 상기 제3 분류 정보를 이용하여 상기 제1 분류 정보를 보정하고, 상기 보정된 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  7. 제1항에 있어서,
    상기 분류하는 단계는,
    하나의 패션 이미지로부터 둘 이상의 제1 분류 정보가 추출되는 경우, 상기 제2 분류 정보 및 상기 제3 분류 정보와 상기 둘 이상의 제1 분류 정보 각각의 연관 관계를 분석하는 단계;
    상기 연관 관계의 분석 결과에 따라 상기 둘 이상의 제1 분류 정보 중 어느 하나의 제1 분류 정보를 선택하는 단계; 및
    상기 선택한 어느 하나의 제1 분류 정보에 기초하여 상기 패션 이미지를 분류하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  8. 제1항에 있어서,
    상기 분류하는 단계는,
    상기 패션 이미지를 분석하여 상기 패션 이미지가 기 설정된 복수의 스타일 정보 각각에 속할 확률 값을 산출하고, 상기 산출된 확률 값 중 가장 높은 확률 값을 가지는 스타일 정보를 상기 패션 이미지에 대한 제1 분류 정보로써 추출하되, 상기 산출된 확률 값이 기 설정된 확률 값 미만이거나 상기 산출된 확률 값들 간의 차이가 기 설정된 차이 값 미만인 경우, 상기 패션 이미지의 속성 정보를 가리키는 상기 제2 분류 정보와 상기 패션 이미지의 감성 정보를 가리키는 상기 제3 분류 정보만을 이용하여 상기 패션 이미지를 분류하는 단계를 포함하는,
    하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2020/014141 2019-09-09 2020-10-16 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램 WO2021221247A1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20190111810 2019-09-09
KR1020200052617A KR102422916B1 (ko) 2019-09-09 2020-04-29 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
KR10-2020-0052617 2020-04-29

Publications (1)

Publication Number Publication Date
WO2021221247A1 true WO2021221247A1 (ko) 2021-11-04

Family

ID=75245728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/014141 WO2021221247A1 (ko) 2019-09-09 2020-10-16 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램

Country Status (2)

Country Link
KR (1) KR102422916B1 (ko)
WO (1) WO2021221247A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310304A1 (en) * 2013-04-12 2014-10-16 Ebay Inc. System and method for providing fashion recommendations
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20190012365A (ko) * 2017-07-27 2019-02-11 주식회사 맵씨닷컴 사용자 맞춤형 상품 추천 장치
KR20190094295A (ko) * 2019-04-23 2019-08-13 엘지전자 주식회사 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체
KR20190103098A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 의류 코디 정보 추천 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120674A (ko) 2015-04-08 2016-10-18 주식회사 컴퍼니원헌드레드 그래픽 처리 장치를 이용한 의류 추천 시스템
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
KR101886161B1 (ko) * 2017-12-05 2018-08-07 엄나래 Ai 기반 개인 의류 토탈 관리 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310304A1 (en) * 2013-04-12 2014-10-16 Ebay Inc. System and method for providing fashion recommendations
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
KR20190012365A (ko) * 2017-07-27 2019-02-11 주식회사 맵씨닷컴 사용자 맞춤형 상품 추천 장치
KR20190094295A (ko) * 2019-04-23 2019-08-13 엘지전자 주식회사 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체
KR20190103098A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 의류 코디 정보 추천 방법 및 장치

Also Published As

Publication number Publication date
KR20210030190A (ko) 2021-03-17
KR102422916B1 (ko) 2022-07-20

Similar Documents

Publication Publication Date Title
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2020040391A1 (ko) 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
WO2017142361A1 (ko) 스타일 특징을 이용한 상품 추천 방법
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2019156522A1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
WO2023008884A1 (ko) 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
US11010894B1 (en) Deriving a skin profile from an image
WO2022213540A1 (zh) 目标检测、属性识别与跟踪方法及系统
WO2021006482A1 (en) Apparatus and method for generating image
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
WO2019190142A1 (en) Method and device for processing image
WO2021221247A1 (ko) 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
EP3707678A1 (en) Method and device for processing image
WO2021145511A1 (ko) 인공 지능 조리 기기 및 조리 기기의 동작 방법
WO2020204610A1 (ko) 딥러닝 기반 컬러링 방법, 시스템 및 프로그램
WO2020141907A1 (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
WO2020149493A1 (ko) 전자 장치 및 이의 제어 방법
WO2022019389A1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
WO2020036468A1 (ko) 이미지에 보케 효과를 적용하는 방법 및 기록매체
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2022139327A1 (en) Method and apparatus for detecting unsupported utterances in natural language understanding
WO2023128677A1 (ko) 다중 레이블 세트를 이용한 학습 모델 생성 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933828

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 13.04.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20933828

Country of ref document: EP

Kind code of ref document: A1