WO2022039450A1 - 가상 피팅 서비스 제공 방법, 장치 및 그 시스템 - Google Patents

가상 피팅 서비스 제공 방법, 장치 및 그 시스템 Download PDF

Info

Publication number
WO2022039450A1
WO2022039450A1 PCT/KR2021/010797 KR2021010797W WO2022039450A1 WO 2022039450 A1 WO2022039450 A1 WO 2022039450A1 KR 2021010797 W KR2021010797 W KR 2021010797W WO 2022039450 A1 WO2022039450 A1 WO 2022039450A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
virtual fitting
accessory
information
Prior art date
Application number
PCT/KR2021/010797
Other languages
English (en)
French (fr)
Inventor
정윤호
Original Assignee
정윤호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정윤호 filed Critical 정윤호
Priority to JP2023512366A priority Critical patent/JP2023539159A/ja
Publication of WO2022039450A1 publication Critical patent/WO2022039450A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • Contact lenses are widely used not only for vision correction, but also for cosmetic purposes.
  • contact lenses such as circle lenses and colored lenses are widely used for cosmetic purposes among young people who are sensitive to appearance.
  • the accessory is a contact lens
  • synthesizing the acquired facial image and the accessory image includes: identifying an eye region in the acquired facial image; It may include detecting and overlaying the image of the contact lens on the obtained facial image based on the detected pupil region.
  • the step of synthesizing the obtained facial image and the accessory image includes synthesizing the acquired facial image and the accessory image through an image synthesis model based on Generative Adversarial Networks (GAN).
  • the image synthesis model may include a generator for generating a synthesized fake image by receiving a face image and an accessory image, and a discriminator for discriminating the generated fake image and an actual accessory wearing image.
  • the method may further include receiving a user input associated with the provided composite image and, in response to the received user input, providing information on a sales site associated with the ornament.
  • the facial image is a facial image of a first style
  • the synthesizing the acquired facial image and the acquired accessory image may include using a Generative Adversarial Networks (GAN)-based image conversion model to convert the facial image.
  • GAN Generative Adversarial Networks
  • converting an image into a facial image of a second style synthesizing the facial image of the first style with the acquired accessory image to generate a first composite image, and combining the facial image of the second style with the acquired accessory
  • the method may include generating a second composite image by synthesizing the image with the image.
  • the method may further include recommending an accessory to the user, wherein the recommending includes recommending the accessory based on profile information of the user, wherein the profile information is the user's It may include information about at least one of eye color, eye size, eye shape, and visual acuity.
  • the method may further include recommending an accessory to the user, wherein the recommending includes: determining another user having profile information having a similarity with the user's profile information equal to or greater than a reference value; and the determined other user. and recommending the ornaments based on virtual fitting history information of .
  • the method further comprises recommending an accessory to the user, wherein the recommending step converts the obtained facial image into an ornamental image through a Generative Adversarial Networks (GAN)-based image conversion model. and recommending the accessory based on the converted accessory wearing image.
  • GAN Generative Adversarial Networks
  • a service for performing a virtual fitting experience for an eye accessory may be provided. Accordingly, the user's convenience when purchasing accessories can be greatly improved, and trading of ornaments can be activated online as well.
  • a synthetic image of a user's face image and an accessory image may be generated through an image synthesis model based on Generative Adversarial Networks (GAN). Since the synthesized image generated in this way is very similar to the actual image wearing ornaments, the user's satisfaction with the virtual fitting service can be improved.
  • GAN Generative Adversarial Networks
  • accessories suitable for the user may be recommended in various ways. Accordingly, the time required for a user to find or purchase a desired accessory may be shortened, and sales of the ornament may be further promoted.
  • FIG. 12 is an exemplary flowchart illustrating a method for recommending an accessory according to the first embodiment of the present disclosure.
  • the service providing server 200 may transmit the ornament information to the virtual fitting apparatus 100 upon request, or may transmit the ornament information to the virtual fitting apparatus 100 periodically or aperiodically. Then, the virtual fitting apparatus 100 may update the pre-stored ornament information based on the received ornament information.
  • the virtual fitting history information includes, for example, information on the jewelry that the user requested fitting, feedback information on the virtual fitting result, whether the user visited a sales site for the fitted accessory, and whether the fitting accessory was purchased. may contain information.
  • the present invention is not limited thereto.
  • the communication unit 120 may provide a communication function with another computing device through a network.
  • the communication unit 120 may transmit various commands and/or data to the service providing server 200 , or may receive various commands and/or data from the service providing server 200 .
  • the communication unit 120 may include a wired Internet module, a mobile communication module, and/or a wireless communication module for supporting data communication.
  • the communication unit 120 may be configured to include a communication module well-known in the technical field of the present disclosure to support various communication methods.
  • the storage unit 140 includes volatile memory such as random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), nonvolatile memory such as flash memory, a hard disk, It may be configured to include a removable disk, or any type of computer-readable recording medium well known in the art to which the present disclosure pertains.
  • volatile memory such as random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), nonvolatile memory such as flash memory, a hard disk, It may be configured to include a removable disk, or any type of computer-readable recording medium well known in the art to which the present disclosure pertains.
  • the virtual fitting module 160 may refer to a module providing the above-described virtual fitting service. As shown in FIG. 3 , the virtual fitting module 160 according to some embodiments includes an information input module 161 , an image synthesis module 163 , an ornament recommendation module 165 , and a user input processing module 167 . may include However, the operational flow shown in FIG. 3 is merely an example, and in actual implementation, the operational flow of each module 161 to 167 may be different.
  • the user input processing module 167 may perform various processes according to the user input.
  • each component illustrated in FIG. 2 or FIG. 3 may mean software or hardware such as a field programmable gate array (FPGA) or an application-specific integrated circuit (ASIC).
  • FPGA field programmable gate array
  • ASIC application-specific integrated circuit
  • the components are not limited to software or hardware, and may be configured to be in an addressable storage medium, or configured to execute one or more processors.
  • the functions provided in the components may be implemented by more subdivided components, or may be implemented as one component that performs a specific function by combining a plurality of components.
  • the virtual fitting apparatus 100 may acquire a face image by photographing the user's face through a camera, or may acquire a face image previously stored from the storage unit 130 .
  • the present invention is not limited thereto.
  • the present invention is not limited thereto, and the virtual fitting device 100 outputs information about ornaments rather than images through the display (eg, information such as product name, product brand, product specification, etc.), and selects ornaments from the user may receive Then, the virtual fitting apparatus 100 may acquire an image of the selected ornament from the storage unit 130 or the service providing server 200 .
  • information about ornaments rather than images through the display eg, information such as product name, product brand, product specification, etc.
  • selects ornaments from the user may receive
  • the virtual fitting apparatus 100 may acquire an image of the selected ornament from the storage unit 130 or the service providing server 200 .
  • the virtual fitting apparatus 100 may perform verification on the acquired facial image before image synthesis, or may convert the acquired facial image into a more suitable image. In this regard, reference will be made to the description of FIG. 3 .
  • FIG. 6 is an exemplary flowchart illustrating an image synthesizing method according to some embodiments of the present disclosure.
  • a composite image may be generated by overlaying an ornament image on the face image based on the detected pupil region.
  • the virtual fitting apparatus 100 may match the contact lens image based on the detected pupil region, and may overlay the contact lens image on the pupil region.
  • the virtual fitting apparatus 100 may perform image overlay after adjusting the size of the contact lens image to match the size of the pupil region.
  • the virtual fitting apparatus 100 may correct the size of the contact lens area on the composite image based on the type of contact lens. For example, when the contact lens is a circle lens, the virtual fitting apparatus 100 may increase the size of the contact lens area. Of course, in this case, the size of the pupil region or the eye region may also be increased. As another example, the virtual fitting apparatus 100 may correct the size of the eye area or the pupil area on the composite image to be larger or smaller based on the dioptric power or shape (e.g. concave or convex) of the contact lens. According to the present embodiment, a composite image closer to the user's actual wearing of accessories may be generated.
  • the dioptric power or shape e.g. concave or convex
  • FIG. 7 is an exemplary diagram for explaining an image synthesizing method according to some other exemplary embodiment of the present disclosure.
  • FIG. 7 illustrates a case in which the accessory is a contact lens as an example.
  • the generator 330 may further learn an error (eg, an error based on a difference in pixel values) between the ornamental region of the real image 333 and the ornamental region of the fake image 334 .
  • an error eg, an error based on a difference in pixel values
  • the generator 330 can generate a fake image (e.g. 334) that is closer to reality.
  • a composite image may be determined based on a combination of the above-described embodiments.
  • the virtual fitting apparatus 100 may generate a first composite image as illustrated in FIG. 6 and generate a second composite image as illustrated in FIG. 7 . Then, the virtual fitting apparatus 100 outputs a predicted value (eg, a confidence score corresponding to the actual) for each of the first composite image and the second composite image through the discriminator 340, and two synthesis based on the output prediction value. Any one of the images (ie, an image that is closer to reality) may be determined as the final composite image.
  • a predicted value eg, a confidence score corresponding to the actual
  • the virtual fitting apparatus 100 may generate a final composite image by synthesizing the first composite image and the second composite image.
  • the virtual fitting apparatus 100 may generate a final composite image by synthesizing the pixel values of the first composite image and the pixel values of the second composite image based on a weight (eg, weighted sum).
  • the weight given to the second composite image increases as the performance index of the image synthesis model (eg synthesis accuracy, the amount of learned data, the number of times of learning, etc.) improves, and the weight given to the first composite image decreases can be
  • a composite image may be provided to the user.
  • the virtual fitting apparatus 100 may output an image in which a face image and an ornament image 321 are synthesized on a specific area 310 of the display screen.
  • the user may remove or restore the compositing process via the first interface 312 .
  • the user may input a command to remove (or restore) synthesis processing of the left and/or right contact lenses 321-1 and 321-2 through the first interface 312, and the virtual fitting device (100) may remove (or restore) the contact lens (321-1, 321-2) synthesis process in response to the user input.
  • the user can check the appearance before and after wearing the contact lens at a glance, so that user satisfaction with the virtual fitting service can be improved.
  • the user may input a command for adjusting the transparency of the ornament area through the second interface 313 , and the virtual fitting apparatus 100 may adjust the transparency of the ornament area in response to the user input.
  • FIG. 5 illustrates that the transparency control interface 312 is implemented in the form of a slide bar.
  • the user may change the design elements of the accessory areas (e.g. 321-1 and 321-2) or change the user's style through various interfaces.
  • the type and implementation form of the interface e.g. 312 is not limited by the above-described examples, and may be designed in various ways.
  • the domain conceptually refers to a set of images sharing the same property, and may be defined or designed in various ways. For example, in the case illustrated in FIG. 8, domains are divided based on whether or not an accessory (eg mask) is worn, and the first domain is associated with wearing images (eg 351, 354) of a specific accessory (eg mask), The second domain may be associated with non-wearing images 352 and 353 of the specific accessory (eg mask).
  • domains may be designed to be classified based on quality.
  • the image conversion model e.g. 350
  • domains may be designed to be classified based on a style (e.g.
  • the image conversion model 350 may convert the first domain image 351 or the second domain image 352 into fake images 353 and 354 of other domains.
  • FIG. 8 shows, as an example, converting a mask-wearing image into an unmasked image, the types of ornaments may be changed as much as possible.
  • the first generator 361 is a module that converts the image 365-1 of the first domain into a fake image 365-2 of the second domain.
  • the second discriminator 364 is a module for discriminating the real image 366 - 1 and the fake image 365 - 2 of the second domain.
  • the first generator 361 and the second discriminator 364 may be learned complementary to each other through adversarial learning (ie, the weights are updated).
  • the first generator 361 may be further learned using a first consistency loss (L CONST A).
  • the first consistency error L CONST A is calculated based on the difference between the real image 365 - 1 input to the first generator 361 and the fake image 365 - 3 converted through the second generator 362 .
  • the fake image 365 - 3 may refer to an image obtained by converting the fake image 365 - 2 converted by the first generator 361 back to the original domain by the second generator 362 .
  • the first consistency error L CONST A may be calculated based on, for example, a Euclidean distance, a cosine similarity, etc., but the technical scope of the present disclosure is not limited to the examples listed above .
  • the second generator 362 is a module that converts the image 366 - 1 of the second domain into a fake image 366 - 2 of the first domain.
  • the first discriminator 363 is a module for discriminating the real image 365-1 and the fake image 366-2 of the first domain.
  • the second generator 362 and the first discriminator 363 may also be learned complementary to each other through adversarial learning.
  • the transform model 350 includes a first encoder 371 , a first generator 373 , and a first discriminator 375 associated with a first domain, and a second encoder associated with a second domain. 372 , a second generator 374 , and a second discriminator 376 .
  • FIGS. 12 to 15 a method for recommending accessories according to some embodiments of the present disclosure will be described with reference to FIGS. 12 to 15 .
  • accessories may be recommended based on virtual fitting history information of other users having similar profile information to the user ( S510 to S530 ).
  • the similarity between the profile information may be calculated based on the similarity of the demographic information, the similarity of the style information, the similarity of the vision information, etc., but is not limited thereto, and may be calculated in any way.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

눈 부위 장신구에 대한 가상 피팅 서비스를 제공하는 방법, 장치 및 그 시스템이 제공된다. 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법은 사용자의 안면 이미지를 획득하는 단계, 장신구의 이미지를 획득하는 단계, 획득된 안면 이미지와 획득된 장신구 이미지를 합성하는 단계 및 합성된 이미지를 제공하는 단계를 포함함으로써, 사용자에게 가상 피팅 체험을 제공할 수 있다. 이에 따라, 장신구를 구매하려는 사용자의 편의성이 크게 향상될 수 있다.

Description

가상 피팅 서비스 제공 방법, 장치 및 그 시스템
본 출원은 2020년 08월 18일 출원한 한국출원 제10-2020-01003080호에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다. 본 개시는 가상 피팅 서비스 제공 방법, 장치 및 그 시스템에 관한 것이다. 보다 상세하게는, 눈 부위 장신구에 대한 가상 피팅 서비스를 제공하는 방법, 그 방법을 수행하는 장치 및 시스템에 관한 것이다.
콘택트렌즈(contact lens)는 시력 교정용으로 이용될 뿐만 아니라 미용 목적으로도 널리 활용되고 있다. 예를 들어, 서클렌즈, 컬러렌즈 등과 같은 콘택트렌즈가 외모에 민감한 젊은 층 사이에서 미용 목적으로 널리 활용되고 있다.
그런데, 콘택트렌즈 구매하고자 하는 구매자가 자신에게 잘 어울리는 콘택트렌즈 제품을 찾는 것은 용이하지 않다. 시중에는 색상, 모양 등이 상이한 다양한 디자인의 콘택트렌즈 제품들이 출시되어 있어, 그 중에서 자신에게 잘 어울리는 제품을 찾기 위해서는 구매자가 직접 콘택트렌즈를 착용하고 거울을 통해 착용 후의 모습을 확인해 보아야 하기 때문이다. 또한 일반적으로 콘택트렌즈는 시험 착용용 샘플이 준비되지 않아 시험 착용을 원해도 대부분 구매 전 착용이 불가능한 제품군이다.
즉, 통상적으로 콘택트렌즈 구매자가 자신에게 어울리는 콘택트렌즈 제품을 찾기까지는 상당히 번거로운 오프라인 행위가 수반되어야 한다.
따라서, 번거로운 오프라인 행위 없이 콘택트렌즈 착용 후의 모습을 실제와 가깝게 제공함으로써, 콘택트렌즈 구매자의 편의성을 향상시킬 수 있는 방법이 요구된다.
본 개시의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, 장신구 구매자의 편의성을 향상시키기 위해, 눈 부위 장신구에 대한 가상 피팅 서비스를 제공하는 방법, 그 방법을 수행하는 장치 및 시스템을 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법은, 컴퓨팅 장치에서 눈 부위의 장신구에 대한 가상 피팅 서비스를 제공하는 방법에 있어서, 사용자의 안면 이미지를 획득하는 단계, 상기 장신구의 이미지를 획득하는 단계, 상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계 및 상기 합성된 이미지를 제공하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 장신구는 콘택트렌즈이고, 상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계는, 상기 획득된 안면 이미지에서 눈 영역을 식별하는 단계, 상기 식별된 눈 영역에서 눈동자 영역을 검출하는 단계 및 상기 검출된 눈동자 영역을 기초로 상기 획득된 안면 이미지 상에 상기 콘택트렌즈의 이미지를 오버레이하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계는, GAN(Generative Adversarial Networks) 기반의 이미지 합성 모델을 통해 상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계를 포함하되, 상기 이미지 합성 모델은 안면 이미지와 장신구 이미지를 입력받아 합성된 페이크 이미지를 생성하는 생성기와 상기 생성된 페이크 이미지와 실제 장신구착용이미지를 판별하는 판별기를 포함할 수 있다.
몇몇 실시예들에서, 상기 장신구는 콘택트렌즈이고, 사용자 입력에 응답하여 상기 제공된 합성 이미지를 처리하는 단계를 더 포함하되, 상기 제공된 합성 이미지를 처리하는 단계는, 상기 사용자 입력에 응답하여, 상기 합성 이미지에 포함된 두 개의 눈 영역 중 어느 하나의 눈 영역과 연관된 합성 처리를 제거하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 제공된 합성 이미지와 연관된 사용자 입력을 수신하는 단계 및 상기 수신된 사용자 입력에 응답하여, 상기 장신구와 연관된 판매 사이트에 대한 정보를 제공하는 단계가 더 포함될 수 있다.
몇몇 실시예들에서, 상기 안면 이미지는 제1 스타일의 안면 이미지이고, 상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계는, GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 안면 이미지를 제2 스타일의 안면 이미지로 변환하는 단계, 상기 제1 스타일의 안면 이미지를 상기 획득된 장신구 이미지와 합성하여 제1 합성 이미지를 생성하는 단계 및 상기 제2 스타일의 안면 이미지를 상기 획득된 장신구 이미지와 합성하여 제2 합성 이미지를 생성하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 사용자에게 장신구를 추천하는 단계를 더 포함하되, 상기 추천하는 단계는, 상기 사용자의 프로파일 정보를 기초로 상기 장신구를 추천하는 단계를 포함하고, 상기 프로파일 정보는 상기 사용자의 눈 색상, 눈 크기, 눈 모양 및 시력 중 적어도 하나의 정보를 포함할 수 있다.
몇몇 실시예들에서, 상기 사용자에게 장신구를 추천하는 단계를 더 포함하되, 상기 추천하는 단계는, 상기 사용자의 프로파일 정보와 유사도가 기준치 이상인 프로파일 정보를 갖는 다른 사용자를 결정하는 단계 및 상기 결정된 다른 사용자의 가상 피팅 이력 정보를 기초로 상기 장신구를 추천하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 사용자에게 장신구를 추천하는 단계를 더 포함하되, 상기 추천하는 단계는, GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 획득된 안면 이미지를 장신구착용이미지로 변환하는 단계 및 상기 변환된 장신구착용이미지를 기초로 상기 장신구를 추천하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 상기 사용자에게 장신구를 추천하는 단계를 더 포함하되, 상기 추천하는 단계는, 사용자 입력에 응답하여, 상기 제공된 합성 이미지 상의 장신구 영역에 대한 적어도 하나의 디자인 요소를 변경하는 단계 및 기 저장된 복수의 장신구 이미지 중에서 상기 변경된 장신구 영역과 유사도가 기준치 이상인 장신구를 추천하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 가상 피팅 장치는, 디스플레이를 포함하는 출력부 및 사용자의 안면 이미지와 피팅 대상이 되는 눈 부위의 장신구 이미지를 합성하고, 상기 합성된 이미지가 상기 디스플레이를 통해 출력되도록 상기 출력부를 제어하는 제어부를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 사용자의 안면 이미지를 획득하는 단계, 피팅 대상이 되는 눈 부위의 장신구 이미지를 획득하는 단계, 상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계 및 상기 합성된 이미지를 제공하는 단계를 실행시키기 위하여 컴퓨터 판독가능한 기록매체에 저장될 수 있다.
상술한 본 개시 몇몇 실시예들에 따르면, 눈 부위 장신구에 대한 가상 피팅 체험을 할 수 있는 서비스가 제공될 수 있다. 이에 따라, 장신구 구매 시에 사용자의 편의성이 크게 개선될 수 있으며, 온라인 상으로도 장신구 거래가 활성화될 수 있다.
또한, GAN(Generative Adversarial Networks) 기반의 이미지 합성 모델을 통해 사용자의 안면 이미지와 장신구 이미지에 대한 합성 이미지가 생성될 수 있다. 이렇게 생성된 합성 이미지는 실제 장신구착용이미지와 매우 유사하기 때문에, 가상 피팅 서비스에 대한 사용자의 만족도가 제고될 수 있다.
또한, GAN 기반의 이미지 변환 모델을 통해 불필요한 장신구 제거 기능, 스타일 변환 기능 등과 같은 다양한 사용자의 편의 기능이 제공될 수 있다. 이에 따라, 가상 피팅 서비스에 대한 사용자의 만족도가 더욱 제고될 수 있다.
또한, 사용자에게 잘 맞는 장신구가 다양한 방식으로 추천될 수 있다. 이에 따라, 사용자가 원하는 장신구를 찾거나 구매하는데 소요되는 시간이 단축될 수 있으며, 장신구 판매가 더욱 촉진될 수 있다.
본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 시스템을 개략적으로 나타내는 예시적인 구성도이다.
도 2 및 도 3은 본 개시의 몇몇 실시예들에 따른 가상 피팅 장치를 나타내는 예시적인 블록도이다.
도 4는 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법을 나타내는 예시적인 흐름도이다.
도 5는 본 개시의 몇몇 실시예들에서 참조될 수 있는 예시적인 디스플레이 화면(GUI)을 도시하고 있다.
도 6은 본 개시의 몇몇 실시예들에 따른 이미지 합성 방법을 나타내는 예시적인 흐름도이다.
도 7은 본 개시의 다른 몇몇 실시예들에 따른 이미지 합성 방법을 설명하기 위한 예시적인 도면이다.
도 8 내지 도 11은 본 개시의 몇몇 실시예들에 따른 이미지 변환 모델의 동작 원리 및 그 활용예를 설명하기 위한 예시적인 도면이다.
도 12는 본 개시의 제1 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 13은 본 개시의 제2 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 14는 본 개시의 제3 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 15는 본 개시의 제4 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 개시의 다양한 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 시스템을 개략적으로 나타내는 예시적인 구성도이다.
도 1에 도시된 바와 같이, 가상 피팅 서비스 제공 시스템은 하나 이상의 가상 피팅 장치(100) 및 서비스 제공 서버(200)를 포함할 수 있다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성요소가 추가되거나 삭제될 수 있음은 물론이다. 이하, 가상 피팅 서비스 제공 시스템의 각 구성요소에 대하여 설명한다.
가상 피팅 장치(100)는 사용자에게 가상 피팅 서비스를 제공하는 컴퓨팅 장치를 의미할 수 있다. 여기서, 컴퓨팅 장치는 스마트폰(smart phone), 노트북, 데스크톱(desktop), 랩탑(laptop) 등과 같은 사용자측 단말이 될 수 있을 것이나, 이에 한정되는 것은 아니며, 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 가령, 컴퓨팅 장치는 키오스크(kiosk) 또는 디지털 사이니지(digital signage) 등과 같은 장치를 포함할 수도 있다. 이러한 경우 가상 피팅 장치(100)는 매장 또는 공공장소에 배치되어 다양한 사용자에게 가상 피팅 서비스를 제공할 수도 있다. 이하에서는, 이해의 편의를 위해, 가상 피팅 장치(100)가 사용자측 단말로 구현된 것을 가정하여 설명을 이어가도록 한다.
가상 피팅 장치(100)는 사용자에게 눈 부위 장신구에 대한 가상 피팅 서비스를 제공할 수 있다. 여기서, 눈 부위 장신구는 콘택트렌즈, 안경, 선글라스 등이 될 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니며, 눈 부위 장신구는 눈 부위에 착용되거나 눈 부위와 연관되는 임의의 장신구를 모두 포함할 수 있다. 이하에서는, 설명의 편의상, "눈 부위 장신구"를 "장신구"로 약칭하도록 한다.
구체적으로, 가상 피팅 장치(100)는 사용자의 안면을 포함하는 이미지(이하, "안면 이미지")를 획득하고, 안면 이미지와 장신구 이미지를 합성하며, 합성된 이미지를 디스플레이를 통해 출력할 수 있다. 이러한 경우, 사용자는 직접적인 장신구 착용 없이도 착용 후의 모습을 확인할 수 있고 짧은 시간 내에 다양한 장신구에 대한 가상 피팅 체험을 할 수 있어, 장신구 구매 시 사용자 편의성이 크게 향상될 수 있다. 뿐만 아니라, 이러한 가상 피팅 서비스는 사용자의 구매 의욕을 자극함으로써, 온라인 또는 오프라인 상의 장신구 판매를 촉진하는 효과 또한 야기할 수 있다. 가상 피팅 장치(100)가 가상 피팅 서비스를 제공하는 구체적인 방법에 관하여서는 추후 도 2 이하의 도면을 참조하여 상세하게 설명하도록 한다.
도시된 바와 같이, 가상 피팅 장치(100)는 서비스 제공 서버(200)와 연동하여 가상 피팅 서비스를 제공할 수 있다. 예를 들어, 서비스 제공 서버(200)가 사용자에 대한 인증(e.g. 로그인)을 수행하고, 가상 피팅 장치(100)는 인증된 사용자에게만 가상 피팅 서비스를 제공할 수 있다. 다른 예로서, 안면 이미지와 장신구 이미지에 대한 합성 프로세스는 서비스 제공 서버(200)에서 수행되고, 가상 피팅 장치(100)는 서비스 제공 서버(200)로부터 합성된 이미지를 수신하여 사용자에게 제공할 수도 있다. 또 다른 예로서, 서비스 제공 서버(200)는 가상 피팅 서비스와 연관된 다양한 정보(e.g. 장신구 정보, 장신구의 판매 사이트 정보 등)를 관리하고, 가상 피팅 장치(100)는 주기 또는 비주기적으로 서비스 제공 서버(200)로부터 상기 정보를 수신하여 업데이트할 수도 있다. 다만, 다른 몇몇 실시예들에서는, 가상 피팅 장치(100)가 서비스 제공 서버(200)와 연동하지 않고 단독으로 가상 피팅 서비스를 제공할 수도 있다.
다음으로, 서비스 제공 서버(200)는 가상 피팅 장치(100)와 연동하여 사용자에게 가상 피팅 서비스를 제공하는 서버측의 컴퓨팅 장치를 의미할 수 있다. 서비스 제공 서버(200)를 구현하는 컴퓨팅 장치의 종류에 제한이 있는 것은 아니나, 다수의 사용자에게 가상 피팅 서비스를 제공하는 환경이라면, 서비스 제공 서버(200)는 고성능의 서버급 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다.
서비스 제공 서버(200)는 가상 피팅 서비스가 원활하게 이루어질 수 있도록 다양한 관리 기능을 제공할 수 있으며, 그 구체적인 기능은 실시예에 따라 달라질 수 있다.
예를 들어, 서비스 제공 서버(200)는 장신구 정보에 대한 각종 관리 기능을 제공할 수 있다. 보다 구체적으로, 서비스 제공 서버(200)는 장신구 정보를 추가, 삭제 및/또는 수정(업데이트)하는 기능을 제공할 수 있으며, 이러한 기능을 위한 관리자 인터페이스(e.g. 웹 인터페이스, DB 인터페이스 등)를 함께 제공할 수 있다. 효율적인 정보 관리를 위해, 서비스 제공 서버(200)는 DB화된 저장 장치를 구비할 수도 있다. 장신구 정보는 예를 들어 장신구의 이미지, 장신구의 사양(e.g. 콘택트렌즈의 도수, 색상, 직경, 함수율, 재질, 모양, 베이스커브 등) 등과 같은 각종 정보를 포함할 수 있다. 또한, 서비스 제공 서버(200)는 요청 시 장신구 정보를 가상 피팅 장치(100)로 전송하거나, 주기 또는 비주기적으로 장신구 정보를 가상 피팅 장치(100)로 전송할 수 있다. 그러면, 가상 피팅 장치(100)는 수신된 장신구 정보를 기초로 기 저장된 장신구 정보를 업데이트할 수 있다.
다른 예로서, 서비스 제공 서버(200)는 장신구의 판매 사이트 정보에 대한 각종 관리 기능을 제공할 수 있다. 보다 구체적으로, 서비스 제공 서버(200)는 장신구 판매 사이트에 대한 링크 정보를 관리(e.g. 추가, 삭제, 수정 등)할 수 있다. 또한, 서비스 제공 서버(200)는 요청 시 상기 링크 정보를 가상 피팅 장치(100)로 전송하거나, 주기 또는 비주기적으로 상기 링크 정보를 가상 피팅 장치(100)로 전송할 수 있다. 그러면, 가상 피팅 장치(100)는 수신된 링크 정보를 기초로 기 저장된 링크 정보를 업데이트할 수 있다. 또는, 서비스 제공 서버(200)는 가상 피팅 장치(100)의 요청을 장신구 판매 사이트로 리다이렉트(redirect)할 수도 있다.
또 다른 예로서, 서비스 제공 서버(200)는 사용자 정보에 대한 각종 관리 기능을 제공할 수 있다. 가령, 서비스 제공 서버(200)는 사용자의 프로파일 정보(e.g. 인구통계학적 정보, 스타일 정보, 시력 정보 등)를 관리할 수 있다. 또는, 서비스 제공 서버(200)는 회원 정보(e.g. 사용자 프로파일, 로그인 정보, 과금 정보 등)를 관리하고, 이를 토대로 인증(e.g. 로그인), 과금 처리 등의 기능을 제공할 수 있다. 또는, 서비스 제공 서버(200)는 과금 사용자를 대상으로 차별화된 가상 피팅 서비스를 제공할 수도 있다. 예를 들어, 서비스 제공 서버(200)는 과금 사용자에게는 장신구 정보를 제한없이 제공하고, 비과금 사용자에게는 일부 장신구 정보의 제공이 제한되도록 할 수 있다. 이때, 장신구 정보에 대한 접근 제어는 가상 피팅 장치(100)에 의해 수행될 수도 있음은 물론이다. 다른 예로서, 서비스 제공 서버(200)는 최신 장신구 정보가 업데이트될 때마다 과금 사용자에게만 업데이트 정보를 제공할 수도 있다.
또 다른 예로서, 서비스 제공 서버(200)는 사용자들의 가상 피팅 이력 정보에 대한 각종 관리 및 분석 기능을 제공할 수 있다. 예를 들어, 서비스 제공 서버(200)는 상기 가상 피팅 이력 정보를 분석하여 비즈니스 인텔리전스(business intelligence) 정보(e.g. 10대 계층이 주로 피팅한 장신구, 10대 계층이 주로 구매한 장신구 등)를 생성할 수 있다. 이러한 비즈니스 인텔리전스 정보는 고부가가치의 정보이므로, 장신구 판매업자에게 판매함으로써 새로운 수익 모델로 활용될 수도 있다. 또는, 서비스 제공 서버(200)는 상기 가상 피팅 이력 정보를 분석하여 사용자에게 장신구를 추천할 수도 있다. 경우에 따라, 장신구 추천 기능은 가상 피팅 장치(100)에 의해 수행될 수도 있다. 장신구 추천 기능에 관련하여서는 추후 도 12 내지 도 15를 참조하여 상세하게 설명하도록 한다. 본 예에서, 가상 피팅 이력 정보는 예를 들어 사용자가 피팅을 요청한 장신구의 정보, 가상 피팅 결과에 대한 피드백 정보, 피팅한 장신구에 대한 판매 사이트에 방문했는지 여부, 피팅한 장신구를 구매했는지 여부 등의 정보를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다.
또 다른 예로서, 서비스 제공 서버(200)는 전술한 예시들의 조합에 기초하여 다양한 관리 기능을 제공할 수도 있다.
지금까지 설명한 가상 피팅 장치(100) 또는 서비스 제공 서버(200)의 기능은 컴퓨팅 장치(e.g. 스마트폰과 같은 사용자 단말)에서 구현될 수도 있고, 복수의 컴퓨팅 장치에서 구현될 수도 있다. 가령, 서비스 제공 서버(200)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다. 또는, 서비스 제공 서버(200)의 특정 기능이 복수의 컴퓨팅 장치에서 구현될 수도 있다.
또한, 가상 피팅 장치(100) 또는 서비스 제공 서버(200)가 제공하는 가상 피팅 서비스의 인터페이스는 다양하게 설계 및 구현될 수 있다. 예를 들어, 가상 피팅 서비스는 가상 피팅 장치(100)에 설치된 앱(App)을 통해 제공될 수도 있고, 웹(web)을 통해 제공될 수도 있다. 그러나, 이에 한정되는 것은 아니다.
한편, 도시된 바와 같이, 가상 피팅 장치(100)와 서비스 제공 서버(200)는 네트워크를 통해 통신할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
지금까지 도 1을 참조하여 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 시스템에 대하여 설명하였다. 상술한 바에 따르면, 장신구에 대한 가상 피팅 체험을 할 수 있는 서비스가 제공될 수 있다. 이에 따라, 장신구 구매 시에 사용자의 편의성이 크게 개선될 수 있으며, 온라인 상으로도 장신구 거래가 활성화될 수 있다.
이하에서는, 도 2를 참조하여 본 개시의 몇몇 실시예들에 따른 가상 피팅 장치(100)의 구성 및 동작에 대하여 보다 상세하게 설명하도록 한다.
도 2는 본 개시의 몇몇 실시예들에 따른 가상 피팅 장치(100)를 나타내는 예시적인 블록도이다.
도 2에 도시된 바와 같이, 가상 피팅 장치(100)는 입력부(110), 통신부(120), 저장부(130), 출력부(140) 및 제어부(150)를 포함할 수 있다. 다만, 도 2에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 또한, 도 2에 도시된 가상 피팅 장치(100)의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 복수의 구성요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있고, 하나의 구성요소가 복수의 세부 구성요소로 분리되는 형태로 구현될 수도 있다. 이하, 가상 피팅 장치(100)의 각 구성요소에 대해서 설명한다.
입력부(110)는 사용자로부터 각종 명령 및/또는 데이터를 입력받을 수 있다. 예를 들어, 입력부(110)는 가상 피팅 서비스 또는 가상 피팅 모듈(160)과 연관된 각종 사용자 입력을 수신할 수 있다. 입력부(110)는 예를 들어 키보드, 마우스, 카메라, 센서 등의 각종 입력 모듈을 포함하도록 구성될 수 있다. 또는, 입력부(110)는 터치 디스플레이를 포함하도록 구성되어, 출력부(140)와 통합되는 형태로 구현될 수도 있다. 그러나, 이에 한정되는 것은 아니다. 입력부(110)는 카메라를 통해 사용자의 안면을 촬영함으로써 안면 이미지를 실시간으로 입력받을 수 있다.
다음으로, 통신부(120)는 네트워크를 통해 다른 컴퓨팅 장치와의 통신 기능을 제공할 수 있다. 예를 들어, 통신부(120)는 서비스 제공 서버(200)로 각종 명령 및/또는 데이터를 전송하거나, 서비스 제공 서버(200)로부터 각종 명령 및/또는 데이터를 수신할 수 있다. 통신부(120)는 데이터 통신을 지원하기 위한 유선 인터넷 모듈, 이동통신 모듈 및/또는 무선통신 모듈을 구비할 수 있다. 이외에도, 통신부(120)는 다양한 통신 방식을 지원하기 위해 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수도 있다.
다음으로, 저장부(140)는 각종 명령 및/또는 데이터를 저장할 수 있다. 예를 들어, 저장부(140)는 가상 피팅 서비스 또는 가상 피팅 모듈(160)과 연관된 각종 데이터를 저장할 수 있다. 또한, 저장부(140)는 가상 피팅 모듈(160)을 구현하기 위한 하나 이상의 인스트럭션들(instructions)로 구성된 컴퓨터 프로그램 또는 어플리케이션을 저장할 수도 있다.
저장부(140)는 RAM(Random Access Memory) 등과 같은 휘발성 메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
다음으로, 제어부(150)는 가상 피팅 장치(100)의 각 구성의 전반적인 동작을 제어할 수 있다. 제어부(150)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 제어부(150)는 상술한 가상 피팅 서비스와 연관된 적어도 하나의 어플리케이션(e.g. 160) 또는 컴퓨터 프로그램(e.g. 160)에 대한 연산을 수행함으로써, 사용자에게 가상 피팅 서비스를 제공할 수 있다.
가상 피팅 모듈(160)은 상술한 가상 피팅 서비스를 제공하는 모듈을 의미할 수 있다. 도 3에 도시된 바와 같이, 몇몇 실시예들에 따른 가상 피팅 모듈(160)은 정보 입력 모듈(161), 이미지 합성 모듈(163), 장신구 추천 모듈(165) 및 사용자 입력 처리 모듈(167)을 포함할 수 있다. 다만, 도 3에 도시된 동작 흐름은 일 예시에 불과한 것으로, 실제 구현 시 각 모듈(161 내지 167)의 동작 흐름은 달라질 수도 있다.
정보 입력 모듈(161)은 가상 피팅 서비스에 이용되는 각종 정보를 입력받을 수 있다. 또한, 정보 입력 모듈(161)은 입력된 정보를 이미지 합성 모듈(163) 또는 장신구 추천 모듈(165)에게 제공할 수 있다.
예를 들어, 정보 입력 모듈(161)은 이미지 합성에 이용되는 사용자의 안면 이미지와 장신구 이미지를 입력받을 수 있다. 보다 구체적인 예로서, 정보 입력 모듈(161)은 입력부(110)의 카메라를 통해 사용자의 안면 이미지를 입력받을 수 있다. 이를테면, 사용자의 요청(e.g. 가상 피팅 서비스 시작 요청, 안면 이미지 입력 요청 등)에 따라 카메라가 활성화되면, 사용자는 자신의 안면을 촬영할 수 있고, 정보 입력 모듈(161)은 카메라를 통해 촬영된 안면 이미지를 입력받을 수 있다.
다른 예로서, 정보 입력 모듈(161)은 저장부(130)로부터 사용자의 안면 이미지를 입력받을 수 있다. 가령, 정보 입력 모듈(161)은 저장부(130)에 저장된 복수의 안면 이미지 중에서 사용자에 의해 선택된 안면 이미지를 입력받을 수 있다.
또 다른 예로서, 정보 입력 모듈(161)은 입력부(110), 저장부(130) 또는 서비스 제공 서버(200) 등을 통해 장신구 이미지를 포함하는 장신구 정보를 입력받을 수 있다.
또 다른 예로서, 정보 입력 모듈(161)은 입력부(110), 저장부(130) 또는 서비스 제공 서버(220) 등을 통해 사용자의 프로파일 정보를 입력받을 수도 있다.
한편, 몇몇 실시예들에서, 정보 입력 모듈(161)은 입력받은 안면 이미지에 대한 검증을 수행할 수도 있다. 예를 들어, 정보 입력 모듈(161)은 소정의 검출 알고리즘을 통해 안면 이미지에서 안면, 눈 부위 및/또는 눈동자 영역이 검출되는지 여부를 판별하고, 판별 결과에 기초하여 안면 이미지가 이미지 합성에 적합한지 여부를 판단할 수 있다. 가령, 정보 입력 모듈(161)은 안면, 눈 부위 및 눈동자 영역이 모두 검출되었다는 판별 결과에 응답하여 입력된 안면 이미지가 적합하다고 판단할 수 있다. 적합하지 않다고 판단된 경우, 정보 입력 모듈(161)은 판단 결과를 사용자에게 통지하거나, 사용자에게 안면 이미지를 다시 요청할 수 있다. 다른 예로서, 정보 입력 모듈(161)은 입력된 안면 이미지의 해상도, 색상, 명도, 채도 등을 기초로 이미지의 적합성을 판단할 수도 있다.
또한, 몇몇 실시예들에서, 정보 입력 모듈(161)은 입력받은 안면 이미지를 합성에 보다 적합한 이미지로 변환할 수 있다. 구체적으로, 정보 입력 모듈(161)은 GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 이용하여 안면 이미지를 보다 적합한 이미지로 변환시킬 수 있다. 예를 들어, 정보 입력 모듈(161)은 입력된 안면 이미지를 보다 고품질(e.g. 고해상도)의 안면 이미지로 변환시킬 수 있다. 다른 예로서, 정보 입력 모듈(161)은 입력된 안면 이미지에서 불필요한 장신구를 제거할 수 있다. 구체적인 예로서, 피팅 대상 장신구가 콘택트렌즈이고 입력된 안면 이미지가 안경을 착용한 이미지인 경우, 정보 입력 모듈(161)은 안면 이미지에서 안경 이미지를 제거할 수 있다. 다른 예로서, 정보 입력 모듈(161)은 입력된 안면 이미지의 스타일을 변환(e.g. 헤어스타일 변경, 헤어 색상 변경, 장신구 제거)하거나, 입력된 안면 이미지의 표정, 자세 또는 방향을 변환(e.g. 측면 이미지를 정면 이미지로 변환)할 수 있다. 예시된 이미지의 변환 원리에 관하여서는 추후 도 8 내지 도 11 등을 참조하여 상세하게 설명하도록 한다.
다음으로, 이미지 합성 모듈(163)은 안면 이미지와 장신구 이미지를 합성하여 합성 이미지(즉, 가상 피팅 이미지)를 생성할 수 있다. 합성 이미지는 출력부(140)의 디스플레이를 통해 사용자에게 제공될 수 있고, 저장부(130)에 저장될 수도 있다. 중복된 설명을 배제하기 위해, 이미지 합성 모듈(163)의 세부 동작에 관하여서는 추후 도 6 및 도 7 등의 도면을 참조하여 상세하게 설명하도록 한다.
다음으로, 장신구 추천 모듈(165)은 사용자에게 장신구를 추천할 수 있다. 예컨대, 장신구 추천 모듈(165)은 사용자의 프로파일 정보 등을 토대로 사용자에게 장신구를 추천할 수 있다. 중복된 설명을 배제하기 위해, 이미지 합성 모듈(163)의 세부 동작에 관하여서는 추후 도 12 이하의 도면을 참조하여 상세하게 설명하도록 한다.
다음으로, 사용자 입력 처리 모듈(167)은 사용자 입력에 따른 각종 처리를 수행할 수 있다.
예를 들어, 사용자 입력 처리 모듈(167)은 사용자 입력에 응답하여 이미지 합성 모듈(163)에 의해 합성된 이미지에서 일부 또는 전체 장신구에 대한 합성 처리를 제거 또는 복원할 수 있다.
다른 예로서, 사용자 입력 처리 모듈(167)은 사용자 입력에 응답하여 상기 합성 이미지를 확대/축소하거나, 상기 합성 이미지 상의 장신구 영역의 투명도를 변경하는 등의 처리를 수행할 수 있다.
또 다른 예로서, 사용자 입력 처리 모듈(167)은 사용자 입력에 응답하여 상기 합성 이미지 상의 장신구 영역의 적어도 하나의 디자인 요소를 변경할 수 있다. 이때, 다자인 요소는 예를 들어 크기, 모양, 색상 등의 요소를 포함할 수 있을 것이나, 이에 한정되는 것은 아니다.
사용자 입력 처리 모듈(167)의 다른 동작에 관하여서는 추후 도 6 등의 도면을 참조하여 부연 설명하도록 한다.
한편, 도 3에 도시되어 있지는 않으나, 몇몇 실시예들에서, 가상 피팅 모듈(160)은 프로파일 정보 생성부(미도시)를 더 포함할 수도 있다. 프로파일 정보 생성부는 자동으로 사용자의 프로파일 정보를 생성할 수 있다. 예를 들어, 프로파일 정보 생성부(미도시)는 다양한 크기의 문자(또는 심볼)이 포함된 시력 검사 이미지를 통해 사용자의 시력 정보를 생성할 수 있다. 다른 예로서, 프로파일 정보 생성부(미도시)는 사용자의 안면 이미지를 분석하여 스타일 정보(e.g. 헤어스타일, 헤어 색상, 눈 색상, 눈 크기, 눈 모양 등)을 자동으로 생성할 수도 있다. 본 실시예에 따르면, 사용자가 자신의 프로파일 정보를 수동으로 입력할 필요가 없게 되는 바, 사용자의 편의성이 더욱 향상될 수 있다.
한편, 도 2 또는 도 3에 도시된 각 구성요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현될 수도 있다.
지금까지 도 2 및 도 3을 참조하여 본 개시의 몇몇 실시예들에 따른 가상 피팅 장치(100)의 구성 및 동작에 대하여 설명하였다. 이하에서는, 도 4 이하의 도면을 참조하여 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법에 대하여 설명하도록 한다.
이하에서 후술될 가상 피팅 서비스 제공 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 상기 방법의 각 단계는 컴퓨팅 장치의 프로세서(또는 제어부)에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 상기 방법에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 상기 방법의 제1 단계들은 제1 컴퓨팅 장치(e.g. 가상 피팅 장치 100)에 의하여 수행되고, 상기 방법의 제2 단계들은 제2 컴퓨팅 장치(e.g. 서비스 제공 서버 200)에 의하여 수행될 수도 있다. 이하에서는, 상기 방법의 각 단계가 도 1에 예시된 가상 피팅 장치(100)(e.g. 제어부 150, 가상 피팅 모듈 160)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 따라서, 각 단계의 동작 주체가 생략된 경우, 상기 예시된 장치(100)에 의해 수행될 수 있는 것으로 이해될 수 있다.
도 4는 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법을 개략적으로 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 5는 본 개시의 몇몇 실시예들에서 참조될 수 있는 예시적인 디스플레이 화면(GUI)을 도시하고 있다. 특히, 도 5는 장신구가 콘택트렌즈인 경우를 예로써 도시하고 있다.
도 4에 도시된 바와 같이, 가상 피팅 서비스 제공 방법은 사용자의 안면 이미지와 장신구 이미지를 획득하는 단계 S100에서 시작될 수 있다. 본 단계에서, 사용자의 안면 이미지와 장신구 이미지를 획득하는 방식은 다양할 수 있다.
예를 들어, 가상 피팅 장치(100)는 카메라를 통해 사용자의 안면을 촬영함으로써 안면 이미지를 획득하거나, 저장부(130)로부터 기 저장되어 있던 안면 이미지를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니다.
또한, 가상 피팅 장치(100)는 디스플레이를 통해 복수의 장신구 이미지를 포함하는 리스트를 출력하고, 사용자의 선택에 의해 특정 장신구 이미지를 획득할 수 있다. 가령, 도 5에 도시된 바와 같이, 디스플레이 화면의 특정 영역(320)에 복수의 장신구 이미지(321, 322)를 포함하는 리스트가 출력되고 사용자의 선택 입력이 수신되면, 가상 피팅 장치(100)는 선택된 장신구 이미지(e.g. 321)를 합성 대상으로 결정할 수 있다. 그러나, 이에 한정되는 것은 아니고, 가상 피팅 장치(100)는 디스플레이를 통해 이미지가 아닌 장신구에 대한 정보(e.g. 제품 명칭, 제품 브랜드, 제품 사양 등의 정보)를 출력하고, 사용자로부터 장신구에 대한 선택 입력을 받을 수도 있다. 그러면, 가상 피팅 장치(100)는 선택된 장신구에 대한 이미지를 저장부(130) 또는 서비스 제공 서버(200)로부터 획득할 수 있다.
몇몇 실시예들에서, 가상 피팅 장치(100)는 이미지 합성 전에 획득된 안면 이미지에 대한 검증을 수행하거나, 획득된 안면 이미지를 보다 적합한 이미지로 변환할 수 있다. 이와 관련하여서는 도 3의 설명 부분을 참조하도록 한다.
단계 S200에서, 안면 이미지와 장신구 이미지가 합성되어 합성 이미지가 생성될 수 있다. 본 단계에서, 두 이미지를 합성하는 구체적인 방식은 실시예에 따라 달라질 수 있다. 이하, 도 6 및 도 7을 참조하여 본 개시의 실시예들에 따른 이미지 합성 방법에 대하여 설명하도록 한다.
먼저, 도 6을 참조하여 본 개시의 몇몇 실시예들에 따른 이미지 합성 방법에 대하여 설명한다.
도 6은 본 개시의 몇몇 실시예들에 따른 이미지 합성 방법을 나타내는 예시적인 흐름도이다.
도 6에 도시된 바와 같이, 단계 S110에서, 안면 이미지와 장신구 이미지를 합성하기 위해, 안면 이미지에서 눈 영역이 식별될 수 있다. 구체적인 식별 방식은 어떠한 방식이 되더라도 무방하다. 가령, 가상 피팅 장치(100)는 본 개시의 기술 분야에서 널리 알려진 이미지 처리 기법 또는 이미지 분석 기법을 이용하여 안면 이미지에서 눈 영역을 식별할 수 있다.
단계 S120에서, 식별된 눈 영역에서 눈동자 영역이 검출될 수 있다. 구체적인 검출 방식 또한 어떠한 방식이 되더라도 무방하다.
단계 S130에서, 검출된 눈동자 영역을 기초로 안면 이미지 상에 장신구 이미지를 오버레이(overlay)하여 합성 이미지가 생성될 수 있다. 예를 들어, 장신구가 콘택트렌즈인 경우, 가상 피팅 장치(100)는 검출된 눈동자 영역을 기준으로 콘택트렌즈 이미지를 정합하고, 눈동자 영역 상에 콘택트렌즈 이미지를 오버레이할 수 있다. 이때, 가상 피팅 장치(100)는 눈동자 영역의 크기에 맞게 콘택트렌즈 이미지의 크기를 조절한 다음에, 이미지 오버레이를 수행할 수도 있다.
몇몇 실시예들에서는, 장신구의 정보(e.g. 색상, 유형, 도수 등의 사양 정보)를 기초로 상기 합성 이미지를 보정하는 단계가 더 수행될 수 있다. 예를 들어, 가상 피팅 장치(100)는 콘택트렌즈의 색상 정보와 투명도 정보를 기초로 합성 이미지 상의 콘택트렌즈 영역의 색상을 보정할 수 있다(e.g. 컬러 콘택트렌즈의 경우). 가령, 가상 피팅 장치(100)는 소정의 가중치(α; 투명도에 의해 결정됨)에 기초하여 눈동자 영역의 색상(a)과 콘택트렌즈의 색상(b)을 종합(e.g. c=b*α/100+a*(1-α/100))하고, 콘택트렌즈 영역의 색상을 종합된 색상(c)으로 변경할 수 있다. 다른 예로서, 가상 피팅 장치(100)는 콘택트렌즈의 유형을 기초로 합성 이미지 상의 콘택트렌즈 영역의 크기를 보정할 수 있다. 가령, 콘택트렌즈가 서클 렌즈인 경우, 가상 피팅 장치(100)는 콘택트렌즈 영역의 크기를 증가시킬 수 있다. 물론, 이때 눈동자 영역 또는 눈 영역의 크기도 함께 증가될 수 있다. 또 다른 예로서, 가상 피팅 장치(100)는 콘택트렌즈의 도수 또는 형태(e.g. 오목, 볼록)를 기초로 합성 이미지 상의 눈 영역 또는 눈동자 영역의 크기를 크거나 작게 보정할 수도 있다. 본 실시예에 따르면, 사용자의 실제 장신구 착용 모습에 더욱 가까운 합성 이미지가 생성될 수 있다.
도 7은 본 개시의 다른 몇몇 실시예들에 따른 이미지 합성 방법을 설명하기 위한 예시도이다. 특히, 도 7은 장신구가 콘택트렌즈인 경우를 예로써 도시하고 있다.
도 7에 도시된 바와 같이, 본 실시예에서는, GAN(Generative Adversarial Networks) 기반의 이미지 합성 모델을 통해 안면 이미지와 장신구 이미지가 합성될 수 있다. 당해 기술 분야의 종사자라면, GAN의 구성 및 적대적 학습 기법에 대하여 자명하게 이해할 수 있을 것인 바, 본 개시의 논지를 흐리지 않도록 GAN 자체에 대한 설명은 생략하도록 한다.
구체적으로, 실시예에 따른 이미지 합성 모델은 생성기(330; Generator)와 판별기(340; Discriminator)를 포함할 수 있고, 생성기(330)와 판별기(340)는 적대적 학습을 통해 상호 보완적으로 학습될 수 있다.
도시된 바와 같이, 생성기(330)는 사용자의 안면 이미지(331)와 장신구 이미지(332)를 입력받고 두 이미지(331, 332)가 합성된 페이크 이미지(334)를 생성하도록 학습될 수 있다. 가령, 생성기(330)는 페이크 이미지(334)에 대한 판별기(340)의 예측 오차(즉, 예측값과 정답의 차이)를 역전파하여 가중치를 업데이트함으로써, 점차적으로 실제에 가까운 페이크 이미지(e.g. 334)를 생성할 수 있게 된다.
또한, 판별기(340)는 실제 이미지(333; e.g. 사용자가 장신구를 실제로 착용하고 촬영한 이미지)와 페이크 이미지(334)를 구별하도록 학습될 수 있다. 가령, 판별기(340)는 입력된 이미지(e.g. 333, 334)에 대한 예측 오차를 역전파하여 가중치를 업데이트함으로써, 실제 이미지(e.g. 333)와 페이크 이미지(334)를 점점 더 정확하게 구별할 수 있게 된다.
한편, 몇몇 실시예들에서, 상기 이미지 합성 모델은 장신구의 유형(클래스)을 분류하는 분류기(미도시; classifier)를 더 포함할 수 있다. 이때, 장신구의 유형은 어떠한 방식으로 정의되더라도 무방하다. 분류기(미도시)는 페이크 이미지(334)에서 추출된 장신구 영역 이미지를 입력받고 장신구에 대한 유형을 가리키는 예측값(e.g. 클래스 별 컨피던스 스코어)을 출력할 수 있다. 그러면, 생성기(330)는 분류기(미도시)의 예측 오차를 역전파하여 학습할 수 있다. 이러한 경우, 생성기(330)가 더욱 실제에 가까운 페이크 이미지(e.g. 334)를 생성할 수 있게 된다. 참고로, 생성기(330)는 장신구 이미지(332)뿐만 아니라 장신구의 유형 정보(즉, 클래스 정보)를 더 입력받아 페이크 이미지(334)를 생성하도록 구현될 수도 있다.
또한, 몇몇 실시예들에서, 생성기(330)는 실제 이미지(333)의 장신구 영역과 페이크 이미지(334)의 장신구 영역과 간의 오차(e.g. 픽셀값 차이에 기초한 오차)를 더 학습할 수 있다. 가령, 실제 이미지(333) 및 페이크 이미지(334) 각각에서 장신구 영역이 추출되고, 추출된 장신구 영역 간의 오차가 산출되면, 산출된 오차가 더 역전파됨으로써 생성기(330)의 가중치가 업데이트될 수 있다. 이러한 경우, 생성기(330)가 더욱 더 실제에 가까운 페이크 이미지(e.g. 334)를 생성할 수 있게 된다.
앞선 실시예들에서, 생성기(330)는 디컨볼루션 신경망(de-convolutional neural networks)에 기초하여 구현되고, 판별기(340)는 컨볼루션 신경망(convolutional neural networks)에 기초하여 구현될 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니다.
한편, 본 개시의 또 다른 몇몇 실시예들에서는, 상술한 실시예들의 조합에 기초하여 합성 이미지가 결정될 수 있다. 예를 들어, 가상 피팅 장치(100)는 도 6에 예시된 바에 따라 제1 합성 이미지를 생성하고, 도 7에 예시된 바에 따라 제2 합성 이미지를 생성할 수 있다. 그리고, 가상 피팅 장치(100)는 판별기(340)를 통해 제1 합성 이미지와 제2 합성 이미지 각각에 대한 예측값(e.g. 실제에 해당할 컨피던스 스코어)를 출력하고, 출력된 예측값을 기초로 두 합성 이미지 중에서 어느 하나의 이미지(즉, 더 실제에 가까운 이미지)를 최종 합성 이미지로 결정할 수 있다.
또는, 가상 피팅 장치(100)는 상기 제1 합성 이미지와 상기 제2 합성 이미지를 종합하여 최종 합성 이미지를 생성할 수도 있다. 가령, 가상 피팅 장치(100)는 상기 제1 합성 이미지의 픽셀값과 상기 제2 합성 이미지의 픽셀값을 가중치 기반으로 종합(e.g. 가중치 합)하여 최종 합성 이미지를 생성할 수 있다. 이때, 상기 제2 합성 이미지에 부여되는 가중치는 이미지 합성 모델의 성능 지표(e.g. 합성 정확도, 학습한 데이터의 양, 학습 횟수 등)가 향상될수록 증가되고, 상기 제1 합성 이미지에 부여되는 가중치는 감소될 수 있다.
참고로, GAN 기반의 이미지 합성 모델을 이용하는 경우, 이미지 합성 모델에 대한 학습은 서비스 제공 서버(200)에서 수행되고, 가상 피팅 장치(100)는 학습된 이미지 합성 모델을 서비스 제공 서버(200)로부터 제공받아 이미지 합성을 수행할 수도 있다. 또는, 가상 피팅 장치(100)는 서비스 제공 서버(200)에게 이미지 합성을 요청하고, 서비스 제공 서버(200)로부터 합성된 이미지를 수신할 수도 있다. 이러한 기술적 구현 방식은 이하에서 설명되는 다른 GAN 기반 모델에도 동일하게 적용될 수 있다.
다시, 도 4를 참조하여 설명한다.
단계 S300에서, 합성 이미지가 사용자에게 제공될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 가상 피팅 장치(100)는 디스플레이 화면의 특정 영역(310)에 안면 이미지와 장신구 이미지(321)가 합성된 이미지를 출력할 수 있다.
참고로, 단계 S100은 정보 입력 모듈(161)에 의해 수행되고, 단계 S200 및 S300은 이미지 합성 모듈(163)에 의해 수행될 수 있다.
한편, 도 4에 도시되어 있지는 않으나, 몇몇 실시예들에서는, 합성 이미지에 대한 사용자 입력을 처리하는 단계가 더 수행될 수도 있다. 여기서, 사용자 입력은 예를 들어 장신구 영역(또는 장신구 이미지)에 대한 투명도 조절 기능과 관련된 사용자 입력, 장신구 이미지에 대한 합성 온/오프 기능과 관련된 사용자 입력, 장신구 영역((또는 장신구 이미지) 또는 다른 영역의 디자인 요소(e.g. 색상, 크기 등) 변경 기능과 관련된 사용자 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 실시예와 연관된 동작은 사용자 입력 처리 모듈(167)에 의해 수행될 수 있는데, 이하, 본 실시예에 대하여 도 5를 참조하여 부연 설명한다.
도 5에 도시된 바와 같이, 가상 피팅 장치(100)는 디스플레이 화면을 통해 합성 온/오프에 관한 제1 인터페이스(312), 투명도 조절에 관한 제2 인터페이스(313), 확대/축소에 관한 제3 인터페이스(미도시) 등을 표시할 수 있다. 그러면, 사용자는 표시된 인터페이스(312, 313)를 통해 다양한 조작을 행할 수 있다.
예를 들어, 사용자는 제1 인터페이스(312)를 통해 합성 처리를 제거하거나 복원할 수 있다. 구체적인 예로써, 사용자는 제1 인터페이스(312)를 통해 좌측 및/또는 우측의 콘택트렌즈(321-1, 321-2) 합성 처리를 제거(또는 복원)하는 명령을 입력할 수 있고, 가상 피팅 장치(100)는 사용자 입력에 응답하여 콘택트렌즈(321-1, 321-2) 합성 처리를 제거(또는 복원)할 수 있다. 이러한 경우, 사용자가 콘택트렌즈 착용 전/후의 모습을 한눈에 확인할 수 있는 바, 가상 피팅 서비스에 대한 사용자 만족도가 제고될 수 있다.
다른 예로서, 사용자는 제2 인터페이스(313)를 통해 장신구 영역의 투명도를 조절하는 명령을 입력할 수 있고, 가상 피팅 장치(100)는 사용자 입력에 응답하여 장신구 영역의 투명도를 조절할 수 있다. 특히, 도 5는 투명도 조절 인터페이스(312)가 슬라이드 바 형태로 구현된 것을 예시하고 있다.
또 다른 예로서, 사용자는 제3 인터페이스(미도시)를 통해 합성 이미지의 일부 또는 전체 영역을 확대하거나 축소시키는 명령을 입력할 수 있고, 가상 피팅 장치(100)는 사용자 입력에 응답하여 확대/축소 처리를 수행할 수 있다. 이러한 경우, 사용자는 장신구 착용 모습을 보다 세밀하게 확인할 수 있게 되는 바, 가상 피팅 서비스에 대한 사용자 만족도가 제고될 수 있다.
이외에도, 사용자는 다양한 인터페이스를 통해 장신구 영역(e.g. 321-1, 321-2)의 디자인 요소를 변경하거나, 사용자의 스타일을 변경하는 등의 조작을 행할 수 있다. 다만, 인터페이스(e.g. 312)의 종류와 구현 형태는 상술한 예시들에 의해 한정되는 것은 아니며, 다양하게 설계될 수 있다.
지금까지, 도 4 내지 도 7을 참조하여 본 개시의 몇몇 실시예들에 따른 가상 피팅 서비스 제공 방법에 대하여 전반적으로 설명하였다. 상술한 방법에 따르면, 눈 부위 장신구에 대한 가상 피팅 체험을 할 수 있는 서비스가 제공될 수 있다. 이에 따라, 장신구 구매 시에 사용자의 편의성이 크게 개선될 수 있으며, 온라인 상으로도 장신구 거래가 활성화될 수 있다.
한편, 본 개시의 몇몇 실시예들에서는, GAN 기반의 이미지 변환 모델을 이용하여 다양한 사용자 편의 기능이 제공될 수 있는데, 이하 본 실시예에 관하여 도 8 내지 도 11을 참조하여 부연 설명하도록 한다.
도 8은 본 개시의 몇몇 실시예들에 따른 이미지 변환 모델(350)의 동작을 예시하고 있다.
도 8에 도시된 바와 같이, 이미지 변환 모델(350)은 GAN에 기반하여 구현될 수 있다. 그리고, 이미지 변환 모델(350)은 제1 도메인의 이미지(e.g. 351)를 제2 도메인의 이미지(e.g. 354)로 변환하거나, 제2 도메인의 이미지(e.g. 352)를 재1 도메인의 이미지(e.g. 353)로 변환하거나, 두 도메인의 이미지를 상호 변환할 수 있다.
여기서, 도메인은 동일한 속성을 공유하는 이미지들의 집합을 개념적으로 지칭하는 것으로, 다양한 방식으로 정의되거나 설계될 수 있다. 예를 들어, 도 8에 예시된 경우에서, 도메인은 장신구(e.g. 마스크) 착용 여부를 기준으로 구분되고, 제1 도메인은 특정 장신구(e.g. 마스크)의 착용이미지(e.g. 351, 354)와 연관되며, 제2 도메인은 상기 특정 장신구(e.g. 마스크)의 미착용이미지(352, 353)와 연관될 수 있다. 다른 예로서, 도메인은 품질을 기준으로 구분되도록 설계될 수 있는데, 이러한 경우 이미지 변환 모델(e.g. 350)은 저품질의 이미지를 고품질의 이미지로 변환할 수 있게 된다. 또 다른 예로서, 도메인은 스타일(e.g. 헤어스타일, 헤어 색상 등)을 기준으로 구분되도록 설계될 수 있는데, 이미지 변환 모델(e.g. 350)은 이미지의 스타일을 변환할 수 있게 된다. 또 다른 예로서, 도메인은 표정, 자세, 방향 등을 기준으로 구분되도록 설계될 수 있는데, 이러한 경우 이미지 변환 모델(e.g. 350)은 이미지의 표정, 자세 또는 방향을 변환할 수 있게 된다.
구체적으로, 이미지 변환 모델(350)은 도메인 변환(또는 이미지 변환) 기능이 구비된 다양한 유형의 GAN에 기초하여 구현될 수 있다. 예를 들어, 이미지 변환 모델(350)은 Disco-GAN, cycle-GAN, UNIT(Unsupervised Image-to-Image Translation), MUNIT(Multimodal Unsupervised Image-to-Image Translation), starGAN, fusionGan 등과 같은 다양한 GAN에 기초하여 구현될 수 있다. 이해의 편의를 제공하기 위해, 일부 예시에 관하여서는 추후 도 9 및 도 10을 참조하여 간략하게 설명하도록 한다.
도 8에 도시된 바와 같이, 이미지 변환 모델(350)은 제1 도메인 이미지(351) 또는 제2 도메인 이미지(352)를 다른 도메인의 페이크 이미지(353, 354)로 변환할 수 있다. 도 8은 마스크착용이미지를 마스크미착용이미지로 변환하는 것을 예로써 도시하고 있으나, 장신구의 종류는 얼마든지 변경될 수 있음은 물론이다.
이미지 변환 모델(350)의 몇몇 예시는 도 9 및 도 10에 도시되어 있다. 도 9는 이미지 변환 모델(350)이 cycle-GAN에 기초하여 구현된 것을 예시하고 있고, 도 10은 UNIT에 기초하여 구현된 것을 예시하고 있다. 이하, 설명의 편의상, 이미지 변환 모델(350)을 "변환 모델"로 약칭하도록 한다.
이하, 도 9을 참조하여 변환 모델(350)의 구조와 학습 방법의 일 예시에 대하여 설명한다.
도 9에 도시된 바와 같이, 변환 모델(350)은 제1 생성기(361), 제2 생성기(362), 제1 판별기(363) 및 제2 판별기(364)를 포함할 수 있다.
제1 생성기(361)는 제1 도메인의 이미지(365-1)를 제2 도메인의 페이크 이미지(365-2)로 변환하는 모듈이다. 그리고, 제2 판별기(364)는 제2 도메인의 실제 이미지(366-1)와 페이크 이미지(365-2)를 판별하는 모듈이다. 제1 생성기(361)와 제2 판별기(364)는 적대적 학습을 통해 상호 보완적으로 학습될 수 있다(즉, 가중치가 업데이트됨).
또한, 제1 생성기(361)는 제1 일관성 오차(consistency loss; LCONSTA)를 이용하여 더 학습될 수 있다. 제1 일관성 오차(LCONSTA)는 제1 생성기(361)로 입력된 실제 이미지(365-1)와 제2 생성기(362)를 통해 변환된 페이크 이미지(365-3) 간의 차이에 기초하여 산출될 수 있다. 이때, 페이크 이미지(365-3)는 제1 생성기(361)를 통해 변환된 페이크 이미지(365-2)를 다시 제2 생성기(362)를 통해 본래의 도메인으로 변환한 이미지를 의미할 수 있다. 제1 일관성 오차(LCONSTA)을 학습함으로써, 제1 생성기(361)는 학습 데이터셋이 이미지 쌍(pair)으로 구성되어 있지 않더라도 정확하게 이미지 변환을 수행할 수 있게 된다. 제1 일관성 오차(LCONSTA)는 예를 들어 유클리드 거리(Euclidian distance), 코사인 유사도(cosine similarity) 등에 기초하여 산출될 수 있을 것이나, 본 개시의 기술적 범위가 상기 열거된 예시에 한정되는 것은 아니다.
다음으로, 제2 생성기(362)는 제2 도메인의 이미지(366-1)를 제1 도메인의 페이크 이미지(366-2)로 변환하는 모듈이다. 또한, 제1 판별기(363)는 제1 도메인의 실제 이미지(365-1)와 페이크 이미지(366-2)를 판별하는 모듈이다. 제2 생성기(362)와 제1 판별기(363) 또한 적대적 학습을 통해 상호 보완적으로 학습될 수 있다.
또한, 제2 생성기(362)는 제2 일관성 오차(LCONSTB)를 이용하여 더 학습될 수 있다. 제2 생성기(362)의 학습 과정은 제1 생성기(361)와 유사한 바 더 이상의 설명은 생략하도록 한다.
이하, 도 10을 참조하여 변환 모델(350)의 구조와 학습 방법의 다른 예시에 대하여 설명한다.
도 10에 도시된 바와 같이, 변환 모델(350)은 제1 도메인과 연관된 제1 인코더(371), 제1 생성기(373) 및 제1 판별기(375)와, 제2 도메인과 연관된 제2 인코더(372), 제2 생성기(374) 및 제2 판별기(376)를 포함할 수 있다.
제1 인코더(371)는 제1 도메인의 이미지(377-1)를 인코딩 데이터(378)로 인코딩하는 모듈이고, 제2 인코더(372)는 제2 도메인 이미지(378-1)를 인코딩 데이터(378)로 인코딩하는 모듈이다. 인코딩 데이터(378)는 제1 도메인과 제2 도메인 이미지 간(즉, 서로 다른 도메인 간)에 잠재적으로 공유되는 특정 공간(latent shared space) 상의 데이터로 이해될 수 있다.
제1 생성기(373)는 인코딩 데이터(378)에 기초하여 제1 도메인의 페이크 이미지(377-2)를 생성하는 모듈이다. 마찬가지로, 제2 생성기(374)는 인코딩 데이터(378)에 기초하여 제2 도메인의 페이크 이미지(377-2)를 생성하는 모듈이다.
제1 판별기(375)는 제1 도메인 이미지에 대한 판별 동작을 수행하는 모듈이고, 제2 판별기(376)는 제2 도메인 이미지에 대한 판별 동작을 수행하는 모듈이다. 제1 판별기(375)와 제1 생성기(373) 간에는 적대적 학습이 수행되고, 제2 판별기(376)와 제2 생성기(374) 간에도 적대적 학습이 수행될 수 있다.
또한, 이미지 변환을 위해 도 10에 도시된 흐름에 따라 학습이 수행될 수 있다. 예를 들어, 제2 도메인의 이미지(378-1)에 대한 인코딩 데이터(378)가 제1 생성기(373)에 입력되면, 제2 도메인의 이미지(378-1)가 제1 도메인의 페이크 이미지(378-2)로 변환되도록 학습이 수행될 수 있다. 유사하게, 제1 도메인의 이미지(377-1)에 대한 인코딩 데이터(378)가 제2 생성기(374)에 입력되면, 제1 도메인의 이미지(377-1)가 제2 도메인의 페이크 이미지(377-2)로 변환되도록 학습이 수행될 수 있다. 구체적인 학습 방법과 관련해서는"UNIT; Unsupervised Image-to-Image Translation"으로 명명되는 문헌을 참조하도록 한다. 실제 이미지 변환 또한 도 10에 도시된 흐름에 따라 수행될 수 있다.
당해 기술 분야의 당업자라면, GAN을 이용한 도메인 변환(또는 스타일 변환) 기능에 대해 자명하게 이해할 수 있을 것인 바, 더 이상의 자세한 설명은 생략하도록 한다.
도 8 내지 도 10을 참조하여 설명한 변환 모델(350)은 다양한 사용자 편의 기능을 제공하기 위해 활용될 수 있는데, 이하에서는 변환 모델(350)의 활용 예시에 관하여 설명하도록 한다.
몇몇 실시예들에서, 변환 모델(350)은 이미지 합성(즉, 가상 피팅) 전에 사용자의 안면 이미지에서 불필요한 장신구를 제거하기 위해 활용될 수 있다. 가령, 콘택트렌즈에 대한 가상 피팅 서비스를 이용하는 사용자가 안경을 착용하고 있는 안면 이미지를 입력한 경우, 입력된 안면 이미지에서 안경을 제거하기 위해 변환 모델(350)이 활용될 수 있다. 즉, 변환 모델(350)은 입력된 안경착용이미지를 안경미착용 이미지로 변환함으로써 사용자가 안면 이미지를 다시 입력하는 번거로움을 방지할 수 있다. 또는, 변환 모델(350)은 도 8 내지 도 10에 예시된 바와 같이 마스크착용이미지를 마스크미착용이미지로 변환하기 위해 활용될 수도 있다.
몇몇 실시예들에서, 변환 모델(350)은 사용자가 입력한 안면 이미지를 보다 합성에 적합한 이미지로 변환하기 위해 활용될 수 있다. 예컨대, 입력된 안면 이미지가 저품질인 경우, 변환 모델(350)은 입력된 안면 이미지를 고품질의 이미지로 변환할 수 있다. 다른 예로서, 입력된 안면 이미지의 정면 이미지가 아닌 경우, 변환 모델(350)은 입력된 이미지를 정면 방향의 이미지로 변환할 수 있다.
몇몇 실시예들에서, 변환 모델(350)은 사용자가 입력한 안면 이미지의 스타일을 변환하기 위해 활용될 수 있다. 가령, 도 11에 예시된 바와 같이, 변환 모델(350)은 입력된 안면 이미지(381)를 다른 스타일(e.g. 다른 헤어 색상)의 이미지(382 내지 384)로 변환할 수 있다. 이때, 가상 피팅 장치(100)는 변환된 복수의 안면 이미지(382 내지 384) 각각과 장신구 이미지를 합성하여 복수의 합성 이미지를 사용자에게 제공할 수도 있다. 이러한 경우, 사용자는 장신구가 착용된 모습에 어울리는 스타일을 손쉽게 찾을 수 있게 되는 바, 사용자의 만족도가 크게 향상될 수 있다. 또는, 변환 모델(350)은 사용자의 요청에 따라 안면 이미지를 특정 스타일의 이미지로 변환할 수도 있다. 이러한 경우, 사용자는 자신이 원하는 스타일에 어울리는 장신구를 손쉽게 찾을 수 있게 된다.
몇몇 실시예들에서, 변환 모델(350)은 사용자가 입력한 안면 이미지를 다른 표정, 방향, 자세의 이미지로 변환하게 위해 활용될 수 있다. 이러한 경우, 가상 피팅 장치(100)는 다양한 표정, 방향, 자세의 합성 이미지를 사용자에게 제공할 수 있게 되어, 가상 피팅 서비스의 유희 기능이 강화될 수 있다.
몇몇 실시예들에서, 변환 모델(350)은 사용자가 입력한 안면 이미지를 트렌디한 장신구가 착용된 이미지로 변환하기 위해 활용될 수 있다. 가령, 변환 모델(350)은 최신 패션 트렌드를 이끌고 있는 유명인(e.g. 연예인, 패션 인플루언서 등)의 장신구미착용이미지와 장신구착용이미지를 학습하는 경우, 변환 모델(350)은 입력된 안면 이미지를 트렌디한 장신구가 착용된 이미지로 변환할 수 있게 된다. 이러한 변환 모델(350)은 사용자에게 장신구를 추천하기 위해 이용될 수 있는데, 이와 관련하여서는 추후 도 14를 참조하여 부연 설명하도록 한다.
지금까지 도 8 내지 도 11을 참조하여 본 개시의 몇몇 실시예들에 따른 GAN 기반의 변환 모델의 동작 원리와 다양한 활용예에 대하여 설명하였다. 상술한 바에 따르면, 다양한 사용자 편의 기능이 제공될 수 있는 바, 가상 피팅 서비스를 이용하는 사용자의 서비스 만족도가 더욱 제고될 수 있다.
이하에서는, 도 12 내지 도 15를 참조하여 본 개시의 몇몇 실시예들에 따른 장신구 추천 방법에 대하여 설명하도록 한다.
도 12는 본 개시의 제1 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 12에 도시된 바와 같이, 본 실시예에서는, 사용자의 프로파일 정보를 기초로 장신구가 추천될 수 있다(S410, S420). 여기서, 사용자의 프로파일 정보는 예를 들어 인구통계학적 정보(e.g. 나이, 성별, 연령층 등), 스타일 정보(e.g. 헤어스타일, 헤어 색상, 눈 크기, 눈 색상, 눈 모양, 피부 색상, 얼굴형 등), 시력 정보 등의 정보를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다. 본 실시예에서, 그 구체적인 추천 방식은 다양할 수 있다.
예를 들어, 가상 피팅 장치(100)는 사용자의 성별 및/또는 연령층에서의 인기 장신구를 사용자에게 추천할 수 있다. 연령층 및/또는 성별에 따른 인기 장신구는 다수 사용자들의 가상 피팅 이력 정보를 분석함으로써 획득될 수 있고, 다른 방식으로 획득될 수도 있다.
다른 예로서, 가상 피팅 장치(100)는 사용자의 눈 크기, 눈 색상, 눈 모양 및 시력 등의 스타일 정보를 기초로 장신구를 추천할 수 있다. 가령, 가상 피팅 장치(100)는 눈 색상을 고려하여 콘택트렌즈의 색상(또는 투명도)을 결정하고, 눈 크기를 고려하여 콘택트렌즈의 크기를 결정하며, 눈 모양을 고려하여 콘택트렌즈의 모양을 결정할 수 있다. 또한, 가상 피팅 장치(100)는 시력 정보를 고려하여 콘택트렌즈의 도수를 결정할 수 있다. 그리고, 가상 피팅 장치(100)는 결정된 색상, 크기, 모양 및/또는 도수를 갖는 콘택트렌즈 제품을 사용자에게 추천할 수 있다.
또 다른 예로서, 가상 피팅 장치(100)는 전술한 예시들의 조합에 기초하여 장신구를 추천할 수도 있다. 가령, 가상 피팅 장치(100)는 사용자의 인구통계학적 정보를 기초로 복수의 장신구를 추천 후보로 결정하고, 사용자의 스타일 정보를 기초로 결정된 추천 후보 중에서 추천 대상을 결정할 수도 있다.
참고로, 예시된 추천 방식을 구현하기 위해 머신러닝 기반의 추천 모델이 활용될 수도 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니다.
도 13은 본 개시의 제2 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 13에 도시된 바와 같이, 본 실시예에서는, 사용자와 프로파일 정보가 유사한 다른 사용자의 가상 피팅 이력 정보를 기초로 장신구가 추천될 수 있다(S510 내지 S530). 이때, 프로파일 정보 간의 유사도는 인구통계학적 정보의 유사도, 스타일 정보의 유사도, 시력 정보의 유사도 등에 기초하여 산출될 수 있을 것이나, 이에 한정되는 것은 아니며, 어떠한 방식으로 산출되더라도 무방하다.
예를 들어, 가상 피팅 장치(100)는 사용자와 연령층, 스타일, 시력 정보가 유사한 다른 사용자들이 기준 횟수 이상의 가상 피팅을 수행한 장신구, 상기 다른 사용자들의 피드백 점수가 기준 점수 이상인 장신구 등을 사용자에게 추천할 수 있다. 여기서, 피드백 점수는 상기 다른 사용자가 가상 피팅 결과(즉, 합성 이미지)를 응시한 시간, 상기 다른 사용자가 피팅한 장신구의 판매 사이트에 방문했는지 여부, 상기 다른 사용자가 피팅한 장신구를 구매했는지 여부 등에 기초하여 산출될 수 있다. 가령, 응시 시간을 토대로 산출된 제1 피드백 점수(e.g. 응시 시간이 길수록 높음), 판매 사이트 방문 여부로 산출된 제2 피드백 점수 및 구매 여부로 산출된 제3 피드백 점수의 가중치 합으로 피드백 점수가 산출될 수 있으며, 이때 제3 피드백 점수에 부여되는 가중치가 가장 높고, 제1 피드백 점수에 부여되는 가중치가 가장 낮을 수 있다.
한편, 몇몇 실시예들에서는, 사용자의 가상 피팅 이력 정보에 기초하여 장신구가 추천될 수도 있다. 가령, 가상 피팅 장치(100)는 사용자의 가상 피팅 이력 정보를 기초로 피드백 점수를 산출하고, 피드백 점수가 기준치 이상인 장신구와 유사한 장신구를 사용자에게 추천할 수 있다.
도 14는 본 개시의 제3 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 14에 도시된 바와 같이, 본 실시예에서는, GAN 기반의 변환 모델이 장신구 추천에 활용될 수 있다. 구체적으로, 변환 모델을 통해 사용자의 안면 이미지가 장신구착용이미지로 변환되고, 장신구착용이미지 상의 장신구 이미지와 유사한 장신구가 사용자에게 추천될 수 있다(S610, S620). 이때, 장신구의 유사도는 장신구의 유형, 디자인 요소(e.g. 모양, 색상, 크기, 형태 등) 등을 고려하여 산출될 수 있으며, 어떠한 방식으로 산출되더라도 무방하다.
본 실시예에서, 상기 변환 모델은 최신 패션 트렌드를 이끌고 있는 유명인(e.g. 연예인, 패션 인플루언서 등)의 장신구미착용이미지와 장신구착용이미지를 학습함으로써 구축될 수 있다. 구축 방법에 관하여서는 도 8 내지 도 10의 설명 부분을 참조하도록 한다. 이러한 경우, 변환 모델은 사용자의 안면 이미지를 사용자와 유사한 스타일을 갖는 유명인의 장신구착용이미지처럼 변환하게 되므로, 사용자의 스타일에 맞고 최신 패션 트렌드가 반영된 장신구가 사용자에게 추천될 수 있다.
도 15는 본 개시의 제4 실시예에 따른 장신구 추천 방법을 나타내는 예시적인 흐름도이다.
도 15에 도시된 바와 같이, 본 실시예에서는, 사용자 입력에 의해 장신구의 디자인 요소가 변경되는 것을 반영하여 추천이 이루어질 수 있다. 구체적으로, 가상 피팅 장치(100)가 장신구에 대한 합성 이미지를 제공한 다음, 사용자에 입력에 응답하여 합성 이미지 상의 장신구 영역에 대해 적어도 하나의 디자인 요소(e.g. 크기, 색상, 모양 등)를 변경하였다고 가정하자(S710, S720). 이러한 경우, 가상 피팅 장치(100)는 변경된 장신구 영역의 이미지와 디자인 유사도가 기준치 이상인 장신구를 사용자에게 추천할 수 있다(S730). 가령, 가상 피팅 장치(100)는 기 저장된 복수의 장신구 제품 이미지 중에서 상기 변경된 장신구 영역과 디자인이 가장 유사한 장신구 제품을 사용자에게 추천할 수 있다. 이러한 경우, 사용자의 디자인 선호도가 반영된 추천이 이루어질 수 있기 때문에, 장신구 추천의 정확도가 향상되고 사용자의 만족도는 제고될 수 있다.
한편, 몇몇 실시예들에서, 가상 피팅 장치(100)는 상술한 제1 내지 제4 실시예들 중 적어도 하나에 기초하여 다수의 장신구에 대하여 추천 스코어를 산출하고, 추천 스코어를 기준치 이상인 복수의 장신구를 추천 후보로 결정할 수 있다. 그리고, 가상 피팅 장치(100)는 각 장신구의 판매자의 우선순위를 고려하여 상기 복수의 장신구에 대한 추천 순위를 결정할 수도 있다. 가령, 추천 스코어가 유사한 경우, 가상 피팅 장치(100)는 과금 서비스를 이용하는 판매자의 장신구를 우선적으로 추천할 수도 있다. 이러한 경우, 장신구 추천 기능을 통해 새로운 수익 모델이 구축될 수 있다.
또한, 가상 피팅 장치(100)는 상술한 제1 내지 제4 실시예들 각각에 따라 추천 스코어를 산출하고, 산출된 추천 스코어를 종합하여 장신구를 추천할 수도 있다.
참고로, 지금까지 설명한 장신구 추천 방법은 장신구 추천 모듈(165)에 의해 수행될 수도 있고, 서비스 제공 서버(200)에 의해 수행될 수 있다. 또한, 상술한 장신구 추천 방법은 사용자 요청(e.g. 특정 사용자 입력 수신)에 응답하여 수행될 수 있고, 소정의 조건이 만족됨에 응답하여 자동으로 수행될 수도 있다. 또한, 가상 피팅 장치(100)는 장신구에 대한 리스트를 사용자에게 제공할 때(도 5 참조), 추천 장신구를 포함시켜 제공할 수도 있다.
지금까지 도 12 내지 도 15를 참조하여 본 개시의 몇몇 실시예들에 따른 장신구 추천 방법에 대하여 설명하였다. 상술한 방법에 따르면, 사용자에게 잘 맞는 장신구가 다양한 방식으로 추천될 수 있다. 이에 따라, 사용자가 원하는 장신구를 찾거나 구매하기 위해 소요되는 시간이 단축될 수 있으며, 장신구 판매가 더욱 촉진될 수 있다. 나아가, 가상 피팅 서비스를 이용하는 사용자의 만족도는 더욱 향상될 수 있다.
지금까지 도 1 내지 도 15를 참조하여 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 개시의 실시예를 구성하는 모든 구성요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 가상 피팅 서비스 제공 방법, 장치 및 그 시스템에 관한 것으로, 눈 부위 장신구에 대한 가상 피팅 서비스를 제공하는 방법, 그 방법을 수행하는 장치 및 시스템으로 이용될 수 있다.

Claims (14)

  1. 컴퓨팅 장치에서 눈 부위의 장신구에 대한 가상 피팅 서비스를 제공하는 방법에 있어서,
    사용자의 안면 이미지를 획득하는 단계;
    상기 장신구의 이미지를 획득하는 단계;
    상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계; 및
    상기 합성된 이미지를 제공하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 장신구는 콘택트렌즈이고,
    상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계는,
    상기 획득된 안면 이미지에서 눈 영역을 식별하는 단계;
    상기 식별된 눈 영역에서 눈동자 영역을 검출하는 단계; 및
    상기 검출된 눈동자 영역을 기초로 상기 획득된 안면 이미지 상에 상기 콘택트렌즈의 이미지를 오버레이하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계는,
    상기 콘택트렌즈의 정보를 기초로 상기 오버레이된 이미지의 콘택트렌즈 영역을 보정하는 단계를 더 포함하되,
    상기 보정하는 단계는,
    상기 콘택트렌즈의 색상 정보와 투명도 정보를 기초로 상기 콘택트렌즈 영역의 색상을 보정하는 단계; 및
    상기 콘택트렌즈의 유형 정보를 기초로 상기 콘택트렌즈 영역의 크기를 보정하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계는,
    GAN(Generative Adversarial Networks) 기반의 이미지 합성 모델을 통해 상기 획득된 안면 이미지와 상기 장신구 이미지를 합성하는 단계를 포함하되,
    상기 이미지 합성 모델은 안면 이미지와 장신구 이미지를 입력받아 합성된 페이크 이미지를 생성하는 생성기와 상기 생성된 페이크 이미지와 실제 장신구착용이미지를 판별하는 판별기를 포함하는,
    가상 피팅 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 생성기는 상기 생성된 페이크 이미지에 대한 상기 판별기의 예측 오차에 기초하여 학습되고,
    상기 생성기는 상기 생성된 페이크 이미지에서 추출된 제1 장신구 영역과 상기 실제 장신구착용이미지에서 추출된 제2 장신구 영역 간의 오차에 더 기초하여 학습되는,
    가상 피팅 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 장신구는 콘택트렌즈이고,
    사용자 입력에 응답하여 상기 제공된 합성 이미지를 처리하는 단계를 더 포함하되,
    상기 제공된 합성 이미지를 처리하는 단계는,
    상기 사용자 입력에 응답하여, 상기 합성 이미지에 포함된 두 개의 눈 영역 중 어느 하나의 눈 영역과 연관된 합성 처리를 제거하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 제공된 합성 이미지와 연관된 사용자 입력을 수신하는 단계; 및
    상기 수신된 사용자 입력에 응답하여, 상기 장신구와 연관된 판매 사이트에 대한 정보를 제공하는 단계를 더 포함하는,
    가상 피팅 서비스 제공 방법.
  8. 제1항에 있어서,
    상기 안면 이미지는 제1 스타일의 안면 이미지이고,
    상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계는,
    GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 안면 이미지를 제2 스타일의 안면 이미지로 변환하는 단계;
    상기 제1 스타일의 안면 이미지를 상기 획득된 장신구 이미지와 합성하여 제1 합성 이미지를 생성하는 단계; 및
    상기 제2 스타일의 안면 이미지를 상기 획득된 장신구 이미지와 합성하여 제2 합성 이미지를 생성하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 사용자에게 장신구를 추천하는 단계를 더 포함하되,
    상기 추천하는 단계는,
    상기 사용자의 프로파일 정보를 기초로 상기 장신구를 추천하는 단계를 포함하고,
    상기 프로파일 정보는 상기 사용자의 눈 색상, 눈 크기, 눈 모양 및 시력 중 적어도 하나의 정보를 포함하는,
    가상 피팅 서비스 제공 방법.
  10. 제1항에 있어서,
    상기 사용자에게 장신구를 추천하는 단계를 더 포함하되,
    상기 추천하는 단계는,
    상기 사용자의 프로파일 정보와 유사도가 기준치 이상인 프로파일 정보를 갖는 다른 사용자를 결정하는 단계; 및
    상기 결정된 다른 사용자의 가상 피팅 이력 정보를 기초로 상기 장신구를 추천하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  11. 제1항에 있어서,
    상기 사용자에게 장신구를 추천하는 단계를 더 포함하되,
    상기 추천하는 단계는,
    GAN(Generative Adversarial Networks) 기반의 이미지 변환 모델을 통해 상기 획득된 안면 이미지를 장신구착용이미지로 변환하는 단계; 및
    상기 변환된 장신구착용이미지를 기초로 상기 장신구를 추천하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  12. 제1항에 있어서,
    상기 사용자에게 장신구를 추천하는 단계를 더 포함하되,
    상기 추천하는 단계는,
    사용자 입력에 응답하여, 상기 제공된 합성 이미지 상의 장신구 영역에 대한 적어도 하나의 디자인 요소를 변경하는 단계; 및
    기 저장된 복수의 장신구 이미지 중에서 상기 변경된 장신구 영역과 유사도가 기준치 이상인 장신구를 추천하는 단계를 포함하는,
    가상 피팅 서비스 제공 방법.
  13. 디스플레이를 포함하는 출력부; 및
    사용자의 안면 이미지와 피팅 대상이 되는 눈 부위의 장신구 이미지를 합성하고, 상기 합성된 이미지가 상기 디스플레이를 통해 출력되도록 상기 출력부를 제어하는 제어부를 포함하는,
    가상 피팅 장치.
  14. 컴퓨팅 장치와 결합되어,
    사용자의 안면 이미지를 획득하는 단계;
    피팅 대상이 되는 눈 부위의 장신구 이미지를 획득하는 단계;
    상기 획득된 안면 이미지와 상기 획득된 장신구 이미지를 합성하는 단계; 및
    상기 합성된 이미지를 제공하는 단계를 실행시키기 위하여 컴퓨터 판독가능한 기록매체에 저장된,
    컴퓨터 프로그램.
PCT/KR2021/010797 2020-08-18 2021-08-13 가상 피팅 서비스 제공 방법, 장치 및 그 시스템 WO2022039450A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023512366A JP2023539159A (ja) 2020-08-18 2021-08-13 バーチャルフィッティングサービス提供方法、装置およびそのシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0103080 2020-08-18
KR1020200103080A KR102271063B1 (ko) 2020-08-18 2020-08-18 가상 피팅 서비스 제공 방법, 장치 및 그 시스템

Publications (1)

Publication Number Publication Date
WO2022039450A1 true WO2022039450A1 (ko) 2022-02-24

Family

ID=76626282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010797 WO2022039450A1 (ko) 2020-08-18 2021-08-13 가상 피팅 서비스 제공 방법, 장치 및 그 시스템

Country Status (3)

Country Link
JP (1) JP2023539159A (ko)
KR (1) KR102271063B1 (ko)
WO (1) WO2022039450A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207901A1 (zh) * 2022-04-29 2023-11-02 北京有竹居网络技术有限公司 互动方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
KR102646540B1 (ko) * 2021-09-01 2024-03-12 김대현 무인 상품 서비스 제공 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130103153A (ko) * 2012-03-09 2013-09-23 주식회사 퍼비스코리아 고객 맞춤형 안경 및 콘택트렌즈 버추얼 피팅 방법 및 그 시스템
KR101520778B1 (ko) * 2014-11-28 2015-05-18 (주) 뷰엠테크놀로지 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
KR20200034917A (ko) * 2018-09-14 2020-04-01 하얼빈 인스티튜트 오브 테크놀로지, 썬전 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법
KR20200085723A (ko) * 2018-12-31 2020-07-15 이준호 안면착용 제품 추천 방법 및 그 장치
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023970A (ko) 2018-08-27 2020-03-06 전호윤 가상 피팅 지원 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130103153A (ko) * 2012-03-09 2013-09-23 주식회사 퍼비스코리아 고객 맞춤형 안경 및 콘택트렌즈 버추얼 피팅 방법 및 그 시스템
KR101520778B1 (ko) * 2014-11-28 2015-05-18 (주) 뷰엠테크놀로지 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
KR20200034917A (ko) * 2018-09-14 2020-04-01 하얼빈 인스티튜트 오브 테크놀로지, 썬전 속성 생성적 대립 네트워크 및 상기 네트워크를 기반으로 하는 의류 매칭 생성 방법
KR20200085723A (ko) * 2018-12-31 2020-07-15 이준호 안면착용 제품 추천 방법 및 그 장치
KR102271063B1 (ko) * 2020-08-18 2021-06-29 정윤호 가상 피팅 서비스 제공 방법, 장치 및 그 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207901A1 (zh) * 2022-04-29 2023-11-02 北京有竹居网络技术有限公司 互动方法、装置、设备及介质

Also Published As

Publication number Publication date
KR102271063B1 (ko) 2021-06-29
JP2023539159A (ja) 2023-09-13

Similar Documents

Publication Publication Date Title
WO2022039450A1 (ko) 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
WO2018143630A1 (ko) 상품을 추천하는 디바이스 및 방법
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2018117704A1 (en) Electronic apparatus and operation method thereof
US10515393B2 (en) Image data detection for micro-expression analysis and targeted data services
WO2020032597A1 (en) Apparatus and method for providing item according to attribute of avatar
WO2018182351A1 (en) Method for providing information and electronic device supporting the same
WO2021251689A1 (en) Electronic device and controlling method of electronic device
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2021006482A1 (en) Apparatus and method for generating image
WO2019022472A1 (en) ELECTRONIC DEVICE AND ITS CONTROL METHOD
WO2018093229A1 (en) Method and device applying artificial intelligence to send money by using voice input
EP3539056A1 (en) Electronic apparatus and operation method thereof
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
CN105469072A (zh) 一种评估眼镜佩戴者和其所佩戴眼镜搭配度的方法和系统
EP3533015A1 (en) Method and device applying artificial intelligence to send money by using voice input
JP7469278B2 (ja) コンピュータシステム、制御方法及びプログラム
WO2020071697A1 (ko) 전자 장치 및 이의 제어 방법
WO2022191474A1 (ko) 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
EP3864607A1 (en) Method and electronic device for displaying at least one visual object
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2023018285A1 (ko) 다각도 이미지 인식 처리 기술을 활용한 인공지능 가상 화장 방법 및 장치
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
WO2024025220A1 (ko) 온라인 광고 컨텐트 플랫폼을 제공하기 위한 시스템
EP4049235A1 (en) Electronic device and controlling method of electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858537

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023512366

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21858537

Country of ref document: EP

Kind code of ref document: A1