WO2022119163A1 - 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법 - Google Patents

인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법 Download PDF

Info

Publication number
WO2022119163A1
WO2022119163A1 PCT/KR2021/016271 KR2021016271W WO2022119163A1 WO 2022119163 A1 WO2022119163 A1 WO 2022119163A1 KR 2021016271 W KR2021016271 W KR 2021016271W WO 2022119163 A1 WO2022119163 A1 WO 2022119163A1
Authority
WO
WIPO (PCT)
Prior art keywords
glasses
face
user
wearing
neural network
Prior art date
Application number
PCT/KR2021/016271
Other languages
English (en)
French (fr)
Inventor
김재윤
Original Assignee
(주)인터비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인터비젼 filed Critical (주)인터비젼
Publication of WO2022119163A1 publication Critical patent/WO2022119163A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to a glasses wearing simulation method including a glasses recommendation function using an artificial neural network, and more particularly, to present a picture of a person wearing glasses having a face shape similar to a user's face, and the person wearing the picture It improves the user's convenience in selecting glasses by recommending glasses in a shape similar to that of one pair of glasses, and it is possible to recommend glasses that fit the size of the user's face. It relates to a glasses wearing simulation method including a glasses recommendation function using an artificial neural network that increases the convenience of choosing glasses and reflects the tastes of other users with similar face shapes as an unspecified number of users use the simulation.
  • the optician was able to recommend glasses that fit the buyer's face shape through many years of experience, and the buyer also had a lot of experience that the glasses recommended by the optician suited him more than his own choice.
  • Patent Document 1 KR10-2020-0075541 (Publication No.) 2020.06.26.
  • the present invention provides an artificial neural network that enhances the user's convenience in selecting glasses by presenting a picture of a person wearing glasses having a face shape similar to the user's face and recommending glasses having a shape similar to the glasses worn by the person in the picture.
  • An object of the present invention is to provide a method for simulating wearing glasses including a recommended glasses function.
  • Another object of the present invention is to provide a glasses wearing simulation method including a glasses recommendation function using an artificial neural network capable of recommending glasses suitable for a user's face size.
  • Another object of the present invention is to provide a glasses wearing simulation method including a glasses recommendation function using an artificial neural network in which the taste of other users having a similar face shape is reflected as an unspecified number of users utilize the simulation.
  • the present invention provides a glasses wearing simulation method including a glasses recommendation function using an artificial neural network that increases the user's convenience in selecting glasses by recommending glasses in a shape similar to the glasses customized by the user. have.
  • an object of the present invention is to provide a glasses wearing simulation method including a glasses recommendation function using an artificial neural network that reflects the tastes of other users with similar face shapes as an unspecified number of users utilize customization.
  • the present invention uses an image obtained by photographing a user's face with a camera and a 3D glasses model of glasses in which actual dimensions are determined, to create a virtual face wearing glasses by an image processing unit, and to a glasses wearing simulation method expressed on a display unit a photographing step of photographing a user's face through the camera to obtain a face photograph including a frontal photograph of the user's face; a face model obtaining step of obtaining a user face model from the face photograph of the user obtained in the photographing step, and obtaining parameters for each face part of the user face model; Presenting a pre-stored photo having parameters for each face part obtained in the face model acquisition step and the parameter for each face part having a similarity greater than or equal to a set value, and a spectacle model having a similarity with the parameters of glasses worn by the person in the presented photo is greater than or equal to a set value suggesting glasses recommendation step; and a simulation step of synthesizing the glasses selected in the glasses recommendation step with the user face model obtained in the face model acquisition
  • the photographing step of the present invention includes a reference point display step in which a reference point of a set unit length is displayed on the user's glasses, and photographing the user's face while wearing the glasses, wherein the face model obtaining step includes: The size of the user's face model is corrected as a ratio of the length of the set unit to the length of the photograph of the glasses taken in the photographing step.
  • a plurality of pre-stored photos having a parameter for each face part obtained in the face model acquisition step and a parameter for each face part having a similarity greater than or equal to a set value are presented, and any one of the plurality of photos is presented.
  • the photo selection step of the present invention is performed for each group by grouping a plurality of different photos by a set number, and grouping a plurality of photos selected as a result of the execution by a set number to select one from the last one group Repeat until a photo is selected.
  • the glasses recommendation step of the present invention increases the presentation probability of the corresponding photo whenever a user's selection is received.
  • a plurality of variable points are formed in the glasses synthesized in the user's face model, the shape parameters of the glasses are changed by moving the variable points, and the similarity to the shape parameters of the glasses are set.
  • the glasses recommendation step of the present invention increases the presentation probability of a picture wearing glasses corresponding to the shape parameter of the glasses to which the user's variable is applied.
  • the present invention has the effect of enhancing the user's convenience in selecting glasses by presenting a picture of a person wearing glasses having a face shape similar to the user's face and recommending glasses having a shape similar to the glasses worn by the person in the picture .
  • the present invention has the effect that it is possible to recommend glasses that fit the size of the user's face.
  • the present invention has an effect that the taste of other users having a similar face shape is reflected as a large number of unspecified users utilize the simulation.
  • the present invention has the effect of increasing the user's convenience in selecting glasses by recommending glasses having a shape similar to that of the glasses customized by the user.
  • the present invention has an effect of reflecting the tastes of other users having a similar face shape as a large number of unspecified users utilize customization.
  • FIG. 1 is a block diagram of a glasses wearing simulation method including a glasses recommendation function using an artificial neural network according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram of setting parameters for each face part of a glasses wearing simulation method including a glasses recommendation function using an artificial neural network according to an embodiment of the present invention
  • FIG. 3 is a flowchart of a glasses wearing simulation method including a glasses recommendation function using an artificial neural network according to an embodiment of the present invention.
  • FIG. 4 is another flowchart of a glasses wearing simulation method including a glasses recommendation function using an artificial neural network according to an embodiment of the present invention.
  • an image obtained by photographing a user's face with the camera 130 and a virtual face wearing glasses are generated by the image processing unit 230 by using the 3D glasses model of the glasses in which the actual dimensions are determined, and the display unit 140
  • a face model acquisition step of obtaining parameters for each face part of the user's face model, and a pre-stored picture having parameters for each face part having a similarity with the parameters for each face part obtained in the face model acquisition step equal to or greater than a set value are presented
  • the glasses recommendation step of presenting a glasses model having a similarity with the parameters of the glasses worn by the person in the presented photo is equal to or greater than a set value
  • the glasses selected in the glasses recommendation step are synthesized with the user face model obtained in the face model acquisition
  • the present invention exemplifies a system in which online purchase can be performed by first connecting to a server 200 built for online sales through a network to the user terminal 100, and wearing glasses virtual It is structured so that you can experience and purchase glasses.
  • the user terminal 100 is a terminal capable of accessing the server 200 through a network and having a shooting function and a user interface function, and for this purpose, the communication module 120 , the camera 130 , and the display unit 140 .
  • a control unit 110 for controlling the operation of the user terminal 100 may be a smart phone, tablet PC, desktop PC, laptop computer, or the like.
  • the user terminal 100 accesses the server 200, displays the list of glasses sold on the display unit 140, performs a pre-operation required when receiving the virtual glasses wearing service, and then receives the virtual glasses wearing service , and wear glasses.
  • the pre-operation may include a photographing step of photographing a face photo including a frontal photo of the user's face.
  • the user's face photo is preferably an activity image obtained by turning the face to obtain a 3D model of the face as well as a front photo.
  • the face photo of the user may be a photo taken while wearing glasses, or a photo taken while wearing glasses and a photo taken while wearing glasses may be obtained, respectively. For this reason, it is possible to obtain a face model with glasses removed through modeling after photographing the user's face from various angles, and after correcting the size of the user's face from a photo taken while wearing glasses, the correction ratio is determined without wearing glasses. This is to apply an open technology that can acquire a user's face model by applying it to a photograph taken without it.
  • Such a user terminal 100 is provided with a smartphone, a tablet PC, or a camera 130 capable of performing a virtual wearing service operation under connection with the server 200 in which an application capable of performing a virtual glasses wearing service operation is installed It can be implemented with one desktop PC or laptop.
  • the server 200 includes an online sales unit 210 that provides a typical online purchase service, and further includes a glasses model storage unit 220 , a photo storage unit, and an image processing unit 230 for implementing the present invention.
  • the online sales unit 210 shows a list of glasses to be sold to the user through the user terminal 100 , shows detailed information of the selected glasses through the user terminal 100 , and performs payment and delivery processing of the purchased glasses Since it is a typical configuration, the detailed description thereof will be omitted. However, according to the present invention, there is a difference in that the virtual glasses wearing service of the selected glasses is provided.
  • the glasses model storage unit 220 stores 3D glasses models each generated with respect to various types of glasses whose actual dimensions are determined.
  • the stored 3D glasses model includes not only a three-dimensional image, but also dimensional data of each part, ie, a shape parameter.
  • the image processing unit 230 obtains a face model that obtains a 3D face model of the user's face with the help of a face recognition unit 231 that processes a photographed image or image of a user's face with a typical facial recognition algorithm, and a face recognition unit that processes an activity image
  • the variable input of the deformable part of the synthesized 3D glasses model is performed, the user's face movement in the image captured in real time through the glasses model corrector 234 and the user terminal 100 that generates a 3D glasses model of a variable shape and a virtual experience support unit 235 that displays an image synthesized by matching 3D glasses model, that is, an image of a face wearing virtual glasses through the user terminal 100 .
  • the photographing step is a step of obtaining a face photograph including a frontal photograph of the face obtained by photographing through the camera 130 of the user terminal 100 .
  • the face photo at this time can be either a video or a photo as long as the front of the face is taken, and it is preferable to take it while wearing glasses.
  • the user in order to obtain a more accurate face model, the user must be guided to align the direction of the camera 130 or follow an appropriate shooting method. .
  • a reference point display step in which a reference point of a set unit length is displayed on the user's glasses is further performed.
  • the reference point is a means for correcting the size of the user's face in the photo by comparing the length of the reference point taken in the picture taken by the user with the set unit length set by the user. For example, if the length of the setting unit set by the user is 1 cm and the length of the reference point displayed on the glasses worn by the user in the photo is 0.5 cm, the size of the user's face model in the photo must be corrected to be twice as large as the actual user's face A face model matching the size will be created.
  • This reference point can be a piece of paper cut with a post-it note or a masking tape that has adhesion and can express a color different from the eyeglass frame, cut to a set unit length and attached to cover a part of the eyeglass frame.
  • the position of the reference point may be specified by comparing the images of the left and right eyeglass frames in the user's frontal photograph.
  • the face model obtaining step is a step of obtaining a user face model from a face photo or an activity image including the received face front photo, and obtaining parameters for each face part of the user face model.
  • a 3D face model is obtained according to the recognition result of the face recognition unit.
  • the relative position of the features is specified by the 3D face model, and in particular, the position of the face part on which the glasses are to be worn can be known.
  • parameters for each face part are further acquired, in which the length of the line connecting the set point of the contour line of the face and the set point of the feature is a numerical value.
  • a pre-stored photo having a parameter for each face part obtained in the face model acquisition step and a parameter for each face part having a similarity degree equal to or greater than a set value is presented, and the similarity to the parameter of the glasses worn by the person in the presented photo is a set value We present more than one spectacle model.
  • the glasses recommendation step a plurality of pre-stored photos having a parameter for each face part obtained in the face model acquisition step and a parameter for each face part having a similarity degree equal to or greater than a set value are presented, and any one of the plurality of presented photos is selected. includes steps. Then, the glasses model having a similarity with parameters of glasses worn by the person in the selected photo is greater than or equal to a set value is presented.
  • the photo selection step may be performed over several steps.
  • the photo selection step is performed for each group by grouping a plurality of different photos by the set number, and regrouping the plurality of photos selected as a result of the execution by the set number again until one photo is selected from the last one group do
  • 16 groups of two photos are grouped, and one photo is selected for each group. Then, a total of 16 photos are selected. These 16 photos are grouped into 8 groups of 2 photos each, and 1 photo is selected for each group. In two groups each, the photo selection step is finished by finally selecting one of the two photos. That is, it is to induce the user to select glasses more suitable for his or her taste while comparing several pictures with each other.
  • the presentation probability of the corresponding photo is increased. For example, if there are 300 or more 500 or 1000 or more pre-stored photos with a similarity between the user's face model and each face part parameter, 32 or a set number of photos are randomly extracted and presented in the first simulation. However, this is because the photo that has received a lot of selection by users may be a photo that is highly favorable to users with such a face shape, and may be a photo that helps to find glasses that better suit the user's face shape. However, as this process is repeated, there is a risk that the presentation probability ranking of the photos is fixed.
  • the present invention may be configured to designate a selection option for photos presented in a recommended order, random order, latest order, etc. according to a user's designation option.
  • the presentation probability of the photo may not be unilaterally upward.
  • the glasses selected in the glasses recommendation step are synthesized with the user face model obtained in the face model obtaining step and displayed on the display unit 140 .
  • the synthesized image may be a photo of the face with glasses combined from the front and other angles, or it may be a 3D model that can be rotated at various angles, or when the user moves the face by tracking the user's face. It may be an image synthesized in real time in response to each time.
  • a plurality of variable points are formed in the glasses synthesized in the user's face model, and a customizing step of changing the shape parameters of the glasses by dragging and moving the variable points is included. That is, the user can customize the shape of the glasses by himself, and it is a step in which the user can once more adjust the shape of the glasses to suit his or her taste from the glasses in the finally selected photo.
  • the customizing step presents a ready-made eyeglass model in which the user-variable shape parameter and similarity of the eyeglasses are greater than or equal to a set value. It is preferable to do
  • the above-mentioned glasses recommendation step can reflect the tastes of users with similar face shapes in a way of increasing the presentation probability of a picture wearing glasses corresponding to the shape parameter of the glasses to which the user's variable is applied in the customizing step. It can be configured to And even at this time, it may be configured to designate a selection option of photos presented in a recommended order, random order, latest order, etc. according to a user's designated option.
  • the present invention having the above configuration provides a picture of a person wearing glasses having a face shape similar to the user's face, and recommends glasses having a shape similar to the glasses worn by the person in the picture, thereby improving the user's convenience in selecting glasses. It has an elevating effect.
  • the present invention has the effect that it is possible to recommend glasses that fit the size of the user's face.
  • the present invention has an effect that the taste of other users having a similar face shape is reflected as a large number of unspecified users utilize the simulation.
  • the present invention has the effect of increasing the user's convenience in selecting glasses by recommending glasses having a shape similar to that of the glasses customized by the user.
  • the present invention has an effect of reflecting the tastes of other users having a similar face shape as a large number of unspecified users utilize customization.
  • server 210 online sales department

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법에 관한 것으로서, 더욱 상세하게는, 사용자의 얼굴과 유사한 얼굴형을 갖는 사람의 안경 착용 사진을 제시하고 해당 사진의 사람이 착용한 안경과 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주고, 사용자의 얼굴 크기에 맞는 안경의 추천이 가능하며, 사용자가 커스터마이징한 안경의 형태와 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주고, 불특정 다수의 사용자가 시뮬레이션을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법에 관한 것이다.

Description

인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법
본 발명은, 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법에 관한 것으로서, 더욱 상세하게는, 사용자의 얼굴과 유사한 얼굴형을 갖는 사람의 안경 착용 사진을 제시하고 해당 사진의 사람이 착용한 안경과 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주고, 사용자의 얼굴 크기에 맞는 안경의 추천이 가능하며, 사용자가 커스터마이징한 안경의 형태와 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주고, 불특정 다수의 사용자가 시뮬레이션을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법에 관한 것이다.
최근 오프라인 매장 판매량이 줄고 온라인 매장 판매량은 급속히 늘고 있으며, 온라인으로 구매할 수 있는 물건의 종류도 더욱 다양화되는 추세이다. 이에 따라, 왠만한 물건은 온라인으로 구매할 수 있게 되었다.
이러한 추세에 편승하여, 다양한 종류의 안경 중에 원하는 안경을 온라인을 통해 구매할 수 있게 되었다.
그러나, 온라인 구매에서는 잘 어울리는지를 확인하기 위해서 실제 착용해보는 체험을 할 수 없으므로, 특히 패션 상품으로 인식되고 있는 안경의 온라인 구매를 기피하는 경향이 있었다.
이에, 촬영한 얼굴 영상에 안경 이미지를 오버랩(또는 합성)하여 실제 안경을 착용한 얼굴 모습과 유사하게 보여주는 시뮬레이션 기술이 개발되었고, 이러한 기술을 활용한 온라인 판매도 개시되어서, 다양한 종류의 안경을 순차적으로 착용한 가상의 모습을 보며, 어울리는 안경을 선택 및 구매할 수 있게 되었다.
한편, 오프라인 안경점에서는 안경사가 다년간의 경험을 통해 구매자의 얼굴형에 어울리는 안경을 추천하여줄 수 있었고, 구매자 역시 자신의 선택보다는 안경사가 추천한 안경이 보다 자신에게 어울렸던 경험이 많았다. 그러나, 온라인으로는 전문가의 추천을 받을 수 없고 오로지 자신의 직관에 의해 안경을 선택할 수밖에 없는데, 이 과정에서 상당한 고민을 하여도 좀처럼 자신의 얼굴형에 맞는 안경을 찾기가 어려웠다.
따라서, 자신의 얼굴형과 유사한 얼굴형을 갖는 연예인 또는 일반인의 안경 착용 사진을 참고하여 어느 안경이 자신의 얼굴형에 보다 어울리는지를 참고할 수 있고, 제시된 사진의 인물이 착용중인 안경과 유사한 형태를 갖는 안경의 리스트를 추천해줄 수 있는 방법이 필요로 하게 되었다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) KR10-2020-0075541(공개번호) 2020.06.26.
본 발명은, 사용자의 얼굴과 유사한 얼굴형을 갖는 사람의 안경 착용 사진을 제시하고, 해당 사진의 사람이 착용한 안경과 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 사용자의 얼굴 크기에 맞는 안경의 추천이 가능한 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 불특정 다수의 사용자가 시뮬레이션을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 사용자가 커스터마이징한 안경의 형태와 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 불특정 다수의 사용자가 커스터마이징을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법을 제공하는데 그 목적이 있다.
본 발명은, 사용자의 얼굴을 카메라로 촬영하여 얻는 영상과 실제 치수가 정해진 안경의 3D 안경 모델을 이용하여 안경을 착용한 가상 얼굴을 영상 처리부로 생성하고, 디스플레이부에서 표출하는 안경 착용 시뮬레이션 방법에 있어서, 사용자의 얼굴을 상기 카메라를 통해 촬영하여 얼굴 정면 사진을 포함한 얼굴 사진을 획득하는 촬영 단계; 상기 촬영 단계에서 획득된 사용자의 얼굴 사진으로부터 사용자 얼굴 모델을 얻고, 상기 사용자 얼굴 모델의 얼굴 부위별 파라미터를 획득하는 얼굴 모델 획득 단계; 상기 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 제시하고, 제시된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 안경 추천 단계; 상기 안경 추천 단계에서 선택된 안경을 상기 얼굴 모델 획득 단계에서 획득된 사용자 얼굴 모델에 합성하여 상기 디스플레이부로 표출하는 시뮬레이션 단계;를 포함한다.
또한, 본 발명의 상기 촬영 단계는, 사용자의 안경에 설정 단위 길이의 기준점이 표시되는 기준점 표시 단계;를 포함하고, 사용자의 안경을 착용한 상태의 얼굴을 촬영하며, 상기 얼굴 모델 획득 단계는, 상기 촬영 단계에서 촬영된 안경의 사진상 길이 대비 설정 단위 길이의 비율로서 상기 사용자 얼굴 모델의 크기를 보정한다.
또한, 본 발명의 상기 안경 추천 단계는, 상기 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 복수 제시하고, 제시된 복수의 사진중에 어느 하나를 선택받는 사진 선택 단계;를 포함하고, 선택된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시한다.
또한, 본 발명의 상기 사진 선택 단계는, 복수의 서로 다른 사진을 설정 갯수별로 그룹화하여 각 그룹별로 수행되며, 상기 수행의 결과로 선택된 복수의 사진을 설정 갯수별로 그룹화하여 마지막 하나의 그룹으로부터 하나의 사진이 선택될 때까지 재수행한다.
또한, 본 발명의 상기 안경 추천 단계는, 사용자의 선택을 받을 때마다 해당 사진의 제시 확률을 증가시킨다.
또한, 본 발명의 상기 시뮬레이션 단계는, 사용자 얼굴 모델에 합성된 안경에 복수의 가변 지점이 형성되고, 상기 가변 지점을 이동시켜 안경의 형태 파라미터를 가변시키며, 가변된 안경의 형태 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 커스터마이징 단계;를 포함한다.
또한, 본 발명의 상기 안경 추천 단계는, 사용자의 가변이 적용된 안경의 형태 파라미터에 대응되는 안경을 착용하고 있는 사진의 제시 확률을 증가시킨다.
본 발명은, 사용자의 얼굴과 유사한 얼굴형을 갖는 사람의 안경 착용 사진을 제시하고, 해당 사진의 사람이 착용한 안경과 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 효과가 있다.
또한, 본 발명은, 사용자의 얼굴 크기에 맞는 안경의 추천이 가능한 효과가 있다.
또한, 본 발명은, 불특정 다수의 사용자가 시뮬레이션을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 효과가 있다.
또한, 본 발명은, 사용자가 커스터마이징한 안경의 형태와 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 효과가 있다.
또한, 본 발명은, 불특정 다수의 사용자가 커스터마이징을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 효과가 있다.
도 1 은 본 발명의 실시예에 따른 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법의 블록구성도.
도 2 는 본 발명의 실시예에 따른 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법의 얼굴 부위별 파라미터의 설정 예시도.
도 3 은 본 발명의 실시예에 따른 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법의 순서도.
도 4 는 본 발명의 실시예에 따른 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법의 다른 순서도.
이하에서, 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명한다.
본 발명은, 사용자의 얼굴을 카메라(130)로 촬영하여 얻는 영상과 실제 치수가 정해진 안경의 3D 안경 모델을 이용하여 안경을 착용한 가상 얼굴을 영상 처리부(230)로 생성하고, 디스플레이부(140)에서 표출하는 안경 착용 시뮬레이션 방법에 있어서, 사용자의 얼굴을 카메라(130)를 통해 촬영하여 얼굴 정면 사진을 포함한 얼굴 사진을 획득하는 촬영 단계와, 촬영 단계에서 획득된 사용자의 얼굴 사진으로부터 사용자 얼굴 모델을 얻고, 사용자 얼굴 모델의 얼굴 부위별 파라미터를 획득하는 얼굴 모델 획득 단계와, 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 제시하고, 제시된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 안경 추천 단계와, 안경 추천 단계에서 선택된 안경을 얼굴 모델 획득 단게에서 획득된 사용자 얼굴 모델에 합성하여 디스플레이부(140)로 표출하는 시뮬레이션 단계를 포함하여 구성된다.
도 1 의 블록도를 참조하면, 본 발명은 우선 온라인 판매를 위해 구축된 서버(200)에 네트워크를 통해 사용자 단말(100)로 접속하여 온라인 구매를 진행할 수 있는 시스템을 예로 들었으며, 안경 가상 착용을 체험하며 안경을 선택 구매할 수 있도록 구성되어 있다.
사용자 단말(100)은 예시한 바와 같이 네트워크를 통해 서버(200)에 접속할 수 있고, 촬영 기능과 사용자 인터페이스 기능을 갖춘 단말이며, 이를 위하여 통신 모듈(120), 카메라(130), 디스플레이부(140) 및 사용자 단말(100)의 동작 제어를 위한 제어부(110)를 구비한 스마트폰, 태블릿PC, 데스크탑PC, 노트북 등이 그 대상이 될 수 있다.
사용자 단말(100)은 서버(200)에 접속하여 판매되는 안경 리스트를 디스플레이부(140)로 보여주고, 가상 안경 착용 서비스를 받을시에 요구되는 사전 동작을 수행하고, 이후 가상 안경 착용 서비스를 받으며, 안경을 고르게 한다.
여기서, 사전 동작은 사용자의 얼굴 정면 사진을 포함한 얼굴 사진을 촬영하는 촬영 단계가 포함될 수 있다. 사용자의 얼굴 사진은 정면 사진 뿐만 아니라 얼굴의 3D 모델을 얻기 위해 얼굴을 돌리며 촬영하여 얻는 활동 영상인 것이 바람직하다. 또한, 사용자의 얼굴 사진은 안경을 착용하고 촬영한 사진이어도 되고, 안경을 착용하고 촬영한 사진과 안경을 착용하고 촬영한 사진을 각각 획득할 수도 있다. 이러한 이유는 사용자의 얼굴을 다각도로 촬영한 후 모델링을 통해 안경을 제거한 얼굴 모델을 획득할 수 있기도 하고, 안경을 착용하고 촬영한 사진으로부터 사용자의 얼굴 크기를 보정한 후 보정 비율을 안경을 착용하지 않고 촬영한 사진에 적용하여 사용자 얼굴 모델을 획득할 수 있는 공개된 기술을 적용하기 위함이다.
이러한 사용자 단말(100)은 가상 안경 착용 서비스 동작을 수행할 수 있는 애플리케이션을 설치한 스마트폰, 태블릿PC, 또는 가상 착용 서비스 동작을 서버(200)와의 접속 하에 수행할 수 있는 카메라(130)를 구비한 데스크탑PC 또는 노트북 등으로 구현 가능하다.
서버(200)는 통상의 온라인 구매 서비스를 제공하는 온라인 판매부(210)를 구비하고, 본 발명의 실시를 위하여 안경 모델 저장부(220), 사진 저장부, 영상 처리부(230)를 더욱 구비한다.
온라인 판매부(210)는 판매할 안경의 리스트를 사용자 단말(100)을 통해 사용자에게 보여주고, 사용자 단말(100)을 통해 선택된 안경의 상세 정보를 보여주며, 구매 결정한 안경의 결제 및 배송 처리를 수행하는 통상적인 구성이므로, 그 상세한 설명은 생략하도록 한다. 다만, 본 발명에 따르면, 선택된 안경의 가상 안경 착용 서비스를 제공하는 점에서 차이가 있다.
안경 모델 저장부(220)는 실제 치수가 정해진 다양한 종류이 안경에 대해 각각 생성한 3D 안경 모델이 저장되어 있다. 저장된 3D 안경 모델은 3차원적 이미지는 물론이고, 각 부위의 치수 데이터, 즉, 형태 파라미터를 포함한다.
영상 처리부(230)는 사용자 얼굴의 촬영 영상 또는 이미지를 통상적인 안면 인식 알고리즘으로 처리하는 얼굴 인식부(231), 활동 영상을 얼굴 인식부의 도움을 받아 사용자 얼굴의 3D 얼굴 모델을 획득하는 얼굴 모델 획득부(232), 사용자가 착용한 안경에 표시된 설정 단위 길이의 기준점에 대하여 촬영된 사진의 길이 대비 실제 설정 단위 길이의 비율로서 얼굴 모델의 크기를 보정하는 치수 산출부(233), 3D 사용자 얼굴 모델에 합성된 3D 안경 모델의 변형 가능한 부위의 가변 입력이 수행되면 가변된 형태의 3D 안경 모델을 생성하는 안경 모델 교정부(234) 및 사용자 단말(100)을 통해 실시간 촬영되는 영상 내의 사용자 얼굴 움직임에 맞춰 3D 안경 모델을 합성한 영상, 즉, 가상 안경 착용 얼굴의 영상을 사용자 단말(100)을 통해 보여주는 가상 체험 지원부(235)를 포함한다.
상술한 안경 착용 시뮬레이션 시스템을 이용한 본 발명에 대하여 도면을 참조하여 설명한다.
촬영 단계는, 사용자 단말(100)의 카메라(130)를 통해 촬영하여 얻는 얼굴 정면 사진을 포함한 얼굴 사진을 얻는 단계이다. 이때의 얼굴 사진은 얼굴 정면이 찍힌 것이면 동영상 또는 사진 어느 것이든 가능하며, 안경을 착용한 상태에서 찍는 것이 바람직하다. 한편, 보다 정확한 얼굴 모델 획득을 위하여 사용자가 카메라(130)의 방향을 맞추거나 또는 적절한 촬영 방식을 따르도록 안내해야 하며, 이를 위하여 디스플레이부(140) 또는 스피커를 통해 각 단계별 사용법을 안내할 수 있다.
촬영 단계는, 사용자의 안경에 설정 단위 길이의 기준점이 표시되는 기준점 표시 단계가 더 수행된다. 기준점은 사용자가 촬영한 사진에 찍힌 기준점의 길이를 사용자가 설정한 설정 단위 길이와 비교하여 사진 속 사용자의 얼굴 크기를 보정하기 위한 수단이다. 예를 들어, 사용자가 설정한 설정 단위 길이가 1cm 이고, 사진속의 사용자가 착용한 안경에 표시된 기준점의 길이가 0.5cm이면, 사진속의 사용자의 얼굴 모델의 크기를 두 배 크게 보정하여야 실제 사용자의 얼굴 크기와 일치하는 얼굴 모델이 생성되게 되는 것이다.
이러한 기준점은 부착력이 있고 안경테 색과 다른 색의 표현이 가능한 포스트잇을 자른 종이, 마스킹 테이프 등을 설정 단위 길이로 잘라 안경테의 일부를 가리도록 부착한 것이 그 대상이 될 수 있으며, 안경의 양쪽 렌즈 중 한쪽의 렌즈를 둘러싼 테에만 기준점을 표시한 후, 사용자의 정면 사진에서 좌우 안경테의 이미지를 비교함으로써 기준점의 위치를 특정할 수 있다.
얼굴 모델 획득 단계는, 전송받은 얼굴 정면 사진을 포함한 얼굴 사진 또는 활동 영상으로부터 사용자 얼굴 모델을 얻고, 사용자 얼굴 모델의 얼굴 부위별 파라미터를 획득하는 단계이다.
얼굴 모델 획득 단계는 얼굴 인식부의 인식 결과에 따라 3D 얼굴 모델을 얻는데, 3D 얼굴 모델에 의해서 이목구비의 상대적 위치가 특정되고, 특히, 안경을 착용할 얼굴 부위의 위치도 알 수 있게 된다. 한편, 도면에 도시된 바와 같이, 얼굴의 윤곽선의 설정 지점과 이목구비의 설정 포인트를 서로 잇는 선의 길이를 수치로 하는 얼굴 부위별 파라미터를 더 획득한다. 이러한 얼굴 부위별 파라미터를 이용하면 유사한 얼굴 부위별 파라미터를 갖는 닮은꼴 연예인을 알 수 있다.
안경 추천 단계는, 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 제시하고, 제시된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시한다.
예를 들어, 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 연예인이 이병헌이면, 이병헌이 안경을 착용하고 있는 사진을 제시하고, 제시된 사진속의 이병헌이 착용하고 있는 안경의 형태 파라미터가 사각형의, 검은색, 플라스틱, 반테이며, 두꺼운, 원브릿지의 속성을 가지고 있다면, 이와 유사한 안경 모델을 제시하는 것이다.
한편, 안경 추천 단계는, 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 복수 제시하고, 제시된 복수의 사진중에 어느 하나를 선택받는 사진 선택 단계를 포함한다. 그리고, 선택된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시한다.
이때, 사진 선택 단계는 여러 단계에 걸쳐 수행될 수 있다. 사진 선택 단계는 복수의 서로 다른 사진을 설정 갯수별로 그룹화하여 각 그룹별로 수행되며, 수행의 결과로 선택된 복수의 사진을 설정 갯수별로 다시 그룹화하여 마지막 하나의 그룹으로부터 하나의 사진이 선택될 때까지 재수행한다.
예를 들어, 사용자의 얼굴 모델과 얼굴 부위별 파라미터 유사도가 설정 수치 이상인 기 저장된 사진을 32장 추출한 후, 2장씩 16개 그룹을 그룹화하여 각 그룹별로 1장씩을 선택한다. 그러면 총 16장의 사진이 선택되는데, 이 16장의 사진을 2장씩 8개 그룹으로 그룹화하여 그룹별로 1장씩의 사진을 선택하고, 다시 8장의 사진을 2장씩 4개의 그룹으로, 그리고 4장의 사진을 2장씩 2개의 그룹으로, 마지막으로 2장의 사진 중 한 장의 사진을 선택함으로써 사진 선택 단계가 종료된다. 즉, 사용자로 하여금 여러 장의 사진을 상호 비교하면서 보다 자신의 취향에 적합한 안경을 고를 수 있도록 유도하는 것이다.
이때, 안경 추천 단계는 어느 사진이 사용자의 선택을 받을 때마다 해당 사진의 제시 확률을 증가시킨다. 예를 들어, 사용자의 얼굴 모델과 얼굴 부위별 파라미터 유사도가 설정 수치 이상인 기 저장된 사진이 300장 500장 또는 1000장 이상인 경우, 최초 시뮬레이션에서는 이들 중 랜덤하게 32장 또는 설정된 갯수의 사진이 추출되어 제시되나, 사용자들의 선택을 많이 받은 사진은 그러한 얼굴형을 가진 사용자들에게 호감도가 높은 사진일 수 있으며, 사용자의 얼굴형에 보다 잘 어울리는 안경을 찾는데 도움이 되는 사진일 수 있기 때문이다. 그러나, 이러한 과정이 반복될수록 사진의 제시 확률 순위가 고착될 우려가 있다. 즉, 제시되는 사진만 매번 제시되고 새로운 사진이 제시될 여지가 없어지게 되는 것이다. 따라서, 본 발명에서는 사용자의 지정 옵션에 따라 추천순, 랜덤, 최신순 등으로 제시되는 사진의 선택 옵션을 지정할 수 있도록 구성될 수 있다. 또는, 제시된 사진 중 사용자의 선택을 받지 못한 사진의 제시 확률을 다시 감소시키는 것으로 사진의 제시 확률이 상향 일변도가 되지 않도록 구성할 수 있다.
시뮬레이션 단계는, 안경 추천 단계에서 선택된 안경을 얼굴 모델 획득 단계에서 획득된 사용자 얼굴 모델에 합성하여 디스플레이부(140)로 표출한다.
이때 합성되는 화상은 정면 및 기타 여러 각도의 얼굴에 안경이 합성된 사진일 수 있으며, 또는 다양한 각도로 회전 가능한 3D 모델일 수 있고, 또는 사용자의 얼굴 모습을 트래킹하여 사용자가 얼굴을 이리 저리 움직일때마다 이에 반응하여 실시간으로 합성되는 영상일 수 있다.
이때 사용자 얼굴 모델에 합성된 안경에는 복수의 가변 지점이 형성되고, 가변 지점을 드래그하여 이동시키는 것으로 안경의 형태 파라미터를 가변시킬 수 있도록 하는 커스터마이징 단계가 포함된다. 즉, 사용자가 스스로 안경의 형태를 커스터마이징 할 수 있도록 하는 것으로서, 최종적으로 선택한 사진의 안경에서 사용자가 보다 자신의 취향에 맞게 안경의 형태를 한 번 더 조정할 수 있는 단계인 것이다. 그러나, 사용자가 커스터마이징한 안경의 형태 그대로를 제품으로서 생산하여 사용자에게 전달하려면 상당한 비용이 발생되는 문제가 있으므로, 커스터마이징 단계는 사용자가 가변한 안경의 형태 파라미터와 유사도가 설정 수치 이상인 기성품 안경 모델을 제시하는 것이 바람직하다.
한편, 상술한 안경 추천 단계는, 커스터마이징 단계에서 사용자의 가변이 적용된 안경의 형태 파라미터에 대응되는 안경을 착용하고 있는 사진의 제시 확률을 증가시키는 방법으로 유사한 얼굴형을 가진 사용자들의 취향을 반영할 수 있도록 구성될 수 있다. 그리고 이 때에도 사용자의 지정 옵션에 따라 추천순, 랜덤, 최신순 등으로 제시되는 사진의 선택 옵션을 지정할 수 있도록 구성될 수 있다.
상술한 구성으로 이루어진 본 발명은, 사용자의 얼굴과 유사한 얼굴형을 갖는 사람의 안경 착용 사진을 제시하고, 해당 사진의 사람이 착용한 안경과 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 효과가 있다.
또한, 본 발명은, 사용자의 얼굴 크기에 맞는 안경의 추천이 가능한 효과가 있다.
또한, 본 발명은, 불특정 다수의 사용자가 시뮬레이션을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 효과가 있다.
또한, 본 발명은, 사용자가 커스터마이징한 안경의 형태와 유사한 형태의 안경을 추천해줌으로써 사용자의 안경 선택 편의성을 높여주는 효과가 있다.
또한, 본 발명은, 불특정 다수의 사용자가 커스터마이징을 활용할수록 유사한 얼굴형을 갖는 다른 사용자의 취향이 반영되는 효과가 있다.
[부호의 설명]
100 : 사용자 단말 110 : 제어부
120 : 통신 모듈 130 : 카메라
140 : 디스플레이부
200 : 서버 210 : 온라인 판매부
220 : 안경 모델 저장부 230 : 영상 처리부

Claims (7)

  1. 사용자의 얼굴을 카메라로 촬영하여 얻는 영상과 실제 치수가 정해진 안경의 3D 안경 모델을 이용하여 안경을 착용한 가상 얼굴을 영상 처리부로 생성하고, 디스플레이부에서 표출하는 안경 착용 시뮬레이션 방법에 있어서,
    사용자의 얼굴을 상기 카메라를 통해 촬영하여 얼굴 정면 사진을 포함한 얼굴 사진을 획득하는 촬영 단계;
    상기 촬영 단계에서 획득된 사용자의 얼굴 사진으로부터 사용자 얼굴 모델을 얻고, 상기 사용자 얼굴 모델의 얼굴 부위별 파라미터를 획득하는 얼굴 모델 획득 단계;
    상기 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 제시하고, 제시된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 안경 추천 단계;
    상기 안경 추천 단계에서 선택된 안경을 상기 얼굴 모델 획득 단계에서 획득된 사용자 얼굴 모델에 합성하여 상기 디스플레이부로 표출하는 시뮬레이션 단계;
    를 포함하는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  2. 제 1 항에 있어서,
    상기 촬영 단계는, 사용자의 안경에 설정 단위 길이의 기준점이 표시되는 기준점 표시 단계;를 포함하고, 사용자의 안경을 착용한 상태의 얼굴을 촬영하며,
    상기 얼굴 모델 획득 단계는, 상기 촬영 단계에서 촬영된 안경의 사진상 길이 대비 설정 단위 길이의 비율로서 상기 사용자 얼굴 모델의 크기를 보정하는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  3. 제 2 항에 있어서,
    상기 안경 추천 단계는, 상기 얼굴 모델 획득 단계에서 획득된 얼굴 부위별 파라미터와 유사도가 설정 수치 이상인 얼굴 부위별 파라미터를 갖는 기 저장된 사진을 복수 제시하고, 제시된 복수의 사진중에 어느 하나를 선택받는 사진 선택 단계;를 포함하고, 선택된 사진의 인물이 착용중인 안경의 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  4. 제 3 항에 있어서,
    상기 사진 선택 단계는, 복수의 서로 다른 사진을 설정 갯수별로 그룹화하여 각 그룹별로 수행되며, 상기 수행의 결과로 선택된 복수의 사진을 설정 갯수별로 그룹화하여 마지막 하나의 그룹으로부터 하나의 사진이 선택될 때까지 재수행하는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  5. 제 4 항에 있어서,
    상기 안경 추천 단계는, 사용자의 선택을 받을 때마다 해당 사진의 제시 확률을 증가시키는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  6. 제 2 항에 있어서,
    상기 시뮬레이션 단계는, 사용자 얼굴 모델에 합성된 안경에 복수의 가변 지점이 형성되고, 상기 가변 지점을 이동시켜 안경의 형태 파라미터를 가변시키며, 가변된 안경의 형태 파라미터와 유사도가 설정 수치 이상인 안경 모델을 제시하는 커스터마이징 단계;를 포함하는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
  7. 제 6 항에 있어서,
    상기 안경 추천 단계는, 사용자의 가변이 적용된 안경의 형태 파라미터에 대응되는 안경을 착용하고 있는 사진의 제시 확률을 증가시키는 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법.
PCT/KR2021/016271 2020-12-04 2021-11-09 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법 WO2022119163A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0168886 2020-12-04
KR1020200168886A KR20220079274A (ko) 2020-12-04 2020-12-04 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법

Publications (1)

Publication Number Publication Date
WO2022119163A1 true WO2022119163A1 (ko) 2022-06-09

Family

ID=81853170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016271 WO2022119163A1 (ko) 2020-12-04 2021-11-09 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법

Country Status (2)

Country Link
KR (1) KR20220079274A (ko)
WO (1) WO2022119163A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240044684A (ko) 2022-09-29 2024-04-05 주식회사 콥틱 아이웨어 추천 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130024460A (ko) * 2011-08-31 2013-03-08 (주) 바닐라브리즈 모바일 커머스에서의 제품의 비교선택방법
KR20190119212A (ko) * 2018-03-30 2019-10-22 경일대학교산학협력단 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200075541A (ko) * 2018-12-18 2020-06-26 김재윤 안경 착용 시뮬레이션 방법
US20200320781A1 (en) * 2015-07-17 2020-10-08 Bao Tran Systems and Methods for Fitting Product

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130024460A (ko) * 2011-08-31 2013-03-08 (주) 바닐라브리즈 모바일 커머스에서의 제품의 비교선택방법
US20200320781A1 (en) * 2015-07-17 2020-10-08 Bao Tran Systems and Methods for Fitting Product
KR20190119212A (ko) * 2018-03-30 2019-10-22 경일대학교산학협력단 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200075541A (ko) * 2018-12-18 2020-06-26 김재윤 안경 착용 시뮬레이션 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNG YUNYEONG: "[Bonnie] AI selects sunglasses... The era of 'fashion tech' begins", NEWSPIM WEBPAGE, NEWSPIM, KOREA, 12 March 2020 (2020-03-12), Korea, pages 1 - 3, XP055937489, Retrieved from the Internet <URL:https://www.newspim.com/news/view/20200311000647> [retrieved on 20220701] *

Also Published As

Publication number Publication date
KR20220079274A (ko) 2022-06-13

Similar Documents

Publication Publication Date Title
JP6460237B2 (ja) コンタクトレンズの仮想試着方法、装置及びこの方法を実行させるコンピュータプログラム
US20190228448A1 (en) System, Platform and Method for Personalized Shopping Using a Virtual Shopping Assistant
WO2013162156A1 (en) Method of simulating lens using augmented reality
CN108053365A (zh) 用于生成信息的方法和装置
US20240078584A1 (en) System Platform and Method for Personalized Shopping Using an Automated Shopping Assistant
CN113508423A (zh) 交流支持系统、交流支持方法以及图像控制程序
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
CN105637512A (zh) 用于创造定制产品的方法和系统
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
KR20130103153A (ko) 고객 맞춤형 안경 및 콘택트렌즈 버추얼 피팅 방법 및 그 시스템
US20230377012A1 (en) System, platform and method for personalized shopping using an automated shopping assistant
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN104750933A (zh) 一种基于互联网的眼镜试戴方法及系统
US20180247356A1 (en) Computer implemented platform for the creation of a virtual product
WO2022119163A1 (ko) 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법
CN112015264A (zh) 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
KR102174053B1 (ko) 스마트 거울을 이용한 안경 피팅 시스템의 운영방법
KR102178396B1 (ko) 증강현실 기반의 이미지출력물 제작 방법 및 장치
US20200169674A1 (en) Information processing device and program
US7239741B2 (en) Image processing device executing image processing on input image and processing method for the same
CN109685911B (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法
CN116069159A (zh) 用于显示虚拟形象的方法、装置及介质
CN110489634A (zh) 一种造型信息推荐方法、装置、系统及终端设备
CN114779948A (zh) 基于面部识别的动画人物即时交互控制方法、装置及设备
KR20230033531A (ko) 무인 상품 서비스 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900851

Country of ref document: EP

Kind code of ref document: A1