KR20230006238A

KR20230006238A - User device and method for customized skin diagnosis

Info

Publication number: KR20230006238A
Application number: KR1020210087161A
Authority: KR
Inventors: 최용준
Original assignee: 주식회사 룰루랩
Priority date: 2021-07-02
Filing date: 2021-07-02
Publication date: 2023-01-10

Abstract

A user terminal according to one aspect disclosed herein may include: a polarizing film installed on at least one of a front camera and a rear camera of a user terminal; and a processor transmitting the polarizing film, analyzing an image of a user input to at least one of the front camera and the rear camera of the user terminal, and determining the skin condition of the user based on the determination result.

Description

User-customized skin diagnosis user terminal and method {USER DEVICE AND METHOD FOR CUSTOMIZED SKIN DIAGNOSIS}

개시된 실시예는 사용자 단말을 통하여 사용자의 피부를 분석하는 방법에 관한 것으로서, 더욱 상세하게는 편광 필터가 설치된 카메라를 통하여 사용자의 이미지를 획득하고, 사용자의 이미지를 분석하여 사용자의 피부를 분석 서비스를 제공하는 방법에 관한 것이다.The disclosed embodiment relates to a method of analyzing a user's skin through a user terminal, and more particularly, to obtain a user's image through a camera equipped with a polarization filter, analyze the user's image, and provide a user's skin analysis service. It's about how to provide.

남녀노소를 가리지 않고 미(美)에 대한 관심이 증가하면서 피부 미용에 대한 관심 또한 높아지고 있다. 이러한 추세에 따라, 사용자의 얼굴을 촬영하여 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등)을 분석할 수 있는 피부 상태 측정 장치들이 개발되어 상용화되고 있다. As interest in beauty increases regardless of gender and age, interest in skin beauty is also increasing. In accordance with this trend, skin condition measurement devices capable of analyzing various skin troubles (eg, wrinkles, pores, acne, etc.) by photographing a user's face have been developed and commercialized.

종래에는 피부 상태 측정 방식으로서, 사전에 설정된 촬영 환경(예를 들어, 광원 세기, 방향, 조리개 값 또는 셔터 스피드 등의 촬영 파라미터)을 적용하기 위하여, 사용자가 얼굴을 직접 장치 내부 측으로 밀어 넣어 피부 상태를 촬영하는 방식을 사용하였다. Conventionally, as a skin condition measurement method, in order to apply a previously set shooting environment (eg, light source intensity, direction, shooting parameters such as aperture value or shutter speed), the user directly pushes his face into the device, and the skin condition The method of filming was used.

이와 관련하여, 대한민국 등록특허 제 10-1738417 호(발명의 명칭: 피부 상태 진단 및 치료를 위한 장치 및 방법)에는, 환자의 얼굴이 수용되는 내부공간을 구비하는 하우징, 상기 내부공간에서 상기 얼굴을 고정하는 얼굴 고정부, 상기 얼굴의 전방에서 상기 얼굴을 촬영하는 촬영부 및 상기 얼굴고정부의 움직임을 제어하여 상기 얼굴 촬영시 상기 얼굴을 동일한 조건으로 촬영하도록 하는 제어부를 포함하는 피부 상태 진단 및 치료를 위한 장치를 개시하고 있다.In this regard, Korean Patent Registration No. 10-1738417 (Title of the Invention: Apparatus and Method for Diagnosing and Treating Skin Conditions) discloses a housing having an inner space in which a patient's face is accommodated, and the face in the inner space. Diagnosis and treatment of skin conditions including a face fixing unit for fixing, a capturing unit for photographing the face from the front of the face, and a control unit for controlling the movement of the face fixing unit to photograph the face under the same condition when capturing the face A device for is disclosed.

이러한 기존의 피부 상태 측정 방식은 카메라의 색수차에 따라 사용자의 피부의 색이 잘못 판단되어 사용자의 피부상태가 오진단되는 문제점이 있다.This conventional skin condition measurement method has a problem in that the user's skin condition is misdiagnosed because the color of the user's skin is erroneously determined according to the chromatic aberration of the camera.

따라서, 사용자가 언제 어디서든 간편하게 자신의 피부 상태를 측정할 수 있도록 하고, 카메라의 색수차에 관계없이 정확한 피부 진단 결과를 사용자에게 피드백할 수 있는 시스템이 필요하다. 더 나아가 사용자 별로 피부 상태 맞춤형 정보(예: 제품 또는 솔루션 등)를 추천할 수 있는 피부 진단 시스템이 필요하다.Therefore, there is a need for a system that allows a user to easily measure his or her skin condition anytime, anywhere, and that can provide accurate skin diagnosis results back to the user regardless of chromatic aberration of the camera. Furthermore, there is a need for a skin diagnosis system capable of recommending customized skin condition information (eg, products or solutions) for each user.

상술한 문제점을 해결하기 위하여, 발명의 실시예는 편광필름을 사용자 단말에 설치하여 간편하게 사용자의 피부 상태를 측정하고, 사용자의 피부 측정 데이터 분석을 통해 맞춤형 진단 결과를 피드백하는 시스템 및 그 방법을 제공하고자 한다.In order to solve the above problems, an embodiment of the present invention provides a system and method for easily measuring a user's skin condition by installing a polarizing film on a user terminal and feeding back customized diagnosis results through analysis of the user's skin measurement data. want to do

개시된 일 측면에 따른 사용자 단말은 사용자 단말의 전면 카메라 또는 후면 카메라 중 적어도 하나에 설치되는 편광 필름; 상기 편광 필름을 투과하여 상기 사용자 단말의 전면 카메라 또는 후면 카메라 중 적어도 하나에 입력된 사용자의 이미지를 분석하고, 판단 결과에 기초하여 상기 사용자의 피부상태를 판단하는 프로세서;를 포함한다.A user terminal according to an aspect disclosed herein includes a polarizing film installed on at least one of a front camera and a rear camera of the user terminal; and a processor that transmits the polarizing film and analyzes the user's image input to at least one of the front camera and rear camera of the user terminal, and determines the user's skin condition based on the determination result.

전술한 본 발명의 과제 해결 수단에 의하면, 사용자의 얼굴 영상을 비접촉식으로 촬영하는 것만으로 사용자의 피부를 카메라 종류와 무관하게 정확히 분석할 수 있으며, 분석 결과에 기초하여 사용자 개인에게 적합한 맞춤형 제품 및 솔루션 정보를 제공할 수 있다.According to the above-described problem solving means of the present invention, the user's skin can be accurately analyzed regardless of the type of camera only by taking a non-contact image of the user's face, and based on the analysis result, a customized product and solution suitable for the individual user can provide information.

또한, 본 발명의 과제 해결 수단에 의하면, 사용자의 피부에 대한 시간에 따른 피부 변화를 데이터를 통해 확인할 수 있어 피부 개선 상태 및 노화 등을 관찰할 수 있는 자료를 제공할 수 있다.In addition, according to the problem solving means of the present invention, skin changes over time for the user's skin can be confirmed through data, so that data for observing skin improvement and aging can be provided.

도 1은 본 발명의 일 실시예에 따른 사용자 단말을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말용 케이스와 사용자 단말이 결합되는 것을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말용 케이스를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 편광 필름의 기능을 설명한 것이다.
도 6은 본 발명의 일 실시예에 따른 프로세서에서 어플리케이션에 의해 사용자의 피부가 분석되는 것을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 프로세서에서 어플리케이션에 의해 사용자의 피부가 분석되는 것을 도시한 것이다.1 illustrates a user terminal according to an embodiment of the present invention.
Figure 2 illustrates the combination of a case for a user terminal and a user terminal according to an embodiment of the present invention.
3 illustrates a case for a user terminal according to an embodiment of the present invention.
4 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.
5 illustrates a function of a polarizing film according to an embodiment of the present invention.
6 illustrates that a user's skin is analyzed by an application in a processor according to an embodiment of the present invention.
7 illustrates analysis of a user's skin by an application in a processor according to an embodiment of the present invention.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numbers designate like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present invention belongs is omitted. The term 'unit, module, member, or block' used in the specification may be implemented as software or hardware, and according to embodiments, a plurality of 'units, modules, members, or blocks' may be implemented as one component, It is also possible that one 'part, module, member, block' includes a plurality of components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case of being directly connected but also the case of being indirectly connected, and indirect connection includes being connected through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a certain component is said to "include", this means that it may further include other components without excluding other components unless otherwise stated.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another, and the components are not limited by the aforementioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Expressions in the singular number include plural expressions unless the context clearly dictates otherwise.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of description, and the identification code does not explain the order of each step, and each step may be performed in a different order from the specified order unless a specific order is clearly described in context. there is.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 사용자 단말(100)을 도시한 것이다.1 shows a user terminal 100 according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 일 실시예에 따른 사용자 단말(100)은 카메라(101)를 포함하고, 사용자 단말(100)의 카메라(101)에 편광필터(200)가 설치될 수 있다. Referring to FIG. 1 , a user terminal 100 according to an embodiment of the present invention includes a camera 101, and a polarization filter 200 may be installed in the camera 101 of the user terminal 100.

구체적으로, 편광필터(200)는 사용자 단말(100)의 전면 또는 후면에 위치한 카메라(101)에 설치될 수 있다. 또한, 편광필터(200)는 사용자 단말(100)의 전면 또는 후면에 위치한 카메라(101)에 탈, 부착 가능하게 설치될 수 있다. 사용자 단말(100)의 카메라(101)에 편광 필터(200)가 설치됨으로써, 카메라들이 갖는 고유한 특성에 기인한 색수차를 보정할 수 있고, 사용자의 피부를 정확하게 분석할 수 있다. Specifically, the polarization filter 200 may be installed in the camera 101 located on the front or rear of the user terminal 100 . In addition, the polarization filter 200 may be installed detachably or attachably to the camera 101 located on the front or rear side of the user terminal 100 . Since the polarization filter 200 is installed in the camera 101 of the user terminal 100, chromatic aberration due to unique characteristics of the cameras can be corrected and the user's skin can be accurately analyzed.

도 2는 본 발명의 일 실시예에 따른 사용자 단말용 케이스(300)와 사용자 단말(100)이 결합되는 것을 도시한 것이고, 도 3은 본 발명의 일 실시예에 따른 사용자 단말용 케이스(300)를 도시한 것이다.Figure 2 shows that the user terminal case 300 and the user terminal 100 are coupled according to an embodiment of the present invention, Figure 3 is a case 300 for a user terminal according to an embodiment of the present invention is shown.

도 2및 도 3을 참고하면, 사용자 단말용 케이스(300)는 편광 필터(200)를 포함하고, 사용자 단말(100)은 사용자 단말용 케이스(300)와 결합할 수 있다. 사용자 단말(100)이 사용자 단말용 케이스(300)와 결합됨으로써 편광 필터(200)는 사용자 단말(100)의 카메라(101)에 설치될 수 있다. 여기서 사용자 단말용 케이스(300)는 사용자 단말(100)의 전면 또는 후면에 설치될 수 있다. 또한, 편광 필터(200)는 사용자 단말용 케이스(300)에 고정되어 설치될 수 있고, 열고 닫을 수 있는 형태로 설치될 수 있다. 예를 들면, 편광 필터(200)는 사용자 단말용 케이스(300)에 슬라이딩 방식에 의해 열고 닫는 형태로 마련될 수 있다. 사용자가 전면 카메라(101)를 활용하는 경우, 본 발명에 따른 사용자 단말용 케이스(300)는 사용자 단말(100)의 전면에 설치될 수 있다. 사용자가 후면 카메라(101)를 활용하는 경우, 본 발명에 따른 사용자 단말용 케이스(300)는 사용자 단말(100)의 후면에 설치될 수 있다.Referring to FIGS. 2 and 3 , a user terminal case 300 includes a polarization filter 200 , and a user terminal 100 may be combined with the user terminal case 300 . As the user terminal 100 is coupled to the user terminal case 300 , the polarization filter 200 may be installed in the camera 101 of the user terminal 100 . Here, the user terminal case 300 may be installed on the front or rear surface of the user terminal 100 . In addition, the polarization filter 200 may be fixedly installed in the user terminal case 300 and may be installed in a form that can be opened and closed. For example, the polarization filter 200 may be provided in a case 300 for a user terminal in a sliding manner to open and close. When a user utilizes the front camera 101 , the case 300 for a user terminal according to the present invention may be installed on the front of the user terminal 100 . When a user utilizes the rear camera 101 , the case 300 for a user terminal according to the present invention may be installed on the rear surface of the user terminal 100 .

도 3을 참고하면, 사용자 단말용 케이스(300)는 컬러차트(301)를 포함할 수 있다. 컬러 차트(301)가 사용자 단말용 케이스(300)에 포함됨으로써, 사용자가 본인의 피부색을 인지할 수 있게 할 수 있다.Referring to FIG. 3 , a case 300 for a user terminal may include a color chart 301 . By including the color chart 301 in the case 300 for the user terminal, the user can recognize his or her own skin color.

도 4는 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 도시한 블록도이다.4 is a block diagram showing the configuration of a user terminal 100 according to an embodiment of the present invention.

도 4를 참고하면, 사용자 단말(100)은 카메라(101) 및 프로세서(102)를 포함한다. Referring to FIG. 4 , the user terminal 100 includes a camera 101 and a processor 102 .

카메라(101)는 사용자 단말(100)의 전면 또는 후면에 설치되어 사용자의 이미지를 촬영한다. 카메라(101)는 사용자 얼굴을 1회 이상 촬영한 이미지를 프로세서(102)에 제공하여 사용자 피부 상태 측정을 위한 자료를 제공하는 역할을 수행한다. 카메라(101)는 단일 카메라로 구성되거나, 듀얼 카메라 혹은 쿼드 카메라로 구성될 수 있다. 카메라(101)가 듀얼 혹은 쿼드 카메라로 구성된 경우, 전면에 서로 다른 편광축을 가지는 편광판을 포함하거나, 편광 필름 및 UV 패스 필터 등이 전면에 위치할 수 있고, 이 경우 사용자 단말(100)은 촬영 모드 변경에 따른 편광 이미지 및 UV 이미지 획득 기능을 구현할 수도 있다.The camera 101 is installed on the front or rear side of the user terminal 100 to take a user's image. The camera 101 serves to provide data for measuring the user's skin condition by providing the image of the user's face taken one or more times to the processor 102 . The camera 101 may be configured as a single camera, dual camera or quad camera. When the camera 101 is configured as a dual or quad camera, a polarizer having a different polarization axis may be included on the front side, or a polarizing film and a UV pass filter may be positioned on the front side. In this case, the user terminal 100 is in a shooting mode. Polarization image and UV image acquisition functions according to the change may be implemented.

도 5는 본 발명의 일 실시예에 따른 편광 필터(200)의 기능을 설명한 것이다.5 illustrates the function of the polarization filter 200 according to an embodiment of the present invention.

도 5를 참고하면, 편광 필터(200)는 사용자 단말(100)에 스티커 형식으로 부착될 수 있다. 편광 필터(200)는 카메라(101)가 촬영하는 이미지의 고유색을 변화 시키지 않으면서 불필요한 빛을 차단한다. 여기서, 불필요한 빛은 카메라(101)가 인식하는 색조에 영향을 미칠 수 있는 빛을 의미한다. 예를 들면 불필요한 빛은 자외선(Ultra violet)일 수 있으나 이에 한정되지 않는다. 또한, 편광 필터(200)는 분광반사, 직접반사, 섬광반사 또는 난반사를 차단할 수 있다. 상술한 바와 같이 편광 필터(200)는 사용자 단말(100)에 탈, 부착되는 형태로 마련될 수 있다. 또한, 편광 필터(200)는 사용자 단말용 케이스(300)에 영구적으로 부착된 형태로 마련될 수 있다. 또한, 편광 필터(200)는 사용자 단말용 케이스(300)에 슬라이드 방식의 미닫이 형태로 마련될 수 있다.Referring to FIG. 5 , the polarization filter 200 may be attached to the user terminal 100 in the form of a sticker. The polarization filter 200 blocks unnecessary light without changing the intrinsic color of the image captured by the camera 101. Here, unnecessary light means light that may affect the color tone recognized by the camera 101 . For example, the unnecessary light may be ultraviolet (ultra violet), but is not limited thereto. In addition, the polarization filter 200 may block spectral reflection, direct reflection, glare reflection, or diffuse reflection. As described above, the polarization filter 200 may be provided in a detachable or attached form to the user terminal 100 . In addition, the polarization filter 200 may be provided in a form permanently attached to the user terminal case 300 . In addition, the polarization filter 200 may be provided in the case 300 for a user terminal in the form of a sliding door.

프로세서(102)는 카메라(101)에 의해 획득된 사용자 얼굴 이미지를 분석한다. 본 발명에 따른 일실시예에 따른 프로세서(102)는 카메라(101)에 의해 획득된 단일 사용자 얼굴 이미지를 분석하거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 획득된 사용자 얼굴 전체 이미지를 분석할 수 있다.The processor 102 analyzes the user's face image obtained by the camera 101 . The processor 102 according to an embodiment of the present invention analyzes a single user's face image obtained by the camera 101, or obtains a plurality of shooting parameters set to extract a specific region of the user's face. A specific region of the user's face may be extracted from each of a plurality of user's face images, and an entire image of the user's face obtained by synthesizing the extracted specific region of the user's face may be analyzed.

본 명세서에서 용어 「단일 사용자 얼굴 이미지」는 피부 상태 분석을 위해 카메라에 의해 획득되고, 프로세서에 의해 분석되는 단일 이미지를 의미하는 것으로써, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 특정 영역 추출 및 합성 기술을 통해 형성되는 사용자 얼굴 전체 이미지와의 차별화를 위해, 상기 용어는 본 명세서에서 사용된다. In this specification, the term “single user face image” refers to a single image obtained by a camera and analyzed by a processor for skin condition analysis, and includes a plurality of user face images obtained based on a plurality of shooting parameters. The term is used in this specification for differentiation from the entire image of the user's face formed through a specific region extraction and synthesis technique.

본 명세서에서 용어 「사용자 얼굴 전체 이미지」 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 특정 얼굴 영역을 추출하고, 이를 합성하는 기술을 통해 형성되고, 피부 상태 측정을 위해 사용되는 사용자 얼굴 이미지를 의미한다.In this specification, the term "user's entire face image" is formed through a technique of extracting a specific face region from each of a plurality of user face images obtained based on a plurality of photographing parameters and combining them, and is used for measuring skin conditions. means face image.

프로세서(102)는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 획득된 사용자 얼굴 이미지인 단일 사용자 얼굴 이미지를 분석할 수 있다. 이 경우, 프로세서(102)는 카메라(101)의 촬영 파라미터 및 광원의 밝기 등을 제어할 수 있다.The processor 102 may analyze a single user face image, which is a user face image obtained by photographing a user's face based on an arbitrary shooting parameter. In this case, the processor 102 may control the shooting parameters of the camera 101 and the brightness of the light source.

구체적으로, 프로세서(102)는 예비 촬영 파라미터를 바탕으로 획득된 사용자 얼굴 이미지의 밝기를 분석하여, 상기 예비 촬영 파라미터를 촬영 파라미터로 설정할 수 있다. 이때, 예비 촬영 파라미터는 외부의 조명 환경에 따라 결정될 수 있다. 이 경우, 프로세서(102)는 예비 촬영 파라미터를 바탕으로 설정된 촬영 파라미터를 기반으로 사용자 얼굴 이미지를 획득하고, 상기 사용자 얼굴 이미지를 피부 상태 측정을 위한 단일 사용자 얼굴 이미지로 설정할 수 있다. Specifically, the processor 102 may analyze the brightness of the user's face image obtained based on the preliminary photographing parameters and set the preliminary photographing parameters as photographing parameters. In this case, the preliminary photographing parameters may be determined according to an external lighting environment. In this case, the processor 102 may acquire a user's face image based on the shooting parameters set based on the preliminary shooting parameters, and set the user's face image as a single user's face image for skin condition measurement.

또한, 프로세서(102)는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 획득된 사용자 얼굴 전체 이미지를 분석할 수 있다. In addition, the processor 102 extracts a specific region of the user's face from each of a plurality of user face images obtained by photographing the user's face based on a plurality of shooting parameters, and synthesizes the extracted specific region of the user's face. The entire face image can be analyzed.

구체적으로, 프로세서(102)는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하고, 이를 피부 상태 측정을 위한 사용자 얼굴 전체 이미지로 설정할 수 있다.Specifically, the processor 102 extracts a specific region of the user's face from each of a plurality of user face images obtained based on a plurality of shooting parameters set to extract the specific region of the user's face, and identifies the extracted user's face. The regions may be synthesized to form a user's entire face image for skin condition measurement, and this may be set as the user's entire face image for skin condition measurement.

사용자 얼굴의 피부를 분석하기 위한 촬영 파라미터는 프로세서(102)에 의해 설정된다. 상기 촬영 파라미터는, 예를 들면, 광원에 포함되는 광원의 세기, 종류 및/또는 방향 등이거나, 카메라(101)의 셔터 스피드 및/또는 조리개값 일 수 있다.Shooting parameters for analyzing the skin of the user's face are set by the processor 102 . The shooting parameter may be, for example, the intensity, type and/or direction of the light source included in the light source, or the shutter speed and/or aperture value of the camera 101 .

하나의 예시에서, 상기 촬영 파라미터는, 광원의 세기, 광원의 방향, 카메라의 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있다. In one example, the shooting parameter may include any one or more of the intensity of the light source, the direction of the light source, the shutter speed of the camera, and the aperture value.

이하, 복수의 예비 촬영 파라미터를 바탕으로 사용자 얼굴의 특정 영역을 추출하고, 이를 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성한 후, 이를 분석하도록 설계된 프로세서(102)의 동작에 대해 보다 구체적으로 설명한다. Hereinafter, the operation of the processor 102 designed to extract a specific region of the user's face based on a plurality of preliminary photographing parameters, synthesize them to form an entire image of the user's face for skin condition measurement, and analyze it in more detail. be explained by

프로세서(102)는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계된다. The processor 102 is designed to analyze brightness of a plurality of user face images obtained based on a plurality of preliminary photographing parameters, and set one or more of the plurality of preliminary photographing parameters as a plurality of photographing parameters.

하나의 예시에서, 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제1 영역(예를 들어, 얼굴 중심 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 프로세서(102)는 제1 예비 촬영 파라미터를 사용자 얼굴의 제1 영역에 대응하는 제1 촬영 파라미터로 설정하도록 설계될 수 있다. 또한, 복수의 예비 촬영 파라미터 중 제2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제2 영역(예를 들어, 얼굴 외곽 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제2 예비 촬영 파라미터를 사용자 얼굴의 제2 영역에 대응하는 제2 촬영 파라미터로 설정하도록 설계될 수 있다. In one example, when an image captured based on a first preliminary shooting parameter among a plurality of preliminary shooting parameters has a brightness value of a preset range for a first region (eg, a central region of the face) of a user's face, The processor 102 may be designed to set the first preliminary shooting parameters to the first shooting parameters corresponding to the first region of the user's face. In addition, when an image captured based on a second preliminary photographing parameter among a plurality of preliminary photographing parameters has a brightness value within a preset range for a second region (eg, an area outside the face) of the user's face, the processor It may be designed to set the second preliminary shooting parameter to the second shooting parameter corresponding to the second region of the user's face.

즉, 프로세서(102)는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계될 수 있다. That is, the processor 102 sets a first preliminary shooting parameter to have a brightness value within a predetermined range for the first region of the user's face image as the first shooting parameter, and sets a predetermined range for the second region of the user's face image. It may be designed to set the second preliminary shooting parameter having a brightness value in the range as the second shooting parameter.

복수의 촬영 파라미터를 바탕으로 프로세서(102)는 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하도록 설계된다. Based on a plurality of shooting parameters, the processor 102 is designed to extract a specific region of the user's face from each of a plurality of user's face images obtained based on a plurality of set shooting parameters.

하나의 예시에서, 프로세서(102)는 제1 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제1 사용자 얼굴 이미지를 획득하고, 제2 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제2 사용자 얼굴 이미지를 획득하도록 설계될 수 있다. 그리고, 프로세서는 복수의 이미지로부터 복수의 이미지 각각에 대응하는 사용자 얼굴 영역을 추출하고, 추출된 사용자 얼굴 영역들을 합성하여 얼굴 전체 이미지를 획득하도록 설계될 수 있다. In one example, the processor 102 acquires a first user's face image by capturing a user's face based on a first capturing parameter, and acquires a second user's face image by capturing a user's face based on a second capturing parameter. can be designed to Also, the processor may be designed to extract a user's face region corresponding to each of the plurality of images from the plurality of images, and obtain an entire face image by synthesizing the extracted user's face regions.

즉, 프로세서(102)는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출할 수 있도록 설계될 수 있으며, 또한 상기 프로세서는 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있도록 설계될 수 있다. That is, the processor 102 extracts a first face region from the first user's face image obtained by the first shooting parameter, and extracts a second face region from the second user's face image obtained by the second shooting parameter. Also, the processor may be designed to synthesize the first facial region and the second facial region to form an entire face image of the user for skin condition measurement.

상기 제1 얼굴 영역과 제2 얼굴 영역을 합성할 때, 프로세서(102)는 밝기 보정을 수행하여 제1 얼굴 영역과 제2 얼굴 영역을 합성하도록 설계될 수 있다. When synthesizing the first face region and the second face region, the processor 102 may be designed to perform brightness correction to synthesize the first face region and the second face region.

구체적으로, 프로세서(102)는 제1 얼굴 영역과 제2 얼굴 영역의 경계 부근에서 상기 제1 얼굴 영역과 상기 제2 얼굴 영역 사이의 밝기 차이값을 판단할 수 있도록 설계될 수 있고, 프로세서(102)는 밝기 차이값을 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단할 수 있도록 설계될 수 있다. 이때, 합성 가중치는 밝기를 조절하기 위한 가중치일 수 있다. 그리고, 프로세서는 합성 가중치를 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절한 후, 상기 영역들을 합성하도록 설계될 수 있다. Specifically, the processor 102 may be designed to determine a brightness difference between the first face region and the second face region near a boundary between the first face region and the second face region, and the processor 102 ) may be designed to determine a synthesized weight for at least one of the first face region and the second face region based on the brightness difference value. In this case, the composite weight may be a weight for adjusting the brightness. Also, the processor may be designed to adjust the brightness of at least one of the first face region and the second face region based on the synthesis weight, and then synthesize the regions.

상기와 같은 프로세서(102)의 구성을 통해, 보다 정확한 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 획득할 수 있고, 이를 기반으로 피부 상태를 효과적으로 분석할 수 있다. Through the configuration of the processor 102 as described above, it is possible to obtain an entire image of the user's face for more accurate skin condition measurement, and based on this, the skin condition can be effectively analyzed.

프로세서(102)는 사용자 얼굴 이미지를 분석하여 피부 상태 측정 결과를 사용자에게 제공하고, 내부 공간에 위치하는 케어 장비의 종류 및 구동 설정값을 추천하도록 설계된다.The processor 102 analyzes the user's face image, provides the user with a skin condition measurement result, and is designed to recommend the type of care equipment located in the interior space and driving settings.

프로세서(102)의 피부 상태 측정 결과에는, 예를 들면 얼굴 부위별 피부 상태를 나타내는 오버뷰, 피부 나이, 피부 점수, 피부 문제사항 및 각 피부 상태 진단 요소별 점수를 포함할 수 있으나, 이에 제한되는 것은 아니다.The skin condition measurement result of the processor 102 may include, for example, an overview showing skin conditions for each facial part, skin age, skin scores, skin problems, and scores for each skin condition diagnosis element, but is not limited thereto. not.

프로세서(102)의 피부 상태 측정은, 예를 들면 디바이스의 메모리부에 저장되어 있는 피부 상태 측정 데이터를 기반으로 구현될 수 있다. 메모리부에 저장되어 있는 피부 상태 측정 데이터는 외부 서버의 빅데이터부에서 제공되는 최신 피부 상태 측정 정보가 실시간으로 갱신되기 때문에, 정확한 피부 상태 측정 결과를 사용자에게 제공할 수 있다.Skin condition measurement by the processor 102 may be implemented based on, for example, skin condition measurement data stored in the memory unit of the device. Since the skin condition measurement data stored in the memory unit is updated in real time with the latest skin condition measurement information provided from the big data unit of the external server, accurate skin condition measurement results can be provided to the user.

도 6은 본 발명의 일 실시예에 따른 프로세서(102)에서 어플리케이션에 의해 사용자의 피부가 분석되는 것을 도시한 것이고, 도 7은 본 발명의 일 실시예에 따른 프로세서에서 어플리케이션에 의해 사용자의 피부가 분석되는 것을 도시한 것이다.6 shows that the user's skin is analyzed by an application in the processor 102 according to an embodiment of the present invention, and FIG. It shows what is being analyzed.

도 6및 도 7을 참조하면, 프로세서(102)는 카메라(101)가 촬영한 사용자의 이미지를 분석하고, 분석결과에 기초하여 사용자의 피부 상태를 판단한다. 또한, 프로세서(102)는 사용자의 피부 상태에 따른 의상 또는 배경을 추천해 줄 수 있다. Referring to FIGS. 6 and 7 , the processor 102 analyzes the user's image captured by the camera 101 and determines the user's skin condition based on the analysis result. Also, the processor 102 may recommend clothes or a background according to the user's skin condition.

구체적으로, 사용자의 피부색은 노란색, 빨간색 또는 파란색을 포함한다. 일반적으로 사용자의 피부에 노란색이 상대적으로 많이 포함된 경우, 프로세서(102)는 파란색 의상이 사용자에게 어울리는 것으로 판단할 수 있다. 또한, 사용자의 피부에 파란색이 상대적으로 많이 포함된 경우, 프로세서(102)는 노란색 의상이 사용자에게 어울리는 것으로 판단할 수 있다.Specifically, the user's skin color includes yellow, red, or blue. In general, when the user's skin contains a relatively large amount of yellow, the processor 102 may determine that blue clothing suits the user. In addition, when the user's skin contains a relatively large amount of blue, the processor 102 may determine that yellow clothing suits the user.

프로세서(102)는 광원 별 영상종류에 기초하여 사용자의 피부상태를 분석할 수 있다. 구체적으로, 프로세서(102)는 주름상태, 모공상태, 기미/잡티 상태, 홍조(붉은기) 상태, 여드름 상태, 다크서클 상태, 얼굴 윤곽 상태 또는 피부톤 상태로 분류하여 사용자의 피부를 분석할 수 있다. The processor 102 may analyze the user's skin condition based on the image type for each light source. Specifically, the processor 102 may analyze the user's skin by classifying it into wrinkles, pores, melasma/blemish, flushing (redness), acne, dark circle, facial contour, or skin tone. .

프로세서(102)는 수신된 사용자 얼굴 이미지(즉, 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지)를 색소 분리 기술을 적용하여 멜라민(melanin) 영상과 헤모글로빈(hemoglobin) 영상으로 분리할 수 있으며, 멜라민(melanin) 영상을 분석하여 기미 정도 및 피부톤에 대한 정보를 획득할 수 있고, 헤모글로빈(hemoglobin) 영상을 분석하여 사용자 얼굴에 존재하는 홍반에 대한 정보를 획득할 수 있다.The processor 102 may separate the received user face image (ie, a single user face image or the entire user face image) into a melanin image and a hemoglobin image by applying a pigment separation technique, ) image can be analyzed to obtain information on the degree of melasma and skin tone, and information on erythema existing on the user's face can be obtained by analyzing a hemoglobin image.

그리고 프로세서(102)는 수신된 사용자 얼굴 이미지의 RGB를 분석하여, 사용자 얼굴에 존재하는 여드름에 대한 정보(예를 들어, 여드름 발생 여부, 여드름 발생 가능 확률 등), 사용자 얼굴에 존재하는 모공에 대한 정보(예를 들어, 모공 존재 여부, 모공의 깊이 등), 및 사용자 얼굴에 존재하는 주름에 대한 정보(예를 들어, 주름 존재 여부, 주름의 깊이 등)를 획득할 수 있다.Further, the processor 102 analyzes RGB of the received user's face image, and provides information on acne existing on the user's face (eg, whether or not acne occurs, probability of occurrence of acne, etc.), information on pores present on the user's face. Information (eg, presence or absence of pores, depth of pores, etc.) and information on wrinkles present on the user's face (eg, presence or absence of wrinkles, depth of wrinkles, etc.) may be obtained.

또한, 프로세서(102)는 수신된 사용자 얼굴 이미지에 대한 UV 영상으로부터 사용자 얼굴에 존재하는 피지에 대한 정보를 획득할 수 있다.In addition, the processor 102 may obtain information on sebum present on the user's face from the received UV image of the user's face image.

이상의 프로세서(102)가 각 피부 분석 항목 별로 특성 값을 수치화하는 단계는 딥러닝에 기반하여 복수의 사용자 별 피부 촬영 데이터를 분석할 수 있다.In the above process of digitizing the characteristic value for each skin analysis item by the processor 102, skin image data for a plurality of users may be analyzed based on deep learning.

이때, 프로세서(102)는 각각의 피부 분석 항목 별로 사용자 얼굴의 영역 별로 각 항목에 대한 특성 값을 수치화한 결과에 따라, 도 3에서와 같이 해당 수치 값이 분포 상에서 어느 위치에 존재하는가에 따라 기설정된 범위(예: 0 내지 10) 내에서 점수를 매핑한다. 예를 들어, 도 3에서 기미 면적 분포의 μ+2σ 이상이면 0점을 매핑하고, 기미 면적 분포의 μ-2σ 이하이면 10점을 매핑할 수 있다.At this time, the processor 102 determines the location of the corresponding numerical value on the distribution, as shown in FIG. Scores are mapped within a set range (eg, 0 to 10). For example, in FIG. 3 , a point of 0 may be mapped if it is greater than or equal to μ+2σ of the stain area distribution, and a point of 10 may be mapped if it is less than or equal to μ−2σ of the stain area distribution.

예를 들어, 6가지 항목에 대한 분석 결과를 바탕으로 사용자에게 각 항목별로 케어 대상 영역(즉, 상대적으로 케어를 더 해야 하는 피부 영역)을 사용자 인터페이스를 통해 알려주되, 미리 수집된 동일한 성별, 유사한 나이 대의 사람들의 분석 수치를 기반으로 항목별로 0 ~ 10점으로 피부 상태를 점수화하여 보여줄 수 있으며, 총 분석 결과를 기반으로 전체적인 피부 상태를 0 ~ 10점으로 점수화하여 나타낼 수 있다.For example, based on the analysis results of 6 items, the user is notified of the area to be cared for for each item (ie, the skin area that needs relatively more care) through the user interface, Based on the analysis values of people of the same age group, the skin condition may be scored and displayed on a scale of 0 to 10 for each item, and the overall skin condition may be scored on a scale of 0 to 10 based on the total analysis result.

프로세서(102)는 사용자 인터페이스를 통해, 피부 진단 정보로서, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 그래프, 각 피부 분석 항목 별 점수 및 케어가 필요한 항목에 대한 텍스트 정보, 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보, 피부 분석 항목 별 점수에 기초한 전체 피부 분석 항목의 평균 점수, 영상 내 사용자 얼굴 영역 중 케어가 필요한 항목 정보에 대응하는 영역이 식별 가능하게 표시된 현재 피부 상태 영상 및 피부 나이를 제공할 수 있다. The processor 102 provides skin diagnosis information through a user interface, including a score graph for each skin analysis item that scores the user's current skin condition, scores for each skin analysis item and text information for items requiring care, among skin analysis items. Item information requiring care including at least one item from the lowest score, the average score of all skin analysis items based on the score for each skin analysis item, and the area corresponding to the item information requiring care among the user's face areas in the image can be identified The currently displayed skin condition image and skin age may be provided.

또한, 프로세서(102)는 사용자 인터페이스를 통해, 현재 피부 상태 영상에서 전체적인 피부 분석 항목 별 분석 결과를 표현하였다면, 프로세서(102)는 피부 분석 항목 별로 영상 내 사용자 얼굴 영역 중 케어가 필요한 항목에 대응하는 영역에 개선된 피부 상태를 표현한 가상 영상이 합성된 개선 피부 상태 영상 및 악화된 피부 상태를 표현한 가상 영상이 합성된 악화 피부 상태 영상 중 적어도 하나를 더 제공할 수 있다. In addition, if the processor 102 expresses the analysis results for each skin analysis item as a whole in the current skin condition image through the user interface, the processor 102 performs a skin analysis item corresponding to an item requiring care among the user's face areas in the image for each skin analysis item. At least one of an improved skin condition image synthesized with a virtual image representing an improved skin condition and a deteriorated skin condition image synthesized with a virtual image expressing a worsened skin condition may be further provided to the region.

프로세서(102)는 사용자의 피부상태 개선/악화 시 상태를 영상처리 기술을 이용하여, 색소 침착 정도가 심해졌을 때와 개선되었을 때의 얼굴 영상을 합성하거나, 모공 크기가 커지거나 줄어들었을 때의 얼굴 영상을 합성하거나, 여드름이 없어지거나 악화되었을 때의 얼굴 영상을 합성하거나, 주름이 깊어지거나 개선되어 사라졌을 때의 얼굴 영상을 합성하는 등의 피부상태 개선/악화 시의 얼굴 영상을 시뮬레이션할 수 있다.The processor 102 synthesizes facial images when the degree of pigmentation becomes severe and when the degree of pigmentation is improved, or the face when the pore size increases or decreases It is possible to simulate facial images when the skin condition is improved/deteriorated, such as synthesizing images, synthesizing facial images when acne has disappeared or worsened, or synthesizing facial images when wrinkles have deepened or improved and disappeared. .

프로세서(102)는 사용자 인터페이스를 통해, 개인 맞춤형 추천 정보로서, 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 분석된 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 제공할 수 있다. 즉, 피부 분석 결과를 바탕으로, 가장 안 좋은 피부 항목에 대해 미리 수집된 제품 데이터베이스로부터 해당 항목 개선에 도움이 되는 제품을 추천해주거나, 같은 피부 고민을 갖고 있는 다른 사용자들이 선호하는 제품을 인터넷 제품 리뷰데이터들의 자연어 분석 기술을 통해 알아내어 사용자에게 추천해 줄 수 있다. 이때, 프로세서(102)는 케어가 필요한 항목 정보에 대응하는 관련 제품 정보 및 관련 솔루션 정보 중, 피부 진단 대상 사용자에 대응하여 입력된 식별 정보, 생활 습관 정보, 성별 및 나이 중 적어도 하나를 포함하는 사용자 정보에 기초하여 필터링된 정보를 출력할 수 있다. The processor 102 provides one or more pieces of information corresponding to the analyzed item requiring care among information on related products and related solution information pre-stored for each skin analysis item as personalized recommendation information through a user interface. can In other words, based on the results of skin analysis, products that help improve the item are recommended from a pre-collected product database for the worst skin item, or products preferred by other users with the same skin problem are Internet products. It can be found out through natural language analysis technology of review data and recommended to users. At this time, the processor 102 includes at least one of identification information, lifestyle information, gender, and age input in response to the skin diagnosis target user, among related product information and related solution information corresponding to item information requiring care. Based on the information, filtered information may be output.

예를 들어, 해당 사용자의 연령대 및 성별에 맞는 제품, 사용자의 생활 정보를 반영한 제품 등을 추천 정보로서 제공할 수 있다. 구체적으로, 프로세서(102)는 사용자 인터페이스를 통해, 날씨, 온도, 습도, 미세 먼지 정보 및 자외선 정도 중 적어도 하나를 포함하는 생활 환경 정보에 기초하여 필터링된 정보, 및 피부 진단 정보에 기반하여 웹 상에서 자연어 분석 처리를 통해 수집된 관련 제품 리뷰 데이터 및 관련 솔루션 데이터에 기초하여 필터링된 정보 중 적어도 하나를 포함하는 개인 맞춤형 추천 정보를 제공할 수 있다.For example, products suitable for the user's age and gender, products reflecting the user's life information, and the like may be provided as recommendation information. Specifically, the processor 102, through a user interface, displays information filtered based on living environment information including at least one of weather, temperature, humidity, fine dust information, and ultraviolet light levels, and based on skin diagnosis information on the web. Personalized recommendation information including at least one of filtered information based on related product review data and related solution data collected through natural language analysis processing may be provided.

예를 들어, 프로세서(102)는 홍조가 심한 사용자의 경우 수분과 피부장벽 재생 케어 관련 성분을 추천하고, 실외에서 주로 활동하는 사용자의 경우 자외선 차단 성분이나 화이트닝 케어 성분이 있는 제품을 추천할 수 있다. 또한 주름이 주요 고민인 사용자에 대해서도 20대인 경우 수분 제품을 추천하고, 40대의 경우 재생 케어 제품 위주로 추천할 수 있다. For example, the processor 102 may recommend ingredients related to moisture and skin barrier regeneration care for users with severe redness, and recommend products with sunscreen ingredients or whitening care ingredients for users who are mainly active outdoors. . In addition, for users whose main concern is wrinkles, we recommend moisturizing products for those in their 20s and regenerative care products for those in their 40s.

한편, 프로세서(102)는 사용자 인터페이스를 통해, 사용자가 추천 받은 제품을 구매할 수 있도록 하는 프로세스를 제공할 수 있다. 예를 들어, 프로세서(102)는 사용자 인터페이스를 통해, 추천된 제품을 연계된 구매 웹 사이트로의 링크를 제공하여 1회성으로 구매할 수 있도록 하는 프로세스를 제공할 수 있다.Meanwhile, the processor 102 may provide a process for enabling a user to purchase a recommended product through a user interface. For example, the processor 102 may provide a process for a one-time purchase by providing a link to an associated purchase web site of the recommended product via a user interface.

다른 예로, 프로세서(102)는 사용자가 해당 추천 제품에 대한 정기 배송을 요청할 수 있는 사용자 인터페이스를 제공할 수 있다. 사용자가 추천 제품에 대한 정기 배송을 선택하면, 프로세서(102)는 사전에 계약(또는 제휴)된 제품 브랜드의 서버(미도시)로 정기 배송 요청을 자동 전송 할 수 있다. 이때, 정기 배송 요청에는 사전에 사용자 인터페이스를 통해 사용자가 등록해 둔 사용자 정보(예: 이름, 연락처, 주소 등)가 포함될 수 있다. 또한, 프로세서(102)는 정기 배송 요청을 전송하기 이전에 사용자가 정기 배송 비용을 지불할 수 있도록 하는 비용 처리 프로세스를 더 처리할 수도 있다.As another example, the processor 102 may provide a user interface through which a user may request regular delivery of a corresponding recommended product. When a user selects regular delivery for a recommended product, the processor 102 may automatically transmit a request for regular delivery to a server (not shown) of a previously contracted (or affiliated) product brand. At this time, the regular delivery request may include user information (eg, name, contact information, address, etc.) registered by the user through the user interface in advance. In addition, the processor 102 may further process a costing process that allows the user to pay the subscription fee prior to sending the subscription request.

다음으로, 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 서비스 방법에 대해서 상세히 설명하도록 한다. Next, a user-customized skin diagnosis service method according to an embodiment of the present invention will be described in detail.

먼저 사용자 단말(100)를 사용하여 사용자의 얼굴을 일정 거리에서 비접촉식으로 촬영한다.First, the user's face is photographed from a certain distance using the user terminal 100 in a non-contact manner.

프로세서(102)가 촬영된 영상(즉, 사용자 얼굴 이미지)을 통신모듈을 통해 수신하면, 프로세서(102)는 사용자의 피부 상태를 분석한다. 프로세서(102)는 수신된 영상에 대해 딥러닝에 기반하여 사용자 얼굴 전체에 대한 기설정된 피부 분석 항목 별 피부 상태를 분석할 수 있다.When the processor 102 receives the photographed image (ie, the user's face image) through the communication module, the processor 102 analyzes the user's skin condition. The processor 102 may analyze the skin condition of the user's entire face for each predetermined skin analysis item based on deep learning on the received image.

이때, 피부 분석 장치(200)에는 사전에 복수의 사용자 별로 임의의 기간 동안 누적된 피부 상태 분석 결과(즉, 빅데이터)들이 저장되어 있으며, 이러한 딥러닝 모델을 사용하여 해당 사용자의 피부 분석 항목 별 피부 상태를 분석한다.At this time, the skin analysis device 200 stores skin condition analysis results (i.e., big data) accumulated for a certain period for each of a plurality of users in advance, and by using this deep learning model, each skin analysis item of the corresponding user Analyze skin condition.

예를 들어, 앞서 설명한 바와 같이 피부 분석 항목은 주름, 색소 침착, 홍조, 여드름, 모공 및 피지 등의 항목으로 설정될 수 있다.For example, as described above, skin analysis items may be set to items such as wrinkles, pigmentation, redness, acne, pores, and sebum.

이러한 피부 상태 분석의 결과로서 프로세서(102)는 사용자의 피부 분석 항목 별 현재 피부 상태를 수치화 및 점수화 할 수 있다.As a result of the skin condition analysis, the processor 102 may digitize and score the current skin condition for each skin analysis item of the user.

다음으로, 프로세서(102)는 점수화된 분석 결과에 기반하여 피부 진단 정보 및 맞춤형 추천 정보를 생성하고, 생성된 각각의 정보를 화면에 디스플레이할 수 있다. 이때, 피부 진단 정보는 사용자의 피부 변화 전후 상태를 영상 처리하여 딥러닝 기술에 기반하여 시뮬레이션한 결과를 포함할 수 있으며, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 '케어가 필요한 항목 정보'를 포함할 수 있다.Next, the processor 102 may generate skin diagnosis information and customized recommendation information based on the scored analysis result, and display each generated information on a screen. In this case, the skin diagnosis information may include a simulation result based on deep learning technology by image processing of the user's skin change state before and after, and a score for each skin analysis item that scores the user's current skin condition and among the skin analysis items 'Item information requiring care' including at least one item starting from the lowest score may be included.

또한, 맞춤형 추천 정보는, 기설정된 규칙에 기반하여 사용자에게 적합한 제품을 추천한 정보 및 다른 사용자의 리뷰 데이터 등에 기반하여 비슷한 피부 상태의 다른 사용자가 선호 또는 추천하는 제품을 추천한 정보를 포함할 수 있다. 이때, 맞춤형 추천 정보는 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함할 수 있다.In addition, the customized recommendation information may include information recommending products suitable for the user based on preset rules and information recommending products preferred or recommended by other users with similar skin conditions based on review data of other users. there is. In this case, the customized recommendation information may include one or more pieces of information corresponding to item information requiring care among information on related products and related solution information previously stored for each skin analysis item.

더 나아가, 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 서비스 방법은, 사용자가 자신의 피부 상태 분석 결과에 따라 추천된 제품을 구매할 수 있도록 하는 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.Furthermore, the user-customized skin diagnosis service method according to an embodiment of the present invention may further include providing a user interface allowing the user to purchase a recommended product according to a skin condition analysis result.

이때, 추천 제품을 연계된 구매 사이트에서 구매할 수 있도록 링크를 제공하는 방법, 사전에 제휴된 제품 브랜드 서버로 해당 제품을 사용자에게 정기 배송하도록 요청하는 방법, 및 사용자의 단말로 사용자가 직접 해당 제품에 대한 정기 배송을 요청할 수 있도록 하는 애플리케이션 데이터를 제공하는 방법 등을 제공할 수 있다.At this time, a method of providing a link so that the recommended product can be purchased from the linked purchase site, a method of requesting regular delivery of the product to the user to the affiliated product brand server in advance, and a method of requesting the user to ship the product directly to the user's terminal. It is possible to provide a method of providing application data that enables a request for regular delivery to the user.

한편, 본 발명의 다른 실시예에 따르면, 사용자 맞춤형 피부 진단 시스템은 앞서 설명한 피부 분석 장치의 동작을 모두 수행하되, 하나 이상의 포터블 피부 상태 측정 장치와 통신하는 피부 분석 서버로 구현되는 것도 가능하다.Meanwhile, according to another embodiment of the present invention, the user-customized skin diagnosis system may be implemented as a skin analysis server that performs all the operations of the skin analysis device described above and communicates with one or more portable skin condition measurement devices.

이상에서 언급된 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서 예를 들어, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. The "user terminal" mentioned above may be implemented as a computer or portable terminal capable of accessing a server or other terminals through a network. Here, the computer includes, for example, a laptop, a desktop, a laptop, etc. equipped with a web browser (WEB Browser), and a portable terminal is a wireless communication device that ensures portability and mobility, for example, IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), LTE (Long Term Evolution) communication-based terminals, all kinds of smartphones, tablet PCs, etc. may include a handheld-based wireless communication device of

또한, "네트워크"는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.Also, a "network" is a wired network such as a Local Area Network (LAN), a Wide Area Network (WAN) or a Value Added Network (VAN), a mobile radio communication network, or a satellite It can be implemented in all kinds of wireless networks such as communication networks.

또한, 상술한 프로세서(102)에서의 기능은 애플리케이션에 의하여 구현될 수 있다.In addition, the functions of the processor 102 described above may be implemented by applications.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program codes, and when executed by a processor, create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media in which instructions that can be decoded by a computer are stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As above, the disclosed embodiments have been described with reference to the accompanying drawings. Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a form different from the disclosed embodiments without changing the technical spirit or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.

100 : 사용자 단말
101: 카메라
102: 프로세서
200: 편광 필터
300: 사용자 단말용 케이스
301: 컬러 필터100: user terminal
101: camera
102: processor
200: polarization filter
300: case for user terminal
301: color filter

Claims

A polarizing film installed on at least one of a front camera and a rear camera of a user terminal;
and a processor configured to analyze a user's image transmitted through the polarizing film and input to at least one of a front camera and a rear camera of the user terminal, and determine a skin state of the user based on a determination result.