KR101881557B1 - Skin sebum estimating method using image - Google Patents

Skin sebum estimating method using image Download PDF

Info

Publication number
KR101881557B1
KR101881557B1 KR1020170010736A KR20170010736A KR101881557B1 KR 101881557 B1 KR101881557 B1 KR 101881557B1 KR 1020170010736 A KR1020170010736 A KR 1020170010736A KR 20170010736 A KR20170010736 A KR 20170010736A KR 101881557 B1 KR101881557 B1 KR 101881557B1
Authority
KR
South Korea
Prior art keywords
skin
data
color
computer device
regression analysis
Prior art date
Application number
KR1020170010736A
Other languages
Korean (ko)
Inventor
홍광석
김민수
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020170010736A priority Critical patent/KR101881557B1/en
Application granted granted Critical
Publication of KR101881557B1 publication Critical patent/KR101881557B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/467Colour computing

Abstract

A skin sebum degree measuring method using an image comprises the following steps of: allowing a computer device to detect a skin region of a subject in an image; allowing the computer device to extract color data and texture data of the skin region; and allowing the computer device to input at least one of the color data and the texture data to a previously arranged first regression analysis function by using a relationship of the at least one of the color data and the texture data and a sebum degree of a skin, and determine a first skin sebum degree. Therefore, the sebum degree of the skin can be easily measured by using the image captured by a camera or a smart device.

Description

영상을 이용한 피부 유분도 측정 방법{SKIN SEBUM ESTIMATING METHOD USING IMAGE}{SKIN SEBUM ESTIMATING METHOD USING IMAGE}

이하 설명하는 기술은 영상을 이용하여 피부의 유분도를 측정하는 기법에 관한 것이다.The technique described below relates to a technique for measuring the degree of skin oil using an image.

최근 피부 미용에 대한 관심이 증가함에 따라, 코스메틱 케어(Cosmetic-Care) 제품을 통해 사용자의 피부 상태를 진단하는 장치들이 주목받고 있다. 한편 피부 상태를 측정한 데이터를 스마트폰으로 관리하는 서비스도 제공되고 있다.BACKGROUND ART [0002] Recently, as interest in skin beauty has increased, devices for diagnosing a user's skin condition through cosmetic-care products have been attracting attention. Meanwhile, a service for managing the skin condition data by a smart phone is also provided.

한국공개특허 제10-2015-0033938호Korean Patent Publication No. 10-2015-0033938

피부 상태를 측정하거나 관리하는 종래 기법은 기본적으로 피부 상태를 측정하기 위한 별도의 장치를 필요로 한다. 이하 설명하는 기술은 영상을 이용하여 피부의 유분도(溜分度)를 측정하는 방법을 제공하고자 한다.Conventional techniques for measuring or managing skin conditions basically require a separate device to measure skin condition. The technique described below is intended to provide a method of measuring the degree of sebum in skin using an image.

영상을 이용한 피부 유분도 측정 방법은 컴퓨터 장치가 영상에서 대상자의 피부 영역을 검출하는 단계, 상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계 및 상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 유분도의 관계를 이용하여 사전에 마련한 제1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 제1 피부 유분도를 결정하는 단계를 포함한다.A method for measuring skin oiliness using an image includes the steps of: detecting a skin region of a subject in a video image by a computer device; extracting color data and texture data of the skin region of the computer device; And inputting at least one of the color data and the texture data to a first regression analysis function provided beforehand using a relationship between at least one of the texture data and the skin oiliness to determine a first skin oiliness.

다른 측면에서 영상을 이용한 피부 유분도 측정 방법은 컴퓨터 장치가 영상에서 대상자의 피부 영역을 검출하는 단계, 상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계, 상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도의 관계를 이용하여 사전에 마련한 제1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 피부 수분도를 추정하는 단계 및 상기 컴퓨터 장치가 상기 추정된 피부 수분도와 상기 피부의 유분도의 관계를 이용하여 사전에 마련한 제2 회귀 분석 함수에 상기 추정한 피부 수분도를 입력하여 피부 유분도를 추정하는 단계를 포함한다.In another aspect of the present invention, there is provided a method for measuring skin oil content using an image, comprising the steps of: detecting a skin region of a subject in an image; extracting color data and texture data of the skin region from the computer device; Estimating skin moisture by inputting at least one of the color data and the texture data to a first regression analysis function provided in advance using a relationship between at least one of the data and the texture data and the moisture content of the skin, And estimating skin oiliness by inputting the estimated skin moisture content to a second regression analysis function previously prepared using the relationship between the estimated skin moisture content and the skin oiliness.

이하 설명하는 기술은 카메라나 스마트 기기로 촬영한 영상을 이용하여 손쉽게 피부의 유분도를 측정할 수 있다.The technique described below can easily measure the degree of oiliness of a skin using a camera or an image captured by a smart device.

도 1은 영상을 이용한 피부 유분도를 측정하는 장치의 구성을 도시한 예이다.
도 2는 영상을 이용한 피부 유분도를 측정하는 방법에 대한 순서도의 예이다.
도 3은 회귀 분석 함수를 마련하는 과정에 대한 예이다.
도 4는 도 2의 방법에 따라 피부 유분도를 측정하는 과정에 대한 예이다.
도 5는 산출한 피부 유분도를 이용하여 개선된 회귀 분석 함수를 마련하는 과정에 대한 예이다.
도 6은 개선된 피부 유분도를 산출하는 과정에 대한 예이다.
도 7은 영상을 이용한 피부 유분도를 측정하는 방법에 대한 순서도의 다른 예이다.
도 8은 도 7의 회귀 분석 함수를 마련하는 과정에 대한 다른 예이다.
도 9는 도 7의 방법에 따라 피부 유분도를 측정하는 과정에 대한 예이다.
도 10은 도 7의 방법에 따라 피부 유분도를 측정하는 과정에 대한 다른 예이다.
FIG. 1 shows an example of a configuration of an apparatus for measuring skin oil fractions using images.
FIG. 2 is an example of a flowchart for a method of measuring skin oil content using an image.
FIG. 3 shows an example of a process of preparing a regression analysis function.
FIG. 4 is an example of a procedure for measuring skin oiliness according to the method of FIG.
FIG. 5 shows an example of a process of preparing an improved regression analysis function using the calculated skin oiliness.
6 is an example of a process for calculating improved skin oil fractions.
FIG. 7 is another example of a flowchart of a method for measuring skin oiliness using an image.
FIG. 8 shows another example of a process of preparing the regression analysis function of FIG.
FIG. 9 is an example of a procedure for measuring skin oiliness according to the method of FIG.
10 is another example of a procedure for measuring skin oiliness according to the method of FIG.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The following description is intended to illustrate and describe specific embodiments in the drawings, since various changes may be made and the embodiments may have various embodiments. However, it should be understood that the following description does not limit the specific embodiments, but includes all changes, equivalents, and alternatives falling within the spirit and scope of the following description.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc., may be used to describe various components, but the components are not limited by the terms, but may be used to distinguish one component from another . For example, without departing from the scope of the following description, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular " include "should be understood to include a plurality of representations unless the context clearly dictates otherwise, and the terms" comprises & , Parts or combinations thereof, and does not preclude the presence or addition of one or more other features, integers, steps, components, components, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Before describing the drawings in detail, it is to be clarified that the division of constituent parts in this specification is merely a division by main functions of each constituent part. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more functions according to functions that are more subdivided. In addition, each of the constituent units described below may additionally perform some or all of the functions of other constituent units in addition to the main functions of the constituent units themselves, and that some of the main functions, And may be carried out in a dedicated manner.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Also, in performing a method or an operation method, each of the processes constituting the method may take place differently from the stated order unless clearly specified in the context. That is, each process may occur in the same order as described, may be performed substantially concurrently, or may be performed in the opposite order.

도 1은 영상을 이용한 피부 유분도를 측정하는 장치의 구성을 도시한 예이다. 도 1은 사용자의 얼굴이 포함된 영상에서 얼굴을 검출하는 예를 도시한다. 피부 유분도는 피부에 포함된 유분 함량의 의미한다.FIG. 1 shows an example of a configuration of an apparatus for measuring skin oil fractions using images. FIG. 1 illustrates an example of detecting a face in an image including a user's face. Skin oil content refers to the amount of oil contained in the skin.

도 1(a)는 스마트폰과 같은 스마트 기기(50)를 이용하여 피부 유분도를 측정하는 예이다. 사용자는 스마트 기기(50)에 내장된 카메라로 얼굴을 촬영한다. 스마트 기기(50)는 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 영역의 색상 데이터 및 질감 데이터를 추출한다. 스마트 기기(50)는 색상 데이터 및 질감 데이터 중 적어도 하나를 기준으로 피부 유분도를 측정한다.FIG. 1 (a) is an example of measuring skin oiliness using a smart device 50 such as a smart phone. The user takes a face with the camera built in the smart device 50. The smart device 50 detects the face area from the source image and extracts the color data and texture data of the preset area. The smart device 50 measures skin oiliness based on at least one of color data and texture data.

도 1(a)에서 스마트 기기(50)는 카메라(51), 저장 장치(52), 연산 장치(53) 및 출력 장치(54)를 포함한다. 카메라(51)는 소스 영상을 획득한다. 연산 장치(53)는 소스 영상에 포함된 피부 영역에 대한 색상 데이터 및 질감 데이터를 추출하고, 색상 데이터 및 질감 데이터 중 적어도 하나로부터 피부 유분도를 측정하는 연산을 수행한다. 저장 장치(52)는 소스 영상을 임시로 저장할 수 있다. 또한 저장 장치(52)는 피부 유분도 측정에 사용되는 회귀 분석 함수를 저장할 수도 있다. 출력 장치(54)는 측정한 피부 유분도를 출력할 수 있다.1 (a), the smart device 50 includes a camera 51, a storage device 52, a computing device 53, and an output device 54. The camera 51 acquires the source image. The arithmetic unit 53 extracts color data and texture data for a skin region included in the source image, and performs an operation for measuring skin oil fractions from at least one of the color data and the texture data. The storage device 52 may temporarily store the source image. The storage device 52 may also store a regression analysis function used to measure skin oil fractions. The output device 54 can output the measured skin oil level.

도 1(b)는 PC와 같은 장치를 이용하여 피부 유분도를 측정하는 예이다. 사용자는 컴퓨터(85)에 연결된 카메라(81)로 얼굴을 촬영한다. 컴퓨터(85)는 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 영역의 색상 데이터 및 질감 데이터를 추출한다. 컴퓨터(85)는 색상 데이터 및 질감 데이터 중 적어도 하나를 기준으로 피부 유분도를 측정한다. FIG. 1 (b) is an example of measuring skin oiliness using a device such as a PC. The user shoots the face with the camera 81 connected to the computer 85. The computer 85 detects the face area from the source image and extracts the color data and texture data of the predetermined area. The computer 85 measures skin oiliness based on at least one of color data and texture data.

도 1(c)는 사용자 단말(91)로 획득한 영상을 이용하여 원격지에 있는 서버(95)가 피부 유분도를 측정하는 예이다. 사용자는 사용자 단말(91)에 내장된 카메라로 얼굴을 촬영한다. 사용자 단말(91)은 촬영한 소스 영상을 네트워크를 통해 서버(95)에 전달한다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함한다. 서버(95)는 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 영역의 색상 데이터 및 질감 데이터를 추출한다. 서버(95)는 색상 데이터 및 질감 데이터 중 적어도 하나를 기준으로 피부 유분도를 측정한다. 서버(95)는 측정한 피부 유분도를 사용자 단말(91)에 전달할 수 있다.1 (c) shows an example in which the server 95 at a remote location measures skin oiliness using an image acquired by the user terminal 91. FIG. The user takes a face with a camera built in the user terminal 91. The user terminal 91 transfers the photographed source image to the server 95 via the network. In this case, the user terminal 91 includes a communication module for data transmission. The server 95 detects the face area in the source image and extracts the color data and texture data of the predetermined area set in advance. The server 95 measures skin oiliness based on at least one of color data and texture data. The server 95 may transmit the measured skin oil level to the user terminal 91.

경우에 따라서는 사용자 단말(91)이 소스 영상에서 피부 영역을 검출하여 서버(95)에 전달할 수 도 있다. 이 경우 서버(95)는 피부 영역에 대한 색상 데이터 및 질감 데이터를 추출하고, 색상 데이터 및 질감 데이터 중 적어도 하나를 이용하여 피부 유분도를 측정한다. 또는 사용자 단말(91)이 소스 영역에서 피부 영역을 검출하고, 피부 영역에 대한 색상 데이터 및 질감 데이터를 추출할 수 있다. 사용자 단말(91)은 피부 영역에 대한 색상 데이터 및 질감 데이터를 서버(95)에 전달할 수 있다. 서버(95)는 색상 데이터 및 질감 데이터 중 적어도 하나를 이용하여 피부 유분도를 측정할 수 있다.In some cases, the user terminal 91 may detect the skin region from the source image and transmit it to the server 95. In this case, the server 95 extracts color data and texture data for the skin region, and measures skin oiliness using at least one of the color data and the texture data. Alternatively, the user terminal 91 may detect the skin region in the source region and extract color and texture data for the skin region. The user terminal 91 may transmit color and texture data for the skin region to the server 95. The server 95 may measure skin oiliness using at least one of color data and texture data.

도 2는 영상을 이용한 피부 유분도를 측정하는 방법(100)에 대한 순서도의 예이다. 2 is an example of a flowchart for a method 100 for measuring skin oil content using an image.

먼저 카메라가 소스 영상을 획득한다(110). 소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(120). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.First, the camera acquires the source image (110). The source image includes a skin area of the user. The computer device detects the skin region in the source image captured by the camera (120). The algorithm by which the computer device detects the skin area can utilize various techniques known in the art.

컴퓨터 장치는 피부 영역에 대한 색상 데이터 및 질감 데이터의 평균값을 추출한다(130). 컴퓨터 장치는 추출한 피부 영역 전체에 대한 색상 데이터 및 질감 데이터를 추출할 수 있다. 또한 컴퓨터 장치는 획득한 영상에서 특정한 피부 영역에 대한 색상 데이터 및 질감 데이터를 추출할 수도 있다. 컴퓨터 장치는 연속된 영상(연속된 프레임)에서 계속 색상 데이터를 추출할 수도 있다.The computer device extracts an average value of color data and texture data for the skin region (130). The computer device can extract color and texture data for the entire extracted skin area. The computer device may also extract color and texture data for a specific skin region from the acquired image. The computer device may continue to extract color data in successive images (consecutive frames).

색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 평균값을 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 정치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 컴퓨터 장치는 특정 색상 체계의 색차 성분 또는 휘도 성분 중 적어도 하ㄴ나를 색상 데이터를 추출할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb 또는 Cr 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg 또는 Co 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. Various values can be used for the color data. For example, (1) the color data may use at least one of an R value, a G value, and a B value based on the RGB color scheme. The color data may use an average value for at least one of R value, G value, and B value. (2) The computer device can convert the RGB color scheme to a different color scheme. For example, computer politics can convert the RGB color scheme to various color schemes such as YUV, HSV, YCbCr, YCgCo, and the like. The computer device can extract color data of at least one of chrominance components or luminance components of a specific color system. In this case, the color data may use one of the components that are less influenced by the surrounding environment (illumination, etc.). For example, in the case of YCbCr, at least one of Cb and Cr can be used. In the case of YCgCo, at least one of Cg and Co may be used. Further, one of the two chrominance components, which is more robust to the variation of the illuminance, can be used. For example, in the case of YCgCo, only Cg can be used. In this case, the computer device can extract the average value of the Cg color data of the skin region as color data. (3) Further, the color data may be a value obtained by combining weights applied to at least one color component in various color systems such as RGB, YUV, HSV, YCbCr, YCgCo, and the like. In the case of combining color components, the color data may be a value obtained by adding different weighted values depending on the color system and the type of color component.

영상에서 질감 데이터는 다양한 종류가 사용되고 있다. 영상의 질감에 대해서는 대조(contrast) 정도, ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity) 및 동질도(homogeneity), 방향성 등과 같은 다양한 척도가 연구되고 있다. Various kinds of texture data are used in image. Various measures such as contrast, angular second moment (ASM), entropy, dissimilarity, homogeneity, and direction are studied for the texture of the image.

컴퓨터 장치는 추출한 색상 데이터 및/또는 질감 데이터를 사전에 마련한 회귀 분석 함수에 적용하여 피부의 유분도를 산출한다(140). 컴퓨터 장치는 색상 데이터 및 질감 데이터 중 적어도 하나를 회귀 분석 함수에 적용하여 피부의 유분도를 산출할 수 있다.The computer device applies the extracted color data and / or texture data to a regression analysis function provided in advance to calculate the degree of skin oil (140). The computer device may calculate at least one of the color data and the texture data to a regression analysis function to calculate an oil content of the skin.

회귀 분석은 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다. 회귀 분석은 사전에 일정한 샘플 데이터를 이용하여 특정한 값을 산출하는 함수(수식)을 산출하게 된다. 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 나타내는 수식으로 표현된다. 컴퓨터 장치는 영상을 이용하여 색상 데이터 및 질감 데이터를 추출하고, 동시에 피부 유분 측정기기를 이용하여 동일 사용자에 대한 피부 유분도를 측정한다. 이 과정을 반복하여 복수의 데이터를 생성하고, 컴퓨터 장치는 생성된 복수의 데이터를 기반으로 색상 데이터 및 질감 데이터로부터 피부 유분도를 산출하는 회귀 분석 함수를 생성한다. Regression analysis is an analytical method that measures fit between two variables for continuous variables. Regression analysis calculates a function (formula) that calculates a specific value using predetermined sample data in advance. The regression function is expressed as an equation representing a regression line or a regression curve. The computer device extracts the color data and the texture data using the image, and at the same time, measures the skin oiliness for the same user using the skin oil measuring device. This process is repeated to generate a plurality of data, and the computer apparatus generates a regression analysis function that calculates skin oil fractions from the color data and the texture data based on the plurality of generated data.

도 3은 회귀 분석 함수를 마련하는 과정에 대한 예이다. 색상 데이터 및 질감 데이터에 대한 샘플을 마련하는 과정을 설명한다. 사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 컴퓨터 장치는 피부 영역에서 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 추출된 색상 데이터 및 질감 데이터는 색상 및 질감 데이터의 평균값은 DB에 저장된다. 도 3은 얼굴 영역 중 일부 영역 A를 샘플로 검출하는 예를 도시한다. 도 3과 달리 얼굴 영역 전체를 검출하여 색상 데이터 및 질감 데이터를 추출할 수도 있다. 컴퓨터 장치는 일반적으로 색상 데이터 및 질감 데이터에 대한 복수의 샘플을 마련한다.FIG. 3 shows an example of a process of preparing a regression analysis function. The process of preparing samples for color data and texture data will be described. The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). The computer device extracts the average value of the color data and the texture data in the skin area (step d). In the extracted color data and texture data, the average value of the color and texture data is stored in DB. Fig. 3 shows an example of detecting a part of the face area A as a sample. Unlike FIG. 3, the entire face region may be detected to extract color data and texture data. A computer device typically provides a plurality of samples for color and texture data.

색상 데이터 및 질감 데이터에 대한 샘플을 마련하는 동시에 유분 측정기로 동일 사용자에 대한 피부 유분도를 측정한다(e 과정). 도 3은 A 영역과 대응되는 영역인 B에서 수분 측정기로 유분도를 측정하는 예를 도시한다. 유분 측정기는 상용화된 측정기를 의미한다. 유분 측정기가 측정한 피부 유분도는 피부 유분 DB에 저장된다. 컴퓨터 장치가 첫 번째 색상 데이터 및 질감 데이터를 추출하면, 동시에 유분 측정기로 첫 번째 유분도를 측정한다. 컴퓨터 장치는 색상 데이터/질감 데이터와 유분 측정기가 측정한 유분도를 서로 매칭될 수 있도록 식별한다. 예컨대, 컴퓨터 장치는 동일 시점에 생성된 색상 데이터/질감 데이터와 유분 측정기가 측정한 유분도를 동일 테이블에 저장하거나, 서로 다른 테이블에 동일한 순서로 저장할 수 있다.A sample for the color data and the texture data is prepared, and at the same time, an oil fraction is measured for the same user (e process). Fig. 3 shows an example of measuring the degree of fractions by a moisture meter at region B corresponding to region A. An oil meter is a commercially available meter. The skin oil content measured by the oil meter is stored in the skin oil database. When the computer device extracts the first color data and texture data, it simultaneously measures the first oil fraction with the oil meter. The computer device identifies the color data / texture data and the oil fractions measured by the oil meter so that they match each other. For example, the computer device may store the color data / texture data generated at the same time point and the oil level measured by the oil level meter in the same table or in the same order in different tables.

컴퓨터 장치는 어느 하나의 색상 데이터 및 질감 데이터와 동일 시점에 측정된 피부 유분도를 이용하여 회귀 분석 함수를 생성하고(f 과정), 생성한 회귀 분석 함수를 회귀분석 식 DB에 저장한다. 컴퓨터 장치는 복수의 샘플 데이터를 이용하여 회귀 분석 함수를 생성할 수 있다. 전술한 바와 같이 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 의미한다.The computer apparatus generates a regression analysis function (step f) by using the skin oil fraction measured at the same time as any one of the color data and the texture data, and stores the generated regression analysis function in the regression analysis DB. The computer device can generate a regression analysis function using a plurality of sample data. As described above, the regression analysis function means a regression line or a regression curve.

컴퓨터 장치는 동일 영역에 대한 색상 및 질감 데이터 DB와 피부 유분 DB를 이용하여 회귀 직선 식을 도출할 수 있다. 회귀직선 식은 아래의 수학식 1과 같다.The computer device can derive a regression linear equation using the color and texture data DB and the skin oil DB for the same area. The regression linear equation is shown in Equation 1 below.

Figure 112017008106579-pat00001
Figure 112017008106579-pat00001

여기서 x는 지정된 색상 체계의 색상 또는 질감 데이터의 값이다. a와 b는 회귀분석을 통해 구해진 상수이다. y는 계산된 피부 유분 값을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 값이 변할 수 있다.Where x is the value of the color or texture data in the specified color scheme. a and b are constants obtained by regression analysis. y represents the calculated skin oil value. The results of applying the actual data may vary with the values of the constants a and b depending on the data used.

회귀 곡선은 상관도 상의 점집합을 직선이 아닌 곡선으로 대표시켜 구한 곡선이다. 회귀 곡선은 두 변량 사이의 관계를 나타낸다. 컴퓨터 장치는 색상 및 질감 데이터 DB와 피부 유분 DB를 이용하여 회귀 곡선 식을 도출할 수 있다. 회귀곡선 식은 아래의 수학식 2와 같다.The regression curve is a curve obtained by representing a set of points on a correlation chart as a curve rather than a straight line. Regression curves show the relationship between two variables. The computer device can derive a regression curve equation using the color and texture data DB and the skin oil DB. The regression curve equation is shown in Equation 2 below.

Figure 112017008106579-pat00002
Figure 112017008106579-pat00002

여기서 x는 지정된 색상 체계의 색상 또는 질감 데이터의 값이다. a, b 및 c는 회귀분석을 통해 구해진 상수이다. y는 계산된 피부 수분 값을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 또는 c 값이 변할 수 있다.Where x is the value of the color or texture data in the specified color scheme. a, b, and c are constants obtained by regression analysis. y represents the calculated skin moisture value. The result of applying the actual data may vary in constant a, b or c depending on the data used.

전술한 바와 같이 컴퓨터 장치는 색상 데이터 및 질감 데이터 중 적어도 하나를 이용할 수 있다. 입력 데이터에 따라 회귀 분석 함수를 마련해야 한다. 예컨대, (1) 색상 데이터에 대한 회귀 분석 함수, (2) 질감 데이터에 대한 회귀 분석 함수, (3) 색상 데이터 및 질감 데이터를 함께 사용한 결과에 대한 회귀 분석 함수가 필요할 수 있다. 나아가 색상 데이터 및 질감 데이터를 사용하는 경우 각 데이터에 서로 다른 가중치를 부여한 값으로 회귀 분석 함수를 마련할 수도 있다. (4) 또는 색상 데이터에 대한 제1 회귀 분석 함수와 질감 데이터에 대한 제2 회귀 분석 함수를 별도로 생성하고, 색상 데이터를 제1 회귀 분석 함수에 적용한 제1 값과 질감 데이터를 제2 회귀 분석 함수에 적용한 제2 값에 서로 다른 가중치를 부여하여 최종 피부 유분도를 결정할 수도 있다.As described above, the computer device may use at least one of color data and texture data. A regression analysis function should be provided according to the input data. For example, a regression analysis function may be needed for (1) a regression analysis function for color data, (2) a regression analysis function for texture data, and (3) a combination of color and texture data. Furthermore, when color data and texture data are used, a regression analysis function may be prepared by assigning different weights to each data. (4) or a first regression analysis function for the color data and a second regression analysis function for the texture data are separately generated, and the first value and the texture data, to which the color data is applied to the first regression analysis function, The final skin oil fractions can be determined by assigning different weights to the second values applied to the skin.

한편 컴퓨터 장치는 다양한 변수를 고려한 회귀 분석 함수를 생성할 수도 있다. 예컨대, 피부 영역의 종류(이마, 볼, 턱 등), 카메라의 하드웨어 스펙, 스마트 기기의 종류 등에 따라 서로 다른 회귀 분석 함수를 생성할 수 있다. 이 경우 사용자는 컴퓨터 장치에 변수를 입력하는 과정을 거쳐야할 것이다.On the other hand, the computer device may generate a regression analysis function considering various variables. For example, it is possible to generate different regression analysis functions depending on the type of skin area (forehead, ball, jaw, etc.), hardware specifications of the camera, In this case, the user would have to go through a process of entering variables into the computer device.

도 4는 도 2의 방법에 따라 피부 유분도를 측정하는 과정에 대한 예이다. FIG. 4 is an example of a procedure for measuring skin oiliness according to the method of FIG.

사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 도 4는 컴퓨터 장치가 얼굴 영역에서 사전에 설정된 특정한 피부 영역 A를 검출하는 예를 도시한다. 도 4는 컴퓨터 장치가 '볼' 영역을 검출하는 예를 도시한다.The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). Fig. 4 shows an example in which the computer device detects a specific skin area A set in advance in the face area. Figure 4 illustrates an example in which a computer device detects a " ball " area.

컴퓨터 장치가 RGB 체계가 아닌 다른 색상 체계를 사용하는 경우 색상 체계 변환을 수행해야 한다. 예컨대, YCgCo 색상 체계를 사용한다면 컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환한다.If your computer device uses a color scheme other than RGB, you must perform a color scheme conversion. For example, if you use the YCgCo color scheme, the computer device converts the RGB color scheme of the skin region to the YCgCo color scheme.

컴퓨터 장치는 피부 영역 A를 기준으로 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 예컨대, 컴퓨터 장치는 YCgCo 색상 체계에서 Co 색차 성분의 평균값을 색상 데이터를 추출할 수 있다. 또 컴퓨터 장치는 피부 영역 A에 대한 대조(contrast) 값을 질감 데이터로 추출할 수 있다. 대조값은 해당 영역의 평균 밝기값이 평탄한 (고른) 정도로 표현할 수 있다. 대조값은 질감 데이터에 대한 하나의 예이다.The computer device extracts the average value of the color data and the texture data based on the skin area A (step d). For example, the computer device can extract color data from the average value of Co chrominance components in the YCgCo color system. Further, the computer device can extract the contrast value of the skin area A as texture data. The contrast value can be expressed as a flat (average) brightness value of the corresponding region. The match value is an example of texture data.

컴퓨터 장치는 색상 데이터 및/또는 질감 데이터를 회귀 분석 함수에 적용한다(e 과정). 회귀분석식 DB는 도 3에서 설명한 과정을 통해 사전에 마련된다. 컴퓨터 장치는 회귀 분석 함수에서 산출된 결과를 최종적인 피부 유분도로 결정한다(f 과정).The computer device applies color data and / or texture data to a regression analysis function (e process). The regression analysis DB is prepared in advance through the process described in FIG. The computer device determines the result of the regression analysis function as the final skin oil (step f).

컴퓨터 장치는 피부 유분도를 산출하는 과정에서 색상 데이터 및 질감 데이터의 가중평균을 이용하여 하나의 결과를 산출할 수 있다. 나아가, 컴퓨터 장치는 개별 데이터를 이용하여 산출된 유분도에 가중치를 부여한 결과값으로 유분도를 결정할 수 있다. 예를 들어, 컴퓨터 장치는 색상 R을 통해 추정된 피부 유분도 43.25와 질감 (Homogeneity)통해 추정된 피부 유분도 43.57에 각각 5:5의 가중치를 부여한 결과값으로 유분도를 결정할 수 있다.The computer device can calculate a single result using the weighted average of the color data and the texture data in the process of calculating skin oil fractions. Further, the computer apparatus can determine the degree of oil fractions as a result of weighting the oil fractions calculated using the individual data. For example, the computer device can determine the degree of oiliness as a result of weighting a skin oil fraction of 43.25 estimated through the color R and a skin oil fraction of 43.57 estimated through a homogeneity to a weight of 5: 5.

나아가 컴퓨터 장치는 다중회귀분석식을 사용할 수도 있다. 아래 수학식 3은 다중회귀분석식에 대한 예이다.Further, the computer apparatus may use a multiple regression analysis equation. Equation 3 below is an example of a multiple regression analysis equation.

Figure 112017008106579-pat00003
Figure 112017008106579-pat00003

수학식 3에서 y는 종속변수로써 추정된 피부 유분도를 나타낸다. β는 다중회귀분석을 통해 계산된 상수이다. β1 ~ βn은 x의 계수이고, x는 독립변수로써 색상 또는 질감 데이터를 나타낸다. 상기 방법을 통해 다양한 색상 및/또는 질감 데이터를 동시에 사용함으로써 다양한 환경 변화에 더 개선된 오차율을 얻을 수 있다.In Equation (3), y represents the skin oil fraction estimated as a dependent variable. β is a constant calculated through multiple regression analysis. β 1 to β n are coefficients of x, and x is color or texture data as an independent variable. By using various color and / or texture data at the same time through this method, improved error rates can be obtained for various environmental changes.

도 5는 산출한 피부 유분도를 이용하여 개선된 회귀 분석 함수를 마련하는 과정에 대한 예이다. 사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 도 5는 컴퓨터 장치가 얼굴 영역에서 사전에 설정된 특정한 피부 영역 A를 검출하는 예를 도시한다. 도 5는 컴퓨터 장치가 '볼' 영역을 검출하는 예를 도시한다. 컴퓨터 장치는 피부 영역 A를 기준으로 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 컴퓨터 장치는 색상 데이터 및/또는 질감 데이터를 회귀 분석 함수에 적용한다(e 과정). e 과정에 이용하는 회귀분석식 DB는 도 3에서 설명한 과정을 통해 마련한 것이다. 컴퓨터 장치는 회귀 분석 함수에서 피부 유분도를 산출한다(f 과정). 산출된 피부 유분도와 유분 측정기를 통해 측정한 피부 유분 DB를 이용하여 개선된 회귀 분석 함수를 생성하고(g 과정), 생성한 개선된 회귀 분석 함수를 개선된 회귀분석 식 DB에 저장한다. 전술한 바와 같이 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 의미한다.FIG. 5 shows an example of a process of preparing an improved regression analysis function using the calculated skin oiliness. The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). Fig. 5 shows an example in which the computer device detects a specific skin area A set in advance in the face area. Figure 5 shows an example in which a computer device detects a " ball " region. The computer device extracts the average value of the color data and the texture data based on the skin area A (step d). The computer device applies color data and / or texture data to a regression analysis function (e process). The regression analysis DB used in the e-process is prepared through the process described in Fig. The computer device calculates skin oil fractions in a regression analysis function (step f). The developed regression analysis function is created by using the calculated skin oil and skin oil database measured by the oil meter (g process), and the generated regression analysis function is stored in the improved regression analysis DB. As described above, the regression analysis function means a regression line or a regression curve.

도 6은 개선된 피부 유분도를 산출하는 과정에 대한 예이다. 사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 도 6은 컴퓨터 장치가 얼굴 영역에서 사전에 설정된 특정한 피부 영역 A를 검출하는 예를 도시한다. 도 5는 컴퓨터 장치가 '볼' 영역을 검출하는 예를 도시한다. 컴퓨터 장치는 피부 영역 A를 기준으로 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 컴퓨터 장치는 색상 데이터 및/또는 질감 데이터를 회귀 분석 함수에 적용한다(e 과정). e 과정에 이용하는 회귀분석식 DB는 도 3에서 설명한 과정을 통해 마련한 것이다. 컴퓨터 장치는 회귀 분석 함수에서 피부 유분도를 산출한다(f 과정).6 is an example of a process for calculating improved skin oil fractions. The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). Fig. 6 shows an example in which the computer apparatus detects a specific skin area A preset in the face area. Figure 5 shows an example in which a computer device detects a " ball " region. The computer device extracts the average value of the color data and the texture data based on the skin area A (step d). The computer device applies color data and / or texture data to a regression analysis function (e process). The regression analysis DB used in the e-process is prepared through the process described in Fig. The computer device calculates skin oil fractions in a regression analysis function (step f).

컴퓨터 예측된 피부 유분도를 개선된 회귀 분석 함수에 적용한다(g 과정). g 과정에서 사용되는 개선된 회귀분석식 DB는 도 5의 과정에서 마련된 것이다. 컴퓨터 장치는 개선된 회귀 분석 함수에서 개선된 피부 유분도를 산출함으로써, 최종적인 피부 유분도를 결정한다(h 과정). The computer predicted skin oil fraction is applied to an improved regression analysis function (g process). The improved regression analysis DB used in the process g is prepared in the process of FIG. The computer device determines an ultimate skin oil fraction by calculating an improved skin oil fraction in an improved regression analysis function (h process).

컴퓨터 장치는 피부 유분도를 산출하는 과정에서 색상 데이터 및 질감 데이터의 가중평균을 이용하여 하나의 결과를 산출할 수 있다.The computer device can calculate a single result using the weighted average of the color data and the texture data in the process of calculating skin oil fractions.

컴퓨터 장치는 산출된 피부 유분도와 피부 유분 DB를 이용하여 회귀 직선 식과 회귀 곡선 식을 도출할 수 있다. 회귀직선 식은 수학식 1과 같으며, 여기서 x는 산출된 피부 유분도의 값이다. a와 b는 회귀분석을 통해 구해진 상수이다. y는 개선된 피부 유분 값을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 값이 변할 수 있다.The computer device can derive regression line equation and regression curve equation using the calculated skin oil content and skin oil database. The regression linear equation is as shown in Equation 1, where x is the value of the calculated skin oil content. a and b are constants obtained by regression analysis. y represents an improved skin oil value. The results of applying the actual data may vary with the values of the constants a and b depending on the data used.

회귀 곡선도 마찬가지로 산출된 피부 유분도와 피부 유분 DB를 이용하여 회귀 곡선 식을 도출할 수 있다. 회귀곡선 식은 수학식 2와 같으며, 여기서 x는 산출된 피부 유분도의 값이다. a, b 및 c는 회귀분석을 통해 구해진 상수이다. y는 개선된 피부 유분 값을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 또는 c 값이 변할 수 있다.Regression curves can also be used to derive a regression curve equation using the calculated skin oil and skin oil database. The regression curve equation is as shown in Equation 2, where x is the value of the calculated skin oiliness. a, b, and c are constants obtained by regression analysis. y represents an improved skin oil value. The result of applying the actual data may vary in constant a, b or c depending on the data used.

도 7은 영상을 이용한 피부 유분도를 측정하는 방법(200)에 대한 순서도의 다른 예이다. 먼저 카메라가 소스 영상을 획득한다(210). 소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(220). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.Figure 7 is another example of a flowchart for a method 200 for measuring skin oil fractions using images. First, the camera acquires the source image (210). The source image includes a skin area of the user. The computer device detects the skin region from the source image captured by the camera (220). The algorithm by which the computer device detects the skin area can utilize various techniques known in the art.

컴퓨터 장치는 피부 영역에 대한 색상 데이터 및 질감 데이터의 평균값을 추출한다(230). 컴퓨터 장치는 추출한 피부 영역 전체에 대한 색상 데이터 및 질감 데이터를 추출할 수 있다. 또한 컴퓨터 장치는 획득한 영상에서 특정한 피부 영역에 대한 색상 데이터 및 질감 데이터를 추출할 수도 있다. 컴퓨터 장치는 연속된 영상(연속된 프레임)에서 계속 색상 데이터를 추출할 수도 있다. 전술한 바와 같이 색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 평균값을 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 정치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 컴퓨터 장치는 특정 색상 체계의 색차 성분 또는 휘도 성분 중 적어도 하ㄴ나를 색상 데이터를 추출할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb 또는 Cr 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg 또는 Co 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. The computer device extracts an average value of color data and texture data for the skin region (230). The computer device can extract color and texture data for the entire extracted skin area. The computer device may also extract color and texture data for a specific skin region from the acquired image. The computer device may continue to extract color data in successive images (consecutive frames). As described above, various values of color data can be used. For example, (1) the color data may use at least one of an R value, a G value, and a B value based on the RGB color scheme. The color data may use an average value for at least one of R value, G value, and B value. (2) The computer device can convert the RGB color scheme to a different color scheme. For example, computer politics can convert the RGB color scheme to various color schemes such as YUV, HSV, YCbCr, YCgCo, and the like. The computer device can extract color data of at least one of chrominance components or luminance components of a specific color system. In this case, the color data may use one of the components that are less influenced by the surrounding environment (illumination, etc.). For example, in the case of YCbCr, at least one of Cb and Cr can be used. In the case of YCgCo, at least one of Cg and Co may be used. Further, one of the two chrominance components, which is more robust to the variation of the illuminance, can be used. For example, in the case of YCgCo, only Cg can be used. In this case, the computer device can extract the average value of the Cg color data of the skin region as color data. (3) Further, the color data may be a value obtained by combining weights applied to at least one color component in various color systems such as RGB, YUV, HSV, YCbCr, YCgCo, and the like. In the case of combining color components, the color data may be a value obtained by adding different weighted values depending on the color system and the type of color component.

영상에서 질감 데이터는 다양한 종류가 사용되고 있다. 영상의 질감에 대해서는 대조(contrast) 정도, ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity) 및 동질도(homogeneity), 방향성 등과 같은 다양한 척도가 연구되고 있다. Various kinds of texture data are used in image. Various measures such as contrast, angular second moment (ASM), entropy, dissimilarity, homogeneity, and direction are studied for the texture of the image.

컴퓨터 장치는 추출한 색상 데이터 및/또는 질감 데이터를 사전에 마련한 제1 회귀 분석 함수에 적용하여 피부의 수분도를 산출한다(240). 이 과정에서 사용하는 회귀 분석 함수는 사전에 수분 측정기를 통해 측정한 피부 영역의 수분도와 동일 영역의 색상 데이터 및/또는 질감 데이터의 관계를 이용하여 마련된다. The computer device applies the extracted color data and / or texture data to a first regression analysis function provided in advance to calculate the moisture of the skin (240). The regression analysis function used in this process is prepared by using the relationship between the color data and / or the texture data in the same region as the moisture content of the skin region previously measured by the moisture meter.

컴퓨터 장치는 신출한 피부 유분도를 제2 회귀분석 함수에 적용하여 피부 유분도를 산출한다(250). 즉 도 7의 방법은 피부 수분도와 유분도의 상관 관계를 이용하여 수분도를 추정하고, 이후 유분도를 추가로 추정하는 예이다.The computer device calculates the skin oiliness by applying the newly obtained skin oiliness to the second regression analysis function (250). That is, the method of FIG. 7 estimates the water content using the correlation between skin moisture and oil content, and then estimates the oil content further.

도 8은 회귀 분석 함수를 마련하는 과정에 대한 다른 예이다. 대상자에 대해 유분 측정기로 피부의 유분을 측정한다(a 과정). 이때 유분을 측정하는 영역을 '볼' 영역(B로 표기)으로 가정하였다. 피부 유분 DB는 측정한 유분 데이터를 저장한다. 한편 대상자에 대하여 수분 측정기로 피부의 수분을 측정한다(b 과정). 수분을 측정하는 영역도 동일하게 '볼' 영역이다. 피부 수분 DB는 측정한 수분 데이터를 저장한다. 컴퓨터 장치는 동일 시점에 측정된 유분 데이터와 수분 데이터의 관계를 분석하여 회귀 직선 및/또는 회귀 곡선을 산출한다(c 과정). 산출한 회귀 분석 식은 유분/수분 회귀분석식 DB에 저장한다.FIG. 8 shows another example of a process of preparing a regression analysis function. For the subject, the oil content of the skin is measured with an oil meter (a process). In this case, the area where the oil is measured is assumed to be the 'ball' area (denoted by B). The skin oil DB stores the measured oil data. On the other hand, the moisture of the skin is measured by a moisture meter on the subject (step b). The area for measuring moisture is also a 'ball' area. The skin moisture DB stores the measured moisture data. The computer device analyzes the relationship between the water data and the water data measured at the same point in time and calculates a regression line and / or a regression curve (c process). The calculated regression equation is stored in an oil / water regression analysis DB.

도 9는 도 7의 방법에 따라 피부 유분도를 측정하는 과정에 대한 예이다. 사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 도 9는 컴퓨터 장치가 얼굴 영역에서 사전에 설정된 특정한 피부 영역 A를 검출하는 예를 도시한다. 도 5는 컴퓨터 장치가 '볼' 영역을 검출하는 예를 도시한다. 즉 도 8에서 회귀분석식을 마련하가 위하여 수분 데이터 및 유분 데이터를 측정한 영역과 동일한 영역을 사용한다. 컴퓨터 장치는 피부 영역 A를 기준으로 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 컴퓨터 장치는 색상 데이터 및/또는 질감 데이터를 회귀 분석 함수에 적용한다(e 과정). 수분 회귀분석식 DB는 영상에서의 색상 데이터 및/또는 질감 데이터와 실제 측정한 수분의 상관 관계에 따라 사전에 마련한 회귀분석식을 저장한다. 컴퓨터 장치는 회귀 분석 함수에서 피부 수분도를 산출한다(f 과정).FIG. 9 is an example of a procedure for measuring skin oiliness according to the method of FIG. The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). Fig. 9 shows an example in which the computer device detects a specific skin area A set in advance in the face area. Figure 5 shows an example in which a computer device detects a " ball " region. That is, in order to prepare the regression equation in FIG. 8, the same area as the area where the moisture data and the oil data are measured is used. The computer device extracts the average value of the color data and the texture data based on the skin area A (step d). The computer device applies color data and / or texture data to a regression analysis function (e process). The water regression analysis DB stores a regression equation prepared in advance according to the correlation between the color data and / or the texture data in the image and the actually measured water. The computer device calculates skin moisture from the regression analysis function (step f).

컴퓨터 예측된 피부 수분도를 도 8에서 마련한 회귀분석식에 적용한다(g 과정). g 과정에서 사용되는 유분/수분 회귀분석식 DB는 도 8의 과정에서 마련된 것이다. 컴퓨터 장치는 유분과 수분의 관계에 따라 마련된 회귀 분석 함수에서 피부 유분도를 산출한다(h 과정). The computer predicted skin moisture content is applied to the regression equation prepared in FIG. 8 (g process). The oil / moisture regression analysis DB used in the process g is prepared in the process of FIG. The computer device calculates skin oil fractions in a regression analysis function based on the relationship between oil and moisture (step h).

도 10은 도 7의 방법에 따라 피부 유분도를 측정하는 과정에 대한 다른 예이다. 사용자는 스마트 기기나 일반 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 도 9는 컴퓨터 장치가 얼굴 영역에서 사전에 설정된 특정한 피부 영역 A를 검출하는 예를 도시한다. 도 5는 컴퓨터 장치가 '볼' 영역을 검출하는 예를 도시한다. 즉 도 8에서 회귀분석식을 마련하가 위하여 수분 데이터 및 유분 데이터를 측정한 영역과 동일한 영역을 사용한다. 컴퓨터 장치는 피부 영역 A를 기준으로 색상 데이터 및 질감 데이터의 평균값을 추출한다(d 과정). 컴퓨터 장치는 색상 데이터 및/또는 질감 데이터를 회귀 분석 함수에 적용한다(e 과정). 수분 회귀분석식 DB는 영상에서의 색상 데이터 및/또는 질감 데이터와 실제 측정한 수분의 상관 관계에 따라 사전에 마련한 회귀분석식을 저장한다. 컴퓨터 장치는 회귀 분석 함수에서 피부 유분도를 산출한다(f 과정).10 is another example of a procedure for measuring skin oiliness according to the method of FIG. The user shoots a face image of a person using a smart device or a general camera (a process). The computer apparatus detects a face region displayed in a square in the source image including the face image (step b). The computer device detects the skin area in the face area (step c). Fig. 9 shows an example in which the computer device detects a specific skin area A set in advance in the face area. Figure 5 shows an example in which a computer device detects a " ball " region. That is, in order to prepare the regression equation in FIG. 8, the same area as the area where the moisture data and the oil data are measured is used. The computer device extracts the average value of the color data and the texture data based on the skin area A (step d). The computer device applies color data and / or texture data to a regression analysis function (e process). The water regression analysis DB stores a regression equation prepared in advance according to the correlation between the color data and / or the texture data in the image and the actually measured water. The computer device calculates skin oil fractions in a regression analysis function (step f).

컴퓨터 다중회귀분석식 DB에 저장된 다중회귀분석식에 산출한 피부 수분도, 영상에서 추출한 색상 데이터 및/또는 질감 데이터를 적용한다(g 과정). 예컨대, 다중회귀분석식은 아래의 수학식 4와 같을 수 있다. 다중회귀분석을 이용하여 오차율을 개선할 수 있다.The skin moisture, the color data and / or the texture data extracted from the image are applied to the multiple regression analysis equation stored in the computer multiple regression analysis DB (step g). For example, the multiple regression analysis equation may be as shown in Equation 4 below. Multiple regression analysis can be used to improve the error rate.

Figure 112017008106579-pat00004
Figure 112017008106579-pat00004

y는 종속변수로써 상기 식을 통해 계산된 피부 유분도를 나타낸다.

Figure 112017008106579-pat00005
는 다중회귀분석을 통해 계산된 상수이다.
Figure 112017008106579-pat00006
,
Figure 112017008106579-pat00007
Figure 112017008106579-pat00008
는 각각 수분, 색상, 질감의 계수이다. 상기 방법을 통해 다양한 수분, 색상, 질감 데이터를 동시에 사용함으로써 환경 변화에 더 개선된 오차율을 얻을 수 있다.y is a dependent variable and represents the skin oil fraction calculated by the equation above.
Figure 112017008106579-pat00005
Is a constant calculated through multiple regression analysis.
Figure 112017008106579-pat00006
,
Figure 112017008106579-pat00007
And
Figure 112017008106579-pat00008
Are coefficients of moisture, color, and texture, respectively. By using various moisture, color, and texture data at the same time, it is possible to obtain a more improved error rate in the environmental change.

컴퓨터 장치는 다중회귀분석식 결과에 따라 피부 유분도를 산출한다(h 과정).The computer device calculates skin oiliness according to the result of the multiple regression analysis (step h).

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.The present embodiment and drawings attached hereto are only a part of the technical idea included in the above-described technology, and it is easy for a person skilled in the art to easily understand the technical idea included in the description of the above- It will be appreciated that variations that may be deduced and specific embodiments are included within the scope of the foregoing description.

50 : 스마트 기기
51 : 카메라
52 : 저장 장치
53 : 연산 장치
54 : 출력 장치
81 : 카메라
85 : 컴퓨터
91 : 사용자 단말
95 : 서버
50: Smart devices
51: Camera
52: Storage device
53:
54: Output device
81: Camera
85: Computer
91: User terminal
95: Server

Claims (11)

컴퓨터 장치가 영상에서 대상자의 피부 영역을 검출하는 단계;
상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계; 및
상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 유분도의 관계를 이용하여 사전에 마련한 제1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 제1 피부 유분도를 결정하는 단계를 포함하되,
상기 제 1 피부 유분도는 상기 색상 데이터의 성분 중 적어도 하나를 이용하여 결정된 색상기반 피부 유분도 및 상기 질감 데이터의 성분 중 적어도 하나를 이용하여 결정된 질감기반 피부 유분도에 서로 다른 가중치가 부여된 값이 합산되어 결정되는 영상을 이용한 피부 유분도 측정 방법.
Detecting a region of the subject's skin from the image;
The computer device extracting color data and texture data of the skin region; And
Wherein the computer device inputs at least one of the color data and the texture data to a first regression analysis function provided in advance using a relationship between at least one of the color data and the texture data and the skin oil content, Determining a degree of freedom,
Wherein the first skin oil level is a value obtained by assigning different weights to the texture-based skin oil level determined using at least one of the color-based skin oil fraction determined using at least one of the components of the color data and the components of the texture data A method for measuring skin oil content using images that are summed and determined.
제1항에 있어서,
상기 색상 데이터는 RGB, HSV, YUV, YCgCo 및 YCbCr 중 적어도 하나의 색상 체계의 적어도 어느 하나의 성분인 영상을 이용한 피부 유분도 측정 방법.
The method according to claim 1,
Wherein the color data is at least one of a color system of at least one of RGB, HSV, YUV, YCgCo, and YCbCr.
제1항에 있어서,
상기 질감 데이터는 대조(contrast), ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity) 및 동질도(homogeneity) 중 적어도 하나에 대한 데이터인 영상을 이용한 피부 유분도 측정 방법.
The method according to claim 1,
Wherein the texture data is data on at least one of contrast, angular second moment, entropy, dissimilarity, and homogeneity.
제1항에 있어서,
상기 컴퓨터 장치는 상기 대상자의 소스 영상에 포함된 피부 영역의 색상 데이터의 평균값 및 질감 데이터 중 적어도 하나와 상기 소스 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 상기 제1 회귀 분석 함수를 마련하는 영상을 이용한 피부 유분도 측정 방법.
The method according to claim 1,
Wherein the computer device is configured to calculate the skin color of the subject by using at least one of the average value and the texture data of the skin region included in the source image of the subject and the skin oil level of the subject measured by the oil analyzer at the time of shooting the source image, A Method of Estimating Skin Fraction Using Image with Regression Analysis Function.
제4항에 있어서,
상기 컴퓨터 장치가 상기 제1 피부 유분도와 상기 소스 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 사전에 마련된 제2 회귀 분석 함수에 상기 제1 피부 유분도를 적용하여 제2 피부 유분도를 결정하는 단계를 더 포함하는 영상을 이용한 피부 유분도 측정 방법.
5. The method of claim 4,
Wherein the first skin oil distribution is applied to a second regression analysis function previously prepared using the skin oil level of the subject measured by the oil analyzer at the time when the computer device photographs the first skin oil and the source image, And determining a second skin oil content.
삭제delete 컴퓨터 장치가 영상에서 대상자의 피부 영역을 검출하는 단계;
상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계;
상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도의 관계를 이용하여 사전에 마련한 제1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 피부 수분도를 추정하는 단계; 및
상기 컴퓨터 장치가 상기 추정된 피부 수분도와 상기 피부의 유분도의 관계를 이용하여 사전에 마련한 제2 회귀 분석 함수에 상기 추정한 피부 수분도를 입력하여 피부 유분도를 추정하는 단계를 포함하는 영상을 이용한 피부 유분도 측정 방법.
Detecting a region of the subject's skin from the image;
The computer device extracting color data and texture data of the skin region;
Wherein the computer device inputs at least one of the color data and the texture data to a first regression analysis function provided in advance using a relationship between at least one of the color data and the texture data and the moisture content of the skin, step; And
And estimating skin oiliness by inputting the estimated skin moisture content to a second regression analysis function previously prepared using the relationship between the estimated skin moisture content and the skin oil content, Method for measuring skin oil content.
제7항에 있어서,
상기 색상 데이터는 RGB, HSV, YUV, YCgCo 및 YCbCr 중 적어도 하나의 색상 체계의 적어도 어느 하나의 성분이고, 상기 질감 데이터는 대조(contrast), 이질도(dissimilarity) 및 동질도(homogeneity) 중 적어도 하나에 대한 데이터인 영상을 이용한 피부 유분도 측정 방법.
8. The method of claim 7,
Wherein the color data is at least one component of at least one color scheme of RGB, HSV, YUV, YCgCo, and YCbCr, and the texture data includes at least one of contrast, dissimilarity and homogeneity A method for measuring skin oiliness using image data.
제7항에 있어서,
상기 컴퓨터 장치는 상기 대상자의 소스 영상에 포함된 피부 영역의 색상 데이터의 평균값 및 질감 데이터 중 적어도 하나와 상기 소스 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 상기 제1 회귀 분 석 함수를 마련하는 영상을 이용한 피부 유분도 측정 방법.
8. The method of claim 7,
Wherein the computer device is configured to calculate the skin color of the subject by using at least one of the average value and the texture data of the skin region included in the source image of the subject and the skin oil level of the subject measured by the oil analyzer at the time of shooting the source image, A Method for Measuring Skin Oil Perception Using an Image Providing a Regression Analysis Function.
제9항에 있어서,
상기 컴퓨터 장치는 상기 추정한 피부 수분도와 상기 소스 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 상기 제2 회귀 분 석 함수를 마련하는 영상을 이용한 피부 유분도 측정 방법.
10. The method of claim 9,
Wherein the computer apparatus further comprises a skin oil level measurement method using an image to provide the second regression analysis function using the estimated skin moisture level and the skin oil level of the subject measured by an oil level meter at the time of shooting the source image .
제7항에 있어서,
상기 제2 회귀 분석 함수는 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 상기 추정된 피부 수분도를 변수로 갖는 다중회귀분석함수인 영상을 이용한 피부 유분도 측정 방법.
8. The method of claim 7,
Wherein the second regression analysis function is a multiple regression analysis function having at least one of the color data and the texture data and the estimated skin moisture distribution as a variable.
KR1020170010736A 2017-01-23 2017-01-23 Skin sebum estimating method using image KR101881557B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170010736A KR101881557B1 (en) 2017-01-23 2017-01-23 Skin sebum estimating method using image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170010736A KR101881557B1 (en) 2017-01-23 2017-01-23 Skin sebum estimating method using image

Publications (1)

Publication Number Publication Date
KR101881557B1 true KR101881557B1 (en) 2018-07-24

Family

ID=63059149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170010736A KR101881557B1 (en) 2017-01-23 2017-01-23 Skin sebum estimating method using image

Country Status (1)

Country Link
KR (1) KR101881557B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007105457A (en) * 2005-09-16 2007-04-26 Kao Corp Method of forming simulation image of skin
JP4280699B2 (en) * 2003-10-16 2009-06-17 ロレアル Skin analysis system and method
KR20090097904A (en) * 2007-01-05 2009-09-16 마이스킨 인크 System, device and method for dermal imaging
KR101318607B1 (en) * 2012-12-21 2013-10-30 에이엠씨주식회사 Apparatus of providing mobile service using skin condition inpector
KR20150033938A (en) 2013-09-25 2015-04-02 세종대학교산학협력단 Method for measuring water content of skin and apparatus therof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4280699B2 (en) * 2003-10-16 2009-06-17 ロレアル Skin analysis system and method
JP2007105457A (en) * 2005-09-16 2007-04-26 Kao Corp Method of forming simulation image of skin
KR20090097904A (en) * 2007-01-05 2009-09-16 마이스킨 인크 System, device and method for dermal imaging
KR101318607B1 (en) * 2012-12-21 2013-10-30 에이엠씨주식회사 Apparatus of providing mobile service using skin condition inpector
KR20150033938A (en) 2013-09-25 2015-04-02 세종대학교산학협력단 Method for measuring water content of skin and apparatus therof

Similar Documents

Publication Publication Date Title
US20070103551A1 (en) Method and system for measuring video quality
Cheng et al. A pilot study of online non-invasive measuring technology based on video magnification to determine skin temperature
US10667744B2 (en) Skin function evaluation device and skin evaluation method
CN101083940B (en) Skin condition diagnostic system and beauty counseling system
Tsouri et al. On the benefits of alternative color spaces for noncontact heart rate measurements using standard red-green-blue cameras
JP5615940B2 (en) Skin care analysis system for generating a 3D RGB model using spectral image data
KR102030131B1 (en) Continuous skin condition estimating method using infrared image
IL223687A (en) Web site providing cosmetic and nutrition regimen from color images
WO2014199505A1 (en) Video surveillance system, video surveillance device
KR101992403B1 (en) Skin moisture estimating method using image
US20190125197A1 (en) Biological Information Detection Apparatus and Biological Information Detection Method
WO2019102966A1 (en) Pulse wave detection device, pulse wave detection method, and storage medium
KR20190088478A (en) Engagement measurement system
KR20120117604A (en) Method and apparatus for skin status ananlysis
KR101928501B1 (en) Skin acidity estimating method using image
KR101881557B1 (en) Skin sebum estimating method using image
KR101957773B1 (en) Evaluation method for skin condition using image and evaluation apparatus for skin condition using image
KR101798227B1 (en) Body temperature estimation method using image and body temperature estimation apparatus using image
US10964062B2 (en) Skin evaluation device, skin evaluation method, and skin evaluation program
JP2010272097A (en) Device, method and program for measuring green coverage rate
KR101509992B1 (en) A method and apparatus for illuminant compensation based on highlight region selection
JP2016159114A (en) Skin analysis system, skin analysis device, and skin analysis program
KR101854246B1 (en) Skin temperature estimation method using image and skin temperature estimation apparatus using image
KR20200134855A (en) Estimation method of skin resistance and skin conductance using skin image
JP2019028814A (en) Estimation device, estimation method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant