KR20220121137A

KR20220121137A - Method and device for providing alopecia information

Info

Publication number: KR20220121137A
Application number: KR1020210039223A
Authority: KR
Inventors: 박민석
Original assignee: 주식회사 비컨
Priority date: 2021-02-23
Filing date: 2021-03-26
Publication date: 2022-08-31

Abstract

The present application provides a method and a device for providing hair loss state information, which allow a user to conveniently acquire information on their hair loss state without visiting a site such as a hospital. According to one embodiment of the present application, the method for providing hair loss state information comprises: a step of acquiring a head image of a user; a step of extracting a plurality of feature points from the head image, wherein the plurality of feature points include a first group of feature points and a second group of feature points; a step of extracting a plurality of boundary points corresponding to the boundary between the forehead and hair of the user from the head image; a step of selecting matching boundary points corresponding to the first group of feature points among the plurality of boundary points; a step of acquiring an upper face part calculation value determined based on the distance between the first group of feature points and the matching boundary points corresponding thereto based on the first axis on the head image; a step of acquiring a middle/lower face part calculation value determined based on the distance between the first group of feature points and the second group of feature points based on the first axis; and a step of providing hair loss state information of the user based on the ratio of the upper face part calculation value and the middle/lower face part calculation value.

Description

Method and device for providing hair loss status information

본 출원은 사용자의 탈모 상태 정보를 제공하는 방법 및 탈모 상태 정보를 제공하는 장치에 관한 것이다.The present application relates to a method for providing hair loss status information of a user and an apparatus for providing hair loss status information.

탈모는 정상적으로 모발이 존재해야 할 부위에 모발이 없는 상태를 의미하며, 일반적으로 두피의 성모가 빠지는 것을 의미한다. 탈모는 유병율이 높은 질환으로, 발병하는 경우 개인에게 심리적으로 부정적인 영향 예컨대, 스트레스, 자신감 결여, 대인 기피증, 우울증 등의 문제를 야기할 수 있으며, 심할 경우 정신적 질환으로까지 이어질 수 있다. 이와 같은 탈모 현상의 부정적인 영향으로 인하여 탈모는 사회적으로 심각한 문제로 인식되고 있으며, 이에 따라, 탈모와 관련된 시장이 꾸준히 성장하고 있다.Hair loss refers to a state in which there is no hair in the area where hair should normally exist, and generally refers to the loss of hair on the scalp. Hair loss is a disease with a high prevalence, and when it occurs, it can cause problems such as psychologically negative effects on individuals, such as stress, lack of self-confidence, interpersonal phobia, depression, and, in severe cases, can lead to mental illness. Due to the negative effect of such a hair loss phenomenon, hair loss is recognized as a serious social problem, and accordingly, the market related to hair loss is steadily growing.

탈모 상태를 진단 및 관리하고, 필요한 경우 탈모를 치료하기 위해서는 개인의 머리 이미지로부터 현재 탈모가 어느정도 진행되었는지를 정확하게 파악하는 것이 필수적으로 요구된다.In order to diagnose and manage a hair loss condition and, if necessary, treat hair loss, it is essential to accurately determine how much hair loss has progressed from an individual's head image.

그러나 종래의 탈모 상태를 판단하는 방법은 개인이 직접 병원 또는 클리닉에 방문하여 육안에 의해 관찰되는 방법으로 이루어졌다. 이 경우, 탈모 치료를 위한 상담 또는 진단을 위해서는 병원 또는 클리닉에 직접 방문하여야 한다는 불편함이 존재하였고, 현재 탈모 진행 상태에 관하여 정상인과 비교한 객관적인 판단 결과를 얻기 어렵다는 한계점이 존재하였다.However, the conventional method for determining the state of hair loss is a method in which an individual directly visits a hospital or clinic and observes with the naked eye. In this case, there was the inconvenience of having to visit a hospital or a clinic directly for consultation or diagnosis for hair loss treatment, and there was a limitation in that it was difficult to obtain an objective judgment result compared with a normal person with respect to the current state of hair loss.

이에, 개개인이 현장 방문 없이 간편하게 탈모 상태를 파악하고 진단하기 위한 방법의 개발이 요구되고 있다. Accordingly, the development of a method for easily identifying and diagnosing a hair loss state without an individual on-site visit is required.

본 발명의 일 과제는, 탈모 상태 정보를 제공하는 방법 및 탈모 상태 정보를 제공하는 장치를 제공하는 것이다.One object of the present invention is to provide a method for providing hair loss status information and an apparatus for providing hair loss status information.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. .

본 출원의 개시된 탈모 상태 정보를 제공하는 방법은, 사용자의 머리 이미지를 획득하는 단계; 상기 머리 이미지에서 복수의 특징점을 추출하는 단계- 상기 복수의 특징점은 제1 그룹의 특징점 및 제2 그룹의 특징점을 포함함 -; 상기 머리 이미지에서 상기 사용자의 머리카락 및 이마의 경계선에 대응되는 복수의 경계점을 추출하는 단계; 상기 복수의 경계점 중에서 상기 제1 그룹의 특징점에 대응되는 매칭 경계점을 선택하는 단계; 상기 머리 이미지 상의 제1 축을 기준으로 상기 제1 그룹의 특징점과 이에 대응하는 매칭 경계점 사이의 거리에 기초하여 정해지는 상안면부 산출 값을 획득하는 단계; 상기 제1 축을 기준으로 상기 제1 그룹의 특징점과 상기 제2 그룹의 특징점 사이의 거리에 기초하여 정해지는 중하안면부 산출 값을 획득하는 단계; 및 상기 상안면부 산출 값 및 상기 중하안면부 산출 값의 비율에 기초하여 상기 사용자의 탈모 상태 정보를 제공하는 단계를 포함할 수 있다.The method of providing the hair loss state information disclosed in the present application comprises the steps of: obtaining a user's head image; extracting a plurality of feature points from the head image, the plurality of feature points including a first group of feature points and a second group of feature points; extracting a plurality of boundary points corresponding to boundary lines of the user's hair and forehead from the head image; selecting a matching boundary point corresponding to the feature point of the first group from among the plurality of boundary points; obtaining a calculated value of the upper face part determined based on a distance between the feature points of the first group and a matching boundary point corresponding thereto with respect to a first axis on the head image; obtaining a mid-lower facial part calculated value determined based on a distance between the feature points of the first group and the feature points of the second group with respect to the first axis; and providing information on the hair loss state of the user based on the ratio of the calculated value of the upper and lower facial parts to the calculated value of the middle and lower facial parts.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. will be able

본 출원의 실시예에 의하면, 사용자는 병원 등의 현장을 방문하지 않고도 간편하게 자신의 탈모 상태에 관한 정보를 획득할 수 있다.According to an embodiment of the present application, a user can easily obtain information about his/her hair loss state without visiting a site such as a hospital.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-described effects, and effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and accompanying drawings.

도 1은 일 실시예에 따른 탈모 상태 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 2는 사용자 단말기의 구성을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 탈모 상태 정보 제공 시스템을 설명하기 위한 도면이다.
도 4는 이미지 촬영부를 통해 사용자의 머리가 촬영되는 동작을 예시적으로 설명하기 위한 도면이다.
도 5는 이미지 촬영부를 통해 획득된 사용자의 머리 이미지를 나타내는 도면이다.
도 6은 도 1 내지 3에서 설명한 사용자 단말기의 제어부에 포함되어 있는 모듈 및 이들의 동작을 설명하기 위한 도면이다.
도 7은 머리 이미지로부터 추출된 특징점을 설명하기 위한 도면이다.
도 8 및 도 9는 머리 이미지로부터 추출된 경계점을 설명하기 위한 도면이다.
도 10은 머리 이미지로부터 경계점을 획득하기 위한 신경망의 구조에 대한 실시예를 도시한 것이다.
도 11은 머리 이미지로부터 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 제1 그룹의 특징점 및 이에 대응하는 매칭 경계점을 도시한 도면이다.
도 13은 일 실시예에 따른 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다.
도 14는 다른 실시예에 따른 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 탈모 상태 정보 제공 프로세스를 설명하기 위한 도면이다.
도 16은 머리 이미지에 기초하여 제1 산출 값 및 제2 산출 값을 획득하는 방법을 예시적으로 설명하기 위한 도면이다.
도 17은 사용자의 탈모 상태를 판단할 때 이용되는 기준 비율을 예시적으로 설명하기 위한 도면이다.
도 18은 다른 실시예에 따른 사용자의 탈모 상태를 판단하기 위한 방법을 설명하기 위한 순서도이다.
도 19는 머리 이미지에서 기준점을 결정하는 방법을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 상안면부의 면적을 산출하는 방법을 설명하기 위한 도면이다.
도 21 및 도 22는 일 실시예에 따른 상안면부의 면적을 나타내는 도면이다.
도 23은 다른 실시예에 따른 사용자의 탈모 상태를 판단하기 위한 방법을 설명하기 위한 도면이다.
도 24는 머리 이미지에서 사용자 머리의 기울어진 각도에 기초하여 이미지를 재보정하는 방법을 설명하기 위한 도면이다.
도 25는 사용자 얼굴의 주요 부위와 관련된 상세 비율을 설명하기 위한 도면이다.
도 26 및 도 27은 사용자 입력 정보에 기초하여 출력부가 사용자의 탈모 상태와 관련된 정보를 출력하는 것을 설명하기 위한 도면이다.
도 28 및 도 29는 출력부가 사용자의 시술 후 머리 이미지를 출력하는 것을 예시적으로 설명하기 위한 도면이다.1 is a view for explaining a method of providing hair loss state information according to an embodiment.
2 is a diagram for explaining the configuration of a user terminal.
3 is a view for explaining a system for providing hair loss state information according to an embodiment.
FIG. 4 is a diagram for illustratively explaining an operation in which a user's head is photographed through an image capturing unit.
5 is a diagram illustrating a head image of a user obtained through an image capturing unit.
6 is a view for explaining the modules included in the control unit of the user terminal described with reference to FIGS. 1 to 3 and their operations.
7 is a diagram for explaining a feature point extracted from a head image.
8 and 9 are diagrams for explaining a boundary point extracted from a head image.
10 shows an embodiment of the structure of a neural network for obtaining a boundary point from a head image.
11 is a diagram for explaining a method of selecting a matching boundary point from a head image.
12 is a diagram illustrating a feature point of a first group and a matching boundary point corresponding thereto according to an exemplary embodiment.
13 is a diagram for describing a method of selecting a matching boundary point according to an embodiment.
14 is a diagram for explaining a method of selecting a matching boundary point according to another embodiment.
15 is a view for explaining a process for providing hair loss state information according to an embodiment.
16 is a diagram for exemplarily explaining a method of obtaining a first calculated value and a second calculated value based on a head image.
17 is a diagram for illustratively explaining a reference ratio used when determining a user's hair loss state.
18 is a flowchart illustrating a method for determining a user's hair loss state according to another embodiment.
19 is a diagram for explaining a method of determining a reference point in a head image.
20 is a diagram for explaining a method of calculating an area of an upper facial part according to an exemplary embodiment.
21 and 22 are views illustrating an area of an upper facial part according to an exemplary embodiment.
23 is a view for explaining a method for determining a user's hair loss state according to another embodiment.
24 is a diagram for explaining a method of re-correcting an image based on a tilt angle of a user's head in a head image.
25 is a diagram for explaining a detailed ratio related to a main part of a user's face.
26 and 27 are diagrams for explaining that the output unit outputs information related to the user's hair loss state based on user input information.
28 and 29 are diagrams for exemplarily explaining that the output unit outputs a head image after a user's operation.

본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The above-mentioned objects, features and advantages of the present application will become more apparent from the following detailed description in conjunction with the accompanying drawings. However, since the present application may have various changes and may have various embodiments, specific embodiments will be exemplified in the drawings and described in detail below.

명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Throughout the specification, like reference numerals refer to like elements in principle. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals, and overlapping descriptions thereof will be omitted.

본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present application may unnecessarily obscure the gist of the present application, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from other components.

또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "part" for the components used in the following embodiments are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components may be added is not excluded in advance.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, and the present invention is not necessarily limited to the illustrated bar.

어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In cases where certain embodiments are otherwise implementable, the order of specific processes may be performed differently from the order in which they are described. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.

이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when components are connected, it includes not only cases in which components are directly connected, but also cases in which components are interposed between components and connected indirectly.

예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, in the present specification, when it is said that components and the like are electrically connected, it includes not only the case where the components are directly electrically connected, but also the case where the components are interposed therebetween to be indirectly electrically connected.

본 출원의 일 실시예에 따른 탈모 상태 정보 제공 방법에 있어서, 사용자의 머리 이미지를 획득하는 단계; 상기 머리 이미지에서 복수의 특징점을 추출하는 단계- 상기 복수의 특징점은 제1 그룹의 특징점 및 제2 그룹의 특징점을 포함함 -; 상기 머리 이미지에서 상기 사용자의 머리카락 및 이마의 경계선에 대응되는 복수의 경계점을 추출하는 단계; 상기 복수의 경계점 중에서 상기 제1 그룹의 특징점에 대응되는 매칭 경계점을 선택하는 단계; 상기 머리 이미지 상의 제1 축을 기준으로 상기 제1 그룹의 특징점과 이에 대응하는 매칭 경계점 사이의 거리에 기초하여 정해지는 상안면부 산출 값을 획득하는 단계; 상기 제1 축을 기준으로 상기 제1 그룹의 특징점과 상기 제2 그룹의 특징점 사이의 거리에 기초하여 정해지는 중하안면부 산출 값을 획득하는 단계; 및 상기 상안면부 산출 값 및 상기 중하안면부 산출 값의 비율에 기초하여 상기 사용자의 탈모 상태 정보를 제공하는 단계를 포함할 수 있다.In a method for providing hair loss state information according to an embodiment of the present application, the method comprising: obtaining a head image of a user; extracting a plurality of feature points from the head image, the plurality of feature points including a first group of feature points and a second group of feature points; extracting a plurality of boundary points corresponding to boundary lines of the user's hair and forehead from the head image; selecting a matching boundary point corresponding to the feature point of the first group from among the plurality of boundary points; obtaining a calculated value of the upper face part determined based on a distance between the feature points of the first group and a matching boundary point corresponding thereto with respect to a first axis on the head image; obtaining a mid-lower facial part calculated value determined based on a distance between the feature points of the first group and the feature points of the second group with respect to the first axis; and providing information on the hair loss state of the user based on the ratio of the calculated value of the upper and lower facial parts to the calculated value of the middle and lower facial parts.

상기 복수의 경계점은 상기 사용자의 머리카락 및 이마의 경계선에 대응될 확률 값에 기초하여 추출되며, 상기 매칭 경계점을 선택하는 단계는, 상기 제1 그룹의 특징점에 대응되는 제1 지점 및 제2 지점에서 상기 제1 축 방향으로 각각 연장 형성된 제1 직선 및 제2 직선 사이의 매칭 영역을 설정하는 단계; 및 상기 매칭 영역에 포함되는 복수의 경계점 중 상기 확률 값이 미리 정해진 임계 값 이상인 매칭 후보 경계점들 중 적어도 하나를 상기 매칭 경계점으로 선택하는 단계를 포함하되, 상기 제1 지점 및 상기 제2 지점은 상기 제1 그룹 특징점에서 상기 제1 축에 직교하는 제2 축 방향으로 각각 제1 거리 및 제2 거리만큼 떨어진 지점일 수 있다.The plurality of boundary points are extracted based on a probability value corresponding to the boundary line of the user's hair and forehead, and the selecting of the matching boundary point includes: at first and second points corresponding to the first group of characteristic points setting a matching area between the first straight line and the second straight line respectively extending in the first axial direction; and selecting, as the matching boundary point, at least one of matching candidate boundary points having the probability value equal to or greater than a predetermined threshold value among a plurality of boundary points included in the matching area, wherein the first point and the second point are the matching boundary points. The first group feature points may be points separated by a first distance and a second distance, respectively, in a second axis direction orthogonal to the first axis.

상기 매칭 경계점은, 상기 매칭 후보 경계점들 중 상기 제1 그룹의 특징점으로부터 상기 제1 축의 제1 방향으로 가장 멀리 위치한 점일 수 있다.The matching boundary point may be a point located farthest from the feature point of the first group among the matching candidate boundary points in the first direction of the first axis.

상기 상안면부 산출 값은 상기 제1 그룹의 특징점 및 상기 매칭 경계점에 기초하여 설정되는 상기 머리 이미지의 상안면부 면적 값을 포함하고, 상기 중하안면부 산출 값은 상기 제1 그룹의 특징점 및 상기 제2 그룹의 특징점에 기초하여 설정되는 상기 머리 이미지의 중하안면부 면적 값을 포함할 수 있다.The calculated value of the upper face part includes an area value of the upper face part of the head image set based on the feature points of the first group and the matching boundary point, and the calculated value of the middle and lower face parts includes the feature points of the first group and the second group may include a value of the area of the middle and lower face of the head image, which is set based on the feature points of .

상기 매칭 경계점을 선택하는 단계는, 상기 제1 그룹의 특징점으로부터 적어도 제1 특징점 및 제2 특징점을 포함하는 복수의 특징점을 선택하는 단계; 및 상기 제1 특징점 및 상기 제2 특징점 각각에 대응되는 제1 매칭 경계점 및 제2 매칭 경계점을 선택하는 단계를 포함하고, 상기 탈모 상태 정보 제공 단계는, 상기 머리 이미지에서 상기 제1 특징점에 대응되는 제1 기준점 및 상기 제2 특징점에 대응되는 제2 기준점을 추출하는 단계- 상기 제1 기준점 및 제2 기준점은 상기 제1 특징점 및 제2 특징점으로부터 각각 상기 제1 축의 제1 방향으로 상기 중하안면부 산출 값의 미리 설정된 비율의 거리만큼 떨어진 지점임 -; 상기 제1 특징점, 상기 제2 특징점, 상기 제1 매칭 경계점 및 상기 제2 매칭 경계점에 기초하여 정해지는 제1 상안면부 면적 값을 획득하는 단계; 상기 제1 특징점, 상기 제2 특징점, 상기 제1 기준점 및 상기 제2 기준점에 기초하여 제2 상안면부 면적 값을 산출하는 단계; 및 상기 제1 상안면부 면적 값 및 상기 제2 상안면부 면적 값의 비율에 기초하여 상기 사용자의 탈모 상태 정보를 제공하는 단계를 포함할 수 있다.The selecting of the matching boundary point may include: selecting a plurality of feature points including at least a first feature point and a second feature point from the feature points of the first group; and selecting a first matching boundary point and a second matching boundary point corresponding to each of the first characteristic point and the second characteristic point, wherein the providing of the hair loss state information includes a step corresponding to the first characteristic point in the head image. Extracting a first reference point and a second reference point corresponding to the second feature point - The first reference point and the second reference point are calculated from the first and second feature points in the first direction of the first axis, respectively A point separated by a distance of a preset percentage of the value -; obtaining a first upper face area value determined based on the first feature point, the second feature point, the first matching boundary point, and the second matching boundary point; calculating a second upper face area value based on the first feature point, the second feature point, the first reference point, and the second reference point; and providing the user's hair loss state information based on a ratio of the first upper face area value and the second upper face area value.

상기 사용자의 탈모 상태 정보를 제공하는 단계는, 상기 이미지에서 상기 사용자의 시술이 요구되는 시술 영역에 관한 정보를 제공하는 것을 포함하되, 상기 시술 영역은 상기 제1 상안면부 면적 값과 상기 제2 상안면부 면적 값 차이에 기초하여 정해지는 것일 수 있다.The step of providing the user's hair loss state information includes providing information on a treatment area requiring the user's treatment in the image, wherein the treatment area includes the first upper facial area value and the second phase. It may be determined based on a difference in facial area values.

상기 제1 상안면부 면적 값과 상기 제2 상안면부 면적 값은 상기 사용자 얼굴의 기준 가로 길이와 세로 길이에 기초하여 산출되고, 상기 기준 가로 길이는, 상기 사용자 얼굴의 종횡비 및 미리 설정된 표준 얼굴 길이에 기초하여 결정될 수 있다.The first upper face area value and the second upper face area value are calculated based on a reference horizontal length and a vertical length of the user's face, and the reference horizontal length is based on an aspect ratio of the user's face and a preset standard face length. can be determined based on

상기 사용자의 탈모 상태 정보를 제공하는 단계는, 상기 사용자 또는 제3자로부터 입력된 모발 시술양의 정보를 획득하는 단계 및 상기 모발 시술양에 따른 상기 사용자의 시술 후 이마 영역을 출력하는 단계를 포함할 수 있다.The step of providing the user's hair loss state information includes obtaining information on the amount of hair treatment input from the user or a third party and outputting the forehead area after the user's treatment according to the amount of hair treatment can do.

상기 복수의 경계점은 신경망 모델을 이용하여 획득되되, 상기 신경망 모델은, 머리카락과 이마의 경계선 중 적어도 일부를 포함하는 학습 머리 이미지에 기초하여 상기 머리카락과 이마의 경계선에 대응되는 복수의 기준 경계점을 획득하도록 학습될 수 있다.The plurality of boundary points are obtained using a neural network model, wherein the neural network model acquires a plurality of reference boundary points corresponding to the boundary between the hair and the forehead based on a training head image including at least a part of the boundary between the hair and the forehead. can be learned to do.

상기 신경망 모델은, 상기 학습 머리 이미지에 기초하여 상기 머리카락과 이마를 포함하는 관심 영역을 획득하는 제1 부분 및 상기 관심 영역에 기초하여 상기 복수의 기준 경계점을 획득하도록 학습되는 제2 부분을 포함할 수 있다.The neural network model may include a first part for acquiring the region of interest including the hair and the forehead based on the training head image, and a second part learning to acquire the plurality of reference boundary points based on the region of interest. can

다른 실시예에 따르면, 사용자의 머리 이미지를 획득하는 단계; 상기 머리 이미지에서 복수의 특징점을 추출하는 단계- 상기 복수의 특징점은 제1 그룹의 특징점 및 제2 그룹의 특징점을 포함함 -; 상기 머리 이미지에서 상기 사용자의 머리카락 및 이마의 경계선에 대응되는 복수의 경계점을 추출하는 단계;According to another embodiment, obtaining an image of the user's head; extracting a plurality of feature points from the head image, the plurality of feature points including a first group of feature points and a second group of feature points; extracting a plurality of boundary points corresponding to boundary lines of the user's hair and forehead from the head image;

상기 복수의 경계점 중에서 상기 제1 그룹의 특징점에 대응되는 매칭 경계점을 선택하는 단계; 상기 머리 이미지 상의 제1 축을 기준으로 상기 제1 그룹의 특징점과 상기 매칭 경계점 사이의 거리에 기초하여 정해지는 상안면부 산출 값을 획득하는 단계; 상기 제1 축을 기준으로 상기 제1 그룹의 특징점과 상기 제2 그룹의 특징점 사이의 거리에 기초하여 정해지는 중하안면부 산출 값을 획득하는 단계; 및 상기 상안면부 산출 값 및 상기 중하안면부 산출 값의 비율에 기초하여 상기 사용자의 탈모 상태 정보를 제공하는 단계를 포함하는 탈모 상태 정보 제공 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램을 제공할 수 있다.selecting a matching boundary point corresponding to the feature point of the first group from among the plurality of boundary points; obtaining a calculated value of the upper face part determined based on a distance between the first group feature point and the matching boundary point based on a first axis on the head image; obtaining a mid-lower facial part calculated value determined based on a distance between the feature points of the first group and the feature points of the second group with respect to the first axis; And to provide a program stored in a computer-readable recording medium to execute the method for providing hair loss state information comprising the step of providing the user's hair loss state information based on the ratio of the calculated value of the upper and lower facial parts to the calculated value of the upper and lower facial parts. can

이하에서는 도면을 참고하여, 본 출원의 탈모 상태 정보 제공 장치, 탈모 상태 정보 제공 시스템 및 탈모 상태 정보 제공 방법에 관하여 설명한다.Hereinafter, with reference to the drawings, an apparatus for providing hair loss state information, a system for providing hair loss state information, and a method for providing hair loss state information of the present application will be described.

도 1은 일 실시예에 따른 탈모 상태 정보를 제공하는 방법을 설명하기 위한 도면이고, 도 2는 사용자 단말기의 구성을 설명하기 위한 도면이다.1 is a diagram for explaining a method of providing hair loss state information according to an embodiment, and FIG. 2 is a diagram for explaining the configuration of a user terminal.

도 1을 참조하면, 일 실시예에 따른 탈모 상태 정보를 제공하는 방법은 사용자 단말기(1000)를 통해 수행될 수 있다. 사용자 단말기(1000)는 도 2를 참조하면, 제어부(100), 이미지 촬영부(200), 저장부(300), 사용자 입력부(400), 출력부(500), 전원 공급부(600) 및 통신부(700)를 포함할 수 있다. 이때, 사용자 단말기(1000)는 휴대 가능한 정보통신기기 예컨대, 스마트폰, 테블릿 등을 포함할 수 있다.Referring to FIG. 1 , a method of providing hair loss state information according to an embodiment may be performed through a user terminal 1000 . Referring to FIG. 2, the user terminal 1000 includes a control unit 100, an image capturing unit 200, a storage unit 300, a user input unit 400, an output unit 500, a power supply unit 600, and a communication unit ( 700) may be included. In this case, the user terminal 1000 may include a portable information communication device, for example, a smart phone or a tablet.

이미지 촬영부(200)는 디지털 카메라로, 이미지 센서와 영상처리부를 포함할 수 있다. 이미지 센서는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 직접된 칩으로 구성될 수 있다. 예시적으로, 이미지 센서는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등을 포함할 수 있다. 한편, 영상처리부는 촬영된 결과를 영상 처리하여, 영상 정보를 생성할 수 있다. The image capturing unit 200 is a digital camera and may include an image sensor and an image processing unit. An image sensor is a device that converts an optical image into an electrical signal, and may be configured as a chip in which a plurality of photodiodes are integrated. For example, the image sensor may include a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like. Meanwhile, the image processing unit may process the photographed result to generate image information.

저장부(300)는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장하는 저장수단으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치를 포함할 수 있다. 저장부(300)에는 사용자 단말기(1000)에 수신되는 데이터가 저장될 수 있다.The storage unit 300 is a storage means for storing data that can be read by a microprocessor, and includes a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, CD-ROMs, magnetic tapes, floppy disks, and optical data storage devices may be included. The storage unit 300 may store data received by the user terminal 1000 .

사용자 입력부(400)는 사용자 단말기(1000)에 대한 사용자의 입력을 수신한다. 수신된 입력은 제어부(100)에 전달될 수 있다. 일 실시예에 따르면, 사용자 입력부(400)는 터치 디스플레이를 통해 사용자의 입력을 수신할 수 있다. 또한, 사용자 입력부(400)는 사용자로부터 명령이 입력되는 사용자 인터페이스 화면을 의미할 수 있다.The user input unit 400 receives a user's input for the user terminal 1000 . The received input may be transmitted to the controller 100 . According to an embodiment, the user input unit 400 may receive a user input through a touch display. Also, the user input unit 400 may refer to a user interface screen on which a command is input from a user.

출력부(500)는 제어부(100)의 제어 명령에 따라 각종 정보를 출력한다. 일 실시예에 따르면, 출력부(500)는 디스플레이 패널을 통해 정보를 출력할 수 있다. 보다 구체적으로, 출력부(500)는 디스플레이 패널을 통해 사용자의 탈모 상태와 관련된 정보를 출력할 수 있다. 다만, 출력부(500)는 디스플레이 패널로 한정되지 않으며, 스피커 등 정보를 출력할 수 있는 다양한 수단을 포함할 수 있다.The output unit 500 outputs various types of information according to a control command of the control unit 100 . According to an embodiment, the output unit 500 may output information through the display panel. More specifically, the output unit 500 may output information related to the user's hair loss state through the display panel. However, the output unit 500 is not limited to a display panel, and may include various means for outputting information, such as a speaker.

전원 공급부(600)는 배터리를 포함하며, 상기 배터리는 사용자 단말기(1000)에 내장되거나 외부에서 착탈이 가능하게 구비될 수 있다. 전원 공급부(600)는 사용자 단말기(1000)의 각 구성 요소에서 필요로 하는 전력을 공급할 수 있다.The power supply unit 600 includes a battery, and the battery may be installed in the user terminal 1000 or may be detachably provided from the outside. The power supply unit 600 may supply power required by each component of the user terminal 1000 .

통신부(700)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 여기서, 무선 통신 모듈은 와이파이(Wi-Fi) 통신 모듈, 셀룰러 통신 모듈 등을 포함할 수 있다. The communication unit 700 may include a wireless communication module and/or a wired communication module. Here, the wireless communication module may include a Wi-Fi communication module, a cellular communication module, and the like.

제어부(100)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 구체적으로, 제어부(100)는 사용자 단말기(1000)에 포함되어 있는 구성들의 전체적인 동작을 제어할 수 있다. 다시 말해, 사용자 단말기(1000)는 제어부(100)에 의해 제어 또는 동작될 수 있다.The controller 100 may include at least one processor. In this case, each processor may execute a predetermined operation by executing at least one instruction stored in the memory. Specifically, the controller 100 may control the overall operation of components included in the user terminal 1000 . In other words, the user terminal 1000 may be controlled or operated by the controller 100 .

한편, 도 2에는 도시되지 않았으나, 사용자 단말기(1000)는 다양한 센서를 포함할 수 있다. 예를 들어, 사용자 단말기(1000)는 자이로 센서, 온도 센서, 모션 센서, 터치 센서, 근접 센서 등을 포함할 수 있다.Meanwhile, although not shown in FIG. 2 , the user terminal 1000 may include various sensors. For example, the user terminal 1000 may include a gyro sensor, a temperature sensor, a motion sensor, a touch sensor, a proximity sensor, and the like.

본 출원의 실시예에 따르면, 사용자는 사용자 단말기(1000)를 통해 자신의 탈모 상태 예컨대, 탈모 진행 여부, 탈모 진행 정도, 탈모 유형, 모발 이식 시뮬레이션 등에 관한 정보를 제공받을 수 있다. 예를 들어, 사용자는 사용자 단말기(1000)에 구비되어 있는 이미지 촬영부(200)를 통해 자신의 머리 이미지를 촬영한 후, 자신의 탈모 상태에 관한 정보를 출력부(500)를 통해 제공받을 수 있다.According to the embodiment of the present application, the user may be provided with information about his/her hair loss state, for example, whether or not hair loss is progressing, the degree of hair loss progress, hair loss type, hair transplant simulation, and the like through the user terminal 1000 . For example, the user may be provided with information about his/her hair loss state through the output unit 500 after taking an image of his/her head through the image capturing unit 200 provided in the user terminal 1000 . have.

보다 구체적인 예로, 사용자 단말기(1000)는 이미지 촬영부(200)를 통해 촬영된 사용자의 머리 이미지를 획득한 후, 미리 학습된 신경망 모델을 이용하여 사용자의 탈모 상태와 관련된 정보를 획득하고 이를 출력부(500)를 통해 사용자에게 제공할 수 있다. 사용자 단말기(1000)가 사용자의 탈모 상태와 관련된 정보를 획득하는 보다 상세한 방법에 관하여는 후술하도록 한다.As a more specific example, the user terminal 1000 obtains the user's head image photographed through the image capturing unit 200 , and then obtains information related to the user's hair loss state using a pre-learned neural network model, and outputs it It may be provided to the user through 500 . A more detailed method for the user terminal 1000 to obtain information related to the user's hair loss state will be described later.

도 3은 일 실시예에 따른 탈모 상태 정보 제공 시스템을 설명하기 위한 도면이다. 도 3을 참조하면, 탈모 상태 정보 제공 시스템은 사용자 단말기(1000)와 서버(S)를 포함할 수 있다. 3 is a view for explaining a system for providing hair loss state information according to an embodiment. Referring to FIG. 3 , the system for providing hair loss state information may include a user terminal 1000 and a server S.

일 실시예에 따르면, 서버(S)는 사용자의 머리 이미지에 기초하여 해당 사용자의 탈모 상태 정보를 출력하기 위한 신경망 모델의 학습을 수행할 수 있다. 사용자 단말기(1000)는 학습된 신경망 모델에 대한 정보를 서버(S)로부터 수신할 수 있다. 이 경우, 사용자 단말기(1000)는 서버(S)로부터 수신된 학습된 신경망 모델을 이용하여, 사용자의 탈모 상태 정보를 제공하기 위한 일련의 동작을 수행할 수 있다. 보다 구체적으로, 사용자 단말기(1000)는 사용자의 머리 이미지를 획득하고, 이에 기초하여 사용자의 탈모 상태에 관한 정보를 생성할 수 있다. 또한, 사용자 단말기(1000)는 사용자의 탈모 상태에 관한 정보를 사용자에게 제공할 수 있다.According to an embodiment, the server S may perform learning of a neural network model for outputting hair loss state information of the user based on the user's head image. The user terminal 1000 may receive information about the learned neural network model from the server S. In this case, the user terminal 1000 may perform a series of operations for providing the user's hair loss state information using the learned neural network model received from the server S. More specifically, the user terminal 1000 may acquire the user's head image, and generate information about the user's hair loss state based on this. Also, the user terminal 1000 may provide the user with information about the user's hair loss state.

다른 실시예에 따르면, 전술한 사용자의 탈모 상태 정보를 판단하기 위한 일련의 동작은 서버(S)에 의해 수행될 수 있다. 즉, 서버(S)는 사용자 단말기(1000)로부터 사용자의 머리 이미지를 획득할 수 있다. 이후, 서버(S)는 학습된 신경망 모델을 이용해 상기 머리 이미지로부터 사용자의 탈모 상태를 판단할 수 있다. 또한, 서버(S)는 사용자의 탈모 상태 판단 결과를 사용자 단말기(1000)에 전송할 수 있다. 이 경우, 사용자 단말기(1000)는 사용자의 탈모 상태 판단 결과를 사용자에게 제공할 수 있다.According to another embodiment, a series of operations for determining the user's hair loss state information described above may be performed by the server (S). That is, the server S may acquire the user's head image from the user terminal 1000 . Thereafter, the server S may determine the hair loss state of the user from the head image using the learned neural network model. Also, the server S may transmit a result of determining the user's hair loss state to the user terminal 1000 . In this case, the user terminal 1000 may provide a result of determining the user's hair loss state to the user.

한편, 도 3을 참조하여 상술한 사용자 단말기(1000)는 진단 장치일 수 있다. 이 경우, 사용자 단말기(1000)가 수행하는 일련의 동작은 진단 장치에서 동일하거나 상응하게 수행될 수 있다.Meanwhile, the user terminal 1000 described above with reference to FIG. 3 may be a diagnostic apparatus. In this case, a series of operations performed by the user terminal 1000 may be identically or correspondingly performed in the diagnosis apparatus.

예를 들어, 진단 장치는 학습된 신경망 모델에 대한 정보를 서버(S)로부터 수신할 수 있다. 이 경우, 진단 장치는 서버(S)로부터 수신된 학습된 신경망 모델을 이용하여, 사용자의 탈모 상태 정보를 제공하기 위한 일련의 동작을 수행할 수 있다.For example, the diagnosis apparatus may receive information about the learned neural network model from the server S. In this case, the diagnosis apparatus may perform a series of operations for providing the user's hair loss state information using the learned neural network model received from the server S.

다른 예로, 진단 장치는 사용자의 머리 이미지를 서버(S)로 전송할 수 있다. 이후, 서버(S)는 학습된 신경망 모델을 이용해 상기 머리 이미지로부터 사용자의 탈모 상태를 판단할 수 있고, 그 결과를 진단 장치에 전송할 수 있다.As another example, the diagnosis apparatus may transmit the user's head image to the server S. Thereafter, the server S may determine the hair loss state of the user from the head image using the learned neural network model, and transmit the result to the diagnosis apparatus.

한편, 진단 장치는 예시적으로, 병원, 클리닉 등에서 사용되는 두피 상태 측정 장치일 수 있다. 또는, 진단 장치는 병원, 클리닉 등에서 환자의 탈모 상태를 진단하기 위해 사용되는 장치일 수 있으나, 이에 한정되는 것은 아니며, 기 알려진 다양한 종류의 의료 기구 또는 장치를 포함할 수 있다.Meanwhile, the diagnostic device may be, for example, a scalp condition measuring device used in a hospital, a clinic, or the like. Alternatively, the diagnostic device may be a device used for diagnosing a hair loss condition of a patient in a hospital, a clinic, etc., but is not limited thereto, and may include various types of known medical instruments or devices.

이하에서는 설명의 편의를 위해 사용자 단말기(1000)에서 수행되는 동작에 대해 설명하지만, 구현 예에 따라 이와 동일하거나 상응하는 동작들이 진단 장치에서 수행될 수도 있다.Hereinafter, an operation performed by the user terminal 1000 will be described for convenience of description, but the same or corresponding operations may be performed by the diagnostic apparatus according to an embodiment.

사용자 단말기(1000)는 사용자의 탈모 상태를 판단하기 위하여 사용자의 머리 이미지를 활용할 수 있다. 이하에서는, 사용자 단말기(1000)가 머리 이미지를 획득하는 방법에 대해 설명하고, 획득된 머리 이미지에 대하여 도면을 참고하여, 구체적으로 설명한다.The user terminal 1000 may utilize the user's head image to determine the user's hair loss state. Hereinafter, a method for the user terminal 1000 to obtain a head image will be described, and the obtained head image will be described in detail with reference to the drawings.

사용자 단말기(1000)는 도 2의 이미지 촬영부(200)를 통해 사용자의 머리 이미지를 획득할 수 있다. The user terminal 1000 may acquire the user's head image through the image capturing unit 200 of FIG. 2 .

사용자 단말기(1000)는 사용자가 이미지 촬영부(200)를 통해 자신 또는 타인의 머리를 촬영하는 경우 출력부(500)를 통해 촬영 가이드를 표시할 수 있다. 촬영 가이드는 사람의 머리 또는 얼굴의 윤곽선에 관한 것일 수 있으나, 이에 한정되는 것은 아니며, 기 알려진 다양한 촬영 가이드의 형태를 포함할 수 있다.The user terminal 1000 may display a shooting guide through the output unit 500 when the user takes a picture of himself or another person's head through the image capturing unit 200 . The photographing guide may relate to the outline of a person's head or face, but is not limited thereto, and may include various known types of photographing guides.

사용자가 촬영 가이드에 기초하여 머리를 촬영하는 경우, 촬영 가이드 내에 머리가 미리 정해진 기준을 만족하여 위치할 경우, 단말기의 제어부(100)는 촬영 버튼을 활성화하여 사용자의 머리 촬영 및 저장이 가능하도록 할 수 있다.When the user takes a picture of the head based on the shooting guide, when the head is located in the shooting guide satisfying a predetermined criterion, the control unit 100 of the terminal activates the shooting button to enable shooting and storage of the user's head can

이때, 상기 미리 정해진 기준은 촬영 가이드 내에 사용자의 머리가 온전히 위치하였는지에 기초하여 정해질 수 있다. 바람직하게는, 상기 미리 정해진 기준은 촬영 가이드 내에 사용자의 머리카락을 포함하는 얼굴 전체가 위치하였는지에 기초하여 정해질 수 있다. 다른 예로, 상기 미리 정해진 기준은 촬영 가이드 내에 사용자의 머리 중 특정 부분 예컨대, 머리카락과 이마의 경계 부분이 위치하였는지에 관한 것일 수 있다.In this case, the predetermined criterion may be determined based on whether the user's head is completely positioned in the shooting guide. Preferably, the predetermined criterion may be determined based on whether the entire face including the user's hair is located in the photographing guide. As another example, the predetermined criterion may relate to whether a specific part of the user's head, eg, a boundary part between the hair and the forehead, is located in the shooting guide.

한편, 상술한 바와 같이, 사용자 단말기(1000)에는 자이로 센서가 탑재될 수 있다. 이 경우, 상기 미리 정해진 기준은 자이로 센서를 통해 획득된 사용자 단말기(1000)의 기울어짐 정도와 관련된 것일 수 있다.Meanwhile, as described above, the user terminal 1000 may be equipped with a gyro sensor. In this case, the predetermined criterion may be related to the degree of inclination of the user terminal 1000 obtained through the gyro sensor.

보다 구체적으로, 사용자 단말기(1000)의 제어부(100)는 자이로 센서를 통해 사용자 단말기(1000)의 기울어짐 정보를 획득할 수 있다. 이후, 제어부(100)는 상기 기울어짐 정보에 기초하여 이미지 촬영부(200)가 머리 이미지를 촬영하도록 제어할 수 있다. 예컨대, 제어부(100)는 사용자 단말기(1000)의 기울짐어 정도가 일정 수준 이하일 경우에만 이미지 촬영부(200)가 머리 이미지를 촬영하도록 할 수 있다.More specifically, the control unit 100 of the user terminal 1000 may obtain the inclination information of the user terminal 1000 through the gyro sensor. Thereafter, the controller 100 may control the image capturing unit 200 to capture a head image based on the inclination information. For example, the control unit 100 may cause the image capturing unit 200 to photograph the head image only when the degree of inclination of the user terminal 1000 is less than or equal to a certain level.

도 4는 이미지 촬영부를 통해 사용자의 머리가 촬영되는 동작을 예시적으로 설명하기 위한 도면이다. 도 4를 참조하면, 사용자 단말기(1000)는 출력부(500)를 통해 촬영 가이드 메시지를 출력할 수 있다.FIG. 4 is a diagram for illustratively explaining an operation in which a user's head is photographed through an image capturing unit. Referring to FIG. 4 , the user terminal 1000 may output a shooting guide message through the output unit 500 .

도 4의 (a)는 사용자 단말기(1000)의 좌우 또는 앞뒤로 기울어진 정도가 미리 정해진 기준을 만족하는 경우를 표현한 도면이다. 반면에, 도 4의 (b)는 사용자 단말기(1000)가 좌우로 기울어진 상태에 놓인 경우를 표현한 도면이며, 도 4의 (c)는 사용자 단말기(1000)가 앞뒤로 기울어진 상태에 놓인 경우를 표현한 도면이다.FIG. 4A is a diagram illustrating a case in which the degree of inclination of the user terminal 1000 left and right or forward and backward satisfies a predetermined criterion. On the other hand, FIG. 4 (b) is a diagram illustrating a case in which the user terminal 1000 is placed in a left and right inclined state, and FIG. It is a drawing that represents

도 4의 (a)와 같이 사용자 단말기(1000)의 기울어진 정도가 미리 정해진 기준을 만족하는 경우, 사용자 단말기(1000)의 제어부(100)는 이미지 촬영부(200)의 촬영 버튼을 활성화할 수 있다. 다만, 도 4의 (b) 또는 (c)와 같이 사용자 단말기(1000)가 좌우 또는 앞뒤로 기울어진 경우, 사용자 단말기(1000)는 이미지 촬영부(200)의 촬영 버튼을 비활성화한 후 단말기의 기울어진 정도가 일정 수준 이하가 될 경우에 촬영 버튼을 활성화시킬 수 있다.When the degree of inclination of the user terminal 1000 satisfies a predetermined criterion as shown in FIG. 4A , the control unit 100 of the user terminal 1000 may activate the photographing button of the image photographing unit 200 . have. However, when the user terminal 1000 is tilted left and right or forward and backward as shown in (b) or (c) of FIG. 4 , the user terminal 1000 deactivates the photographing button of the image photographing unit 200 and then tilts the terminal. When the degree is below a certain level, the shooting button may be activated.

도 5는 이미지 촬영부를 통해 획득된 사용자의 머리 이미지를 나타내는 도면이다. 이미지 촬영부(400)가 획득한 머리 이미지는 제어부(100)에 전달될 수 있다. 이하에서는, 도 5를 참조하여, 사용자의 머리 이미지에 관하여 설명한다.5 is a diagram illustrating a head image of a user obtained through an image capturing unit. The head image obtained by the image capturing unit 400 may be transmitted to the controller 100 . Hereinafter, a user's head image will be described with reference to FIG. 5 .

도 5를 참조하면, 머리 이미지는 사용자의 머리 전부 또는 일부가 촬영된 이미지일 수 있다.Referring to FIG. 5 , the head image may be an image of all or part of the user's head.

일 예로, 머리 이미지가 사용자의 머리 전부가 촬영된 이미지인 경우, 상기 머리 이미지는 머리카락을 포함하는 사용자의 안면 전부가 포함된 이미지일 수 있다. 또는, 상기 머리 이미지는 머리카락, 이마 및 얼굴의 윤곽선이 모두 포함된 이미지일 수 있다. 또는, 상기 머리 이미지는 얼굴의 주요 부위가 모두 포함된 이미지일 수 있다.For example, when the head image is an image in which the entire head of the user is captured, the head image may be an image in which the entire face of the user including hair is included. Alternatively, the head image may be an image including all the outlines of hair, forehead, and face. Alternatively, the head image may be an image including all major parts of the face.

다른 예로, 머리 이미지가 사용자 머리의 일부가 촬영된 이미지인 경우, 상기 머리 이미지는 적어도 사용자의 머리카락과 이마가 촬영된 이미지일 수 있다. 또는, 상기 머리 이미지는 사용자의 머리카락 중 적어도 일부와 이마 중 적어도 일부가 촬영된 이미지일 수 있다. 또는, 상기 머리 이미지는 사용자의 얼굴을 구성하는 주요 부위 중 적어도 하나를 포함하는 이미지일 수 있다. 이때, 상기 주요 부위는 눈, 코, 입, 귀 등의 신체 기관 또는 이마, 미간, 볼, 턱 등의 얼굴의 특정 부분일 수 있다.As another example, when the head image is an image of a part of the user's head, the head image may be an image of at least the user's hair and forehead. Alternatively, the head image may be an image of at least a portion of the user's hair and at least a portion of the forehead. Alternatively, the head image may be an image including at least one of the main parts constituting the user's face. In this case, the main part may be a body organ such as an eye, nose, mouth, or ear, or a specific part of a face such as a forehead, a forehead, a forehead, a cheek, and a chin.

또 다른 예로, 머리 이미지는 사용자 머리의 앞면, 좌측면 또는 우측면에 관한 이미지일 수 있다. 이때, 사용자 머리의 앞면에 관한 이미지는 사용자의 눈, 코 및 입 중 적어도 어느 하나를 포함하는 사용자의 안면 이미지일 수 있다. 상기 사용자 머리의 좌측면 및 우측면에 관한 이미지는 사용자의 이마가 적어도 일부 포함되어 있는 사용자의 머리의 측면 이미지일 수 있다. As another example, the head image may be an image relating to the front, left, or right side of the user's head. In this case, the image on the front side of the user's head may be the user's face image including at least one of the user's eyes, nose, and mouth. The images relating to the left and right sides of the user's head may be side images of the user's head including at least a part of the user's forehead.

머리 이미지는 피사체가 움직이지 않는 영상일 수 있고, 또는 피사체가 움직이는 동영상일 수도 있다. 이때, 머리 이미지가 동영상일 경우, 상기 동영상은 사용자 머리의 앞면, 좌측면 및/또는 우측면이 촬영된 복수의 영상을 포함할 수 있다. 또는, 상기 동영상은 사용자의 머리카락 및 이마의 경계 영역이 모두 촬영된 동영상을 의미할 수 있다.The head image may be an image in which the subject does not move, or a video in which the subject is moving. In this case, when the head image is a moving picture, the moving image may include a plurality of images in which the front, left, and/or right side of the user's head are captured. Alternatively, the moving picture may refer to a moving picture in which both the user's hair and the boundary region of the forehead are captured.

한편, 머리 이미지 상에서 특정 좌표를 나타내기 위한 제1 축(AX1) 및 제2 축(AX2)이 정의될 수 있다. Meanwhile, a first axis AX1 and a second axis AX2 for indicating specific coordinates on the head image may be defined.

일 실시예에 따르면, 제1 축(AX1) 및 제2 축(AX2)은 각각 이미지 상의 y축 및 x축을 의미할 수 있다. 예를 들어, 머리 이미지는 도 5의 (a)와 같이 사용자의 머리가 기울어지지 않은 상태로 촬영된 이미지일 수 있다. 이 경우, 제1 축(AX1)은 이미지 상의 y축에 대응할 수 있다. 또한, 제2 축(AX2)은 이미지 상의 x축에 대응할 수 있다. 이 경우, 제2 축(AX2)은 상기 제1 축(AX1)에 직교하는 축일 수 있다.According to an embodiment, the first axis AX1 and the second axis AX2 may mean a y-axis and an x-axis on an image, respectively. For example, the head image may be an image captured in a state in which the user's head is not tilted as shown in FIG. 5A . In this case, the first axis AX1 may correspond to the y-axis on the image. Also, the second axis AX2 may correspond to the x-axis on the image. In this case, the second axis AX2 may be an axis orthogonal to the first axis AX1 .

다른 실시예에 따르면, 제1 축(AX1) 및 제2 축(AX2)은 머리 이미지 상에서 사용자의 머리가 기울어진 정도에 대응하여 정의될 수 있다. 예를 들어, 머리 이미지는 도 5의 (b)와 같이 사용자의 머리가 좌우로 기울어진 상태로 촬영된 이미지일 수 있다. 도 5의 (b)에서와 같이 머리 이미지에서 사용자의 머리가 y축을 기준으로 각도 a만큼 기울어진 것으로 판단된 경우, 제1 축(AX1)은 y축을 기준으로 a만큼 기울어진 축으로 정의될 수 있고, 제2 축(AX2)은 x축을 기준으로 a만큼 기울어진 축으로 정의될 수 있다.According to another embodiment, the first axis AX1 and the second axis AX2 may be defined to correspond to the degree of inclination of the user's head on the head image. For example, the head image may be an image photographed in a state in which the user's head is tilted left and right as shown in FIG. 5B . When it is determined that the user's head is tilted by an angle a with respect to the y-axis in the head image as shown in FIG. and the second axis AX2 may be defined as an axis inclined by a with respect to the x-axis.

머리 이미지는 복수의 영역으로 구분될 수 있다. 일 실시예에 따르면, 머리 이미지는 두 개의 영역으로 구분될 수 있다. 예를 들어, 머리 이미지는 얼굴의 상부 영역 및 하부 영역으로 구분될 수 있다. 또는, 머리 이미지는 이마 영역 및 얼굴 하단 영역으로 구분될 수 있다. 또는, 머리 이미지는 상안면부 및 중하안면부로 구분될 수 있다. 다만, 본 출원의 실시예는 이에 한정되는 것은 아니며 머리 이미지는 하나의 영역을 두 개의 영역으로 구분 지을 수 있는 다양한 용어에 의해 구분될 수 있다. 이하에서는, 설명의 편의를 위해 머리 이미지 상의 두 개의 영역을 각각 상안면부 및 중하안면부로 정의한 후 설명한다.The head image may be divided into a plurality of regions. According to an embodiment, the head image may be divided into two regions. For example, the head image may be divided into an upper region and a lower region of the face. Alternatively, the head image may be divided into a forehead area and a lower face area. Alternatively, the head image may be divided into an upper face part and a middle lower face part. However, embodiments of the present application are not limited thereto, and the head image may be divided by various terms that can divide one region into two regions. Hereinafter, for convenience of explanation, two regions on the head image are defined as an upper face part and a middle lower face part, respectively, and then described.

이때, 머리 이미지를 두개의 영역으로 구분하는 기준은 사용자의 눈썹을 기초로 정해질 수 있다. 예를 들어, 상안면부는 눈썹을 기준으로 윗부분을 의미할 수 있고, 중하안면부는 눈썹의 아랫부분을 의미할 수 있다.In this case, a criterion for dividing the head image into two regions may be determined based on the user's eyebrows. For example, the upper face part may mean the upper part of the eyebrows, and the middle lower face part may mean the lower part of the eyebrows.

다른 실시예에 따르면, 머리 이미지는 세 개의 영역으로 구분될 수 있다. 예를 들어, 머리 이미지는 상부 영역, 중앙 영역 및 하부 영역으로 구분될 수 있다. 또는, 머리 이미지는 이마 영역, 코 영역, 입술 영역으로 구분될 수 있다. 또는, 머리 이미지는 상안면부, 중안면부 및 하안면부로 구분될 수 있다. 다만, 본 출원의 실시예는 이에 한정되는 것은 아니며 머리 이미지는 하나의 영역을 세 개의 영역으로 구분 지을 수 있는 다양한 용어에 의해 구분될 수 있다. 이하에서는, 설명의 편의를 위해 머리 이미지 상의 세 개의 영역을 각각 상안면부, 중안면부 및 하안면부로 정의한 후 설명한다.According to another embodiment, the head image may be divided into three regions. For example, the head image may be divided into an upper region, a central region, and a lower region. Alternatively, the head image may be divided into a forehead region, a nose region, and a lip region. Alternatively, the head image may be divided into an upper face part, a middle face part, and a lower face part. However, the embodiment of the present application is not limited thereto, and the head image may be divided by various terms that can divide one region into three regions. Hereinafter, for convenience of description, three regions on the head image are defined as an upper face part, a middle face part, and a lower face part, respectively, and then described.

이때, 머리 이미지를 세 개의 영역으로 구분하는 기준은 사용자의 눈썹 및 입술을 기초로 정해질 수 있다. 예를 들어, 상안면부는 눈썹 윗부분의 영역을 의미할 수 있고, 중안면부는 눈썹 아랫부분부터 입술 윗부분까지를 의미할 수 있으며, 하안면부는 입술 아랫부분을 의미할 수 있으나, 이에 한정되는 것은 아니다.In this case, a criterion for dividing the head image into three regions may be determined based on the user's eyebrows and lips. For example, the upper face part may mean an area above the eyebrows, the middle face part may mean from the lower part of the eyebrow to the upper part of the lips, and the lower face part may mean the lower part of the lips, but is not limited thereto. .

도 6은 도 1 내지 3에서 설명한 사용자 단말기의 제어부에 포함되어 있는 모듈 및 이들의 동작을 설명하기 위한 도면이다.6 is a view for explaining the modules included in the control unit of the user terminal described with reference to FIGS. 1 to 3 and their operations.

제어부(100)는 사용자 단말기(1000)의 이미지 촬영부(200)가 획득한 사용자의 머리 이미지에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 보다 구체적으로, 제어부(100)는 도 4 및 도 5에서 설명한 사용자의 머리 이미지를 입력 받아, 이에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 이하에서는, 제어부(100)가 사용자의 탈모 상태를 판단함에 있어 제어부(100)에 포함되어 있는 각각의 모듈이 수행하는 기능에 대하여 설명한다.The controller 100 may determine the hair loss state of the user based on the user's head image obtained by the image capturing unit 200 of the user terminal 1000 . More specifically, the controller 100 may receive the user's head image described with reference to FIGS. 4 and 5 as an input, and determine the hair loss state of the user based thereon. Hereinafter, functions performed by each module included in the control unit 100 when the control unit 100 determines the user's hair loss state will be described.

도 6을 참조하면, 제어부(100)는 경계점 추출 모듈(110), 특징점 추출 모듈(120), 매칭 경계점 선택 모듈(130), 제1 산출 값 획득 모듈(140), 제2 산출 값 획득 모듈(150) 및 사용자 탈모 상태 판단 모듈(160)을 포함할 수 있다.Referring to FIG. 6 , the control unit 100 includes a boundary point extraction module 110 , a feature point extraction module 120 , a matching boundary point selection module 130 , a first calculated value acquisition module 140 , and a second calculated value acquisition module ( 150) and a user hair loss state determination module 160 may be included.

경계점 추출 모듈(110)은 머리 이미지에서 경계점(BP)을 추출할 수 있다. 또한, 특징점 추출 모듈(120)은 머리 이미지에서 특징점(FP)을 추출할 수 있다. 매칭 경계점 선택 모듈(130)은 특징점(FP)에 기초하여 경계점(BP) 중에서 매칭 경계점(MBP)을 선택할 수 있다.The boundary point extraction module 110 may extract the boundary point BP from the head image. Also, the feature point extraction module 120 may extract the feature point FP from the head image. The matching boundary point selection module 130 may select the matching boundary point MBP from among the boundary points BP based on the feature point FP.

제1 산출 값 획득 모듈(140)은 특징점(FP) 및 매칭 경계점(MBP)에 기초하여 제1 산출 값을 획득할 수 있다. 또한, 제2 산출 값 획득 모듈(150)은 특징점(FP)에 기초하여 제2 산출 값을 획득할 수 있다. 사용자 탈모 상태 판단 모듈(160)은 제1 산출 값 및 제2 산출 값에 기초하여 사용자의 탈모 상태 예컨대, 탈모 진행 여부, 탈모 진행 정도, 탈모 유형 등에 관한 판단을 수행할 수 있다.The first calculated value obtaining module 140 may obtain a first calculated value based on the feature point FP and the matching boundary point MBP. Also, the second calculated value obtaining module 150 may obtain a second calculated value based on the feature point FP. The user's hair loss state determination module 160 may determine the user's hair loss state, for example, whether or not hair loss is progressing, the degree of hair loss, the type of hair loss, etc. based on the first calculated value and the second calculated value.

한편, 도 6에 도시된 모듈들은 제어부(100)의 하위 구성들이며, 실시예에 따라 하나 또는 복수의 프로세서를 통해 통합하여 수행될 수 있다. 이하에서는, 도면을 참조하여 제어부(100)를 구성하는 각각의 모듈의 동작에 대하여 구체적으로 설명한다.Meanwhile, the modules shown in FIG. 6 are sub-components of the control unit 100, and may be integrated through one or a plurality of processors according to an embodiment. Hereinafter, an operation of each module constituting the control unit 100 will be described in detail with reference to the drawings.

도 7은 머리 이미지로부터 추출된 특징점을 설명하기 위한 도면이다. 이하에서는, 도 7을 참조하여, 머리 이미지로부터 특징점(FP)을 추출하는 방법에 관하여 알아본다.7 is a diagram for explaining a feature point extracted from a head image. Hereinafter, a method of extracting a feature point FP from a head image will be described with reference to FIG. 7 .

특징점(FP)은 얼굴의 주요 부위에 관한 랜드마크(landmark)를 표현할 수 있다. 여기서, 얼굴의 주요 부위는 얼굴을 구성하고 있는 신체 기관(예를 들어, 눈, 눈썹, 코, 입, 귀 등) 또는 얼굴의 특정 부분(예를 들어, 이마, 미간, 볼, 턱, 얼굴의 윤곽선 등)을 포함할 수 있다.The feature point FP may represent a landmark related to a major part of the face. Here, the main part of the face is a body organ constituting the face (eg, eyes, eyebrows, nose, mouth, ears, etc.) or a specific part of the face (eg, forehead, forehead, cheeks, chin, outlines, etc.).

도 6를 참조하면, 특징점(FP)들은 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)으로 분류될 수 있다. 이때, 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)은 각각 하나 이상의 특징점을 포함할 수 있다. Referring to FIG. 6 , the feature points FP may be classified into a first group feature point G1FP and a second group feature point G2FP. In this case, each of the feature points G1FP of the first group and the feature points G2FP of the second group may include one or more feature points.

예를 들어, 제1 그룹의 특징점(G1FP)은 얼굴의 길이 방향으로 기 설정된 지점, 위치 또는 부위를 기준으로 상부에 위치한 얼굴의 주요 부위에 관한 랜드마크를 표현할 수 있다. 또한, 제2 그룹의 특징점(G2FP)은 얼굴의 길이 방향으로 기 설정된 지점, 위치 또는 부위를 기준으로 하부에 위치한 얼굴의 주요 부위에 관한 랜드마크를 표현할 수 있다. 한편, 상기 제2 그룹의 특징점(G2FP)은 머리 이미지 상에서 얼굴의 길이 방향으로 상기 제1 그룹의 특징점(G1FP) 보다 하단에 위치할 수 있다.For example, the feature point G1FP of the first group may represent a landmark related to a major part of the face located at an upper portion based on a preset point, location, or part in the longitudinal direction of the face. In addition, the second group of feature points G2FP may represent a landmark related to a main part of the face located below based on a preset point, position, or part in the longitudinal direction of the face. Meanwhile, the feature points G2FP of the second group may be located below the feature points G1FP of the first group in the longitudinal direction of the face on the head image.

다른 예로, 제1 그룹의 특징점(G1FP)은 얼굴의 제1 주요 부위에 대응하는 랜드마크를 표현할 수 있고, 제2 그룹의 특징점(G2FP)은 얼굴의 제2 주요 부위에 대응하는 랜드마크를 표현할 수 있다. 이 경우, 얼굴의 제1 주요 부위 및 제2 주요 부위는 서로 상이할 수 있다. 예시적으로, 제1 그룹의 특징점(G1FP)은 눈썹에 대응하는 랜드마크를 표현할 수 있고, 제2 그룹의 특징점(G2FP)은 얼굴의 윤곽선(예를 들어, 턱선)에 대응하는 랜드마크를 표현할 수 있다. 또는, 얼굴의 제1 주요 부위 및 제2 주요 부위는 서로 동일할 수 있다. 예시적으로, 제1 그룹의 특징점(G1FP)은 얼굴의 좌측 눈썹에 대응하는 랜드마크를 표현할 수 있고, 제2 그룹의 특징점(G2FP)은 얼굴의 우측 눈썹에 대응하는 랜드마크를 표현할 수 있다.As another example, the first group of feature points G1FP may represent a landmark corresponding to a first main part of the face, and the second group of feature points G2FP may represent a landmark corresponding to the second main part of the face. can In this case, the first main part and the second main part of the face may be different from each other. Exemplarily, the feature point G1FP of the first group may represent a landmark corresponding to the eyebrow, and the feature point G2FP of the second group may represent a landmark corresponding to the contour of the face (eg, jaw line). can Alternatively, the first main part and the second main part of the face may be identical to each other. For example, the feature point G1FP of the first group may represent a landmark corresponding to the left eyebrow of the face, and the feature point G2FP of the second group may represent a landmark corresponding to the right eyebrow of the face.

특징점 추출 모듈(120)은 이미지 촬영부(200)를 통해 촬영된 머리 이미지로부터 복수의 특징점(FP)을 추출할 수 있다. 보다 구체적으로, 특징점 추출 모듈(120)은 미리 설정된 알고리즘을 이용하여 머리 이미지로부터 특징점(FP)을 추출할 수 있다. 여기서, 알고리즘은 얼굴 이미지로부터 얼굴의 주요 부위에 해당하는 랜드마크(facial landmark)를 자동으로 검출해주는 컴퓨터 알고리즘을 의미할 수 있으나, 이에 한정되는 것은 아니고, 기 알려진 다양한 얼굴 검출 알고리즘(face detection algorithm)을 포함할 수 있다.The feature point extraction module 120 may extract a plurality of feature points FP from the head image captured by the image capturing unit 200 . More specifically, the feature point extraction module 120 may extract the feature point FP from the head image using a preset algorithm. Here, the algorithm may mean a computer algorithm that automatically detects a landmark corresponding to a major part of the face from the face image, but is not limited thereto, and various known face detection algorithms are used. may include

일 실시예에 따르면, 사용자 단말기(1000)에는 상술한 알고리즘과 관련한 소프트웨어가 저장되어 있을 수 있다. 이 경우, 사용자 단말기(1000)는 저장되어 있는 알고리즘에 따라 머리 이미지로부터 특징점(FP)을 추출할 수 있다.According to an embodiment, software related to the above-described algorithm may be stored in the user terminal 1000 . In this case, the user terminal 1000 may extract the feature point FP from the head image according to a stored algorithm.

다른 실시예에 따르면, 상술한 알고리즘과 관련한 소프트웨어는 서버(S)에 저장되어 있을 수 있다. 이 경우, 사용자 단말기(1000)는 서버(S)를 통해 실시간으로 데이터를 송수신하는 방법으로 머리 이미지로부터 특징점(FP)을 추출할 수 있다.According to another embodiment, the software related to the above-described algorithm may be stored in the server (S). In this case, the user terminal 1000 may extract the feature point FP from the head image by transmitting and receiving data in real time through the server S.

도 8 및 도 9는 머리 이미지로부터 추출된 경계점을 설명하기 위한 도면이다. 이하에서는, 도 8 및 도 9를 참조하여, 머리 이미지로부터 복수의 경계점(BP)을 추출하는 방법에 관하여 알아본다.8 and 9 are diagrams for explaining a boundary point extracted from a head image. Hereinafter, a method of extracting a plurality of boundary points BP from a head image will be described with reference to FIGS. 8 and 9 .

도 8을 참조하면, 경계점(BP)은 머리카락과 이마의 경계 영역에 포함되어 있는 지점일 수 있다. 또는, 경계점(BP)은 머리카락과 이마의 경계선에 대응되는 복수의 지점일 수 있다. 보다 구체적으로, 경계점(BP)은 사용자의 머리 이미지를 구성하는 복수의 픽셀 중 머리카락과 이마의 경계점일 확률 값이 미리 정해진 기준 이상의 픽셀을 의미할 수 있다. 일 실시예에 따르면, 머리카락과 이마의 경계점에 해당할 확률은 미리 학습된 신경망 모델에 의해 판단될 수 있다. Referring to FIG. 8 , the boundary point BP may be a point included in the boundary region between the hair and the forehead. Alternatively, the boundary point BP may be a plurality of points corresponding to the boundary line between the hair and the forehead. More specifically, the boundary point BP may mean a pixel having a probability value of the boundary point between the hair and the forehead of a plurality of pixels constituting the user's head image equal to or greater than a predetermined reference point. According to an embodiment, the probability corresponding to the boundary point between the hair and the forehead may be determined by a pre-trained neural network model.

일 실시예에 따르면, 경계점(BP)은 도 8과 같이 머리카락과 이마의 경계에 대응되는 픽셀을 기반으로 추출될 수 있다. 이 경우, 경계점(BP)은 머리카락과 이마를 포함하는 영역에 대한 세그멘테이션 이미지에 기초하여 추출될 수 있다.According to an embodiment, the boundary point BP may be extracted based on a pixel corresponding to the boundary between the hair and the forehead as shown in FIG. 8 . In this case, the boundary point BP may be extracted based on the segmentation image of the region including the hair and the forehead.

다른 실시예에 따르면, 경계점(BP)은 도 9와 같이 머리카락과 이마의 경계에 대응되는 영역을 기반으로 추출될 수 있다. 이 경우, 머리카락과 이마를 포함하는 영역에서 경계 영역에 대응하는 하나 이상의 바운딩 박스(Bounding box)가 획득될 수 있다. 이후, 경계점 추출 모듈(110)은 획득된 바운딩 박스 내의 기 설정된 위치의 점을 경계점으로서 추출할 수 있다. 이때, 기 설정된 위치는 상기 바운딩 박스의 중간 지점 또는 모서리 중 어느 하나일 수 있다. According to another embodiment, the boundary point BP may be extracted based on a region corresponding to the boundary between the hair and the forehead as shown in FIG. 9 . In this case, one or more bounding boxes corresponding to the boundary area may be obtained in the area including the hair and the forehead. Thereafter, the boundary point extraction module 110 may extract a point at a preset position in the obtained bounding box as a boundary point. In this case, the preset position may be any one of a middle point or a corner of the bounding box.

도 10은 머리 이미지로부터 경계점을 획득하기 위한 신경망의 구조에 대한 실시예를 도시한 것이다. 이하에서는, 도 10을 참조하여, 미리 학습된 인공 신경망을 통해 머리 이미지로부터 경계점(BP)을 추출하는 방법을 설명하도록 한다.10 shows an embodiment of the structure of a neural network for obtaining a boundary point from a head image. Hereinafter, a method of extracting a boundary point BP from a head image through a pre-trained artificial neural network will be described with reference to FIG. 10 .

도 10을 참조하면, 경계점 추출 모듈(110)은 미리 학습된 신경망 모델을 통해 머리 이미지로부터 경계점(BP)을 추출할 수 있다.Referring to FIG. 10 , the boundary point extraction module 110 may extract a boundary point BP from the head image through a pre-trained neural network model.

도 10의 (a)를 참조하면, 일 실시예에 따르면, 경계점 추출 모듈(110)은 하나의 신경망 모델(NN)을 이용하여 머리 이미지로부터 복수의 경계점(BP)을 추출할 수 있다. 신경망 모델(NN)은 머리 이미지를 입력 받아 관심 영역(ROI) 및 경계점(BP')을 획득하도록 학습될 수 있다. 이때, 관심 영역(ROI)은 머리카락과 이마의 경계 및 그 주변의 머리카락과 이마의 적어도 일부를 포함하는 영역을 의미할 수 있다.Referring to FIG. 10A , according to an embodiment, the boundary point extraction module 110 may extract a plurality of boundary points BP from a head image using one neural network model NN. The neural network model NN may be trained to obtain a region of interest (ROI) and a boundary point (BP') by receiving a head image. In this case, the region of interest (ROI) may refer to a region including at least a portion of the boundary between the hair and the forehead and the hair and the forehead.

신경망 모델(NN)은 머리 이미지와 라벨링 데이터를 포함하는 학습 데이터를 이용하여 학습될 수 있다. 이때, 상기 라벨링 데이터는 관심 영역(ROI)에 대응되는 제1 라벨링 값을 포함할 수 있다. 또한, 상기 라벨링 데이터는 경계점에 대응되는 제2 라벨링 값을 포함할 수 있다.The neural network model NN may be trained using training data including a head image and labeling data. In this case, the labeling data may include a first labeling value corresponding to the region of interest (ROI). In addition, the labeling data may include a second labeling value corresponding to the boundary point.

구체적으로, 신경망 모델(NN)은 머리 이미지를 입력 받은 후 출력 값을 획득할 수 있다. 이후, 신경망 모델(NN)은 출력 값과 라벨링 데이터의 차이를 고려하여 산출된 오차 값에 기초하여 상기 신경망 모델(NN)을 갱신하는 방법으로 학습될 수 있다. 이때, 상기 출력 값은 상기 제1 라벨링 값에 대응되는 제1 출력 값 및 상기 제2 라벨링 값에 대응되는 제2 출력 값을 포함할 수 있다.Specifically, the neural network model NN may obtain an output value after receiving the head image. Thereafter, the neural network model NN may be trained by a method of updating the neural network model NN based on an error value calculated in consideration of the difference between the output value and the labeling data. In this case, the output value may include a first output value corresponding to the first labeling value and a second output value corresponding to the second labeling value.

경계점 추출 모듈(110)은 신경망 모델(NN)을 이용하여 관심 영역(ROI) 및 경계점(BP')을 각각 획득할 수 있다. 이후, 경계점 추출 모듈(110)은 획득된 경계점(BP') 중에서 관심 영역(ROI) 내에 위치한 점만을 최종적으로 경계점(BP)으로 추출할 수 있다.The boundary point extraction module 110 may obtain a region of interest ROI and a boundary point BP′ by using the neural network model NN, respectively. Thereafter, the boundary point extraction module 110 may finally extract only a point located within the ROI from among the acquired boundary points BP′ as the boundary point BP.

구체적으로, 신경망 모델(NN)을 통해 획득한 경계점(BP')은 관심 영역(ROI) 내에 위치한 경계점 및 관심 영역(ROI) 밖에 위치한 경계점을 모두 포함할 수 있다. 이때, 경계점 추출 모듈(110)이 최종적으로 추출하는 경계점(BP)은 신경망 모델(NN)을 통해 획득한 경계점(BP') 중 관심 영역(ROI) 내에 위치한 점만을 의미할 수 있다.Specifically, the boundary point BP' obtained through the neural network model NN may include both a boundary point located within the region of interest ROI and a boundary point located outside the region of interest ROI. In this case, the boundary point BP finally extracted by the boundary point extraction module 110 may mean only a point located within the ROI among boundary points BP' obtained through the neural network model NN.

도 10의 (b)를 참조하면, 다른 실시예에 따르면, 경계점 추출 모듈(110)은 복수의 신경망 모델, 예를 들어 2개의 신경망 모델(NN1 및 NN2)을 이용하여 머리 이미지로부터 복수의 경계점(BP)을 추출할 수 있다. 제1 신경망 모델(NN1)은 머리 이미지를 입력 받아 관심 영역(ROI)을 획득하도록 학습될 수 있다. 또한, 제2 신경망 모델(NN2)은 관심 영역(ROI)을 입력 받아 경계점(BP)을 획득하도록 학습될 수 있다. 이때, 관심 영역(ROI)은 도 10의 (a)를 통해 상술한 바와 같다.Referring to (b) of FIG. 10, according to another embodiment, the boundary point extraction module 110 uses a plurality of neural network models, for example, two neural network models (NN1 and NN2) from a head image to a plurality of boundary points ( BP) can be extracted. The first neural network model NN1 may be trained to obtain a region of interest (ROI) by receiving a head image. In addition, the second neural network model NN2 may be trained to obtain the boundary point BP by receiving the region of interest ROI as an input. In this case, the region of interest ROI is as described above with reference to FIG. 10A .

제1 신경망 모델(NN1) 및 제2 신경망 모델(NN2)은 독립된 별개의 신경망 모델을 의미할 수 있으나 이에 한정되는 것은 아니며, 하나의 신경망 모델에서 물리적 또는 논리적으로 분리되어 있을 수 있다. 즉, 신경망 모델의 제1 부분은 머리 이미지로부터 관심 영역(ROI)을 획득하고, 제2 부분은 관심 영역(ROI)로부터 경계점(BP)을 획득하도록 학습될 수 있다.The first neural network model NN1 and the second neural network model NN2 may mean independent and separate neural network models, but are not limited thereto, and may be physically or logically separated from one neural network model. That is, the first part of the neural network model may be trained to acquire a region of interest (ROI) from the head image, and the second part to acquire a boundary point (BP) from the region of interest (ROI).

제1 신경망 모델(NN1)은 머리 이미지와 라벨링 데이터를 포함하는 학습 데이터를 이용하여 학습될 수 있다. 이때, 상기 라벨링 데이터는 머리카락과 이마의 경계 및 그 주변의 머리카락과 이마의 적어도 일부를 포함하는 영역에 대응되는 라벨링 값을 포함할 수 있다. 구체적으로, 제1 신경망 모델(NN1)은 머리 이미지를 입력 받은 후 출력 값을 획득할 수 있다. 이후, 제1 신경망 모델(NN1)은 출력 값과 라벨링 데이터의 차이를 고려하여 산출된 오차 값에 기초하여 상기 제1 신경망 모델(NN1)을 갱신하는 방법으로 학습될 수 있다.The first neural network model NN1 may be trained using training data including a head image and labeling data. In this case, the labeling data may include a labeling value corresponding to a boundary between the hair and the forehead and a region including at least a part of the hair and the forehead around it. Specifically, the first neural network model NN1 may obtain an output value after receiving the head image. Thereafter, the first neural network model NN1 may be trained by a method of updating the first neural network model NN1 based on an error value calculated in consideration of the difference between the output value and the labeling data.

제2 신경망 모델(NN2)은 관심 영역(ROI)에 관한 이미지와 라벨링 데이터를 포함하는 학습 데이터를 이용하여 학습될 수 있다. 이때, 상기 라벨링 데이터는 머리카락과 이마의 경계점에 대응되는 라벨링 값을 포함할 수 있다. 구체적으로, 제2 신경망 모델(NN2)은 관심 영역(ROI)에 관한 이미지를 입력 받은 후 출력 값을 획득할 수 있다. 이후, 제2 신경망 모델(NN2)은 출력 값과 라벨링 데이터의 차이를 고려하여 산출된 오차 값에 기초하여 상기 제2 신경망 모델(NN2)을 갱신하는 방법으로 학습될 수 있다.The second neural network model NN2 may be trained using training data including an image and labeling data related to a region of interest (ROI). In this case, the labeling data may include a labeling value corresponding to the boundary point between the hair and the forehead. Specifically, the second neural network model NN2 may acquire an output value after receiving an image of the region of interest ROI. Thereafter, the second neural network model NN2 may be trained by a method of updating the second neural network model NN2 based on an error value calculated in consideration of the difference between the output value and the labeling data.

다시 말해, 경계점 추출 모듈(110)은 제1 신경망 모델(NN1)을 이용하여 머리 이미지로부터 관심 영역(ROI)을 획득할 수 있고, 제2 신경망 모델(NN2)을 이용하여 관심 영역(ROI)으로부터 경계점(BP)을 획득할 수 있다. 일 예로, 경계점 추출 모듈(110)은 제2 신경망 모델(NN2)을 이용하여, 제1 신경망 모델(NN1)을 통해 획득한 관심 영역(ROI)을 입력 데이터로 하여, 경계점(BP)을 획득할 수 있다. 다른 예로, 경계점 추출 모듈(110)은 제2 신경망 모델(NN2)을 통해, 머리카락과 이마의 경계 및 그 주변의 머리카락과 이마의 적어도 일부를 포함하는 관심 영역(ROI)을 입력 데이터로 하여, 경계점(BP)을 획득할 수 있다.In other words, the boundary point extraction module 110 may acquire a region of interest (ROI) from the head image using the first neural network model NN1, and from the region of interest ROI using the second neural network model NN2. A boundary point (BP) can be obtained. As an example, the boundary point extraction module 110 uses the second neural network model NN2 to obtain the boundary point BP by using the region of interest ROI obtained through the first neural network model NN1 as input data. can As another example, the boundary point extraction module 110 uses, as input data, a region of interest (ROI) including at least a portion of the hair and forehead boundary and surrounding hair and forehead through the second neural network model NN2 as input data, the boundary point (BP) can be obtained.

한편, 신경망 모델은 CNN(Convolutional Neural Network), RNN(Recursive Neural Network), DBN(Deep Belief Network), LSTM(Long Short-term Memory), GRU(Gated Recurrent Neural Network), 이들의 변형 및 조합 중 적어도 하나일 수 있다. On the other hand, the neural network model is at least one of Convolutional Neural Network (CNN), Recursive Neural Network (RNN), Deep Belief Network (DBN), Long Short-term Memory (LSTM), Gated Recurrent Neural Network (GRU), and variations and combinations thereof. can be one

도 11은 머리 이미지로부터 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다. 이하에서는, 도 11을 참조하여, 머리 이미지로부터 추출된 복수의 특징점(FP)에 기초하여 복수의 경계점(BP) 중 매칭 경계점(MBP)을 선택하는 방법을 설명한다.11 is a diagram for explaining a method of selecting a matching boundary point from a head image. Hereinafter, a method of selecting a matching boundary point MBP among a plurality of boundary points BP based on a plurality of feature points FP extracted from a head image will be described with reference to FIG. 11 .

도 11을 참조하면, 매칭 경계점 선택 모듈(130)은 매칭 영역 설정 단계(S131), 매칭 후보 경계점 추출 단계(S133) 및 매칭 경계점 선택 단계(S135)를 통해 매칭 경계점(MBP)을 선택할 수 있다. 이하에서는, 도면을 참조하여 매칭 경계점 선택 모듈(130)이 수행하는 각각의 단계에 대하여 보다 상세히 설명하도록 한다.Referring to FIG. 11 , the matching boundary point selection module 130 may select the matching boundary point MBP through the matching area setting step S131 , the matching candidate boundary point extraction step S133 , and the matching boundary point selection step S135 . Hereinafter, each step performed by the matching boundary point selection module 130 will be described in more detail with reference to the drawings.

매칭 경계점(MBP)은 경계점 추출 모듈(110)로부터 추출된 복수의 경계점(BP) 중 적어도 어느 하나를 의미할 수 있다. 예를 들어, 매칭 경계점(MBP)은 경계점 추출 모듈(110)로부터 추출된 복수의 경계점(BP) 중 특징점(FP)에 대응되는 경계점을 의미할 수 있다. 또는, 매칭 경계점(MBP)은 복수의 경계점(BP) 중 제1 그룹의 특징점(G1FP)에 대응되는 경계점을 의미할 수 있다.The matching boundary point MBP may mean at least one of a plurality of boundary points BP extracted from the boundary point extraction module 110 . For example, the matching boundary point MBP may mean a boundary point corresponding to the feature point FP among a plurality of boundary points BP extracted from the boundary point extraction module 110 . Alternatively, the matching boundary point MBP may mean a boundary point corresponding to the feature point G1FP of the first group among the plurality of boundary points BP.

도 12는 일 실시예에 따른 제1 그룹의 특징점 및 이에 대응하는 매칭 경계점을 도시한 도면이다. 도 12에 표시된 제1 그룹의 특징점(G1FP) 및 매칭 경계점(MBP)은 일 실시예에 의한 것이며, 제1 그룹의 특징점(G1FP) 및 매칭 경계점(MBP)의 개수 및 위치는 도 12에 도시된 것과 상이할 수 있다.12 is a diagram illustrating a feature point of a first group and a matching boundary point corresponding thereto according to an exemplary embodiment. The first group feature points G1FP and matching boundary points MBP shown in FIG. 12 are according to an embodiment, and the number and positions of the first group feature points G1FP and matching boundary points MBP are shown in FIG. 12 . may be different from

예시적으로, 도 12에서 제1 특징점(FP1) 내지 제10 특징점(FP10)은 제1 그룹의 특징점(G1FP)들이고, 제1 매칭 경계점(MBP1) 내지 제11 매칭 경계점(MBP11)은 매칭 경계점(MBP)들이다. 이 경우, 매칭 경계점(MBP)은 복수의 특징점(FP) 중 적어도 하나 이상의 특징점에 대응하는 경계점으로 선택될 수 있다. 또는, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP) 중 하나 이상의 특징점에 대응하는 경계점으로 선택될 수 있다.Exemplarily, in FIG. 12 , the first feature points FP1 to the tenth feature points FP10 are the first group feature points G1FP, and the first matching boundary points MBP1 to the eleventh matching boundary points MBP11 are matching boundary points ( MBPs). In this case, the matching boundary point MBP may be selected as a boundary point corresponding to at least one of the plurality of characteristic points FP. Alternatively, the matching boundary point MBP may be selected as a boundary point corresponding to one or more characteristic points among the characteristic points G1FP of the first group.

일 실시예에 따르면, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP)들 중 어느 하나의 특징점에 대응하는 경계점으로 선택될 수 있다. 일 예로, 도 12를 참조하면, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP)에 해당하는 제1 특징점(FP1) 내지 제10 특징점(FP10) 중 하나의 특징점에 기초하여 선택될 수 있다. 예를 들어, 제1 매칭 경계점(MBP1)은 복수의 경계점(BP) 중 제1 특징점(FP1)에 대응되는 경계점일 수 있고, 제2 매칭 경계점(MBP2)은 복수의 경계점(BP) 중 제2 특징점(FP2)에 대응되는 경계점일 수 있다.According to an embodiment, the matching boundary point MBP may be selected as a boundary point corresponding to any one of the first group characteristic points G1FP. As an example, referring to FIG. 12 , the matching boundary point MBP may be selected based on one feature point among the first feature points FP1 to FP10 corresponding to the first group feature points G1FP. . For example, the first matching boundary point MBP1 may be a boundary point corresponding to the first feature point FP1 among the plurality of boundary points BP, and the second matching boundary point MBP2 is a second boundary point among the plurality of boundary points BP. It may be a boundary point corresponding to the feature point FP2.

다른 실시예에 따르면, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP)들 중 2개 이상의 특징점에 대응하는 경계점으로 선택될 수 있다. 보다 구체적으로, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP)들 중 이웃하는 2개의 점들에 대응하는 경계점이 매칭 경계점으로 선택될 수 있다. 일 예로, 도 12를 참조하면, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP)에 해당하는 제1 특징점(FP1) 내지 제10 특징점(FP10) 중 복수의 특징점에 기초하여 선택될 수 있다. 예를 들어, 제6 매칭 경계점(MBP6)은 제5 특징점(FP5) 및 제6 특징점(FP6)에 기초하여 선택될 수 있다. 보다 구체적으로, 제6 매칭 경계점(MBP6)은 제5 특징점(FP5)과 제6 특징점(FP6)의 중간 지점의 x좌표에 대응되는 경계점일 수 있다.According to another embodiment, the matching boundary point MBP may be selected as a boundary point corresponding to two or more characteristic points among the characteristic points G1FP of the first group. More specifically, as the matching boundary point MBP, a boundary point corresponding to two neighboring points among the feature points G1FP of the first group may be selected as the matching boundary point. For example, referring to FIG. 12 , the matching boundary point MBP may be selected based on a plurality of feature points among the first feature points FP1 to the tenth feature points FP10 corresponding to the first group feature points G1FP. . For example, the sixth matching boundary point MBP6 may be selected based on the fifth feature point FP5 and the sixth feature point FP6 . More specifically, the sixth matching boundary point MBP6 may be a boundary point corresponding to the x-coordinate of a midpoint between the fifth characteristic point FP5 and the sixth characteristic point FP6.

매칭 경계점(MBP)은 복수의 경계점(BP) 중 얼굴의 특징적인 부분에 대응되는 경계점일 수 있다. 이 경우, 얼굴의 특징적인 부분은, 머리카락과 이마의 경계 중 특징점에 대응하는 부분을 의미할 수 있다. 예를 들어, 얼굴의 특징적인 부분은 머리카락과 이마의 경계 중 이마의 중앙 부분에 대응하는 부분 또는 눈썹의 특정 부위에 대응하는 부분을 의미할 수 있다. 도 12를 참조하면, 상술한 이마의 중앙 부분에 대응하는 매칭 경계점은 제6 매칭 경계점(MBP6)을 일 수 있고, 이마의 경계 중 눈썹의 특정 부위에 대응하는 매칭 경계점은 제4 매칭 경계점(MBP4) 또는 제7 매칭 경계점(MBP7)일 수 있다.The matching boundary point MBP may be a boundary point corresponding to a characteristic part of the face among the plurality of boundary points BP. In this case, the characteristic part of the face may mean a part corresponding to the characteristic point among the boundary between the hair and the forehead. For example, the characteristic part of the face may mean a part corresponding to a central part of the forehead or a part corresponding to a specific part of the eyebrow among the boundary between the hair and the forehead. Referring to FIG. 12 , the matching boundary point corresponding to the central part of the forehead may be the sixth matching boundary point MBP6, and the matching boundary point corresponding to a specific part of the eyebrow among the forehead boundaries is the fourth matching boundary point MBP4 ) or the seventh matching boundary point (MBP7).

일 실시예에 따르면, 도 6의 사용자 탈모 상태 판단 모듈(160)은 매칭 경계점 선택 모듈(130)에 의해 획득된 매칭 경계점에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 보다 구체적으로, 매칭 경계점 선택 모듈(130)은 복수의 특징점(FP) 중 미리 정해진 기준을 만족하는 하나 이상의 특징점에 대응하는 매칭 경계점(MBP)을 선택할 수 있고, 사용자 탈모 상태 판단 모듈(160)은 선택된 매칭 경계점(MBP)에 기초하여 사용자의 탈모 상태를 판단할 수 있다.According to an embodiment, the user's hair loss state determination module 160 of FIG. 6 may determine the user's hair loss state based on the matching boundary points obtained by the matching boundary point selection module 130 . More specifically, the matching boundary point selection module 130 may select a matching boundary point (MBP) corresponding to one or more characteristic points satisfying a predetermined criterion among a plurality of characteristic points (FP), and the user hair loss state determination module 160 is It is possible to determine the hair loss state of the user based on the selected matching boundary point (MBP).

예를 들어, 도 12를 참조하면, 매칭 경계점 선택 모듈(130)은 제1 그룹의 특징점(G1FP) 중 미리 정해진 기준을 만족하는 하나 이상의 특징점 (예컨대, 제3 특징점(FP3), 제5 특징점(FP5), 제6 특징점(FP6) 또는 제8 특징점(FP8))에 대응하는 매칭 경계점(MBP) (예컨대, 제4 매칭 경계점(MBP4), 제6 매칭 경계점(MBP6) 또는 제8 매칭 경계점(MBP8))을 선택할 수 있고, 사용자 탈모 상태 판단 모듈(160)은 선택된 매칭 경계점에 기초하여 사용자의 탈모 상태를 판단할 수 있다.For example, referring to FIG. 12 , the matching boundary point selection module 130 includes one or more feature points satisfying a predetermined criterion among the feature points G1FP of the first group (eg, a third feature point FP3, a fifth feature point ( FP5), a matching boundary point (MBP) (eg, a fourth matching boundary point MBP4, a sixth matching boundary point MBP6, or an eighth matching boundary point MBP8) corresponding to the sixth characteristic point FP6 or the eighth characteristic point FP8). )), and the user's hair loss state determination module 160 may determine the user's hair loss state based on the selected matching boundary point.

다른 실시예에 따르면, 사용자 탈모 상태 판단 모듈(160)은 매칭 경계점 선택 모듈(130)에 의해 획득된 매칭 경계점 중 미리 정해진 기준을 만족하는 하나 이상의 경계점에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 보다 구체적으로, 매칭 경계점 선택 모듈(130)은 특징점(FP)에 대응되는 매칭 경계점(MBP)들을 선택할 수 있고, 사용자 탈모 상태 판단 모듈(160)은 선택된 매칭 경계점(MBP)들 중 미리 정해진 기준을 만족하는 하나 이상의 매칭 경계점(MBP)에 기초하여 사용자의 탈모 상태를 판단할 수 있다.According to another embodiment, the user's hair loss state determination module 160 may determine the user's hair loss state based on one or more boundary points that satisfy a predetermined criterion among the matching boundary points obtained by the matching boundary point selection module 130 . . More specifically, the matching boundary point selection module 130 may select matching boundary points (MBP) corresponding to the feature point (FP), and the user hair loss state determination module 160 selects a predetermined criterion among the selected matching boundary points (MBP). It is possible to determine the hair loss state of the user based on one or more matching boundary points (MBP) that are satisfied.

예를 들어, 도 12를 참조하면, 매칭 경계점 선택 모듈(130)은 제1 그룹의 특징점(G1FP)에 대응되는 복수의 매칭 경계점 예컨대 제1 매칭 경계점(MBP1) 내지 제11 매칭 경계점(MBP11)을 선택할 수 있고, 사용자 탈모 상태 판단 모듈(160)은 선택된 매칭 경계점(MBP)들 중 미리 정해진 기준을 만족하는 매칭 경계점(MBP) 예컨대, 제4 매칭 경계점(MBP4), 제6 매칭 경계점(MBP6) 또는 제8 매칭 경계점(MBP8)에 기초하여 사용자의 탈모 상태를 판단할 수 있다.For example, referring to FIG. 12 , the matching boundary point selection module 130 selects a plurality of matching boundary points corresponding to the first group feature point G1FP, for example, a first matching boundary point MBP1 to an eleventh matching boundary point MBP11. Can be selected, the user hair loss state determination module 160 is a matching boundary point (MBP) that satisfies a predetermined criterion among the selected matching boundary points (MBP), for example, the fourth matching boundary point (MBP4), the sixth matching boundary point (MBP6), or The user's hair loss state may be determined based on the eighth matching boundary point MBP8.

도 11을 참조하면, 매칭 영역 설정 단계(S131)에서 매칭 경계점 선택 모듈(130)은 매칭 영역을 설정할 수 있다. 후술하는 바와 같이, 매칭 영역은 복수의 경계점(BP) 중 매칭 경계점(MBP)을 선택하기 위한 기준 영역으로 사용될 수 있다. Referring to FIG. 11 , in the matching area setting step S131 , the matching boundary point selection module 130 may set the matching area. As will be described later, the matching area may be used as a reference area for selecting the matching boundary point MBP from among the plurality of boundary points BP.

매칭 영역은 단일의 특징점 또는 복수의 특징점에 기초해서 설정될 수 있다. 도 13은 일 실시예에 따른 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다. 도 13을 참조하면, 매칭 영역은 단일의 특징점에 기초하여 설정될 수 있다.The matching area may be set based on a single feature point or a plurality of feature points. 13 is a diagram for describing a method of selecting a matching boundary point according to an embodiment. Referring to FIG. 13 , the matching area may be set based on a single feature point.

일 실시예에 따르면, 매칭 영역은 하나의 제1 그룹 특징점(G1FP)에 기초하여 결정되는 두 개의 점(P1, P2)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역으로 설정될 수 있다. 이때, 제1 지점(P1)은 제1 그룹 특징점(G1FP)에서 머리 이미지 상의 제2 축(AX2) 방향으로 제1 거리만큼 떨어진 지점이고, 제2 지점(P2)은 제1 그룹 특징점(G1FP)에서 상기 제2 축(AX2) 방향으로 제2 거리만큼 떨어진 지점일 수 있다.According to one embodiment, the matching area is a first straight line ( L1) and the second straight line L2. In this case, the first point P1 is a point separated by a first distance from the first group feature point G1FP in the direction of the second axis AX2 on the head image, and the second point P2 is the first group feature point G1FP. may be a point separated by a second distance in the direction of the second axis AX2 from .

일 실시예에 따르면, 제1 지점(P1)은 제1 그룹 특징점(G1FP)에서 제2 축(AX2)의 제1 방향으로 제1 거리만큼 떨어진 지점이고, 제2 지점(P2)은 제1 그룹 특징점(G1FP)에서 상기 제2 축(AX2)의 제2 방향으로 제2 거리만큼 떨어진 지점일 수 있다. 이때, 제1 방향은 해당 축의 음의 방향일 수 있으며, 제2 방향은 해당 축의 양의 방향일 수 있다. 또한, 제1 거리 및 제2 거리는 동일할 수도 있으며, 서로 다를 수 있다.According to an embodiment, the first point P1 is a point separated by a first distance from the first group feature point G1FP in the first direction of the second axis AX2, and the second point P2 is the first group feature point G1FP. It may be a point separated by a second distance from the feature point G1FP in the second direction of the second axis AX2. In this case, the first direction may be a negative direction of the corresponding axis, and the second direction may be a positive direction of the corresponding axis. Also, the first distance and the second distance may be the same or different from each other.

다른 실시예에 따르면, 제1 지점(P1) 및 제2 지점(P2)은 제1 그룹 특징점(G1FP)에서 제2 축(AX2)의 동일한 방향으로 각각 제1 거리 및 제2 거리만큼 떨어진 지점일 수 있다. 이때, 제1 거리 및 제2 거리는 서로 다른 값으로 설정된다.According to another embodiment, the first point P1 and the second point P2 are points apart from the first group feature point G1FP by a first distance and a second distance in the same direction of the second axis AX2, respectively. can In this case, the first distance and the second distance are set to different values.

상기 제2 축(AX2)은 제1 축(AX1)에 직교한 축으로 설정될 수 있다. 일 실시예에 따르면, 제1 축(AX1)은 머리 이미지의 y축을, 제2 축(AX2)은 머리 이미지의 x축을 가리킬 수 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 획득된 머리 이미지에서 사용자의 머리가 이미지의 y축을 기준으로 각도 a만큼 기울어진 것으로 판단된 경우, 제1 축(AX1) 및 제2 축(AX2)은 각각 머리 이미지의 y축 및 x축을 기준으로 a만큼 기울어진 축으로 설정될 수 있다.The second axis AX2 may be set as an axis perpendicular to the first axis AX1 . According to an embodiment, the first axis AX1 may indicate the y-axis of the head image and the second axis AX2 may indicate the x-axis of the head image, but the present invention is not limited thereto. For example, when it is determined that the user's head is inclined by an angle a with respect to the y-axis of the image in the obtained head image, the first axis AX1 and the second axis AX2 are respectively the y-axis and It can be set as an axis inclined by a with respect to the x-axis.

도 14는 다른 실시예에 따른 매칭 경계점을 선택하는 방법을 설명하기 위한 도면이다. 도 14를 참조하면, 매칭 영역은 복수의 특징점에 기초하여 설정될 수 있다.14 is a diagram for explaining a method of selecting a matching boundary point according to another embodiment. Referring to FIG. 14 , the matching area may be set based on a plurality of feature points.

일 실시예에 따르면, 매칭 영역은 복수의 제1 그룹 특징점(G1FP)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역으로 설정될 수 있다. 구체적으로, 매칭 영역은 제1 그룹의 특징점(G1FP)을 구성하는 제1 특징점 및 제2 특징점 각각에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역으로 설정될 수 있다. 이때, 복수의 제1 그룹 특징점(G1FP)은 제1 그룹의 특징점(G1FP)들 중에서 서로 이웃하는 2개의 특징점(FP)을 의미할 수 있다.According to an embodiment, the matching area is an area between the first straight line L1 and the second straight line L2 respectively extending from the plurality of first group feature points G1FP in the direction of the first axis AX1 on the head image. can be set. Specifically, the matching area includes a first straight line L1 and a second straight line extending from each of the first and second feature points constituting the first group of feature points G1FP in the direction of the first axis AX1 on the head image, respectively. (L2) can be set to the region between. In this case, the plurality of first group feature points G1FP may mean two feature points FP adjacent to each other among the first group feature points G1FP.

한편, 도 14에 도시된 제1 축(AX1) 및 제2 축(AX2)의 정의는 도 13에서 상술한 제1 축(AX2) 및 제2 축(AX2)의 정의와 동일하다.Meanwhile, the definitions of the first axis AX1 and the second axis AX2 illustrated in FIG. 14 are the same as the definitions of the first axis AX2 and the second axis AX2 described in FIG. 13 .

다시 도 11을 참조하면, 매칭 후보 경계점 추출 단계(S133)에서 매칭 경계점 선택 모듈(130)은 매칭 후보 경계점을 추출할 수 있다. 보다 구체적으로, 매칭 경계점 선택 모듈(130)은 복수의 경계점(BP) 중 매칭 영역 내에 위치하는 경계점 중 적어도 하나를 매칭 후보 경계점(MCBP)으로 추출할 수 있다.Referring back to FIG. 11 , in the matching candidate boundary point extraction step S133 , the matching boundary point selection module 130 may extract a matching candidate boundary point. More specifically, the matching boundary point selection module 130 may extract at least one of the plurality of boundary points BP located in the matching area as the matching candidate boundary point MCBP.

여기서, 매칭 후보 경계점(MCBP)은 복수의 경계점(BP) 중 매칭 영역 내에 위치하고 있는 적어도 하나 이상의 경계점을 의미할 수 있다. 일 실시예에 따르면, 매칭 후보 경계점(MCBP)은 매칭 영역 내에 위치하는 복수의 경계점(BP) 중 일정 기준을 만족하는 적어도 하나 이상의 경계점을 의미할 수 있다. 예를 들어, 매칭 후보 경계점(MCBP)은 매칭 영역 내에 위치하는 복수의 경계점(BP) 중 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 임계 값 이상인 경계점을 의미할 수 있다.Here, the matching candidate boundary point MCBP may mean at least one boundary point located in the matching area among the plurality of boundary points BP. According to an embodiment, the matching candidate boundary point MCBP may mean at least one boundary point satisfying a predetermined criterion among a plurality of boundary points BP located in the matching area. For example, the matching candidate boundary point MCBP may mean a boundary point in which a probability value corresponding to the boundary line between the hair and the forehead is greater than or equal to a predetermined threshold value among a plurality of boundary points BP located in the matching area.

도 13의 (a)를 참조하면, 매칭 후보 경계점(MCBP)은 단일의 제1 그룹 특징점(G1FP)에 대응하는 경계점일 수 있다. 일 실시예에 따르면, 매칭 후보 경계점(MCBP)은 하나의 제1 그룹 특징점(G1FP)에 기초하여 결정되는 두개의 점(P1, P2)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역에 위치하는 경계점일 수 있다. 여기서, 제1 지점(P1) 및 제2 지점(P2)은 매칭 영역 설정 단계(S131)에서 상술한 바와 같다. 다른 실시예에 따르면, 매칭 후보 경계점(MCBP)은 하나의 제1 그룹 특징점(G1FP)에 기초하여 결정되는 두개의 점(P1, P2)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역에 위치하는 경계점 중 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 임계 값 이상인 경계점일 수 있다.Referring to FIG. 13A , a matching candidate boundary point MCBP may be a boundary point corresponding to a single first group feature point G1FP. According to an embodiment, the matching candidate boundary point MCBP extends from two points P1 and P2 determined based on one first group feature point G1FP in the direction of the first axis AX1 on the head image, respectively. It may be a boundary point located in a region between the first straight line L1 and the second straight line L2. Here, the first point P1 and the second point P2 are the same as described above in the matching area setting step S131. According to another embodiment, the matching candidate boundary point MCBP extends from two points P1 and P2 determined based on one first group feature point G1FP in the direction of the first axis AX1 on the head image, respectively. Among the boundary points located in the region between the first straight line L1 and the second straight line L2, the probability value corresponding to the boundary line between the hair and the forehead may be a boundary point having a predetermined threshold value or more.

도 14의 (a)를 참조하면, 매칭 후보 경계점(MCBP)은 복수의 제1 그룹 특징점(G1FP)에 대응하는 경계점일 수 있다. 일 실시예에 따르면, 매칭 후보 경계점(MCBP)은 복수의 제1 그룹 특징점(G1FP)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역에 위치하는 경계점일 수 있다. 이 경우, 상기 복수의 제1 그룹 특징점(G1FP)은 제1 그룹의 특징점(G1FP)들 중에서 서로 이웃하는 2개의 특징점(FP)을 의미할 수 있다. 다른 실시예에 따르면, 매칭 후보 경계점(MCBP)은 복수의 제1 그룹 특징점(G1FP)에서 머리 이미지 상의 제1 축(AX1) 방향으로 각각 연장 형성된 제1 직선(L1) 및 제2 직선(L2) 사이의 영역에 위치하는 경계점 중 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 임계 값 이상인 경계점일 수 있다.Referring to FIG. 14A , the matching candidate boundary point MCBP may be a boundary point corresponding to the plurality of first group feature points G1FP. According to an embodiment, the matching candidate boundary point MCBP is a first straight line L1 and a second straight line L2 respectively extending from the plurality of first group feature points G1FP in the direction of the first axis AX1 on the head image. It may be a boundary point located in the region between the two. In this case, the plurality of first group feature points G1FP may mean two feature points FP adjacent to each other among the first group feature points G1FP. According to another embodiment, the matching candidate boundary point MCBP is a first straight line L1 and a second straight line L2 that are respectively extended from the plurality of first group feature points G1FP in the direction of the first axis AX1 on the head image. Among the boundary points located in the region between the boundary points, the probability value corresponding to the boundary line between the hair and the forehead may be a boundary point greater than or equal to a predetermined threshold value.

다시 도 11을 참조하면, 매칭 경계점 선택 단계(S135)에서 매칭 경계점 선택 모듈(130)은 매칭 후보 경계점들 중에서 특정 매칭 경계점(MBP)을 선택할 수 있다. 보다 구체적으로, 매칭 경계점 선택 모듈(130)은 제1 그룹의 특징점(G1FP)에 대응되는 매칭 경계점(MBP)을 선택할 수 있다. 또는, 매칭 경계점 선택 모듈(130)은 상술한 매칭 영역 내에 포함되어 있는 매칭 후보 경계점(MCBP) 중에서 일정 기준을 만족하는 적어도 하나 이상의 매칭 경계점(MBP)을 선택할 수 있다. Referring back to FIG. 11 , in the matching boundary point selection step S135 , the matching boundary point selection module 130 may select a specific matching boundary point (MBP) from among the matching candidate boundary points. More specifically, the matching boundary point selection module 130 may select the matching boundary point MBP corresponding to the feature point G1FP of the first group. Alternatively, the matching boundary point selection module 130 may select at least one matching boundary point MBP that satisfies a predetermined criterion from among the matching candidate boundary points MCBP included in the above-described matching region.

매칭 경계점 선택 모듈(130)은 매칭 후보 경계점(MCBP) 중 대표 값이 미리 정해진 기준을 만족하는 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 이 경우, 상기 대표 값은 해당 경계점이 머리카락과 이마의 경계선에 대응될 확률 값, 해당 경계점의 머리 이미지 상의 제1 축(AX1) 및/또는 제2 축(AX2) 좌표 값 등을 포함할 수 있다.The matching boundary point selection module 130 may select a boundary point whose representative value satisfies a predetermined criterion among the matching candidate boundary points MCBP as the matching boundary point MBP. In this case, the representative value may include a probability value that the corresponding boundary point corresponds to the boundary line between the hair and the forehead, the first axis AX1 and/or the second axis AX2 coordinate value on the head image of the corresponding boundary point, etc. .

일 실시예에 따르면, 매칭 경계점 선택 모듈(130)은 매칭 영역 내의 매칭 후보 경계점(MCBP) 중 머리카락과 이마의 경계선에 대응될 확률 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 도 13의 (b) 및 도 14의 (b)를 참조하면, 매칭 경계점 선택 모듈(130)은 각각의 도면에 도시된 매칭 후보 경계점(MCBP) 중에서 머리카락과 이마의 경계선에 대응될 확률 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다.According to an embodiment, the matching boundary point selection module 130 may select a boundary point having the highest probability value corresponding to the hair and forehead boundary line among the matching candidate boundary points MCBP in the matching area as the matching boundary point MBP. 13 (b) and 14 (b), the matching boundary point selection module 130 has the highest probability value corresponding to the boundary line between hair and forehead among the matching candidate boundary points (MCBP) shown in each figure. A high boundary point may be selected as the matching boundary point (MBP).

다른 실시예에 따르면, 매칭 경계점 선택 모듈(130)은 매칭 영역 내의 매칭 후보 경계점(MCBP) 중 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 도 13의 (c) 및 도 14의 (c)를 참조하면, 매칭 경계점 선택 모듈(130)은 도 13의 (a) 및 도 14의 (a) 각각에 도시된 매칭 후보 경계점(MCBP) 중에서 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다.According to another embodiment, the matching boundary point selection module 130 may select a boundary point having the highest coordinate value of the first axis AX1 on the head image among the matching candidate boundary points MCBP in the matching area as the matching boundary point MBP. 13 (c) and 14 (c), the matching boundary point selection module 130 is a head among the matching candidate boundary points (MCBP) shown in FIGS. 13 (a) and 14 (a), respectively. A boundary point having the highest coordinate value of the first axis AX1 on the image may be selected as the matching boundary point MBP.

또 다른 실시예에 따르면, 매칭 경계점 선택 모듈(130)은 매칭 영역 내에서 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 기준 이상인 매칭 후보 경계점(MCBP) 중 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 도 13의 (c) 및 도 14의 (c)를 참조하면, 매칭 경계점 선택 모듈(130)은, 각각의 도면에 도시된, 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 기준 이상인 매칭 후보 경계점(MCBP) 중 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택할 수 있다.According to another embodiment, the matching boundary point selection module 130 is configured to configure the first axis AX1 on the head image among the matching candidate boundary points MCBP whose probability value corresponding to the boundary line between the hair and the forehead in the matching area is equal to or greater than a predetermined criterion. A boundary point having the highest coordinate value may be selected as a matching boundary point (MBP). 13 (c) and 14 (c), the matching boundary point selection module 130, the matching candidate shown in each figure, the probability value corresponding to the boundary line between the hair and the forehead is equal to or greater than a predetermined criterion Among the boundary points MCBP, a boundary point having the highest coordinate value of the first axis AX1 on the head image may be selected as the matching boundary point MBP.

또 다른 실시예에 따르면, 도면에는 도시되지 않았지만, 매칭 경계점 선택 모듈(130)은 매칭 영역 내의 매칭 후보 경계점(MCBP) 중 상기 매칭 영역 선택의 기준이 된 특징점(FP)의 제2 축(AX2) 좌표 값에 대응하는 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 또는, 매칭 경계점 선택 모듈(130)은 머리카락과 이마의 경계선에 대응될 확률 값이 미리 정해진 기준 이상인 매칭 후보 경계점(MCBP) 중 상기 매칭 영역 선택의 기준이 된 특징점(FP)의 제2 축(AX2) 좌표 값에 대응하는 경계점을 매칭 경계점(MBP)으로 선택할 수 있다.According to another embodiment, although not shown in the drawing, the matching boundary point selection module 130 is configured to configure the second axis AX2 of the feature point FP as a criterion for selecting the matching area among the matching candidate boundary points MCBP in the matching area. A boundary point corresponding to the coordinate value may be selected as the matching boundary point (MBP). Alternatively, the matching boundary point selection module 130 is configured to configure the second axis AX2 of the feature point FP as a criterion for selecting the matching area among the matching candidate boundary points MCBP having a probability value corresponding to the boundary line between the hair and the forehead equal to or greater than a predetermined criterion. ), a boundary point corresponding to the coordinate value may be selected as the matching boundary point (MBP).

보다 구체적으로, 매칭 경계점 선택 모듈(130)은 매칭 영역 내의 매칭 후보 경계점(MCBP) 중 상기 매칭 영역 선택의 기준이 된 단일의 제1 그룹 특징점(G1FP)의 제2 축(AX2) 좌표 값에 가장 근접한 제2 축(AX2) 좌표 값을 가지는 경계점을 매칭 경계점(MBP)으로 선택할 수 있다. 또는, 매칭 경계점 선택 모듈(130)은 매칭 영역 내의 매칭 후보 경계점(MCBP) 중 상기 매칭 영역 선택의 기준이 된 서로 이웃하는 2개의 특징점(FP)의 제2 축(AX2) 좌표 값의 중간 값과 가장 근접한 제2 축(AX2) 좌표 값을 가지는 경계점을 매칭 경계점(MBP)으로 선택할 수 있다.More specifically, the matching boundary point selection module 130 is the second axis (AX2) coordinate value of the single first group feature point (G1FP), which is the criterion for selecting the matching area, among the matching candidate boundary points (MCBP) in the matching area. A boundary point having an adjacent second axis AX2 coordinate value may be selected as the matching boundary point MBP. Alternatively, the matching boundary point selection module 130 is configured with an intermediate value of the coordinate values of the second axis AX2 of two neighboring feature points FP, which are the criteria for selecting the matching area, among the matching candidate boundary points MCBP in the matching area. A boundary point having the closest second axis AX2 coordinate value may be selected as the matching boundary point MBP.

이와 같이, 사용자 단말기는 다양한 기준에 따라 매칭 경계점(MBP)을 선택하고 이에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 전술한 실시예들에서, 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점을 매칭 경계점(MBP)으로 선택하는 경우, 머리 이미지 상에서 탈모의 진행 정도가 보다 심각한 부위에 대응되는 매칭 경계점(MBP)을 선택할 수 있게 되어, 사용자의 탈모 상태에 관해 보다 보수적으로 판단할 수 있다는 효과를 제공할 수 있다.In this way, the user terminal may select a matching boundary point (MBP) according to various criteria and determine the hair loss state of the user based thereon. In the above-described embodiments, when the boundary point having the highest first axis (AX1) coordinate value on the head image is selected as the matching boundary point (MBP), the matching boundary point ( MBP) can be selected, thereby providing the effect of more conservatively determining the user's hair loss condition.

매칭 경계점(MBP)은 상술한 바와 같이 특징점(FP)에 기초하여 선택될 수 있고, 제어부(100)는 선택된 매칭 경계점(MBP) 중 적어도 하나를 이용하여 사용자의 탈모 상태를 판단할 수 있다.The matching boundary point MBP may be selected based on the feature point FP as described above, and the controller 100 may determine the hair loss state of the user by using at least one of the selected matching boundary points MBP.

한편, 경우에 따라, 사용자의 탈모 상태를 판단하기 위해 필요한 매칭 경계점(MBP)이 누락되거나 부족한 경우가 있을 수 있다. 이 경우에는, 기 선택된 매칭 경계점(MBP) 중 적어도 하나에 기초하여 누락된 매칭 경계점의 좌표가 정해질 수 있다. 이하에서는, 기 선택된 매칭 경계점(MBP) 중 적어도 하나에 기초하여 누락된 매칭 경계점을 정의하는 방법에 대하여 설명한다.On the other hand, in some cases, the matching boundary point (MBP) required to determine the user's hair loss state may be missing or insufficient. In this case, the coordinates of the missing matching boundary points may be determined based on at least one of the pre-selected matching boundary points MBP. Hereinafter, a method of defining a missing matching boundary point based on at least one of preselected matching boundary points (MBP) will be described.

추가적인 실시예에 따르면, 매칭 경계점(MBP) 중 적어도 일부는 기 선택된 매칭 경계점(MBP)에 기초하여 정의될 수 있다. 예를 들어, 머리 이미지의 중앙을 기준으로 이마의 우측 영역에 누락된 매칭 경계점이 있는 경우, 기 선택된 매칭 경계점(MBP) 중 이마의 좌측 영역에 대응하는 매칭 경계점(MBP)에 기초하여 상기 누락된 매칭 경계점이 정의될 수 있다.According to an additional embodiment, at least some of the matching boundary points MBP may be defined based on a pre-selected matching boundary point MBP. For example, if there is a missing matching boundary point in the right region of the forehead based on the center of the head image, the missing matching boundary point (MBP) corresponding to the left region of the forehead among the previously selected matching boundary points (MBP) Matching boundary points may be defined.

도 12를 참조하면, 머리 이미지의 중앙을 기준으로 이마의 우측 영역에서 제8 매칭 경계점(MBP8)이 누락되었다고 가정하면, 기 선택된 매칭 경계점(MBP) 중 이마의 좌측 영역에 대응하는 제4 매칭 경계점(MBP4)에 기초하여 상기 누락된 제8 매칭 경계점(MBP8)이 정의될 수 있다. 다시 말해, 제8 매칭 경계점(MBP8)은 제4 매칭 경계점(MBP4)의 좌표에 의해 정의될 수 있다. 보다 구체적으로, 제8 매칭 경계점(MBP8)의 제1 축(AX1) 좌표는 제4 매칭 경계점(MBP4)의 제1 축(AX1) 좌표로 정의될 수 있다. 또한, 제8 매칭 경계점(MBP8)의 제2 축(AX2) 좌표는 제7 특징점(FP7)의 제2 축(AX2) 좌표에 대응할 수 있다. 이때, 제7 특징점(FP7)은 제4 매칭 경계점(MBP4) 선택의 기초가 된 제4 특징점(FP4)에 대응하는 특징점일 수 있다. Referring to FIG. 12 , assuming that the eighth matching boundary point MBP8 is omitted from the right region of the forehead based on the center of the head image, the fourth matching boundary point corresponding to the left region of the forehead among the preselected matching boundary points MBP The missing eighth matching boundary point MBP8 may be defined based on (MBP4). In other words, the eighth matching boundary point MBP8 may be defined by the coordinates of the fourth matching boundary point MBP4. More specifically, the coordinates of the first axis AX1 of the eighth matching boundary point MBP8 may be defined as the coordinates of the first axis AX1 of the fourth matching boundary point MBP4. Also, the coordinates of the second axis AX2 of the eighth matching boundary point MBP8 may correspond to the coordinates of the second axis AX2 of the seventh feature point FP7. In this case, the seventh feature point FP7 may be a feature point corresponding to the fourth feature point FP4 as a basis for selecting the fourth matching boundary point MBP4 .

한편, 누락된 매칭 경계점이 머리 이미지의 중앙을 기준으로 이마의 우측 영역에 대응하는 경우에 관하여 상술하였으나, 이마의 좌측 영역에 누락된 매칭 경계점이 있는 경우에도, 상술한 방법과 마찬가지의 방법으로 기 선택된 매칭 경계점(MBP) 중 이마의 우측 영역에 대응하는 매칭 경계점(MBP)에 기초하여 상기 누락된 매칭 경계점이 정의될 수 있다.On the other hand, although the case where the missing matching boundary point corresponds to the right region of the forehead with respect to the center of the head image has been described above, even when there is a missing matching boundary point in the left region of the forehead, it is generated in the same way as in the above-described method. The missing matching boundary point may be defined based on the matching boundary point MBP corresponding to the right region of the forehead among the selected matching boundary points MBP.

다른 예로, 머리 이미지의 제2 축(AX2) 중앙에 대응하는 중앙 매칭 경계점이 누락된 경우, 상기 누락된 중앙 매칭 경계점은 기 선택된 매칭 경계점(MBP) 중 좌측 또는 우측 눈썹의 일 영역에 대응하는 매칭 경계점(MBP)에 의해 정의될 수 있다. 도 12를 참조하면, 머리카락과 이마의 경계점 중 머리 이미지의 제2 축(AX2) 중앙에 대응하는 제6 매칭 경계점(MBP6)이 누락되었다고 가정하면, 상기 제6 매칭 경계점(MBP6)의 제1 축(AX1) 좌표는 기 선택된 매칭 경계점 중 좌측 눈썹의 일 영역에 대응하는 제4 매칭 경계점(MBP4)의 제1 축(AX1) 좌표로 정해질 수 있다. 이때, 상기 좌측 또는 우측 눈썹의 일 영역에 대응하는 매칭 경계점(MBP)은 도 13을 통해 상술한 매칭 경계점(MBP)과 동일하거나 상응할 수 있다.As another example, when the central matching boundary point corresponding to the center of the second axis AX2 of the head image is missing, the missing central matching boundary point is a matching corresponding to one region of the left or right eyebrow among the pre-selected matching boundary points MBP. It may be defined by a boundary point (MBP). Referring to FIG. 12 , assuming that a sixth matching boundary point MBP6 corresponding to the center of the second axis AX2 of the head image among the boundary points between the hair and the forehead is omitted, the first axis of the sixth matching boundary point MBP6 is omitted. The coordinate (AX1) may be determined as the coordinates of the first axis AX1 of the fourth matching boundary point MBP4 corresponding to one region of the left eyebrow among the pre-selected matching boundary points. In this case, the matching boundary point MBP corresponding to one region of the left or right eyebrow may be the same as or correspond to the matching boundary point MBP described above with reference to FIG. 13 .

한편, 상기 누락된 제6 매칭 경계점(MBP6)의 제2 축(AX2) 좌표는, 좌측 눈썹의 일 영역에 대응하는 제1 특징점과 우측 눈썹의 일 영역에 대응하는 제2 특징점의 제2 축(AX2) 좌표에 기초하여 정해질 수 있다. 예를 들어, 상기 누락된 제6 매칭 경계점(MBP6)의 제2 축(AX2) 좌표는, 상기 제1 특징점의 제2 축(AX2) 좌표와 상기 제2 특징점의 제2 축(AX2) 좌표의 중간 좌표로 정해질 수 있다. 이때, 상기 좌측 눈썹의 일 영역과 우측 눈썹의 일 영역은 머리 이미지 상의 제1 축(AX1)을 기준으로 대칭될 수 있다.On the other hand, the coordinates of the second axis AX2 of the missing sixth matching boundary point MBP6 are the second axis ( AX2) may be determined based on the coordinates. For example, the second axis AX2 coordinates of the missing sixth matching boundary point MBP6 are the second axis AX2 coordinates of the first feature point and the second axis AX2 coordinates of the second feature point Intermediate coordinates may be determined. In this case, one region of the left eyebrow and one region of the right eyebrow may be symmetrical with respect to the first axis AX1 on the head image.

또 다른 예로, 매칭 경계점(MBP)의 제1 축(AX1) 좌표는 머리 이미지의 중앙에서 제1 축(AX1)을 기준으로 오차 범위 내에서 상호 대칭하는 또 다른 매칭 경계점(MBP)의 제1 축(AX1) 좌표에 의해 정해질 수 있다. 보다 구체적으로, 제1 매칭 경계점과 제2 매칭 경계점이 머리 이미지의 중앙에서 제1 축(AX1)을 기준으로 오차 범위 내에서 서로 대칭하고 있다고 가정하면, 상기 제1 매칭 경계점의 제1 축(AX1) 좌표가 상기 제2 매칭 경계점의 제1 축(AX1) 좌표보다 클 경우, 상기 제2 매칭 경계점의 제1 축(AX1) 좌표는 상기 제1 매칭 경계점의 제1 축(AX1) 좌표로 정해질 수 있다. 도 12를 참조하면, 제4 매칭 경계점(MBP4)과 제8 매칭 경계점(MBP8)은 머리 이미지 상의 제1 축(AX1)을 기준으로 오차 범위 내에서 서로 대칭한다. 이 경우, 상기 제4 매칭 경계점(MBP4)의 제1 축(AX1) 좌표가 제8 매칭 경계점(MBP8)의 제1 축(AX1) 좌표보다 큰 경우, 상기 제8 매칭 경계점(MBP8)의 제1 축(AX1) 좌표는 상기 제4 매칭 경계점(MBP4)의 제1 축(AX1) 좌표로 정해질 수 있다.As another example, the coordinates of the first axis AX1 of the matching boundary point MBP are symmetrical with respect to the first axis AX1 in the center of the head image within the error range of the first axis of another matching boundary point MBP. It can be determined by the (AX1) coordinates. More specifically, assuming that the first matching boundary point and the second matching boundary point are symmetric with each other within an error range with respect to the first axis AX1 at the center of the head image, the first axis AX1 of the first matching boundary point ) coordinates are greater than the first axis AX1 coordinates of the second matching boundary point, the first axis AX1 coordinates of the second matching boundary points are determined as the first axis AX1 coordinates of the first matching boundary points. can Referring to FIG. 12 , the fourth matching boundary point MBP4 and the eighth matching boundary point MBP8 are symmetric to each other within an error range with respect to the first axis AX1 on the head image. In this case, when the coordinates of the first axis AX1 of the fourth matching boundary point MBP4 are greater than the coordinates of the first axis AX1 of the eighth matching boundary point MBP8, the first coordinates of the eighth matching boundary point MBP8 The coordinates of the axis AX1 may be determined as the coordinates of the first axis AX1 of the fourth matching boundary point MBP4.

지금까지 사용자의 머리 이미지로부터 경계점, 특징점 및 매칭 경계점을 추출하는 다양한 실시예들을 설명하였다. 본 출원의 실시예에 따르면, 사용자 단말기는 추출된 경계점, 특징점 및/또는 매칭 경계점을 기초로 사용자의 탈모 상태 정보를 제공할 수 있다.So far, various embodiments of extracting boundary points, feature points, and matching boundary points from a user's head image have been described. According to an embodiment of the present application, the user terminal may provide the user's hair loss state information based on the extracted boundary point, feature point, and/or matching boundary point.

도 15는 일 실시예에 따른 탈모 상태 정보 제공 프로세스를 설명하기 위한 도면이다.15 is a view for explaining a process for providing hair loss state information according to an embodiment.

도 15를 참조하면, 일 실시예에 따른 탈모 상태 정보 제공 프로세스는 사용자의 머리 이미지를 획득하는 단계(S100), 획득된 머리 이미지로부터 경계점 및 특징점을 추출하는 단계(S110, S120), 머리 이미지의 매칭 경계점을 선택하는 단계(S130), 머리 이미지의 제1 산출 값 및 제2 산출 값을 획득하는 단계(S140, S150), 제1 산출 값 및 제2 산출 값에 기초하여 사용자 탈모 상태를 판단하는 단계(S160) 및 사용자 탈모 상태 판단 결과에 기초하여 사용자에게 탈모 상태 정보를 제공하는 단계(S170)을 포함할 수 있다. 한편, 도 15의 순서도는 예시적인 것이며, 도 15에 도시된 각각의 단계의 일부 순서는 변경될 수 있다.15, the hair loss state information providing process according to an embodiment includes the steps of obtaining a user's head image (S100), extracting boundary points and feature points from the obtained head image (S110, S120), of the head image Selecting a matching boundary point (S130), obtaining a first calculated value and a second calculated value of the head image (S140, S150), determining the user's hair loss state based on the first calculated value and the second calculated value It may include a step (S170) of providing hair loss state information to the user based on the step (S160) and the user's hair loss state determination result. Meanwhile, the flowchart of FIG. 15 is exemplary, and some orders of each step shown in FIG. 15 may be changed.

도 15를 참조하면, 도 2의 제어부(100)는 경계점 추출 단계(S110)를 통해 머리 이미지로부터 경계점(BP)을 추출할 수 있다. 구체적으로, 제어부(100)는 이미지 촬영부(200)로 부터 사용자의 머리 이미지를 획득하고, 이에 기초하여 경계점(BP)을 추출할 수 있다. 또한, 제어부(100)는 특징점 추출 단계(S120)를 통해 머리 이미지로부터 특징점(FP)을 추출할 수 있다. 구체적으로, 제어부(100)는 이미지 촬영부(200)로부터 사용자의 머리 이미지를 획득하고, 이에 기초하여 특징점(FP)을 추출할 수 있다.Referring to FIG. 15 , the controller 100 of FIG. 2 may extract a boundary point BP from the head image through the boundary point extraction step S110 . Specifically, the control unit 100 may obtain the user's head image from the image capturing unit 200, and extract the boundary point BP based thereon. Also, the control unit 100 may extract the feature point FP from the head image through the feature point extraction step S120 . Specifically, the controller 100 may obtain a head image of the user from the image capturing unit 200 , and extract the feature point FP based thereon.

또한, 제어부(100)는 매칭 경계점 선택 단계(S130)를 통해 머리 이미지의 경계점(BP) 및 특징점(FP)에 기초하여 매칭 경계점(MBP)을 선택할 수 있다. 구체적으로, 제어부(100)는 복수의 경계점(BP) 중 특징점(FP)에 대응되는 하나 이상의 매칭 경계점(MBP)을 선택할 수 있다. 머리 이미지로부터 복수의 경계점(BP)과 복수의 특징점(FP)을 추출하는 방법 및 매칭 경계점(MBP)을 선택하는 방법에 관하여는 상술한바 있으므로 구체적인 설명은 생략하도록 한다.Also, the controller 100 may select the matching boundary point MBP based on the boundary point BP and the feature point FP of the head image through the matching boundary point selection step S130 . Specifically, the controller 100 may select one or more matching boundary points MBP corresponding to the feature point FP among the plurality of boundary points BP. Since the method of extracting the plurality of boundary points BP and the plurality of feature points FP and the method of selecting the matching boundary point MBP from the head image has been described above, a detailed description thereof will be omitted.

일 실시예에 따르면, 도 2의 제어부(100)는 머리 이미지로부터 기 설정된 기준에 따른 산출 값들을 산출하고, 이에 기초하여 사용자의 탈모 상태를 진단할 수 있다. 도 15의 제1 산출 값을 획득하는 단계(S140)에서, 제어부(100)는 머리 이미지에 대한 제1 산출 값을 획득할 수 있다. 일 실시예에 따라, 제1 산출 값 획득은 제어부(100)의 제1 산출 값 획득 모듈(140)에 의해 수행될 수 있다. 제1 산출 값 획득 모듈(140)은 특징점(FP) 및 매칭 경계점(MBP)에 기초하여 제1 산출 값을 획득할 수 있다. 여기서, 제1 산출 값은 상술한 상안면부와 관련된 산출 값을 의미할 수 있다.According to an embodiment, the controller 100 of FIG. 2 may calculate calculated values according to a preset standard from the head image, and diagnose the user's hair loss state based on the calculated values. In the step of obtaining the first calculated value of FIG. 15 ( S140 ), the controller 100 may obtain the first calculated value for the head image. According to an embodiment, obtaining the first calculated value may be performed by the first calculated value obtaining module 140 of the controller 100 . The first calculated value obtaining module 140 may obtain a first calculated value based on the feature point FP and the matching boundary point MBP. Here, the first calculated value may mean a calculated value related to the above-described upper face part.

예를 들어, 제1 산출 값은 특징점(FP) 및 매칭 경계점(MBP) 사이의 거리에 기초하여 결정될 수 있다. 예컨대, 제1 산출 값은 제1 축(AX1)을 기준으로 정해지는 특징점(FP)과 매칭 경계점(MBP) 사이의 거리 또는 제2 축(AX2)을 기준으로 정해지는 특징점(FP)과 매칭 경계점(MBP) 사이의 거리에 기초하여 결정될 수 있다. 다시 말해, 제1 산출 값은 특징점(FP)의 제1 축(AX1) 좌표와 상기 특징점에 대응하는 매칭 경계점(MBP)의 제1 축(AX1) 좌표 사이의 거리 값을 의미할 수 있다.For example, the first calculated value may be determined based on a distance between the feature point FP and the matching boundary point MBP. For example, the first calculated value may be a distance between the feature point FP and the matching boundary point MBP determined based on the first axis AX1 or the feature point FP determined based on the second axis AX2 and the matching boundary point (MBP) may be determined based on the distance between them. In other words, the first calculated value may mean a distance value between the coordinates of the first axis AX1 of the feature point FP and the coordinates of the first axis AX1 of the matching boundary point MBP corresponding to the feature point.

다른 예로, 제1 산출 값은 적어도 하나 이상의 특징점(FP) 및 적어도 하나 이상의 매칭 경계점(MBP)에 의해 산출되는 면적에 기초하여 결정될 수 있다. 예컨대, 제1 산출 값은 복수의 특징점(FP) 및 상기 복수의 특징점(FP) 각각에 대응되는 복수의 매칭 경계점(MBP)에 의해 산출되는 면적 값을 의미할 수 있다.As another example, the first calculated value may be determined based on an area calculated by at least one feature point FP and at least one matching boundary point MBP. For example, the first calculated value may mean an area value calculated by a plurality of feature points FP and a plurality of matching boundary points MBP corresponding to each of the plurality of feature points FP.

도 16은 머리 이미지에 기초하여 제1 산출 값 및 제2 산출 값을 획득하는 방법을 예시적으로 설명하기 위한 도면이다. 이하에서는, 도 16을 참조하여, 제1 산출 값을 획득하는 방법에 관하여 상세히 설명한다.16 is a diagram for exemplarily explaining a method of obtaining a first calculated value and a second calculated value based on a head image. Hereinafter, a method of obtaining the first calculated value will be described in detail with reference to FIG. 16 .

도 16을 참조하면, 제1 산출 값은 머리 이미지 상의 제1 축(AX1)을 기준으로 제1 그룹의 특징점(G1FP)과 이에 대응하는 매칭 경계점(MBP) 사이의 거리에 기초하여 정해지는 상안면부 산출 값을 포함할 수 있다. 이때, 상안면부 산출 값은 상안면부의 길이(d1)를 포함할 수 있고, 또는 상안면부의 면적 값을 포함할 수 있다. 다시 말해, 제1 산출 값은 얼굴의 기 설정된 영역을 기준으로 결정된 상안면부의 길이(d1)를 의미할 수 있다. 이때, 도 16의 (a)는 얼굴의 센터 영역을 기준으로 구해지는 상안면부의 길이(d1)를 예시적으로 나타낸 도면이다.Referring to FIG. 16 , the first calculated value is determined based on the distance between the first group feature point G1FP and the corresponding matching boundary point MBP with respect to the first axis AX1 on the head image. It can include output values. In this case, the calculated value of the upper facial part may include the length d1 of the upper facial part, or may include an area value of the upper facial part. In other words, the first calculated value may mean the length d1 of the upper face part determined based on a preset area of the face. At this time, FIG. 16 (a) is a view exemplarily showing the length d1 of the upper face part obtained based on the center area of the face.

도 16의 (a)를 참조하면, 제1 산출 값은 얼굴의 센터 영역을 기준으로 구해지는 상안면부의 길이(d1)를 의미할 수 있다. 여기서, 얼굴의 센터 영역을 기준으로 구해지는 상안면부의 길이(d1)란, 상안면부의 중앙에서의 제1 축(AX1) 방향의 길이를 의미할 수 있다. 이때, 상안면부의 길이(d1)는 머리 이미지 상의 제2 축(AX2)을 기준으로 한 얼굴의 중앙 부분에 기초하여 결정될 수 있다. 일 실시예에 따르면, 제1 산출 값은 단일의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택된 단일의 매칭 경계점(MBP)에 기초하여 산출될 수 있다. 다른 실시예에 따르면, 제1 산출 값은 복수의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택된 단일의 매칭 경계점(MBP)에 기초하여 산출될 수 있다. Referring to (a) of FIG. 16 , the first calculated value may mean the length d1 of the upper face part obtained based on the center area of the face. Here, the length d1 of the upper face part obtained based on the center region of the face may mean a length in the direction of the first axis AX1 from the center of the upper face part. In this case, the length d1 of the upper face part may be determined based on the central part of the face based on the second axis AX2 on the head image. According to an embodiment, the first calculated value may be calculated based on a single first group feature point G1FP and a single matching boundary point MBP selected based thereon. According to another embodiment, the first calculated value may be calculated based on the plurality of first group feature points G1FP and a single matching boundary point MBP selected based thereon.

예시적으로, 단일의 매칭 경계점(MBP)은 좌측 눈썹의 일 영역에 대응하는 제1 특징점과 우측 눈썹의 일 영역에 대응하는 제2 특징점에 기초하여 선택될 수 있다. 이때, 상기 좌측 눈썹의 일 영역과 우측 눈썹의 일 영역은 머리 이미지 상의 제1 축(AX1)을 기준으로 대칭될 수 있다. 보다 구체적인 예로, 매칭 경계점(MBP)은 제1 그룹의 특징점(G1FP) 중 좌측 눈썹의 가장 오른쪽에 위치하는 특징점과 우측 눈썹의 가장 왼쪽에 위치하는 특징점의 중간 지점에 대응하도록 선택될 수 있다. 이 경우, 제1 산출 값(d1)은 머리 이미지 상의 제1 축(AX1)을 기준으로 상기 중간 지점의 좌표 값과 상기 매칭 경계점(MBP)의 좌표 값의 차이에 의해 결정될 수 있다. 즉, 제1 산출 값(d1)은 상기 중간 지점의 제1 축(AX1) 좌표 값과 상기 매칭 경계점(MBP)의 제1 축(AX1) 좌표 값의 차이에 의해 결정될 수 있다.For example, the single matching boundary point MBP may be selected based on a first feature point corresponding to one region of the left eyebrow and a second feature point corresponding to one region of the right eyebrow. In this case, one region of the left eyebrow and one region of the right eyebrow may be symmetrical with respect to the first axis AX1 on the head image. As a more specific example, the matching boundary point MBP may be selected to correspond to a midpoint between the rightmost feature point of the left eyebrow and the leftmost feature point of the right eyebrow among the feature points G1FP of the first group. In this case, the first calculated value d1 may be determined by a difference between the coordinate value of the intermediate point and the coordinate value of the matching boundary point MBP with respect to the first axis AX1 on the head image. That is, the first calculated value d1 may be determined by a difference between the coordinate value of the first axis AX1 of the intermediate point and the coordinate value of the first axis AX1 of the matching boundary point MBP.

다른 실시예에 따르면, 제1 산출 값(d1)은 복수의 제1 그룹의 특징점(G1FP) 및 복수의 제1 그룹의 특징점(G1FP) 각각에 기초하여 선택된 복수의 매칭 경계점(MBP)에 기초하여 산출될 수 있다.According to another embodiment, the first calculated value d1 is based on a plurality of matching boundary points MBP selected based on each of the plurality of first group feature points G1FP and the plurality of first group feature points G1FP. can be calculated.

도 16의 (b)는 눈썹 위 영역을 기준으로 구해지는 상안면부의 길이(d1)를 예시적으로 나타낸 도면이다. 도 16의 (b)를 참조하면, 제1 산출 값(d1)은 눈썹 위 영역을 기준으로 구해지는 상안면부의 길이(d1)를 의미할 수 있다. 이때, 제1 산출 값은 적어도 하나 이상의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택되는 적어도 하나 이상의 매칭 경계점(MBP)에 의해 산출될 수 있으며, 이에 관하여는 도 16의 (a)에서 설명한바와 동일하거나 상응하므로 중복되는 설명은 생략하도록 한다.16 (b) is a view exemplarily showing the length d1 of the upper face part obtained based on the area above the eyebrows. Referring to FIG. 16B , the first calculated value d1 may mean the length d1 of the upper face part obtained based on the area above the eyebrows. In this case, the first calculated value may be calculated by at least one or more first group feature points G1FP and at least one matching boundary point MBP selected based thereon. Since it is the same as or corresponding to the above, the overlapping description will be omitted.

일 예로, 제1 산출 값(d1)은 좌측 또는 우측 눈썹의 일 영역에 위치하는 제1 그룹의 특징점(G1FP) 및 이에 대응하여 선택되는 매칭 경계점(MBP)에 기초하여 산출될 수 있다. 보다 구체적인 예로, 제1 산출 값(d1)은 머리 이미지 상의 제1 축(AX1)을 기준으로 상기 제1 그룹의 특징점(G1FP)의 좌표 값과 상기 매칭 경계점(MBP)의 좌표 값의 차이에 의해 결정될 수 있다. 즉, 제1 산출 값(d1)은 상기 제1 그룹의 특징점(G1FP)의 제1 축(AX1) 좌표 값과 상기 매칭 경계점(MBP)의 제1 축(AX1) 좌표 값의 차이에 의해 결정될 수 있다.For example, the first calculated value d1 may be calculated based on the first group of feature points G1FP located in one region of the left or right eyebrows and the matching boundary point MBP selected corresponding thereto. As a more specific example, the first calculated value d1 is determined by the difference between the coordinate values of the feature points G1FP of the first group and the coordinate values of the matching boundary points MBP based on the first axis AX1 on the head image. can be decided. That is, the first calculated value d1 may be determined by the difference between the first axis AX1 coordinate value of the feature point G1FP of the first group and the first axis AX1 coordinate value of the matching boundary point MBP. have.

한편, 도 16의 (a) 및 (b)를 통하여 제1 산출 값(d1)이 길이를 나타내는 경우에 대한 다양한 실시예를 설명하였으나, 이에 한정되는 것은 아니며, 제1 산출 값(d1)은 적어도 하나 이상의 특징점(FP) 및 적어도 하나 이상의 매칭 경계점(MBP)에 의해 산출되는 면적 또는 폭과 관련된 값일 수 있다. 예를 들어, 도면에는 도시되지 않았지만, 제1 산출 값은 적어도 하나 이상의 특징점(FP) 및 적어도 하나 이상의 매칭 경계점(MBP)에 의해 산출되는 면적 값일 수 있다. 구체적으로, 제1 산출 값은 적어도 하나 이상의 특징점(FP)의 좌표 및 적어도 하나 이상의 매칭 경계점(MBP)의 좌표를 이용하여 산출되는 상안면부의 면적 값을 의미할 수 있다. 다른 예로, 도면에는 도시되지 않았지만, 제1 산출 값은 적어도 하나 이상의 특징점(FP) 및 적어도 하나 이상의 매칭 경계점(MBP)에 의해 산출되는 폭 값일 수 있다. 구체적으로, 제1 산출 값은 적어도 하나 이상의 특징점(FP)의 제2 축(AX2) 좌표 및 적어도 하나 이상의 매칭 경계점(MBP)의 제2 축(AX2)의 좌표에 의해 결정되는 폭, 예컨대 머리 이미지 상의 제2 축(AX2) 방향의 거리 값을 의미할 수 있다.Meanwhile, various embodiments of the case in which the first calculated value d1 represents the length have been described through (a) and (b) of FIGS. 16 , but the present invention is not limited thereto, and the first calculated value d1 is at least It may be a value related to an area or a width calculated by at least one feature point FP and at least one matching boundary point MBP. For example, although not shown in the drawings, the first calculated value may be an area value calculated by at least one feature point FP and at least one matching boundary point MBP. In detail, the first calculated value may mean an area value of the upper facial part calculated using coordinates of at least one feature point FP and coordinates of at least one matching boundary point MBP. As another example, although not shown in the drawings, the first calculated value may be a width value calculated by at least one feature point FP and at least one matching boundary point MBP. Specifically, the first calculated value is a width determined by the coordinates of the second axis AX2 of at least one feature point FP and the coordinates of the second axis AX2 of at least one matching boundary point MBP, for example, a head image. It may mean a distance value in the direction of the second axis AX2 of the image.

도 15의 제2 산출 값을 획득하는 단계(S150)에서, 제어부(100)는 머리 이미지에 대한 제2 산출 값을 획득할 수 있다. 일 실시예에 따라, 제2 산출 값 획득은 제어부(100)의 제2 산출 값 획득 모듈(150)에 의해 수행될 수 있다. 제2 산출 값 획득 모듈(140)은 특징점(FP)에 기초하여 제2 산출 값을 획득할 수 있다. 여기서, 제2 산출 값은 상술한 중하안면부와 관련된 산출 값을 의미할 수 있다.In the step of obtaining the second calculated value of FIG. 15 ( S150 ), the controller 100 may obtain the second calculated value for the head image. According to an embodiment, obtaining the second calculated value may be performed by the second calculated value obtaining module 150 of the controller 100 . The second calculated value obtaining module 140 may obtain a second calculated value based on the feature point FP. Here, the second calculated value may mean a calculated value related to the above-described middle and lower face part.

예를 들어, 제2 산출 값은 복수의 특징점(FP) 사이의 거리에 기초하여 결정될 수 있다. 또는, 제2 산출 값은 제1 그룹의 특징점(G1FP)과 제2 그룹의 특징점(G2FP) 사이의 거리에 기초하여 결정될 수 있다. 예컨대, 제2 산출 값은 제1 축(AX1)을 기준으로 정해지는 제1 그룹의 특징점(G1FP)과 제2 그룹의 특징점(G2FP) 사이의 거리 또는 제2 축(AX2)을 기준으로 정해지는 제1 그룹의 특징점(G1FP)과 제2 그룹의 특징점(G2FP) 사이의 거리에 기초하여 결정될 수 있다. 보다 구체적인 예로, 제2 산출 값은 제1 그룹의 특징점(G1FP)의 제1 축(AX1) 좌표와 상기 제1 그룹의 특징점(G1FP)에 대응하는 제2 그룹의 특징점(G2FP)의 제1 축(AX1) 좌표 사이의 거리 값을 의미할 수 있다.For example, the second calculated value may be determined based on a distance between the plurality of feature points FP. Alternatively, the second calculated value may be determined based on a distance between the feature points G1FP of the first group and the feature points G2FP of the second group. For example, the second calculated value is a distance between the feature points G1FP of the first group and the feature points G2FP of the second group determined based on the first axis AX1 or determined based on the second axis AX2 It may be determined based on a distance between the feature points of the first group G1FP and the feature points of the second group G2FP. As a more specific example, the second calculated value includes the first axis AX1 coordinates of the first group feature point G1FP and the first axis of the second group feature point G2FP corresponding to the first group feature point G1FP. (AX1) may mean a distance value between coordinates.

다른 예로, 제2 산출 값은 적어도 복수의 특징점(FP)에 의해 산출되는 면적에 기초하여 결정될 수 있다. 예컨대, 제2 산출 값은 복수의 제1 그룹의 특징점(G1FP) 및 상기 복수의 제1 그룹의 특징점(G1FP) 각각에 대응되는 복수의 제2 그룹의 특징점(G2FP)에 의해 산출되는 면적 값을 의미할 수 있다.As another example, the second calculated value may be determined based on an area calculated by at least the plurality of feature points FP. For example, the second calculated value is an area value calculated by the plurality of first group feature points G1FP and the plurality of second group feature points G2FP corresponding to each of the plurality of first group feature points G1FP. can mean

이하에서는, 도 16을 참조하여, 제2 산출 값을 획득하는 방법에 관하여 상세히 설명한다. 도 16을 참조하면, 제2 산출 값은 머리 이미지 상의 제1 축(AX1)을 기준으로 제1 그룹의 특징점(G1FP)과 이에 대응하는 제2 그룹의 특징점(G2FP) 사이의 거리에 기초하여 정해지는 중하안면부 산출 값을 포함할 수 있다. 이때, 중하안면부 산출 값은 중하안면부의 길이(d2)를 포함할 수 있고, 또는 중하안면부의 면적 값을 포함할 수 있다.Hereinafter, a method of obtaining the second calculated value will be described in detail with reference to FIG. 16 . Referring to FIG. 16 , the second calculated value is determined based on the distance between the feature point G1FP of the first group and the feature point G2FP of the second group corresponding thereto with respect to the first axis AX1 on the head image. It may include the calculated value of the mid-lower facial region. In this case, the calculated value of the mid-lower facial part may include the length d2 of the mid-lower facial part, or may include an area value of the mid-lower facial part.

도 16의 (a)를 참조하면, 제2 산출 값은 얼굴의 센터 영역을 기준으로 구해지는 중하안면부의 길이(d2)를 의미할 수 있다. 여기서, 얼굴의 센터 영역을 기준으로 구해지는 중하안면부의 길이(d2)란, 중하안면부의 중앙에서의 제1 축 방향의 길이를 의미할 수 있다. 이때, 중하안면부의 길이(d2)는 머리 이미지 상의 제2 축(AX2)을 기준으로한 얼굴의 중앙 부분에 기초하여 결정될 수 있다.Referring to (a) of FIG. 16 , the second calculated value may mean the length d2 of the middle and lower face part obtained based on the center region of the face. Here, the length d2 of the mid-lower facial part obtained based on the center region of the face may mean a length in the first axial direction from the center of the mid-lower facial part. In this case, the length d2 of the middle and lower face portion may be determined based on the central portion of the face based on the second axis AX2 on the head image.

일 실시예에 따르면, 제2 산출 값은 단일의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택된 단일의 제2 그룹의 특징점(G2FP)에 기초하여 산출될 수 있다. 또는, 제2 산출 값은 단일의 제2 그룹의 특징점(G2FP) 및 이에 기초하여 선택된 단일의 제1 그룹의 특징점(G1FP)에 기초하여 산출될 수 있다.According to an embodiment, the second calculated value may be calculated based on a single first group feature point G1FP and a single second group feature point G2FP selected based thereon. Alternatively, the second calculated value may be calculated based on a single second group feature point G2FP and a single first group feature point G1FP selected based thereon.

다른 실시예에 따르면, 제2 산출 값은 복수의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택된 단일의 제2 그룹의 특징점(G2FP)에 기초하여 산출될 수 있다. 또는, 제2 산출 값은 복수의 제2 그룹의 특징점(G2FP) 및 이에 기초하여 선택된 단일의 제1 그룹의 특징점(G1FP)에 기초하여 산출될 수 있다.According to another embodiment, the second calculated value may be calculated based on the plurality of first group feature points G1FP and a single second group feature point G2FP selected based thereon. Alternatively, the second calculated value may be calculated based on the plurality of second group feature points G2FP and a single first group feature point G1FP selected based thereon.

예시적으로, 제2 그룹의 특징점(G2FP)은 좌측 눈썹의 일 영역에 대응하는 제1 그룹의 특징점(G1FP)과 우측 눈썹의 일 영역에 대응하는 제1 그룹의 특징점(G1FP)에 기초하여 선택될 수 있다. 이때, 상기 좌측 눈썹의 일 영역과 우측 눈썹의 일 영역은 머리 이미지 상의 제1 축(AX1)을 기준으로 대칭될 수 있다. 보다 구체적인 예로, 제2 그룹의 특징점(G2FP)은 제1 그룹의 특징점(G1FP) 중 좌측 눈썹의 가장 오른쪽에 위치하는 특징점과 우측 눈썹의 가장 왼쪽에 위치하는 특징점의 중간 지점에 대응하도록 선택될 수 있다. 이 경우, 제2 산출 값(d2)은 머리 이미지 상의 제1 축(AX1)을 기준으로 상기 중간 지점의 좌표 값과 상기 제2 그룹의 특징점(G2FP)의 좌표 값의 차이에 의해 결정될 수 있다. 즉, 제2 산출 값(d2)은 상기 중간 지점의 제1 축(AX1) 좌표 값과 상기 제2 그룹의 특징점(G2FP)의 제1 축(AX1) 좌표 값의 차이에 의해 결정될 수 있다.Exemplarily, the feature point G2FP of the second group is selected based on the feature point G1FP of the first group corresponding to one region of the left eyebrow and the feature point G1FP of the first group corresponding to one region of the right eyebrow can be In this case, one region of the left eyebrow and one region of the right eyebrow may be symmetrical with respect to the first axis AX1 on the head image. As a more specific example, the feature point G2FP of the second group may be selected to correspond to a midpoint between the feature point positioned at the rightmost side of the left eyebrow and the feature point positioned on the leftmost side of the right eyebrow among the feature points G1FP of the first group. have. In this case, the second calculated value d2 may be determined by a difference between the coordinate value of the intermediate point and the coordinate value of the feature point G2FP of the second group based on the first axis AX1 on the head image. That is, the second calculated value d2 may be determined by a difference between the coordinate value of the first axis AX1 of the intermediate point and the coordinate value of the first axis AX1 of the feature point G2FP of the second group.

다른 실시예에 따르면, 제2 산출 값(d2)은 복수의 제1 그룹의 특징점(G1FP) 및 복수의 제1 그룹의 특징점(G1FP) 각각에 기초하여 선택된 복수의 제2 그룹의 특징점(G2FP)에 기초하여 산출될 수 있다.According to another embodiment, the second calculated value d2 is a plurality of second group feature points G2FP selected based on each of the plurality of first group feature points G1FP and the plurality of first group feature points G1FP. can be calculated based on

도 16의 (b)는 눈썹 아래 영역을 기준으로 구해지는 상안면부의 길이(d2)를 예시적으로 나타낸 도면이다. 도 16의 (b)를 참조하면, 제2 산출 값(d2)은 눈썹 아래 영역을 기준으로 구해지는 중하안면부의 길이(d2)를 의미할 수 있다. 이때, 제2 산출 값은 적어도 하나 이상의 제1 그룹의 특징점(G1FP) 및 이에 기초하여 선택되는 적어도 하나 이상의 제2 그룹의 특징점(G2FP)에 의해 산출될 수 있으며, 이에 관하여는 도 16의 (a)에서 설명한바와 동일하거나 상응하므로 중복되는 설명은 생략하도록 한다.16 (b) is a view exemplarily showing the length d2 of the upper face part obtained based on the area under the eyebrows. Referring to (b) of FIG. 16 , the second calculated value d2 may mean the length d2 of the middle and lower face part obtained based on the area under the eyebrows. In this case, the second calculated value may be calculated by at least one or more first group feature points (G1FP) and at least one or more second group feature points (G2FP) selected based thereon. ) is the same as or corresponding to that described in the above description, so the overlapping description will be omitted.

일 예로, 제2 산출 값(d2)은 좌측 또는 우측 눈썹의 일 영역에 위치하는 제1 그룹의 특징점(G1FP) 및 이에 대응하여 선택되는 제2 그룹의 특징점(G2FP)에 기초하여 산출될 수 있다. 보다 구체적인 예로, 제2 산출 값(d2)은 머리 이미지 상의 제1 축(AX1)을 기준으로 상기 제1 그룹의 특징점(G1FP)의 좌표 값과 상기 제2 그룹의 특징점(G2FP)의 좌표 값의 차이에 의해 결정될 수 있다. 즉, 제2 산출 값(d2)은 상기 제1 그룹의 특징점(G1FP)의 제1 축(AX1) 좌표 값과 상기 제2 그룹의 특징점(G2FP)의 제1 축(AX1) 좌표 값의 차이에 의해 결정될 수 있다.As an example, the second calculated value d2 may be calculated based on the feature point G1FP of the first group positioned in one region of the left or right eyebrow and the feature point G2FP of the second group selected corresponding thereto. . As a more specific example, the second calculated value d2 is the coordinate value of the feature point G1FP of the first group and the coordinate value of the feature point G2FP of the second group based on the first axis AX1 on the head image. can be determined by the difference. That is, the second calculated value d2 is the difference between the first axis AX1 coordinate value of the first group feature point G1FP and the first axis AX1 coordinate value of the second group feature point G2FP. can be determined by

한편, 도 16의 (a) 및 (b)를 통하여 제2 산출 값(d2)이 길이를 나타내는 경우에 대한 다양한 실시예를 설명하였으나, 이에 한정되는 것은 아니며, 제2 산출 값(d2)은 적어도 하나 이상의 특징점(FP) 예컨대, 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)에 의해 산출되는 면적 또는 폭과 관련된 값일 수 있다.Meanwhile, various embodiments of the case in which the second calculated value d2 represents the length have been described through (a) and (b) of FIGS. 16 , but the present invention is not limited thereto, and the second calculated value d2 is at least It may be a value related to an area or a width calculated by one or more feature points FP, for example, the feature points G1FP of the first group and the feature points G2FP of the second group.

예를 들어, 도면에는 도시되지 않았지만, 제2 산출 값은 복수의 특징점(FP)에 의해 산출되는 면적 값일 수 있다. 구체적으로, 제2 산출 값은 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)의 좌표를 이용하여 산출되는 중하안면부의 면적 값을 의미할 수 있다.For example, although not shown in the drawings, the second calculated value may be an area value calculated by the plurality of feature points FP. Specifically, the second calculated value may mean an area value of the mid-lower facial part calculated using the coordinates of the first group feature point G1FP and the second group feature point G2FP.

다른 예로, 도면에는 도시되지 않았지만, 제2 산출 값은 복수의 특징점(FP) 예컨대, 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)에 의해 산출되는 폭 값일 수 있다. 구체적으로, 제2 산출 값은 제1 그룹의 특징점(G1FP)의 제2 축(AX2) 좌표 및 제2 그룹의 특징점(G2FP)의 제2 축(AX2) 좌표에 의해 결정되는 폭, 예컨대 머리 이미지 상의 제2 축(AX2) 방향의 거리 값을 의미할 수 있다.As another example, although not shown in the drawings, the second calculated value may be a width value calculated by a plurality of feature points FP, for example, a first group of feature points G1FP and a second group of feature points G2FP. Specifically, the second calculated value is a width determined by the coordinates of the second axis AX2 of the feature point G1FP of the first group and the coordinates of the second axis AX2 of the feature point G2FP of the second group, such as a head image It may mean a distance value in the direction of the second axis AX2 of the image.

한편, 제1 산출 값 및 제2 산출 값은 머리 이미지에서 사용자의 머리가 기울어진 각도를 고려하여 산출될 수 있다. 구체적으로, 도 5의 (b)와 같이 머리 이미지에서 사용자의 머리가 기울어져 있는 경우, 이미지의 기준 축 또는 이미지 자체를 보정한 후 제1 산출 값 또는 제2 산출 값을 산출할 수 있다. 예를 들어, 머리 이미지에서 사용자의 머리가 y축을 기준으로 각도 a만큼 기울어진 경우, 머리 이미지 상의 제1 축(AX1) 및 제2 축(AX2)을 각각 이미지의 y축 및 x축을 기준으로 a만큼 기울어진 축으로 정의하여 제1 산출 값 및 제2 산출 값이 산출될 수 있다. 다른 예로, 머리 이미지가 기울어진 정도에 기초하여 머리 이미지 자체를 보정한 후, 보정된 머리 이미지에 기초하여 제1 산출 값 및 제2 산출 값이 산출될 수 있다.Meanwhile, the first calculated value and the second calculated value may be calculated in consideration of the angle at which the user's head is tilted in the head image. Specifically, when the user's head is tilted in the head image as shown in (b) of FIG. 5 , the first calculated value or the second calculated value may be calculated after correcting the reference axis of the image or the image itself. For example, in the head image, if the user's head is tilted by an angle a with respect to the y-axis, the first axis (AX1) and the second axis (AX2) on the head image are a based on the y-axis and the x-axis of the image, respectively. The first calculated value and the second calculated value may be calculated by defining the axis as inclined as much as . As another example, after correcting the head image itself based on the degree of inclination of the head image, the first calculated value and the second calculated value may be calculated based on the corrected head image.

한편, 상술한 바와 같이 제1 산출 값 및 제2 산출 값은 얼굴의 기 설정된 영역을 기준으로 구해질 수 있다. 이때, 상기 얼굴의 기 설정된 영역과 관련하여, 도 16의 (a) 및 (b)에서는 얼굴의 기 설정된 영역을 각각 얼굴의 센터 영역 및 얼굴의 눈썹 위/아래 영역으로 예시하여 설명하였으나, 이에 한정되는 것은 아니다. 도면에는 도시되지 않았지만, 얼굴의 기 설정된 영역은 얼굴의 주요 부위에 관한 다양한 영역을 의미할 수 있다.Meanwhile, as described above, the first calculated value and the second calculated value may be obtained based on a preset area of the face. In this case, in relation to the preset region of the face, in FIGS. 16 (a) and (b), the preset region of the face has been exemplified as the center region of the face and the region above and below the eyebrows of the face, but limited to this it's not going to be Although not shown in the drawings, the preset region of the face may mean various regions related to the main part of the face.

또한, 도 16의 (a)에서는, 제1 산출 값(d1) 및 제2 산출 값(d2)이 얼굴의 센터 영역을 기준으로 구해지는 것으로 도시되었고, 도 16의 (b)에서는, 제1 산출 값(d1) 및 제2 산출 값(d2)이 얼굴의 눈썹 위/아래 영역을 기준으로 구해지는 것으로 도시되었으나, 이에 한정되는 것은 아니다. 예를 들어, 제1 산출 값(d1)은 얼굴의 센터 영역을 기준으로 구해지고, 제2 산출 값(d2)은 얼굴의 눈썹 아래 영역을 기준으로 구해질 수 있다. 다른 예로, 제1 산출 값(d1)은 얼굴의 눈썹 위 영역을 기준으로 구해지고, 제2 산출 값(d2)은 얼굴의 센터 영역을 기준으로 구해질 수 있다. 이 외에도, 도면에는 도시되지 않았으나, 제1 산출 값(d1) 및 제2 산출 값(d2)은 얼굴의 기 설정된 서로 다른 영역을 기준으로 구해질 수 있다.In addition, in FIG. 16(a), the first calculated value d1 and the second calculated value d2 are shown to be obtained based on the center region of the face, and in FIG. 16(b), the first calculated value d2 is shown. Although it is illustrated that the value d1 and the second calculated value d2 are obtained based on the area above and below the eyebrows of the face, the present invention is not limited thereto. For example, the first calculated value d1 may be obtained based on the center area of the face, and the second calculated value d2 may be obtained based on the area under the eyebrows of the face. As another example, the first calculated value d1 may be obtained based on the area above the eyebrows of the face, and the second calculated value d2 may be obtained based on the center area of the face. In addition, although not shown in the drawings, the first calculated value d1 and the second calculated value d2 may be obtained based on different preset regions of the face.

다시 도 15를 참조하면, 제어부(100)는 사용자 탈모 상태 판단 단계(S160)를 통해 사용자의 탈모 상태를 판단할 수 있다. 더욱 구체적으로, 제어부(100)의 사용자 탈모 상태 판단 모듈(160)은 제1 산출 값과 제2 산출 값에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 보다 구체적으로, 사용자 탈모 상태 판단 모듈(160)은 제1 산출 값 (예컨대, 상안면부 산출 값)과 제2 산출 값 (예컨대, 중하안면부 산출 값)의 비율에 기초하여 사용자의 탈모 상태를 판단할 수 있다. Referring back to FIG. 15 , the controller 100 may determine the user's hair loss state through the user's hair loss state determination step ( S160 ). More specifically, the user's hair loss state determination module 160 of the controller 100 may determine the user's hair loss state based on the first calculated value and the second calculated value. More specifically, the user's hair loss state determination module 160 determines the user's hair loss state based on the ratio of the first calculated value (eg, the calculated value of the upper face part) and the second calculated value (eg, the calculated value of the middle and lower facial parts). can

일 실시예에 따르면, 사용자 탈모 상태 판단 모듈(160)은 상기 제1 산출 값과 제2 산출 값의 비율을 미리 정해진 비율과 비교하여 판단할 수 있다. 예를 들어, 사용자 탈모 상태 판단 모듈(160)은 제1 산출 값과 제2 산출 값의 비율이 미리 정해진 비율과 비교하여 제1 기준을 만족하는 경우 사용자의 탈모 상태가 정상이라고 판단할 수 있다. 다른 예로, 사용자 탈모 상태 판단 모듈(160)은 제1 산출 값과 제2 산출 값의 비율이 미리 정해진 비율과 비교하여 제1 기준을 만족하지 못하는 경우 사용자의 탈모 상태가 진행 중이라고 판단할 수 있다.According to an embodiment, the user's hair loss state determination module 160 may determine by comparing the ratio of the first calculated value to the second calculated value with a predetermined ratio. For example, the user's hair loss state determination module 160 may determine that the user's hair loss state is normal when the ratio of the first calculated value to the second calculated value satisfies the first criterion by comparing it with a predetermined ratio. As another example, the user's hair loss state determination module 160 may determine that the user's hair loss state is in progress when the ratio of the first calculated value to the second calculated value does not satisfy the first criterion by comparing it with a predetermined ratio.

보다 구체적인 예로, 사용자 탈모 상태 판단 모듈(160)은 제2 산출 값에 대한 제1 산출 값의 비율이 미리 정해진 비율 이상인 경우 사용자의 탈모 상태가 진행중이라고 판단할 수 있다. 또는, 사용자 탈모 상태 판단 모듈(160)은 제2 산출 값에 대한 제1 산출 값의 비율이 미리 정해진 비율 미만인 경우 사용자의 탈모 상태가 정상이라고 판단할 수 있다. 이때, 상기 미리 정해진 비율은 얼굴을 구성하는 각 부위 또는 영역 간의 비율을 의미할 수 있다. 또는, 상기 미리 정해진 비율은 얼굴을 구성하는 각 부위 또는 영역이 안정감 있고 균형 있게 느껴지도록 미리 정해진 비율을 의미할 수 있다.As a more specific example, the user's hair loss state determination module 160 may determine that the user's hair loss state is in progress when the ratio of the first calculated value to the second calculated value is equal to or greater than a predetermined ratio. Alternatively, the user's hair loss state determination module 160 may determine that the user's hair loss state is normal when the ratio of the first calculated value to the second calculated value is less than a predetermined ratio. In this case, the predetermined ratio may mean a ratio between each part or region constituting the face. Alternatively, the predetermined ratio may mean a predetermined ratio so that each part or region constituting the face feels stable and balanced.

도 17은 사용자의 탈모 상태를 판단할 때 이용되는 기준 비율을 예시적으로 설명하기 위한 도면이다. 도 17을 참조하면, 미리 정해진 비율은 상안면부의 길이(a), 중안면부의 길이(b) 및 하안면부의 길이(c) 간의 비율을 포함할 수 있다. 또는, 미리 정해진 비율은 상안면부의 길이(a) 및 중하안면부의 길이(b+c) 간의 비율을 포함할 수 있다. 보다 구체적으로, 미리 정해진 비율은 머리카락과 이마의 경계선부터 눈썹까지의 길이(a)와 눈썹 아래부분부터 턱 끝까지의 길이(b+c)의 비율을 포함할 수 있다. 이 경우, 상기 상안면부의 길이(a), 중안면부의 길이(b) 및 하안면부의 길이(c)는 머리 이미지 상의 제1 축(AX1)을 기준으로 결정되는 길이를 의미할 수 있다.17 is a diagram for illustratively explaining a reference ratio used when determining a user's hair loss state. Referring to FIG. 17 , the predetermined ratio may include a ratio between the length (a) of the upper face part, the length (b) of the middle face part, and the length (c) of the lower face part. Alternatively, the predetermined ratio may include a ratio between the length (a) of the upper facial part and the length (b+c) of the middle and lower facial parts. More specifically, the predetermined ratio may include a ratio of the length (a) from the boundary line between the hair and the forehead to the eyebrow and the length (b+c) from the lower part of the eyebrow to the tip of the chin. In this case, the length (a) of the upper face part, the length (b) of the middle face part, and the length (c) of the lower face part may mean a length determined based on the first axis AX1 on the head image.

한편, 상기 미리 정해진 비율은 사용자의 선택에 의해 달라질 수 있다. 즉, 사용자가 이상적으로 생각한 비율에 기초하여 상기 미리 정해진 비율이 정해질 수 있다. 예를 들어, 상기 미리 정해진 비율은 사용자가 선호하는 또는 평소 이상적으로 생각했던 표본 머리 이미지에 기초한 비율로 정해질 수 있다. 이에 따라, 사용자의 취향이 반영된 비율에 기초하여 사용자 탈모 상태 판단 모듈(160)은 사용자의 탈모 상태에 관하여 판단할 수 있다.Meanwhile, the predetermined ratio may be changed by a user's selection. That is, the predetermined ratio may be determined based on the ratio that the user considers ideal. For example, the predetermined ratio may be determined as a ratio based on a sample head image that the user prefers or normally thinks ideally. Accordingly, the user's hair loss state determination module 160 may determine the user's hair loss state based on the ratio in which the user's taste is reflected.

도 18은 다른 실시예에 따른 사용자의 탈모 상태를 판단하기 위한 방법을 설명하기 위한 순서도이다.18 is a flowchart illustrating a method for determining a user's hair loss state according to another embodiment.

도 18을 참조하면, 다른 실시예에 따른 사용자의 탈모 상태 판단 프로세스는 사용자의 머리 이미지를 획득하는 단계(S200), 획득된 머리 이미지로부터 경계점 및 특징점을 추출하는 단계(S210, S220), 머리 이미지의 매칭 경계점을 선택하는 단계(S230), 머리 이미지로부터 기준점을 추출하는 단계(S240), 머리 이미지의 제1 상안면부 산출 값 및 제2 상안면부 산출 값을 획득하는 단계(S250, S260), 제1 상안면부 산출 값 및 제2 상안면부 산출 값에 기초하여 사용자의 탈모 상태를 판단하는 단계(S270) 및 사용자 탈모 상태 판단 결과에 기초하여 사용자에게 탈모 상태 정보를 제공하는 단계(S280)을 포함할 수 있다. 한편, 도 18의 순서도는 예시적인 것이며, 도 18에 도시된 각각의 단계의 일부 순서는 변경될 수 있다.Referring to FIG. 18 , the user's hair loss state determination process according to another embodiment includes the steps of obtaining the user's head image (S200), extracting boundary points and feature points from the obtained head image (S210, S220), the head image selecting a matching boundary point of (S230), extracting a reference point from the head image (S240), obtaining a first calculated value of the upper face part and a second calculated value of the upper face part of the head image (S250, S260), the second Determining the user's hair loss state based on the first calculated value of the upper face part and the second calculated value of the upper face part (S270) and providing the hair loss state information to the user based on the user's hair loss state determination result (S280) can Meanwhile, the flowchart of FIG. 18 is exemplary, and some orders of each step shown in FIG. 18 may be changed.

한편, 도 18의 사용자의 머리 이미지 획득 단계(S200) 내지 매칭 경계점 선택 단계(S230)는 각각 도 15의 사용자의 머리 이미지 획득 단계(S100) 내지 매칭 경계점 선택 단계(S130)와 동일하거나 상응하게 수행될 수 있다.On the other hand, the user's head image acquisition step (S200) to the matching boundary point selection step (S230) of FIG. 18 are the same as or corresponding to the user's head image acquisition step (S100) to the matching boundary point selection step (S130) of FIG. 15, respectively can be

다른 실시예에 따르면, 제어부(100)는 상안면부 산출 값과 기준 값을 비교하여 사용자의 탈모 상태를 판단할 수 있다. 상기 기준 값은 사용자의 탈모 상태를 판단하기 위해 기준이 되는 값을 의미할 수 있다. 보다 구체적으로, 상기 상안면부 산출 값은 머리 이미지로부터 획득된 사용자의 현재 이마 영역에 대응되는 값일 수 있는데, 이때, 상기 기준 값은 상기 상안면부 산출 값이 사용자의 탈모 상태가 정상일때와 비교하여 큰지 또는 작은지 판단하기 위해 기준이되는 값일 수 있다. 이때, 상기 기준 값은 미리 정해진 비율에 기초하여 결정될 수 있다.According to another embodiment, the controller 100 may determine the hair loss state of the user by comparing the calculated value of the upper face part with the reference value. The reference value may mean a standard value for determining the user's hair loss state. More specifically, the calculated value of the upper face part may be a value corresponding to the user's current forehead area obtained from the head image. In this case, the reference value is whether the calculated value of the upper face part is larger than when the user's hair loss state is normal. Alternatively, it may be a value that is a criterion for judging whether it is small. In this case, the reference value may be determined based on a predetermined ratio.

즉, 제어부(100)는 머리 이미지로부터 획득된 상안면부 산출 값을 기준 값과 비교함으로써, 사용자의 탈모 상태가 정상인지 진행중인지 판단할 수 있다. 예시적으로, 제어부(100)는 상기 상안면부 산출 값이 상기 기준 값보다 큰지 또는 작은지에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 다른 예로, 제어부(100)는 상기 상안면부 산출 값이 상기 기준 값의 미리 정해진 비율 이내에 해당하는지 여부에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 이하에서는 설명의 편의를 위해 상기 상안면부 산출 값을 제1 상안면부 산출 값, 상기 기준 값을 제2 상안면부 산출 값으로 정의하고 설명하도록 한다.That is, the controller 100 may determine whether the user's hair loss state is normal or in progress by comparing the calculated value of the upper face obtained from the head image with a reference value. For example, the controller 100 may determine the hair loss state of the user based on whether the calculated value of the upper face part is greater than or less than the reference value. As another example, the controller 100 may determine the hair loss state of the user based on whether the calculated value of the upper face part falls within a predetermined ratio of the reference value. Hereinafter, for convenience of explanation, the calculated value of the upper face is defined as the first calculated value of the upper face, and the reference value is defined as the second calculated value of the upper face.

제어부(100)는 제1 상안면부 산출 값 획득 단계(S250)를 통해 특징점(FP)과 이에 대응하는 매칭 경계점(MBP)에 기초하여 제1 상안면부 산출 값을 획득할 수 있다. 이에 대한 구체적인 실시예는 도 15 및 도 16을 통해 상술한 제1 산출 값 획득 방법에 대응하며, 중복되는 설명은 생략한다.The control unit 100 may obtain the first calculated value of the upper face part based on the feature point FP and the matching boundary point MBP corresponding thereto through the first upper face part calculated value acquisition step S250 . A specific embodiment for this corresponds to the method of obtaining the first calculated value described above with reference to FIGS. 15 and 16 , and a redundant description thereof will be omitted.

제어부(100)는 제2 상안면부 산출 값 획득 단계(S260)를 통해 특징점(FP)과 이에 대응하는 기준점(RP)에 기초하여 제2 상안면부 산출 값을 획득할 수 있다. 또는, 제어부(100)는 제2 상안면부 산출 값 획득 단계(S260)를 통해 복수의 특징점(FP)에 기초하여 산출된 중하안면부 산출 값과 미리 정해진 비율에 기초하여 제2 상안면부 산출 값을 획득할 수 있다.The control unit 100 may obtain the second calculated value of the upper facial portion based on the feature point FP and the reference point RP corresponding thereto through the second upper facial portion calculated value obtaining step S260 . Alternatively, the control unit 100 obtains a second calculated value of the upper face and lower face based on a predetermined ratio with the calculated value of the middle and lower face calculated based on the plurality of feature points FP through the second calculated value of the upper face section ( S260 ). can do.

한편, 제2 상안면부 산출 값은 머리 이미지 상의 제1 축(AX1)을 기준으로 정해지는 특징점(FP)과 이에 대응하는 기준점(RP) 사이의 거리에 기초하여 결정될 수 있다. 또는, 제2 상안면부 산출 값은 특징점(FP)의 좌표와 이에 대응하는 기준점(RP)의 좌표 사이의 거리에 기초하여 결정될 수 있다. 예를 들어, 제2 상안면부 산출 값은 특징점(FP)의 제1 축(AX1) 좌표와 이에 대응하는 기준점(RP)의 제1 축(AX1) 좌표 사이의 거리 값을 의미할 수 있다.Meanwhile, the second calculated value of the upper face part may be determined based on a distance between the feature point FP determined based on the first axis AX1 on the head image and the reference point RP corresponding thereto. Alternatively, the second calculated value of the upper face part may be determined based on a distance between the coordinates of the feature point FP and the corresponding coordinates of the reference point RP. For example, the second calculated value of the upper face part may mean a distance value between the coordinates of the first axis AX1 of the feature point FP and the coordinates of the first axis AX1 of the reference point RP corresponding thereto.

제어부(100)는 머리 이미지로부터 기준점을 추출하는 단계(S240)를 통해 기준점을 추출할 수 있다. 구체적으로, 기준점(RP)은 중하안면부 산출 값의 미리 설정된 비율의 거리만큼 특징점(FP)으로부터 제1 축(AX1) 상으로 떨어진 지점으로 결정될 수 있다. 예를 들어, 기준점(RP)은 제1 그룹의 특징점(G1FP) 및 제2 그룹의 특징점(G2FP)에 기초하여 결정된 중하안면부 산출 값의 미리 설정된 비율의 거리만큼 상기 제1 그룹의 특징점(G1FP)으로부터 제1 축(AX1)의 제1 방향으로 떨어진 지점으로 결정될 수 있다. 이하에서는, 도면을 참조하여 기준점(RP)을 결정하는 방법에 대해 구체적으로 설명한다.The controller 100 may extract the reference point through the step of extracting the reference point from the head image (S240). In detail, the reference point RP may be determined as a point separated from the feature point FP on the first axis AX1 by a distance of a preset ratio of the calculated value of the mid-lower face part. For example, the reference point RP is the first group feature point G1FP by a distance of a preset ratio of the calculated value of the middle and lower face determined based on the feature point G1FP of the first group and the feature point G2FP of the second group. It may be determined as a point spaced apart from the first axis AX1 in the first direction. Hereinafter, a method of determining the reference point RP will be described in detail with reference to the drawings.

도 19는 머리 이미지에서 기준점을 결정하는 방법을 설명하기 위한 도면이다. 도 19를 참조하면, 기준점(RP)은 제1 그룹의 특징점(G1FP)으로부터 머리 이미지 상의 제1 축(AX1)의 제1 방향으로 중하안면부 산출 값의 미리 설정된 비율의 거리만큼 떨어진 지점일 수 있다. 다시 말해, 기준점(RP)은 제1 그룹의 특징점(G1FP)으로부터 머리 이미지 상의 제1 축(AX1)의 제1 방향으로 중하안면부 산출 값과 미리 설정된 비율을 곱하거나 나눈 값만큼 떨어진 지점일 수 있다. 한편, 중하안면부 산출 값은 복수의 특징점(FP)에 기초하여 결정될 수 있으며, 이는 도 15 및 도 16을 통해 상술한 제2 산출 값에 대응할 수 있다. 또한, 상기 미리 설정된 비율은 도 17을 통해 상술한 비율에 대응할 수 있으며, 이와 관련하여 중복되는 설명은 생략한다.19 is a diagram for explaining a method of determining a reference point in a head image. Referring to FIG. 19 , the reference point RP is a point that is separated from the feature point G1FP of the first group by a distance of a preset ratio of the calculated value of the mid-lower face part in the first direction of the first axis AX1 on the head image. . In other words, the reference point RP is a point separated by a value obtained by multiplying or dividing the calculated value of the mid-lower facial region and a preset ratio in the first direction of the first axis AX1 on the head image from the feature point G1FP of the first group. . Meanwhile, the calculated value for the lower middle and lower face may be determined based on the plurality of feature points FP, which may correspond to the second calculated value described above with reference to FIGS. 15 and 16 . In addition, the preset ratio may correspond to the ratio described above with reference to FIG. 17, and a redundant description in this regard will be omitted.

제어부(100)는 사용자 탈모 상태 판단 단계(S270)에서 상술한 제1 상안면부 산출 값과 제2 상안면부 산출 값에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 예를 들어, 제어부(100)는 제1 상안면부 산출 값이 제2 상안면부 산출 값 이하인 경우, 사용자의 탈모 상태가 정상이라고 판단할 수 있다. 또는, 제어부(100)는 제1 상안면부 산출 값이 제2 상안면부 산출 값을 초과하는 경우, 사용자의 탈모 상태가 진행 중이라고 판단할 수 있다. 이후, 제어부(100)는 사용자 탈모 상태 정보 제공 단계(S280)에서 사용자 탈모 상태 판단 결과에 기초하여 사용자에게 탈모 상태 정보를 제공할 수 있다.The control unit 100 may determine the hair loss state of the user based on the first calculated value of the upper face and the second calculated value of the upper face in the step of determining the user's hair loss state ( S270 ). For example, when the first calculated value of the upper face is equal to or less than the calculated value of the second upper face, the controller 100 may determine that the hair loss state of the user is normal. Alternatively, when the first calculated value of the upper facial part exceeds the second calculated value of the upper facial part, the controller 100 may determine that the hair loss state of the user is in progress. Thereafter, the control unit 100 may provide hair loss status information to the user based on the user hair loss status determination result in the user hair loss status information providing step (S280).

다른 실시예에 따르면, 도 6의 사용자 탈모 상태 판단 모듈(160)은 상안면부 면적 값에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 보다 구체적으로, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부의 면적 값과 제2 상안면부의 면적 값에 기초하여 사용자의 탈모 상태를 판단할 수 있다.According to another embodiment, the user's hair loss state determination module 160 of FIG. 6 may determine the user's hair loss state based on the area value of the upper face. More specifically, the user's hair loss state determination module 160 may determine the user's hair loss state based on the area value of the first upper face part and the area value of the second upper face part.

여기서, 제1 상안면부의 면적 값과 제2 상안면부의 면적 값은 사용자의 머리 이미지에 기초하여 결정될 수 있다. 다만, 제1 상안면부의 면적 값은 사용자의 현재 이마 영역(예를 들어, 머리 이미지에서 눈썹 위부터 머리 카락과 이마의 경계선 아래 영역)의 면적을 의미하고, 제2 상안면부의 면적 값은 미리 정해진 비율에 기초하여 결정되는 사용자의 이상적인 이마 영역의 면적을 의미할 수 있다. 즉, 사용자 탈모 상태 판단 모듈(160)은 머리 이미지를 통해 결정된 사용자의 현재 이마 영역에 관한 면적과 사용자의 이상적인 이마 영역에 관한 면적을 비교하여 사용자의 탈모가 진행중인지 정상인지를 판단할 수 있다.Here, the area value of the first upper face part and the area value of the second upper face part may be determined based on the user's head image. However, the area value of the first upper face part means the area of the user's current forehead area (eg, the area from the top of the eyebrow to the area below the boundary line between the hair and the forehead in the head image), and the area value of the second upper face part is set in advance. It may mean an area of the user's ideal forehead area determined based on a predetermined ratio. That is, the user's hair loss state determination module 160 may determine whether the user's hair loss is in progress or normal by comparing the area of the user's current forehead area determined through the head image with the area of the user's ideal forehead area.

한편, 제1 상안면부의 면적 값은 복수의 특징점(FP)과 이에 대응하는 복수의 매칭 경계점(MBP)에 기초하여 산출될 수 있다. 또한, 제2 상안면부의 면적 값은 복수의 특징점(FP)과 이에 대응하는 복수의 기준점(RP)에 기초하여 산출될 수 있다. 이하에서는, 도면을 참조하여 제1 상안면부의 면적 값 및 제2 상안면부의 면적 값을 산출하는 방법에 대하여 설명한다.Meanwhile, the area value of the first upper face part may be calculated based on a plurality of feature points FP and a plurality of matching boundary points MBP corresponding thereto. Also, the area value of the second upper face part may be calculated based on a plurality of feature points FP and a plurality of reference points RP corresponding thereto. Hereinafter, a method of calculating an area value of the first upper face part and an area value of the second upper face part will be described with reference to the drawings.

도 6의 특징점 추출 모듈(120)은 머리 이미지로부터 복수의 특징점(FP)을 추출할 수 있다. 이 경우, 특징점 추출 모듈(120)에 의해 추출된 복수의 특징점(FP)은 제1 특징점(FP1) 및 제2 특징점(FP2)을 포함할 수 있다.The feature point extraction module 120 of FIG. 6 may extract a plurality of feature points FP from the head image. In this case, the plurality of feature points FP extracted by the feature point extraction module 120 may include a first feature point FP1 and a second feature point FP2 .

도 20은 일 실시예에 따른 상안면부의 면적을 산출하는 방법을 설명하기 위한 도면이다. 도 20을 참조하면, 제1 특징점(FP1) 및 제2 특징점(FP2)은 각각 제1 그룹의 특징점(G1FP) 중 어느 하나일 수 있다. 예시적으로, 제1 특징점(FP1)은 제1 그룹의 특징점(G1FP) 중 좌측 눈썹의 일 영역에 위치하는 복수의 특징점 중 어느 하나일 수 있다. 또한, 제2 특징점(FP2)은 제1 그룹의 특징점(G1FP) 중 우측 눈썹의 일 영역에 위치하는 특징점 중 어느 하나일 수 있다. 제1 특징점(FP1) 및 제2 특징점(FP2)은 제1 그룹의 특징점(G1FP) 중에서 머리 이미지의 중앙에서 제1 축(AX1)을 기준으로 오차 범위 내에서 서로 대칭하도록 위치한 특징점 중 어느 하나일 수 있다. 예를 들어, 제1 특징점(FP1)은 제1 그룹의 특징점(G1FP) 중에서 좌측 눈썹의 중앙에 대응되는 특징점일 수 있고, 제2 특징점(FP2)은 제1 그룹의 특징점(G1FP) 중에서 우측 눈썹의 중앙에 대응되는 특징점일 수도 있다.20 is a diagram for explaining a method of calculating an area of an upper facial part according to an exemplary embodiment. Referring to FIG. 20 , each of the first feature point FP1 and the second feature point FP2 may be any one of the first group feature points G1FP. For example, the first feature point FP1 may be any one of a plurality of feature points located in one region of the left eyebrow among the first group of feature points G1FP. Also, the second feature point FP2 may be any one of the feature points located in one region of the right eyebrow among the feature points G1FP of the first group. The first feature point FP1 and the second feature point FP2 may be any one of the feature points located symmetrically with each other within the error range with respect to the first axis AX1 at the center of the head image among the feature points G1FP of the first group can For example, the first feature point FP1 may be a feature point corresponding to the center of the left eyebrow among the feature points G1FP of the first group, and the second feature point FP2 may be a right eyebrow among the feature points G1FP of the first group. It may be a feature point corresponding to the center of .

도 6의 매칭 경계점 선택 모듈(130)은 머리 이미지로부터 추출된 경계점들 중에서 복수의 매칭 경계점(MBP)을 선택할 수 있다. 이 경우, 선택된 복수의 매칭 경계점(MBP)은 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2)을 포함할 수 있다. 도 20을 참조하면, 매칭 경계점 선택 모듈(130)은 제1 특징점(FP1)에 대응되는 제1 매칭 경계점(MBP1)을 선택할 수 있다. 또한, 매칭 경계점 선택 모듈(130)은 제2 특징점(FP2)에 대응되는 제2 매칭 경계점(MBP2)을 선택할 수 있다. 한편, 특징점(FP)에 대응되는 매칭 경계점(MBP)을 선택하는 방법은 도 11 내지 14를 통해 상술한바 있으므로 중복되는 설명은 생략한다.The matching boundary point selection module 130 of FIG. 6 may select a plurality of matching boundary points (MBP) from among boundary points extracted from the head image. In this case, the selected plurality of matching boundary points MBP may include a first matching boundary point MBP1 and a second matching boundary point MBP2. Referring to FIG. 20 , the matching boundary point selection module 130 may select a first matching boundary point MBP1 corresponding to the first feature point FP1 . Also, the matching boundary point selection module 130 may select the second matching boundary point MBP2 corresponding to the second feature point FP2 . Meanwhile, since the method of selecting the matching boundary point MBP corresponding to the feature point FP has been described above with reference to FIGS. 11 to 14 , a redundant description thereof will be omitted.

추가적인 실시예에 따르면, 제어부(100)는 머리 이미지로부터 복수의 기준점을 추출할 수 있다. 이 경우, 추출된 복수의 기준점은 제1 기준점(BP1) 및 제2 기준점(BP2)을 포함할 수 있다. 도 20을 참조하면, 제어부는(100) 제1 특징점(FP1)에 대응되는 제1 기준점(RP1)을 추출할 수 있다. 또한, 제어부(100)는 제2 특징점(FP2)에 대응되는 제2 기준점(RP2)을 추출할 수 있다. 한편, 상기 복수의 기준점(RP)은 특징점(FP) 및 미리 정해진 비율에 기초하여 결정될 수 있으며, 이에 관하여는 도 19를 참조하여 상술한바 있으므로 중복되는 설명은 생략한다.According to an additional embodiment, the controller 100 may extract a plurality of reference points from the head image. In this case, the plurality of extracted reference points may include a first reference point BP1 and a second reference point BP2 . Referring to FIG. 20 , the controller 100 may extract a first reference point RP1 corresponding to the first feature point FP1. Also, the controller 100 may extract the second reference point RP2 corresponding to the second feature point FP2 . Meanwhile, the plurality of reference points RP may be determined based on the feature points FP and a predetermined ratio, and since this has been described above with reference to FIG. 19 , a redundant description thereof will be omitted.

도 21 및 도 22는 일 실시예에 따른 상안면부의 면적을 나타내는 도면이다. 도 21을 참조하면, 상안면부는 상술한바와 같이 머리 이미지에서 머리카락과 이마의 경계선부터 눈썹 윗부분 사이에 해당하는 영역을 의미할 수 있다.21 and 22 are views illustrating an area of an upper facial part according to an exemplary embodiment. Referring to FIG. 21 , as described above, the upper face part may refer to a region corresponding to the upper part of the eyebrow from the boundary line between the hair and the forehead in the head image.

도 21의 (a)를 참조하면, 제1 상안면부(AR1)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2)에 기초하여 정해지는 영역일 수 있다. 즉, 제1 상안면부(AR1)는 사용자의 현재 이마 영역 예컨대, 눈썹 위부터 머리카락과 이마의 경계선 아래의 영역에 대응할 수 있다. 또한, 도 21의 (b)를 참조하면, 제2 상안면부(AR2)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 기준점(RP1) 및 제2 기준점(RP2)에 기초하여 정해지는 영역일 수 있다. 즉, 제2 상안면부(AR2)는 미리 설정된 비율에 기초하여 정해진 사용자의 이상적인 이마 영역 예컨대, 눈썹 위부터 제1 기준점(RP1)과 제2 기준점(RP2) 사이의 영역에 대응할 수 있다.Referring to (a) of FIG. 21 , the first upper face part AR1 is formed based on the first feature point FP1, the second feature point FP2, the first matching boundary point MBP1, and the second matching boundary point MBP2. It may be a defined area. That is, the first upper face part AR1 may correspond to the user's current forehead area, for example, from the top of the eyebrow to the area below the boundary line between the hair and the forehead. Also, referring to FIG. 21B , the second upper face part AR2 is formed based on the first feature point FP1, the second feature point FP2, the first reference point RP1, and the second reference point RP2. It may be a defined area. That is, the second upper face part AR2 may correspond to the user's ideal forehead area determined based on a preset ratio, for example, from the top of the eyebrow to the area between the first reference point RP1 and the second reference point RP2.

일 실시예에 따르면, 제어부(100)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2)에 기초하여 제1 상안면부(AR1)의 면적 값을 산출할 수 있다. 제어부(100)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2) 각각의 좌표에 기초하여 제1 상안면부(AR1)의 면적 값을 산출할 수 있다. 예를 들어, 제어부(100)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2) 각각의 좌표에 기초하여 삼각함수 계산법을 통해 제1 상안면부(AR1)의 면적 값을 산출할 수 있으나, 이에 한정되는 것은 아니며, 좌표를 이용해 면적을 구하는 기 알려진 다양한 방법이 활용될 수 있다.According to an embodiment, the controller 100 controls the first upper face part AR1 based on the first feature point FP1, the second feature point FP2, the first matching boundary point MBP1, and the second matching boundary point MBP2. The area value of can be calculated. The controller 100 is configured to control an area value of the first upper facial part AR1 based on the coordinates of each of the first feature point FP1, the second feature point FP2, the first matching boundary point MBP1, and the second matching boundary point MBP2. can be calculated. For example, the control unit 100 may control the first feature point FP1, the second feature point FP2, the first matching boundary point MBP1, and the second matching boundary point MBP2 based on the coordinates of each of the trigonometric function calculation methods. 1 The value of the area of the upper facial part AR1 may be calculated, but the present invention is not limited thereto, and various known methods for calculating the area using coordinates may be used.

한편, 제어부(100)는 제1 특징점(FP1), 제2 특징점(FP2), 제1 기준점(RP1) 및 제2 기준점(RP2)에 기초하여 제2 상안면부(AR2)의 면적 값을 산출할 수 있으며, 구체적인 방법은 제1 상안면부(AR1)의 면적 값을 산출하는 방법과 동일하므로 중복되는 설명은 생략한다.Meanwhile, the control unit 100 calculates the area value of the second upper face part AR2 based on the first feature point FP1, the second feature point FP2, the first reference point RP1, and the second reference point RP2. In addition, since the specific method is the same as the method of calculating the area value of the first upper face part AR1, the overlapping description will be omitted.

다른 실시예에 따르면, 제어부(100)는 기준 가로 길이와 제1 특징점(FP1), 제2 특징점(FP2), 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2)에 기초하여 제1 상안면부(AR1)의 면적 값을 산출할 수 있다. 구체적으로, 제어부(100)는 특징점(FP)과 이에 대응하는 매칭 경계점(MBP)에 기초하여 제1 상안면부(AR1)의 세로 길이를 획득하고, 획득된 상기 세로 길이와 상기 기준 가로 길이를 이용하여 제1 상안면부(AR1)의 면적 값을 산출할 수 있다.According to another embodiment, the control unit 100 may control the first image based on the reference horizontal length and the first feature point FP1, the second feature point FP2, the first matching boundary point MBP1, and the second matching boundary point MBP2. An area value of the face part AR1 may be calculated. Specifically, the controller 100 obtains the vertical length of the first upper facial part AR1 based on the feature point FP and the matching boundary point MBP corresponding thereto, and uses the obtained vertical length and the reference horizontal length. Thus, an area value of the first upper face part AR1 may be calculated.

도 21을 참조하면, 제어부(100)는 제1 상안면부(AR1)의 세로 길이(예를 들어, 제1 특징점(FP1)과 이에 대응하는 제1 매칭 경계점(MBP1)에 기초하여 정해지는 길이 또는 제2 특징점(FP2)과 이에 대응하는 제2 매칭 경계점(MBP2)에 기초하여 정해지는 길이)와 상기 기준 가로 길이를 곱하여 제1 상안면부(AR1)의 면적 값을 산출할 수 있다. 이때, 상기 기준 가로 길이는 사용자 얼굴의 종횡비 및 미리 설정된 표준 얼굴 길이에 기초하여 결정될 수 있다. 이때, 상기 사용자 얼굴의 종횡비는 머리 이미지 내에 존재하는 특징점(FP) 또는 경계점(BP) 중 적어도 어느 하나에 기초하여 결정된 사용자 얼굴의 가로 길이와 세로 길이의 비율일 수 있다. 구체적으로, 사용자 얼굴의 세로 길이는 특징점(FP) 중 어느 하나와 경계점(BP) 중 어느 하나에 기초하여 결정될 수 있다. 또한, 사용자 얼굴의 가로 길이는 복수의 특징점(FP) 또는 복수의 경계점(BP)에 기초하여 결정될 수 있다.Referring to FIG. 21 , the control unit 100 controls the vertical length of the first upper face part AR1 (eg, a length determined based on a first feature point FP1 and a first matching boundary point MBP1 corresponding thereto) or An area value of the first upper face part AR1 may be calculated by multiplying the reference horizontal length by the second feature point FP2 and a length determined based on the second matching boundary point MBP2 corresponding thereto. In this case, the reference horizontal length may be determined based on an aspect ratio of the user's face and a preset standard face length. In this case, the aspect ratio of the user's face may be a ratio of a horizontal length to a vertical length of the user's face determined based on at least one of a feature point FP and a boundary point BP existing in the head image. Specifically, the vertical length of the user's face may be determined based on any one of the feature points FP and the boundary points BP. Also, the horizontal length of the user's face may be determined based on a plurality of feature points FP or a plurality of boundary points BP.

한편, 미리 설정된 표준 얼굴 길이는 미리 설정된 표준 얼굴 가로 길이 또는 세로 길이를 포함할 수 있다. 예를 들어, 상기 미리 설정된 표준 얼굴 길이는 남성(또는 여성) 얼굴의 평균 세로(또는 가로) 길이일 수 있다. 예시적으로, 기준 가로 길이는 미리 설정된 표준 남성 얼굴의 세로 길이와 사용자 얼굴의 종횡비에 기초하여 정해질 수 있다.Meanwhile, the preset standard face length may include a preset standard horizontal length or vertical length of the face. For example, the preset standard face length may be an average vertical (or horizontal) length of a male (or female) face. For example, the reference horizontal length may be determined based on a preset vertical length of a standard male face and an aspect ratio of the user's face.

도 22는 사용자 탈모 상태 판단 모듈이 제1 상안면부 및 제2 상안면부에 기초하여 사용자의 탈모 상태를 판단하는 방법을 설명하기 위한 도면이다. 도 22를 참조하면, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1) 면적 값 및 제2 상안면부(AR2) 면적 값에 기초하여 사용자의 탈모 상태를 판단할 수 있다.22 is a diagram for explaining a method for the user's hair loss state determination module to determine the user's hair loss state based on the first upper face part and the second upper face part. Referring to FIG. 22 , the user's hair loss state determination module 160 may determine the user's hair loss state based on the area value of the first upper face part AR1 and the area value of the second upper face part AR2 .

보다 구체적으로, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1) 면적 값과 제2 상안면부(AR2) 면적 값의 차이에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 또는, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1) 면적 값과 제2 상안면부(AR2) 면적 값의 비율에 기초하여 사용자의 탈모 상태를 판단할 수 있다.More specifically, the user's hair loss state determination module 160 may determine the user's hair loss state based on a difference between the area value of the first upper face part AR1 and the area value of the second upper face part AR2 . Alternatively, the user's hair loss state determination module 160 may determine the user's hair loss state based on a ratio of the area value of the first upper face part AR1 to the area value of the second upper face part AR2.

예를 들어, 사용자 탈모 상태 판단 모듈(160)은 제2 상안면부(AR2)의 면적 값(즉, 기준 면적 값)에 비해 제1 상안면부(AR1)의 면적 값이 크거나 작음에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 예컨대, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1)의 면적 값이 제2 상안면부(AR2)의 면적 값보다 작은 경우 사용자의 탈모 상태는 정상이라고 판단할 수 있다. 또한, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1)의 면적 값이 제2 상안면부(AR2)의 면적 값보다 큰 경우 사용자의 탈모 상태는 진행 중이라고 판단할 수 있다. 다른 예로, 사용자 탈모 상태 판단 모듈(160)은 제1 상안면부(AR1)의 면적 값과 제2 상안면부(AR2)의 면적 값의 비율에 기초하여 사용자의 탈모 상태를 단계적으로 판단할 수 있다.For example, the user's hair loss state determination module 160 determines that the area value of the first upper face part AR1 is larger or smaller than the area value (ie, the reference area value) of the second upper face part AR2. hair loss status can be determined. For example, when the area value of the first upper face part AR1 is smaller than the area value of the second upper face part AR2, the user's hair loss state determination module 160 may determine that the user's hair loss state is normal. Also, when the area value of the first upper face part AR1 is greater than the area value of the second upper face part AR2, the user's hair loss state determination module 160 may determine that the user's hair loss state is in progress. As another example, the user's hair loss state determination module 160 may determine the user's hair loss state in stages based on a ratio of the area value of the first upper face part AR1 to the area value of the second upper face part AR2 .

도 23은 다른 실시예에 따른 사용자의 탈모 상태를 판단하기 위한 방법을 설명하기 위한 도면이다. 이하에서는, 도 23을 참조하여 다른 실시예에 따른 사용자의 탈모 상태를 판단하기 위한 방법을 설명한다.23 is a diagram for explaining a method for determining a user's hair loss state according to another embodiment. Hereinafter, a method for determining a user's hair loss state according to another embodiment will be described with reference to FIG. 23 .

도 23을 참조하면, 사용자 탈모 상태 판단 모듈(160)은 제1 그룹의 특징점(G1FP) 및 매칭 경계점(MBP)에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 사용자 탈모 상태 판단 모듈(160)은 적어도 하나 이상의 제1 그룹의 특징점(G1FP)에 대응하여 선택된 제1 매칭 경계점(MBP1) 및 제2 매칭 경계점(MBP2)에 기초하여 사용자의 탈모 상태를 판단할 수 있다.Referring to FIG. 23 , the user's hair loss state determination module 160 may determine the user's hair loss state based on the first group feature point G1FP and the matching boundary point MBP. The user's hair loss state determination module 160 may determine the user's hair loss state based on the first matching boundary point (MBP1) and the second matching boundary point (MBP2) selected to correspond to at least one or more first group feature points (G1FP). have.

제1 매칭 경계점(MBP1)은 좌측 또는 우측 눈썹의 일 영역에 위치하는 특징점에 대응하는 매칭 후보 경계점(MCBP) 중 머리 이미지 상의 제1 축(AX1) 좌표 값이 가장 높은 경계점일 수 있다. 이는, 도 13의 (c)에서 상술한바 있으므로, 중복되는 설명은 생략한다. 제2 매칭 경계점(MBP2)은 머리 이미지에서 이마의 중앙 부분에 대응하는 경계점일 수 있다. 일 실시예에 따르면, 제2 매칭 경계점(MBP2)는 복수의 제1 그룹의 특징점(G1FP)에 기초하여 선택될 수 있다. 예를 들어, 제2 매칭 경계점(MBP2)은 제1 그룹의 특징점(G1FP) 중 좌측 눈썹의 일 영역에 위치하는 제1 특징점과 우측 눈썹의 일 영역에 위치하는 제2 특징점의 중간 지점에 대응하도록 선택될 수 있다. 한편, 도 23에서의 제2 매칭 경계점(MBP2)은 도 12의 제6 매칭 경계점(MBP6)에 대응될 수 있다.The first matching boundary point MBP1 may be a boundary point having the highest coordinate value of the first axis AX1 on the head image among matching candidate boundary points MCBP corresponding to a feature point located in one region of the left or right eyebrow. Since this has been described above in (c) of FIG. 13 , the overlapping description will be omitted. The second matching boundary point MBP2 may be a boundary point corresponding to the central portion of the forehead in the head image. According to an embodiment, the second matching boundary point MBP2 may be selected based on the plurality of first group feature points G1FP. For example, the second matching boundary point MBP2 corresponds to a midpoint between the first feature point positioned in one region of the left eyebrow and the second feature point positioned in one region of the right eyebrow among the feature points G1FP of the first group. can be selected. Meanwhile, the second matching boundary point MBP2 in FIG. 23 may correspond to the sixth matching boundary point MBP6 in FIG. 12 .

사용자 상태 판단 모듈(160)은 상기 제1 매칭 경계점(MBP1)과 제2 매칭 경계점(MBP2)을 연결하는 직선과 제2 축(AX2)이 이루는 각도(a)에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 예를 들어, 사용자 상태 판단 모듈(160)은 상기 제1 매칭 경계점(MBP1)과 제2 매칭 경계점(MBP2)을 연결하는 직선과 제2 축(AX2)이 이루는 각도(M자 각도)가 미리 정해진 기준 이상일 경우 사용자의 탈모 상태가 진행 중이라고 판단할 수 있고, 미리 정해진 기준 미만일 경우 사용자의 탈모 상태가 정상이라고 판단할 수 있다.The user state determination module 160 determines the hair loss state of the user based on the angle (a) between the straight line connecting the first matching boundary point MBP1 and the second matching boundary point MBP2 and the second axis AX2 can do. For example, the user state determination module 160 determines an angle (M-shaped angle) between a straight line connecting the first matching boundary point MBP1 and the second matching boundary point MBP2 and the second axis AX2 is predetermined. If it is higher than the standard, it may be determined that the user's hair loss state is in progress, and if it is less than the predetermined standard, it may be determined that the user's hair loss state is normal.

이처럼, 사용자의 머리카락과 이마의 경계점에 기초하여 사용자의 탈모 여부를 판단함에 따라, 사용자 탈모 상태 판단 모듈(160)은 사용자의 M자 탈모에 관하여 보다 정확하게 판단할 수 있다.As such, by determining whether or not the user has hair loss based on the boundary point between the user's hair and the forehead, the user's hair loss state determination module 160 may more accurately determine the user's M-shaped hair loss.

도 24는 머리 이미지에서 사용자 머리의 기울어진 각도에 기초하여 이미지를 재보정하는 방법을 설명하기 위한 도면이다.24 is a diagram for explaining a method of re-correcting an image based on a tilt angle of a user's head in a head image.

머리 이미지 상에서 사용자의 머리는 3차원 적으로 기울어진 상태로 촬영될 수 있다. 이 경우, 머리 이미지에 포함되어 있는 사용자 얼굴의 주요 부위 예컨대, 눈, 코, 잎, 귀 등의 측정 길이는 기울어진 각도에 따라 실제 길이와 상이할 수 있다. 이에 따라, 머리 이미지에 포함되어 있는 상기 주요 부위의 측정 길이는 머리 이미지에서 사용자의 머리가 기울어진 각도에 기초하여 보정될 필요가 있다. 이때, 측정 길이는 사용자 얼굴의 주요 부위의 길이를 머리 이미지 상의 X축 또는 Y축 방향으로 측정한 길이를 의미할 수 있다.On the head image, the user's head may be photographed in a three-dimensionally inclined state. In this case, the measured length of the main part of the user's face included in the head image, for example, the eyes, nose, leaves, ears, etc., may be different from the actual length according to the inclined angle. Accordingly, the measured length of the main part included in the head image needs to be corrected based on the angle at which the user's head is tilted in the head image. In this case, the measured length may mean a length measured in the X-axis or Y-axis direction on the head image of the length of the main part of the user's face.

도 24를 참조하면, 촬영된 머리 이미지에서 사용자의 머리는 이미지 상의 X축 또는 Y축을 기준으로 일정 각도로 기울어진 상태일 수 있다. 구체적으로, 사용자의 머리는 사용자의 왼쪽 눈썹 상단 부위를 X축 상으로 연장한 직선과 상기 왼쪽 눈썹 상단 부위와 오른쪽 눈썹 상단 부위를 연결한 직선이 이루는 각도(theta_a) 만큼 기울어질 수 있다. 또는, 사용자의 머리는 사용자의 코 끝과 턱 끝을 연결한 직선과 코 끝을 Y축 상으로 연장한 직선이 이루는 각도(theta_b) 만큼 기울어질 수 있다.Referring to FIG. 24 , in the photographed head image, the user's head may be inclined at a predetermined angle with respect to the X-axis or the Y-axis on the image. Specifically, the user's head may be inclined by an angle theta_a formed by a straight line extending the upper left eyebrow of the user along the X-axis and a straight line connecting the left upper eyebrow upper portion and the right eyebrow upper portion. Alternatively, the user's head may be inclined by an angle (theta_b) formed by a straight line connecting the user's nose tip and the chin tip and a straight line extending the nose tip on the Y-axis.

이 경우, 사용자 얼굴 주요 부위의 실제 길이는 측정 길이와 기울어진 각도(theta_a 또는 theta_b)의 비율에 따라 정해질 수 있다. 예시적으로, 사용자의 얼굴이 좌측 눈썹보다 우측 눈썹이 높도록 기울어져 있는 경우, 좌측 눈썹의 실제 길이는 좌측 눈썹의 측정 길이를 cos(theta_a) 값으로 나눈 길이일 수 있고, 우측 눈썹의 실제 길이는 우측 눈썹의 측정 길이를 cos(theta_b) 값으로 곱한 길이일 수 있다.In this case, the actual length of the main part of the user's face may be determined according to the ratio of the measured length and the inclined angle (theta_a or theta_b). For example, when the user's face is inclined so that the right eyebrow is higher than the left eyebrow, the actual length of the left eyebrow may be a length obtained by dividing the measured length of the left eyebrow by the cos(theta_a) value, and the actual length of the right eyebrow. may be a length obtained by multiplying the measured length of the right eyebrow by a value of cos(theta_b).

다른 예로, 사용자의 얼굴이 우측 눈썹보다 좌측 눈썹이 높도록 기울어져 있는 경우, 좌측 눈썹의 실제 길이는 좌측 눈썹의 측정 길이를 cos(theta_a) 값으로 곱한 길이일 수 있고, 우측 눈썹의 실제 길이는 우측 눈썹의 측정 길이를 cos(theta_a) 값으로 나눈 길이일 수 있다. 또 다른 예로, 사용자의 코 중앙의 끝단부터 아랫입술 중앙의 밑단까지의 실제 길이는 측정 길이를 cos(theta_b) 값으로 나눈 길이일 수 있다. 이때, 상기 측정 길이는 코 중앙의 끝단부터 아랫입술 중앙의 밑단까지의 Y축 방향 길이일 수 있다. 또 다른 예로, 사용자의 아랫입술 중앙의 밑단부터 턱 끝단까지의 실제 길이는 측정 길이를 cos(theta_b) 값으로 나눈 길이일 수 있다. 이때, 상기 측정 길이는 아랫입술 중앙의 밑단부터 턱 끝단까지의 Y축 방향 길이일 수 있다.As another example, if the user's face is tilted so that the left eyebrow is higher than the right eyebrow, the actual length of the left eyebrow may be a length obtained by multiplying the measured length of the left eyebrow by the cos(theta_a) value, and the actual length of the right eyebrow is It may be a length obtained by dividing the measured length of the right eyebrow by a cos(theta_a) value. As another example, the actual length from the end of the center of the user's nose to the end of the center of the lower lip may be the length obtained by dividing the measured length by the value of cos(theta_b). In this case, the measured length may be a length in the Y-axis direction from the tip of the center of the nose to the bottom of the center of the lower lip. As another example, the actual length from the hem of the center of the user's lower lip to the tip of the chin may be a length obtained by dividing a measured length by a value of cos(theta_b). In this case, the measured length may be a length in the Y-axis direction from the lower end of the center of the lower lip to the end of the chin.

상술한 방법으로 측정된 사용자 얼굴의 주요 부위와 관련된 실제 길이는 사용자의 탈모 상태를 판단하기 위해 사용될 수 있으며, 또는, 사용자 얼굴의 주요 부위의 비율을 미리 정해진 비율과 비교 판단하기 위해 사용될 수도 있다.The actual length related to the main part of the user's face measured by the above method may be used to determine the hair loss state of the user, or may be used to compare and determine the ratio of the main part of the user's face with a predetermined ratio.

도 25는 사용자 얼굴의 주요 부위와 관련된 상세 비율을 설명하기 위한 도면이다. 도 25를 참조하면, 사용자의 머리 이미지로부터 얼굴의 주요 부위와 관련된 다양한 상세 비율을 측정할 수 있으며, 측정된 상세 비율에 기초하여 사용자의 탈모 상태를 판단할 수 있다. 또는, 측정된 상세 비율은 사용자 얼굴의 주요 부위의 비율을 미리 정해진 비율과 비교 판단하는 경우에 활용될 수 있다.25 is a diagram for explaining a detailed ratio related to a main part of a user's face. Referring to FIG. 25 , various detailed ratios related to major parts of the face may be measured from the user's head image, and the user's hair loss state may be determined based on the measured detailed ratios. Alternatively, the measured detailed ratio may be utilized when comparing and determining the ratio of the main part of the user's face with a predetermined ratio.

출력부(500)는 제어부(100)가 사용자 탈모 상태 판단 모듈(160)을 통하여 판단한 사용자의 탈모 상태와 관련된 정보를 출력할 수 있다. 일 예로, 출력부(500)는 제어부(100)에서 제1 산출 값 및/또는 제2 산출 값에 기초하여 판단된 사용자 탈모 상태 정보를 출력할 수 있다. 또는, 출력부(500)는 제어부(100)에서 추출 또는 선택된 복수의 특징점(FP) 및 복수의 경계점(BP) 중 적어도 어느 하나에 기초하여 판단된 사용자 탈모 상태 정보를 출력할 수 있다. 또는, 출력부(500)는 제어부(100)에서 제1 상안면부 면적 값 및/또는 제2 상안면부 면적 값에 기초하여 판단된 사용자 탈모 상태 정보를 출력할 수 있다. 상술한 사용자의 탈모 상태와 관련된 정보는, 예를 들어, 사용자에게 탈모가 진행되고 있는지 여부, 탈모가 진행된 정도, 탈모의 유형, 시술이 필요한 영역에 관한 정보 등의 다양한 정보를 포함할 수 있다.The output unit 500 may output information related to the hair loss state of the user determined by the control unit 100 through the user hair loss state determination module 160 . For example, the output unit 500 may output the user's hair loss state information determined based on the first calculated value and/or the second calculated value by the control unit 100 . Alternatively, the output unit 500 may output user hair loss state information determined based on at least one of a plurality of feature points FP and a plurality of boundary points BP extracted or selected by the controller 100 . Alternatively, the output unit 500 may output the user's hair loss state information determined by the controller 100 based on the first upper face area value and/or the second upper face area value. The above-described information related to the user's hair loss state may include, for example, whether or not hair loss is in progress for the user, the degree to which hair loss has progressed, the type of hair loss, information about an area requiring treatment, and the like.

출력부(500)는 시술 영역에 관한 정보를 출력할 수 있다. 출력부(500)는 사용자 탈모 상태 판단 모듈(160)을 통해 획득한 정보에 기초하여 정해지는 시술 영역에 관한 정보를 출력할 수 있다. 시술 영역은 사용자에게 발생한 탈모로 인하여 머리 상에 모발 이식이 필요한 영역을 의미할 수 있다. 또는, 시술 영역은 머리 상에 모발이 이식되기를 사용자가 희망하는 영역을 의미할 수 있다. 다시 말해, 시술 영역은 사용자에 의해 머리 상에 모발 이식이 필요하다고 판단된 영역을 의미할 수 있다.The output unit 500 may output information about the treatment area. The output unit 500 may output information about a treatment area determined based on information obtained through the user's hair loss state determination module 160 . The treatment area may mean an area requiring hair transplantation on the head due to hair loss occurring in the user. Alternatively, the treatment area may mean an area in which the user desires to have hair transplanted on the head. In other words, the treatment area may mean an area determined by the user to require hair transplantation on the head.

예시적으로, 시술 영역은 도 21 및 도 22에서 설명한 제1 상안면부(AR1) 면적 값과 제2 상안면부(AR2) 면적 값에 기초하여 정해질 수 있다. 보다 구체적으로, 시술 영역은 제1 상안면부(AR1)와 제2 상안면부(AR2)의 차이에 해당하는 영역(AR3)에 기초하여 정해질 수 있다.For example, the treatment area may be determined based on the area value of the first upper face part AR1 and the area value of the second upper face part AR2 described with reference to FIGS. 21 and 22 . More specifically, the treatment area may be determined based on the area AR3 corresponding to the difference between the first upper face part AR1 and the second upper face part AR2 .

출력부(500)는 시술 영역을 텍스트 또는 이미지 형식으로 출력할 수 있다. 일 예로, 출력부(500)가 시술 영역을 텍스트 형식으로 출력하는 경우, 출력부(500)는 시술이 필요한 영역의 면적 값, 시술 영역에 시술될 모낭 수 등에 관한 정보를 함께 출력할 수 있다. 다른 예로, 출력부(500)가 시술 영역을 이미지 형식으로 출력하는 경우, 출력부(500)는 시술 영역에 모발이 이식된 후의 머리 이미지 즉, 사용자의 시술 후 머리 이미지를 출력할 수 있다.The output unit 500 may output the treatment area in text or image format. For example, when the output unit 500 outputs the treatment area in text format, the output unit 500 may output information about the area value of the area requiring treatment, the number of hair follicles to be treated in the treatment area, and the like. As another example, when the output unit 500 outputs the treatment area in the form of an image, the output unit 500 may output a head image after hair is transplanted into the treatment area, that is, the user's post treatment head image.

도 26 및 도 27은 사용자 입력 정보에 기초하여 출력부가 사용자의 탈모 상태와 관련된 정보를 출력하는 것을 설명하기 위한 도면이고, 도 28 및 도 29는 출력부가 사용자의 시술 후 머리 이미지를 출력하는 것을 예시적으로 설명하기 위한 도면이다. 이하에서는, 도 26 내지 도 29을 참조하여, 출력부가 사용자 입력 정보에 기초하여 사용자의 탈모 상태와 관련된 정보를 출력하는 방법에 대하여 설명한다.26 and 27 are diagrams for explaining that the output unit outputs information related to the user's hair loss state based on user input information, and FIGS. 28 and 29 illustrate that the output unit outputs the user's post-treatment hair image It is a drawing for illustrative purposes. Hereinafter, a method for the output unit to output information related to a user's hair loss state based on user input information will be described with reference to FIGS. 26 to 29 .

도 26 및 도 27을 참조하면, 출력부(500)는 사용자 입력부(400)를 통해 획득한 사용자의 입력 정보에 기초하여 탈모 상태와 관련된 정보를 출력할 수 있다. 출력부(500)는 사용자 입력부(400)를 통해 획득한 사용자의 입력 정보에 기초하여 시술 후 머리 이미지를 출력할 수 있다.26 and 27 , the output unit 500 may output information related to a hair loss state based on the user's input information obtained through the user input unit 400 . The output unit 500 may output a post-treatment head image based on the user's input information acquired through the user input unit 400 .

출력부(500)의 모발 시술양 정보 획득 모듈(510)은 사용자 또는 제3자로부터 모발 시술양 정보를 획득하는 단계(S510)를 통해 모발 시술양 정보를 획득할 수 있다. 여기서, 모발 시술양 정보는 사용자 또는 제3자에 의해 입력된 정보로, 모낭 수, 시술될 모발의 종류, 시술 면적, 시술 부위, 시술 방법 등에 관한 정보를 포함할 수 있다. 시술 후 이미지 생성 모듈(530)은 시술 후 이미지 생성 단계(S530)를 통해 사용자의 시술 후 머리 이미지를 생성할 수 있다.The hair treatment amount information acquisition module 510 of the output unit 500 may acquire the hair treatment amount information through the step of obtaining hair treatment amount information from the user or a third party ( S510 ). Here, the hair treatment amount information is information input by the user or a third party, and may include information on the number of hair follicles, the type of hair to be treated, the treatment area, the treatment site, the treatment method, and the like. The post-operative image generating module 530 may generate a post-operative head image of the user through the post-operative image generation step ( S530 ).

도 28을 참조하면, 시술 후 이미지 출력 모듈(550)은 시술 후 이미지 출력 단계(S550)에서 사용자의 시술 후 머리 이미지를 출력할 수 있다. 시술 후 이미지 출력 모듈(550)은 사용자 입력 정보에 기초하여 결정된 시술 영역에 관한 이미지를 출력할 수 있다. 상기 시술 영역은 제1 시술 영역 및 상기 제1 시술 영역과 다른 제2 시술 영역을 포함할 수 있으며, 제1 시술 영역은 사용자에 의해 입력된 모발 시술양이 제1 시술양인 경우 결정되는 영역이고, 제2 시술 영역은 사용자에 의해 입력된 모발 시술양이 제2 시술양인 경우 결정되는 영역일 수 있다.Referring to FIG. 28 , the post-treatment image output module 550 may output a post-treatment head image of the user in the post-treatment image output step ( S550 ). The post-treatment image output module 550 may output an image regarding the treatment area determined based on user input information. The treatment area may include a first treatment area and a second treatment area different from the first treatment area, and the first treatment area is an area determined when the amount of hair treatment input by the user is the first treatment amount, The second treatment area may be an area determined when the amount of hair treatment input by the user is the second treatment amount.

도 28의 (a)를 참조하면, 모발 시술양 정보 획득 모듈(510)이 획득한 모발 시술양이 제1 시술양인 경우, 시술 영역은 제1 시술 영역(AR1)으로 정해질 수 있다. 도 28의 (b)를 참조하면, 모발 시술양 정보 획득 모듈(510)이 획득한 모발 시술양이 제2 시술양인 경우, 시술 영역은 제2 시술 영역(AR2)으로 정해질 수 있으며, 이때 제2 시술양의 값은 제1 시술양의 값보다 더 큰 값일 수 있다.Referring to FIG. 28A , when the amount of hair treatment obtained by the hair treatment amount information acquisition module 510 is the first treatment amount, the treatment area may be determined as the first treatment area AR1 . Referring to (b) of FIG. 28 , when the amount of hair treatment obtained by the hair treatment amount information acquisition module 510 is the second treatment amount, the treatment area may be determined as the second treatment area AR2, at this time The value of the second treatment amount may be greater than the value of the first treatment amount.

도 29를 참조하면, 일 예로, 시술 후 이미지 출력 모듈(550)이 출력하는 시술 후 머리 이미지는 입력된 모발 시술양에 기초하여 사용자의 머리카락과 이마의 경계선으로부터 머리 이미지 상의 제1 축(AX1)의 제2 방향(머리카락에서 턱을 향하는 방향)으로 점차 모발이 이식되도록 시뮬레이션 된 영역(VAR)에 관한 이미지일 수 있다. 다른 예로, 시술 후 이미지 출력 모듈(550)이 출력하는 시술 후 머리 이미지는 입력된 모발 시술양에 기초하여 사용자의 머리카락과 이마의 경계선으로부터 머리 이미지 상의 제2 축(AX2) 방향으로 점차 모발이 이식되도록 시뮬레이션 된 영역(HAR)에 관한 이미지일 수 있다. 출력부(500)가 제1 축 및/또는 제2 축의 방향에 기초하여 모발이 이식되도록 하는 시술 후 머리 이미지를 제공함에 따라, 보다 정밀한 시뮬레이션 정보를 사용자에게 제공할 수 있다.Referring to FIG. 29 , as an example, the post-treatment head image output by the post-treatment image output module 550 is the first axis AX1 on the head image from the boundary line between the user's hair and forehead based on the inputted amount of hair treatment. It may be an image about the simulated area VAR so that hair is gradually transplanted in the second direction (the direction from the hair to the chin). As another example, in the post-treatment head image output by the post-treatment image output module 550, hair is gradually transplanted from the boundary line between the user's hair and forehead in the direction of the second axis AX2 on the head image based on the inputted amount of hair treatment. It may be an image about the simulated area (HAR) as much as possible. As the output unit 500 provides a post-operative hair image for hair transplantation based on the direction of the first axis and/or the second axis, more precise simulation information may be provided to the user.

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by those of ordinary skill in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been mainly described in the above, this is only an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains in the range that does not deviate from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications not illustrated are possible. That is, each component specifically shown in the embodiment can be implemented by modification. And the differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

Claims

In the method of providing hair loss state information,
obtaining an image of the user's head;
extracting a plurality of feature points from the head image, the plurality of feature points including a first group of feature points and a second group of feature points;
extracting a plurality of boundary points corresponding to boundary lines of the user's hair and forehead from the head image;
selecting a matching boundary point corresponding to the feature point of the first group from among the plurality of boundary points;
obtaining a calculated value of the upper face part determined based on a distance between the feature points of the first group and a matching boundary point corresponding thereto with respect to a first axis on the head image;
obtaining a mid-lower facial part calculated value determined based on a distance between the feature points of the first group and the feature points of the second group with respect to the first axis; and
Comprising the step of providing the user's hair loss state information based on the ratio of the calculated value of the upper and lower facial parts and the calculated value of the middle and lower facial parts,
How to provide information on hair loss status.

According to claim 1,
The plurality of boundary points are extracted based on probability values corresponding to the boundary lines of the user's hair and forehead,
The step of selecting the matching boundary point comprises:
setting a matching area between first and second straight lines respectively extending in the first axial direction from first and second points corresponding to the feature points of the first group; and
selecting, as the matching boundary point, at least one of matching candidate boundary points having the probability value equal to or greater than a predetermined threshold value among a plurality of boundary points included in the matching area;
The first point and the second point are points separated from the first group feature point by a first distance and a second distance, respectively, in a second axis direction orthogonal to the first axis,
How to provide information on hair loss status.

3. The method of claim 2,
The matching boundary point is a point located farthest from the feature point of the first group among the matching candidate boundary points in the first direction of the first axis;
How to provide information on hair loss status.

According to claim 1,
The calculated value of the upper face part includes an area value of the upper face part of the head image set based on the first group feature point and the matching boundary point,
The calculated value of the middle and lower face part includes a value of the area of the middle and lower face of the head image set based on the feature points of the first group and the feature points of the second group,
How to provide information on hair loss status.

According to claim 1,
The step of selecting the matching boundary point comprises:
selecting a plurality of feature points including at least a first feature point and a second feature point from the feature points of the first group; and
selecting a first matching boundary point and a second matching boundary point corresponding to the first and second characteristic points, respectively;
The hair loss state information providing step,
extracting a first reference point corresponding to the first feature point and a second reference point corresponding to the second feature point from the head image; a point separated by a distance of a preset ratio of the calculated value of the middle and lower face in the first direction of the first axis;
obtaining a first upper face area value determined based on the first feature point, the second feature point, the first matching boundary point, and the second matching boundary point;
calculating a second upper face area value based on the first feature point, the second feature point, the first reference point, and the second reference point; and
Comprising the step of providing the hair loss state information of the user based on the ratio of the first upper face area value and the second upper face area value,
How to provide information on hair loss status.

6. The method of claim 5,
The step of providing the user's hair loss state information includes providing information about the treatment area in which the user's treatment is required in the image,
The treatment area is determined based on a difference between the first upper face area value and the second upper face area value,
How to provide information on hair loss status.

7. The method of claim 6,
The first upper face area value and the second upper face area value are calculated based on the reference horizontal length and vertical length of the user's face,
The reference horizontal length is determined based on an aspect ratio of the user's face and a preset standard face length,
How to provide information on hair loss status.

7. The method of claim 6,
The step of providing the user's hair loss state information,
obtaining information on the amount of hair treatment input from the user or a third party; and
Comprising the step of outputting the forehead area after the user's treatment according to the amount of hair treatment,
How to provide information on hair loss status.

According to claim 1,
The plurality of boundary points are obtained using a neural network model,
The neural network model is trained to acquire a plurality of reference boundary points corresponding to the boundary between the hair and the forehead based on a training head image including at least a part of the boundary between the hair and the forehead.
How to provide information on hair loss status.

10. The method of claim 9,
The neural network model includes a first part for acquiring the region of interest including the hair and the forehead based on the training head image, and a second part for acquiring the plurality of reference boundary points based on the region of interest. ,
How to provide information on hair loss status.

obtaining an image of the user's head;
extracting a plurality of feature points from the head image, the plurality of feature points including a first group of feature points and a second group of feature points;
extracting a plurality of boundary points corresponding to boundary lines of the user's hair and forehead from the head image;
selecting a matching boundary point corresponding to the feature point of the first group from among the plurality of boundary points;
obtaining a calculated value of the upper face part determined based on a distance between the first group feature point and the matching boundary point based on a first axis on the head image;
obtaining a mid-lower facial part calculated value determined based on a distance between the feature points of the first group and the feature points of the second group with respect to the first axis; and
A program stored in a computer-readable recording medium to execute a method for providing hair loss status information comprising the step of providing the user's hair loss status information based on the ratio of the calculated value of the upper facial part and the calculated value of the middle and lower facial parts.