KR20210077533A - 사용자 얼굴 피부 분석 방법 및 서버 - Google Patents
사용자 얼굴 피부 분석 방법 및 서버 Download PDFInfo
- Publication number
- KR20210077533A KR20210077533A KR1020190169268A KR20190169268A KR20210077533A KR 20210077533 A KR20210077533 A KR 20210077533A KR 1020190169268 A KR1020190169268 A KR 1020190169268A KR 20190169268 A KR20190169268 A KR 20190169268A KR 20210077533 A KR20210077533 A KR 20210077533A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- interest
- face model
- data
- facial skin
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims description 25
- 230000001815 facial effect Effects 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims abstract description 25
- 238000010835 comparative analysis Methods 0.000 claims abstract description 20
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 6
- 206010000496 acne Diseases 0.000 claims description 6
- 230000037311 normal skin Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000011148 porous material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005808 skin problem Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Nursing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Dermatology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
본원의 일 측면에 따른 사용자 얼굴 피부 분석 방법은 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하는 단계; 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하는 단계; 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 제 1 관심 영역과 제 2 관심 영역을 매칭시키는 단계; 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 개별 특징 데이터 및 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 사용자 단말에 제공하는 단계;를 포함한다.
Description
본 발명은 사용자 얼굴 피부 분석 방법에 관한 것으로, 보다 상세하게는 카메라를 통해 얻은 동일 인물의 전후 얼굴 사진을 취득하여 얼굴에 대한 3차원 모형을 추정한 후 두 사진 간의 영역 매칭을 진행한 후 선택된 영역에 대해 피부 분석 및 비교를 진행하는 방법에 관한 것이다.
최근 헬스케어나 미에 대한 관심이 증가하면서 피부 상태를 진단하고 관리해주는 여러 시스템들이 등장하고 있다. 기존에는 병원에서 주기적으로 환자를 모니터링하고 직접 관리 및 솔루션을 제공하는 방식을 사용하였지만, 최근에는 특수한 장비를 이용하여 촬영된 사용자의 영상만으로도 다양한 피부 트러블을 진단하고 일정 수준의 솔루션 제공이 가능한 시스템들이 개발되어 사용되고 있다.
종래의 촬영 영상을 이용한 피부 분석 및 솔루션 제공의 경우 전과 후의 상황을 비교할 때 특정 영역에 대한 변화를 보여주기보다는 전체 얼굴 또는 사전에 지정된 큰 영역 안에서 얼마나 개선 또는 악화가 되었는지 말해주는데 이는 정확히 어떤 영역에서 피부가 손상되었거나 개선되었는지 보여주지 못한다. 이로써 사용자는 관심 영역에 대한 변화 정보를 얻기보다는 전체적인 변화만 볼 수가 있다. 즉 이는 사용자의 관심 영역에 대한 정보가 포함되지 않을뿐더러, 변화된 부분을 따로 보여주지 않기 때문에 신뢰성이 낮아질 수 있다.
이러한 문제를 해결하기 위해서는 피부 변화 전과 후의 상태에 대해 더욱 자세히 알려주어야 할 필요성이 있다. 예로 들자면, 단순히 피부가 3점에서 4점으로 개선되었다는 것보다는 오른쪽 볼 및 입 주변 영역에서 여드름이 60% 없어졌다고 말하는 것이 소비자로선 훨씬 도움이 될 것이다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 한 쌍의 전후 얼굴 영상을 통해 정확한 영역 매칭을 진행함으로써, 특정 얼굴 영역에 대한 정확한 피부 상태 분석과 특정 영역에서의 전후 사진에 대한 비교분석을 진행할 수 있는 시스템을 제공하는 것을 기술적 과제로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 사용자 얼굴 피부 분석 방법은 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하는 단계; 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하는 단계; 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 제 1 관심 영역과 제 2 관심 영역을 매칭시키는 단계; 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 개별 특징 데이터 및 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 사용자 단말에 제공하는 단계;를 포함한다.
또한, 본 개시의 제 2 측면에 따른 사용자 얼굴 피부 분석 서버는 사용자 얼굴 피부 분석 프로그램이 저장된 메모리; 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 프로그램의 실행에 의해, 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하고, 상기 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 상기 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하고, 상기 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 상기 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 상기 제 1 관심 영역과 제 2 관심 영역을 매칭시키고, 상기 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 상기 개별 특징 데이터 및 상기 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 상기 사용자 단말에 제공한다.
전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 한 쌍의 얼굴 영상으로 어떠한 장소에서든 용이하고 빠르게 피부 상태를 비교분석 할 수 있다.
또한, 본 발명에 의한 관심 영역에 대한 피부 비교분석 방법은 사용자가 원하는 또는 사전에 설정된 특정한 영역에 대한 비교분석을 진행함으로써 더욱 효과적이고 유의미한 비교분석을 진행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 서버의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법의 진행 단계를 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 매칭 및 정합을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 분석 결과를 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 히스토그램을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법의 진행 단계를 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 매칭 및 정합을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 분석 결과를 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 히스토그램을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 서버의 구성을 도시한 블록도이다.
도시된 바와 같이 사용자 얼굴 피부 분석 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130), 데이터베이스(140) 및 입력모듈(150)을 포함할 수 있다.
통신모듈(110)은 접속된 사용자 단말(200)과 데이터를 송수신할 수 있다. 통신모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)에는 사용자 얼굴 피부 분석 프로그램이 저장된다. 사용자 얼굴 피부 분석 프로그램은 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하고, 상기 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 상기 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하고, 상기 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 상기 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 상기 제 1 관심 영역과 제 2 관심 영역을 매칭시키고, 상기 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 상기 개별 특징 데이터 및 상기 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 상기 사용자 단말에 제공한다.
이러한 메모리(120)에는 사용자 얼굴 피부 분석 서버(100)의 구동을 위한 운영 체제나 사용자 얼굴 피부 분석 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.
이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하되, 사용자 얼굴 피부 분석 프로그램의 실행에 따르는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.
이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 프로세서(130)의 제어에 따라, 사용자 얼굴 피부 분석 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(140)는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 시스템의 구성을 도시한 블록도이다.
사용자 얼굴 피부 분석 방법은 서버(100) 또는 사용자 단말(200)에서 실시될 수 있다. 사용자 얼굴 피부 분석 방법에서 얼굴영상과 같은 데이터 수집은 사용자 단말(200)에서 이루어질 수 있다. 수집된 데이터 분석은 서버(100)에서 이루어지고, 피부 분석 결과 데이터가 사용자 단말(200)에 제공 될 수 있다. 복수의 사용자는 각각 자신의 사용자 단말(200)을 통해 사용자 얼굴 피부 분석 방법을 실시할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법의 진행 단계를 나타낸 흐름도이다.
프로세서(130)는 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성한다(S110).
예를 들어, 피부 변화를 분석하기 위해 사용자 단말로부터 수신된 피부 변화 전 제1얼굴영상은 도4 (a), 피부 변화 후 제2얼굴영상은 도4 (b)에 표시된 영상과 같을 수 있다. 이 때, 사용자 단말(200)은 비교 대상인 도4 (a)의 제 1 얼굴영상을 촬영하고, 이후 스킨케어 등을 통해 변화된 도4 (b)의 제 2 얼굴영상을 촬영하여 해당 영상을 서버(100)로 송신할 수 있다.
프로세서(130)는 수신된 얼굴영상을 기초로 삼차원 얼굴모형을 생성하기 위해 인공신경망을 이용한 딥러닝 기술 기반의 얼굴 피부 분석 모델을 이용할 수 있다. 프로세서(130)는 얼굴 피부 분석 모델을 통해 이차원 영상인 제1 얼굴영상 및 제 2 얼굴영상을 입력으로, 각각 삼차원 얼굴모형을 생성하면서 삼차원 좌표 데이터를 획득하고, 삼차원 얼굴 모형의 정점을 추출하고, 삼차원 얼굴 모형의 깊이 정보를 추정할 수 있다. 도5는 삼차원 얼굴 모형의 깊이 정보를 추정한 결과이며, 도 6은 삼차원 얼굴 모형에서 추출된 정점을 포함하는 삼차원 좌표 데이터를 표시한 도면이다.
다시 도 3을 참조하면, 프로세서(130)는 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정한다(S120). 이 때 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하기 위해서 제1삼차원 얼굴모형 및 제 2 삼차원 얼굴 모형에서 추출된 정점을 이용할 수 있다. 예를 들어 얼굴 모형에서 공통으로 추출된 정점 중 하나인 눈을 기준으로 제 1 삼차원 얼굴모형에서 지정된 영역과 같은 영역을 찾아낼 수 있다.
제 1 관심영역은 사용자가 관심있는 영역을 얼굴 영상에서 직접 지정할 수도 있고, 인공지능 기술의 일종인 객체 감지(object detection) 또는 위치 검출(localization) 기술을 이용하여 여드름, 다크서클과 같은 피부 특징을 검출하거나 openCV를 활용한 간단한 컴퓨터 비젼 기술 (붉은 영역 검출, 모공 검출)을 활용해서 해당 영역을 지정하는 것도 가능하다. 즉 프로세서(130)는 미리 입력된 삼차원 얼굴 모형을 기초로 컨볼루션 신경망에 기반한 딥러닝 모델인 얼굴 피부 분석 모델을 통해 여드름, 다크서클, 붉은 영역 또는 모공 영역 중 하나 이상의 특징을 학습하여 피부 특징 영역을 추출하고, 피부 특징 영역을 제1관심영역으로 지정할 수 있다.
그리고, 정점 좌표값을 이용하여 제 1 삼차원 얼굴 모형에서 선택된 제 1 관심영역에 대응하는 영역을 제 2 삼차원 얼굴 모형에서 찾아낼 수 있다. 얼굴의 정점 및 랜드마크 검출을 위해 딥러닝 기반의 컨볼루션 신경망을 활용할 수 있다. 컴퓨터 비전에서 많이 쓰이는 68개 랜드마크와 같이 4만~6만개의 점은 각각 얼굴에서의 특정한 영역을 담당할 수 있다. 예를 들면 ID: 1인 정점이 눈에 해당되는 경우 얼굴 정렬 과정에서 항상 눈 쪽으로 배치가 될 수 있다. 이런 방법으로 사용자 또는 전문인이 한 얼굴 영역 내에서 특정한 영역을 지정하면 다른 사진에서도 해당 ID가 같은 정점 영역을 토대로 같은 영역을 찾아낼 수 있다.
프로세서(130)는 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 제 1 관심 영역과 제 2 관심 영역을 매칭시킨다(S130).
프로세서(130)는 매칭된 제 1 관심 영역과 제 2 관심 영역간 정합을 위한 정점을 선택하고, 선택된 정점을 기준으로 매칭된 제 2 관심 영역을 정렬하여 정합된 제 2 관심 영역으로 변환할 수 있다.
도 7을 참고하면, (a)에서와 같이 사용자가 제 1 관심영역(c)를 지정하면, (b)에서와 같이 제 1 관심영역과 대응되는 제 2 관심 영역(d)을 매칭할 수 있다. 또한 비교 분석을 위해 매칭영역(d)를 관심영역(c)에 대응되는 동일한 형태인 정합영역(e)로 변환할 수 있다. 변환된 정합영역(e)은 관심영역(c)과 좌표가 1대1로 대응되므로 비교분석이 용이하다.
프로세서(130)는 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 개별 특징 데이터 및 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 사용자 단말에 제공한다(S140).
본 발명은 전체적인 얼굴 피부 영역에 대한 분석이 아닌 지정된 또는 관심 영역에 대해 따로 피부 분석을 진행할 수 있으며 변화 전에 촬영된 사진에서 대응되는 영역을 변화 후의 사진에서 정확히 검출하여 정밀한 비교분석을 진행하고 분석 데이터를 시각화할 수 있다. 피부 변화 분석 결과 데이터는 시각화된 데이터를 포함할 수 있으며, 구체적인 예로 도8 및 도9에서 도시되는 내용을 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 분석 결과를 설명하는 도면이다.
(a)는 제1얼굴영상이고 (b)는 제2얼굴영상이며, 제1 관심 영역은 (c1), 제2 관심영역은 (c2)이다. (d1), (e1)은 분석을 위해 (c1)을 변환한 영상이고, (d2), (e2)는 분석을 위해 (c2)을 변환한 영상이다. 원본 영상에서 추출한 (c1), (c2)는 명암대비가 균일하지 않을 수 있으므로 명암값 분포를 재분배하는 작업인 히스토그램 평활화(histogram equalization)을 거쳐 (d1), (d2)의 형태로 변환되고, 다시 (e1), (e2)의 형태로 정규화(normalization)될 수 있다. 평활화 및 정규화를 거쳐 도 9와 같은 히스토그램 그래프를 생성할 수 있다. (f)는 (e1)과 (e2)의 차이를 표시한 영상이다.
프로세서(130)는 제1 관심영역(c1) 및 제2 관심영역(c2)에서 앞선 과정을 거쳐 생성한 히스토그램 그래프를 각각 개별 특징 데이터에 포함시킬 수 있다. 추가적으로 프로세서(130)는 정상 피부로 설정된 영역의 히스토그램 그래프와 관심영역의 히스토그램 그래프의 분포 차이를 구하기 위해 코릴레이션(correlation), 교차점(intersection) 또는 카이제곱(Chi-square)과 같은 히스토그램 비교 기법을 사용할 수 있고, 비교 결과 유사도가 낮을수록 피부상태가 나쁜 것으로 판단하며, 해당 데이터를 각각 개별 특징 데이터에 포함시킬 수 있다. 프로세서(130)는 정상피부로 설정된 영역과 관심영역간 히스토그램 비교를 통해 관심영역의 피부상태를 객관적으로 판단할 수 있고, 제1 관심영역과 제2관심영역간 히스토그램 비교를 통해 피부상태의 변화 정도를 판단하는 것도 가능하다.
도 9는 본 발명의 일 실시예에 따른 사용자 얼굴 피부 분석 방법에서 히스토그램을 설명하는 도면이다.
히스토그램이란 영상의 밝기값에 대한 분포를 보여주는 그래프로 영상분석을 위한 중요한 도구이다. 입력되는 영상의 히스토그램을 분석함으로써 영상의 밝기 구성, 명암의 대비 등에 대한 정보를 알 수 있으며 이를 피부 분석에 활용 가능하다.
시각화하는 과정의 경우 피부 특징 별로 점수를 주거나 히스토그램 분석을 이용할 수 있다. 히스토그램은 도9와 같이 픽셀 값의 분포를 나타낸 2차원 그래프이다. (a)는 변화 전 제 1 관심 영역의 피부 영상이고 (b)는 변화 후 제 2 관심 영역의 피부 영상이며 (c)는 피부 트러블이 없는 정상 피부의 영상이다. (a), (b), (c)의 픽셀 값의 분포를 (d)의 그래프상에 함께 표시하였다. 이를 통해 정상 피부의 히스토그램과 피부 트러블이 발생한 히스토그램, 스킨케어 후 피부의 히스토그램을 비교할 수 있다. 정상피부의 히스토그램 분포에 비해 얼마만큼 벗어나 있는지를 산출하여 차이값을 비정상적인 정도로 규정할 수 있다. 차이값이 높을수록 피부 상태가 안 좋다는 것을 의미한다.
사용자는 직접 전문의의 소견을 들을 필요 없이, 또는 일일이 과거 피부 정보를 기억할 필요 없이 용이하게 분석된 결과를 접할 수 있다. 따라서 단순히 전체 영역에서의 피부 상태를 측정하는 것보다는 본 발명을 이용하여 어떤 영역(Where), 어떻게(What), 언제(When) 이런 분석이 진행되었는지 효과적으로 기록하고 이를 충분히 활용하여 더욱 정밀하고 신뢰성 있는 피부 상태 분석을 진행할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 서버
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스
150: 입력모듈
200: 사용자 단말
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스
150: 입력모듈
200: 사용자 단말
Claims (13)
- 서버에 의해 수행되는 사용자 얼굴 피부 분석 방법에 있어서,
(a) 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하는 단계;
(b) 상기 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 상기 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하는 단계;
(c) 상기 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 상기 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 상기 제 1 관심 영역과 제 2 관심 영역을 매칭시키는 단계; 및
(d) 상기 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 상기 개별 특징 데이터 및 상기 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 상기 사용자 단말에 제공하는 단계;를 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 1 항에 있어서,
상기 (a)단계는 수신된 복수의 얼굴 영상을 입력으로 인공신경망을 이용한 얼굴 피부 분석 모델을 이용하여 삼차원 얼굴 모형을 생성하는 단계를 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 2 항에 있어서,
상기 삼차원 좌표 데이터는 상기 얼굴 피부 분석 모델을 통해 생성한 상기 삼차원 얼굴 모형의 정점의 삼차원 좌표 및 깊이 정보를 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 1 항에 있어서,
상기 (b) 단계는 미리 입력된 삼차원 얼굴 모형을 기초로 컨볼루션 신경망에 기반한 딥러닝 모델인 얼굴 피부 분석 모델을 통해 여드름, 다크서클, 홍조 영역 또는 모공 영역 중 하나 이상의 특징을 학습하여 피부 특징 영역을 추출하고, 상기 피부 특징 영역을 제1관심영역으로 지정하는 단계를 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 3 항에 있어서,
상기 (c)단계는 매칭된 상기 제 1 관심 영역과 상기 제 2 관심 영역간 정합을 위한 정점을 선택하고, 상기 선택된 정점을 기준으로 매칭된 상기 제 2 관심 영역을 정렬하여 정합된 제 2 관심 영역으로 변환하는 단계를 더 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 1 항에 있어서,
상기 개별 특징 데이터는 상기 제 1 관심 영역과 상기 제 2 관심 영역의 픽셀 값의 분포를 나타내는 2차원 그래프인 히스토그램 분석 데이터를 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 제 6 항에 있어서,
상기 (d)단계는 상기 제 1 관심 영역과 상기 제 2 관심 영역을 기설정된 정상 피부의 히스토그램과 차이를 기초로 비교 분석하는 단계를 더 포함하는 것인,
사용자 얼굴 피부 분석 방법. - 사용자 얼굴 피부 분석 서버에 있어서,
사용자 얼굴 피부 분석 프로그램이 저장된 메모리;
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 프로그램의 실행에 의해, 사용자 단말로부터 수신된 제 1 얼굴 영상과 제 2얼굴 영상을 기초로 삼차원 좌표 데이터를 포함하는 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 각각 생성하고,
상기 제 1 삼차원 얼굴 모형에서 사용자가 지정한 제 1 관심영역의 삼차원 좌표 데이터를 기초로 제 2 삼차원 얼굴 모형에서 상기 제 1 관심영역과 매칭되는 제 2 관심 영역을 특정하고,
상기 제 1 삼차원 얼굴 모형의 제 1 관심 영역과 상기 제 2 삼차원 얼굴 모형의 제 2 관심 영역의 삼차원 좌표 데이터 및 개별 특징 데이터에 기초하여 상기 제 1 관심 영역과 제 2 관심 영역을 매칭시키고,
상기 매칭된 제 1 관심 영역과 제 2 관심 영역에서 변화 데이터를 추출하여 비교 분석 데이터를 생성하고, 상기 개별 특징 데이터 및 상기 비교 분석 데이터를 포함하는 피부 변화 분석 결과 데이터를 생성하여 상기 사용자 단말에 제공하는 것인,
사용자 얼굴 피부 분석 서버. - 제 8 항에 있어서,
상기 프로세서는 상기 제 1 삼차원 얼굴 모형과 제 2 삼차원 얼굴 모형을 생성하는 경우,
상기 수신된 복수의 얼굴 영상을 입력으로 인공신경망을 이용한 얼굴 피부 분석 모델을 이용하여 삼차원 얼굴 모형을 생성하는 것인,
사용자 얼굴 피부 분석 서버. - 제 9 항에 있어서,
상기 삼차원 좌표 데이터는 상기 얼굴 피부 분석 모델을 통해 생성한 상기 삼차원 얼굴 모형의 정점의 삼차원 좌표 및 깊이 정보를 포함하는 것인,
사용자 얼굴 피부 분석 서버. - 제 8 항에 있어서,
상기 프로세서는 상기 제 1 삼차원 얼굴 모형에서 제 1 관심영역을 지정하기 위해 미리 입력된 삼차원 얼굴 모형을 기초로 컨볼루션 신경망에 기반한 딥러닝 모델인 얼굴 피부 분석 모델을 통해 여드름, 다크서클, 홍조 영역 또는 모공 영역 중 하나 이상의 특징을 학습하여 피부 특징 영역을 추출하고, 상기 피부 특징 영역을 제1관심영역으로 지정하는 것인,
사용자 얼굴 피부 분석 서버. - 제 10 항에 있어서,
상기 프로세서는 상기 제 1 관심 영역과 제 2 관심 영역을 매칭시킨 후, 매칭된 상기 제 1 관심 영역과 상기 제 2 관심 영역간 정합을 위한 정점을 선택하고, 상기 선택된 정점을 기준으로 매칭된 상기 제 2 관심 영역을 정렬하여 정합된 제 2 관심 영역으로 변환하는 것인,
사용자 얼굴 피부 분석 서버. - 제 1 항에 따르는 사용자 얼굴 피부 분석 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190169268A KR102356465B1 (ko) | 2019-12-17 | 2019-12-17 | 사용자 얼굴 피부 분석 방법 및 서버 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190169268A KR102356465B1 (ko) | 2019-12-17 | 2019-12-17 | 사용자 얼굴 피부 분석 방법 및 서버 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20210077533A true KR20210077533A (ko) | 2021-06-25 |
| KR102356465B1 KR102356465B1 (ko) | 2022-01-27 |
| KR102356465B9 KR102356465B9 (ko) | 2023-11-13 |
Family
ID=76629221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190169268A KR102356465B1 (ko) | 2019-12-17 | 2019-12-17 | 사용자 얼굴 피부 분석 방법 및 서버 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102356465B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113499036A (zh) * | 2021-07-23 | 2021-10-15 | 厦门美图之家科技有限公司 | 皮肤监测方法、装置、电子设备及计算机可读存储介质 |
| KR102465728B1 (ko) | 2022-06-28 | 2022-11-15 | 주식회사 룰루랩 | 다크서클을 검출하여 다크서클의 정도를 정량화하는 방법 및 장치 |
| WO2023224298A1 (ko) * | 2022-05-20 | 2023-11-23 | 주식회사 패스트레인 | 카메라 모듈을 이용한 클라우드 기반 피부 분석 시스템 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023152007A1 (en) * | 2022-02-14 | 2023-08-17 | Mvm Enterprises Gmbh | System and method for monitoring human skin |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170143164A (ko) * | 2016-06-21 | 2017-12-29 | (주) 옵토바이오메드 | 3d 얼굴 모델링을 통한 피부 분석 진단 시스템 |
| KR20180061629A (ko) * | 2016-11-30 | 2018-06-08 | 성균관대학교산학협력단 | 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치 |
| KR20190084771A (ko) | 2018-01-09 | 2019-07-17 | 주식회사 룰루랩 | 피부 상태 측정용 모듈 |
| KR20190089789A (ko) * | 2019-07-11 | 2019-07-31 | 엘지전자 주식회사 | 인공 지능을 이용하여, 사용자의 피부를 관리하는 광 출력 기기 및 그의 동작 방법 |
-
2019
- 2019-12-17 KR KR1020190169268A patent/KR102356465B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170143164A (ko) * | 2016-06-21 | 2017-12-29 | (주) 옵토바이오메드 | 3d 얼굴 모델링을 통한 피부 분석 진단 시스템 |
| KR20180061629A (ko) * | 2016-11-30 | 2018-06-08 | 성균관대학교산학협력단 | 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치 |
| KR20190084771A (ko) | 2018-01-09 | 2019-07-17 | 주식회사 룰루랩 | 피부 상태 측정용 모듈 |
| KR20190089789A (ko) * | 2019-07-11 | 2019-07-31 | 엘지전자 주식회사 | 인공 지능을 이용하여, 사용자의 피부를 관리하는 광 출력 기기 및 그의 동작 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113499036A (zh) * | 2021-07-23 | 2021-10-15 | 厦门美图之家科技有限公司 | 皮肤监测方法、装置、电子设备及计算机可读存储介质 |
| WO2023224298A1 (ko) * | 2022-05-20 | 2023-11-23 | 주식회사 패스트레인 | 카메라 모듈을 이용한 클라우드 기반 피부 분석 시스템 및 방법 |
| KR102465728B1 (ko) | 2022-06-28 | 2022-11-15 | 주식회사 룰루랩 | 다크서클을 검출하여 다크서클의 정도를 정량화하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102356465B1 (ko) | 2022-01-27 |
| KR102356465B9 (ko) | 2023-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102356465B1 (ko) | 사용자 얼굴 피부 분석 방법 및 서버 | |
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| JP6837597B2 (ja) | 能動学習のシステム及び方法 | |
| US20170270350A1 (en) | Method and system for assessing facial skin health from a mobile selfie image | |
| US9750420B1 (en) | Facial feature selection for heart rate detection | |
| JP5024067B2 (ja) | 顔認証システム、方法及びプログラム | |
| US20180279943A1 (en) | System and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions | |
| KR101381033B1 (ko) | 스펙트럼 영상 데이터를 이용하여 3ｄ ｒｇｂ 모델을 생성하는 피부 관리 분석 시스템 | |
| EP3680794A1 (en) | Device and method for user authentication on basis of iris recognition | |
| CN109887077B (zh) | 用于生成三维模型的方法和装置 | |
| Hu et al. | Color correction parameter estimation on the smartphone and its application to automatic tongue diagnosis | |
| JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| JP2016134803A (ja) | 画像処理装置及び画像処理方法 | |
| KR102347551B1 (ko) | 얼굴 이미지 분석에 기반한 얼굴 상태 정보 제공 방법, 장치 및 시스템 | |
| Vrânceanu et al. | Gaze direction estimation by component separation for recognition of eye accessing cues | |
| US20210361897A1 (en) | Apparatus and method for selecting positive airway pressure mask interface | |
| JP6795243B1 (ja) | 鼻紋照合装置および方法並びにプログラム | |
| WO2019093878A2 (en) | Marker element and application method with ecg | |
| CN111275754B (zh) | 一种基于深度学习的脸部痘印比例计算方法 | |
| EP3699865B1 (en) | Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium | |
| US20230284968A1 (en) | System and method for automatic personalized assessment of human body surface conditions | |
| US11887331B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| CN113436735A (zh) | 基于人脸结构度量的体重指数预测方法、设备和存储介质 | |
| US20220335252A1 (en) | Method and system for anonymizing facial images | |
| KR102495889B1 (ko) | 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |