KR102180922B1 - 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스 - Google Patents

멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스 Download PDF

Info

Publication number
KR102180922B1
KR102180922B1 KR1020200044503A KR20200044503A KR102180922B1 KR 102180922 B1 KR102180922 B1 KR 102180922B1 KR 1020200044503 A KR1020200044503 A KR 1020200044503A KR 20200044503 A KR20200044503 A KR 20200044503A KR 102180922 B1 KR102180922 B1 KR 102180922B1
Authority
KR
South Korea
Prior art keywords
user
skin
skin disease
user face
analysis
Prior art date
Application number
KR1020200044503A
Other languages
English (en)
Inventor
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to KR1020200044503A priority Critical patent/KR102180922B1/ko
Application granted granted Critical
Publication of KR102180922B1 publication Critical patent/KR102180922B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Abstract

본 발명은 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스에 대한 것이다.
본 발명에 따른 피부 질환 분석 디바이스는 멀티모달 센서 어셈블리를 포함하여 미용학적 피부 상태 분석 뿐만 아니라 의학적 피부 질환 항목에 대한 진단을 할 수 있고, 그에 따른 맞춤 제품 추천과 처방 및 관리 추적을 할 수 있으며, 분산형 엣지 컴퓨팅을 기반으로 하여 보안성이 뛰어나고 피부 상태 분석 및 진단 속도가 빠르다.

Description

멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스 {Distributed edge computing-based skin disease analyzing device comprising multi-modal sensor module}
본 발명은 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스에 대한 것이다.
구체적으로, 본 발명은 멀티모달 센서 어셈블리를 포함하여 미용학적 피부 상태 분석 뿐만 아니라 의학적 피부 질환 항목에 대한 진단을 할 수 있고, 그에 따른 맞춤 제품 추천과 처방 및 관리 추적을 할 수 있으며, 분산형 엣지 컴퓨팅을 기반으로 하여 보안성이 뛰어나고 피부 상태 분석 및 진단 속도가 빠른 피부 질환 분석 디바이스에 대한 것이다.
근래에는 미에 대한 관심이 증가하면서, 사용자 얼굴의 피부 미용에 대한 관심이 높아지고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 항목(예를 들어, 주름, 모공 및 여드름 등) 들을 분석하는 피부 상태 측정 장치가 개발되고 있다.
종래의 피부 상태 분석 장치 및 시스템은 포터블 혹은 논-포터블 디바이스를 통해 측정된 사용자 얼굴 이미지를 클라우드 서버로 전송한 후, 클라우드 시스템 내의 분석 모델을 통해 분석된 결과를 사용자에게 제공하는 클라우드 기반 2-레이어 시스템이 주류를 이루고 있는데, 상기 클라우드 기반 피부 상태 분석 장치 및 시스템은 개인 정보의 노출 등의 보안 문제나 데이터 처리 속도의 저하 문제 등 다양한 문제점을 가지고 있다.
한편, 종래의 피부 상태 측정 장치 및 시스템은 미용학적 피부 상태 분석 항목인 모공, 피지, 주름, 색소 침착 또는 홍조 등에 대한 측정만이 가능하고, 아토피, 건선, 여드름 또는 백반증 등의 주요 피부 질환 항목에 대한 분석은 기술적 한계가 있다.
또한, 최근 딥 러닝이나 머신 러닝 등의 인공지능 모델을 적용하여 피부 상태를 측정하거나 분석하는 장치들이 개발되고 있으나, 신뢰성 높은 수준의 피부 질환 진단을 수행하고, 그에 따른 맞춤 제품을 추천하거나 처방 및 관리 가이드를 종합적으로 제공하여 전문 피부과 의원 등의 장소에서 이용될 수 있는 피부 질환 분석 디바이스의 개발에 대해서는 여전한 기술적 과제가 있다.
대한민국 공개특허공보 10-2011-0094645
본 발명은 미용학적 피부 상태 분석 뿐만 아니라 의학적 피부 질환 항목에 대한 진단을 수행할 수 있고, 그에 따른 맞춤 제품 추천과 처방 및 관리 추적을 수행할 수 있는 피부 질환 분석 디바이스를 제공한다.
본 발명은 또한, 생활 습관에 따른 피부 상태 시뮬레이션 결과를 제공할 수 있는 피부 질환 분석 디바이스를 제공한다.
본 발명은 더욱이, 사용자 관련 정보에 대한 보안이 우수하고, 데이터 처리 속도가 개선되어 빠른 속도로 피부 상태 분석 및 피부 질환 항목에 대한 진단을 수행할 수 있으며, 피부 상태 시뮬레이션 결과를 제공할 수 있는 피부 질환 분석 디바이스를 제공한다.
본 발명은 상기 과제를 해결하기 위하여 안출 된 것으로써, 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스에 대한 것이다.
상기 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스는, 사용자의 얼굴을 고정시킬 수 있도록 설계된 머리 고정부 및 턱 고정부를 가지는 안면 내삽 영역; 상기 안면 내삽 영역에 위치하고, 2차원 사용자 얼굴 이미지, 사용자 얼굴에 대한 IR 온도맵 이미지, 및 3차원 사용자 얼굴 좌표값 이미지를 획득하도록 설계된 멀티모달 센서 어셈블리를 포함하여, 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석을 위한 제 1 내지 제 3 사용자 얼굴 이미지를 획득하는 촬영부; 상기 안면 내삽 영역에 위치하고, 상기 제 1 내지 제 3 사용자 얼굴 이미지 획득 시 소정 파장의 광을 발광하는 광원부; 상기 촬영부에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고, 상기 촬영부에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계된 프로세서 및 사용자의 동의 시 사용자 피부 관련 데이터를 외부 클라우드 서버로 전송하는 네트워킹 모듈;을 포함하는 엣지 컴퓨팅부; 및 상기 엣지 컴퓨팅부에 의해 분석된 사용자 피부 상태 분석 결과 및 피부 질환 진단 항목 분석 결과를 사용자에게 제공하는 디스플레이부;를 포함한다.
하나의 예시에서, 상기 멀티모달 센서 어셈블리는 200만 화소 이상의 화소수를 가지는 2차원 사용자 얼굴 이미지를 획득하는 이미지 센서 모듈, 사용자 얼굴에 대한 IR 온도맵 이미지를 획득하는 IR 온도 센서 모듈 및 3차원 사용자 얼굴 좌표값 이미지를 획득하는 3D ToF 센서 모듈을 포함할 수 있다. 이 경우, 제 1 사용자 얼굴 이미지는 2차원 사용자 얼굴 이미지이고, 제 2 사용자 얼굴 이미지는 사용자 얼굴에 대한 IR 온도맵 이미지이며, 제 3 사용자 얼굴 이미지는 3차원 사용자 얼굴 좌표값 이미지일 수 있다.
하나의 예시에서, 상기 엣지 컴퓨팅부의 프로세서는 상기 3D ToF 센서 모듈에 의해 획득된 3차원 사용자 얼굴 좌표값 이미지를 기반으로 획득된 상기 안면 내삽 영역에 위치하는 사용자의 안면 각도가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 각도 변경 제안을 수행하도록 설계될 수 있다.
하나의 예시에서, 상기 광원부는 백색광을 발광하는 제 1 발광 소자 및 UV광을 발광하는 제 2 발광 소자를 포함하는 포함할 수 있다.
하나의 예시에서, 상기 엣지 컴퓨팅부의 프로세서는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 적용하여 획득된 제 1 사용자 얼굴 이미지에 대한 얼굴 특징맵을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고, 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델을 적용하여 획득된 제 1 및 제 2 사용자 얼굴 이미지에 대한 얼굴 특징맵을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계될 수 있다.
하나의 예시에서, 상기 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델 및 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델은 각각 개별적으로 서로 같거나 다른 인셉션(Inception) V3 모듈을 사용한 딥 러닝 알고리즘이 적용될 수 있다.
하나의 예시에서, 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델은 제 1 및 제 2 사용자 얼굴 이미지 각각을 인코딩한 후, 인코딩된 제 1 및 제 2 사용자 얼굴 이미지를 컨케터네이트(concatenate)하여 단일 얼굴 특징맵 형성을 위한 디코딩을 수행할 수 있다.
하나의 예시에서, 상기 엣지 컴퓨팅부의 프로세서는 피부 상태가 개선된 사용자 얼굴 이미지, 피부 질환이 개선된 사용자 얼굴 이미지 및 생활 습관 변화에 따른 사용자 얼굴 이미지에 대한 시뮬레이션 결과를 상기 디스플레이를 통해 사용자에게 제공하도록 설계될 수 있다.
하나의 예시에서, 상기 엣지 컴퓨팅부의 프로세서는 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석 결과를 기반으로 피부 상태 개선 및 처방에 관한 솔루션을 상기 디스플레이를 통해 사용자에게 제공하도록 설계될 수 있다.
하나의 예시에서, 상기 엣지 컴퓨팅부의 프로세서는 피부 상태 분석 항목 및 피부 질환 진단 항목의 대상이 되는 특징 병변의 위치, 병변의 발생 기간, 병변의 중증도, 신규 병변 발생 부위, 병변 변화 기록 추이 및 제품 사용 정보를 포함하는 진단 히스토리를 상기 디스플레이를 통해 사용자에게 제공하도록 설계될 수 있다.
본 발명에 따른 피부 질환 분석 디바이스는 멀티모달 센서 어셈블리를 이용하여 획득한 사용자 이미지를 바탕으로 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 적용함으로써, 사용자의 미용학적 피부 상태 및 의학적 피부 질환 항목에 대한 분석을 전문의의 시진 및 촉진보다 더 정확하게 수행할 수 있다.
본 발명에 따른 피부 질환 분석 디바이스는 또한, 분산형 엣지 컴퓨팅을 기반으로 하여 우수한 보안성과 빠른 진단 속도를 가질 수 있다.
본 발명에 따른 피부 질환 분석 디바이스는 또한, 피부 상태의 개선 이미지나 생활 습관 변화에 따른 사용자 얼굴 이미지에 대한 시뮬레이션 결과를 사용자에게 제공함으로써 사용자와의 상호작용을 극대화 시킬 수 있다.
본 발명에 따른 피부 질환 분석 디바이스는 더욱이, 미용학적 피부 상태 및 의학적 피부 질환 항목에 대한 분석 결과에 따라 개선 및 처방을 위한 맞춤 솔루션을 제공하여 피부 상태에 대한 개선 및 치료 효과를 월등히 향상시킬 수 있고, 관련 진단 히스토리를 제공함으로써 사용자의 피부 상태에 대한 추적 관리의 용이성을 확보할 수 있다.
물론, 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명에 따른 피부 질환 분석 디바이스의 구성을 구체적으로 설명하기 위한 블록도이다.
도 2는 본 발명에 따른 피부 질환 분석 디바이스에 적용되는 분산형 엣지 컴퓨팅 시스템에 대한 계층을 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델의 일 예시를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 피부 질환 분석 디바이스의 디스플레이부에서 사용자의 진단 히스토리를 제공하는 것을 구체적으로 설명하기 도면이다.
이하, 본 발명에 대하여, 도면 및 예시를 들어 보다 구체적으로 설명한다.
본 명세서에서, 단수의 표현은 달리 명시하지 않는 한 복수의 표현을 포함한다.
본 명세서에서 사용되는 용어는, 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소는 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 프로세서에 의해 동작되고 제어될 수 있다.
이하, 첨부한 도면을 참조하여 본 발명에 따른 피부 질환 분석 디바이스를 보다 구체적으로 설명한다.
본 발명에 따른 피부 질환 분석 디바이스는 사용자가 소정 형상의 기기 내부로 얼굴을 고정 위치시킨 후, 카메라에 의해 촬영된 얼굴 이미지를 바탕으로 피부 상태 및 질환 여부를 분석하는 기기이다.
본 발명에 따른 피부 질환 분석 디바이스는, 멀티모델 센서 모듈에 의해 획득된 복수의 사용자 얼굴 이미지와 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 바탕으로 미용학적 피부 상태에 대한 분석은 물론이고, 의학적 피부 진단도 수행할 수 있으며, 생활 습관에 따른 시뮬레이션 모델, 피부 개선 및 처방을 위한 솔루션 제공 및 진단 히스토리의 제공이 가능하다.
본 발명에 따른 피부 질환 분석 디바이스는, 또한, 디바이스 내에 존재하는 엣지 컴퓨팅부에 의해 정보의 저장, 분석, 처리 및 제공을 수행하고, 상기 엣지 컴퓨팅부가 디바이스와 외부 클라우드 서버를 연계하는 3-레이어 구조의 엣지 컴퓨팅 시스템을 기반으로 하고 있어, 정보의 보안성 및 데이터 처리의 신속성 측면에서 다른 기기보다 우수하다.
도 1은 본 발명에 따른 피부 질환 분석 디바이스의 구성을 구체적으로 설명하기 위한 블록도이다.
도 1에 도시되어 있는 바와 같이, 본 발명에 따른 피부 질환 분석 디바이스(1)는 사용자의 얼굴을 고정시킬 수 있도록 설계된 머리 고정부(101) 및 턱 고정부(102)를 가지는 안면 내삽 영역(100); 안면 내삽 영역(100)에 위치하고, 2차원 사용자 얼굴 이미지, 사용자 얼굴에 대한 IR 온도맵 이미지, 및 3차원 사용자 얼굴 좌표값 이미지를 획득하도록 설계된 멀티모달 센서 어셈블리를 포함하여, 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석을 위한 제 1 내지 제 3 사용자 얼굴 이미지를 획득하는 촬영부(200); 안면 내삽 영역(100)에 위치하고, 상기 제 1 내지 제 3 사용자 얼굴 이미지 획득 시 소정 파장의 광을 발광하는 광원부(300); 촬영부(200)에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고, 촬영부(200)에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계된 프로세서(401) 및 사용자의 동의 시 사용자 피부 관련 데이터를 외부 클라우드 서버(2)로 전송하는 네트워킹 모듈(402);을 포함하는 엣지 컴퓨팅부(400); 및 엣지 컴퓨팅부(400)에 의해 분석된 사용자 피부 상태 분석 결과 및 피부 질환 진단 항목 분석 결과를 사용자에게 제공하는 디스플레이부(500);를 포함한다.
안면 내삽 영역(100)은 사용자의 얼굴 안면 부위를 고정 위치시키는 역할을 수행하는 영역으로써, 일반적인 논-포터블 피부 상태 진단 디바이스가 구비하고 있는 얼굴 고정 및 촬영 영역을 의미한다.
안면 내삽 영역(100)은 머리 고정부(101) 및 턱 고정부(102)를 포함한다.
머리 고정부(101) 및 턱 고정부(102)는 각각 사용자의 머리 상단부 (이마 부위) 및 턱 부위를 고정시키는 역할을 수행하는 구성으로써, 공지의 논-포터블 피부 상태 진단 디바이스가 일반적으로 가지는 형상 및 모양이면 좋고, 그 구조는 특별히 제한되지 않는다.
안면 내삽 영역(100)의 내부에는 촬영부(200)가 위치한다.
촬영부(200)는 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석을 위한 제 1 내지 제 3 사용자 얼굴 이미지를 획득하는 역할을 수행하는 구성으로써, 멀티모달 센서 어셈블리를 포함하는데, 상기 멀티모달 센서 어셈블리는 2차원 사용자 얼굴 이미지, 사용자 얼굴에 대한 IR 온도맵 이미지 및 3차원 사용자 얼굴 좌표값 이미지를 획득하도록 설계된다.
보다 구체적으로, 멀티모달 센서 어셈블리는 200만 화소 이상의 화소수를 가지는 2차원 사용자 얼굴 이미지를 획득하는 이미지 센서 모듈, 사용자 얼굴에 대한 IR 온도맵 이미지를 획득하는 IR 온도 센서 모듈 및 3차원 사용자 얼굴 좌표값 이미지를 획득하는 3D ToF 센서 모듈을 포함할 수 있다. 이 경우, 촬영부(200)에 의해 획득되는 제 1 사용자 얼굴 이미지는 2차원 사용자 얼굴 이미지이고, 제 2 사용자 얼굴 이미지는 사용자 얼굴에 대한 IR 온도맵 이미지이며, 제 3 사용자 얼굴 이미지는 3차원 사용자 얼굴 좌표값 이미지일 수 있다.
상기 멀티모달 센서 어셈블리에 포함되는 이미지 센서 모듈은 고화질의 2차원 사용자 얼굴 이미지를 획득하는 구성으로써, FHD 또는 UHD급이상의 고화질 2차원 사용자 얼굴 이미지를 획득하기 위해 200만 화소 또는 800만 화소 이상의 화소수를 가지는 이미지 센서 모듈 일 수 있다. 상기 이미지 센서 모듈에 의해 획득되는 고화질의 2차원 사용자 얼굴 이미지는 피부 상태 분석 항목이나 피부 질환 진단 항목에 대한 분석에 이용될 수 있다.
상기 멀티모달 센서 어셈블리에 포함되는 IR 온도 센서 모듈은 사용자 얼굴에 대한 IR 온도맵 이미지를 획득하는 구성으로써, 비접촉 방식으로 사용자 얼굴 영역별 온도맵을 획득한다. 상기 IR 온도 센서 모듈로부터 획득되는 IR 온도맵 이미지는 아토피, 건선, 여드름 및 두드러기 등 온열감으로 구분 가능한 피부 질환 진단 항목에 대한 분석에 이용될 수 있다.
상기 멀티모달 센서 어셈블리에 포함되는 3D ToF 센서 모듈은 조명 신호의 왕복 시간 거리 측정을 기반으로 사용자 얼굴 이미지의 각 지점과 촬영부 사이의 거리를 분석하여 3차원 사용자 얼굴 좌표값 이미지를 획득하는 구성으로써, 상기 3D ToF 센서 모듈 및 이로부터 획득되는 3차원 사용자 얼굴 좌표값 이미지는 사용자 얼굴 촬영 시 안면 각도에 대한 분석과 사용자 얼굴 이미지에 대한 시뮬레이션 결과에 대한 분석에 이용될 수 있다.
본 발명에 따른 촬영부(200)는 상기와 같은 멀티모델 센서 어셈블리를 포함하여 제 1 내지 제 3 사용자 얼굴 이미지를 획득한다. 또한, 상기 제 1 내지 제 3 사용자 얼굴 이미지는 후술하는 엣지 컴퓨팅부의 프로세서에서 구현되는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델의 로-데이터(Raw-data)로 이용되어 피부 상태 분석 및 피부 질환 진단 항목 분석의 기초 자료로 활용될 수 있다.
안면 내삽 영역(100)의 내부에는 또한, 광원부(300)가 위치한다.
광원부(300)는 상기 제 1 내지 제 3 사용자 얼굴 이미지 획득 시 소정 파장의 광을 발광한다.
광원부(300)는 사용자의 얼굴을 향해 광을 제공할 수 있는 것으로써, 백색광 발광 광원 및 UV광 발광 광원을 각각 적어도 하나 이상 포함할 수 있다.
구체적으로, 광원부(300)는, 백색광을 발광하는 제 1 발광 소자 및 UV광을 발광하는 제 2 발광 소자를 포함할 수 있다. 상기 백색광을 발광하는 발광 소자는, 예를 들면 적색광 형광체, 녹색광 형광체 및 청색광 형광체를 포함할 수 있다.
본 발명에 따른 피부 질환 분석 디바이스는 분산형 엣지 컴퓨팅 기반 시스템을 가지는 것으로써, 엣지 컴퓨팅부(400)를 포함한다.
구체적으로, 도 2에 도시되어 있는 바와 같이, 본 발명에 따른 피부 질환 분석 디바이스를 통한 사용자 피부 질환 분석 시스템은 사용자 얼굴 이미지를 획득하는 계층(1-layer); 상기 사용자 얼굴 이미지를 획득하는 계층(1-layer)로부터 제공되는 정보를 저장, 처리, 가공, 분석 및 전송하는 엣지 컴퓨팅부(400)를 포함하는 계층(2-layer); 및 상기 엣지 컴퓨팅부(400)의 네트워킹부(402)를 매개로 사용자 얼굴 이미지 분석을 위한 정보나 사용자 관련 정보를 사용자의 요청이나 동의 하에 송수신 받는 외부 클라우드 서버(2)를 포함하는 계층(3-layer)로 이루어진다. 이와 같은 분산형 엣지 컴퓨팅 기반 시스템은 보안과 데이터 처리의 속도 측면에서 클라우드 시스템 대비 월등히 우수하다.
엣지 컴퓨팅부(400)는 데이터의 획득, 저장, 처리, 가공, 분석 및 전송을 제어하는 프로세서(401) 및 프로세서(401)의 제어와 사용자의 동의 하에 외부 클라우드 서버(2)와 데이터 송수신을 수행하는 네트워킹 모듈(402)를 포함한다.
프로세서(401)는 촬영부(200)에 의해 획득된 데이터, 구체적으로 제 1 내지 제 3 사용자 얼굴 이미지를 이용하여 피부 상태 분석 항목과 피부 질환 진단 항목에 대한 분석 결과를 사용자에게 제공하도록 설계된 구성으로써, 외부 클라우드 서버(2)와의 별도 네트워킹이 없어도 자체적으로 피부 상태 분석 항목과 피부 질환 진단 항목에 대한 분석 결과를 사용자에게 제공하고, 이를 위한 피부 질환 분석 디바이스(1) 각 구성의 동작을 제어하는 역할을 수행한다.
즉, 프로세서(401)는 촬영부(200)에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고, 촬영부(200)에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계된다.
하나의 예시에서, 프로세서(401)는 제 1 내지 제 3 사용자 얼굴 이미지를 이용한 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 통해 피부 상태 분석 항목 및 피부 질환 진단 항목에 대한 분석을 수행할 수 있다.
구체적으로, 프로세서(401)는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 적용하여 획득된 2차원 사용자 얼굴 이미지에 대한 얼굴 특징맵을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하도록 설계될 수 있다.
보다 구체적으로, 프로세서(401)는 상기 2차원 사용자 얼굴 이미지로부터 얼굴 영역을 추출한 후, 추출된 얼굴 영역에 대해 특징 추출을 위한 인코딩과 픽셀별 클래스 값이 설정된 얼굴 특징맵을 획득하기 위한 디코딩을 수행하여 획득한 얼굴 특징맵을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하도록 설계될 수 있다. 상기 특징 추출 및 픽셀별 클래스 값은 각 피부 상태 분석 항목별로 기 설정된 데이터 및 알고리즘을 이용하여 수행될 수 있다. 상기 피부 상태 분석 항목에 대한 분석에 이용되는 딥러닝 모델은, 예를 들면 인셉션(Inception) V3 모듈을 사용한 딥 러닝 알고리즘이 적용될 수 있으나, 이에 제한되는 것은 아니다.
또 다른 예시에서, 프로세서(401)는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델을 적용하여 획득된 2차원 사용자 얼굴 이미지 및 사용자 얼굴에 대한 IR 온도맵 이미지에 대한 얼굴 특징맵을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계될 수 있다.
보다 구체적으로, 프로세서(401)는 상기 2차원 사용자 얼굴 이미지 및 사용자 얼굴에 대한 IR 온도맵 이미지 각각을 인코딩한 후, 인코딩된 이미지 사이를 컨케터네이트(concatenate)하여 단일 얼굴 특징맵 형성을 위한 디코딩을 수행한 후, 이를 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계될 수 있다.
상기 피부 질환 진단 항목의 분석에 이용되는 딥러닝 모델은, 예를 들면 상기 피부 상태 분석에서 이용되는 딥러닝 모델에 적용되는 알고리즘과 상이한 것으로써 인셉션(Inception) V3 모듈을 사용한 딥 러닝 알고리즘이 적용될 수 있으나, 이에 제한되는 것은 아니다.
하나의 일 예시에서, 도 3에 도시되어 있는 바와 같이, 본 발명에 따른 피부 질환 진단 항목의 분석에 이용되는 멀티모달 딥러닝 모델은 2차원 사용자 얼굴 이미지 및 사용자 얼굴에 대한 IR 온도맵 이미지 각각에 대한 컨볼루셔널 연산, 엑셉션(Xception) 연산 및 및 리씽커(Rethinker) 연산을 수행하여 각 이미지에 대한 개별적인 인코딩을 수행한 후, 인코딩 이미지에 대한 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링 후 컨케터네이트(concatenate)하는 디코딩을 수행함으로써 단일 얼굴 특징맵을 획득하는 알고리즘이 적용될 수 있다.
한편, 프로세서(401)에서 적용되는 딥러닝 모델은 엣지 컴퓨팅부(400)의 메모리부에 저장되어 있을 수 있는데, 상기 메모리부에 저장되어 있는 딥러닝 모델은 엣지 컴퓨팅부(400)의 네트워킹부(402)를 매개로 외부 클라우드 서버(2)로부터 제공받거나 정기적 업데이트 될 수 있다.
엣지 컴퓨팅부(400)의 프로세서(401)는 또한, 사용자 얼굴 이미지를 획득하기 위한 촬영부(200)의 동작 시 사용자 얼굴의 안면 각도가 기 설정된 값을 벗어나는지 여부를 확인한 후, 이에 대한 조치를 취할 수 있도록 설계되어 보다 정확한 사용자 얼굴 이미지를 획득하기 위한 역할을 수행할 수 있다.
하나의 예시에서, 엣지 컴퓨팅부(400)의 프로세서(401)는 상기 3D ToF 센서 모듈에 의해 획득된 3차원 사용자 얼굴 좌표값 이미지를 기반으로 획득된 상기 안면 내삽 영역에 위치하는 사용자의 안면 각도가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 각도 변경 제안을 수행하도록 설계될 수 있다. 상기 사용자에 대한 얼굴 각도 변경 제안은, 예를 들면 디스 플레이(500) 상에 문자나 이미지의 형태로 사용자에게 제공되는 방식이 이용될 수도 있고, 또는 별도의 음성 출력부를 매개로 사용자에게 음성 신호로 제공되는 방식이 이용될 수도 있다.
엣지 컴퓨팅부(400)의 프로세서(401)는 또한, 사용자 얼굴 이미지를 이용하여 피부 상태 분석 항목 및 피부 질환 진단 항목에 대한 분석을 수행하고 정확한 사용자 얼굴 이미지 획득을 위해 사용자에게 얼굴 각도 변경 제안을 수행하는 것 이외에 피부 상태 개선, 피부 질환 개선 및 생활 습관에 따른 얼굴 이미지 변화에 대한 시뮬레이션 결과를 사용자에게 제공하도록 설계될 수 있다.
하나의 예시에서, 엣지 컴퓨팅부(400)의 프로세서(401)는 피부 상태가 개선된 사용자 얼굴 이미지, 피부 질환이 개선된 사용자 얼굴 이미지 및 생활 습관 변화에 따른 사용자 얼굴 이미지에 대한 시뮬레이션 결과를 디스플레이(500)를 통해 사용자에게 제공하도록 설계될 수 있다. 상기 생활 습관 변화에 따른 사용자 얼굴 이미지는, 예를 들면 정상 노화 이미지, 흡연 여부에 따른 사용자 얼굴 이미지, 비만 여부에 따른 사용자 얼굴 이미지 또는 자외선 노출 정도에 따른 사용자 얼굴 이미지 등이 예시될 수 있다.
엣지 컴퓨팅부(400)의 프로세서(401)는 또한, 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석 결과를 기반으로 피부 상태 개선 및 처방에 관한 솔루션을 사용자에게 제공하도록 설계될 수 있다. 사용자에게 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석 결과를 기반으로 피부 상태 개선 및 처방에 관한 솔루션을 제공하는 방식은, 예를 들면 엣지 컴퓨팅부(400)의 메모리부에 저장되어 있는 피부 상태 분석 및 피부 질환 진단 항목별 카테고리화된 추천 제품 DB를 포함하는 피부 개선 및 처방 솔루션을 이용하는 방식 등이 이용될 수 있다. 상기 피부 질환 진단 항목별 카테고리화된 추천 제품 DB를 포함하는 피부 개선 및 처방 솔루션은, 예를 들면 네트워킹부(402)를 매개로 외부 클라우드 서버(2)로부터 정기적 업데이트 될 수 있다.
엣지 컴퓨팅부(400)의 프로세서(401)에 의해 분석된 사용자 피부 상태 분석 결과 및 피부 질환 항목 분석 결과는 디스플레이부(500)를 통해 사용자에게 제공되는데, 그 제공 방식은, 예를 들면 사용자 얼굴 이미지와 함께 각 피부 상태 분석 항목 및 피부 질환 진단 항목별 정량 혹은 정성 지표, 발병 기간이나 위치, 발병 위치별 개선 혹은 악화 상태 등이 시각적으로 이미지화 혹은 그래프화 되어 제공될 수 있다. 이 때, 엣지 컴퓨팅부(400)의 프로세서(401)는 해당 사용자의 진단 히스토리에 따른 피부 상태 및 대상 피부 질환의 변화 추이를 이미지 혹은 그래프 형태로 제공할 수 있다.
하나의 예시에서, 도 4에 도시되어 있는 바와 같이, 엣지 컴퓨팅부(400)의 프로세서(401)는, 피부 상태 분석 항목 및 피부 질환 진단 항목의 대상이 되는 특징 병변의 위치, 병변의 발생 기간, 병변의 중증도, 신규 병변 발생 부위, 병변 변화 기록 추이 및 제품 사용 정보를 포함하는 진단 히스토리를 디스플레이(500)를 통해 사용자에게 제공하도록 설계될 수 있다.
사용자에 대한 상기 진단 히스토리는, 예를 들면 엣지 컴퓨팅부(400)의 메모리부에 저장되어 있을 수 있다. 한편, 상기 메모리부에 저장되어 있는 진단 히스토리는 사용자의 동의 하에 엣지 컴퓨팅부(400)의 네트워킹 모듈(402)을 매개로 외부 클라우드 서버(2)로 전송된다.
엣지 컴퓨팅부(400)는 외부 클라우드 서버(2)와 데이터 송수신을 수행하는 네트워킹 모듈(402)를 포함하는데, 네트워킹 모듈(402)은 사용자의 동의 시 사용자 피부 관련 데이터를 외부 클라우드 서버로 전송한다.
네트워킹 모듈(402)이 송신하는 사용자 피부 관련 데이터는, 예를 들면 제 1 내지 제 3 사용자 얼굴 이미지, 피부 상태 분석 항목 및 피부 질환 진단 항목에 대한 분석 결과, 피부 상태 개선 및 처방에 관한 솔루션 또는 진단 히스토리 등이 예시될 수 있다. 상기 사용자 피부 관련 데이터는 사용자의 동의 하에 외부 클라우드 서버(2)로 전송된다.
네트워킹 모듈(402)은 또한, 예를 들면 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석을 위한 딥 러닝 모델이나 피부 상태 분석 및 피부 질환 진단별 카테고리화된 제품 데이터 등을 정기적으로 제공받을 수 있을 수 있다.
전술한 구성들을 포함하여, 본 발명에 따른 피부 질환 분석 디바이스는 미용학적 피부 상태 분석 뿐만 아니라 의학적 피부 질환 항목에 대한 진단을 할 수 있고, 그에 따른 맞춤 제품 추천과 처방 및 관리 추적을 할 수 있으며, 보안성이 뛰어나고 피부 상태 분석 및 진단 속도가 빠른 이점을 가진다. 따라서, 전문의의 시진 및 촉진을 대체할 수 있으며, 피부 측정 의료 장비로서 그 효용성이 우수하다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1 : 피부 질환 분석 디바이스
100 : 안면 내삽 영역
101 : 머리 고정부
102 : 턱 고정부
200 : 촬영부
300 : 광원부
400 : 엣지 컴퓨팅부
401 : 프로세서
402 : 네트워 모듈
500 : 디스플레이부
2 : 외부 클라우드 서버

Claims (10)

  1. 사용자의 얼굴을 고정시킬 수 있도록 설계된 머리 고정부 및 턱 고정부를 가지는 안면 내삽 영역;
    상기 안면 내삽 영역에 위치하고, 2차원 사용자 얼굴 이미지, 사용자 얼굴에 대한 IR 온도맵 이미지, 및 3차원 사용자 얼굴 좌표값 이미지를 획득하도록 설계된 멀티모달 센서 어셈블리를 포함하여, 피부 상태 분석 항목 및 피부 질환 진단 항목의 분석을 위한 제 1 내지 제 3 사용자 얼굴 이미지를 획득하는 촬영부;
    상기 안면 내삽 영역에 위치하고, 상기 제 1 내지 제 3 사용자 얼굴 이미지 획득 시 소정 파장의 광을 발광하는 광원부;
    상기 촬영부에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고, 상기 촬영부에 의해 획득된 제 1 내지 제 3 사용자 얼굴 이미지 중 어느 하나 이상을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계된 프로세서 및 사용자의 동의 시 사용자 피부 관련 데이터를 외부 클라우드 서버로 전송하는 네트워킹 모듈;을 포함하는 엣지 컴퓨팅부; 및
    상기 엣지 컴퓨팅부에 의해 분석된 사용자 피부 상태 분석 결과 및 피부 질환 진단 항목 분석 결과를 사용자에게 제공하는 디스플레이부;를 포함하고,
    상기 멀티모달 센서 어셈블리는,
    200만 화소 이상의 화소수를 가지는 2차원 사용자 얼굴 이미지를 획득하는 이미지 센서 모듈, 사용자 얼굴에 대한 IR 온도맵 이미지를 획득하는 IR 온도 센서 모듈 및 3차원 사용자 얼굴 좌표값 이미지를 획득하는 3D ToF 센서 모듈을 포함하고,
    제 1 사용자 얼굴 이미지는 2차원 사용자 얼굴 이미지이고, 제 2 사용자 얼굴 이미지는 사용자 얼굴에 대한 IR 온도맵 이미지이며, 제 3 사용자 얼굴 이미지는 3차원 사용자 얼굴 좌표값 이미지이며,
    상기 엣지 컴퓨팅부의 프로세서는,
    상기 3D ToF 센서 모듈에 의해 획득된 3차원 사용자 얼굴 좌표값 이미지를 기반으로 획득된 상기 안면 내삽 영역에 위치하는 사용자의 안면 각도가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 각도 변경 제안을 수행하도록 설계되는 피부 질환 분석 디바이스.
  2. 제 1항에 있어서,
    상기 광원부는,
    백색광을 발광하는 제 1 발광 소자 및 UV광을 발광하는 제 2 발광 소자를 포함하는 피부 질환 분석 디바이스.
  3. 제 1항에 있어서,
    상기 엣지 컴퓨팅부의 프로세서는,
    컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델을 적용하여 획득된 제 1 사용자 얼굴 이미지에 대한 얼굴 특징맵을 이용하여 주름, 색소 침착, 홍조, 피지 및 모공을 포함하는 피부 상태 분석 항목에 대한 분석을 수행하고,
    컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델을 적용하여 획득된 제 1 및 제 2 사용자 얼굴 이미지에 대한 얼굴 특징맵을 이용하여 여드름, 아토피, 건선, 두드러기, 피부염 및 백반증을 포함하는 피부 질환 진단 항목에 대한 분석을 수행하도록 설계된 피부 질환 분석 디바이스.
  4. 제 3항에 있어서,
    상기 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 딥러닝 모델 및 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델은,
    각각 개별적으로 서로 같거나 다른 인셉션(Inception) V3 모듈을 사용한 딥 러닝 알고리즘이 적용되는 피부 질환 분석 디바이스.
  5. 제 3항에 있어서,
    컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 멀티모달 딥러닝 모델은,
    제 1 및 제 2 사용자 얼굴 이미지 각각을 인코딩한 후, 인코딩된 제 1 및 제 2 사용자 얼굴 이미지를 컨케터네이트(concatenate)하여 단일 얼굴 특징맵 형성을 위한 디코딩을 수행하는 피부 질환 분석 디바이스.
  6. 제 3항에 있어서,
    상기 엣지 컴퓨팅부의 프로세서는,
    피부 상태가 개선된 사용자 얼굴 이미지, 피부 질환이 개선된 사용자 얼굴 이미지 및 생활 습관 변화에 따른 사용자 얼굴 이미지에 대한 시뮬레이션 결과를 상기 디스플레이를 통해 사용자에게 제공하도록 설계되는 피부 질환 분석 디바이스.
  7. 제 6항에 있어서,
    상기 엣지 컴퓨팅부의 프로세서는,
    피부 상태 분석 항목 및 피부 질환 진단 항목의 분석 결과를 기반으로 피부 상태 개선 및 처방에 관한 솔루션을 상기 디스플레이를 통해 사용자에게 제공하도록 설계되는 피부 질환 분석 디바이스.
  8. 제 7항에 있어서,
    상기 엣지 컴퓨팅부의 프로세서는,
    피부 상태 분석 항목 및 피부 질환 진단 항목의 대상이 되는 특징 병변의 위치, 병변의 발생 기간, 병변의 중증도, 신규 병변 발생 부위, 병변 변화 기록 추이 및 제품 사용 정보를 포함하는 진단 히스토리를 상기 디스플레이를 통해 사용자에게 제공하도록 설계되는 피부 질환 분석 디바이스.
  9. 삭제
  10. 삭제
KR1020200044503A 2020-04-13 2020-04-13 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스 KR102180922B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200044503A KR102180922B1 (ko) 2020-04-13 2020-04-13 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200044503A KR102180922B1 (ko) 2020-04-13 2020-04-13 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스

Publications (1)

Publication Number Publication Date
KR102180922B1 true KR102180922B1 (ko) 2020-11-19

Family

ID=73679009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200044503A KR102180922B1 (ko) 2020-04-13 2020-04-13 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스

Country Status (1)

Country Link
KR (1) KR102180922B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094665A (ko) * 2020-12-29 2022-07-06 경희대학교 산학협력단 키오스크 광고 방법
KR20220096606A (ko) 2020-12-31 2022-07-07 주식회사 룰루랩 Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법
KR20220155446A (ko) 2021-05-12 2022-11-23 동국대학교 산학협력단 헬스 케어 시스템 및 방법
KR20220157025A (ko) 2021-05-20 2022-11-29 주식회사 아이오바이오 치아 정보 처리 방법 및 이를 위한 연산장치
WO2024005542A1 (ko) * 2022-07-01 2024-01-04 주식회사 룰루랩 주름 검출을 통해 질환을 예측하는 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000427A (ja) * 2001-10-01 2004-01-08 L'oreal Sa 身体画像の修整
KR20110094645A (ko) 2010-02-17 2011-08-24 김봉택 노선정보를 이용한 버스 운행기록 관리시스템
KR20120050615A (ko) * 2010-11-11 2012-05-21 엘지전자 주식회사 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
KR101552853B1 (ko) * 2014-10-15 2015-09-15 아람휴비스(주) 원스톱 진단이 가능한 토탈 하이브리드 피부 및 모발 진단방법과 그 장치
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR20180113392A (ko) * 2017-04-06 2018-10-16 한국 한의학 연구원 3차원 안면 진단 장치
KR20190070432A (ko) * 2017-12-13 2019-06-21 (주)엔텔스 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000427A (ja) * 2001-10-01 2004-01-08 L'oreal Sa 身体画像の修整
KR20110094645A (ko) 2010-02-17 2011-08-24 김봉택 노선정보를 이용한 버스 운행기록 관리시스템
KR20120050615A (ko) * 2010-11-11 2012-05-21 엘지전자 주식회사 멀티미디어 장치와 복수 개의 이종 이미지 센서 그리고 그 제어방법
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
KR101552853B1 (ko) * 2014-10-15 2015-09-15 아람휴비스(주) 원스톱 진단이 가능한 토탈 하이브리드 피부 및 모발 진단방법과 그 장치
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR20180113392A (ko) * 2017-04-06 2018-10-16 한국 한의학 연구원 3차원 안면 진단 장치
KR20190070432A (ko) * 2017-12-13 2019-06-21 (주)엔텔스 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094665A (ko) * 2020-12-29 2022-07-06 경희대학교 산학협력단 키오스크 광고 방법
KR102646814B1 (ko) * 2020-12-29 2024-03-13 경희대학교 산학협력단 키오스크 광고 방법
KR20220096606A (ko) 2020-12-31 2022-07-07 주식회사 룰루랩 Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법
KR20220155446A (ko) 2021-05-12 2022-11-23 동국대학교 산학협력단 헬스 케어 시스템 및 방법
KR20220157025A (ko) 2021-05-20 2022-11-29 주식회사 아이오바이오 치아 정보 처리 방법 및 이를 위한 연산장치
WO2024005542A1 (ko) * 2022-07-01 2024-01-04 주식회사 룰루랩 주름 검출을 통해 질환을 예측하는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102180922B1 (ko) 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스
KR102151710B1 (ko) 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
US20180279943A1 (en) System and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions
US20140316235A1 (en) Skin imaging and applications
Birkenfeld et al. Computer-aided classification of suspicious pigmented lesions using wide-field images
JP7179998B2 (ja) ケラチン表面の特徴を決定するための方法及びシステム並びに前記ケラチン表面を処置するための方法及びシステム
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
EP3920139A1 (en) Method and system for detecting an anomaly within a biological tissue
KR102413404B1 (ko) 피부 상태 분석 및 피부 질환 진단 디바이스
US20220164852A1 (en) Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of an Image of a Hair Region of a User's Head to Generate One or More User-Specific Recommendations
US20230252627A1 (en) Systems and methods for generating clinically relevant images that preserve physical attributes of humans while protecting personal identity
US10878942B2 (en) Perpetual bioinformatics and virtual colorimeter expert system
CN111433861B (zh) 用于识别色素沉着过度的斑点的系统和方法
JP6471559B2 (ja) 診断装置並びに当該診断装置における画像処理方法、画像処理システム及びそのプログラム
Hsu A customer-oriented skin detection and care system in telemedicine applications
KR20220096606A (ko) Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법
US20220224876A1 (en) Dermatological Imaging Systems and Methods for Generating Three-Dimensional (3D) Image Models
US20220335252A1 (en) Method and system for anonymizing facial images
Casalino et al. A mobile app for contactless measurement of vital signs through remote Photoplethysmography
KR20150117074A (ko) 피부 진단 장치 및 방법
AU2021205077B2 (en) Dermal image capture
US11638553B1 (en) Skin condition analyzing and skin disease diagnosis device
KR20150116000A (ko) 피부 진단 방법 및 장치
EP4002380A1 (en) Assessing a region of interest of a subject
US20240027417A1 (en) System and method for assessing biological tissue

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction