KR102364204B1 - 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 - Google Patents
판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 Download PDFInfo
- Publication number
- KR102364204B1 KR102364204B1 KR1020200070872A KR20200070872A KR102364204B1 KR 102364204 B1 KR102364204 B1 KR 102364204B1 KR 1020200070872 A KR1020200070872 A KR 1020200070872A KR 20200070872 A KR20200070872 A KR 20200070872A KR 102364204 B1 KR102364204 B1 KR 102364204B1
- Authority
- KR
- South Korea
- Prior art keywords
- scalp
- hair
- analysis
- image
- panoptic
- Prior art date
Links
- 210000004761 scalp Anatomy 0.000 title claims abstract description 162
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 210000004209 hair Anatomy 0.000 claims abstract description 88
- 238000004458 analytical method Methods 0.000 claims abstract description 85
- 102000011782 Keratins Human genes 0.000 claims abstract description 25
- 108010076876 Keratins Proteins 0.000 claims abstract description 25
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 239000003708 ampul Substances 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 13
- 206010000496 acne Diseases 0.000 claims description 10
- 239000002775 capsule Substances 0.000 claims description 10
- 201000004384 Alopecia Diseases 0.000 claims description 8
- 208000024963 hair loss Diseases 0.000 claims description 8
- 230000003676 hair loss Effects 0.000 claims description 8
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 11
- 210000003491 skin Anatomy 0.000 description 9
- 238000011176 pooling Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003803 hair density Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 210000000434 stratum corneum Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009172 bursting Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/446—Scalp evaluation or scalp disorder diagnosis, e.g. dandruff
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H23/00—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
- A61H23/02—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/04—Devices for pressing such points, e.g. Shiatsu or Acupressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M35/00—Devices for applying media, e.g. remedies, on the human body
- A61M35/003—Portable hand-held applicators having means for dispensing or spreading integral media
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D19/00—Devices for washing the hair or the scalp; Similar devices for colouring the hair
- A45D2019/0033—Processes for treating the scalp
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
- A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/10—Characteristics of apparatus not provided for in the preceding codes with further special therapeutic means, e.g. electrotherapy, magneto therapy or radiation therapy, chromo therapy, infrared or ultraviolet therapy
- A61H2201/105—Characteristics of apparatus not provided for in the preceding codes with further special therapeutic means, e.g. electrotherapy, magneto therapy or radiation therapy, chromo therapy, infrared or ultraviolet therapy with means for delivering media, e.g. drugs or cosmetics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2205/00—Devices for specific parts of the body
- A61H2205/02—Head
- A61H2205/021—Scalp
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Rehabilitation Therapy (AREA)
- Epidemiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Anesthesiology (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Dermatology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 촬영된 두피의 이미지에 판옵틱 세그멘테이션 기술을 이용하여 모발, 각질, 홍조, 유분의 각 개체가 존재하는 위치를 파악하고 분석함으로써, 개인 맞춤형 두피 분석 및 케어 서비스를 제공할 수 있도록 한 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템에 관한 것이다.
Description
본 발명은 두피 관리 시스템에 관한 것으로, 더 자세하게는 촬영된 두피의 이미지에 판옵틱 세그멘테이션 기술을 이용하여 모발, 각질, 홍조, 유분의 각 개체가 존재하는 위치를 파악하고 분석함으로써, 개인 맞춤형 두피 분석 및 케어 서비스를 제공할 수 있도록 한 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템에 관한 것이다.
피부는 크게 표피(epidermis), 진피(dermis) 및 피하조직(subcutaneous tissue)으로 구분할 수 있다. 피부의 최외곽층인 표피는 4개(thin)나 5개(thick)의 층으로 구성되어 있다. 각질층(stratum corneum, keratin layer), 투명층(transparent layer), 과립층(granular layer), 유극층(prickly layer) 및 기저층(basal layer). 이 중 최외곽층인 각질층의 첫번째 역할은 피부에서 외부로 수분이 증발하는 것을 억제하고, 외부 환경에 의한 손상이나 물질, 미생물에 대하여 피부를 보호하는 것이다.
이러한 피부에 해당하는 것 중, 두피는 머리 부위를 덮고 있는 피부를 뜻하며, 영어 명칭은 scalp이다. 두개골 상부 구조들의 영문 첫 글자를 따서 지은 이름으로서, 피부(Skin), 결합조직(Connective tissue), 널힘줄(건막, Aponeurosis), 성긴 결합조직(Loose connective tissue), 머리뼈막(두개골막, Pericranium)의 각각의 앞 글자를 따서 명명하게 되었다. 두피는 이러한 5층으로 구성되어 있으며 중요한 구조물로는 모발이 있다.
이러한 두피는 개인별로 상이한 문제점을 갖고 있으며, 개개인이 다른 문제점을 갖는 바, 개개인이 갖는 상이한 문제점에 적합하도록 개인 맞춤형 두피 케어를 제공해야 할 필요성이 있다. 예컨데, 개인마다, 모발의 굵기나, 각질의 상태, 홍조 여부, 유분의 양이 상이하여 모든 이에게 동일한 시술을 적용하는 것을 적절치 않을 것이다.
종래에는 두피의 이미지를 확대하여 의사의 전문지식을 통해 의사의 판단 하에 두피의 상태를 진찰하였으나, 현대로 접어들어 두피건강에 대한 분석이 자동화 되면서, 두피의 이미지를 자동으로 분석하는 시스템이 점차 개발되고 있다.
이러한, 두피의 이미지를 분석하여 진단하는 방법으로, 대한민국 등록특허공보 제10-1870689호에는 영상 기반의 두피 진단 정보 제공 방법이 개시된 바 있는데, 이는 모발이 포함된 두피 입력 영상을 획득하는 단계; 상기 획득된 입력 영상에서 두피 영역은 더 밝게 모발 영역은 더 어둡게 밝기를 조절하는 단계; 상기 밝기가 조절된 영상을 이진 영상으로 변환하는 단계; 상기 이진 영상에서 픽셀 점들의 집합으로 표현되는 모발의 윤곽을 추출하는 단계; 상기 모발의 윤곽을 이루는 각 픽셀의 방향을 이용하여 모발의 두께를 측정하는 단계; 상기 모발의 윤곽이 추출된 윤곽 이미지에서 모발의 개수 계산하고, 측정된 모발 개수를 이용하여 모발 밀도를 산출하는 단계; 및 상기 모발 두께 및 상기 모발 밀도를 이용하여 사용자의 모발 상태에 대한 정보를 제공하는 단계를 포함하되, 상기 모발 밀도 산출 단계는 상기 모발의 윤곽이 추출된 윤곽 이미지에서 기준 마스크 픽셀을 설정하는 단계; 상기 기준 마스크 픽셀의 테두리와 만나는 모발의 끝점을 추출하는 단계; 및 상기 추출된 모발의 끝점의 개수를 카운팅하는 단계를 포함하고, 상기 모발의 끝점을 추출하는 단계는 상기 기준 마스크 픽셀의 테두리 중 하나의 모서리에만 존재하는 모발의 끝점을 선별하여 추출하는 단계를 포함하고, 상기 모발의 윤곽이 추출된 윤곽 이미지에서 모발 1개는 하나의 시작점과 끝점을 가지며, 상기 모발의 시작점은 상기 기준 마스크 픽셀의 내부에 존재하고, 상기 모발의 끝점은 상기 기준 마스크 픽셀의 테두리에 존재하는 것을 특징으로 하는 영상 기반의 두피 진단 정보 제공 방법에 관한 것이다.
그러나, 종래의 영상 기반의 두피 진단 정보 제공 방법은 두피와 모발을 구분하고, 모발의 두께, 밀도를 확인하는 것으로써, 모발의 상태에 대한 정보는 확인할 수 있었으나, 모발, 각질, 홍조, 유분의 각 개체별 특징은 파악하기 어려웠으며, 모발 각각 하나하나를 객체화하는 것은 불가능하기에, 두피 및 모발에 대한 구체적인 분석은 어렵다는 문제점이 있었다.
이에, 두피 및 모발 각각을 구분하고 분류하여 정확한 두피 건강 정보를 제공하는 시스템의 필요성이 커지고 있었다.
상기와 같은 문제점을 해결하기 위하여, 본 발명은 촬영된 두피의 이미지에 시멘틱 세그멘테이션 기술과 인스턴스 세그멘테이션 기술을 함께 수행하면서 학습 기능을 통해 데이터셋을 구축하는 판옵틱 세그멘테이션 기술을 이용하여 모발, 각질, 홍조, 유분의 각 개체가 존재하는 위치를 파악하고 분석함으로써, 개인 맞춤형 두피 분석 및 케어 서비스를 제공할 수 있도록 한 판옵틱 세그멘테이션을 이용한 두피 관리 시스템을 제공하는데 목적이 있다.
상기와 같은 과제를 해결하기 위하여 본 발명은 사용자의 두피 이미지를 촬영하는 두피 이미지 촬영 단계(S10), 상기 두피 이미지 촬영 단계(S10)에서 촬영된 두피 이미지를 Thing 클래스와 Stuff 클래스로 구분하여, Stuff 클래스는 세멘틱 세그멘테이션 분석을 수행하고, Thing 클래스는 인스턴스 세그멘테이션 분석을 수행하되, 인스턴스 세그멘테이션 분석과 세멘틱 세그멘테이션 분석이 동시에 수행되는 판옵틱 세그멘테이션 분석을 수행하는 판옵틱 세그멘테이션 분석 단계(S20), 상기 판옵틱 세그멘테이션 분석 단계(S20)에서 얻어진 분석 정보를 데이터베이스서버로 전송하고, 상기 데이터베이스서버에 저장된 데이터셋과 비교하여 분석하며, 분석결과를 데이터베이스서버에 저장하여 갱신하는 딥러닝 단계(S30) 및, 상기 딥러닝 단계(S30)에서 분석된 결과를 통해 사용자에게 맞춤형 두피 케어 서비스를 제공하는 두피 케어 서비스 제공단계(S40)를 포함하는 것을 특징으로 하는 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템을 제공한다.
또한, 상기 두피 이미지 촬영 단계(S10)에서는 일측에 카메라렌즈가 달린 무선현미경을 이용하여 두피에 갖다대고 해당 영역을 확대하여 촬영하며, 촬영된 이미지 데이터를 개인용 단말기를 거쳐 데이터베이스서버로 전송하거나, 직접적으로 데이터베이스서버로 전송하는 것을 특징으로 한다.
또한, 상기 판옵틱 세그멘테이션 분석 단계(S20)에서 상기 Stuff 클래스는 각질, 유분, 홍조 및 두피에 해당되며, 상기 Thing 클래스는 머리카락에 해당되는 것을 특징으로 한다.
또한, 상기 판옵틱 세그멘테이션 분석 단계(S20)에서는 세멘틱 세그멘테이션 분석을 통해 동일한 특성을 갖는 사물이 차지하는 영역과 형태를 분석함과 동시에, 머리카락에 해당하는 영역을 인스턴스 세그멘테이션 분석을 통해 각각의 개별 개체로 구분하는 것을 특징으로 한다.
또한, 상기 두피 케어 서비스 제공단계(S40)에서는 두피관리 장치를 이용하며, 상기 두피관리 장치는 진동부재에 의해 마사지앰플 캡슐이 진동되면서 앰플이 흘러나오게 하여 두피에 앰플을 도포시키는 것을 특징으로 한다.
본 발명에 따른 판옵틱 세그멘테이션을 이용한 두피 관리 시스템은 촬영된 두피의 이미지에 시멘틱 세그멘테이션 기술과 인스턴스 세그멘테이션 기술을 함께 수행하면서 학습 기능을 통해 데이터셋을 구축하는 판옵틱 세그멘테이션 기술을 이용하여 모발, 각질, 홍조, 유분의 각 개체가 존재하는 위치를 파악하고 분석함으로써, 개인별 상이한 두피 환경을 분석하고, 이를 통해, 정확한 두피 관리 시스템을 제공할 수 있다.
도 1은 본 발명에 따른 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템의 수행과정을 나타낸 플로우 차트.
도 2는 본 발명의 실시예에 따른 무선현미경의 사시도.
도 3은 본 발명의 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템에 사용되는 구성들을 나타낸 예시도.
도 4는 촬영된 두피 이미지에 대하여 본 발명에 따른 세멘틱 세그멘테이션 분석만을 수행한 모습을 나타낸 예시도.
도 5는 촬영된 두피 이미지에 대하여 본 발명에 따른 인스턴스 세그멘테이션 분석만을 수행한 모습을 나타낸 예시도.
도 6는 촬영된 두피 이미지에 대하여 본 발명에 따른 판옵틱 세그멘테이션 분석이 수행된 모습을 나타낸 예시도.
도 7은 본 발명에 따른 콘볼루션 신경망에 있어서, Inception ResNet ver 2에 이미지 전체의 상관관계를 고려하는 Attention으로서 Squeeze-excitation(SE) block이 추가된 것을 나타낸 예시도.
도 8은 본 발명에 따른 콘볼루션 신경망에 있어서 ,Deeplab V3+에 SegNet의 Pooling indices가 추가된 것을 나타낸 예시도.
도 9는 본 발명의 실시예에 따른 두피 관리 장치의 측면사시도 및 정면사시도.
도 10은 본 발명의 실시예에 따른 알파벳이 기재된 헤어 제품의 사시도.
도 2는 본 발명의 실시예에 따른 무선현미경의 사시도.
도 3은 본 발명의 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템에 사용되는 구성들을 나타낸 예시도.
도 4는 촬영된 두피 이미지에 대하여 본 발명에 따른 세멘틱 세그멘테이션 분석만을 수행한 모습을 나타낸 예시도.
도 5는 촬영된 두피 이미지에 대하여 본 발명에 따른 인스턴스 세그멘테이션 분석만을 수행한 모습을 나타낸 예시도.
도 6는 촬영된 두피 이미지에 대하여 본 발명에 따른 판옵틱 세그멘테이션 분석이 수행된 모습을 나타낸 예시도.
도 7은 본 발명에 따른 콘볼루션 신경망에 있어서, Inception ResNet ver 2에 이미지 전체의 상관관계를 고려하는 Attention으로서 Squeeze-excitation(SE) block이 추가된 것을 나타낸 예시도.
도 8은 본 발명에 따른 콘볼루션 신경망에 있어서 ,Deeplab V3+에 SegNet의 Pooling indices가 추가된 것을 나타낸 예시도.
도 9는 본 발명의 실시예에 따른 두피 관리 장치의 측면사시도 및 정면사시도.
도 10은 본 발명의 실시예에 따른 알파벳이 기재된 헤어 제품의 사시도.
이하의 본 발명에 관한 상세한 설명들은 본 발명이 실시될 수 있는 실시 예이고 해당 실시 예의 예시로써 도시된 첨부 도면을 참조한다. 이들 실시 예는 당 업자가 본 발명의 실시에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 기재된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
따라서 후술되는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템에 대하여 자세히 설명한다.
도 1은 본 발명에 따른 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템의 과정을 나타낸 플로우차트다.
본 발명에 따른 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템은 사용자의 두피의 이미지를 촬영하는 두피 이미지 촬영 단계(S10); 상기 두피 이미지 촬영 단계(S10)에서 촬영된 두피 이미지를 Stuff 클래스와 Thing 클래스로 구분하여, Stuff 클래스는 세멘틱 세그멘테이션 분석을 수행하고, Thing 클래스는 인스턴스 세그멘테이션 분석을 수행하되, 인스턴스 세그멘테이션 분석과 세멘틱 세그멘테이션 분석이 동시에 수행되는 판옵틱 세그멘테이션 분석을 수행하는 판옵틱 세그멘테이션 분석 단계(S20); 상기 판옵틱 세그멘테이션 분석 단계(S20)에서 얻어진 분석 정보를 데이터베이스서버로 전송하고, 상기 데이터베이스서버에 저장된 데이터셋과 비교하여 분석하며, 분석결과를 데이터베이스서버에 저장하여 갱신하는 딥러닝 단계(S30) 및, 상기 딥러닝 단계(S30)에서 분석된 결과를 통해 사용자에게 맞춤형 두피 케어 서비스를 제공하는 두피 케어 서비스 제공단계(S40)를 포함한다.
우선, 두피 이미지 촬영 단계(S10)를 수행한다.
상기 두피 이미지 촬영 단계(S10)에서는 사용자의 두피의 이미지를 촬영한다.
상기 두피 이미지 촬영 단계(S10)에서 사용자의 두피의 이미지를 촬영할 때, 무선현미경(100)을 사용할 수 있다.
상기 두피 이미지 촬영 단계(S10)에서의 상기 무선현미경(100)은 도 2에 도시된 바와 같이, 일측에 카메라렌즈(110)가 달린 것으로, 사용자의 두피에 갖다대고 해당 영역을 확대하여 촬영하는 장치이다.
적절하게, 상기 두피 이미지 촬영 단계(S10)에서의 상기 무선현미경(100)은 Wi-Fi로 개인용 단말기(200)와 연결된 것일 수 있다. 이때, 상기 무선현미경(100)은 촬영된 이미지 데이터를 개인용 단말기(200)로 전송하며, 사용자는 개인용 단말기(200)를 통해 촬영된 이미지 데이터를 데이터베이스서버(300)로 전송할 수 있다. 상기 개인용 단말기(200)는 스마트폰, 태블릿PC 및 개인용PC 등을 포함하는 것이며, 상기 개인용 단말기(200)는 통신망을 통해 데이터베이스서버(300)와 연결된다.
또는, 상기 두피 이미지 촬영 단계(S10)에서의 무선현미경(100)은 LTE를 포함하는 원거리 통신망을 이용하여 촬영된 이미지 데이터를 데이터베이스서버(300)로 다이렉트로 전송할 수도 있다.
다만, 상기 두피 이미지 촬영 단계(S10)에서의 무선현미경(100)을 이에 한정하는 것을 아니며, 상기 무선현미경(100)은 두피 이미지를 촬영하고, 촬영된 이미지를 다른 장비로 전송할 수 있는 것이라면 모두 사용이 가능할 것이다.
정리하자면, 상기 두피 이미지 촬영 단계(S10)에서는 일측에 카메라렌즈가 달린 무선현미경을 이용하여 두피에 갖다대고 해당 영역을 확대하여 촬영하며, 촬영된 이미지 데이터를 개인용 단말기를 거쳐 데이터베이스서버로 전송하거나, 개인용 단말기(200)를 거치지 않고 직접적으로 데이터베이스서버로 전송할 수 있는 것이다.
상기 두피 이미지 촬영 단계(S10)에서 촬영된 이미지 데이터는 데이터베이스서버(200)로 전송된다.
다음으로, 판옵틱 세그멘테이션 분석 단계(S20)를 수행한다.
상기 판옵틱 세그멘테이션 분석 단계(S20)는 상기 두피 이미지 촬영 단계(S10)에서 촬영된 두피 이미지를 Thing 클래스와 Stuff 클래스로 구분하여, Stuff 클래스는 세멘틱 세그멘테이션 분석을 수행하고, Thing 클래스는 인스턴스 세그멘테이션 분석을 수행하되, 세멘틱 세그멘테이션 분석과 인스턴스 세그멘테이션 분석이 동시에 수행되는, 판옵틱 세그멘테이션 분석을 수행한다.
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 상기 Stuff 클래스는 각질, 유분, 홍조 및 두피(배경)에 해당 된다. 상기 Stuff 클래스는 본 출원인이 임의로 선정한 용어로써, 동일한 특성을 갖는 것들을 하나로 묶은 것을 지칭한다. 각질, 유분, 홍조 및 두피는 각각의 개체가 일정한 넓이를 가지면서 동일한 특성을 갖는 것으로써, 두피의 일정한 위치에 일정 영역 형성되어 일정 넓이로 존재하게 된다. 이에, 각질, 유분, 홍조 및 두피를 Stuff 클래스로 지정하여 차지하는 영역의 넓이를 분석함으로써, 두피 상태에 대한 정밀한 분석을 수행할 수 있게 된다. 정리하자면 상기 Stuff 클래스는 각질, 유분, 홍조 및 두피의 이미지를 지칭한다.
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 상기 Thing 클래스는 머리카락에 해당된다. 상기 Thing 클래스는 본 출원인이 임의로 선정한 용어로써, 개별적인 사물을 의미한다. 다시 말해, 같은 특성을 갖는 사물일지라도, 분류를 할 필요성이 있는 갖는 사물, 즉, 개별의 개체로 나뉘는 머리카락이 바로 Thing 클래스에 포함된다. 두피 이미지 중 머리카락은 각각의 개체로 인식되어 머리카락의 수량, 밀도, 굵기 등을 확인해야 할 필요성이 있다. 따라서, 머리카락을 개별의 개체로 지정함으로써 두피 상태에 대한 정밀한 분석을 수행할 수 있게 된다. 정리하자면, 상기 Thing 클래스는 머리카락의 이미지를 지칭한다.
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 상기 세멘틱 세그멘테이션 분석은 Stuff 클래스, 즉 각질, 유분, 홍조 및 두피에 대하여 수행된다. 상기 세멘틱 세그멘테이션은 동일한 특성을 갖는 사물이 차지하는 영역과 형태를 분석하는 것을 지칭한다. 다시 말해, 두피 이미지에 대하여 세멘틱 세그멘테이션 분석이 수행되면, 각질, 유분, 홍조 및 두피를 일정한 색상 또는 질감을 통해 분류하고, 이를 통해, 각질, 유분, 홍조 및 두피 각각이 차지하는 영역과 형태가 표시되게 된다. 예를 들어, 두피 이미지에 대하여 세멘틱 세그멘테이션만을 수행할 경우, 도 4에 도시된 바와 같이, 두피, 각질, 머리카락이 각각의 영역으로 분류되게 되나, 각각의 머리카락은 하나로 인식하게 될 것이다.
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 상기 인스턴스 세그멘테이션 분석은 Thing 클래스, 즉 머리카락에 대하여 수행된다. 상기 인스턴스 세그멘테이션 분석은 동일한 클래스에 해당될 지라도, 각각의 객체를 다르게 인식하는 분석을 지칭한다. 예를 들면, 동일한 머리카락의 영역에 대하여, 세멘틱 세그멘테이션 분석이 수행되면 머리카락이 나타내는 영역 전체를 하나로 인식하지만, 인스턴스 세그멘테이션 분석이 수행될 경우, 각각의 머리카락을 개별의 객체로 분류하여 머리카락 1, 머리카락 2, 머리카락 3, … 머리카락 n과 같이 다수의 머리카락으로 구분하게 된다. 즉, 상기 판옵틱 세그멘테이션 분석 단계(S20)에서는 상기 인스턴스 세그멘테이션 분석을 통해 각각의 머리카락을 개별 개체로 인식할 수 있다. 그러나, 두피 이미지에 대해 인스턴스 세그멘테이션만을 수행할 경우, 도 5에 도시된 바와 같이, 머리카락만 분할되어 각각의 개체로 분류되게 될 것이다.
이에, 상기 판옵틱 세그멘테이션 분석 단계(S20)에서는 판옵틱 세그멘테이션 기술을 이용한다. 상기 판옵틱 세그멘테이션은 본 출원인이 임의로 지정한 용어로서, 세멘틱 세그멘테이션 분석과 인스턴스 세그멘테이션 분석이 동시에 수행되는 것을 지칭한다. 예를 들어, 두피 이미지에 대하여, 본 발명에 따른 판옵틱 세그멘테이션 분석이 수행될 경우, 도 6에 나타난 바와 같이, 두피 이미지 내에서 각질 및 두피가 차지하는 영역의 넓이와 형태를 분류함과 더불어 각각의 머리카락이 머리카락 1과, 머리카락 2의 개별의 객체로 인식되어 분할되게 된다.
정리하자면, 상기 판옵틱 세그멘테이션 분석 단계(S20)는 세멘틱 세그멘테이션 분석을 통해 동일한 특성을 갖는 사물이 차지하는 영역과 형태를 분석함과 동시에, 머리카락에 해당하는 영역을 인스턴스 세그멘테이션 분석을 통해 각각의 개별 개체로 구분하는 것이다.
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 판옵틱 세그멘테이션을 통해 각질, 유분, 홍조, 두피가 차지하는 영역에 대한 분석과 더불어 각각의 머리카락을 개별 객체로 인식하여 분석하게 되면, 각각의 머리카락과 각질, 유분, 홍조의 상관관계를 더욱 정확히 파악할 수 있어 두피의 상태를 진단하는데 더욱 유용한 자료로 사용될 수 있을 것이다.
한편, 머리카락은 각각의 상태가 동일하지 않으며, 환경에 따라 다른 상태를 갖는다. 예를 들어, 잦은 펌이나 염색에 의해 머리카락 중 일부 가닥에 손상이 발생앴을 수 있으며, 브릿지를 했을 수도 있고 새치가 발생할 수도 있다.
상기 판옵틱 세그멘테이션 분석 단계(S20)는 각각의 머리카락을 개별 객체로 인식하여 분석함으로써, 각기 다른 상태의 머리카락에 대하여 개별적인 분석이 가능하고, 적절한 부위별 처방이 가능하게 할 수 있다.
또한, 대다수의 사람은 머리카락의 근처에 유분이 존재하는 것이 일반적이나, 특정한 환자의 경우 머리카락과 떨어진 위치에 유분이 나타날 수 있다. 이 경우, 두피의 피부 내에 여드름이나 뾰루지 등이 발생한 것일 수 있고, 일반적인 처방과는 다른 처방이 필요할 수 있다. 또한, 각질 역시 머리카락을 중심으로 형성되게 되는데, 탈모 환자의 경우 머리카락과 동떨어진 위치에서 각질이 발생할 수 있으며, 이러한 경우, 탈모 환자에 적합한 치료를 제공하는 것이 바람직할 것이다. 상기 판옵틱 세그멘테이션 분석 단계(S20)는 각각의 개별적인 머리카락에 대하여, 각 머리카락 위치에 대한 분석을 수행함으로써, 적절한 부위별 처방이 가능하게 할 수 있을 것이다.
이러한, 판옵틱 세그멘테이션 분석은 딥러닝을 통해, 기존에 저장된 데이터셋과 비교하여 정확성을 향상시킬 수 있게 된다.
이에, 판옵틱 세그멘테이션 분석 단계(S20)를 수행하고, 딥러닝 단계(S30)를 수행하게 된다.
상기 딥러닝 단계(S30)는 상기 판옵틱 세그멘테이션 분석 단계(S20)에서 얻어진 분석 정보를 데이터베이스서버(300)로 전송하고, 상기 데이터베이스서버(300)에 저장된 데이터셋(310)과 비교하여 분석하며, 분석결과를 데이터베이스서버(300)에 다시 저장하여 갱신하는 단계이다.
상기 데이터셋(310)은 데이터베이스서버(300)에 저장된 것으로, 두피이미지에 대한 분석 정보를 보관한 것이다. 상기 데이터셋(310)은 머리카락, 각질, 유분, 홍조, 두피의 색상과 질감에 대한 정보를 포함한다. 그러나, 상기 데이터셋(310)은 고정된 정보만 보관하는 것이 아니라, 새로 들어오는 정보를 통해 두피이미지에 대한 분석 정보를 갱신하게 된다.
상기 딥러닝 단계(S30)에서 상기 판옵틱 세그멘테이션 분석 단계(S20)에서 얻어진 분석 정보를 데이터셋(310)과 비교하여 분석하는 데에는 Encorder(312a)와 Decorder(312b)로 구분된 콘볼루션 신경망(CNNs, 312)을 기본 구조로 사용한다.
상기 콘볼루션 신경망(Convolutional Neural Networks, 312)은 심층 신경망(DNN: Deep Neural Network)의 한 종류로, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성되어 스스로 학습을 수행할 수 있는 딥러닝에 사용되는 신경망이다. 상기 콘볼루션 신경망(CNNs, 312)은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 DNN의 대표적 모델 중 하나이다. 상기 상기 콘볼루션 신경망(312)은 이미지 인식 분야 뿐만 아니라 음성 인식 등의 여러 분야에서 사용되고 있다.
상기 Encorder(312a)는, 도 7에 도시된 바와 같이, 기본 구조로 Inception ResNet ver 2를 사용하며, 이미지 전체의 상관관계를 고려하는 Attention으로서 Squeeze-excitation(SE) block을 추가하여 사용하는 것이 바람직한다.
본 발명에서는 Encorder(312a)로서 최첨단 인셉션 네트워크 모델인 Inception ResNet ver 2 모델을 사용하는데, 상기 Inception ResNet ver 2는 잔차(residual) 연결 없이 비슷한 고가의 네트워크보다 성능이 뛰어난 것으로, 이는 잔차 학습 프레임 워크가 인셉션 구조를 위한 트레이닝 속도 향상에 중요한 역할을 하기 때문이다. 또한, 잔차 연결을 사용하는 인셉션 네트워크는 이미지에서 하이레벨 특징을 효과적으로 추출하기 위해 더 깊은 컨볼루션 레이어를 가질 수 있다.
상기 Squeeze-excitation(SE) block은 전체 정보를 요약하는 Squeez operation과 중요도를 스케일해주는 excitation operation 으로 이루어진 block으로 네트워크 어떤 곳이라도 바로 갖다 붙일 수 있다는 장점이 있다. 또한, Squeeze-excitation(SE) block은 파라미터의 증가량에 비해 모델 성능 향상도가 매우 커, 모델복잡도(Model complexity)와 계산복잡도(computational burden)이 크게 증가하지 않는다는 장점이 있다. 상기 Squeeze-excitation(SE) block에는 Average pooling, FC, Relu, FC, Relu, Sigmond가 순서대로 포함될 수 있다.
상기 Decorder(312b)는, 도 8에 도시된 바와 같이, Deeplab V3+의 구조를 기본으로 사용하며, 여기에 SegNet의 Pooling indices를 추가하여 사용하여 성능을 향상시키는 것이 바람직할 것이다.
상기 Deeplab V3+는 필터 내부에 빈 공간을 둔 Convolution(연산)으로서, 동일한 양의 파라미터, 계산량으로도 한 픽셀이 볼 수 있는 영역 크게 가져갈 수 있으며, Convolution과 Pooling을 거치면서 디테일한 정보가 줄어들고, 추상화 되는 것을 방지할 수 있는 장점을 갖는다.
한편, 상기 딥러닝 단계(S30)에서는 Pooling indicies를 사용하기 위해 Up-sampling 과정을 기존 Deeplab에 비해 여러 번 수행하는 것이 바람직하다.
상기 딥러닝 단계(S30)를 거쳐 얻어지는 분석 정보는, 두피 및 모발에 대한 상태를 넘어서서, 이에 더 나아가, 두피 및 모발의 상태에 적합한 진단 및 처방 등의 정보를 포함할 수 있다. 구체적인 예시로, 머리카락과 떨어진 위치에 유분이 존재하는 경우, 두피의 피부 내에 여드름이나 뾰루지 등이 발생한 것으로 분석하여 일반적인 처방과는 다른 처방을 제공하거나, 머리카락과 동떨어진 위치에서 각질이 발생하는 경우, 탈모환자로 분석하여, 탈모 환자에 적합한 치료를 제공하는 것이다. 또한, 이러한 치료는 사용자의 두피상태에 맞는 헤어 제품을 알파벳으로 표시하여, 알파벳이 기재된 헤어 제품(500)을 안내하고, 이에 맞춰 사용자가 사용하도록 지시하는 것일 수 있다.
상기 딥러닝 단계(S30)가 완료되면, 두피 케어 서비스 제공단계(S40)를 수행한다.
상기 두피 케어 서비스 제공단계(S40)에서는 딥러닝 단계(S30)에서 분석된 분석 정보를 통해 사용자에게 맞춤형 두피 케어 서비스를 제공한다.
상기 두피 케어 서비스 제공단계(S40)에서는 데이터베이스서버(300)로부터 개인용단말기(200)로 두피 분석 정보를 전달하며, 전달된 분석 정보를 토대로, 개인에게 맞는 맞춤형 케어 서비스가 제공될 수 있다.
상기 맞춤형 두피 케어 서비스는 별도의 시술자가 사용자에게 시술할 수도 있으며, 사용자가 전달된 분석 정보를 토대로 스스로 두피 케어를 실시할 수도 있다. 이는 다양한 실시의 형태로서 특별히 한정하지 않는다.
한편, 상기 두피 케어 서비스 제공단계(S40)에서는, 도 9에 도시된 바와 같이, 본 발명에서 제공하는 두피관리 장치(400)가 사용될 수 있다.
즉, 상기 두피 케어 서비스 제공단계(S40)에서는 두피관리 장치(400)를 이용하며, 상기 두피관리 장치(400)는 진동부재(420)에 의해 마사지앰플 캡슐(410)이 진동되면서 내부의 앰플이 흘러나오게 하여 두피에 앰플을 도포시킨다.
다시 말해, 본 발명에 따른 두피관리 장치(400)는 일측에 결합되는 마사지앰플 캡슐(410)이 진동부재(420)에 의해 진동되면서, 진동기능에 의해 마사지앰플 캡슐(410)에서 앰플이 흘러나와 두피에 자연스럽게 도포되도록 한 것이다.
또한, 상기 두피관리 장치(400)에는 마사지앰플 캡슐(410)과 인접하게 지압돌기(430)가 형성되어, 흘러나온 앰플을 이용해 두피를 마사지할 수 있다. 상기 지압돌기(430)는 진동부재(420)에 의해 진동되면서 두피를 자극하여 두피의 노폐물을 제거하고, 뭉친 근육을 풀어주며, 두피 신진대사에 도움을 줄 수 있을 것이다.
한편, 상기 두피관리 장치(400)에는 마사지앰플 캡슐(410)와 인접하게 LED 램프(440)가 형성될 수 있으며, 상기 LED 램프(440)는 Blue LED를 발산하여 사용자의 두피에 살균 효과를 제공할 수도 있다.
다만, 이는 일 예시일 뿐 상기 두피 케어 서비스 제공단계(S40)에서의 두피 케어는 두피관리 장치(400)를 통한 것으로만 한정하지는 않으며, 그 외에 다양한 방법들이 추가될 수 있을 것이다. 예컨데, 상기 두피 케어 서비스 제공단계(S40)에서는, 두피관리 장치(400)에 삽입되는 마사지앰플 캡슐(410)이 아닌 독립형으로 터뜨려서 사용할 수 있는 독립형 앰플 캡슐(미도시)을 이용할 수도 있고, 도 10에 도시된 바와 같이, 사용자의 두피상태에 맞는 헤어 제품을 알파벳으로 표시하여, 알파벳이 기재된 헤어 제품(500)을 안내하고, 이에 맞춰 사용자가 사용하도록 지시할 수도 있다. 보다 구체적인 예시로, 머리카락과 떨어진 위치에 유분이 존재하는 경우, 두피의 피부 내에 여드름이나 뾰루지 등이 발생한 것으로 분석하여 일반적인 처방과는 다른 처방을 제공하거나, 머리카락과 동떨어진 위치에서 각질이 발생하는 경우, 탈모환자로 분석하여, 탈모 환자에 적합한 치료를 제공하되, 사용자의 두피상태에 맞는 헤어 제품을 알파벳으로 표시하여, 알파벳이 기재된 헤어 제품(500)을 안내하고, 이에 맞춰 사용자가 사용하도록 지시하는 것일 수 있다.
상술한 바와 같이, 본 발명은 신규한 두피 이미지 분석 방법으로써 판옵틱 세그멘테이션을 적용하여, 두피와 관련된 정보를 더욱 정확하게 예측하고, 사용자 별 적합한 맞춤형 두피 케어 서비스를 제공할 수 있도록 한 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템을 개발하였음을 명시한다.
본 발명을 첨부된 도면과 함께 설명하였으나, 이는 본 발명의 요지를 포함하는 다양한 실시 형태 중의 하나의 실시예에 불과하며, 당업계에서 통상의 지식을 가진 자가 용이하게 발명할 수 있도록 하는 데에 그 목적이 있는 것으로, 본 발명은 상기 설명된 실시예에 국한되는 것이 아님은 명확하다. 따라서 본 발명의 보호범위는 하기의 청구범위에 의해 해석되어야 하며, 본 발명의 요지를 벗어나지 않는 범위 내에서의 변경, 치환, 대체 등에 의해 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함될 것이다. 또한, 도면의 일부 구성은 구성을 보다 명확하게 설명하기 위한 것으로 실제보다 과장되거나 축소되어 제공된 것임을 명확히 한다.
100: 무선현미경 110: 카메라렌즈
200: 개인용 단말기 300: 데이터베이스서버
312: 콘볼루션 신경망(CNNs) 312a: Encorder
312b: Decorder 400: 두피관리 장치
410: 마사지앰플 캡슐 420: 진동부재
430: 지압돌기 440: LED 램프
500: 알파벳이 기재된 헤어 제품
(S10): 두피 이미지 촬영 단계 (S20): 판옵틱 세그멘테이션 분석 단계
(S30): 딥러닝 단계 (S40): 두피 케어 서비스 제공단계
200: 개인용 단말기 300: 데이터베이스서버
312: 콘볼루션 신경망(CNNs) 312a: Encorder
312b: Decorder 400: 두피관리 장치
410: 마사지앰플 캡슐 420: 진동부재
430: 지압돌기 440: LED 램프
500: 알파벳이 기재된 헤어 제품
(S10): 두피 이미지 촬영 단계 (S20): 판옵틱 세그멘테이션 분석 단계
(S30): 딥러닝 단계 (S40): 두피 케어 서비스 제공단계
Claims (5)
- 사용자의 두피 이미지를 촬영하는 두피 이미지 촬영 단계(S10);
상기 두피 이미지 촬영 단계(S10)에서 촬영된 두피 이미지를 머리카락에 해당하는 Thing 클래스와 각질, 유분, 홍조 및 두피에 해당하는 Stuff 클래스로 구분하여, 각질, 유분, 홍조 및 두피에 해당하는 Stuff 클래스에 대해서는 동일한 특성을 갖는 사물(각질, 유분, 홍조 및 두피)이 차지하는 영역과 형태를 분류하는 세멘틱 세그멘테이션 분석을 수행하고, 머리카락에 해당하는 Thing 클래스에 대해서는 동일한 클래스에 해당될 지라도 각각의 객체를 다르게 분류하는 인스턴스 세그멘테이션 분석을 수행하되, 인스턴스 세그멘테이션 분석과 세멘틱 세그멘테이션 분석이 동시에 수행되는 판옵틱 세그멘테이션 분석을 수행하는 판옵틱 세그멘테이션 분석 단계(S20);
상기 판옵틱 세그멘테이션 분석 단계(S20)에서 얻어진 분석 정보를 데이터베이스서버로 전송하고, 상기 데이터베이스서버에 저장된 데이터셋과 비교하여 분석하며, 분석결과를 데이터베이스서버에 저장하여 갱신하되, 머리카락과 떨어진 위치에 유분이 존재하는 경우, 두피의 피부 내에 여드름이나 뾰루지 등이 발생한 것으로 분석하여 처방을 제공하고, 머리카락과 동떨어진 위치에서 각질이 발생하는 경우, 탈모환자로 분석하여, 치료를 제공하는 딥러닝 단계(S30) 및
상기 딥러닝 단계(S30)에서 분석된 결과를 통해 사용자에게 맞춤형 두피 케어 서비스를 제공하되, 머리카락과 떨어진 위치에 유분이 존재하는 경우, 두피의 피부 내에 여드름이나 뾰루지 등이 발생한 것으로 분석하여 처방을 제공하고, 머리카락과 동떨어진 위치에서 각질이 발생하는 경우, 탈모환자로 분석하여, 치료를 제공하며, 사용자의 두피상태에 맞는 헤어 제품을 알파벳으로 표시하여, 알파벳이 기재된 헤어 제품을 안내하고, 이에 맞춰 사용자가 사용하도록 지시하는 두피 케어 서비스 제공단계(S40)를 포함하는 것을 특징으로 하는 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템.
- 제1항에 있어서,
상기 두피 이미지 촬영 단계(S10)에서는 일측에 카메라렌즈가 달린 무선현미경을 이용하여 두피에 갖다대고 해당 영역을 확대하여 촬영하며, 촬영된 이미지 데이터를 개인용 단말기를 거쳐 데이터베이스서버로 전송하거나, 직접적으로 데이터베이스서버로 전송하는 것을 특징으로 하는 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 두피 케어 서비스 제공단계(S40)에서는 두피관리 장치를 이용하며, 상기 두피관리 장치는 진동부재에 의해 마사지앰플 캡슐이 진동되면서 앰플이 흘러나오게 하여 두피에 앰플을 도포시키는 것을 특징으로 하는 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200070872A KR102364204B1 (ko) | 2020-06-11 | 2020-06-11 | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200070872A KR102364204B1 (ko) | 2020-06-11 | 2020-06-11 | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210154291A KR20210154291A (ko) | 2021-12-21 |
| KR102364204B1 true KR102364204B1 (ko) | 2022-02-18 |
Family
ID=79165487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200070872A KR102364204B1 (ko) | 2020-06-11 | 2020-06-11 | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102364204B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230068198A (ko) | 2021-11-10 | 2023-05-17 | 삼성전자주식회사 | UV(Ultra violet) 광원 및 그 제조 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101228044B1 (ko) * | 2010-09-17 | 2013-02-08 | (주)메딕콘 | 광조사와 진동 볼을 구비한 액상 화장품 용기 |
| KR101870689B1 (ko) * | 2016-01-22 | 2018-06-25 | 고려대학교 산학협력단 | 영상 기반의 두피 진단 정보 제공 방법 |
| KR102121462B1 (ko) * | 2018-01-25 | 2020-06-10 | 안준범 | 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치 |
| KR20190104660A (ko) * | 2018-03-02 | 2019-09-11 | 임봉준 | 스마트 폰을 이용한 두피, 피부 진단 장치 |
-
2020
- 2020-06-11 KR KR1020200070872A patent/KR102364204B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210154291A (ko) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11832958B2 (en) | Automatic image-based skin diagnostics using deep learning | |
| US11416988B2 (en) | Apparatus and method for visualizing visually imperceivable cosmetic skin attributes | |
| US20140316235A1 (en) | Skin imaging and applications | |
| KR20200101540A (ko) | 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템 | |
| CN108875485A (zh) | 一种底图录入方法、装置及系统 | |
| WO2012078114A1 (en) | Method and an apparatus for determining vein patterns from a colour image | |
| KR102162683B1 (ko) | 비정형 피부질환 영상데이터를 활용한 판독보조장치 | |
| Ruminski et al. | Interactions with recognized patients using smart glasses | |
| JP2023551789A (ja) | １つ以上のユーザ固有の推奨を生成するために、ユーザの頭部の毛髪領域の画像の画素データを分析するためのデジタル撮像及び学習システム並びに方法 | |
| KR102445747B1 (ko) | 피부 분석에 기초하여 토탈 큐레이션 서비스를 제공하기 위한 방법 및 장치 | |
| KR102364204B1 (ko) | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 | |
| CN114842522A (zh) | 应用于美容医疗的人工智能辅助评估方法 | |
| Hsu | A customer-oriented skin detection and care system in telemedicine applications | |
| CN113033387A (zh) | 一种自动识别老年人慢性疼痛程度的智能评估方法及系统 | |
| Kwaśniewska et al. | Real-time facial features detection from low resolution thermal images with deep classification models | |
| Gutstein et al. | Hand-eye coordination: automating the annotation of physician-patient interactions | |
| CN109409322A (zh) | 活体检测方法、装置及人脸识别方法和人脸检测系统 | |
| KR100915922B1 (ko) | 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법 및시스템 | |
| Hsu et al. | Extraction of visual facial features for health management | |
| KR102165487B1 (ko) | 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템 | |
| López-Fernández et al. | Knowledge-Driven Dialogue and Visual Perception for Smart Orofacial Rehabilitation | |
| KR102536648B1 (ko) | 시각 인공지능 활용 안면 근육 분석에 기초한 주사 위치 및 투여량 추정 시스템 및 그 방법 | |
| Ajitha et al. | Higher Diagnostic Accuracy for Melanoma in Dermoscopy Images using Convolution Neural Network | |
| CN114783035A (zh) | 基于脸检测识的心理健康预判方法、系统、设备、介质 | |
| JP2023038870A (ja) | 印象評価方法及び印象評価システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |