KR20200055884A - 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법 - Google Patents

피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법 Download PDF

Info

Publication number
KR20200055884A
KR20200055884A KR1020180139514A KR20180139514A KR20200055884A KR 20200055884 A KR20200055884 A KR 20200055884A KR 1020180139514 A KR1020180139514 A KR 1020180139514A KR 20180139514 A KR20180139514 A KR 20180139514A KR 20200055884 A KR20200055884 A KR 20200055884A
Authority
KR
South Korea
Prior art keywords
image data
face
user
value
skin
Prior art date
Application number
KR1020180139514A
Other languages
English (en)
Inventor
이시은
박기홍
김윤호
Original Assignee
이시은
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이시은 filed Critical 이시은
Priority to KR1020180139514A priority Critical patent/KR20200055884A/ko
Publication of KR20200055884A publication Critical patent/KR20200055884A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

피부 진단용 이미지 데이터 처리 방법은 유저 단말기에 있는 화상인식모듈을 통하여 사용자 얼굴에 대한 촬영 이미지 데이터를 획득하는 단계, 상기 촬영 이미지 데이터를 YCbCr 색 공간으로 변환하고, 상기 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 HSV 색 공간으로 변환하고, 상기 사용자 얼굴에 대해 색상값 H를 이용하여 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 상기 사용자 얼굴에 대해 R, G, B 중 선택된 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역을 나타내는 2차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 그레이 스케일로 변환하고, 기준 임계값을 초과하는 부분으로 잡티의 후보 영역을 나타내는 3차 이미지 데이터를 검출하는 단계를 포함한다.

Description

피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법{A METHOD OF THE IMAGE DATA PROCESS FOR A SKIN DIAGNOSYS AND A RESERVATION METHOD FOR THE SKIN SIGNOSYS USING THE SAME METHOD}
본 발명은 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법에 관한 것이다. 보다 상세하게는 일반 스마트폰을 사용하여 보안성을 강화할 수 있는 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법에 관한 것이다.
사회가 변화함에 따라, 피부에 대한 관심이 증가하고 있다. 특히, 피부 관리 시술과 관련하여 직접적인 시술뿐 아니라, 어떠한 시술이 필요한 상태이며, 어떠한 방식으로 진행해야 하는지 많은 상담이 진행된다.
원격에서 상담을 진행하는 경우, 자신의 피부상태에 대한 정보를 막연히 대화로 전달하는 것을 한계가 있으며, 또한 휴대폰에서의 셀프촬영한 이미지를 보내고 상담한다고 가정하면, 자신의 이미지를 전혀 모르는 상담소에 전달해야 하는 부담이 있다. 특히 이것은 개인정보의 보호에 관한 측면뿐 아니라, 여러 다른 목적으로 사용되거나, 범죄에 악용될 소지도 충분하다.
따라서 스마트폰을 이용하여 개인정보 등의 유출을 막으면서, 효과적으로 피부 진단용 관련 정보를 상담자에게 제공하고, 예약할 수 있는 시스템의 개발이 필요하다.
대한민국 등록특허 제10-1436988호
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 스마트폰을 활용하여 피부진단에 필요한 정보들을 분석 및 획득하고, 개인정보가 유출되지 않는 방법으로 데이터들을 상담사에게 전달할 수 있는 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법을 제공하는 것이다.
본 실시예에 따른 피부 진단용 이미지 데이터 처리 방법은 유저 단말기에 있는 화상인식모듈을 통하여 사용자 얼굴에 대한 촬영 이미지 데이터를 획득하는 단계, 상기 촬영 이미지 데이터를 YCbCr 색 공간으로 변환하고, 상기 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 HSV 색 공간으로 변환하고, 상기 사용자 얼굴에 대해 색상값 H를 이용하여 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 상기 사용자 얼굴에 대해 R, G, B 중 선택된 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역을 나타내는 2차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 그레이 스케일로 변환하고, 기준 임계값을 초과하는 부분으로 잡티의 후보 영역을 나타내는 3차 이미지 데이터를 검출하는 단계를 포함한다.
일 실시예에 있어서, 상기 얼굴 영역 데이터는 YCbCr 색 공간으로 변환된 상기 촬영 이미지 데이터에서, Cb는 133 내지 173 사이의 값을 가지고, Cr은 77에서 127 사이의 값을 가지는 경우 얼굴 영역으로 판단하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 1차 이미지 데이터는, HSV 색 공간으로 변환된 상기 촬영 이미지 데이터에서, H 값이 0에 근접한 값을 가지는 영역으로 판단하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 1차 이미지 데이터는 R 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역으로 판단하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 피부 진단용 예약 방법은 수요자 관리 모듈에 의해 복수개의 문진 대한 응답 정보를 입력 받는 문진 정보 입력 단계, 공급자 관리 모듈에 의해 사용자 단말에 의해 촬영된 사용자 얼굴의 촬영 이미지 데이터를 바탕으로, 이미지 데이터를 처리하여 피부 상태를 분석하는 피부 상태 분석 단계, 상기 촬영 이미지 데이터를 제외한 분석 결과 이미지 데이터들을 서버에 저장하는 단계, 상기 서버에 저장된 가능한 상담 예약처 정보를 상기 사용자 단말에 제공하는 단계, 상기 사용자 단말을 통하여 상기 가능한 상담 예약처 정보 중 하나를 결정 받는 단계, 상기 결정된 상담 예약처에 있는 단말 장치에 상기 분석 결과 이미지 데이터들을 제공하는 단계를 포함한다.
일 실시예에 있어서, 상기 피부 상태 분석 단계는, 상기 촬영 이미지 데이터를 YCbCr 색 공간으로 변환하고, 상기 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 HSV 색 공간으로 변환하고, 상기 사용자 얼굴에 대해 색상값 H를 이용하여 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 상기 사용자 얼굴에 대해 R, G, B 중 선택된 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역을 나타내는 2차 이미지 데이터를 검출하는 단계, 상기 촬영 이미지 데이터를 그레이 스케일로 변환하고, 기준 임계값을 초과하는 부분으로 잡티의 후보 영역을 나타내는 3차 이미지 데이터를 검출하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 얼굴 영역 데이터는 YCbCr 색 공간으로 변환된 상기 촬영 이미지 데이터에서, Cb는 133 내지 173 사이의 값을 가지고, Cr은 77에서 127 사이의 값을 가지는 경우 얼굴 영역으로 판단하는 것을 특징으로 하고, 상기 1차 이미지 데이터는 R 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역으로 판단하는 것을 특징으로 할 수 있다.
따라서 본 발명에 따른 피부 진단용 이미지 데이터 처리 방법은 스마트 폰의 화상 촬영 모듈을 이용하여, 사용자의 피부 상태를, 여드름, 홍조, 색소침착, 잡티, 유분, 수분에 관련된 항목으로 정리하여 분석할 수 있다.
또한, 본 발명에 따른 피부 진단용 예약 방법은 스마트폰의 이미지 분석 결과를 제공할 뿐 아니라, 문진에 의해 파악할 수 있는 사용자의 피부 분석을 제공함으로써, 일반적으로 별도의 기구 없이는 측정하기 어려운 피부의 유분이나 수분에 관련된 정보도 제공할 수 있다.
또한, 본 발명에 따른 피부 진단용 예약 방법은 스마트폰의 이미지 분석 프로세스와 문진에 의해 파악하는 프로세스를 동시에 시작함으로써, 이미지 분석 시에 사용자가 대기하여야 하는 것을 방지한다. 또한, 이러한 대기 시간을 줄이기 위해 이미지를 서버로 전송하는 것을 미연에 차단한다.
또한, 본 발명에 따른 피부 진단용 예약 방법은 사용자를 식별할 수 있는 촬영 이미지를 그대로 전달하지 않기 때문에, 개인정보의 보호나 보안에 최적화 되어 이로 인해 발생할 수 있는 사고를 미연에 방지하게 된다.
도 1은 본 발명의 일 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 사용되는 이미지들을 나타내는 개념도이다.
도 2a 내지 도 2e는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에 적용되는 알고리즘을 나타내는 순서도이다.
도 3a 및 도 3b는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에 사용되는 컬러 영역을 나타내는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 피부 진단용 예약 시스템에서 수요자 관리 모듈에서 사용되는 문진 방법을 나타내는 개념도이다.
도 5는 도 4의 실시예에 따른 피부 진단용 예약 시스템을 나타내는 개념도이다.
도 6은 도 4의 실시예에 따른 피부 진단용 예약 시스템에서 전달되는 이미지들을 나타내는 개념도이다.
도 7은 도 4의 실시예에 따른 피부 진단용 예약 시스템이 실행되는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 본 발명의 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
피부 진단용 이미지 데이터 처리 방법
도 1은 본 발명의 일 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 사용되는 이미지들을 나타내는 개념도이다.
도 1을 참조하면, 본 실시예에 따른 피부 진단용 이미지 데이터 처리 방법은 유저 단말기에 있는 화상인식모듈을 통하여 사용자 얼굴에 대해 획득된 촬영 이미지 데이터(IM0), 촬영 이미지 데이터(IM0)를 사용하여 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터(IMS), 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터(IM1), 색소침착의 후보영역을 나타내는 2차 이미지 데이터(IM2), 잡티의 후보 영역을 나타내는 3차 이미지 데이터(IM3)를 포함한다.
촬영 이미지 데이터(IM0)는 직접 촬영된 이미지 데이터이며, 촬영 이미지 데이터(IM0)를 기본으로 가공 및 분석된 1차 내지 3차 이미지 데이터들(IM1, IM2, IM3)을 사용한다. 특히, 이러한 과정은 유저 단말기 내에서 진행되며, 이러한 이미지 가공 및 분석은 유저 단말기의 프로세서에서 처리된다.
도 2a 내지 도 2e는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에 적용되는 알고리즘을 나타내는 순서도이다. 도 3a 및 도 3b는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에 사용되는 컬러 영역을 나타내는 개념도이다.
도 2a는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 얼굴 영역 데이터를 검출하는 프로세스의 순서도이다.
도 2a를 참조하면, 촬영 이미지 데이터 획득 단계(S11)에서 촬영 이미지 데이터(IM0)를 전달받는다. 일반적으로 이 촬영 이미지 데이터(IM0)는 RGB 색공간의 데이터 포맷을 가진다. 이후, 촬영 이미지 데이터(IM0)를 YCbCr 색공간 데이터로 변환한다(S13). 이 때에 피부영역 범위를 각각 Y값은 0에서 255까지, Cb값은 133에서 173 사이의 값을, Cr값은 77에서 127 사이의 값을 가지는 것을 얼굴 영역 내로 분석한다. 따라서 이 범위 내에 있는 이미지 영역을 얼굴 영역 데이터(IMS)로 검출한다(S15).
도 2b는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 1차 이미지 데이터를 검출하는 프로세스의 순서도이다.
도 2b를 참조하면, 촬영 이미지 데이터(IM0)를 획득하고(S21), 이 촬영 이미지 데이터(IM0)를 HSV 색공간으로 변환한다(S22). HSV 색 공간은 색상(Hue), 채도(Saturation), 명도(value)를 기준으로 색을 구성하는 방식이다. 감산 혼합이나 가산 혼합보다 색상의 지정이 직관적이기 때문에, 특정 컬러에 대응되는 피부 상의 요소들을 추출하는 데에 사용될 수 있다. 특히, 본 실시예에서는 색상값 H 중 레드에 해당하는 값을 위주로 여드름과 홍조의 후보영역을 검출한다. 여드름과 홍조는 다른 요소들보다 붉은색에 치우쳐 분포되는 특징이 있다.
도 3a 및 도 3b를 참조하면, 색상값 H 중 레드(R)에 해당하는 범위로 여드름과 홍조의 후보영역을 검출한다(S24). HSV 색 공간에서 H값은 각도값(
Figure pat00001
)으로 추출될 수 있으며, 도 3a에서는 이러한 여드름과 홍조의 후보영역(R1)을 나타낸다.
또한 도 3b를 보면 H값(
Figure pat00002
)의 범위가 0에서 360도로 변화하는 가운데, 여드름과 홍조의 후보영역이 각각 0도에서 시작되는 범위(R2)와 360도로 끝나는 범위(R3)로 구성됨을 알 수 있다. 표현이 다르게 된 것일 뿐 R1의 범위는 R2와 R3의 범위를 합한 것과 동일하다.
특히 이러한 특성을 추출하는 데에 용이한 색 공간이 HSV 색공간이기 때문에, 1차 이미지 데이터(IM1)을 검출하는 데에 HSV 색공간을 사용한다.
여드름과 홍조의 후보영역을 검출(S24)한 이후에는 이러한 검출 영역이 얼굴 영역 데이터에 포함되는 지를 다시 검토한다(S25). 이때에는 앞서 얼굴 영역 데이터를 추출하는 단계(S15)에서 얻어진 얼굴 영역 데이터(IMS)를 이용하여 판단한다. 이 때에 얼굴 영역이 아닌 곳에서 여드름과 홍조로 판단되는 영역은 노이즈로 판단하고 노이즈를 제거(S26)한다. 이후 여드름과 홍조에 영역이라고 판단되는 부분에 대해서는 침식, 팽창 연산을 통하여 형태학적 처리를 실시한다(S27). 이후 Canny 에지(edge)를 추출하는 과정을 실시한다(S28). 이를 통하여 최종적으로 여드름과 홍조의 영역으로 판단되는 1차 이미지 데이터(IM1)를 검출한다(S29).
도 2c는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 2차 이미지 데이터를 검출하는 프로세스의 순서도이다.
2차 이미지 데이터(IM2)는 색소침착의 후보영역을 나타내는 이미지 데이터이다. 먼저 촬영 이미지 데이터(IM0)를 획득하고(S31), 이 촬영 이미지 데이터(IM0)를 RGB 색공간으로 변환한다(S32). 이미 촬영 이미지 데이터(IM0)가 RGB 색공간으로 구현된 경우에는 이러한 변환 과정을 생략할 수 있다.
RGB 색공간은 색을 혼합하면 명도가 올라가는 가산 혼합 방식으로 색을 표현한다. RGB 가산혼합의 삼원색은 빨강(Red), 녹색(Green), 파랑(Blue)을 뜻한다. RGB 색 공간은 삼원색에 해당하는 세 가지 채널의 밝기를 기준으로 색을 지정한다. RGB 색 공간은 웹 색상 표현의 기본 원리이다. 특히, 본 실시예에서는 이러한 삼원색 중 레드(R)에 해당하는 색상축을 이용하여 색소침착의 후보영역을 분석한다(S33).
일반적으로 색소 침착은 자외선을 흡수하고 필터링하는 멜라닌에 의해 유발된다. 이것은 CIE L*a*b* 색 공간에서 멜라닌과 헤모글로빈의 요소로 구분될 수 있으나, 이러한 색 공간을 일반적인 스마트폰의 촬영으로 얻은 이미지로 처리하는 것은 비효율적이다. 따라서 이것을 RGB 색공간에서 R값을 대푯값으로 하여 멜라닌의 위치를 추정하여 색소 침착의 후보영역을 추출한다.
도 2d를 참조하면, 이러한 색소침착의 후보 영역을 분석하는 단계(S33)가 세분화 되어 표시된다.
먼저 R'을 계산한 후, R'의 최대값(Max)과 최소값(Min)을 계산한다(S331). 여기서 R'값의 정의는 [수학식 1]에 의해 정의할 수 있다.
Figure pat00003
다음 적용되는 Factor값을 계산한다(S335). 여기서 Factor값의 정의는 [수학식 2]에 의해 정의할 수 있다.
Figure pat00004
다음 색소 침착영역을 구분하는 기준값(P)를 계산한다(S337). 기준값(P)는 [수학식 3]에 의해 정의할 수 있다.
Figure pat00005
이러한 알고리즘을 통하여 색소 침착 영역을 검출한다(S34).
색소 침착의 후보영역을 검출(S34)한 이후에는 이러한 검출 영역이 얼굴 영역 데이터에 포함되는 지를 다시 검토한다(S35). 이때에는 앞서 얼굴 영역 데이터를 추출하는 단계(S15)에서 얻어진 얼굴 영역 데이터(IMS)를 이용하여 판단한다. 이때에 얼굴 영역이 아닌 곳에서 색소 침착으로 판단되는 영역은 노이즈로 판단하고 노이즈를 제거(S36)한다. 이후 색소 침착 영역이라고 판단되는 부분에 대해서는 침식, 팽창 연산을 통하여 형태학적 처리를 실시한다(S37). 이후 Canny 에지(edge)를 추출하는 과정을 실시한다(S38). 이를 통하여 최종적으로 색소 침착의 영역으로 판단되는 2차 이미지 데이터(IM2)를 검출한다(S39).
도 2e는 도 1의 실시예에 따른 피부 진단용 이미지 데이터 처리 방법에서 3차 이미지 데이터를 검출하는 프로세스의 순서도이다.
3차 이미지 데이터(IM3)는 잡티의 후보영역을 나타내는 이미지 데이터이다. 먼저 촬영 이미지 데이터(IM0)를 획득하고(S41), 이 촬영 이미지 데이터(IM0)를 Gray-Scale 색 공간으로 변환한다(S42).
색 공간에서, 회색조(grayscale, greyscale) 영상은 각 화소의 값이 빛의 양을 나타내는 하나의 샘플인 이미지를 가리키며, 광도의 정보만을 전달한다. 이러한 종류의 이미지는 흑백 또는 단색화로도 알려져 있으며 회색 음영으로 이루어져 있어서 가장 여린 광도의 "검정"부터 가장 센 광도의 "백색"에 이르기까지 다양하다. 특히, 본 실시예에서는 이러한 그레이스케일의 색공간에서 기준의 임계값을 이용하여 잡티의 후보영역을 분석한다(S43). 잡티의 검출 알고리즘은 피부 영역의 평균보다 큰 표준 편차를 갖는 픽셀 영역에 대해 잡티 영역으로 판정하며, 이것은 광도의 정보만으로 판단한다.
잡티의 후보영역을 검출(S44)한 이후에는 이러한 검출 영역이 얼굴 영역 데이터에 포함되는 지를 다시 검토한다(S45). 이때에는 앞서 얼굴 영역 데이터를 추출하는 단계(S15)에서 얻어진 얼굴 영역 데이터(IMS)를 이용하여 판단한다. 이때에 얼굴 영역이 아닌 곳에서 잡티로 판단되는 영역은 노이즈로 판단하고 노이즈를 제거(S46)한다. 이후 잡티 영역이라고 판단되는 부분에 대해서는 침식, 팽창 연산을 통하여 형태학적 처리를 실시한다(S47). 이후 Canny 에지(edge)를 추출하는 과정을 실시한다(S48). 이를 통하여 최종적으로 잡티의 영역으로 판단되는 3차 이미지 데이터(IM3)를 검출한다(S49).
문진에 의한 수분 유분 상태 진단(시간의 효율적인 분배)
도 4는 본 발명의 일 실시예에 따른 피부 진단용 예약 시스템에서 수요자 관리 모듈에서 사용되는 문진 방법을 나타내는 개념도이다.
실제로, 얼굴에 있는 수분과 유분 성분을 측정하기 위해서는 별도의 외부 장치가 필요하다. 이것은 스마트폰에 장착된 센서로는 측정이 어렵기 때문에, 소비자에게 이것을 진단할 수 있는 문진정보를 제공하여 진단하도록 한다. 이때에 사용되는 문진 내용은 다음과 같다.
1. 각질이 하얗게 보여요
2. 제품을 발랐을 때 따가워요
3. 기름종이를 자주 사용해요
4. 세안을 몇 번 하세요?
5. 보습제를 발라도 3~4시간이 지나면 피부가 당기거나 푸석해요
6. 화장이 번들거리고 쉽게 지워져요
7. 얼굴이 붉고 열감이 많아요
8. 이마와 코(T존)부위의 모공이 크고 블랙헤드가 있어요
9. 스킨제품을 바르면 피부가 가렵거나 따가워요
10. 최근에 좁쌀 트러블이 많이 생겨요
11. 화장을 하면 들뜨고 피지가 보여요
12. 최근 블랙헤드와 화이트헤드가 많이 보인다
이러한 문진 내용은 사용자가 생각하고 결정하는 데에 시간을 필요로 한다. 이때에, 스마트폰에서는 촬영 이미지 데이터(IM0)를 사용하여 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터(IMS), 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터(IM1), 색소침착의 후보영역을 나타내는 2차 이미지 데이터(IM2), 잡티의 후보 영역을 나타내는 3차 이미지 데이터(IM3)를 연산한다. 이러한 이미지 데이터들의 연산에는 적어도 5분 정도의 시간이 요소되나, 사용자 측에서는 이 연산 시간동안 문진에 대한 응답을 입력하기 때문에, 연산 시간의 지연을 느낄 수 없게 되며, 피부진단의 시간을 효율적으로 사용할 수 있게 된다.
피부 진단용 예약 시스템
도 5는 도 4의 실시예에 따른 피부 진단용 예약 시스템을 나타내는 개념도이다. 도 6은 도 4의 실시예에 따른 피부 진단용 예약 시스템에서 전달되는 이미지들을 나타내는 개념도이다. 도 7은 도 4의 실시예에 따른 피부 진단용 예약 시스템이 실행되는 순서도이다.
도 5 및 도 7을 먼저 참조하면, 사용자 단말(100)에서는 카메라 모듈(110), 공급자 관리 모듈(Supplier Management Module; SSM, 120) 및 수요자 관리 모듈(Consumer Management Module; CMM, 130)을 포함한다. 사용자 단말(100)은 사용자들이 사용하는 스마트폰을 의미하는 것이고, 일반적으로 스마트폰에 적용되는 모듈들을 포함할 수 있다.
카메라 모듈(110)을 통하여 사용자 얼굴 촬영 이미지 데이터(IM0)를 얻을 수 있다(S10). 공급자 관리 모듈(120)에서는 용자 단말에 의해 촬영된 사용자 얼굴의 촬영 이미지 데이터를 바탕으로, 이미지 데이터를 처리하여 피부 상태를 분석하여 복수개의 분석 이미지 데이터(IMS)를 생성한다(S20, S30, S40).
수요자 관리 모듈(130)에서는 복수개의 문진 대한 응답 정보를 입력 받아, 진단 분석 데이터(DD)를 생성한다(S50).
앞서 설명한 바와 같이 공급자 관리 모듈(120)의 구동과 수요자 관리 모듈(130)의 구동이 동시에 시작되어, 단말(100)의 프로세스에서 공급자 관리 모듈(120)의 연산을 수행함과 동시에 수요자 관리 모듈(130)을 통해 사용자의 피부 상태에 대한 문진을 입력 받는다. 실제 공급자 관리 모듈(120)에서는 상당한 자원을 필요로 하는 연산을 실시하지만, 사용자는 이때에 수요자 관리 모듈(130)에 대한 문진을 입력하기 때문에, 시간의 지연을 느끼지 못한다.
이때에 연산된 분석 이미지 데이터(IMS)와 진단 분석 데이터(DD)는 서버(200)로 전달되어 저장된다. 서버측에서는 상담예약이 필요한 곳의 단말장치(300)에 수신 모듈(350)을 통하여 분석 이미지 데이터(IMS) 및 진단 분석 데이터(DD)를 제공하여, 상담을 하는 단말에 상담을 준비하거나 실시하기 위해 필요한 정보들을 제공한다(S80).
만일 사용자 단말(100)에서 상담을 원하는지의 여부를 문는 단계(S60)d에서 더 이상 진행하지 않는 의사가 입력되면, 분석 프로세스는 이 단계에서 종료될 수 있다(S90).
도 6을 참조하면, 실제 이미지들이 어떻게 전송되는 지를 확인할 수 있다. 사용자 단말(100)에서는 최초의 얼굴 촬영 이미지 데이터(IM0)가 저장되며, 이를 바탕으로 연산한 얼굴 영역 데이터(IMS), 1차 이미지 데이터(IM1), 2차 이미지 데이터(IM2), 3차 이미지 데이터(IM3)가 단말에 저장된다.
1차, 2차, 3차 이미지 데이터(IM1, IM2, IM3)에서 사용자의 실제 얼굴을 제외하고, 영역정보만을 표시하도록 필터링된 후가공 이미지 데이터(PIMS, PIM1, PIM2, PIM3)가 생성되고 저장된다. 이러한 후가공 이미지 데이터는 사용자의 얼굴 이미지를 포함하지 않는다.
이러한 후가공이미지 데이터(PIM1, PIM2, PIM3)가 사용자의 단말(100)에서 서버(200)로 전송되며, 서버(200)의 저장소에 저장되고, 상담소의 단말(300)에는 이러한 후가공이미지만 전달된다.
이처럼 사용자의 실제적인 얼굴을 가지는 정보가 사용자 단말(100) 외부로 송출되지 않기 때문에, 사용자의 얼굴에 해당하는 개인정보의 유출을 철저히 보호할 수 있다. 기존의 시스템에서는 이미지 처리에 대한 연산시간을 줄이기 위해, 이미지를 송출하여 서버측에서 연산을 수행하는 등의 방법을 사용할 수 있는데, 이것은 사용자의 얼굴 사진을 유출하는 부작용을 가진다. 이러한 얼굴 이미지 사진은 개인정보의 유출 뿐 아니라, 개인정보를 이용한 신분 사기 등 각종 범죄에도 악용될 가능성이 높다. 이러한 부작용을 미연에 방지할 수 있다.
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
100 : 사용자 단말
200 : 서버
300 : 상담자 단말

IM0 : 촬영 이미지 데이터
IMS : 얼굴 영역 데이터
IM1 : 1차 이미지 데이터
IM2 : 2차 이미지 데이터
IM3 : 3차 이미지 데이터

PIMS, PIM1, PIM2, PIM3 : 후가공 이미지 데이터

Claims (7)

  1. 유저 단말기에 있는 화상인식모듈을 통하여 사용자 얼굴에 대한 촬영 이미지 데이터를 획득하는 단계;
    상기 촬영 이미지 데이터를 YCbCr 색 공간으로 변환하고, 상기 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 HSV 색 공간으로 변환하고, 상기 사용자 얼굴에 대해 색상값 H를 이용하여 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 상기 사용자 얼굴에 대해 R, G, B 중 선택된 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역을 나타내는 2차 이미지 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 그레이 스케일로 변환하고, 기준 임계값을 초과하는 부분으로 잡티의 후보 영역을 나타내는 3차 이미지 데이터를 검출하는 단계;
    를 포함하는 피부 진단용 이미지 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 얼굴 영역 데이터는 YCbCr 색 공간으로 변환된 상기 촬영 이미지 데이터에서, Cb는 133 내지 173 사이의 값을 가지고, Cr은 77에서 127 사이의 값을 가지는 경우 얼굴 영역으로 판단하는 것을 특징으로 하는 피부 진단용 이미지 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 1차 이미지 데이터는, HSV 색 공간으로 변환된 상기 촬영 이미지 데이터에서, H 값이 0에 근접한 값을 가지는 영역으로 판단하는 것을 특징으로 하는 피부 진단용 이미지 데이터 처리 방법.
  4. 제1항에 있어서,
    상기 1차 이미지 데이터는 R 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역으로 판단하는 것을 특징으로 하는 피부 진단용 이미지 데이터 처리 방법.
  5. 수요자 관리 모듈에 의해 복수개의 문진 대한 응답 정보를 입력 받는 문진 정보 입력 단계;
    공급자 관리 모듈에 의해 사용자 단말에 의해 촬영된 사용자 얼굴의 촬영 이미지 데이터를 바탕으로, 이미지 데이터를 처리하여 피부 상태를 분석하는 피부 상태 분석 단계;
    상기 촬영 이미지 데이터를 제외한 분석 결과 이미지 데이터들을 서버에 저장하는 단계;
    상기 서버에 저장된 가능한 상담 예약처 정보를 상기 사용자 단말에 제공하는 단계;
    상기 사용자 단말을 통하여 상기 가능한 상담 예약처 정보 중 하나를 결정 받는 단계;
    상기 결정된 상담 예약처에 있는 단말 장치에 상기 분석 결과 이미지 데이터들을 제공하는 단계;
    를 포함하는 피부 진단용 예약 방법.
  6. 제5항에 있어서,
    상기 피부 상태 분석 단계는,
    상기 촬영 이미지 데이터를 YCbCr 색 공간으로 변환하고, 상기 사용자 얼굴에 대한 영역 정보를 나타내는 얼굴 영역 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 HSV 색 공간으로 변환하고, 상기 사용자 얼굴에 대해 색상값 H를 이용하여 여드름과 홍조의 후보영역을 나타내는 1차 이미지 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 상기 사용자 얼굴에 대해 R, G, B 중 선택된 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역을 나타내는 2차 이미지 데이터를 검출하는 단계;
    상기 촬영 이미지 데이터를 그레이 스케일로 변환하고, 기준 임계값을 초과하는 부분으로 잡티의 후보 영역을 나타내는 3차 이미지 데이터를 검출하는 단계;
    를 포함하는 것을 특징으로 하는 피부 진단용 예약 방법.
  7. 제5항에 있어서,
    상기 얼굴 영역 데이터는 YCbCr 색 공간으로 변환된 상기 촬영 이미지 데이터에서, Cb는 133 내지 173 사이의 값을 가지고, Cr은 77에서 127 사이의 값을 가지는 경우 얼굴 영역으로 판단하는 것을 특징으로 하고,
    상기 1차 이미지 데이터는 R 색상축의 주변부와의 편차값을 이용하여 색소침착의 후보영역으로 판단하는 것을 특징으로 하는 피부 진단용 예약 방법.
KR1020180139514A 2018-11-14 2018-11-14 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법 KR20200055884A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180139514A KR20200055884A (ko) 2018-11-14 2018-11-14 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180139514A KR20200055884A (ko) 2018-11-14 2018-11-14 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법

Publications (1)

Publication Number Publication Date
KR20200055884A true KR20200055884A (ko) 2020-05-22

Family

ID=70914151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180139514A KR20200055884A (ko) 2018-11-14 2018-11-14 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법

Country Status (1)

Country Link
KR (1) KR20200055884A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191322A (zh) * 2021-05-24 2021-07-30 口碑(上海)信息技术有限公司 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备
WO2023225774A1 (zh) * 2022-05-23 2023-11-30 京东方科技集团股份有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436988B1 (ko) 2013-01-23 2014-09-05 경일대학교산학협력단 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436988B1 (ko) 2013-01-23 2014-09-05 경일대학교산학협력단 투영 변환 블록 계수를 이용한 피부 색소 침착 검출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191322A (zh) * 2021-05-24 2021-07-30 口碑(上海)信息技术有限公司 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备
WO2023225774A1 (zh) * 2022-05-23 2023-11-30 京东方科技集团股份有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
US8131029B2 (en) Systems and methods for automatic skin-based identification of people using digital images
US20220237811A1 (en) Method for Testing Skin Texture, Method for Classifying Skin Texture and Device for Testing Skin Texture
Kaur et al. Comparison between YCbCr color space and CIELab color space for skin color segmentation
US11612350B2 (en) Enhancing pigmentation in dermoscopy images
TWI426891B (zh) Skin condition analysis method, skin condition analysis device, and recording medium for recording skin condition analysis program
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
JP4579046B2 (ja) 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
US8260010B2 (en) Systems and methods for analyzing skin conditions of people using digital images
Smolka et al. Towards automatic redeye effect removal
JP4683200B2 (ja) 髪領域の自動抽出方法
JP5557091B2 (ja) 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
CA2690952A1 (en) Facial skin defect resolution system, method and computer program product
CN104661583A (zh) 用于处理能从远程检测到的电磁辐射导出的数据的设备和方法
US20180365830A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
KR20200055884A (ko) 피부 진단용 이미지 데이터 처리 방법 및 이를 이용하는 피부 진단용 예약 방법
KR20200113853A (ko) 얼굴영상 처리를 이용한 퍼스널 컬러 분석 판별을 위한 장치 및 방법
KR20080043080A (ko) 사람의 피부 영역 검출장치 및 그 방법
Montenegro et al. A comparative study of color spaces in skin-based face segmentation
CN109069065B (zh) 色斑部位的评价方法及色斑部位评价装置
KR101647318B1 (ko) 휴대용 피부상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
Rosado et al. 12 From Dermoscopy to Mobile Teledermatology
US11449991B2 (en) Image processing method, image processing apparatus, and storage medium
CN112381737B (zh) 图像处理方法、装置、电子设备及存储介质
US20180040124A1 (en) Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
CN107527011B (zh) 一种非接触式皮肤电阻变化趋势检测方法、装置及设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application