KR20240046992A - Method for providing diagnosis and treatment of skin dermatitis based on machine-learning - Google Patents

Method for providing diagnosis and treatment of skin dermatitis based on machine-learning Download PDF

Info

Publication number
KR20240046992A
KR20240046992A KR1020220126064A KR20220126064A KR20240046992A KR 20240046992 A KR20240046992 A KR 20240046992A KR 1020220126064 A KR1020220126064 A KR 1020220126064A KR 20220126064 A KR20220126064 A KR 20220126064A KR 20240046992 A KR20240046992 A KR 20240046992A
Authority
KR
South Korea
Prior art keywords
dermatitis
skin
treatment
type
diagnosis
Prior art date
Application number
KR1020220126064A
Other languages
Korean (ko)
Inventor
김세용
Original Assignee
김세용
Filing date
Publication date
Application filed by 김세용 filed Critical 김세용
Publication of KR20240046992A publication Critical patent/KR20240046992A/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/412Detecting or monitoring sepsis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

본 개시의 일 실시예에 따르면, 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법이 제공된다. 본 개시의 방법은 피부 사진을 촬영하는 단계; 상기 피부 사진을 분석하여, 피부염 유형을 식별하는 딥러닝 모델을 기초로 피부 사진에 나타나는 모든 피부염의 유형을 식별하는 단계; 식별한 피부염 유형별로 해당 피부염 영역에 대한 바운딩 박스 실효 면적의 합을 산출하는 단계; 피부염 유형별 바운딩 박스 면적이 분석하려는 피부 면적에서 차지하는 비율을 산출하는 단계; 피부 사진에 나타난 피부염 유형별 피부염 경중 정도의 등급을 판단하는 단계; 및 피부염 치료 디바이스의 치료 매체의 세기값을 피부염 경중상태 등급에 따라설정하는 단계; 를 포함할 수 있다.According to an embodiment of the present disclosure, a method for diagnosing and treating dermatitis using machine learning-based skin image analysis technology is provided. The method of the present disclosure includes taking a picture of the skin; Analyzing the skin photo to identify all types of dermatitis appearing in the skin photo based on a deep learning model that identifies dermatitis types; calculating the sum of the effective areas of the bounding boxes for the corresponding dermatitis areas for each identified dermatitis type; Calculating the ratio of the bounding box area for each type of dermatitis to the skin area to be analyzed; Determining the severity level of dermatitis for each type of dermatitis shown in the skin photo; and setting the intensity value of the treatment medium of the dermatitis treatment device according to the severity level of dermatitis. may include.

Description

머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법{Method for providing diagnosis and treatment of skin dermatitis based on machine-learning}Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology {Method for providing diagnosis and treatment of skin dermatitis based on machine-learning}

본 개시는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스 제공 방법에 관한 것으로서, 더 상세하게는 피부염 사진을 머신러닝 기반으로 분석하여 피부염을 진단하고 치료하는 방법에 관한 것이다.This disclosure relates to a method of providing a mobile service for dermatitis diagnosis and treatment using machine learning-based skin image analysis technology. More specifically, it relates to a method of diagnosing and treating dermatitis by analyzing dermatitis photos based on machine learning.

일반적으로 피부염이 있는 사람은 피부과를 방문하여 피부과 전문의로부터 피부염 진단을 받고 진단 결과에 따라서 레이저나 UV 등의 치료기기로 치료를 받고 치료제를 복용 및 환부에 바르는 등의 치료를 받는 방식으로 진행된다. In general, people with dermatitis visit a dermatologist, receive a diagnosis of dermatitis from a dermatologist, and depending on the diagnosis results, receive treatment with a treatment device such as a laser or UV light, and then receive treatment such as taking a treatment and applying it to the affected area.

이러한 피부과를 방문하여 피부염을 치료받는 방식의 경우, 전문의로부터 치료를 받기 전까지 많은 시간이 소요될 뿐만 아니라, 매번 방문하여 치료를 받을 때마다 고가의 레이저나 UV 치료기기를 사용하게 되어 비싼 치료 비용 부담이 발생하며, 전문의의 지식과 경험에만 의존하기 때문에 피부염 진단에 의한 진단 오류 및 그에 따른 치료의 부작용이 발생할 수 있다. In the case of dermatitis treatment by visiting a dermatologist, not only does it take a lot of time to receive treatment from a specialist, but also expensive laser or UV treatment devices are used every time you visit and receive treatment, resulting in high treatment costs. Because it relies solely on the knowledge and experience of a specialist, diagnostic errors due to dermatitis diagnosis and subsequent side effects of treatment may occur.

이러한 피부과 직접 방문에 따른 불편함과 피부과 전문의로부터 진료을 받기까지의 긴 대기 시간, 고가의 치료기기를 이용한 치료 방법에 의한 비싼 치료비용의 부담, 전문의의 진단 오류에 의한 부작용 등의 다양한 원인으로 인하여 적시의 피부과 방문이 이루어지지 않아 피부염의 치료시기를 놓치게 되어 피부염을 악화시키는 원인이 되고 있다.Due to various reasons such as the inconvenience of visiting a dermatologist in person, the long waiting time to receive treatment from a dermatologist, the burden of expensive treatment costs due to treatment methods using expensive treatment devices, and side effects due to diagnostic errors by specialists, timely treatment is required. Because people do not visit a dermatologist, they miss the treatment period for dermatitis, which causes dermatitis to worsen.

상기와 같은 문제점을 해결하기 위해 한국공개특허 제10-2019-0051256호에서는 정상적인 피부 이미지와 피부 색상, 피부의 주름, 피부의 평탄도 등의 특징값들을 기준으로 진단 대상의 피부 이미지와 비교하여 피부 상태를 평가하는 방법이 개시되어 있으나, 피부의 간이한 상태를 파악할 수 있는 것으로서 질병으로서의 피부염증의 경중 정도를 발견하고 이를 치료 방법을 제안하기에는 한계가 분명하다. In order to solve the above problems, Korea Patent Publication No. 10-2019-0051256 compares the normal skin image with the skin image of the diagnostic target based on characteristic values such as skin color, skin wrinkles, and skin flatness. Although a method for assessing the condition has been disclosed, there are clear limitations in detecting the severity of skin inflammation as a disease and proposing a treatment method as it can identify the simple condition of the skin.

한국공개특허 제10-2022-0057793호에는 아토피성 피부질환이라는 피부염증을 특정하여 딥러닝된 아토피 피부염 학습 모듈에 기초하여 아토피 피부염의 유형 및 중증도를 정확하고 신속하게 판단 가능한 방법을 제공하고 있어, 일반적으로 피부에 존재할 수 있는 다양한 종류의 피부염이 혼재되어 있는 피부염의 상태를 판단하여 그에 맞는 최적의 집중관리 방안과 그에 맞는 치료 방법을 제공하기에는 한계가 있다. Korean Patent Publication No. 10-2022-0057793 specifies skin inflammation called atopic skin disease and provides a method for accurately and quickly determining the type and severity of atopic dermatitis based on a deep-learned atopic dermatitis learning module. In general, there are limitations in determining the state of dermatitis, which is a mixture of various types of dermatitis that can exist on the skin, and providing the optimal intensive management plan and appropriate treatment method.

특허문헌 1 : 대한민국 공개특허공보 제10-2019-0051256Patent Document 1: Republic of Korea Patent Publication No. 10-2019-0051256 특허문헌 2 : 대한민국 공개특허공보 제10-2022-0057793Patent Document 2: Republic of Korea Patent Publication No. 10-2022-0057793

본 개시의 일 실시예에 따르면, 머신러닝 기반의 피부 이미지 분석 기술을 이용하여 피부염 진단 및 치료 서비스를 제공할 수 있다. According to an embodiment of the present disclosure, dermatitis diagnosis and treatment services can be provided using machine learning-based skin image analysis technology.

본 개시의 일 실시예에 따르면, 피부 사진에 대해서 다수 유형의 피부염이 혼재되어있는 피부 상태를고려한 알고리즘을 통해 머신러닝을 기반으로 피부염의 종류 및 경중 정도를 산정하고 산정된 피부염의 중증 정도에 따라서 이에 적합한 치료 방법을 자동적으로 제공함으로써, 객관적인 데이터를 통해 비교적 정확하게 피부염의 유형 및 경중정도를 산정할 수 있다. According to an embodiment of the present disclosure, the type and severity of dermatitis is calculated based on machine learning through an algorithm that considers skin conditions in which multiple types of dermatitis are mixed for skin photos, and according to the calculated severity of dermatitis. By automatically providing a suitable treatment method, the type and severity of dermatitis can be calculated relatively accurately through objective data.

본 개시의 다른 실시예에 따르면, 피부염 사진에 대한 다수 유형의 피부염이 혼재되어있는 피부 상태를 분석하여 피부염 환자의 피부염 진단 및 치료가 가능하게 되므로, 피부염 환자가 피부과 병원에 방문하지 않고도 적시에 가정에서 피부염 진단 및 치료 서비스를 제공받을 수 있다. According to another embodiment of the present disclosure, it is possible to diagnose and treat dermatitis in a dermatitis patient by analyzing the skin condition in which multiple types of dermatitis are mixed in the dermatitis photo, so that the dermatitis patient can be diagnosed and treated in a timely manner without having to visit a dermatology hospital. You can receive dermatitis diagnosis and treatment services.

본 개시의 일 특징에 따르면, 피부염 진단 및 치료 방법이 제공된다. 피부염 진단 및 치료 방법은 피부 사진을 촬영하는 단계; 상기 피부 사진을 분석하여, 피부염 유형을 식별하는 딥러닝 모델을 기초로 피부 사진에 나타나는 모든 피부염의 유형을 식별하는 단계; 식별한 피부염 유형별로 해당 피부염 영역에 대한 바운딩 박스 실효 면적의 합을 산출하는 단계; 피부염 유형별 바운딩 박스 면적이 분석하려는 피부 면적에서 차지하는 비율을 산출하는 단계; 피부 사진에 나타난 피부염 유형별 피부염 경중 정도의 등급을 판단하는 단계; 및 피부염 치료 디바이스의 치료 매체의 세기값을 피부염 경중상태 등급에 따라 설정하는 단계;를 포함할 수 있다. According to one feature of the present disclosure, methods for diagnosing and treating dermatitis are provided. Dermatitis diagnosis and treatment methods include taking pictures of the skin; Analyzing the skin photo to identify all types of dermatitis appearing in the skin photo based on a deep learning model that identifies dermatitis types; calculating the sum of the effective areas of the bounding boxes for the corresponding dermatitis areas for each identified dermatitis type; Calculating the ratio of the bounding box area for each type of dermatitis to the skin area to be analyzed; Determining the severity level of dermatitis for each type of dermatitis shown in the skin photo; and setting the intensity value of the treatment medium of the dermatitis treatment device according to the severity level of dermatitis.

본 개시의 일 실시예에 따르면 피부 사진에 대하여 다수의 상황을 고려한 알고리즘을 통해 머신러닝을 기반으로 피부에 혼재해 있는 피부염의 종류(면포성 피부염, 구진성 피부염, 농포성 피부염, 결절성 피부염, 낭포성 피부염, 응괴성 피부염, 아토피 피부염)를 식별하고, 식별된 피부염의 유형에 의거하여 피부염의 경중 정도를 산정하고 산정된 피부염의 경중 정도에 따라서 이에 적합한 치료 방법을 제공할 수 있다. According to an embodiment of the present disclosure, types of dermatitis (comedogenic dermatitis, papular dermatitis, pustular dermatitis, nodular dermatitis, cystic dermatitis) mixed on the skin are determined based on machine learning through an algorithm that considers multiple situations for skin photos. Dermatitis, coagulative dermatitis, atopic dermatitis) can be identified, the severity of dermatitis can be calculated based on the identified type of dermatitis, and an appropriate treatment method can be provided according to the calculated severity of dermatitis.

본 개시의 일 실시예에 따르면, 객관적인 데이터를 통해 비교적 정확하게 피부염의 유형 및 경중증 정도를 산정할 수 있다. According to an embodiment of the present disclosure, the type and severity of dermatitis can be relatively accurately calculated through objective data.

본 개시의 일 실시예에 따르면, 모바일 앱을 통하여 피부염 환자의 피부염 진단 및 치료가 가능하게 되므로 사용자의 편의성을 제공할 수 있다. According to an embodiment of the present disclosure, it is possible to diagnose and treat dermatitis in dermatitis patients through a mobile app, thereby providing user convenience.

또한, 본 개시의 일 실시예에 따르면, 피부과에서 제공하는 고가의 치료기기를 이용한 치료 방법에 의한 비싼 치료비용의 부담, 전문의의 진단 오류에 의한 부작용 등의 원인 들로 인하여 피부과 방문을 꺼려하게 되어 피부염의 치료 시기를 놓치게 되는 위험을 줄일 수 있다.In addition, according to an embodiment of the present disclosure, people are reluctant to visit dermatologists due to reasons such as the burden of expensive treatment costs due to treatment methods using expensive treatment devices provided by dermatologists and side effects due to diagnostic errors by specialists. It can reduce the risk of missing the treatment period for dermatitis.

도 1은 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 시스템 구성도를 도시한다.
도 2는 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스 제공 방법의 흐름도를 도시한다.
도 3은 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스를 위한 어프리케이션(모바일 앱)의 구성도이다.
도 4(a)(b)는 본 개시의 일 실시예에 따라, 결절성, 구진성, 면포성 피부염이 혼재되어 있는 피부의 이미지를 예시적으로 도시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 모델을 생성하고 학습시키는 흐름도이다.
Figure 1 illustrates the configuration of a dermatitis diagnosis and treatment system using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.
Figure 2 shows a flowchart of a method of providing a mobile service for diagnosing and treating dermatitis using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.
Figure 3 is a configuration diagram of an application (mobile app) for a mobile service for dermatitis diagnosis and treatment using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.
Figure 4(a)(b) is a diagram illustrating an image of skin with mixed nodular, papular, and comedonal dermatitis, according to an embodiment of the present disclosure.
Figure 5 is a flowchart for generating and learning a dermatitis diagnosis and treatment model using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.

이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. Below, if it is judged that there is a risk of unnecessarily obscuring the gist of the present disclosure, detailed descriptions of already known functions and configurations will be omitted. In addition, it should be noted that the content described below only relates to one embodiment of the present disclosure and is not limited thereto.

본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는"및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는'포함하다' 또는'가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.The terms used in this disclosure are only used to describe specific embodiments and are not intended to limit the disclosure. For example, a component expressed in the singular should be understood as a concept that includes plural components unless the context clearly indicates only the singular. It should be understood that the term “and/or” as used in this disclosure encompasses any and all possible combinations of one or more of the listed items. Terms such as 'include' or 'have' used in this disclosure are only intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in this disclosure, and the meaning of these terms is The use is not intended to exclude the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

본 개시의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.In the embodiments of the present disclosure, 'module' or 'unit' refers to a functional part that performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or 'units' may be integrated into at least one software module and implemented by at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware. there is.

덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.In addition, unless otherwise defined, all terms used in this disclosure, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which this disclosure pertains. It should be noted that terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the context meaning of the related technology, and should not be interpreted in an overly restrictive or expanded manner unless clearly defined otherwise in the present disclosure. .

이하, 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법에 관하여 도면을 참조하여 상세히 설명한다.Hereinafter, a dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology according to an embodiment of the present disclosure will be described in detail with reference to the drawings.

도 1은 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 시스템 구성도를 도시한다. Figure 1 illustrates the configuration of a dermatitis diagnosis and treatment system using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.

머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 시스템(100)은 피부염 치료 디바이스(110), 사용자 단말기(120), 서버(130), 및 통신망(140)을 포함할 수 있다. The dermatitis diagnosis and treatment system 100 using machine learning-based skin image analysis technology may include a dermatitis treatment device 110, a user terminal 120, a server 130, and a communication network 140.

본 개시의 일 실시예에서, 피부염 치료 디바이스(110)는 피부염 부위에 플라즈마, 레이저, UV 등과 같은 피부 살균 및 치료 효과를 가지고 있는 매체를 발생시켜서 피부염 부위에 손쉽게 적용할 수 있고 휴대가 편하도록 구성될 수 있다. 일 실시예에서, 피부염 치료 디바이스(110)는, 근거리 무선통신 매체로 사용자 단말기(120)와 연결되고, 사용자 단말기(120)에 설치된 어플리케이션에서 전송한 치료 매체의 세기값을 받아서 그에 맞는 세기 값으로 치료 매체의 세기를 발생하도록 구성될 수 있다. In one embodiment of the present disclosure, the dermatitis treatment device 110 generates a medium that has a skin sterilizing and treatment effect, such as plasma, laser, UV, etc., on the dermatitis area, so that it can be easily applied to the dermatitis area and is configured to be convenient to carry. It can be. In one embodiment, the dermatitis treatment device 110 is connected to the user terminal 120 through a short-distance wireless communication medium, receives the intensity value of the treatment medium transmitted from the application installed on the user terminal 120, and converts the intensity value to the corresponding intensity value. It may be configured to generate an intensity of the therapeutic medium.

본 개시의 일 실시예에서, 사용자 단말기(120)는 피부 이미지를 촬영하고, 촬영된 피부 이미지의 진단 및 치료 정보를 분석하도록 구성될 수 있다. 일 실시예에서, 사용자 단말기(120)는 사용자가 진단받으려는 피부 부위에 대한 카메라 촬영이 가능하도록 구성되는, 사용자가 소지한 단말기에 설치된 어플리케이션(모바일 앱)을 포함할 수 있다. 예컨대, 사용자 단말기(120)는 진단을 원하는 피부 부위를 선택하여 카메라 촬영이 가능하도록 구성되는데, 상기 어플리케이션은 촬영된 피부 부위 사진에 대한 피부염의 경중증 상태 판단을 위하여 피부염 유형 분류를 위한 머신러닝 이미지 개체 탐지가 가능하도록 딥러닝 피부염 유형 추론엔진을 가지도록 하고, 식별된 피부염 유형에 의거한 피부염 경중 상태에 따라 그에 알맞는 치료 매체의 세기를 결정하고, 결정된 치료 매체의 세기값을 사용자 단말기와 근거리 무선통신 매체로 연결된 개인 휴대형 피부염 치료 디바이스에 전송되도록 구성될 수 있다. In one embodiment of the present disclosure, the user terminal 120 may be configured to capture a skin image and analyze diagnosis and treatment information of the captured skin image. In one embodiment, the user terminal 120 may include an application (mobile app) installed on the user's terminal that is configured to enable camera photography of the skin area for which the user wants to be diagnosed. For example, the user terminal 120 is configured to enable camera photography by selecting the skin area for which diagnosis is desired. The application uses machine learning images to classify the type of dermatitis in order to determine the mild or severe state of dermatitis for the photographed skin area. It has a deep learning dermatitis type inference engine to enable object detection, determines the intensity of the appropriate treatment medium according to the severity of dermatitis based on the identified dermatitis type, and matches the intensity value of the determined treatment medium to the user terminal. It may be configured to be transmitted to a personal portable dermatitis treatment device connected through a wireless communication medium.

일 실시예에서, 사용자 단말기(120)에 설치된 어플리케이션은 판단된 피부염 경중상태에 맞는 피부염 치료제와 처방 방법을 사용자에게 제공하도록 구성될 수 있다. 본 개시의 일 실시예에서, 사용자 단말기(120)는 모바일 앱의 화면부를 포함할 수 있고, 화면부는 사용자가 카메라로 촬영한 피부염 사진에 대한 피부염 상태 진단 결과를 진단 일자별로 볼 수 있도록 하며, 피부염 진단 결과에 의한 피부염 상태에 맞는 치료제를 추천하고 처방 방법의 제공이 가능하도록 하며, 또한 진단 결과 피부염 상태가 정해진 기준에 의거하여 피부과 전문의의 도움이 급히 필요한 경우 즉시 연락하여 치료를 받을 수 있도록 구성함으로써, 사용자의 피부염 상태에 따라서 적시에 치료를 받을 수 있도록 하여 피부염의 치료시기를 놓치게 되는 위험을 최소화할 수 있도록 구성될 수 있다. In one embodiment, the application installed on the user terminal 120 may be configured to provide the user with a dermatitis treatment and prescription method appropriate for the determined severity of dermatitis. In one embodiment of the present disclosure, the user terminal 120 may include a screen unit of a mobile app, and the screen unit allows the user to view dermatitis status diagnosis results for dermatitis photos taken with a camera by diagnosis date, and dermatitis It recommends a treatment appropriate for the dermatitis condition based on the diagnosis results and provides a prescription method. Additionally, if the dermatitis condition is urgently needed based on the established criteria as a result of the diagnosis, the system is structured so that the person can immediately contact the dermatologist to receive treatment. , it can be configured to minimize the risk of missing the treatment period for dermatitis by allowing the user to receive treatment in a timely manner according to the user's dermatitis condition.

본 개시의 일 실시예에서, 서버(130)는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스의 제공 방법에 있어서 피부에 혼재되어 있는 피부염의 유형을 딥러닝 모델에 의하여 식별하고 식별된 피부염의 유형에 따라서 분석 대상 피부의 피부염 경중 정도를 판단하는 모델을 생성하고 학습시킬 수 있다. In one embodiment of the present disclosure, the server 130 identifies the types of dermatitis mixed on the skin using a deep learning model in a method of providing a mobile service for dermatitis diagnosis and treatment using machine learning-based skin image analysis technology. According to the identified type of dermatitis, a model that determines the severity of dermatitis of the skin being analyzed can be created and trained.

본 개시의 일 실시예에서, 통신망(140)은 근거리 무선통신 매체일 수 있다. 일 실시예에서, 근거리 무선통신 매체는 블루투스, NFC, Wi-Fi 등을 포함할 수 있다. 일 실시예에서, 피부염 치료 디바이스(110)와 사용자 단말기(120)는 사용자 단말기(120)와 사용자의 피부염 치료 디바이스(110)가 상호 활성화되면 통신망(140)을 통해서 자동적으로 연결될 수 있도록 구성될 수 있다. In one embodiment of the present disclosure, the communication network 140 may be a short-range wireless communication medium. In one embodiment, short-range wireless communication media may include Bluetooth, NFC, Wi-Fi, etc. In one embodiment, the dermatitis treatment device 110 and the user terminal 120 may be configured to automatically connect through the communication network 140 when the user terminal 120 and the user's dermatitis treatment device 110 are mutually activated. there is.

도 2는 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스 제공 방법의 흐름도를 도시한다. Figure 2 shows a flowchart of a method of providing a mobile service for diagnosing and treating dermatitis using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.

먼저, 사용자 단말기(120)는 피부 이미지를 촬영하여, 서버(130)로 전송할 수 있다(S202). 일 실시예에서, 사용자 단말기(120)는 단말기에 설치된 어플리케이션(모바일 앱)을 이용하여 피부 이미지를 촬영하여, 서버(130)로 전송할 수 있다(S204). First, the user terminal 120 may capture a skin image and transmit it to the server 130 (S202). In one embodiment, the user terminal 120 may capture a skin image using an application (mobile app) installed on the terminal and transmit it to the server 130 (S204).

다음으로, 서버(130)에서는 딥러닝 피부염 분석 엔진을 생성 및 학습시킬 수 있다. 서버(130)에서는 딥러닝 피부염 분석 엔진을 이용하여, 사용자 단말기(120)로부터 수신한 피부 이미지를 분석할 수 있다. 일 실시예에서, 서버(130)는 피부염에 대해 진단 및 처방 정보를 생성할 수 있다(S206). 일 실시예에서, 서버(130)는 피부염에 대해 진단 및 처방 정보를 사용자 단말기(120)로 전송할 수 있다(S208). Next, the server 130 can create and learn a deep learning dermatitis analysis engine. The server 130 can analyze the skin image received from the user terminal 120 using a deep learning dermatitis analysis engine. In one embodiment, the server 130 may generate diagnosis and prescription information for dermatitis (S206). In one embodiment, the server 130 may transmit diagnosis and prescription information for dermatitis to the user terminal 120 (S208).

다음으로, 사용자 단말기(120)는 서버(130)로부터 수신한 피부염에 대해 진단 및 처방 정보를 사용자 단말기(120)의 화면부에 표시하여 사용자로 하여금 전송한 피부 이미지에 대한 피부염 정보를 볼 수 있도록 할 수 있다. 일 실시예에서, 사용자 단말기(120)는 서버(130)로부터 수신한 피부염에 대해 진단 및 처방 정보를 기초로 피부염 치료제 또는 처방 추천 정보를 생성할 수 있다(S210). Next, the user terminal 120 displays the diagnosis and prescription information about dermatitis received from the server 130 on the screen of the user terminal 120 so that the user can view the dermatitis information about the transmitted skin image. can do. In one embodiment, the user terminal 120 may generate dermatitis treatment or prescription recommendation information based on the diagnosis and prescription information for dermatitis received from the server 130 (S210).

또한, 사용자 단말기(120)는 서버(130)로부터 수신한 피부염에 대해 진단 및 처방 정보를 기초로 피부염 치료 디바이스(110)에 디바이스 설정 정보를 전송할 수 있다(S212). 예컨대, 사용자 단말기(120)는 피부염에 대해 진단 및 처방 정보를 기초로 피부염 치료 디바이스(110)의 치료 매체 레벨을 설정할 수 있다. Additionally, the user terminal 120 may transmit device setting information to the dermatitis treatment device 110 based on the dermatitis diagnosis and prescription information received from the server 130 (S212). For example, the user terminal 120 may set the treatment medium level of the dermatitis treatment device 110 based on diagnosis and prescription information for dermatitis.

다음으로, 피부염 치료 디바이스(110)는 설정된 치료 매체 레벨로 구동될 수 있다(S214). 일 실시예에서, 피부염 치료 디바이스(110)는 사용자의 시작 명령을 수신하는 것에 대한 응답으로 설정된 치료 매체 레벨로 구동될 수 있다.Next, the dermatitis treatment device 110 may be driven at a set treatment medium level (S214). In one embodiment, dermatitis treatment device 110 may be driven with a set treatment medium level in response to receiving a user's start command.

도 3은 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료의 모바일 서비스를 위한 어프리케이션(모바일 앱)의 구성도이다.Figure 3 is a configuration diagram of an application (mobile app) for a mobile service for dermatitis diagnosis and treatment using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.

본 개시의 일 실시예에서, 사용자 단말기(120)는 후술하는 모듈을 포함하며, 후술하는 모듈의 결과로서 최종적으로 피부염 상태 경중 진단결과와 피부염 상태 진단결과에 맞는 조치 정보를 사용자에게 제공할 수 있다. 일 실시예에서, 사용자 단말기(120)는 피부염이 있는 피부 부위에 대한 자가 치료를 원하는 사용자를 위하여 사용자 단말기(120)와 무선으로 연결된 개인 휴대형 치료 디바이스에 피부염 치료에 알맞은 치료 매체(플라즈마, 레이저, UV 등)의 세기가 자동으로 설정되도록 구성될 수 있다. In one embodiment of the present disclosure, the user terminal 120 includes a module described later, and as a result of the module described later, it is possible to provide the user with a final dermatitis condition severity diagnosis result and action information appropriate for the dermatitis condition diagnosis result. . In one embodiment, the user terminal 120 provides a treatment medium (plasma, laser, UV, etc.) can be configured to automatically set the intensity.

본 개시의 일 실시예에서, 사용자 단말기(120)는 카메라 모듈(310), 플라즈마 발생 에너지 제어 API(380), 표시부(390)를 포함할 수 있다. In one embodiment of the present disclosure, the user terminal 120 may include a camera module 310, a plasma generation energy control API 380, and a display unit 390.

본 개시의 일 실시예에서, 카메라 모듈(310)은, 피부 이미지를 촬영하도록 구성될 수 있다. In one embodiment of the present disclosure, the camera module 310 may be configured to capture skin images.

본 개시의 일 실시예에서, 실시간 이미지 프로세싱(320)은, 카메라 모듈(310)에서 촬영된 이미지 또는 수신된 이미지를 실시간으로 프로세싱하여 분석하도록 구성될 수 있다. 일 실시예에서, 실시간 이미지 프로세싱(320)은 카메라 모듈로 촬영된 피부 이미지 픽셀 데이터를 머신 러닝 분석에 사용할 수 데이터로 변환하도록 구성될 수 있다. In one embodiment of the present disclosure, the real-time image processing 320 may be configured to process and analyze images captured or received by the camera module 310 in real time. In one embodiment, real-time image processing 320 may be configured to convert skin image pixel data captured by a camera module into data that can be used for machine learning analysis.

본 개시의 일 실시예에서, 데이터 필터링 모듈(330)은 머신 러닝 이미지 분석에 사용할 데이터 중 노이즈가 심한 데이터를 제거하도록 구성될 수 있다. In one embodiment of the present disclosure, the data filtering module 330 may be configured to remove noisy data from data to be used for machine learning image analysis.

본 개시의 일 실시예에서, CNN기반 딥러닝 모듈(340)은 이미지 딥러닝 방법으로 검증된 컨버루션 신경망(Convolutional Neural Network) 방법을 사용하여 입력된 이미지로 부터 탐지하려는 목표 개체(피부염 유형)들의 특징(features)을 추출하고, 추출된 특징들로 부터 이미지에 존재하는 피부염 유형을 탐지하도록 구성될 수 있다. In one embodiment of the present disclosure, the CNN-based deep learning module 340 uses a convolutional neural network method verified as an image deep learning method to detect target objects (dermatitis types) from the input image. It may be configured to extract features and detect dermatitis types present in the image from the extracted features.

본 개시의 일 실시예에서, 지식 베이스(350)는 피부염 전문가 및 임상 결과 데이터로 부터 의과학적으로 검증된 피부염 유형별 피부염 경중 상태에 맞는 치료제 및 치료방법을 구조화하고 체계화한 데이터베이스로 구성될 수 있다. 일 실시예에서, 지식 베이스(350)는, 후술하는 피부 상태 진단 및 조치 모듈(360)에 입력 데이터를 제공할 수 있다. In one embodiment of the present disclosure, the knowledge base 350 may be composed of a database that structures and systematizes treatments and treatment methods appropriate for the severity of dermatitis by type of dermatitis, medically and scientifically verified from dermatitis experts and clinical result data. In one embodiment, the knowledge base 350 may provide input data to the skin condition diagnosis and action module 360, which will be described later.

본 개시의 일 실시예에서, 피부 상태 진단 및 조치 모듈(360)은 사용자 피부 부위의 피부염 경중 상태를 진단하고 진단된 피부염 상태에 연관된 치료제와 처방 방법을 지식 베이스(350)로부터 찾아서 추천하도록 구성될 수 있다. In one embodiment of the present disclosure, the skin condition diagnosis and action module 360 may be configured to diagnose the severity of dermatitis in the user's skin area and to find and recommend treatments and prescription methods associated with the diagnosed dermatitis condition from the knowledge base 350. You can.

본 개시의 일 실시예에서, 치료 매체(플라즈마, 레이저, UV 등) 발생 에너지 레벨 설정(370) 모듈은 치료 매체(플라즈마, 레이저, UV 등) 기술을 응용한 개인 휴대형 피부염 치료 디바이스에서 진단한 피부염 경중 상태에 따라서 치료에 적합한 치료 매체의 세기값을 설정하도록 구성될 수 있다. In one embodiment of the present disclosure, the module for setting the energy level generated by the treatment medium (plasma, laser, UV, etc.) (370) is used to determine dermatitis diagnosed by a personal portable dermatitis treatment device using treatment medium (plasma, laser, UV, etc.) technology. It may be configured to set the intensity value of the treatment medium suitable for treatment according to the severity of the condition.

본 개시의 일 실시예에서, 치료 매체(플라즈마, 레이저, UV 등) 발생 에너지 제어 API(380)는 사용자 단말에 설치된 모바일 앱에 등록되어 모바일 앱의 구동과 동시에 자동으로 무선으로 연결되는 개인 휴대형 피부염 치료 디바이스에 설정된 치료 매체의 발생 세기값을 전달하도록 구성될 수 있다. 일 실시예에서, 발생 에너지 제어 API(380)는 개인 휴대형 피부염 치료 디바이스로 하여금 전달받은 치료 매체 세기 설정값에 의하여 처리한 결과를 사용자 단말기(120)에 피드백 하도록 사용자 단말기(120)와 피부염 치료 디바이스(110) 간의 양방향 무선 통신 프로토콜을 정하여 구성될 수 있다. In one embodiment of the present disclosure, the energy control API 380 generated by the treatment medium (plasma, laser, UV, etc.) is registered in the mobile app installed on the user terminal and is automatically connected wirelessly as soon as the mobile app is running. It may be configured to transmit the generated intensity value of the treatment medium set in the treatment device. In one embodiment, the generated energy control API 380 allows the user terminal 120 and the dermatitis treatment device to feed back the results processed by the treatment medium intensity setting value transmitted to the personal portable dermatitis treatment device to the user terminal 120. (110) It can be configured by determining a two-way wireless communication protocol between them.

본 개시의 일 실시예에서, 피부 상태 진단 및 조치 정보 디스플레이 모듈(390)은 피부염 상태에 따라 피부염 진단 결과, 추천 치료제 및 처방 방법 그리고 치료 결과의 변화를 사용자 단말기(120)의 화면을 통하여 볼 수 있도록 구성될 수 있다. In one embodiment of the present disclosure, the skin condition diagnosis and action information display module 390 can display dermatitis diagnosis results, recommended treatments and prescription methods, and changes in treatment results according to the dermatitis condition through the screen of the user terminal 120. It can be configured so that

도 4(a)(b)는 본 개시의 일 실시예에 따라, 결절성, 구진성, 면포성 피부염이 혼재되어 있는 피부의 이미지를 예시적으로 도시하는 도면이다. Figure 4(a)(b) is a diagram illustrating an image of skin with mixed nodular, papular, and comedonal dermatitis, according to an embodiment of the present disclosure.

본 개시의 일 실시예에서, 피부 이미지에 나타난 피부염의 유형을 식별하는 방법은 피부에 분포되어 있는 피부염 개체 하나 하나씩을 아래 사진과 같이 데이터 포인트로 하여 학습시켜서 피부 사진에 존재하는 피부염 개체를 일일이 인식하도록 구성될 수 있다. 일 실시예에서, 적은 규모의 학습 이미지 데이터를 가지고 피부염 유형 개체의 인식을 위한 학습 데이터 포인트의 개수를 10배 이상 증대시킬 수 있다. In one embodiment of the present disclosure, a method of identifying the type of dermatitis shown in a skin image involves learning each dermatitis object distributed on the skin as a data point as shown in the picture below, and recognizing each dermatitis object present in the skin picture. It can be configured to do so. In one embodiment, the number of learning data points for recognition of dermatitis-type entities can be increased by more than 10 times with a small amount of training image data.

또한, 상기 학습된 딥러닝 피부염 인식 모델을 사용하여 인식한 피부염 개체는 피부염 유형별로 인식된 개체 수, 각 개체의 바운딩 박스 면적, 피부염 유형별 총 바운딩 박스 실효 면적을 후술하는 소정의 수학식을 통하여 계산될 수 있다. In addition, the dermatitis objects recognized using the learned deep learning dermatitis recognition model are calculated by calculating the number of objects recognized for each dermatitis type, the bounding box area of each object, and the total effective bounding box area for each dermatitis type using a predetermined equation described later. It can be.

도 5는 본 개시의 일 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 모델을 생성하고 학습시키는 흐름도이다.Figure 5 is a flowchart for generating and learning a dermatitis diagnosis and treatment model using machine learning-based skin image analysis technology according to an embodiment of the present disclosure.

도 5에 도시된 바와 같이, 상기 학습된 딥러닝 피부염 인식 모델을 사용하여 인식한 피부염 개체는 피부염 유형별로 인식된 개체 수, 각 개체의 바운딩 박스 면적, 피부염 유형별 총 바운딩 박스 실효 면적을 아래의 [수학식 1]을 통하여 계산되는 것을 특징으로 한다. As shown in Figure 5, the dermatitis objects recognized using the learned deep learning dermatitis recognition model include the number of objects recognized by dermatitis type, the bounding box area of each object, and the total effective bounding box area by dermatitis type as shown below [ It is characterized by being calculated through Equation 1].

또한, 피부염 유형별 바운딩 박스 총 면적이 분석하려는 대상 피부 면적에서 차지하는 비율은 아래의 [수학식 2]로 계산되는 것을 특징으로 한다.In addition, the ratio of the total area of the bounding box for each type of dermatitis to the target skin area to be analyzed is calculated using Equation 2 below.

또한, 피부 사진에 나타난 피부염 유형별 피부염 경중 정도의 등급을 판단하는 KPI 값의 산출은 아래의 [수학식 3]으로 계산되는 것을 특징으로 한다.In addition, the calculation of the KPI value that determines the grade of dermatitis severity for each type of dermatitis shown in the skin photo is characterized by being calculated using [Equation 3] below.

하기 [수학식 3]으로 산출한 KPI 값에 따라서 [수학식 4]와 같은 피부염 상태 등급 기준에 의거하여 피부염 진단 대상 피부에 대한 피부염의 경중을 판단하는 것을 특징으로 한다.It is characterized by determining the severity of dermatitis for the skin subject to dermatitis diagnosis based on the dermatitis status grade standard as [Equation 4] according to the KPI value calculated using [Equation 3] below.

[수학식 1][Equation 1]

: 식별된 피부염 유형 ij 번째 개체의 바운딩 박스 면적 : Area of the bounding box of the jth individual of identified dermatitis type i

N(i) : 식별된 피부염 유형 i 의 개체 수N(i): number of individuals of dermatitis type i identified

m : 피부염으로 식별된 총 개체의 수m: total number of individuals identified with dermatitis

N(i) = , 여기서 N(i) = , here

= 피부염 유형 i j 번째 개체 바운딩 박스의 상부 최좌측 픽셀 포인트 좌표 = upper leftmost pixel point coordinate of the jth object bounding box of dermatitis type i

= 피부염 유형 i j 번째 개체 바운딩 박스의 하부 최우측픽셀 포인트 좌표 = Bottom rightmost pixel point coordinate of the jth object bounding box of dermatitis type i

= , 여기서 = , here

피부염 유형 i 의 총 실효 면적() = Total effective area of dermatitis type i ( ) =

: 인식한 피부염 유형 i 의 j 번째 개체에 대한 딥러닝 모델에서 산출한 : Calculated from a deep learning model for the jth object of recognized dermatitis type i

confidence score confidence score

[수학식 2][Equation 2]

총 분석 피부 면적(S) = Total analyzed skin area (S) =

피부염 유형 i 가 분석 대상 피부에서 차지하는 비율() = Proportion of dermatitis type i in the analyzed skin ( ) =

K : 딥러닝 모델로 인식할 대상인 피부염 유형의 분류(class) 개수K: Number of classes of dermatitis types to be recognized by the deep learning model

[수학식 3][Equation 3]

= =

: 피부염 유형 i 의 가중치로서 1-10 점 척도로 정상부터 매우 심한 : Weighting of dermatitis type i , from normal to very severe on a scale of 1 to 10.

피부염까지의 각 피부염 유형에 따라 부여한 가중치Weights assigned to each type of dermatitis up to and including dermatitis

[수학식 4][Equation 4]

KPI < k1 이면, 피부 상태는 정상으로 간주If KPI < k1, skin condition is considered normal

k1≤KPI<k2 이면, 경미한 피부염증 상태 If k1≤KPI<k2, mild skin inflammation

k2 ≤KPI<k3 이면, 다소 심한 피부 염증 상태 If k2 ≤KPI<k3, somewhat severe skin inflammation condition

k3 ≤KPI<k4 이면, 심한 피부 염증 상태로 전문의의 치료를 권고 If k3 ≤KPI<k4, treatment by a specialist is recommended for severe skin inflammation.

KPI≥k4 이면, 매우 심한 피부 염증 상태로 전문의의 치료가 절대 필요 If KPI≥k4, it is a very severe skin inflammation condition and treatment by a specialist is absolutely necessary.

본 발명의 바람직한 실시예에 따른 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 서비스 제공 방법은, 사용자 단말기를 이용하여 피부를 카메라 촬영이 가능한 모바일 앱 통해 다양한 피부염증이 있는 피부 부위를 촬영하고, 촬영된 피부 부위에 혼재되어 있는 피부 염증별로 가지고 있는 고유의 특징들인 염증의 색상, 형태, 크기, 분포 등에 대하여 딥러닝 모델을 이용하여 학습시키고 학습시킨 딥러닝 모델에 의하여 피부염 부위 사진에 나타난 피부염의 유형을 아토피 뿐만 아니라 면포성, 구진성, 농포성, 결절성, 낭포성, 응괴성, 켈로이드, 모낭염 등으로 분별하고, 피부염의 경중 정도를 판단하고 그에 맞는 치료 서비스를 제공할 수 있다. A method of providing dermatitis diagnosis and treatment services using machine learning-based skin image analysis technology according to a preferred embodiment of the present invention involves photographing skin areas with various skin inflammations through a mobile app that can capture skin with a camera using a user terminal. And, the color, shape, size, distribution, etc. of inflammation, which are the unique characteristics of each skin inflammation mixed in the photographed skin area, are learned using a deep learning model, and the learned deep learning model shows the dermatitis area in the photo. The type of dermatitis can be classified into not only atopic dermatitis, but also comedonal, papular, pustular, nodular, cystic, concretory, keloid, and folliculitis, and can determine the severity of dermatitis and provide appropriate treatment services.

본 개시에서 설명된 단말기 및 서버에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.Programs executed by the terminals and servers described in this disclosure may be implemented with hardware components, software components, and/or a combination of hardware components and software components. A program can be executed by any system that can execute computer-readable instructions.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(Read-Only Memory), RAM(Random-Access Memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software may be implemented as a computer program including instructions stored on computer-readable storage media. Computer-readable recording media include, for example, magnetic storage media (e.g., ROM (Read-Only Memory), RAM (Random-Access Memory), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc. The computer-readable recording medium is distributed among computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner. The media may be readable by a computer, stored in memory, and executed by a processor.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.Computer-readable storage media may be provided in the form of non-transitory storage media. Here, 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.

또한, 본 개시의 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예를 들어, 구글 플레이스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.Additionally, programs according to embodiments of the present disclosure may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. A computer program product may include a software program and a computer-readable storage medium on which the software program is stored. For example, a computer program product is a product in the form of a software program (e.g., a downloadable application) that is distributed electronically by the manufacturer of the device or through an electronic marketplace (e.g., Google Play Store, App Store). may include. For electronic distribution, at least a portion of the software program may be stored on a storage medium or created temporarily. In this case, the storage medium may be a storage medium of a manufacturer's server, an electronic market server, or a relay server that temporarily stores a software program.

컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제3의 디바이스(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3의 디바이스의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제3 디바이스로 전송되거나, 제3 디바이스로부터 디바이스로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다. 이 경우, 서버, 디바이스 및 제3 디바이스 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제3 디바이스 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다. 예를 들면, 서버가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다. 또 다른 예로, 제3 디바이스가 컴퓨터 프로그램 제품을 실행하여, 제3 디바이스와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제3 디바이스가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 디바이스는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 디바이스는 프리로드(pre-loaded)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.A computer program product, in a system comprised of a server and a device, may include a storage medium of a server or a storage medium of a device. Alternatively, if there is a third device (e.g., a smartphone) connected to the server or device for communication, the computer program product may include a storage medium of the third device. Alternatively, the computer program product may include a software program itself that is transmitted from a server to the device or a third device, or from a third device to the device. In this case, one of the server, the device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments. Alternatively, two or more of a server, a device, and a third device may execute the computer program product and perform the methods according to the disclosed embodiments in a distributed manner. For example, the server may execute a computer program product stored on the server and control a device connected to the server to perform the method according to the disclosed embodiments. As another example, a third device may execute a computer program product to control a device communication-connected to the third device to perform the method according to the disclosed embodiment. When the third device executes the computer program product, the third device may download the computer program product from the server and execute the downloaded computer program product. Alternatively, a third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and/or components, such as a described computer system or module, may be combined or combined in a form different from the described method, or other components or equivalents may be used. Appropriate results can be achieved even if replaced or replaced by .

110: 피부염 치료 디바이스
120: 사용자 단말기
130: 서버
140: 통신망
110: Dermatitis treatment device
120: user terminal
130: server
140: communication network

Claims (7)

머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법으로서,
피부 사진을 촬영하는 단계;
상기 피부 사진을 분석하여, 피부염 유형을 식별하는 딥러닝 모델을 기초로 피부 사진에 나타나는 모든 피부염의 유형을 식별하는 단계;
식별한 피부염 유형별로 해당 피부염 영역에 대한 바운딩 박스 실효 면적의 합을 산출하는 단계;
피부염 유형별 바운딩 박스 면적이 분석하려는 피부 면적에서 차지하는 비율을 산출하는 단계;
피부 사진에 나타난 피부염 유형별 피부염 경중 정도의 등급을 판단하는 단계; 및
피부염 치료 디바이스의 치료 매체의 세기값을 피부염 경중상태 등급에 따라설정하는 단계;
를 포함하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
A dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology,
Taking a picture of the skin;
Analyzing the skin photo to identify all types of dermatitis appearing in the skin photo based on a deep learning model that identifies dermatitis types;
calculating the sum of the effective areas of the bounding boxes for the corresponding dermatitis areas for each identified dermatitis type;
Calculating the ratio of the bounding box area for each type of dermatitis to the skin area to be analyzed;
Determining the severity level of dermatitis for each type of dermatitis shown in the skin photo; and
Setting the intensity value of the treatment medium of the dermatitis treatment device according to the severity level of dermatitis;
Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, including.
제1 항에 있어서,
상기 피부염 치료 디바이스의 치료 매체의 세기값을 피부염 경중상태 등급에 따라 설정하는 단계는
상기 피부염 치료 디바이스의 치료 매체의 세기값을 피부염 경중상태 등급에 따라서 그에 맞는 치료 매체 세기값으로 자동으로 제어하는 단계; 및
피부염 경중 등급에 따라서 그에 맞는 전문가적 치료제 추천 및 처방 방법을 제공하는 단계를 포함하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
According to claim 1,
The step of setting the intensity value of the treatment medium of the dermatitis treatment device according to the severity level of dermatitis is
automatically controlling the intensity value of the treatment medium of the dermatitis treatment device to the intensity value of the treatment medium appropriate for the severity level of dermatitis; and
Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, including providing expert treatment recommendations and prescription methods according to the dermatitis severity grade.
제1항에 있어서
상기 피부염 유형별로 인식된 개체 수, 각 개체의 바운딩 박스 면적, 피부염 유형별 총 바운딩 박스 실효 면적을 아래의 수학식을 통하여 피부염 개체를 계산하는 것을 특징으로 하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
: 식별된 피부염 유형 ij 번째 개체의 바운딩 박스 면적
N(i) : 식별된 피부염 유형 i 의 개체 수
m : 피부염으로 식별된 총 개체의 수
N(i) = , 여기서
= 피부염 유형 i j 번째 개체 바운딩 박스의 상부 최좌측 픽셀 포인트 좌표
= 피부염 유형 i j 번째 개체 바운딩 박스의 하부 최우측 픽셀 포인트 좌표
= , 여기서
피부염 유형 i 의 총 실효 면적() =
: 인식한 피부염 유형 i 의 j 번째 개체에 대한 딥러닝 모델에서 산출한
confidence score
In paragraph 1
Dermatitis using machine learning-based skin image analysis technology, characterized in that dermatitis entities are calculated using the following equation: the number of entities recognized for each dermatitis type, the bounding box area of each entity, and the total effective bounding box area for each dermatitis type. Diagnosis and treatment methods.
: Area of the bounding box of the jth individual of identified dermatitis type i
N(i): number of individuals of dermatitis type i identified
m: total number of individuals identified with dermatitis
N(i) = , here
= upper leftmost pixel point coordinate of the jth object bounding box of dermatitis type i
= coordinate of the lower rightmost pixel point of the bounding box of the jth object of dermatitis type i
= , here
Total effective area of dermatitis type i ( ) =
: Calculated from a deep learning model for the jth object of recognized dermatitis type i
confidence score
제1항에 있어서
상기 피부염 유형별 바운딩 박스 총 실효 면적이 분석하려는 대상 피부 면적에서 차지하는 비율은 아래의 수학식으로 계산되는 것을 특징으로 하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
총 분석 피부 면적(S) =
피부염 유형 i 가 분석 대상 피부에서 차지하는 비율() =
In paragraph 1
Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, wherein the ratio of the total effective area of the bounding box for each dermatitis type to the target skin area to be analyzed is calculated using the equation below.
Total analyzed skin area (S) =
Proportion of dermatitis type i in the analyzed skin ( ) =
제1항에 있어서
피부 사진에 나타난 피부염 유형별 피부염 경중 정도의 등급을 판단하는 KPI 값의 산출은 아래의 수학식으로 계산되는 것을 특징으로 하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
=
: 피부염 유형 i 의 가중치로서 1-10 점 척도로 피부염까지의 각 피부염 유형에 따라 부여한 가중치
In paragraph 1
Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, wherein the calculation of the KPI value for determining the grade of dermatitis severity for each type of dermatitis shown in a skin photo is calculated using the equation below.
=
: Weight of dermatitis type i , weight given to each dermatitis type up to dermatitis on a scale of 1-10.
제1항에 있어서
KPI 값에 따라서 아래와 같은 피부염 등급 기준에 의거하여 피부염 진단 대상 피부에 대한 피부염의 경중을 판단하는 것을 특징으로 하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.


KPI < k1 이면, 피부 상태는 정상으로 간주
k1≤KPI<k2 이면, 경미한 피부염증 상태
k2 ≤KPI<k3 이면, 다소 심한 피부 염증 상태
k3 ≤KPI<k4 이면, 심한 피부 염증 상태로 전문의의 치료를 권고
KPI≥k4 이면, 매우 심한 피부 염증 상태로 전문의의 치료가 절대 필요
In paragraph 1
Dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, characterized in that the severity of dermatitis for the skin subject to dermatitis diagnosis is determined based on the dermatitis grade criteria below according to the KPI value.


If KPI < k1, skin condition is considered normal
If k1≤KPI<k2, mild skin inflammation
If k2 ≤KPI<k3, somewhat severe skin inflammation condition
If k3 ≤KPI<k4, treatment by a specialist is recommended for severe skin inflammation.
If KPI≥k4, it is a very severe skin inflammation condition and treatment by a specialist is absolutely necessary.
제1항에 있어서
KPI 값에 의한 피부염 경중 등급에 따라서 피부염의 경중 등급에 알맞은 치료 매체(플라즈마, UV, 레이저 등)의 세기를 결정하고 결정된 치료 매체의 세기값을 통신이 가능하도록 연결된 피부염 치료 디바이스에 전달하면 상기 피부염 치료 디바이스는 전달받은 치료 매체의 세기값으로 자동으로 설정되도록 하는 것을 특징으로 하는 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법.
In paragraph 1
According to the dermatitis severity grade based on the KPI value, the intensity of the treatment medium (plasma, UV, laser, etc.) appropriate for the severity grade of the dermatitis is determined, and the intensity value of the determined treatment medium is transmitted to the dermatitis treatment device connected to enable communication, thereby preventing the dermatitis. A dermatitis diagnosis and treatment method using machine learning-based skin image analysis technology, wherein the treatment device is automatically set to the intensity value of the delivered treatment medium.
KR1020220126064A 2022-10-04 Method for providing diagnosis and treatment of skin dermatitis based on machine-learning KR20240046992A (en)

Publications (1)

Publication Number Publication Date
KR20240046992A true KR20240046992A (en) 2024-04-12

Family

ID=

Similar Documents

Publication Publication Date Title
US11259718B1 (en) Systems and methods for automated body mass index calculation to determine value
Bhaskaranand et al. Automated diabetic retinopathy screening and monitoring using retinal fundus image analysis
US9734567B2 (en) Label-free non-reference image quality assessment via deep neural network
CN107995979B (en) System, method and machine-readable medium for authenticating a user
CN106845414B (en) Method and system for quality metrics for biometric verification
KR20200005433A (en) Cloud server and diagnostic assistant systems based on cloud server
KR20200004841A (en) System and method for guiding a user to take a selfie
US20210022603A1 (en) Techniques for providing computer assisted eye examinations
EP3666177B1 (en) Electronic device for determining degree of conjunctival hyperemia
CN109492595B (en) Behavior prediction method and system suitable for fixed group
CN108875452A (en) Face identification method, device, system and computer-readable medium
JP6946551B2 (en) Video alignment method and its equipment
KR20200023029A (en) Diagnosis assistance system and control method thereof
KR102347551B1 (en) Method, apparatus and system for providing informations of face condition based on analysis of face image
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
CN110991249A (en) Face detection method, face detection device, electronic equipment and medium
CN108389053B (en) Payment method, payment device, electronic equipment and readable storage medium
WO2022129591A1 (en) System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset
US20230063311A1 (en) Information processing apparatus, information processing method, and program
US20210118133A1 (en) System, method, apparatus and computer program product for the detection and classification of different types of skin lesions
KR20210155655A (en) Method and apparatus for identifying object representing abnormal temperatures
KR20240046992A (en) Method for providing diagnosis and treatment of skin dermatitis based on machine-learning
CN110415113A (en) Finance data processing method, device, server and readable storage medium storing program for executing
CN113327212B (en) Face driving method, face driving model training device, electronic equipment and storage medium
CN113017634B (en) Emotion evaluation method, emotion evaluation device, electronic device, and computer-readable storage medium