KR20210086374A - 인공지능 기반의 피부질환 분류 방법 - Google Patents

인공지능 기반의 피부질환 분류 방법 Download PDF

Info

Publication number
KR20210086374A
KR20210086374A KR1020200014841A KR20200014841A KR20210086374A KR 20210086374 A KR20210086374 A KR 20210086374A KR 1020200014841 A KR1020200014841 A KR 1020200014841A KR 20200014841 A KR20200014841 A KR 20200014841A KR 20210086374 A KR20210086374 A KR 20210086374A
Authority
KR
South Korea
Prior art keywords
skin disease
image
skin
information
learning
Prior art date
Application number
KR1020200014841A
Other languages
English (en)
Inventor
장혁재
오상호
성지민
하성민
정현석
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20210086374A publication Critical patent/KR20210086374A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 목적은, 영상으로부터 추출된 피부질환 영상특징정보에 피부질환의 위치에 대한 정보를 매칭시킨 피부질환정보를 학습하여 피부질환에 대한 분류를 정확하게 할 수 있는, 인공지능 기반의 피부질환 분류 방법을 제공하는 것이며, 이를 위해, 본 발명에 따른 인공지능 기반의 피부질환 분류 방법은, 영상처리장치에서 생성된 피부질환 영상을 입력받는 단계; 상기 피부질환 영상에서 노이즈를 제거하는 단계; 노이즈가 제거되어 정제된 피부질환 영상으로부터 피부질환 영상특징정보를 추출하는 단계; 상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성하는 단계; 상기 피부질환정보를 학습한 결과에 따라 생성된 피부질환 데이터들을 저장하는 단계; 및 새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들을 이용하여 상기 새로운 피부질환 영상을 분류하는 단계를 포함한다.

Description

인공지능 기반의 피부질환 분류 방법{METHOD OF CLASSIFYING SKIN DISEASE BASED ON ARTIFICIAL INTELLIGENCE}
본 발명은 피부질환을 분류하는 방법에 관한 것이다.
피부질환의 종류는 매우 다양하며, 피부질환의 병변의 형태들이 유사한 경우가 많기 때문에, 피부과 전문의라도 특별한 검사절차 없이 정확한 진단을 내리기는 어렵다.
정확한 진단을 위해서는, 전문적 의료장비를 통한 정밀 검사나 병변의 일부 조직을 떼어내는 조직검사가 필요하지만, 이러한 절차에는 많은 시간과 비용이 부과된다.
이러한 문제를 해결하기 위해, 영상처리 및 인공지능을 활용하여, 피부질환을 촬영한 영상을 분석하고 분류하는 기술이 개발되고 있다.
그러나, 피부질환을 분류하는 종래의 방법들에서는, 대부분 피부질환의 분류 범위가 중증질환에만 국한되어있다. 비록, 경증질환까지 포함되어있는 방법도 제안되고 있으나, 병변의 형태가 비슷하여 분류가 어려운 특정 피부질환들에 대한 정확도는 매우 떨어진다.
또한, 영상처리 기법으로 피부질환을 분류하는 방법도 제안되고 있으나, 이러한 방법은 시간이 많이 소요된다는 문제점을 가지고 있다.
상술한 문제점을 해결하기 위해 제안된 본 발명의 목적은, 영상으로부터 추출된 피부질환 영상특징정보에 피부질환의 위치에 대한 정보를 매칭시킨 피부질환정보를 학습하여 피부질환에 대한 분류를 정확하게 할 수 있는, 인공지능 기반의 피부질환 분류 방법을 제공하는 것이다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 인공지능 기반의 피부질환 분류 방법은, 영상처리장치에서 생성된 피부질환 영상을 입력받는 단계; 상기 피부질환 영상에서 노이즈를 제거하는 단계; 노이즈가 제거되어 정제된 피부질환 영상으로부터 피부질환 영상특징정보를 추출하는 단계; 상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성하는 단계; 상기 피부질환정보를 학습한 결과에 따라 생성된 피부질환 데이터들을 저장하는 단계; 및 새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들을 이용하여 상기 새로운 피부질환 영상을 분류하는 단계를 포함한다.
본 발명에 의하면, 피부질환에 대한 분류가 정확하게 이루어질 수 있다.
특히, 본 발명에 의하면, 중증 및 경증 피부질환 모두에 대한 분류가 정확하게 이루어질 수 있다.
도 1은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 적용되는 분류 시스템의 예시도.
도 2는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 실행되는 분류장치의 일실시예 구성도.
도 3은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법의 일실시예 흐름도.
도 4는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 피부질환 분류표.
도 5는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 전처리 과정의 예시도.
도 6은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 신체 구조의 분류 리스트를 나타낸 예시도.
도 7은 피부지환 영상정보에 피부질환 위치정보를 매칭시키는 수학식을 나타낸 예시도.
도 8은 신체 중 얼굴 부위를 구분한 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 적용되는 분류 시스템의 예시도이며, 도 2는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 실행되는 분류장치의 일실시예 구성도이다.
본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 적용되는 분류 시스템은, 도 1에 도시된 바와 같이, 본 발명이 실행되는 분류장치(20), 상기 분류장치로 피부질환 영상을 제공하는 영상처리장치(30), 피부질환 전문의들에 의해 이용되는 전문의 단말기(10)들 및 피부질환 분류 서비스를 이용하고자 하는 사용자에 의해 이용되는 사용자 단말기(40)를 포함한다.
상기 영상처리장치(30)는 예를 들어, 다양한 종류의 카메라가 될 수 있다.
상기 전문의 단말기(10)는 예를 들어, 개인용 컴퓨터, 테블릿PC 및 스마트폰 등과 같은 다양한 종류의 정보처리장치가 될 수 있다.
상기 사용자 단말기(40) 역시 개인용 컴퓨터, 테블릿PC 및 스마트폰 등과 같은 다양한 종류의 정보처리장치가 될 수 있다.
상기 분류장치(20)는, 도 2에 도시된 바와 같이, 상기 영상처리장치(30)와 상기 전문의 단말기(10)와 상기 사용자 단말기(40)로부터 각종 정보들을 수신하는 입력부(21), 이하에서 설명될 전처리 과정을 수행하는 전처리부(22), 상기 전처리부에서 생성된 정제된 피부질환 영상을 저장하는 저장부(23), 상기 피부질환 영상으로부터 피부질환 영상특징정보를 추출하고 상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성하며 상기 피부질환정보를 학습하는 학습부(24), 상기 저장부에 저장된 피부질환 영상들 중 특정피부질환과 관련된 피부질환 영상으로부터 특정피부질환정보를 생성하며 상기 특정피부질환정보를 학습하는 전문가 분류기(25), 상기 사용자 단말기(40)로부터 피부질환 분류 서비스 요청이 수신되면 상기 학습부(24)와 상기 전문가 분류기를 이용하여 피부질환 분류 서비스를 제공하는 판단부(26) 및 상기 판단부에서 생성된 정보를 출력하는 출력부(27)를 포함한다.
이하에서는, 도 3 내지 도 8을 참조하여 본 발명에 따른 인공지능 기반의 피부질환 분류 방법이 상세히 설명된다.
도 3은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법의 일실시예 흐름도이고, 도 4는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 피부질환 분류표이고, 도 5는 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 전처리 과정의 예시도이고, 도 6은 본 발명에 따른 인공지능 기반의 피부질환 분류 방법에 적용되는 신체 구조의 분류 리스트를 나타낸 예시도이고, 도 7은 피부지환 영상정보에 피부질환 위치정보를 매칭시키는 수학식을 나타낸 예시도이며, 도 8은 신체 중 얼굴 부위를 구분한 예시도이다. 특히, 도 5에는 피부질환들 중 Basal Cell Carcinoma(BCC)에 대한 피부질환 영상에 대해 병변 지역화를 수행하기 위한 화면이 도시되어 있다.
본 발명은 피부질환 영상을 인공지능 기반으로 자동 분류하는 기술에 관한 것이다. 본 발명의 목적은 중증 피부질환에만 국한되어있는 종래기술들의 제한성을 해결하며, 분류가 어려운 특정피부질환과 관련하여 추가적인 인공지능 학습을 수행함으로써, 기존보다 빠르고 정확하게 피부질환을 분류하는 것이다.
본 발명에 따른 인공지능 기반의 피부질환 분류 방법은, 피부질환 영상을 입력받는 단계(302), 상기 피부질환 영상에서 노이즈를 제거하는 단계(304), 노이즈가 제거되어 정제된 피부질환 영상으로부터 피부질환 영상특징정보를 추출하는 단계(306, 308), 상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성하는 단계(310), 상기 피부질환정보를 학습한 결과에 따라 생성된 피부질환 데이터들을 저장하는 단계(312), 상기 피부질환정보가 기 설정되어 있는 특정피부질환과 관련되어 있는 경우, 상기 피부질환정보에 피부전문의의 의견을 추가하여 특정피부질환정보를 생성하며, 상기 특정피부질환정보를 학습한 결과에 따라 생성된 특정피부질환 데이터들을 저장하는 단계(314) 및 새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들 및 상기 특정피부질환 데이터들을 이용하여 상기 새로운 피부질환 영상을 분류하는 단계를 포함한다.
<1. 피부질환 영상 입력 단계(302)>
본 발명을 수행하고자 하는 사용자는 상기 영상처리장치(30)를 이용하여 피부질환을 촬영하며, 피부질환을 촬영한 영상(이하, 간단히 피부질환 영상이라 함)은 상기 입력부(21)를 통해 상기 분류장치(20)로 입력된다.
<2. 데이터 전처리 단계(노이즈 제거 단계)(304)>
데이터 전처리 단계(304)에서는 상기 피부질환 영상에서 노이즈를 제거하는 기능들이 수행된다. 상기 데이터 전처리 단계(304)는 상기 전처리부(22)에서 수행될 수 있다.
상기 피부질환 영상에서 노이즈를 제거하는 단계는, 상기 피부질환 영상에서 병변에 대응되는 이미지만을 분리시키는 단계(이하, 간단히 데이터 생성(Data cropping) 단계라 함) 및 상기 피부질환 영상에 대응되는 피부질환명을 입력받는 단계(이하, 간단히 데이터 노이즈 클리닝(Data noise clearing) 단계라 함)를 포함할 수 있다.
첫째, 본 발명에서는 종래기술의 문제점 중 하나인 피부질환의 분류 범위가 중증질환에만 국한되어있는 점을 해결하기 위해, 세계 보건 기구에서 분류한 ICD-10 질병코드를 기반으로 피부질환이 분류된다. 즉, 본 발명에서는, 도 4에 도시된 바와 같이, 피부질환이 중증 피부질환, 경증 피부질환, 일상생활 피부질환을 포함하는 대분류와 세부분류로 구분될 수 있다.
이에 따라, 본 발명은 피부질환의 분류 범위를 확장하고 피부질환의 학습 데이터 리스트를 체계적으로 구축할 수 있다.
둘째, 상기 데이터 생성(Data cropping) 단계는, 데이터 생성 툴(Data Cropping Tool)을 활용하여 수행될 수 있다. 도 5는 상기 데이터 생성 툴(Data cropping tool)에 의해 출력되는 화면을 나타낸 예시도이다.
즉, 상기 데이터 생성 단계에서는, 인공지능 학습을 위해 지역적 데이터 생성 툴(Data Cropping Tool)이 활용될 수 있다. 상기 데이터 생성 단계에서는, 병변을 제외한 다른 신체 부위 및 기타 이물질이 포함되지 않도록 병변이 위치한 부위(ROI; Region of Interest)가 특정되어, 병변 지역화가 수행된다.
상기 데이터 생성 단계에서 상기 분류장치(20)는, 환자의 피부질환이 포함된 디지털 영상을 로드하여 병변에 해당하는 이미지만 잘라낼 수 있다.
이 경우, 상기 분류장치(20)는 잘라낸 부위의 영상과 잘라낸 영상의 10% 범위를 추가한 영상을 함께 할당할 수 있다.
또한, 상기 분류장치(20)는 병변의 위치 정보를 선택하여 잘라낸 영상의 속성값으로 저장할 수 있다.
부연하여 설명하면, 전처리를 수행하고자 하는 사용자는, 상기 영상처리장치(30)에서 생성된 도 5의 (a)에 도시된 바와 같은 피부질환 영상을 상기 분류장치(20)에 로드하고(특히, 상기 분류장치(20)에서 실행되는 도 5에 도시된 바와 같은 데이터 생성 툴(Data Cropping Tool)에 로드하고), 상기 피부질환 영상에서 inner bound와 outer bound를 설정하여, 상기 피부질환 영상에서 병변(피부질환)을 제외한 다른 신체 부위 및 기타 이물질을 제거시킨다. 이에 따라, 상기 피부질환 영상에서 병변을 제외한 다른 신체 부위 및 기타 이물질이 제거될 수 있다.
상기 과정을 통해 병변이 위치한 부위(ROI; Region of Interest)가 도 5의 (b)에 도시된 바와 같이 특정될 수 있다. 이 경우, 상기 피부질환 영상은 이후의 인공지능 학습이 효율적으로 진행될 수 있도록 최대한 정사각형에 가깝게 형성되며, 이에 따라, 병변 지역화가 수행될 수 있다.
전처리가 수행된 피부질환 영상은 상기 저장부(23)에 저장될 수 있다. 또한, 전처리, 즉, 병변 지역화가 수행된 상기 피부질환 영상에, 상기 병변 지역화된 피부질환 영상의 10% 범위가 추가된 도 5의 (c)에 도시된 바와 같은 피부질환 영상(즉, 병변을 제외한 주변 범위가 조금 넓혀진 피부질환 영상)이 생성되어 상기 저장부(23)에 저장될 수 있다. 즉, 상기 피부질환 영상에서 피부질환을 제외한 다른 신체 부위 및 이물질이 제거되어 병변 지역화가 수행된 피부질환 영상에, 상기 병변 지역화된 피부질환 영상의 10% 범위가 더 추가된 피부질환 영상이 생성될 수 있다.
10% 범위가 추가된 피부질환 영상을 생성하는 이유는, 병변 지역화된 피부질환 영상에 대한 학습으로 인해 인공지능 모델이 과적합(overfitting) 되는 것을 방지하기 위함이다.
과적합 문제란 병변 지역화된 피부질환 영상을 학습하게 되면, 영상에 불필요한 요소가 없기 때문에 보다 높은 성능을 보일 수 있도록 학습될 수 있으나, 병변 지역화된 피부질환 영상만 정확도가 높고 그렇지 않은 영상에 대해서는 성능이 좋지않는 경우가 발생될 수 있기 때문이다. 즉, 병변 지역화된 피부질환 영상에 10% 범위가 추가된 피부질환 영상이 함께 학습되도록 함으로써, 과적합의 가능성이 방지될 수 있다. 도 5의 (b) 또는 (c)에 도시된 바와 같이 병변 지역화가 수행된 피부질환 영상이 생성되면, 상기 피부질환 영상에 포함된 피부질환의 발생 위치가 선택되며, 상기 발생 위치에 대한 정보는 상기 피부질환 영상과 함께, 즉, 상기 피부질환 영상의 속성값으로 상기 저장부(23)에 저장될 수 있다. 즉, 사용자는 도 5의 (d)에 도시된 바와 같은 신체 구조의 분류 리스트에서, 상기 피부질환이 발생된 위치를 선택할 수 있으며, 선택된 위치에 대한 정보는 상기 피부질환 영상과 매칭되어 상기 저장부(23)에 저장될 수 있다.
부연하여 설명하면, 도 5는 피부질환 영상에 대한 병변 지역화를 수행할 수 있으며, 피부질환의 위치를 선택하여 저장할 수 있는 데이터 생성 툴(Data Cropping Tool)의 화면을 나타낸 예시도이다. 도 5를 참조하면, 전처리 이전의 피부질환 영상, 즉, 상기 영상처리장치(30)에서 생성된 피부질환 영상은 상기 데이터 생성 툴에 의한 도 5에 도시된 화면 중, (a)로 표시된 위치에 로드되어 출력된다.
사용자가 (a)에 로드된 피부질환 영상에서 inner bound와 outer bound를 수동으로 설정하면, 병변 지역화가 수행된 피부질환 영상이 (b)의 위치에 출력되며, 병변 지역화가 수행된 피부질환 영상에 10%의 범위가 더 추가된 피부질환 영상이 (c)의 위치에 출력된다.
이후, 사용자가 도 5의 (d)에 도시된 신체 구조의 분류 리스트에서 상기 피부질환 영상에 포함된 피부질환의 병변에 해당하는 위치를 수동으로 선택하면, 선택된 위치에 대한 정보, 즉, 피부질환 위치정보가 상기 피부질환 영상과 매칭되어 저장될 수 있다. 도 5에서 (e)로 표시된 영역에는, 상기 영상처리장치(30)에서 생성된 피부질환 영상들 및 전처리가 수행된 피부질환 영상들의 리스트가 출력될 수 있다. 또한, 도 5에 도시된 (f)로 표시된 영역에는, 전처리 수행을 위해 필요한 기타 정보들이 출력될 수 있다.
셋째, 상기 데이터 노이즈 클리닝 단계는 웹 기반의 데이터 노이즈 클링닝 툴(web-based noise clearing tool)을 활용하여 수행될 수 있다.
상기 데이터 생성 툴(Data cropping tool)에 의한 전처리, 즉, 병변 지역화가 수행된 피부질환 영상을 학습하기 이전에, 상기 피부질환 영상과 상기 피부질환 영상에 대응되는 피부질환명이 정확하게 매칭되어 있는지의 여부가 확인되어야 한다. 피부질환 영상과 피부질환명 등이 잘못 매칭되어 있다면 제대로된 학습이 수행될 수 없기 때문이다.
따라서, 상기 데이터 노이즈 클리닝 단계에서 상기 분류장치(20), 특히, 상기 전처리부(22)는, 피부질환 영상 중 불필요하게 왜곡된 영상 부분(cross-domain noise)과 피부질환명이 다르게 분류되어있는 피부질환 영상(cross-category noise)을 수정 또는 제외할 수 있으며, 이 경우, 다수의 피부질환 전문의가 처리할 수 있도록 상기 웹 기반의 데이터 노이즈 클리닝 툴(web-based noise clearing tool)이 이용될 수 있다. 즉, 피부질환 전문의들은 자신이 이용하는 상기 전문의 단말기(10)를 이용해 상기 분류장치에 접속하여 상기한 바와 같은 수정 및 제외 기능들을 수행할 수 있다.
부연하여 설명하면, 불필요하게 왜곡된 영상부분을 수정하는 방법(cross-domain noise clearing)은 상기 피부질환 분류표를 기반으로 진행되며, 전문의가 해당 영상을 상기 웹기반의 데이터 노이즈 클리닝 툴을 이용하여 처리하는 것에 의해 진행될 수 있다. 특히, 본 발명은 상기 cross-domain noise clearing에 대해 후보 domain을 리스트업(list-up)하여 전문의가 선택(confirm)하도록 할 수 있다. 즉, 본 발명은 단순 작업이라고 생각될 수 있는 노이즈 제거에서, 정확도가 담보되는 범위에서 후보 domain을 제시하여 시간손해(time consuming)를 줄일 수 있다.
상기 데이터 노이즈 클리닝 단계에서, 상기 분류장치(20)는, 지역적 데이터 생성을 위한 툴(상기 데이터 생성 툴(Data Cropping Tool))을 통해 확보된 지역적 영상을 질환별로 로드한 뒤 영상을 개별적으로 선택하여 피부질환명 입력, 변경 및 삭제를 수행할 수 있으며, 피부질환 전문의는 전문소견과 조직검사의 내용을 기반으로 상기 두 가지 전처리 작업(cross-domain noise & cross-category noise)을 진행할 수 있다.
본 발명에서, 상기 전처리 단계(304)가 수행된 모든 피부질환 영상에 대한 학습은, 이하에서 설명될 피부질환 학습 단계(312) 및 특정피부질환정보 학습 단계(314)에서, 딥러닝(Deep learning) 기술을 이용하여 수행될 수 있다. 또한, 영상분류 분야에서 높은 성능을 보이는 DenseNet, Inception-v4, ResNet 등의 최신 인공지능 모델이 심층 학습을 진행함으로써 신속하고 정밀한 분류 및 진단이 수행될 수 있다.
<3. 정제된 피부질환 영상 저장 단계(306)>
상기 분류장치(20)는, 피부질환 영상으로부터 노이즈를 제거한 후, 노이즈가 제거되어 정제된 피부질환 영상을 저장할 수 있다. 예를 들어, 상기 전처리부(22)에서 생성된 정제된 피부질환 영상은 상기 저장부(23)에 저장될 수 있다.
이하에서 설명되는 정제된 피부질환 영상은, 도 5의 (b)에 도시된 바와 같이 단순히 노이즈만 제거되어 전처리된 피부질환 영상일 수도 있으며, 또는, 도 5의 (c)에 도시된 바와 같이, 전처리, 즉, 병변 지역화가 수행된 상기 피부질환 영상에, 상기 병변 지역화된 피부질환 영상의 10% 범위가 추가된, 피부질환 영상일 수도 있다.
<4. 피부질환 영상특징정보 추출 단계(308)>
상기 분류장치(20), 예를 들어, 상기 학습부(24)는 상기 정제된 피부질환 영상으로부터 피부질환 영상특징정보를 추출한다(308).
즉, 상기 분류장치(20)는 정제된 피부질환 영상에서 피부질환의 특징과 관련된 부분들을 추출한다.
<5. 피부질환정보 생성 단계(310)>
상기 분류장치(20), 예를 들어, 상기 학습부(24)는 상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성한다. 상기 피부질환 위치정보는 도 5의 (d)를 참조하여 설명된 방법을 통해 생성되어 상기 저장부(23)에 저장되어 있는 정보가 될 수 있다.
일반적으로, 피부질환이 주로 호발하는 부위(위치)는, 특정 피부질환과 연관성이 있다.
따라서, 본 발명은 위치에 따라 달리 발생할 수 있는 피부질환에 대하여, 위치 정보를 피부질환의 부위별로 나누어 구분한다. 또한, 본 발명은, 합성곱 신경망(CNN; Convolutional Neural Network)을 통해 추출된 피부질환의 영상 특징(image feature), 즉, 상기 피부질환 영상특징정보에, 피부질환 위치에 따른 값, 즉, 상기 피부질환 위치정보를 매칭시켜, 상기 피부질환정보를 생성한다. 도 6은 상기 피부질환 위치정보를 생성하기 위해 신체구조를 구분한 예시도이다. 또한, 도 8은 신체 중 얼굴 부위를 구분한 예시도이며, 도 7은 상기 피부질환 영상특징에 상기 피부질환 위치정보를 추가시키는 방법을 나타낸 식이다.
<6. 피부질환 학습 단계(312)>
상기 분류장치(20), 예를 들어, 상기 학습부(24)는 상기 피부질환정보를 학습한 결과에 따라 생성된 피부질환 데이터들을 저장할 수 있다.
즉, 본 발명은, 피부질환 위치정보가 포함된 상기 피부질환정보를 최적화된 인공지능 모델을 이용하여 학습함으로써, 피부질환의 분류 성능을 향상시킬 수 있다.
상기 학습한 결과에 따라 생성된 피부질환 데이터들은 상기 학습부(24) 또는 상기 저장부(23) 또는 상기 판단부(26)에 저장될 수 있다.
특히, 본 발명에서, 상기 학습부(24)는 상위 클래스(Top class)을 통해 초기 모델학습을 진행한 뒤 하위 클래스(Sub class)(구체적 질환)를 학습할 수 있다. 예를 들어, 상기 피부질환정보에는 상기 피부질환 영상특징정보와 상기 피부질환 위치정보가 포함되고, 이 경우, 상기 피부질환 영상특징정보가 훨씬 많기 때문에, 상기 피부질환 위치정보의 가중치가 상대적으로 적게 들어가게 된다. 이를 보완하기 위해 본 발명은 상위 클래스와 하위 클래스를 나누어 학습할 수 있다. 즉, 상기 학습부(24)는 상위 클래스와 하위 클래스를 나누어 학습할 수 있다.
부연하여 설명하면, 상기 학습부(24)는 우선적으로, 상기 상위 클래스에서 상기 피부질환 영상특징정보만을 학습할 수 있으며, 다음으로, 상기 하위 클래스에서 상기 피부질환정보를 상기 상위 클래스에서 학습된 결과들을 참조하여 추가적으로 더 학습할 수 있다.
또한, 상기 전문가 분류기(25)는 상기 하위 클래스에서 학습된 결과를 이용하여 보다 더 전문적인 학습을 수행할 수 있다. 이에 대해서는, 아래의 <7. 특정피부질환정보 학습 단계(314)>에서 설명된다. 즉, 본 발명은 상기 상위 클래스 및 상기 하위 클래스를 학습한 뒤 상기 전문가 분류기(25)를 cascading하는 방법으로 수행하여 분류가 어려운 피부질환에 대해 더욱 자세히 분류할 수 있다.
<7. 특정피부질환정보 학습 단계(314)>
상기 분류장치(20), 예를 들어, 상기 전문가 분류기(25)는 상기 피부질환정보가, 기 설정되어 있는 특정피부질환과 관련되어 있는 경우, 상기 피부질환정보에 피부전문의의 의견을 추가하여 특정피부질환정보를 생성하며, 상기 특정피부질환정보를 학습한 결과에 따라 생성된 특정피부질환 데이터들을 저장할 수 있다.
본 발명에 적용되는 피부질환 중에는 병변의 형태가 매우 비슷하여 분류가 어려운 특정 질환들이 포함될 수 있다.
이러한 특정 피부질환들은 형태는 비슷하나 중증도가 다르기 때문에 정확한 진단이 필요하다.
이를 해결하기 위해, 본 발명에서는 전체 피부질환에 대해서 심층 학습을 진행하는 상위 분류기, 즉, 상기 학습부(24)와 독립적으로, 도 2에 도시된 바와 같이, 복수의 전문가 분류기(25)들이 이용될 수 있다.
즉, 상기 전문가 분류기(25)들 각각은, 특정 피부질환들에 대해서 학습하고 분류할 수 있다. 이에 따라, 본 발명은 전체 피부질환에 대한 분류 성능을 향상시킬 수 있다.
이 경우, 상기 분류장치(20), 특히, 상기 전문가 분류기(25)는, 상기 전처리부(22)에서의 전처리 과정(304, 306)을 통해 특정 피부질환명과 매칭되어 있는, 정제된 피부질환 영상에 대해, 상기한 바와 같은 피부질환 영상특징정보 추출과정(308) 및 피부질환정보 생성 과정(310)을 독립적으로 수행하여, 특정피부질환정보를 생성한 후, 상기 특정피부질환정보를 학습한 결과에 따라 생성된 특정피부질환 데이터들을 저장할 수 있다.
또한, 상기 분류장치(20), 특히, 상기 전문가 분류기(25)는, 상기 학습부(24)에서의 학습에 의해 생성된 피부질환 데이터들 중 특정 피부질환명과 매칭되어 있는 피부질환 데이터들에 대해 추가적인 학습을 수행하여, 특정피부질환 데이터들을 생성할 수도 있다.
부연하여 설명하면, 중증, 경증, 일상생활 피부질환 등 모든 피부질환을 학습하는 상기 학습부(24)는, 모든 피부질환들에 대해서 분류를 진행하기 때문에, 서로 형태가 유사한 특정 피부질환에 대한 분류 정확도가 높지 않을 수 있다.
예를 들어, 두 종류의 피부질환들, 또는 세 종류의 특정 피부질환들이 유사한 형태의 병변을 갖는 경우, 상기 특정 피부질환들에 대한 분류의 정확도를 높이기 위해서는, 상기 특정 피부질환들을 전문적으로 학습할 필요가 있다.
이를 위해, 본 발명에서는, 상기 학습부(24)와 독립적으로 구비된 상기 전문가 분류기(25)가 상기 특정 피부질환들에 대해 더 세부적이고 구체적인 학습을 수행할 수 있다.
이 경우, 상기 판단부(26)는, 피부질환에 대한 최종 분류 시, 상기 학습부(24) 및 상기 전문가 분류기(25)에서 분류된 값들에 대해 기설정된 가중치를 부여하여, 최종적인 분류 결과를 추출할 수 있다.
보다 더 구체적으로 설명하면, 상기 학습부(24)는 상대적으로 넓은 범위의 상식을 가진 사람에 비유될 수 있으며, 상기 전문가 분류기(25)는 특정 분야의 전문가에 비유될 수 있다. 이 경우, 상기 판단부(26)는 피부질환에 대한 분류를 수행할 때, 상기 학습부(24)의 학습 결과 및 상기 전문가 분류기(25)의 학습 결과를 이용함으로써, 보다 더 정확한 분류를 수행할 수 있다.
예를 들어, 상기 학습부(24)가 전체 피부질환들 중 27개의 피부질환에 대한 학습을 진행한다고 할 때, 특정피부질환을 분류하고 학습하는 상기 전문가 분류기(25)는 구별이 어려운 2가지, 또는 3가지의 피부질환들에 대해서만 학습을 진행할 수 있다. 즉, 상기 피부질환데이터들을 생성하는 상기 학습부(24) 및 상기 특정피부질환 데이터들을 생성하는 전문가 분류기(25)는 독립적으로 구동되며, 상기 학습부(24)는 상기 전문가 분류기(25)에서 학습되는 피부질환들의 개수보다 더 많은 개수의 피부질환들에 대해 학습할 수 있다. 이 경우, 상기 전문가 분류기(25)가 복수 개 구비된다면, 더 많은 피부질환들에 대한 보다 더 구체적인 학습이 진행될 수 있다.
상기 판단부(26)는 최종적으로 상기 전문가 분류기(25)들 및 상기 학습부(25)를 통해, 새로운 피부질환 영상에 대한 분류 서비스를 제공할 수 있다.
본 발명은 피부질환 소분류(31종류)를 분류하기 위해, 합성곱 신경망(CNN)을 기반으로 하며, [수학식 2]와 같은 범주형 크로스 엔트로피(categorical cross-entropy) 손실함수를 이용할 수 있다.
[수학식 2]는 [수학식 1]의 소프트맥스 활성함수 (softmax activation)와 크로스 엔트로피(cross-entropy)의 합으로 이루어져 있다.
Figure pat00001
Figure pat00002
[수학식 1]에서
Figure pat00003
는 소프트맥스 활성함수,
Figure pat00004
는 지수함수(exponential function),
Figure pat00005
는 종류(class)의 개수,
Figure pat00006
는 합성곱 신경망(CNN)의 출력(vector)을 나타내며, [수학식 2]에서
Figure pat00007
는 class를 표시해주는 원핫벡터(one-hot vector)를 나타낸다.
상기 전문가 분류기(25)는, 상기 전처리부(22)에서 전처리된 정제된 피부질환 영상을 이용할 수 있으며, 또는 상기 전처리부(22)의 기능을 수행할 수도 있다.
또한, 상기 전문가 분류기(25)는 상기 학습부(24)의 기능을 기본적으로 수행할 수도 있다.
또한, 상기 전문가 분류기(25)는 상기 학습부(24)에서 생성된 피부질환 데이터들을 이용하여 학습을 수행할 수도 있다.
즉, 상기 전문가 분류기(25)는 상기 학습부(24)에서 학습되는 피부질환들 중, 특별히 더 중요하다고 판단되는 특정 피부질환들을 피부질환 전문의들의 도움을 받아, 더 세부적으로 학습할 수도 있으며, 또는, 상기 학습부(24)와 병렬적으로 구비되어 특정 피부질환들을 피부질환 전문의들의 도움을 받아, 더 세부적으로 학습할 수도 있다.
상기 전문가 분류기(25)에서 학습한 결과에 따라 생성된 특정피부질환 데이터들은 상기 전문가 분류기(25) 또는 상기 저장부(23) 또는 상기 판단부(26)에 저장될 수 있다.
상기 전문가 분류기(25)는 특정 피부질환을 학습할 수 있는 모듈형태로 구성될 수 있다. 따라서, 상기 전문가 분류기(25)는 사용자, 예를 들어, 피부과에서 원하는 특정 피부질환에 대해 독립적으로 변경 및 수정될 수 있다. 즉, 상기 전문가 분류기(25)는 사용자의 요청에 의해, 적어도 하나 이상 구비될 수 있다.
<7. 피부질환 분류 서비스 제공 단계(316)>
상기 분류장치(20), 예를 들어, 상기 판단부(26)는 새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들 및 상기 특정피부질환 데이터들을 이용하여 상기 새로운 피부질환 영상을 분류할 수 있으며, 상기 출력부(27)를 통해 분류 결과를 출력할 수 있다.
<8. 본 발명의 효과>
상기한 바와 같은 본 발명은 영상분류에 최적화된 딥러닝 모델을 통해 학습을 하기 때문에, 영상처리 기법으로 분류를 하는 종래의 기술보다 피부질환 분류를 위한 소요 시간을 효과적으로 단축시킬 수 있다.
또한, 본 발명은 중증 피부질환뿐만 아니라 경증 피부질환 및 일상생활 피부질환까지 분류할 수 있기 때문에, 광범위한 피부질환 분류 서비스를 제공할 수 있다.
또한, 본 발명은 상위 분류기, 즉, 상기 학습부(24)와 상기 전문가 분류기(25)를 통합한 상기 분류장치(20)를 통해 피부질환을 분류할 수 있으며, 피부질환 병변의 위치 정보를 활용함으로써, 피부질환 분류 성능을 고도화하여 빠르고 정확한 피부질환 분류 서비스를 제공할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.　 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 전문의 단말기 20: 분류장치
30: 영상처리장치 40: 사용자 단말기

Claims (7)

  1. 영상처리장치에서 생성된 피부질환 영상을 입력받는 단계;
    상기 피부질환 영상에서 노이즈를 제거하는 단계;
    노이즈가 제거되어 정제된 피부질환 영상으로부터 피부질환 영상특징정보를 추출하는 단계;
    상기 피부질환 영상특징정보에 피부질환 위치정보를 매칭시켜 피부질환정보를 생성하는 단계;
    상기 피부질환정보를 학습한 결과에 따라 생성된 피부질환 데이터들을 저장하는 단계; 및
    새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들을 이용하여 상기 새로운 피부질환 영상을 분류하는 단계를 포함하는 인공지능 기반의 피부질환 분류 방법.
  2. 제 1 항에 있어서,
    상기 피부질환정보가 기 설정되어 있는 특정피부질환과 관련되어 있는 경우, 상기 피부질환정보에 피부전문의의 의견을 추가하여 특정피부질환정보를 생성하며, 상기 특정피부질환정보를 학습한 결과에 따라 생성된 특정피부질환 데이터들을 저장하는 단계를 더 포함하며,
    상기 새로운 피부질환 영상을 분류하는 단계는,
    상기 새로운 피부질환 영상에 대한 분류 서비스 요청이 수신된 경우, 상기 피부질환 데이들 및 상기 특정피부질환 데이터들을 이용하여 상기 새로운 피부질환 영상을 분류하는 인공지능 기반의 피부질환 분류 방법.
  3. 제 2 항에 있어서,
    상기 피부질환데이터들을 생성하는 학습부 및 상기 특정피부질환 데이터들을 생성하는 전문가 분류기는 독립적으로 구동되며, 상기 학습부는 상기 전문가 분류기에서 학습되는 피부질환들의 개수보다 더 많은 개수의 피부질환들에 대해 학습하는 인공지능 기반의 피부질환 분류 방법.
  4. 제 1 항에 있어서,
    상기 피부질환 영상에서 노이즈를 제거하는 단계는,
    상기 피부질환 영상에서 피부질환을 제외한 다른 신체 부위 및 이물질을 제거하는 단계; 및
    피부질환을 제외한 다른 신체 부위 및 이물질이 제거된 피부질환 영상에 대응되는 피부질환명을 입력받는 단계를 포함하는 인공지능 기반의 피부질환 분류 방법.
  5. 제 4 항에 있어서,
    상기 피부질환 영상에서 피부질환을 제외한 다른 신체 부위 및 이물질을 제거하는 단계는,
    상기 피부질환에 대응되는 피부질환 위치정보를, 상기 피부질환을 제외한 다른 신체 부위 및 이물질이 제거된 피부질환 영상에 매칭시켜 저장하는 인공지능 기반의 피부질환 분류 방법.
  6. 제 4 항에 있어서,
    상기 피부질환 영상에서 피부질환을 제외한 다른 신체 부위 및 이물질을 제거하는 단계는,
    병변 지역화된 피부질환 영상에 대한 학습으로 인해 인공지능 모델이 과적합되는 것을 방지하기 위해, 상기 피부질환 영상에서 피부질환을 제외한 다른 신체 부위 및 이물질이 제거되어 병변 지역화가 수행된 피부질환 영상에, 상기 병변 지역화된 피부질환 영상의 10% 범위가 더 추가된 피부질환 영상을 생성하는 인공지능 기반의 피부질환 분류 방법.
  7. 제 4 항에 있어서,
    상기 피부질환명을 입력받는 단계는,
    피부질환을 제외한 다른 신체 부위 및 이물질이 제거된 상기 피부질환 영상에 대응되는 피부질환명을 입력받아 저장하고, 상기 피부질환 영상 중 불필요하게 왜곡된 영상 부분(cross-domain noise)과 피부질환명이 다르게 분류되어있는 피부질환 영상(cross-category noise)을 수정 또는 제외시키는 인공지능 기반의 피부질환 분류 방법.

KR1020200014841A 2019-12-30 2020-02-07 인공지능 기반의 피부질환 분류 방법 KR20210086374A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190178451 2019-12-30
KR1020190178451 2019-12-30

Publications (1)

Publication Number Publication Date
KR20210086374A true KR20210086374A (ko) 2021-07-08

Family

ID=76894171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200014841A KR20210086374A (ko) 2019-12-30 2020-02-07 인공지능 기반의 피부질환 분류 방법

Country Status (1)

Country Link
KR (1) KR20210086374A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417229B1 (ko) * 2021-11-10 2022-07-06 주식회사 에프앤디파트너스 피부 부위별 분류를 위한 바디맵 제공 장치
KR20230079899A (ko) * 2021-11-29 2023-06-07 (주)스톤랩 시각 인공지능 활용 비침습 피부 생체지표 추정 기반 피부염 판별 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417229B1 (ko) * 2021-11-10 2022-07-06 주식회사 에프앤디파트너스 피부 부위별 분류를 위한 바디맵 제공 장치
KR20230079899A (ko) * 2021-11-29 2023-06-07 (주)스톤랩 시각 인공지능 활용 비침습 피부 생체지표 추정 기반 피부염 판별 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US20210228071A1 (en) System and method of otoscopy image analysis to diagnose ear pathology
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
KR101901397B1 (ko) 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(ｓｍｉ) 자동 분석방법
Wadkar et al. Breast cancer detection using ANN network and performance analysis with SVM
Gao et al. Diabetic retinopathy classification using an efficient convolutional neural network
US20240054638A1 (en) Automatic annotation of condition features in medical images
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
KR20210086374A (ko) 인공지능 기반의 피부질환 분류 방법
Chakraborty et al. Automated breast cancer identification by analyzing histology slides using metaheuristic supported supervised classification coupled with bag-of-features
KR101653505B1 (ko) 이미지를 기반으로 건강상태에 대한 진단을 보조하는 컴퓨팅 장치 및 방법
CN116343008A (zh) 基于多个特征的青光眼识别的训练方法及训练装置
Poorani et al. Identification of polycystic ovary syndrome in ultrasound images of ovaries using distinct threshold based image segmentation
US20230177683A1 (en) Domain Aware Medical Image Classifier Interpretation by Counterfactual Impact Analysis
Jain et al. Brain Tumor Detection using MLops and Hybrid Multi-Cloud
Chandana Multi-class Cervical Cancer Classification using Transfer Learning-based Optimized SE-ResNet152 model in Pap Smear Whole Slide Images
Maurya et al. Detection and Classification of Glioblastoma Brain Tumor
Schaefer et al. Scleroderma capillary pattern identification using texture descriptors and ensemble classification
Gayathri et al. A Novel IR Analyzer Based Property Extraction for Segmented Branch Retinal Artery Occlusion and GWO-CNN Based Classification–An Ophthalmic Outcome
Kaoungku et al. Colorectal Cancer Histology Image Classification Using Stacked Ensembles
Bajaj et al. Diabetic retinopathy stage classification
Moustari et al. Two-stage deep learning classification for diabetic retinopathy using gradient weighted class activation mapping
Wan et al. Retinal Blood Vessels Segmentation With Improved SE‐UNet Model
Nahar et al. A deep learning-based ophthalmologic approach for retinal fundus image analysis to detect glaucoma
Alhajim et al. Application of optimized Deep Learning mechanism for recognition and categorization of retinal diseases
Xue et al. Extraction of endoscopic images for biomedical figure classification

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application