KR20230044341A - 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템 - Google Patents

인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템 Download PDF

Info

Publication number
KR20230044341A
KR20230044341A KR1020210126730A KR20210126730A KR20230044341A KR 20230044341 A KR20230044341 A KR 20230044341A KR 1020210126730 A KR1020210126730 A KR 1020210126730A KR 20210126730 A KR20210126730 A KR 20210126730A KR 20230044341 A KR20230044341 A KR 20230044341A
Authority
KR
South Korea
Prior art keywords
image
skin
skin image
group including
diagnosis
Prior art date
Application number
KR1020210126730A
Other languages
English (en)
Inventor
김보형
강민성
이현빈
신우림
Original Assignee
주식회사 씨앤에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨앤에이아이 filed Critical 주식회사 씨앤에이아이
Priority to KR1020210126730A priority Critical patent/KR20230044341A/ko
Publication of KR20230044341A publication Critical patent/KR20230044341A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 피부의 의료 진단 방법은, 학습용 피부 이미지로부터 손실 함수를 이용하여 이미지 내의 특성들을 획득하고, 획득한 특성들을 바탕으로 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행하는 단계, 사람의 인체 피부를 촬영한 진단용 피부 이미지를 획득하는 단계, 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하는 단계 및 그룹화된 진단용 피부 이미지를 해당하는 그룹에 따라 이미지를 전처리하는 전처리 단계를 포함한다.

Description

인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템{Method and System for Medical diagnosis of human skin through artificial intelligence}
본 발명은 인체 피부의 의료 진단 방법에 관한 것으로, 보다 자세하게는 인체 피부 이미지로부터 인공 지능을 통해 이미지를 전처리하고, 전처리한 이미지로부터 피부 암 등의 의료 진단을 수행하는 방법 및 시스템에 관한 것이다.
최근 머신 러닝 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며, 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.
또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료 영상 분석에서도 머신 러닝 기술이 널리 활용되고 있다.
특히 의로 진단분야에서 기존의 조직검사에 소요되는 시간과 비용을 줄이기 위하여 분류화(classification)이 되어 있는 영상 또는 이미지 공공 데이터를 활용하여 학습을 시킨 후에 립 러닝 기법을 통해 암을 진단하는 기법이 등장하였다. 이 기법은 정밀한 정확도가 요구되는 암 진단은 조직검사를 통해서 이루어지더라도 초기 암 의심 여부를 보조하기 위한 수단으로 의료영상 진단 보조 시스템으로 활용되고 있다.
미국에서는 매시간마다 1명꼴로 피부암으로 인하여 사망하고 있다. 그리고 매년 5명 중 1명이 피부암 진단을 받으며, 5백만명이 피부암으로 인해 치료를 받고 있으므로 피부암은 매우 심각한 사회적 문제로 대두되고 있다. 이러한 피부암은 자각 증상이 없기 때문에 주기적으로 확인하는 것이 중요하다.
한편, 피부 이미지는 촬영하는 사람, 환경, 장비, 기법 등에 따라 다양한 확장자나 종류로 촬영된다. 전문적인 촬영기기보다는 모바일 기기나 일반적인 카메라를 통해서 의료진과 일반인 모두 촬영할 수 있기 때문이다. 따라서 광범위한 촬영 이미지를 확보하기에는 용이하나, 의료현장에서 의사가 진단에 활용할 수 있는 정확도를 가진 의료영상 진단 보조 시스템을 학습시킬 수 있는 고품질의 데이터를 확보하는 것에는 어려움이 따른다.
따라서 다양한 종류의 이미지를 분류할 수 있는 방법과 저 품질 영상을 고품질 영상으로 변환할 수 있는 기법, 그리고 털이나 점과 같이 암과 관련없는 부분을 원래의 사진에서 제거할 수 있는 기술에 대한 필요성이 증대되고 있다.
한국특허공개 10-2020-0101540호 (피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템) 한국등록특허 10-2265525 (인공지능 기반의 피부 진단 방법 및 시스템)
본 발명이 해결하고자 하는 과제는 사람의 피부를 촬영한 이미지에서 피부암을 진단할 수 있도록 다양한 종류의 이미지로 분류하고, 분류된 이미지를 그룹에 따라 털이나 점 그리고 암과 관련없는 부분을 제거할 수 있는 전처리 기술을 포함하는 의료 진단 방법을 제공하는 데에 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 인공지능을 통해 인체 피부의 의료 진단을 위한 방법은, (a) 사람의 인체 피부를 촬영한 학습용 피부 이미지를 획득하는 단계; (b) 학습용 피부 이미지로부터 하기 수학식에 따른 손실 함수를 이용하여 이미지 내의 특성들을 획득하고,
Figure pat00001
여기서
Figure pat00002
는
Figure pat00003
함수에서 나온 특성이며,
Figure pat00004
는 피부 이미지 X 의 증강(augmentation)을 통해 획득한 변형(variation) 이미지의 특성들을 나타내며, 상기 획득한 특성들을 바탕으로 하기 수학식
Figure pat00005
을 통한 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 상기 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행하는 단계; (c) 사람의 인체 피부를 촬영한 진단용 피부 이미지를 획득하는 단계; (d) 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하는 단계; 및 (e) 상기 그룹화된 진단용 피부 이미지를 해당하는 그룹에 따라 이미지를 전처리하는 전처리 단계;를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명은 피부 이미지를 딥 러닝에 학습시켜, 피부 이미지에서 피부에 털이 있는 경우, 검은색 사진이 있는 경우, 패치가 있는 경우의 이미지를 그룹화 하도록 학습하고, 이에 따라 학습된 알고리즘을 이용하여 피부 이미지를 그룹화하고, 그룹화된 이미지를 이에 맞게 전처리할 수 있는 인공지능 전처리 방법을 제공할 수 있다.
또한 본 발명은 피부 이미지를 전처리하여, 인공 지능을 통한 피부 암 진단 시 정확한 결과를 도출할 수 있는 피부의 의료 진단 방법을 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 피부의 의료 진단 시스템의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 피부의 의료 진단 방법을 설명하기 위한 순서도이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
소자 또는 층이 다른 소자 또는 층 "위 (on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 피부의 의료 진단 시스템의 개략적인 구성을 도시한 블록도이다.
도 1을 참조하면 본 발명에 따른 피부의 의료 진단 시스템(100)은 이미지 획득부(110) 및 프로세서(120)를 포함한다.
이미지 획득부(110)는 사람의 인체 피부를 촬영한 학습용 피부 이미지(210) 및 진단용 피부 이미지(220)를 획득하는 기능을 한다. 학습용 피부 이미지(210)는 피부 이미지를 이미지 특성에 맞는 그룹별로 그룹화하도록 학습하는 비지도 학습을 위한 피부 이미지이고, 진단용 피부 이미지(220)는 학습용 피부 이미지(210)를 통해 비지도 학습을 마친 상태에서 실제 피부 진단을 위해 입력되는 진단용 피부 이미지이다. 이미지 획득부(110)는 의료 진단 시스템(100) 내의 하나의 독립된 장치로 구성될 수도 있지만, 소프트웨어로 구현되는 하나의 구성요소가 될 수도 있을 것이다.
프로세서(120)는 아래와 같은 (i) 내지 (iv) 프로세스를 수행한다.
프로세스 (i)은 상기 학습용 피부 이미지를 획득하고, 학습용 피부 이미지로부터 하기 수학식 1에 따른 손실 함수를 이용하여 이미지 내의 특성들을 획득한다.
Figure pat00006
여기서
Figure pat00007
는
Figure pat00008
함수에서 나온 특성이며,
Figure pat00009
는 피부 이미지 X 의 증강(augmentation)을 통해 획득한 변형(variation) 이미지의 특성들을 나타낸다.
프로세스 (i)에서는 상기 획득한 특성들을 바탕으로 하기 수학식 2를 통한 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 상기 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행한다
Figure pat00010
프로세스 (ii)에서는 사람의 인체 피부를 촬영한 진단용 피부 이미지를 획득한다.
그리고 프로세스 (iii)에서는 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 한다.
프로세스 (iv)에서는 상기 그룹화된 진단용 피부 이미지를 해당하는 그룹에 따라 이미지를 전처리한다.
피부 이미지를 딥 러닝에 학습시켜 피부병 진단에 활용할 때, 피부 이미지 데이터가 다양한 상황에 있어, 전처리가 불가피하다. 예를 들어 피부에 털이 있는 경우, 검은색 사진이 있는 경우, 패치가 있는 경우가 있다. 딥 러닝의 비지도 학습을 활용해 위 케이스들을 나누는 작업을 선제 진행한다. 그후 각 케이스마다 전처리를 각각 처리해 준다. 먼저, 털이 있는 경우에는 오토-인코더 기반의 대표 학습을 통해 진행하고, 검은색/흰색 배경이 보일 때에는 이미지 아웃페인팅(image outpainting) 방식을 통해 문맥에 맞게 학습시킨다. 또한, 패치가 붙어져 있을 때, 그 부분을 검출하여 잘라내고, 이를 통해, 피부병 진단 전에 필요한 데이터 세트를 잘 정제하여 균일하게 만들 수 있게 된다.
즉, 본 발명은 정형화되지 않은 피부 이미지에 대하여 인공지능 기반의 API를 통하여 학습이 용이한 정형화된 피부 이미지로 변환시키는 전처리 단계 또는 전처리 기능을 포함하는 피부 의료 진단 방법이나 시스템을 제안하는 것이다.
이어서, 피부의 의료 진단 시스템(100)의 피부의 의료 진단 방법에 대하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 피부의 의료 진단 방법을 설명하기 위한 순서도이다.
먼저, 피부의 의료 진단을 위한 시스템(100)의 이미지 획득부(110)가 사람의 인체 피부를 촬영한 학습용 피부 이미지(210)를 획득한다(S110).
이어서 피부의 의료 진단을 위한 시스템(100)의 프로세서(120)가 상기 수학식 1에 따른 손실 함수를 이용하여 학습용 피부 이미지 내 특성을 획득하고, 획득한 특성들을 상기 수학식 2에 따른 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 상기 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행한다(S120). 이때, 비지도 학습은 SCAN 신경망 네트워크 모델을 이용한 비지도 학습을 이용할 수 있다.
그런 다음, 피부의 의료 진단을 위한 시스템(100)의 이미지 획득부(110)가 사람의 인체 피부를 촬영한 진단용 피부 이미지(220)를 획득한다(S130).
이어서, 피부의 의료 진단을 위한 시스템(100)의 프로세서(120)가 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화한다(S140).
그리고 나서 피부의 의료 진단을 위한 시스템(100)의 프로세서(120)는 그룹화된 진단용 피부 이미지를 각 그룹에 따라 이미지를 전처리하는 전처리 프로세스를 수행한다(S150).
만일 진단용 피부 이미지(220)가 이미지 내에 털이 존재하는 피부 이미지 그룹으로 분류된 경우, 즉, 입력된 진단용 피부 이미지(220)가 이미지 내에 털이 존재한다면, 전형적인 오토-인코더 방식으로 처리를 한다. 오토-인코더는 인코더 신경망 네트워크, 디코더 신경망 네트워크로 나눠져 있다. 인코더에서는 원본 이미지를 받아 대표값으로 크기를 축소한다. 디코더에서는 그 대표값을 다시 원래 모형으로 만드는 것이다. 여기서 착용한 방법은 디코더를 거쳐 다시 진단용 피부 이미지(220)를 재생성 되었을 때, 재구축 손실함수를 적용해 최대한 털이 없는 이미지를 만든다.
즉, S150 단계에서, 프로세서(120)는, 신경망 네트워크의 인코더 및 디코더를 통해 진단용 피부 이미지를 재생성한 후, 아래 수학식 3와 같은 재구축 손실함수를 통해 털을 제거한 이미지를 생성한다.
Figure pat00011
여기서
Figure pat00012
는 상기 재구축 손실함수의 각 선형결합의 가중치이며,
Figure pat00013
는 GT의 실제 값과 털이 있는 공간의 픽셀들만으로 이루어져 있는 네트워크 예측값의 L1 손실함수를 나타내고,
Figure pat00014
는 GT의 실제 값과 백그라운드 픽셀들만으로 이루어져 있는 네트워크 예측값의 L1 손실함수를 나타내며,
Figure pat00015
는 털의 픽셀들이 아닌 모든 픽셀들로 정규화하여 털의 L2를 계산한 후, 정규화한 전체 픽셀 개수로 나눠 계산된 손실함수를 나타내며,
Figure pat00016
은 전체 이미지에 대한 SSIM 메트릭 기반 손실 함수(Loss fuction)이고,
Figure pat00017
은 털 근처 값들의 주변 내용을 기반해 트랜지션 시키기 위한 regularizer 로 사용되는 전체 변동 손실(total variation loss)을 나타낸다.
한편, 선형결합 가중치
Figure pat00018
는 각각 가중치를 독립적으로 준다. 만일 가중치가 0에 가까우면 많은 가중을 주지 않겠다는 뜻이며, 커질수록 가중을 많이 주겠다는 것이다. 즉, 가중치를 넣어서, 어느 loss에 더 큰 가중치를 줄지 판단하는 것이다.
구체적으로, 위 수학식 3에서 L2 는 MSE(Mean Squared error) 로스(Loss)이고, 털이 있는 부분의 네트워크 예측값과 GT 값의 손실함수를 계산 후, 전체 픽셀 갯수를 나눠줘서 구하게 된다.
L1은 아래 수학식 4와 같이 표시되며,
Figure pat00019
L2는 아래 수학식 5와 같이 표시될 수 있다.
Figure pat00020
수학식 4 및 5에서 L1 로스와 L2 로스 의 차이는, 두개의 n- 차원 벡터 (n-dimensional vector)들의 차를 제곱을 할 것인지, 아니면 차이의 절대값만 구할 것인지의 차이가 된다. 그리고
Figure pat00021
는 위 수학식 4의 식에 털(hair)이 존재하는 픽셀들의 개수를 나눠주는 것이다.
즉,
Figure pat00022
는 예시적으로 아래 수학식 6
Figure pat00023
으로 나타낼 수 있다.
수학식 6의
Figure pat00024
은 털(hair)이 있는
Figure pat00025
를 빼준 것이다.
또한,
Figure pat00026
는 상기 수학식 5의 L2를 이용하지만,
Figure pat00027
와
Figure pat00028
은, L2는 모든 픽셀을 사용해
Figure pat00029
를 차를 더했다는 점에서 차이가 있다. 즉, 용한 픽셀만큼 1/픽셀수 만큼 해주는 것이다. 즉,
Figure pat00030
는 아래 수학식 7와 같이 표시될 수 있다.
Figure pat00031
S150 단계에서, 프로세서(120)는, 진단용 피부 이미지(220)가 이미지 내에 검은색 배경 또는 하안색 배경이 존재하는 피부 이미지 그룹으로 분류된 경우, 즉, 입력된 진단용 피부 이미지(220)가 이미지 내에 검은색 배경 또는 하안색 배경이 존재한다면, 상기 진단용 피부 이미지 내의 검은색 배경 또는 하얀색 배경에 해당하는 부분을 잘라내고 나머지 부분을 이미지 패치로 만든 후, 상기 진단용 피부 이미지를 전체 이미지가 아닌 부분적인 이미지로부터 전체 이미지를 생성하는 이미지 아웃페인팅(outpainting) 모델에 입력 값으로 넣고, 잘린 부분을 복원하는 과정을 수행하여 배경을 제거한 이미지를 생성한다.
S150 단계에서, 프로세서(120)는 상기 진단용 피부 이미지가 이미지 내에 검은색 배경 또는 하얀색 배경이 존재하는 피부 이미지 그룹의 이미지인 경우, GAN 적대적 생성 신경망을 활용한 인공지능 알고리즘을 이용하여 배경을 제거한 이미지를 생성할 수 있다. 이미지 아웃페인팅(outpainting)을 할 때, 상기 GAN 적대적 생성 신경망을 활용한 인공지능 알고리즘을 포함한 여러 알고리즘을 이용할 수도 있다.
또한, S150 단계에서, 프로세서(120)는, 진단용 피부 이미지(220)가 패치를 포함하는 피부 이미지 그룹으로 분류된 경우, 즉, 입력된 진단용 피부 이미지(220)가 이미지 내에 패치가 존재한다면, 이미지 세그멘테이션을 통해 패치를 검출하고, 그 검출 결과값으로 폴리곤 좌표를 획득 한 후, 상기 진단용 피부 이미지 내의 상기 폴리곤 좌표만큼 잘라낸 후, 상기 진단용 피부 이미지를 부분을 이미지 패치로 만든 후, 전체 이미지가 아닌 부분적인 이미지로부터 전체 이미지를 생성하는 이미지 아웃페인팅(outpainting) 모델에 입력 값으로 넣고, 잘린 부분을 복원하는 과정을 수행하여 패치를 제거한 이미지를 생성한다.
S150 단계에서, 프로세서(120)는, 상기 진단용 피부 이미지가 이미지 내에 패치를 포함하는 피부 이미지 그룹의 이미지인 경우, GAN 적대적 생성 신경망을 활용한 인공지능 알고리즘을 이용하여 패치를 제거한 이미지를 생성할 수도 있다.
그런 다음, 그리고 나서 피부의 의료 진단을 위한 시스템(100)의 프로세서(120)는 전처리된 진단용 피부 이미지를 입력받고 학습된 인공 지능 알고리즘을 통해 상기 진단용 피부 이미지로부터 피부의 의료 진단을 수행한다(S160).
이와 같이 본 발명에 따른 피부의 의료 진단을 방법 및 시스템은 피부 이미지를 딥 러닝에 학습시켜, 피부 이미지에서 피부에 털이 있는 경우, 검은색 사진이 있는 경우, 패치가 있는 경우의 이미지를 그룹화 하도록 학습하고, 이에 따라 학습된 알고리즘을 이용하여 피부 이미지를 그룹화하고, 그룹화된 이미지를 이에 맞게 전처리할 수 있는 인공지능 전처리 방법을 제공할 수 있다.
또한 본 발명에 따른 피부의 의료 진단을 방법 및 시스템은 피부 이미지를 전처리하여, 인공 지능을 통한 피부 암 진단 시 정확한 결과를 도출할 수 있는 피부의 의료 진단 방법을 제공할 수 있다.
본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.
따라서, 각 실시예에서는 각각의 기술적 특징을 위주로 설명하지만, 각 기술적 특징이 서로 양립 불가능하지 않은 이상, 서로 병합되어 적용될 수 있다.
본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 피부의 의료 진단을 위한 시스템
110: 이미지 획득부 120: 프로세서

Claims (9)

  1. 인공지능을 통해 인체 피부의 의료 진단을 위한 방법에 있어서,
    (a) 사람의 인체 피부를 촬영한 학습용 피부 이미지를 획득하는 단계;
    (b) 학습용 피부 이미지로부터 하기 수학식에 따른 손실 함수를 이용하여 이미지 내의 특성들을 획득하고,
    Figure pat00032

    여기서
    Figure pat00033
    는
    Figure pat00034
    함수에서 나온 특성이며,
    Figure pat00035
    는 피부 이미지 X 의 증강(augmentation)을 통해 획득한 변형(variation) 이미지의 특성들을 나타내며,
    상기 획득한 특성들을 바탕으로 하기 수학식
    Figure pat00036

    을 통한 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 상기 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행하는 단계;
    (c) 사람의 인체 피부를 촬영한 진단용 피부 이미지를 획득하는 단계;
    (d) 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하는 단계; 및
    (e) 상기 그룹화된 진단용 피부 이미지를 해당하는 그룹에 따라 이미지를 전처리하는 전처리 단계;
    를 포함하는 것을 특징으로 하는 피부의 의료 진단 방법.
  2. 제1 항에 있어서,
    상기 (e) 단계에서
    상기 진단용 피부 이미지가 이미지 내에 털이 존재하는 피부 이미지 그룹의 이미지인 경우, 신경망 네트워크의 인코더 및 디코더를 통해 상기 진단용 피부 이미지를 재생성 한 후, 하기의 재구축 손실함수
    Figure pat00037

    여기서
    Figure pat00038
    는 상기 재구축 손실함수의 각 선형결합의 가중치이며,
    Figure pat00039
    는 GT의 실제 값과 털이 있는 공간의 픽셀들만으로 이루어져 있는 네트워크 예측값의 L1 손실함수를 나타내고,
    Figure pat00040
    는 GT의 실제 값과 백그라운드 픽셀들만으로 이루어져 있는 네트워크 예측값의 L1 손실함수를 나타내며,
    Figure pat00041
    는 털의 픽셀들이 아닌 모든 픽셀들로 정규화하여 털의 L2를 계산한 후, 정규화한 전체 픽셀 개수로 나눠 계산된 손실함수를 나타내며,
    Figure pat00042
    은 전체 이미지에 대한 SSIM 메트릭 기반 손실 함수(Loss fuction)이고,
    Figure pat00043
    은 털 근처 값들의 주변 내용을 기반해 트랜지션 시키기 위한 regularizer 로 사용되는 전체 변동 손실(total variation loss)을 나타낸다.
    를 이용하여 털을 제거한 이미지를 생성하는 것을 특징으로 하는 피부의 의료 진단 방법.
  3. 제1 항에 있어서,
    상기 (e) 단계에서,
    상기 진단용 피부 이미지가 이미지 내에 검은색 배경 또는 하얀색 배경이 존재하는 피부 이미지 그룹의 이미지인 경우, 상기 진단용 피부 이미지 내의 검은색 배경 또는 하얀색 배경에 해당하는 부분을 잘라내고 나머지 부분을 이미지 패치로 만든 후, 상기 진단용 피부 이미지를 전체 이미지가 아닌 부분적인 이미지로부터 전체 이미지를 생성하는 이미지 아웃페인팅 모델에 입력 값으로 넣고, 잘린 부분을 복원하는 과정을 수행하여 배경을 제거한 이미지를 생성하는 것을 특징으로 하는 피부의 의료 진단 방법._
  4. 제3 항에 있어서,
    상기 (e) 단계에서,
    상기 진단용 피부 이미지가 이미지 내에 검은색 배경 또는 하얀색 배경이 존재하는 피부 이미지 그룹의 이미지인 경우, GAN 적대적 생성 신경망을 활용한 인공지능 알고리즘을 이용하여 배경을 제거한 이미지를 생성하는 것을 특징으로 하는 피부의 의료 진단 방법.
  5. 제1항에 있어서,
    상기 (e) 단계에서,
    상기 진단용 피부 이미지가 이미지 내에 패치를 포함하는 피부 이미지 그룹의 이미지인 경우, 이미지 세그멘테이션을 통해 패치를 검출하고, 그 검출 결과값으로 폴리곤 좌표를 획득 한 후, 상기 진단용 피부 이미지 내의 상기 폴리곤 좌표만큼 잘라낸 후, 상기 진단용 피부 이미지를 부분을 이미지 패치로 만든 후, 전체 이미지가 아닌 부분적인 이미지로부터 전체 이미지를 생성하는 이미지 아웃페인팅(outpainting) 모델에 입력 값으로 넣고, 잘린 부분을 복원하는 과정을 수행하여 패치를 제거한 이미지를 생성하는 것을 특징으로 하는 피부의 의료 진단 방법.
  6. 제5항에 있어서,
    상기 (e) 단계에서,
    상기 진단용 피부 이미지가 이미지 내에 패치를 포함하는 피부 이미지 그룹의 이미지인 경우, GAN 적대적 생성 신경망을 활용한 인공지능 알고리즘을 이용하여 패치를 제거한 이미지를 생성하는 것을 특징으로 하는 피부의 의료 진단 방법.
  7. 제5항에 있어서,
    상기 (b) 단계에서,
    상기 비지도 학습은 SCAN 신경망 네트워크 모델을 이용한 비지도 학습인 것을 특징으로 하는 피부의 의료 진단 방법.
  8. 제1항에 있어서,
    (f) 전처리된 진단용 피부 이미지를 입력받고 학습된 인공 지능 알고리즘을 통해 상기 진단용 피부 이미지로부터 피부의 의료 진단을 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 피부의 의료 진단 방법.
  9. 인공지능을 통해 인체 피부의 의료 진단을 위한 시스템에 있어서,
    사람의 인체 피부를 촬영한 학습용 피부 이미지 및 진단용 피부 이미지를 획득하는 이미지 획득부; 및
    (i) 상기 학습용 피부 이미지를 획득하고, 학습용 피부 이미지로부터 하기 수학식에 따른 손실 함수를 이용하여 이미지 내의 특성들을 획득하고,
    Figure pat00044

    여기서
    Figure pat00045
    는
    Figure pat00046
    함수에서 나온 특성이며,
    Figure pat00047
    는 피부 이미지 X 의 증강(augmentation)을 통해 획득한 변형(variation) 이미지의 특성들을 나타내며,
    상기 획득한 특성들을 바탕으로 하기 수학식
    Figure pat00048

    을 통한 분류 모델을 이용하여 각 피부 이미지를 특성에 맞게 구별하여 상기 학습용 피부 이미지를 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하도록 학습하는 비지도 학습을 수행하는 프로세스, (ii) 사람의 인체 피부를 촬영한 진단용 피부 이미지를 획득하는 프로세스; (iii) 학습된 결과를 바탕으로 획득한 진단용 피부 이미지로부터 털을 포함하는 피부 이미지 그룹, 배경을 포함하는 피부 이미지 그룹, 패치를 포함하는 피부 이미지 그룹 포함하는 그룹으로 그룹화 하는 프로세스 ; 및 (iv) 상기 그룹화된 진단용 피부 이미지를 해당하는 그룹에 따라 이미지를 전처리하는 전처리 프로세스;를 수행하는 프로세서;
    를 포함하는 하는 것을 특징으로 하는 피부의 의료 진단 시스템.

KR1020210126730A 2021-09-24 2021-09-24 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템 KR20230044341A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210126730A KR20230044341A (ko) 2021-09-24 2021-09-24 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210126730A KR20230044341A (ko) 2021-09-24 2021-09-24 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230044341A true KR20230044341A (ko) 2023-04-04

Family

ID=85929086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210126730A KR20230044341A (ko) 2021-09-24 2021-09-24 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20230044341A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101540A (ko) 2019-02-01 2020-08-28 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
KR102265525B1 (ko) 2019-05-31 2021-06-16 재단법인 경북아이티융합 산업기술원 인공지능 기반의 피부 진단 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101540A (ko) 2019-02-01 2020-08-28 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
KR102265525B1 (ko) 2019-05-31 2021-06-16 재단법인 경북아이티융합 산업기술원 인공지능 기반의 피부 진단 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN110909780B (zh) 一种图像识别模型训练和图像识别方法、装置及系统
Laibacher et al. M2u-net: Effective and efficient retinal vessel segmentation for real-world applications
KR102311654B1 (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
CN110211087B (zh) 可分享的半自动糖尿病眼底病变标注方法
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
US20090279790A1 (en) Multispectral iris fusion for enhancement and interoperability
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
SG190730A1 (en) Method and an apparatus for determining vein patterns from a colour image
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练系统
CN111582278B (zh) 人像分割方法、装置及电子设备
CA3147017C (en) System and method for classifying dermatological images using machine learning
KR20230044341A (ko) 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템
US20220335252A1 (en) Method and system for anonymizing facial images
KR102282334B1 (ko) 시신경 유두 분류 방법
EP3839884A1 (en) Method, system and computer program product for image transformation
CN111640126A (zh) 基于医学影像的人工智能诊断辅助方法
CN116580446B (zh) 一种泛血管疾病虹膜特点识别方法及系统
Krishna et al. Diabetic Retinopathy Detection and Classification Using LBP and CNN
KR102634477B1 (ko) 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법
de Almeida Simões Image Quality Improvement of Medical Images using Deep Learning for Computer-aided Diagnosis
Peng et al. Residual Module and Multi-scale Feature Attention Module for Exudate Segmentation