KR20240033858A - 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 - Google Patents
사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 Download PDFInfo
- Publication number
- KR20240033858A KR20240033858A KR1020220112644A KR20220112644A KR20240033858A KR 20240033858 A KR20240033858 A KR 20240033858A KR 1020220112644 A KR1020220112644 A KR 1020220112644A KR 20220112644 A KR20220112644 A KR 20220112644A KR 20240033858 A KR20240033858 A KR 20240033858A
- Authority
- KR
- South Korea
- Prior art keywords
- warts
- corns
- model
- lesion
- prediction
- Prior art date
Links
- 208000000260 Warts Diseases 0.000 title claims abstract description 140
- 201000010153 skin papilloma Diseases 0.000 title claims abstract description 140
- 240000008042 Zea mays Species 0.000 title claims abstract description 138
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 138
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 138
- 235000005822 corn Nutrition 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003902 lesion Effects 0.000 claims abstract description 168
- 206010020649 Hyperkeratosis Diseases 0.000 claims abstract description 89
- 208000003643 Callosities Diseases 0.000 claims abstract description 88
- 238000013145 classification model Methods 0.000 claims abstract description 53
- 238000004891 communication Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- BWMISRWJRUSYEX-SZKNIZGXSA-N terbinafine hydrochloride Chemical compound Cl.C1=CC=C2C(CN(C\C=C\C#CC(C)(C)C)C)=CC=CC2=C1 BWMISRWJRUSYEX-SZKNIZGXSA-N 0.000 claims description 14
- 201000004647 tinea pedis Diseases 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 201000010099 disease Diseases 0.000 claims description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005722 itchiness Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000701806 Human papillomavirus Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003463 hyperproliferative effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000434 stratum corneum Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dermatology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 프로세서에 의해 구현되는 사마귀 또는 티눈 예측에 대한 정보 제공 방법으로서, 병변 이미지와 개체 데이터를 수신하는 단계; 병변 이미지와 개체 데이터를 입력으로 하여 사마귀 또는 티눈을 예측하도록 사전 학습된 다중 입력 분류 모델을 이용하여 상기 병변 이미지 입력으로 사마귀 또는 티눈을 예측하는 단계, 및 상기 예측 결과를 단말기기에 제공하는 단계를 포함하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 사마귀 또는 티눈 예측에 대한 정보 제공용 장치를 제공한다.
Description
본 발명은, 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치에 관한 것이다.
사마귀는 인간 유두종바이러스(Human Papilloma Virus)에 의한 피부 각질층의 과다증식 질환이다. 현재 사마귀 진단은 피부과 전문의에 의한 육안 및 피부확대경 (demoscopy) 진찰을 통한 표준 진단법에 의존하고 있으나, 피부과 전문의 진료 접근의 어려운 경우 티눈, 굳은살, 무좀과 같은 발에 호발하는 기타 질환들과의 예측이 늦어져 다발성 감염성 병변으로 진행하는 경우가 많다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
사마귀 구분에 필요한 전문지식이 결여된 환경에서도 사마귀의 조기 발견 및 관리를 할 수 있는 시스템이 요구될 수 있다.
전술한 한계를 극복하기 위한 방안으로, 사마귀 또는 티눈을 포함하는 다양한 피부 병변 이미지 데이터들을 기초로 한 인공지능으로 사마귀 또는 티눈을 예측하는 인공지능 분류 기술이 제안되었다.
그러나, 본 발명의 발명자들은 상기 제안된 기술이 병변 개수, 치료 여부 및 재발 여부 등을 포함하는 개체 데이터를 포함하고 있지 않음으로써 민감도 및 특이도가 낮아 실제 적용되기 어렵다는 한계가 있을 수 있음을 인지할 수 있었다.
한편, 본 발명의 발명자들은, 전술한 과제를 해결하기 위한 방안으로, 병변 이미지를 학습하는 합성곱 신경망 (Convolutional Neural Network) 분류 모델 기반의 제1 모델에 병변 개수, 치료 여부 및 재발 여부 등을 포함하는 개체 데이터를 학습하는 다층 퍼셉트론 신경망 모델 기반의 제2 모델을 병합하여 다중 입력 분류 모델을 수립함으로써, 사마귀 또는 티눈을 예측하는 시스템을 개발하고자 하였다.
나아가, 본 발명의 발명자들은 사마귀 또는 티눈을 예측하는 것에 더해 추가적으로 무좀을 예측할 수 있는 모델을 개발하고자 하였다.
더 나아가, 본 발명의 발명자들은 병변 결과에 대한 예측 정확도 및 대처 가이드라인 정보를 획득하고 이를 개체에게 제공하고자 하였다.
그 결과, 본 발명의 발명자들은 다중 입력 분류 모델 기반의 사마귀 또는 티눈 예측에 대한 정보 제공 시스템을 개발하기에 이르렀다.
한편, 본 발명의 발명자들은, 사마귀 또는 티눈 예측에 대한 정보 제공 시스템에 대하여 임상 및 웹에서 수집된 병변 이미지로 사전 학습된 합성곱 신경망 초기 모델의 병변 특징에 대한 가중치를 다중 입력 분류 모델에 전이 학습 시킴으로써 분류 모델의 성능을 높일 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 딥러닝 알고리즘에 기초한 복수의 분류 모델을 이용하여 병변 여부 결정 및 병변을 분류하고, 병변 이미지 제공한 개체의 단말기기 또는 의료진 및 개체 보호자의 단말기기에 병변 예측 결과를 제공하는 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법이 제공된다. 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법은, 프로세서에 의해 구현되며 병변 이미지와 개체 데이터를 수신하는 단계, 병변 이미지와 개체 데이터를 입력으로 하여 사마귀 또는 티눈을 예측하도록 사전 학습된 다중 입력 분류 모델을 이용하여 상기 병변 이미지 입력으로 사마귀 또는 티눈을 예측하는 단계, 및 상기 예측 결과를 단말기기에 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 다중 입력 분류 모델은, 제1 모델과 제2 모델을 포함하고, 상기 제1 모델은 병변 이미지를 입력으로 하며 제1 크기를 갖는 제1 피쳐를 출력으로 하고, 상기 제2 모델은 개체 데이터를 입력으로 하며 상기 제1 크기와 동일한 크기의 제2 피쳐를 출력으로 하고, 상기 제1 피쳐와 상기 제2 피쳐는 합쳐져 하나의 신경망 레이어로 입력되고, 사마귀 또는 티눈일 가능성을 출력할 수 있다,
본 발명의 다른 특징에 따르면, 제2 모델은, 개체 연령, 성별, 병변 개수, 병변 특징, 치료 여부, 재발 여부 및 기저 질환 여부 중 적어도 하나를 개체 데이터로 입력할 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은, 임상 및 웹에서 수집된 사마귀/티눈 병변 확대 이미지로 사전 학습된 합성곱 신경망 초기 모델에서 병변 이미지를 추출하는 단계, 추출된 병변 이미지를 제1 모델에 적용하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은, 병변 이미지를 사마귀 또는 티눈 또는 무좀으로 예측하는 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 결과를 단말기기에 제공하는 단계는, 상기 예측 결과에 대한 예측 정확도를 더 제공할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 결과를 단말기기에 제공하는 단계는, 상기 예측 결과에 대한 대처 가이드라인을 더 제공할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 또 다른 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치가 제공된다. 상기 정보 제공용 장치는 개체의 병변을 포함하는 병변 이미지 및 개체 데이터를 수신하도록 구성된 통신부; 및 상기 통신부와 통신하도록 연결된 프로세서를 포함하고, 상기 프로세서는 상기 병변 이미지 및 개체 데이터를 다중 입력 분류 모델에 입력하여, 상기 병변 이미지를 사마귀 또는 티눈으로 예측하고, 예측 결과를 상기 통신부를 통해 단말기기로 제공하도록 구성된다.
본 발명의 특징에 따르면, 다중 입력 분류 모델은, 제1 모델과 제2 모델을 포함하고, 상기 제1 모델은 상기 병변 이미지를 입력으로 하며 제1 크기를 갖는 제1 피쳐를 출력으로 하고, 상기 제2 모델은 상기 개체 데이터를 입력으로 하며 상기 제1 크기와 동일한 크기의 제2 피쳐를 출력으로 하고, 상기 제1 모델과 상기 제2 모델은 합쳐져 하나의 신경망 레이어로 입력되고, 사마귀 또는 티눈일 가능성을 출력하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 제2 모델은, 개체 연령, 성별, 병변 개수, 병변 특징, 치료 여부, 재발 여부 및 기저 질환 여부 중 적어도 하나를 개체 데이터로 입력하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은, 임상 및 웹에서 수집된 사마귀/티눈 병변 확대 이미지로 사전 학습된 합성곱 신경망 초기 모델에서 병변 이미지를 추출하고, 추출된 병변 이미지를 상기 제1 모델에 적용하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은, 병변 이미지를 사마귀 또는 티눈 또는 무좀으로 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 예측 결과에 대한 예측 정확도를 통신부를 통해 단말기기로 제공하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 인공 신경망 알고리즘을 포함하는 다중 입력 분류 모델에 기초하여 사마귀, 티눈 또는/및 무좀으로 추정되는 병변 이미지에 대하여 사마귀 또는 티눈의 임상적 특징을 평가하도록 구성된, 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템을 제공할 수 있다.
또한, 본 발명은, 병변 이미지를 학습하는 합성곱 신경망 (Convolutional Neural Network) 기반의 제1 모델에 병변 개수, 치료 여부 및 재발 여부 등을 포함하는 개체 데이터를 학습하는 다층 퍼셉트론 신경망 기반의 제2 모델을 병합함으로써, 병변 이미지만을 입력값으로 하는 하는 기존의 인공지능 예측 기술과 비교하여 보다 높은 정확도를 가지는 사마귀 또는 티눈 예측 정보 제공용 장치를 제공할 수 있다.
이를 통해, 의료진의 진단 전에 병변에 대한 예측 정확도 및 병변 결과에 대한 가이드라인 정보를 제공함으로써 보다 빠른 병변 처치 유도 및 자가 관리의 용이성을 제공할 수 있다.
또한, 병변 결과를 개체의 보호자 또는 의료진에게 제공함으로써 소아 또는 모바일 기기의 사용이 용이치 않은 사용자에게 의료진의 접근성을 높일 수 있다.
더욱이, 본 발명은, 의료진으로 하여금 오진율을 줄여 보다 적절한 치료를 받을 수 있는 환경을 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보를 제공 또는 수신하는 개체의 단말기기의 구성을 예시적으로 도시한 것이다.
도 2은 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델 구조를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델의 상세 구조를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 결과에 대한 대처 가이드라인 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지 및 개체 데이터를 입력 및 송신하고, 병변 예측 결과를 수신하는 개체의 단말기기 인터페이스를 예시적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지로만 학습한 초기 모델의 평가 결과를 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 이용되는 다중 입력 분류 모델의 평가 결과를 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보를 제공 또는 수신하는 개체의 단말기기의 구성을 예시적으로 도시한 것이다.
도 2은 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델 구조를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델의 상세 구조를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 결과에 대한 대처 가이드라인 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지 및 개체 데이터를 입력 및 송신하고, 병변 예측 결과를 수신하는 개체의 단말기기 인터페이스를 예시적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지로만 학습한 초기 모델의 평가 결과를 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 이용되는 다중 입력 분류 모델의 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 개체의 기기와 제2 개체의 기기는, 순서 또는 중요도와 무관하게, 서로 다른 개체의 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "병변"은 사마귀, 티눈 또는/및 무좀이 진행된 환부를 의미할 수 있다.
본 명세서에서 사용되는 용어, "개체"는 병변을 모니터링 하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 사마귀, 티눈 또는/및 무좀이 진행된 개체일 수 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, “개체 데이터”는, 사마귀, 티눈 또는/및 무좀으로 추정되는 병변의 개수, 해당 병변의 치료 여부 및 재발 여부일 수 있다. 나아가, 병변을 가지고 있는 개체의 연령, 성별, 병변의 특징 및 개체가 가지고 있는 기저 질환 여부일 수 있다. 병변의 특징은 병변을 눌렀을 때 통증의 정도나 가려움 여부 등을 포함할 수 있다.
본 명세서에서 사용되는 용어, "병변 이미지"는, 임상에서 수집된 병변 이미지 및 개체가 단말기기를 통해 업로드한 병변 이미지, 즉 병변에 대한 디지털 영상을 의미한다. 바람직하게는 병변 이미지는 JPG 또는 PNG 또는 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다.
나아가, 병변 이미지는 복수의 프레임으로 이루어진 동영상일 수도 있다. 예를 들어, 복수의 프레임으로 구성된 병변 이미지는 본 발명의 일 실시예에 따른 사마귀 또는 티눈에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 사마귀 또는 티눈의 특성 예측이 가능할 수 있다. 즉, 카메라로부터 병변 이미지의 수신과 동시에 병변에 대한 실시간 평가가 가능할 수 있다. 또한, 2차원 내지 3차원 영상 이미지일 수 있다.
본 발명에서 사용되는 용어, “다중 입력 분류 모델”은 병변 이미지와 개체 데이터를 입력으로 하여, 사마귀 또는 티눈을 예측 결과를 출력하도록 구성된 모델일 수 있으며, 나아가 사마귀 또는 티눈 또는 무좀으로 예측하는 모델일 수도 있다. 사마귀 또는 티눈을 예측 결과로 출력하도록 구성된 모델은 시그모이드 함수를 포함한 바이너리 함수 기반의 모델일 수 있으며, 사마귀 또는 티눈 또는 무좀을 예측 결과로 출력하도록 구성된 모델은 소프트맥스 함수를 포함한 다차원 벡터 함수 기반의 모델일 수 있다.
본 명세서에서 사용되어 용어, “제1 모델”은 바람직하게는 합성곱 신경망 일 수 있으며, 그 외 이미지를 학습하는 다른 인공지능 신경망 모델일 수 있다.
본 명세서에서 사용되어 용어, “제2 모델”은 바람직하게는 다층 퍼셉트론 신경망 (Multi-layer Perceptron Neural Network) 일 수 있으며, 그 외 다양한 인공지능 신경망 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은 제1 모델과 제2 모델을 포함하고, 제1 모델은 병변 이미지를 입력으로 할 수 있고, 제2 모델은 개체 데이터를 입력으로 할 수 있다.
나아가, 상기 제1 모델과 제2 모델은 각각 제1 피쳐와 제2 피쳐를 출력으로 하되, 하나의 신경망으로 합쳐질 수 있도록 제1 피쳐와 제2 피쳐는 동일한 크기로 출력될 수 있다.
한편, 다중 입력 분류 모델에 포함되는 인공 신경망 모델의 개수는 2개 이상일 수 있다.
본 발명의 또 다른 특징에 따르면, 다중 입력 분류 모델은, 임상 및 웹에서 수집된 사마귀/티눈 병변 확대 이미지로 사전 학습된 합성곱 신경망 초기 모델에서 추출된 파라미터를 제1 모델에 적용시킬 수 있다. 이러한 전이 학습을 통해 본 발명의 다중 입력 분류 모델은 병변 예측 정확도를 향상시킬 수 있다.
본 명세서에서 사용되는 용어, “예측 결과에 대한 예측 정확도”는 개체가 단말기기를 통해 전달한 병변 이미지에 대하여 사마귀 또는 티눈 예측에 대한 정보 제공용 장치가 본원의 인공 신경망 모델을 통해 예측한 사마귀 또는 티눈에 대한 예측 정확도를 의미할 수 있다. 한편, 예측 정확도는 퍼센트로 표기될 수 있으며, 정확도를 나타낼 수 있는 막대 그래프 또는 다이어그램 등을 포함하는 다양한 이미지로도 표현될 수 있다.
본 명세서에서 사용되는 용어, “예측 결과에 대한 대처 가이드라인”은 예측 결과에 대하여 본 발명의 사마귀 또는 티눈 예측에 대한 정보 제공용 장치가 개체에게 추천하는 병변에 대한 대처 방법, 주의사항 및 의료기관 내원 추천 여부 등을 의미할 수 있다. 이는 언어 또는 다양한 이미지 형태로 제공될 수 있으며, 의료기관 내원 추천에 대하여 개체의 거주지 근처의 관련 의료기관이 추천될 수 있다.
본 명세서에서 사용되는 용어, “인터페이스”는 개체의 인지 활동을 지원하기 위한 스마트폰, 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등의 단말기기 화면으로서, 병변 이미지와 개체 데이터를 입력하는 인터페이스, 입력된 병변 이미지 및 개체 데이터를 사마귀 또는 티눈 예측에 대한 정보 제공용 장치에 전송하는 인터페이스 및 사마귀 또는 티눈 예측에 대한 정보 제공용 장치에서 보내준 예측 결과를 단말기기에 도시하는 인터페이스 화면을 포함할 수 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치에 대한 정보 제공 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보를 제공 또는 수신하는 개체의 단말기기의 구성을 예시적으로 도시한 것이다.
도 1a을 참조하면, 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템 (1000) 은, 단말기기 (200) 와 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 로 구성될 수 있다. 단말기기 (200) 와 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 는 유무선 네트워크로 연결될 수 있다. 단말기기 (200) 는 사마귀 또는 티눈으로 예측되는 병변 이미지와 개체 데이터를 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 에 제공하도록 구성될 수 있다. 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 는 단말기기 (200) 에 개체가 전달한 병변 이미지와 개체 데이터를 기초로 병변 이미지에 대한 사마귀 또는 티눈에 대한 예측 결과를 예측 정확도 및 예측 결과에 대한 대처 가이드라인의 형태로 단말기기 (200) 에 제공하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 는, 단말기기 (200) 로부터 전달된 병변 이미지와 개체 데이터를 기초로 병변 예측 결과를 제시하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있으며, 바람직하게는 엣지 컴퓨팅 서버일 수 있다.
본 발명의 또 다른 특징에 따르면, 단말기기 (200) 는, 개체의 사마귀 또는 티눈으로 예측되는 병변 이미지 및 개체 데이터를 입력하고, 병변 예측 결과를 나타내기 위한 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
도 1a를 참조하면, 단말기기 (200) 는, 개체의 단말기기로서 네트워크 연결이 가능한 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함하는 전자 디바이스로서, 개체의 사마귀 또는 티눈으로 예측되는 병변 이미지 및 개체 데이터를 입력하고, 병변 예측 결과를 나타내기 위한 전자 디바이스이다.
본 발명의 또 다른 특징에 따르면, 단말기기 (200) 에는 병변 이미지 및 개체 데이터를 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 에 제공할 수 있는 어플리케이션, 웹 페이지 또는 프로그램이 설치될 수 있으며, 바람직하게는 어플리케이션이 설치될 수 있다.
한편 단말기기 (200) 는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 로부터 획득된 사마귀 또는 티눈 예측에 대한 정보를 기반으로 개체 별로 개체 관리 데이터를 생성하도록 구성될 수 있다. 개체는 개체 관리 데이터의 과거 기록을 바탕으로 관리 수행 상황을 자가 점검할 수 있으며, 병변의 변화 과정을 추적하여 개체 관리 데이터를 생성할 수 있다. 개체 관리 데이터는 개체의 의사에 따라 다른 개체에게 공유될 수 있으며, 개체는 향후 의료기관 방문 시 의료진으로부터 병변 관리 현황에 대한 피드백을 받을 수 있다.
한편, 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템 (1000) 은, 사마귀 또는 티눈에 대한 예측 결과를 예측 정확도 및 예측 결과에 대한 대처 가이드라인을 전달받을 수 있는 제2 개체의 단말기기를 포함할 수 있으며, 제2 개체는 개체의 보호자 또는 의료인일 수 있다.
한편, 사마귀 또는 티눈 예측에 대한 정보 제공용 시스템 (1000) 은, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100)와 네트워크로 연결된 외부 서버를 포함할 수 있다. 예를 들어, 외부 서버는 호스트 서버로서 웹 서버와 다중 입력 분류 모델을 연결하는 백앤드 API 서버가 별도로 마련되어 데이터의 식별화와 전처리를 수행할 수 있다. 더욱이 외부 서버는 개체 맞춤형 조치를 위한 가이드 라인을 선정할 수 있으며, 요청 (request) 및 응답 (response) 을 처리할 수 있다. 개체가 웹/어플리케이션을 사용하는지 여부, 또는 각 서버의 상황에 따라 다양한 구조로 존재할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 가 병변 이미지를 단말기기 (200) 로부터 수신하여 동작들을 수행하는 것으로 설명되나, 단말기기 (200) 자체가 모든 동작을 수행할 수도 있다.
다음으로, 도 1b를 참조하여, 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체 병변 이미지 및 개체 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는, 후술할 통신부 (120) 를 통해 수신된 병변 이미지 및 개체 데이터, 나아가 다중 입력 분류 모델의 예측 과정에서의 다양한 산물들을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 가 단말기기 (200) 또는 제2 개체의 단말기기 또는 외부 서버와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 단말기기 (200) 또는 제2 개체의 단말기기 또는 외부 서버와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 단말기기 (200) 로부터 병변 이미지 또는 개체 데이터를 수신할 수 있다. 예를 들어, 통신부 (120) 는 개체 (200) 로부터, 병변에 대한 이미지 영상 또는 개체 데이터를 수신할 수 있다. 나아가, 통신부 (120) 는 단말기기 (200) 로 예측 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 병변 이미지 및 개체 데이터를 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 병변 이미지 및 개체 데이터를 기초로 상기 수신된 병변 이미지를 사마귀 또는 티눈으로 예측하고, 예측 결과에 대한 예측 정확도를 결정하도록 구성될 수 있다. 나아가 예측 결과에 대한 대체 가이드라인을 구성할 수 있다.
이때, 프로세서 (130) 는 병변 이미지 및 개체 데이터를 입력으로 하고, 수신된 병변 이미지를 사마귀 또는 티눈으로 질환 예측 결과를 출력으로 하는 다중 입력 분류 모델에 기초할 수 있다.
보다 더 구체적으로, 프로세서는 수신된 병변 이미지를 300 x 300 픽셀(해상도)의 이미지로 변환할 수 있다.
도 1c를 참조하면, 단말기기 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 단말기기 (200) 가 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 와 통신이 가능하도록 구성될 수 있다. 나아가 제2 개체의 단말기기와 통신 가능하도록 구성될 수 있다. 통신부 (210) 는 유/무선 네트워크를 이용하여 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 와 연결되어 병변 이미지 및 개체 데이터와 연관된 다양한 데이터를 송신할 수 있다. 또한, 통신부 (210) 는 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 로부터, 다중 입력 분류 모델들에 의해 예측된 병변의 예측 결과를 수신할 수 있다. 나아가 예측 결과에 대한 예측 정확도 또는 대처 가이드라인을 수신할 수 있다.
표시부 (220) 는 개체의 병변 예측 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. 나아가, 표시부 (220) 는 병변에 대한 이상 감지 시, 알림을 출력하도록 더욱 구성될 수 있다.
예를 들어, 표시부 (220) 는 병변 예측 결과에 대한 예측 정확도, 병변의 특성, 나아가 병변에 대한 정보 및 대처 가이드라인을 시각적으로 출력할 수도 있고, 특정 상황에서 알람음을 출력할 수도 있다. 이에, 병변에 대하여 개체의 신속한 처치가 가능할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 개체의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 단말기기의 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
이하에서는, 도 2, 3a, 3b 및 4를 참조하여, 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
이때, 설명의 편의를 위해 도 1a 내지 1c에서 전술한 도면 부호가 사용된다.
먼저, 도 2을 참조하면, 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법의 절차는 다음과 같다. 먼저, 병변 이미지 및 개체 데이터를 수신한다 (S310). 그 다음, 사전 학습된 다중 입력 분류 모델을 이용하여 병변 이미지를 사마귀 또는 티눈으로 예측하고 (S320), 예측 결과를 단말기기에 제공한다 (S330). 사전 학습된 다중 입력 분류 모델을 이용하여 병변 이미지를 사마귀 또는 티눈으로 예측하는 단계 (S320) 에 대해서는 도 3a와 3b를 참조하여 후술한다. 예측 결과를 단말기기에 제공하는 단계 (S330)에 대해서는 도 4 및 5를 참조하여 후술한다. 선택적으로, 다중 입력 분류 모델은 병변 이미지를 사마귀 또는 티눈 또는 무좀으로 예측하는 모델일 수 있다.
이때, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (200) 가 병변 이미지 및 개체 데이터를 개체 단말기기로부터 수신하기에 앞서, 개체가 단말기기 (200) 를 통해 병변 이미지 및 개체 데이터를 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (200) 에 제공하는 단계가 선행된다. 또한, 개체의 단말기기에는 유/무선 네트워크를 통해 병변 이미지 및 개체 데이터를 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100) 에 제공할 수 있는 어플리케이션이 더 앞서 설치된다. 개체는 단말기기에 설치된 상기 어플리케이션을 통해 병변을 포함하는 신체 부위를 즉시 촬영 또는 저장된 이미지와 개체 데이터를 입력한다. 개체 데이터로서 병변 개수(Number of lesions), 치료 여부(Previous treatment), 재발 여부(Onset), 연령, 성별, 병변 특징, 증상, 기저 질환 여부 등이 추가될 수 있다. 병변 특징에는 병변 부위에 일정 압력을 가했을 때 상대적으로 큰 고통이 있는지 여부를 포함할 수 있다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델 구조 및 이의 상세 구조를 예시적으로 도시한 것이다.
도 3a를 참조하면, 사전에 학습된 다중 입력 분류 모델은 임상 및 구글에서 수집된 병변 확대 이미지를 학습하는 초기 모델에서 병변 이미지를 추출하고, 병변 특징에 대한 가중치를 다중 입력 분류 모델에 전이 학습시킴으로써 다중 입력 모델의 성능을 높일 수 있다.
본 발명의 실시예에 따르면, 초기 모델은 총 3,144개의 병변 확대 이미지와 합성곱 신경망 모델 중 VGG16, ResNet50, DenseNet121, EfficientNetB3를 사용하여 수립될 수 있다.
본 발명의 다양한 실시예에 따르면, 초기 모델 중 평가 결과 가장 뛰어난 ResNet50 모델에서 추출된 병변 이미지가 다중 입력 분류 모델의 합성곱 신경망에 적용될 수 있다.
본 발명의 실시예에 따르면, 초기 모델 학습 epoch는 100회, 다중 입력 모델 학습 epoch는 300회이다. 또한 모든 모델 학습의 batch size는 32이고, 손실 함수는 BinaryCrossentropy 이며, Optimizer는 Adam 이고, 학습률 (Learning rate)은 0.0001 이며, Drop out 비율은 0.3이다.
본 발명의 실시예에 따르면, 다중 입력 분류 모델은 임상에서 수집된 총 104명의 환자 개체의 병변 이미지 및 개체 데이터를 학습할 수 있다. 상기 환자 개체의 병변 이미지는 합성곱 신경망 모델에 입력되고, 개체 데이터는 다층 퍼셉트론 신경망에 입력되어 학습되었다. 다중 입력 분류 모델에서 합성곱 신경망은 병변 크기, 모양, 색상, 구조 등의 특징을 학습할 수 있으며, 다층 퍼셉트론 신경망을 통해 병변 개수, 재발 여부 등의 환자 임상 정보가 병변 예측에 미치는 가중치 등을 학습할 수 있다. 이렇게 사전 학습된 본 발명의 다중 입력 분류 모델에 대상자의 병변 이미지와 개체 데이터를 입력하여 사마귀 또는 티눈 예측을 할 수 있다.
도 3b는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서 사용되는 인공지능 모델의 상세 구조를 예시적으로 도시한 것이다.
도 3b를 참조하면, 도면의 좌측 편에 위치한 흐름도는 사마귀 또는 티눈 병변 이미지를 입력으로 하는 합성곱 신경망 모델을 나타내며, 도면의 우측 편의 흐름도는 개체 데이터를 입력으로 하는 다층 퍼셉트론 신경망 모델을 나타낸다. 상기 합성곱 신경망 모델과 다층 퍼셉트론 신경망 모델은 동일한 (?, 16) 차원을 출력 레이어 (dense_17, batch_normalization_15) 로 하며, 두 출력 레이어의 출력이 병합되고, 병합된 출력은 concatenate_3 레이어로 입력된다. 최종 출력 레이어는 사마귀 또는 티눈인지에 대한 확률값을 출력한다.
도 3b를 참조하면, 다중 입력 분류 모델에 입력된 병변 이미지는 computer vision 라이브러리인 openCV를 사용하는 전처리 모듈을 통해 다중 입력 분류 모델에 적합한 300 x 300 mm 픽셀(해상도)로 입력될 수 있다.
나아가, 도 3b를 참조하면, 병변 이미지는 해상도 300 x 300 픽셀에 RGB 이미지를 사용하므로 전이학습된 ResNet50의 입력 레이어 (Input Layer) 차원은 (None, 300, 300, 3)이며, 개체 데이터로는 병변 개수(Number of lesions), 치료 여부(Previous treatment), 최초 발생 여부(Onset) 3개를 사용했기 때문에 다층 퍼셉트론 신경망 모델의 입력 레이어 차원은 (None, 3)이다.
도 4는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 결과에 대한 대처 가이드라인 절차를 예시적으로 도시한 것이다.
도 4를 참조하면, 사마귀 또는 티눈으로 예측된 질환명과 그 예측의 정확도에 따라, 사마귀 또는 티눈에 대한 대처 가이드라인 데이터가 제공될 수 있으며, 정확도가 90% 이하일 경우에는 별도의 대처 가이드라인이 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지 및 개체 데이터를 입력 및 송신하고, 병변 예측 결과를 수신하는 개체의 단말기기 인터페이스를 예시적으로 도시한 것이다.
도 5의 (a)를 참조하면, 단말기기 인터페이스 화면 상의 사진 업로드 버튼을 누르면 개체가 원하는 병변 부위를 즉시 촬영할 수 있으며, 미리 촬영하여 저장된 병변 이미지가 업로드 될 수 있다. 나아가, 단일 선택 가능한 라디오 버튼이 클릭되면 개체 데이터가 입력될 수 있다.
본 발명의 실시예에 따르면, 개체 데이터는 사마귀, 티눈 또는/및 무좀으로 추정되는 개체의 성별, 재발 여부, 병변의 개수, 해당 병변의 치료 여부, 병변의 특징 및 개체가 가지고 있는 기저 질환 여부일 수 있다. 병변의 특징은 병변을 눌렀을 때 통증의 정도나 가려움 여부 등을 포함할 수 있다.
나아가, 도 5의 (b) 내지 (c)를 참조하면, 병변 이미지와 개체 데이터가 입력된 후, 인터페이스 화면 상의 결과 보기 버튼이 클릭되면, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치 (100)가 송신한 병변의 예측 결과, 예측 정확도 및 대처 가이드라인이 단말기기 인터페이스 화면에 도시된다.
평가: 본 발명의 다양한 실시예에 이용되는 다중 입력 분류 모델의 평가
이하에서는, 도 6 내지 7을 참조하여, 본 발명의 다양한 실시예에 따른 초기 모델 및 다중 입력 분류 모델의 평가 결과를 설명한다. 도 6은 본 발명의 일 실시예에 따른 사마귀 또는 티눈 예측에 대한 정보 제공 방법에서, 병변 이미지로만 학습한 초기 모델의 평가 결과를 도시한 것이다. 도 7은 본 발명의 다양한 실시예에 이용되는 다중 입력 분류 모델의 평가 결과를 도시한 것이다.
도 6을 참조하면, 초기 모델은 총 3,144개의 병변 확대 이미지를 합성곱 신경망 모델 중 VGG16, ResNet50, DenseNet121, EfficientNetB3 등 4개의 모델에 입력하여 사마귀 또는 티눈을 예측하도록 학습되었으며, ResNet50 모델의 평가 결과가 Accuracy 88.93%, AUC 90.53%, Loss 0.5144로 가장 뛰어난 것으로 나타난다. 이어서, ResNet50 기반의 초기 모델에서 추출된 병변 이미지의 병변 특징에 대한 가중치를 다중 입력 분류 모델에 전이 학습시킴으로써 다중 입력 분류 모델의 성능을 높일 수 있다.
한편, 초기 모델의 합성곱 신경망 모델에서는 상기 VGG16, ResNet50, DenseNet121, EfficientNetB3 등 4개의 모델 외에 다양한 합성곱 신경망 모델이 사용될 수 있다.
도 7은 본 발명의 다양한 실시예에 이용되는 다중 입력 분류 모델의 평가 결과를 도시한 것이다.
도 7을 참조하면, 병변 이미지와 개체 데이터로 학습된 다중 입력 분류 모델의 정확도는 정확도는 94.06%, AUC는 96.17%, 손실 함수 값은 0.2531인 것으로 나타난다. 평가 데이터셋 중, 15번 환자 데이터의 평가 결과를 보면 95.74%의 확률로 실제 티눈을 티눈이라고 예측함을 나타낸다.
즉, 본 발명의 사마귀 또는 티눈 예측 다중 입력 분류 모델은 사마귀 또는 티눈을 높은 정확도로 예측할 수 있으며, 개체로부터 입력되는 개체 데이터는 사마귀 또는 티눈 예측에 대한 예측 정확도 또는 대처 가이드라인 제공에 이용될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 사마귀 또는 티눈 예측에 대한 정보 제공 시스템
100: 사마귀 또는 티눈 예측에 대한 정보 제공용 장치
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 단말기기
220: 표시부
100: 사마귀 또는 티눈 예측에 대한 정보 제공용 장치
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 단말기기
220: 표시부
Claims (14)
- 프로세서에 의해 구현되는 사마귀 또는 티눈 예측에 대한 정보 제공 방법으로서,
병변 이미지와 개체 데이터를 수신하는 단계;
병변 이미지와 개체 데이터를 입력으로 하여 사마귀 또는 티눈을 예측하도록 사전 학습된 다중 입력 분류 모델을 이용하여 상기 병변 이미지 입력으로 사마귀 또는 티눈을 예측하는 단계, 및
상기 예측 결과를 단말기기에 제공하는 단계를 포함하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제1 항에 있어서,
상기 다중 입력 분류 모델은,
제1 모델과 제2 모델을 포함하고,
상기 제1 모델은 상기 병변 이미지를 입력으로 하며 제1 크기를 갖는 제1 피쳐를 출력으로 하고,
상기 제2 모델은 상기 개체 데이터를 입력으로 하며 상기 제1 크기와 동일한 크기의 제2 피쳐를 출력으로 하고,
상기 제1 피쳐와 상기 제2 피쳐는 합쳐져 하나의 신경망 레이어로 입력되고,
사마귀 또는 티눈일 가능성이 출력되는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제2 항에 있어서,
상기 제2 모델은,
개체 연령, 성별, 병변 개수, 병변 특징, 치료 여부, 재발 여부 및 기저 질환 여부 중 적어도 하나를 개체 데이터로 입력하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제1 항에 있어서,
상기 다중 입력 분류 모델은,
임상 및 웹에서 수집된 사마귀/티눈 병변 확대 이미지로 사전 학습된 합성곱 신경망 초기 모델에서 병변 이미지를 추출하는 단계,
추출된 병변 이미지를 상기 제1 모델에 적용하는 단계를 더 포함하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제 1항에 있어서,
상기 다중 입력 분류 모델은,
상기 병변 이미지를 사마귀 또는 티눈 또는 무좀으로 예측하는 모델인, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제1 항에 있어서,
상기 예측 결과를 상기 단말기기에 제공하는 단계는,
상기 예측 결과에 대한 예측 정확도를 더 제공하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 제1 항에 있어서,
상기 예측 결과를 상기 단말기기에 제공하는 단계는,
상기 예측 결과에 대한 대처 가이드라인을 더 제공하는, 사마귀 또는 티눈 예측에 대한 정보 제공 방법. - 개체의 병변을 포함하는 병변 이미지 및 개체 데이터를 수신하도록 구성된 통신부; 및
상기 통신부와 통신하도록 연결된 프로세서를 포함하고,
상기 프로세서는 상기 병변 이미지 및 개체 데이터를 다중 입력 분류 모델에 입력하여,
상기 병변 이미지를 사마귀 또는 티눈으로 예측하고,
예측 결과를 상기 통신부를 통해 단말기기로 제공하도록 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 다중 입력 분류 모델은,
제1 모델과 제2 모델을 포함하고,
상기 제1 모델은 상기 병변 이미지를 입력으로 하며 제1 크기를 갖는 제1 피쳐를 출력으로 하고,
상기 제2 모델은 상기 개체 데이터를 입력으로 하며 상기 제1 크기와 동일한 크기의 제2 피쳐를 출력으로 하고,
상기 제1 모델과 상기 제2 모델은 합쳐져 하나의 신경망 레이어로 입력되고,
사마귀 또는 티눈일 가능성을 출력하도록 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 제2 모델은,
개체 연령, 성별, 병변 개수, 병변 특징, 치료 여부, 재발 여부 및 기저 질환 여부 중 적어도 하나를 개체 데이터로 입력하도록 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 다중 입력 분류 모델은,
임상 및 웹에서 수집된 사마귀/티눈 병변 확대 이미지로 사전 학습된 합성곱 신경망 초기 모델에서 병변 이미지를 추출하고,
추출된 병변 이미지를 상기 제1 모델에 적용하도록 더 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 다중 입력 분류 모델은,
상기 병변 이미지를 사마귀 또는 티눈 또는 무좀으로 예측하도록 더 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 프로세서는,
상기 예측 결과에 대한 예측 정확도를 상기 통신부를 통해 상기 단말기기로 제공하도록 더 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치. - 제8 항에 있어서,
상기 프로세서는,
상기 예측 결과에 대한 대처 가이드라인을 상기 통신부를 통해 상기 단말기기로 제공하도록 더 구성되는, 사마귀 또는 티눈 예측에 대한 정보 제공용 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220112644A KR20240033858A (ko) | 2022-09-06 | 2022-09-06 | 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 |
| PCT/KR2023/013254 WO2024053996A1 (ko) | 2022-09-06 | 2023-09-05 | 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220112644A KR20240033858A (ko) | 2022-09-06 | 2022-09-06 | 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240033858A true KR20240033858A (ko) | 2024-03-13 |
Family
ID=90191490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220112644A KR20240033858A (ko) | 2022-09-06 | 2022-09-06 | 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240033858A (ko) |
| WO (1) | WO2024053996A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018146688A1 (en) * | 2017-02-11 | 2018-08-16 | Dermadetect Ltd. | A system and method of diagnosis skin and tissue lesions and abnormalities |
| KR20210122560A (ko) * | 2020-04-01 | 2021-10-12 | 주식회사 에이아이투유 | 피부 병변의 원인 분석 방법 및 장치 |
| KR102378212B1 (ko) * | 2020-08-07 | 2022-03-25 | 주식회사 에이아이포펫 | 휴대용 단말기를 이용한 피부질환 측정 시스템 및 피부질환 관리방법 |
| KR20220021974A (ko) * | 2020-08-14 | 2022-02-23 | 정새보미 | 비대면 피부질환 진단 서비스 제공 시스템 및 그 방법 |
| KR20220110403A (ko) * | 2021-01-29 | 2022-08-08 | (주)유니트리아 | Ai 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법 |
-
2022
- 2022-09-06 KR KR1020220112644A patent/KR20240033858A/ko unknown
-
2023
- 2023-09-05 WO PCT/KR2023/013254 patent/WO2024053996A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024053996A1 (ko) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11832958B2 (en) | Automatic image-based skin diagnostics using deep learning | |
| Faruqui et al. | LungNet: A hybrid deep-CNN model for lung cancer diagnosis using CT and wearable sensor-based medical IoT data | |
| US20220036135A1 (en) | Method and apparatus for determining image to be labeled and model training method and apparatus | |
| Codella et al. | Deep learning, sparse coding, and SVM for melanoma recognition in dermoscopy images | |
| JP7341310B2 (ja) | 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法 | |
| Lu et al. | Application of AI and IoT in clinical medicine: summary and challenges | |
| Shankar et al. | An IoT-cloud based intelligent computer-aided diagnosis of diabetic retinopathy stage classification using deep learning approach | |
| Sharifi et al. | Experimental and numerical diagnosis of fatigue foot using convolutional neural network | |
| Dai et al. | A deep inference learning framework for healthcare | |
| Zhang et al. | Opportunities and challenges: Classification of skin disease based on deep learning | |
| Malibari et al. | Optimal deep neural network-driven computer aided diagnosis model for skin cancer | |
| Gezimati et al. | Internet of things enabled framework for terahertz and infrared cancer imaging | |
| KR20210158682A (ko) | 병변 판독 결과 표시 방법 | |
| Shamrat et al. | Analysing most efficient deep learning model to detect COVID-19 from computer tomography images | |
| El-Bouzaidi et al. | Advances in artificial intelligence for accurate and timely diagnosis of COVID-19: A comprehensive review of medical imaging analysis | |
| Sampath et al. | Ensemble Nonlinear Machine Learning Model for Chronic Kidney Diseases Prediction | |
| KR20240033858A (ko) | 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치 | |
| Rani et al. | Skin disease diagnosis using vgg19 algorithm and treatment recommendation system | |
| Santos et al. | Automated Diagnosis of Skin Lesions | |
| Kazancigil | Big medical data, cloud computing, and artificial intelligence for improving diagnosis in healthcare | |
| Misbhauddin et al. | An Initial Framework for Mobile Healthcare Systems using Deep Neural Networks | |
| Veeraprakashkumar et al. | Survey on Various Iot Healthcare Monitoring and Prediction System Using Machine Learning Concepts | |
| KR20240059392A (ko) | 흉터 중증도 평가에 대한 정보 제공 방법 및 이를 이용한 장치 | |
| Selvakumar et al. | Efficient diabetic retinopathy diagnosis through U-Net–KNN integration in retinal fundus images | |
| KR102553060B1 (ko) | 인공지능 기반의 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램 |