WO2021153858A1 - Device for assisting identification by using atypical skin disease image data - Google Patents

Device for assisting identification by using atypical skin disease image data Download PDF

Info

Publication number
WO2021153858A1
WO2021153858A1 PCT/KR2020/008024 KR2020008024W WO2021153858A1 WO 2021153858 A1 WO2021153858 A1 WO 2021153858A1 KR 2020008024 W KR2020008024 W KR 2020008024W WO 2021153858 A1 WO2021153858 A1 WO 2021153858A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin disease
image
information
skin
learning
Prior art date
Application number
PCT/KR2020/008024
Other languages
French (fr)
Korean (ko)
Inventor
장현재
김석호
Original Assignee
주식회사 에프앤디파트너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프앤디파트너스 filed Critical 주식회사 에프앤디파트너스
Publication of WO2021153858A1 publication Critical patent/WO2021153858A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Definitions

  • the deep learning technique is a model of an artificial neural network that mimics the nervous system of an organism. If the existing artificial neural network model consists of a thin layer of neuron models, the deep learning technique builds a deep layer of neuron models. It is a technique to apply a model that increases the learning ability of a neural network by raising it.
  • the data-based artificial intelligence system generated by applying all the data used by doctors for diagnosis in the medical field that is, various clinical information other than medical images, has improved diagnostic performance compared to medical machine learning algorithms learned only from medical images. can be expected
  • a reading aid device using atypical skin disease image data according to the present invention
  • 1 is an exemplary view showing the shape of a general point and skin cancer.
  • FIG. 10 is an exemplary diagram of a convolution operation of a reading aid device using image data for atypical skin diseases according to an embodiment of the present invention.
  • Skin disease classified into the class by comparing the self-photographed skin disease image information or the skin disease image information transmitted by the smart device 2000 with the learning result information for class classification generated by the image-based skin disease learning unit 100 a skin disease learning apparatus 1000 configured to generate a diagnosis result and transmit the skin disease diagnosis result to the smart device 2000 of the user;
  • the image-based skin disease learning unit 100 As shown in Figure 5, the image-based skin disease learning unit 100,
  • a skin disease image conversion module 120 for converting the acquired skin disease image information according to the specifications of the CNN structure
  • skin disease image information to be learned A is malignant disease class numerical data 0.3, skin disease class numerical data 0.6, and normal skin class numerical data 0.1
  • the class is created as the learning result information of the skin disease image information A to be learned.
  • a photographed image output layer 2110 for outputting a skin image matched with the skin disease diagnosis result transmitted by the skin disease learning apparatus 1000;
  • an illumination wavelength band changing layer ( 2130);

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The present invention relates to a device for assisting identification by using atypical skin disease image data and, more specifically, to a device for assisting identification by using atypical skin disease image data, wherein skin disease image information is classified into preconfigured classes; same are learned, stored, and managed; a skin disease learning device or a smart device can be used to determine, among a malignant disease, a skin pigment disease, an infectious disease, and normal skin, which category a skin disease image acquired from a user who has undergone user authentication belongs to; and same is simultaneously provided to an image-based skin disease learning unit such that same can be relearned.

Description

비정형 피부질환 영상데이터를 활용한 판독보조장치Reading aid using image data for atypical skin diseases
본 발명은 비정형 피부질환 영상데이터를 활용한 판독보조장치에 관한 것으로서, 더욱 상세하게는 피부 질환 이미지 정보를 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 악성 질환, 피부 색소 질환 및 감염성 질환, 정상 피부 중 어디에 속하는 지를 피부질환학습장치 혹은 스마트기기를 통해 판단할 수 있도록 하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 하기 위한 비정형 피부질환 영상데이터를 활용한 판독보조장치에 관한 것이다.The present invention relates to a reading aid device using atypical skin disease image data, and more particularly, classifies skin disease image information into a preset class, learns it, stores and manages it, and obtains it from a user through user authentication To determine whether an image of a skin disease belongs to a malignant disease, a skin pigment disease, an infectious disease, or a normal skin through a skin disease learning device or a smart device, and at the same time provide it to the image-based skin disease learning unit for re-learning It relates to a reading aid device using atypical skin disease image data for
최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.Recently, a technology called machine learning or machine learning has been applied in various fields from software technology to finance and economy, and in particular, it is positioned as a core technology leading the rapid development of computer vision and image processing fields.
또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.In recent years, machine learning technology has been widely used in the field of medical diagnosis including medical image analysis and overall medical image analysis such as extraction and segmentation of organs or cancer sites from medical images, image registration, and image search.
이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.Such machine learning technology is a field of artificial intelligence (AI) and refers to algorithms and related fields that learn patterns or characteristics from given data to perform analysis on new data.
그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.In addition, as a machine learning technique called deep learning has emerged as a core technology in recent years, interest in related technologies and applications is increasing.
딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.The deep learning technique is a model of an artificial neural network that mimics the nervous system of an organism. If the existing artificial neural network model consists of a thin layer of neuron models, the deep learning technique builds a deep layer of neuron models. It is a technique to apply a model that increases the learning ability of a neural network by raising it.
여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.The concept of deep learning as a multi-layered artificial neural network was proposed in the 1970s, but it was stagnant due to the complexity of learning calculations. With outstanding results in the field, the demand for it is growing rapidly.
일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다. For example, in analyzing dozens of medical image slices per patient during an MRI scan, in order to increase the efficiency of image reading and improve the productivity of the diagnostic process, there is a need for a medical image diagnosis assistance system that can be utilized by machine learning based on actual data. .
또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.In addition, the data-based artificial intelligence system generated by applying all the data used by doctors for diagnosis in the medical field, that is, various clinical information other than medical images, has improved diagnostic performance compared to medical machine learning algorithms learned only from medical images. can be expected
이러한 요구에 따른 종래 기술 중 하나는 대한민국 등록특허공보 10-1623431호(20160523)에 기재된 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템이다. One of the prior art in response to such a request is a pathology diagnosis classification apparatus for medical images and a pathology diagnosis system using the same described in Korean Patent Registration No. 10-1623431 (20160523).
이 종래 기술은 세포염색의 현미경 사진 등을 입력으로 받아 병리 진단을 수행하는 것으로서, 의료영상을 입력으로 받아 특징 추출부에 의한 특징 데이터를 추출하고 특징 벡터 변환을 통한 병리 진단 분류 결과를 제공하고 있다. This prior art is to perform pathological diagnosis by receiving a micrograph of cell staining as an input, and by receiving a medical image as an input, extracting feature data by a feature extracting unit, and providing pathological diagnosis classification results through feature vector conversion. .
그러나, 종래 기술 대부분은 단순히 세포염색의 현미경 사진을 입력으로 받아 특징을 추출하여 병리 진단을 수행함에 있어서, 임상정보에서 추출한 특징 정보를 반영하지 않기 때문에 병변 진단 성능을 높이는데 한계가 있다.However, most of the prior art simply receives a micrograph of cell staining as an input and extracts features to perform pathological diagnosis, but since feature information extracted from clinical information is not reflected, there is a limitation in improving lesion diagnosis performance.
또 다른 종래 기술은 대한민국 공개특허공보 제10-2014-0018748(20140213)에 기재된 기술로서, 이 기술은 의료 영상에서 TAS(Threshold Adjacency Statistics) 특징점을 이용하여 병변의 형태학적 특징과 질감을 신속 정확하게 분석한다. Another prior art is a technique described in Korean Patent Application Laid-Open No. 10-2014-0018748 (20140213), which uses TAS (Threshold Adjacency Statistics) feature points in a medical image to quickly and accurately analyze the morphological features and texture of the lesion. do.
그러나, 종래 기술은 기계학습 알고리즘 중의 어느 하나를 통해 학습된 모듈에 적용하여 병변의 패턴을 분류하고 분석하는 것을 제공할 뿐, 딥러닝 기반 의료영상의 특징과 머신러닝 기반 임상정보의 특징을 모두 추출하여 학습시키는 기법을 적용하고 있지 않으므로 여전히 진단 성능을 높이는데 한계가 있다.However, the prior art only provides to classify and analyze the pattern of lesions by applying to a module learned through any one of the machine learning algorithms, and extracts both the features of deep learning-based medical images and machine learning-based clinical information. There is still a limit in improving the diagnostic performance because the technique for learning by doing so is not applied.
한편, 미국에서는 악성 질환 예를 들어, 피부암으로 인하여 매시간마다 1명꼴로 피부암으로 인하여 사망하고 있다.Meanwhile, in the United States, malignant disease, for example, skin cancer, causes one person every hour to die from skin cancer.
그리고, 매년 5명 중 1명이 피부암 진단을 받으며, 5백 만명이 피부암으로 인해 치료를 받고 있으므로 피부암은 매우 심각한 사회적 문제로 대두되고 있다.In addition, since 1 in 5 people are diagnosed with skin cancer every year, and 5 million people are receiving treatment for skin cancer, skin cancer is emerging as a very serious social problem.
이러한 피부암은 자각 증상이 없기 때문에 주기적으로 확인하는 것이 중요하다.Since these skin cancers do not have any subjective symptoms, it is important to check them regularly.
도 1에 도시한 바와 같이, 피부암은 주로 육안이나 현미경으로 주의깊게 살펴 보고, 피부암이 의심스러울 경우 조직검사를 하게 되는데, 특히 조직검사는 피부조직을 떼어내는 고통과 상처, 그리고 많은 비용과 시간이 필요하다.As shown in Fig. 1, skin cancer is mainly looked at carefully with the naked eye or a microscope, and when skin cancer is suspected, a biopsy is performed. need.
근래에는 레이저의 분광특성을 이용하여 피부암을 진단하는 기술도 개발되었지만, 이러한 방법들은 모두 병원을 방문해야 한다.Recently, a technique for diagnosing skin cancer using the spectral characteristics of laser has also been developed, but all of these methods require a visit to a hospital.
즉, 주기적으로 확인하기 위해서 매번 병원에 가는 것은 어려운 게 현실이다.In other words, it is difficult to go to the hospital every time to check periodically.
또한, 도 1에 도시한 바와 같이, 일반인들이 일반 점과 피부암이 그 형상과 크기가 비슷하므로 육안으로 판단한다는 것은 불가능하다.In addition, as shown in FIG. 1 , it is impossible for ordinary people to visually determine the shape and size of normal moles and skin cancers.
도 2의 경우에는 병원에 가도 주치의에 의해 핸디 타입 진단기로 눈으로 확인하여 피부암을 진단하게 되지만, 적중률은 90% 미만으로 좀 더 정확한 진단 기술이 필요한 실정이다.In the case of FIG. 2 , skin cancer is diagnosed by visually checking with a handy type diagnostic machine by the attending physician even when going to the hospital, but the accuracy rate is less than 90%, so more accurate diagnosis technology is required.
한편, 지속적으로 피부에 대한 이미지를 데이터베이스화하여 실시간으로 갱신하는 기술 개발이 필요한 실정이며, 이를 활용하여 판별을 요청하는 피부 이미지에 대한 판별 결과와 이미지를 재차 제공하여 재학습하여 피부 질환 판별 성능을 더욱 향상시킬 수 있는 기술이 필요하게 되었다.On the other hand, there is a need to develop a technology that continuously converts skin images into a database and updates them in real time. There is a need for technology that can be further improved.
<선행기술문헌><Prior art literature>
(특허문헌 1) 대한민국등록특허공보 제10-1623431호(2016.05.23)(Patent Document 1) Republic of Korea Patent Publication No. 10-1623431 (2016.05.23)
(특허문헌 2) 대한민국공개특허공보 제10-2014-0018748호(2014.02.13)(Patent Document 2) Republic of Korea Patent Publication No. 10-2014-0018748 (2014.02.13)
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 피부 질환 이미지 정보를 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 악성 질환, 피부 색소 질환 및 감염성 질환, 정상 피부 중 어디에 속하는 지를 피부질환학습장치 혹은 스마트기기를 통해 판단할 수 있도록 하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 하는데 있다.Therefore, the present invention has been proposed in view of the problems of the prior art as described above, and a first object of the present invention is to classify skin disease image information into a preset class, learn it, store and manage it, and perform user authentication. Whether the skin disease image acquired from the user belongs to a malignant disease, a skin pigment disease, an infectious disease, or normal skin can be judged through a skin disease learning device or a smart device, and at the same time, it is provided to the image-based skin disease learning unit for re-learning to make it possible
본 발명의 제2 목적은 적어도 2개 이상의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하거나, 가장 높은 수치 데이터를 갖는 클래스의 수치 데이터가 나머지 클래스의 수치 데이터의 합보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하는데 있다.A second object of the present invention is to generate a class having the highest numerical data among at least two or more class-specific numerical data as learning result information of skin disease image information, or the numerical data of the class having the highest numerical data is the rest. When it is greater than the sum of the numerical data of the class, the class having the highest numerical data is generated as the learning result information of the learned skin disease image information.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치는,In order to achieve the problem to be solved by the present invention, a reading aid device using atypical skin disease image data according to an embodiment of the present invention,
학습할 피부 질환 이미지 정보를 획득하고, 획득한 피부 질환 이미지 정보를 학습하여 클래스 분류를 위한 학습 결과 정보를 생성하여 저장 처리하는 이미지기반피부질환학습부(100),An image-based skin disease learning unit 100 that acquires skin disease image information to be learned, generates and stores learning result information for class classification by learning the acquired skin disease image information,
자체 촬영한 피부 질환 이미지 정보 또는 스마트기기(2000)가 전송한 피부 질환 이미지 정보를 이미지기반피부질환학습부(100)가 생성한 클래스 분류를 위한 학습 결과 정보와 비교하여 해당 클래스로 분류한 피부질환 진단결과를 생성하고, 피부질환 진단결과를 해당 사용자의 스마트기기(2000)로 전송하는 클래스판별부(200)를 포함하여 구성되는 피부질환학습장치(1000)와;Skin disease classified into the class by comparing the self-photographed skin disease image information or the skin disease image information transmitted by the smart device 2000 with the learning result information for class classification generated by the image-based skin disease learning unit 100 a skin disease learning apparatus 1000 configured to generate a diagnosis result and transmit the skin disease diagnosis result to the smart device 2000 of the user;
상기 피부질환학습장치(1000)로 진단을 의뢰할 피부 질환 이미지 정보를 전송하고, 피부질환학습장치(1000)에서 제공된 피부질환 진단결과와 해당 피부질환 이미지를 화면에 출력시키는 스마트기기(2000)를 포함하여 구성된다.A smart device 2000 that transmits skin disease image information to request a diagnosis to the skin disease learning apparatus 1000 and outputs the skin disease diagnosis result and the skin disease image provided from the skin disease learning apparatus 1000 on the screen consists of including
본 발명에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치는, A reading aid device using atypical skin disease image data according to the present invention,
피부 질환 이미지 정보를 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 악성 질환, 피부 색소 질환 및 감염성 질환, 정상 피부 중 어디에 속하는 지를 피부질환학습장치 혹은 스마트기기를 통해 판단할 수 있도록 하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 악성 질환(예를 들어, 피부암) 진단 확률을 높이는 효과를 발휘하게 된다.After classifying skin disease image information into a pre-set class, it learns, stores, and manages it, and determines whether the skin disease image acquired from the user who has been authenticated by the user belongs to malignant disease, skin pigment disease, infectious disease, or normal skin. By allowing judgment through the disease learning device or smart device, and at the same time providing the image-based skin disease learning unit for re-learning, the exact type of skin disease is identified, especially malignant disease (eg, skin cancer) It has the effect of increasing the probability of diagnosis.
즉, 사전에 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과와 정확한 피부 질환의 종류를 분류할 수 있는 효과를 발휘한다.That is, after learning through learning in advance, new images are continuously learned to continuously improve diagnosis accuracy and to accurately classify types of skin diseases.
또한, 적어도 2개 이상의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하거나, 가장 높은 수치 데이터를 갖는 클래스의 수치 데이터가 나머지 클래스의 수치 데이터의 합보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하도록 함으로써, 학습 변별력을 높이는 효과와 변별 속도를 높이는 효과를 발휘하게 된다.In addition, the class having the highest numerical data among the numerical data of at least two or more classes is generated as learning result information of skin disease image information, or the numerical data of the class having the highest numerical data is the numerical data of the remaining classes. When it is greater than the sum, the class having the highest numerical data is generated as the learning result information of the learned skin disease image information, thereby exhibiting the effect of increasing the learning discrimination power and the discrimination speed.
도 1은 일반 점과 피부암의 형상을 나타낸 예시도.1 is an exemplary view showing the shape of a general point and skin cancer.
도 2는 병원에서 핸디 피부암 진단장치로 피부암을 진단하는 예시도.2 is an exemplary diagram for diagnosing skin cancer with a handy skin cancer diagnosis device in a hospital.
도 3은 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 구성도.3 is a configuration diagram of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 데이터 이미지 예시도.4 is an exemplary data image of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 이미지기반피부질환학습부(100) 블록도.5 is a block diagram of an image-based skin disease learning unit 100 of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 6은 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 프로그램 예시도.6 is an example program for converting skin disease image information according to the specification of the CNN structure.
도 7은 변환된 이미지를 Convolution을 통해서 클래스 분류가 가능한 3개의 클래스 데이터로 변환시키는 프로그램 예시도.7 is a diagram illustrating a program for converting a converted image into three class data capable of classifying through convolution.
도 8은 클래스 분류가 가능한 3개의 클래스 데이터 합이 1이 나오게 변경하는 프로그램 예시도.8 is an example of a program for changing the sum of three class data that can classify to 1;
도 9는 클래스 분류가 가능한 3개의 클래스 데이터를 이용하여 해당 클래스를 판단하는 프로그램 예시도.9 is an exemplary diagram of a program for determining a corresponding class using three class data that can be classified as a class;
도 10은 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 Convolution 연산 예시도.10 is an exemplary diagram of a convolution operation of a reading aid device using image data for atypical skin diseases according to an embodiment of the present invention.
도 11은 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 클래스판별부(200) 블록도.11 is a block diagram of a class discrimination unit 200 of a reading aid using image data for atypical skin diseases according to an embodiment of the present invention.
도 12는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 스마트기기 구성도.12 is a configuration diagram of a smart device of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 13은 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 진단결과출력처리부(2100)에 의해 출력되는 화면 예시도.13 is an exemplary view of a screen output by the diagnosis result output processing unit 2100 of the reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 14는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 연동을 통해 출력되는 진단 결과를 나타낸 예시도.14 is an exemplary diagram illustrating a diagnosis result output through interlocking of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
<부호의 설명><Explanation of code>
100 : 이미지기반피부질환학습부100: Image-based skin disease learning department
200 : 클래스판별부200: class discrimination unit
1000 : 피부질환학습장치1000: skin disease learning device
2000 : 스마트기기2000: smart device
3000 : 의사단말기3000: doctor terminal
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices which, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.In addition, it should be understood that all conditional terms and examples listed herein are, in principle, expressly intended only for the purpose of understanding the inventive concept and are not limited to the specifically enumerated embodiments and states as such. do.
이하, 본 발명에 의한 비정형 피부질환 영상데이터를 활용한 판독보조장치의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, it will be described in detail through an embodiment of the reading aid device using the atypical skin disease image data according to the present invention.
도 3은 본 발명에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 구성도이다.3 is a configuration diagram of a reading aid device using atypical skin disease image data according to the present invention.
도 3에 도시한 바와 같이, 비정형 피부질환 영상데이터를 활용한 판독보조장치는, 피부질환학습장치(1000), 상기 피부질환학습장치(1000)에서 제공된 피부질환 진단결과를 화면에 출력시키는 스마트기기(2000)를 포함하여 구성되게 된다.As shown in FIG. 3 , the reading aid device using the atypical skin disease image data is a skin disease learning device 1000 and a smart device that outputs the skin disease diagnosis results provided by the skin disease learning device 1000 on a screen. (2000) will be included.
구체적으로 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치는,Specifically, a reading aid device using atypical skin disease image data according to an embodiment of the present invention,
학습할 피부 질환 이미지 정보를 획득하고, 획득한 피부 질환 이미지 정보를 학습하여 클래스 분류를 위한 학습 결과 정보를 생성하여 저장 처리하는 이미지기반피부질환학습부(100),An image-based skin disease learning unit 100 that acquires skin disease image information to be learned, generates and stores learning result information for class classification by learning the acquired skin disease image information,
자체 촬영한 피부 질환 이미지 정보 또는 스마트기기(2000)가 전송한 피부 질환 이미지 정보를 이미지기반피부질환학습부(100)가 생성한 클래스 분류를 위한 학습 결과 정보와 비교하여 해당 클래스로 분류한 피부질환 진단결과를 생성하고, 피부질환 진단결과를 해당 사용자의 스마트기기(2000)로 전송하는 클래스판별부(200)를 포함하여 구성되는 피부질환학습장치(1000)와;Skin disease classified into the class by comparing the self-photographed skin disease image information or the skin disease image information transmitted by the smart device 2000 with the learning result information for class classification generated by the image-based skin disease learning unit 100 a skin disease learning apparatus 1000 configured to generate a diagnosis result and transmit the skin disease diagnosis result to the smart device 2000 of the user;
상기 피부질환학습장치(1000)로 진단을 의뢰할 피부 질환 이미지 정보를 전송하고, 피부질환학습장치(1000)에서 제공된 피부질환 진단결과와 해당 피부질환 이미지를 화면에 출력시키는 스마트기기(2000)를 포함하여 구성되는 것을 특징으로 한다.A smart device 2000 that transmits skin disease image information to request a diagnosis to the skin disease learning apparatus 1000 and outputs the skin disease diagnosis result and the skin disease image provided from the skin disease learning apparatus 1000 on the screen It is characterized in that it comprises.
본 발명에서 설명하고 있는 피부질환 판별 장치는 스킨(피부) 이미지 분석 장치를 의미하며, 다른 의미로 피부(더마) 이미지 분석 장치를 의미한다.The skin disease discrimination device described in the present invention means a skin (skin) image analysis device, and in other words, it means a skin (derma) image analysis device.
그리고, 본 발명의 피부질환학습장치는 별도의 단말이거나, 또는 단말의 일부 모듈일 수도 있다.In addition, the skin disease learning apparatus of the present invention may be a separate terminal or a part of a module of the terminal.
또한, 피부질환학습장치는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있는데, 이러한 경우, 외부 데이터베이스에 접속하여 데이터 통신을 할 수 있는 다양한 종류의 단말일 수도 있다.In addition, the skin disease learning apparatus may be a computing device capable of using external database information such as a cloud server, and in this case, may be various types of terminals capable of data communication by accessing an external database.
따라서, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.Accordingly, it may include other hardware elements necessary for the operations described herein, including network interfaces and protocols, input devices for data entry, and output devices for display, printing, or other data presentation.
한편, 본 발명에서 설명하고 있는 비정형 피부질환 영상데이터는 정형화된 피부질환 영상데이터가 아닌 도 4와 같이, 불규칙적인 피부질환 영상데이터를 의미한다.On the other hand, the atypical skin disease image data described in the present invention means irregular skin disease image data as shown in FIG. 4 rather than the standardized skin disease image data.
따라서, 상기 피부질환 영상데이터를 가지고 미리 학습시켜 이에 따른 피부질환을 판별한다면 다양한 형태의 비정형화된 피부질환 영상데이터에 대한 판독 능력을 향상시킬 수 있게 되어 일반 전문의들이 진단시, 정확도가 높은 결과값을 가지고 객관적으로 판단할 수 있는 장점을 제공할 수 있게 된다.Therefore, if the skin disease image data is learned in advance to determine the skin disease according to the skin disease, the reading ability for various types of atypical skin disease image data can be improved. can provide an advantage that can be objectively judged with
상기 이미지기반피부질환학습부(100)는 학습할 피부 질환 이미지 정보를 획득하고, 획득한 피부 질환 이미지 정보를 학습하여 클래스 분류를 위한 학습 결과 정보를 생성하여 저장 처리하게 된다.The image-based skin disease learning unit 100 acquires skin disease image information to be learned, learns the acquired skin disease image information, generates and stores learning result information for class classification.
즉, 도 4와 같은 복수 개의 학습할 피부 질환 이미지 정보를 이미지검색엔진(10)을 통해 검색하고, 해당 검색된 정보를 이미지기반피부질환학습부(100)에서 획득하여 합성곱 신경망을 이용하여 학습하여 클래스정보저장모듈에 저장하게 되는 것이다.That is, a plurality of skin disease image information to be learned as shown in FIG. 4 is searched through the image search engine 10, and the searched information is acquired from the image-based skin disease learning unit 100 and learned using a convolutional neural network. It will be stored in the class information storage module.
또한, 상기 이미지기반피부질환학습부(100)는 학습할 피부 질환 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 이미지 정보를 수신받는 장치인 것을 특징으로 한다.In addition, the image-based skin disease learning unit 100 is a device for receiving a direct input image by being connected to a camera to obtain skin disease image information to be learned, or receiving image information from a wireless network or an Internet network. do.
즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 이미지 검색 엔진에 의하여 각종 영상 이미지를 획득할 수 있게 된다.That is, it is possible to directly receive an input image through the camera by interworking with the camera, and it is possible to acquire various image images by an image search engine using a wireless network or an Internet network.
도 5는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 이미지기반피부질환학습부(100) 블록도이다.5 is a block diagram of the image-based skin disease learning unit 100 of the reading aid device using atypical skin disease image data according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 이미지기반피부질환학습부(100)는,As shown in Figure 5, the image-based skin disease learning unit 100,
학습할 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(110); a skin disease image information acquisition module 110 for acquiring skin disease image information to be learned;
상기 획득된 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 피부질환이미지변환모듈(120);a skin disease image conversion module 120 for converting the acquired skin disease image information according to the specifications of the CNN structure;
상기 CNN 구조의 스펙에 맞추어 변환된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 클래스 분류가 가능한 적어도 2개 이상의 클래스별 데이터로 변환하는 클래스별분류데이터변환모듈(130);Classification data conversion module 130 for converting the skin disease image information converted according to the specification of the CNN structure into data for at least two classes that can be classified into classes using a convolutional neural network;
상기 각 클래스별 수치 데이터들의 합이 1이 되도록 변경하는 데이터변경모듈(140);a data change module 140 for changing the sum of the numerical data for each class to be 1;
합이 1이 되도록 각 클래스별 수치 데이터들을 이용하여 학습할 피부 질환 이미지 정보에 대한 학습결과 정보를 생성하는 클래스판단모듈(150);a class determination module 150 for generating learning result information on skin disease image information to be learned by using numerical data for each class so that the sum becomes 1;
학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(160);a class information processing module 160 for storing and processing the learned skin disease image information and learning result information on the image information in a corresponding class field of the class information storage module;
학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보가 매칭 되어 해당 클래스 필드에 저장하고 있는 클래스정보저장모듈(170);을 포함하여 구성되는 것을 특징으로 한다.and a class information storage module 170 that matches the learned skin disease image information and the learning result information for the image information and stores it in the corresponding class field.
상기 피부질환이미지정보획득모듈(110)은 학습할 피부 질환 이미지 정보를 획득하게 된다.The skin disease image information acquisition module 110 acquires skin disease image information to be learned.
획득한 학습할 피부 질환 이미지 정보는 악성 질환 이미지 정보, 피부 질환 이미지 정보, 정상 피부 이미지 정보를 포함하며, 악성 질환은 예를 들어, 기저 세포 암, 흑색종 등을 의미할 수 있으며, 피부 질환은 피부 색소 질환 및 감염성 질환등을 의미하는 것으로 지루성 각화증, 광선 각화증 등을 의미할 수 있으며, 정상 피부는 일반적인 점, 검버섯 등을 의미할 수 있다.The acquired skin disease image information to be learned includes malignant disease image information, skin disease image information, and normal skin image information, and the malignant disease may mean, for example, basal cell cancer, melanoma, etc. It refers to skin pigmentation diseases and infectious diseases, and may refer to seborrheic keratosis, actinic keratosis, and the like, and normal skin may refer to general moles, age spots, and the like.
즉, 획득된 학습할 피부 질환 이미지 정보는 적어도 2개 이상의 클래스를 포함하게 되는데, 예를 들어, 2개의 클래스인 경우에는 악성 질환 클래스, 정상 피부 클래스 중 어느 하나로, 3개의 클래스인 경우에는 악성 질환 클래스, 피부 질환 클래스, 정상 피부 클래스라는 3개의 클래스 중 어느 하나로 분류된다.That is, the acquired skin disease image information to be learned includes at least two or more classes. For example, in the case of two classes, one of a malignant disease class and a normal skin class, and in the case of three classes, a malignant disease It is classified into any one of three classes: class, skin disease class, and normal skin class.
상기 피부질환이미지변환모듈(120)은 상기 획득된 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키게 된다.The skin disease image conversion module 120 converts the acquired skin disease image information according to the specifications of the CNN structure.
도 6에는 획득한 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 프로그램이 도시되어 있다.6 shows a program for converting the acquired skin disease image information according to the specifications of the CNN structure.
이후, 클래스별분류데이터변환모듈(130)은 CNN 구조의 스펙에 맞추어 변환된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 클래스 분류가 가능한 클래스별 데이터로 변환하게 된다.Thereafter, the class classification data conversion module 130 converts the skin disease image information converted according to the specification of the CNN structure into class-specific data that can be classified by using a convolutional neural network.
즉, 변환된 데이터를 Convolution을 통해서 클래스 분류가 가능한 클래스별 수치 데이터로 변환하게 되는 것이다.That is, the converted data is converted into numerical data for each class that can be classified through convolution.
예를 들어, 클래스별분류데이터변환모듈(130)은 3개의 클래스로 분류한다면, 학습할 피부질환 이미지의 악성 질환 클래스 수치 데이타 30, 피부 질환 클래스 수치 데이터 50, 정상 피부 클래스 수치 데이터 20 등과 같이 변환하는 것이다.For example, if the class classification data conversion module 130 is classified into three classes, it converts the malignant disease class numerical data 30, the skin disease class numerical data 50, and the normal skin class numerical data 20 of the skin disease image to be learned. will do
도 7에는 변환된 데이터를 Convolution을 통해서 클래스 분류가 가능한 수치 데이터로 변환시키는 프로그램이 도시되어 있다.7 shows a program for converting the converted data into numerical data capable of classifying through convolution.
이후, 데이터변경모듈(140)은 각 클래스별 수치 데이터들의 합이 1이 되도록 변경하게 된다.Thereafter, the data change module 140 changes the sum of numerical data for each class to be 1.
예를 들어, 데이터변경모듈(140)은 학습할 피부질환 이미지의 악성 질환 클래스 수치 데이타 0.3, 피부 질환 클래스 수치 데이터 0.5, 정상 피부 클래스 수치 데이터 0.2 등과 같이 변환하는 것이다.For example, the data change module 140 converts the skin disease image to be learned into malignant disease class numerical data 0.3, skin disease class numerical data 0.5, normal skin class numerical data 0.2, and the like.
도 8에는 클래스 분류가 가능한 수치 데이터들의 합이 1이 되도록 변경시키는 프로그램이 도시되어 있다.8 shows a program for changing the sum of numerical data that can be classified into one.
이후, 클래스판단모듈(150)은 합이 1이 되도록 각 클래스별 수치 데이터들을 이용하여 학습할 피부 질환 이미지 정보에 대한 학습결과 정보를 생성하게 된다.Thereafter, the class determination module 150 generates learning result information on skin disease image information to be learned by using numerical data for each class so that the sum becomes 1.
특히, 적어도 2개 이상의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하거나,In particular, the class having the highest numerical data among the numerical data for at least two or more classes is generated as the learning result information of the skin disease image information learned, or
가장 높은 수치 데이터를 갖는 클래스의 수치 데이터가 나머지 클래스의 수치 데이터의 합보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하는 것을 특징으로 한다.When the numerical data of the class having the highest numerical data is greater than the sum of the numerical data of the remaining classes, the class having the highest numerical data is generated as the learning result information of the skin disease image information learned.
예를 들어, 3개의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하거나, 가장 높은 수치 데이터를 갖는 클래스의 수치 데이터가 나머지 2개의 클래스의 수치 데이터의 합보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하는 것을 특징으로 한다.For example, the class having the highest numerical data among the numerical data for each of the three classes is generated as the learning result information of the skin disease image information learned, or the numerical data of the class having the highest numerical data is the numerical value of the other two classes. When it is greater than the sum of data, it is characterized in that the class having the highest numerical data is generated as the learning result information of the learned skin disease image information.
예를 들어, 학습할 피부 질환 이미지 정보 A가 악성 질환 클래스 수치 데이타 0.3, 피부 질환 클래스 수치 데이터 0.6, 정상 피부 클래스 수치 데이터 0.1 이라면, 클래스별 수치 데이터 중에서 가장 높은 수치인 0.5를 갖는 클래스인 피부 질환 클래스를 학습할 피부 질환 이미지 정보 A의 학습결과 정보로 생성하는 것이다.For example, if skin disease image information to be learned A is malignant disease class numerical data 0.3, skin disease class numerical data 0.6, and normal skin class numerical data 0.1, the skin disease that is the class having the highest value of 0.5 among numerical data for each class. The class is created as the learning result information of the skin disease image information A to be learned.
또한, 3개의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스인 피부 질환 클래스의 수치 데이터 0.6이 나머지 2개의 클래스인 악성 질환 클래스와 정상 피부 클래스의 수치 데이타 합인 0.4 보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스인 피부 질환 클래스를 학습할 피부 질환 이미지 정보 A의 학습결과 정보로 생성하는 것이다.In addition, if the numerical data 0.6 of the skin disease class, which is the class with the highest numerical data among the three numerical data, is greater than 0.4, the sum of the numerical data of the other two classes, the malignant disease class and the normal skin class, the highest numerical data is selected. To generate a skin disease class, which is a class having, as learning result information of skin disease image information A to be learned.
도 9에는 각 클래스의 정확도를 계산하고, 가장 높은 수치를 가진 클래스를 판단하여 학습할 피부 질환 이미지 정보에 대한 학습결과 정보를 생성하는 프로그램이 도시되어 있다.9 shows a program for calculating the accuracy of each class, determining the class having the highest numerical value, and generating learning result information for skin disease image information to be learned.
이후, 클래스정보처리모듈(160)은 학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 되는 것이다.Thereafter, the class information processing module 160 stores and processes the learned skin disease image information and the learning result information on the image information in the corresponding class field of the class information storage module.
상기 클래스정보저장모듈(170)에는 학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보가 매칭되어 해당 클래스 필드에 저장된다.In the class information storage module 170, the learned skin disease image information and the learning result information on the image information are matched and stored in the corresponding class field.
한편, 다른 부가적인 양태에 따라, 이미지기반피부질환학습부(100)는 피부질환이미지변환모듈(120)에 의해 피부 질환 이미지 정보가 CNN 구조의 스펙에 맞추어 변환되기 전에 피부 질환 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(180);을 더 포함하여 구성할 수 있다.On the other hand, according to another additional aspect, the image-based skin disease learning unit 100 before the skin disease image information is converted according to the specification of the CNN structure by the skin disease image conversion module 120 to size, It may further include a; learning discrimination power improvement processing module 180 for increasing learning discrimination power by pre-processing with at least one set item among direction, magnification, brightness, and noise removal.
즉, 상기 학습변별력향상처리모듈(180)을 통해 획득된 피부 질환 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리할 수 있는데, 예를 들어, 설정된 항목이 사이즈는 가로와 세로 동일한 사이즈인 정사각형, 방향은 수평하게, 배율은 2배 확대 등과 같이 설정되었다면 획득된 피부 질환 이미지 정보를 사이즈, 방향, 배율을 상기와 같이 조절하여 복수 개의 이미지들을 동일한 사이즈, 방향, 배율로 전처리함으로써, 학습 변별력을 높이는 것이다.That is, the skin disease image information obtained through the learning discrimination power improvement processing module 180 can be pre-processed into at least one set item among size, direction, magnification, brightness, and noise removal. If the size is a square with the same size horizontally and vertically, the direction is horizontal, and the magnification is set such as 2x magnification, the size, direction, and magnification of the acquired skin disease image information are adjusted as described above to display a plurality of images in the same size and direction. , to increase the learning discrimination ability by preprocessing with a magnification.
또한, 노이즈 제거를 수행하게 되면, 노이즈필터링 기능을 제공하여 이를 통해 노이즈를 제거함으로써, 학습 변별력을 높일 수 있게 된다.In addition, when noise removal is performed, a noise filtering function is provided and noise is removed through this, so that learning discrimination power can be increased.
본 발명에서 설명하고 있는 Convolution이란, 영상 처리 분야에서 주로 필터 연산에 사용이 되며, 영상으로부터 특징점을 추출하기 위한 필터를 구현할 때 사용한다. Convolution described in the present invention is mainly used for filter operation in the image processing field, and is used to implement a filter for extracting feature points from an image.
즉, 3 x 3 또는 그 이상의 마스크를 영상 전체에 반복적으로 수행하게 되면, 그 마스크의 계수 값들의 따라 적정한 결과가 나온다. That is, when a 3 x 3 or more mask is repeatedly performed over the entire image, an appropriate result is obtained according to the coefficient values of the mask.
도 10과 같이, 전체 이미지에 노란색 부분이 convolution이 일어나고 있는 영역이며, 빨간색 글자는 convolution의 커널에 해당하고, 마스크 연산이 수행되면 오른쪽의 4가 나오며, 마스크는 한 칸 이동시키는 것을 반복하여 최종 결과를 얻을 수 있다.As shown in FIG. 10 , the yellow part of the entire image is the area where convolution is taking place, the red text corresponds to the kernel of the convolution, and when the mask operation is performed, 4 on the right comes out, and the mask is moved by one space to repeat the final result can get
이와 같이, 본 발명의 실시예는 다양한 환경적인 문제로 인한 학습 정보의 질이 떨어지는 문제점을 해결하기 위해, 입력 영상을 각각의 환경에 강인한 패턴 영상으로 분류하고 조합한 후 학습시킴으로써, 다양한 환경문제(흔들림, 조도, 노이즈, 인식률 저하 등)에 취약한 영상 학습 정보의 질을 높일 수 있을 뿐만 아니라, 컨볼루션 신경망(CNN)의 각 레이어 층에서 특징을 추출하는 과정에서 발생할 수 있는 오류를 보정할 수 있고, 레이어 층마다 다른 패턴을 적용할 수 있다는 점에서 보다 양질의 학습정보를 획득할 수 있는 컨볼루션 신경망(CNN) 기반의 비정형 피부질환 영상데이터를 활용한 판독보조장치를 제공하게 된다.As such, the embodiment of the present invention classifies and combines input images into pattern images robust to each environment in order to solve the problem of poor quality of learning information due to various environmental problems, and then learns various environmental problems ( Not only can it improve the quality of image learning information, which is vulnerable to shaking, illuminance, noise, lower recognition rate, etc.) , a convolutional neural network (CNN)-based reading aid device using atypical skin disease image data that can acquire higher quality learning information in that different patterns can be applied to each layer.
도 11은 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 클래스판별부(200) 블록도이다.11 is a block diagram of a class discrimination unit 200 of a reading aid using image data for atypical skin diseases according to an embodiment of the present invention.
상기 클래스판별부(200)는 자체 촬영한 피부 질환 이미지 정보 또는 스마트기기(2000)가 전송한 피부 질환 이미지 정보를 이미지기반피부질환학습부(100)가 생성한 클래스 분류를 위한 학습 결과 정보와 비교하여 해당 클래스로 분류한 피부질환 진단결과를 생성하고, 피부질환 진단결과를 해당 사용자의 스마트기기(2000)로 전송한다.The class discrimination unit 200 compares the self-photographed skin disease image information or the skin disease image information transmitted by the smart device 2000 with the learning result information for class classification generated by the image-based skin disease learning unit 100 Thus, a skin disease diagnosis result classified into the corresponding class is generated, and the skin disease diagnosis result is transmitted to the smart device 2000 of the user.
또한, 클래스판별부(200)는 스마트기기(2000)가 제공한 피부 질환 이미지 정보와 해당 이미지에 대한 피부질환 진단결과를 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)가 학습 결과 정보 생성 시, 반영할 수 있도록 하는 것을 특징으로 한다.In addition, the class discrimination unit 200 provides the skin disease image information provided by the smart device 2000 and the skin disease diagnosis result for the image to the image-based skin disease learning unit 100 to provide the image-based skin disease learning unit ( 100) is characterized in that it can be reflected when generating the learning result information.
도 11에 도시한 바와 같이, 상기 클래스판별부(200)는,11, the class discrimination unit 200,
사용자 인증을 수행하기 위한 사용자인증수행모듈(210);a user authentication performing module 210 for performing user authentication;
피부 질환을 판단하기 위해 피부질환학습장치(1000)에 구성된 카메라 또는 인증된 사용자의 스마트기기(2000)로부터 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(220);a skin disease image information acquisition module 220 for acquiring skin disease image information from a camera configured in the skin disease learning apparatus 1000 or an authenticated user's smart device 2000 to determine a skin disease;
상기 획득된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(230);a user labeling execution module 230 for performing labeling on the acquired skin disease image information and storing and processing the user labeling information storage module;
상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 피부 질환 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(240);a user labeling information storage module 240 for storing the labeling information provided by the user labeling execution module and the corresponding skin disease image information;
피부 질환을 판단하기 위하여 저장된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(250);a judgment target image feature point extraction module 250 for extracting feature points by convolving the stored skin disease image information to determine a skin disease using a convolutional neural network;
상기 추출된 특징점을 클래스정보저장모듈(170)에 저장된 학습 결과 정보와 비교하여 해당하는 클래스로 분류한 피부질환 진단결과를 생성하고, 생성된 피부질환 진단결과를 해당 스마트기기(2000)로 전송하는 타겟이미지클래스분류모듈(260);을 포함하여 구성되는 것을 특징으로 한다.Comparing the extracted feature points with the learning result information stored in the class information storage module 170, generating a skin disease diagnosis result classified into a corresponding class, and transmitting the generated skin disease diagnosis result to the smart device 2000 Target image class classification module 260; characterized in that it is configured to include.
구체적으로 설명하면, 상기 사용자인증수행모듈(210)은 사용자 인증을 수행하기 위한 기능을 수행하게 되는데, 예를 들어, 로그인 페이지를 제공하고, 로그인 페이지 상에 아이디, 비번, 주소, 연락처, 성명 등을 입력하게 된다.Specifically, the user authentication performing module 210 performs a function for performing user authentication, for example, provides a login page, and includes an ID, password, address, contact information, name, etc. on the login page. will be entered.
이때, 입력된 정보를 토대로 개인 정보를 저장하여 관리하게 된다.In this case, personal information is stored and managed based on the input information.
상기 피부질환이미지정보획득모듈(220)은 피부 질환을 판단하기 위해 피부질환학습장치(1000)에 구성된 카메라 또는 인증된 사용자의 스마트기기(2000)로부터 피부 질환 이미지 정보를 획득하게 된다.The skin disease image information acquisition module 220 acquires skin disease image information from a camera configured in the skin disease learning apparatus 1000 or a smart device 2000 of an authenticated user to determine a skin disease.
상기 사용자라벨링실행모듈(230)은 상기 획득된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.The user labeling execution module 230 performs labeling on the acquired skin disease image information, and stores it in the user labeling information storage module.
예를 들어, 사용자 아이디, 접속 스마트기기(2000) 고유 번호, 접속 일자, 이미지 업로딩 일자, 피부 질환 이미지에 추가적으로 이미지 라벨링을 수행하게 되고, 수행된 라벨링 정보와 피부 질환 데이터 이미지 정보를 사용자라벨링정보저장모듈(240)에 저장 처리하게 되는 것이다.For example, image labeling is additionally performed on user ID, access smart device 2000 unique number, access date, image upload date, and skin disease image, and the performed labeling information and skin disease data image information are stored as user labeling information. It will be stored and processed in the module 240 .
상기 판단대상이미지특징점추출모듈(250)은 피부 질환을 판단하기 위하여 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출하기 위한 기능을 수행하게 된다.The judgment target image feature point extraction module 250 performs a function for extracting feature points by convolving the skin disease image information using a convolutional neural network to determine a skin disease.
상기 타겟이미지클래스분류모듈(260)은 추출된 특징점을 클래스정보저장모듈(170)에 저장된 학습 결과 정보와 비교하여 해당하는 클래스로 분류한 피부질환 진단결과를 생성하고, 생성된 피부질환 진단결과를 해당 스마트기기(2000)로 전송한다.The target image class classification module 260 compares the extracted feature points with the learning result information stored in the class information storage module 170 to generate a skin disease diagnosis result classified into a corresponding class, and the generated skin disease diagnosis result It is transmitted to the corresponding smart device (2000).
예를 들어, 사용자로부터 획득한 피부 질환 이미지의 특징점이 클래스정보저장모듈(170)에 저장된 학습 결과 정보상 악성 질환으로 분류된 피부질환 이미지의 특징점과 동일 유사한 것으로 판단되면 사용자로부터 획득한 피부 질환 이미지가 악성 질환 클래스로 분류된다는 피부질환 진단결과를 생성하고, 해당 사용자의 스마트기기(2000)로 전송하여 알려주게 된다.For example, if it is determined that the feature point of the skin disease image acquired from the user is identical to the feature point of the skin disease image classified as a malignant disease on the learning result information stored in the class information storage module 170, the skin disease image acquired from the user is A skin disease diagnosis result classified as a malignant disease class is generated, and the result is transmitted to the smart device 2000 of the corresponding user and informed.
도 12는 본 발명의 일실시예에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치의 스마트기기(2000) 구성도이다.12 is a configuration diagram of a smart device 2000 of a reading aid device using atypical skin disease image data according to an embodiment of the present invention.
스마트기기(2000)는 피부질환학습장치(1000)로 진단을 의뢰할 피부 질환 이미지 정보를 전송하고, 피부질환학습장치(1000)에서 제공된 피부질환 진단결과를 화면에 출력시키는 기능을 수행하게 된다.The smart device 2000 transmits skin disease image information to request a diagnosis to the skin disease learning apparatus 1000 and outputs the skin disease diagnosis result provided from the skin disease learning apparatus 1000 on the screen.
이를 위해, 스마트기기(2000)는,To this end, the smart device 2000,
피부질환학습장치(1000)에서 제공된 피부질환 진단결과와 해당 피부질환 이미지를 화면에 출력시키는 진단결과출력처리부(2100);를 포함하여 구성하게 된다.and a diagnosis result output processing unit 2100 for outputting the skin disease diagnosis result provided from the skin disease learning apparatus 1000 and the corresponding skin disease image on the screen.
또한, 의사단말기(3000)로 획득된 피부질환 이미지와 피부질환 진단결과를 제공하여 진단 결과의 전문가 확인을 요청하기 위한 전문가진단결과획득부(2200);를 더 포함하여 구성할 수 있다.In addition, the doctor terminal 3000 may further include an expert diagnosis result acquisition unit 2200 for providing the skin disease image and the skin disease diagnosis result to request expert confirmation of the diagnosis result.
즉, 의사들의 육안 검사 정보를 통해 피부질환 특히, 심각한 피부질환인 악성 질환의 진단 결과를 획득하여 악성 질환의 진단 정확률을 더욱 높일 수 있게 된다.That is, the diagnosis accuracy of a malignant disease can be further increased by acquiring a diagnosis result of a skin disease, particularly a malignant disease, which is a serious skin disease, through the visual examination information of doctors.
이를 통해, 매년 흑색종으로 23명이 발생하고 조기진단이 늦어 5만 5천명이 사망하고 있으니 위와 같은 진단 기술을 제공하여 사망률 저하에 기여를 할 수 있을 것이다.Through this, 23 cases of melanoma occur every year and 55,000 people die due to late diagnosis, so it will be possible to contribute to lowering the mortality rate by providing the above diagnostic technology.
이때, 상기 스마트기기는 피부질환을 진단하기 위하여 어플형태의 피부질환진단앱을 탑재할 수 있으며, 피부질환진단앱을 통해 실시간으로 특정 영역의 피부를 촬영하여 실시간으로 피부 질환 여부를 분석할 수 있을 것이다.In this case, the smart device may be equipped with a skin disease diagnosis app in the form of an application for diagnosing skin diseases, and through the skin disease diagnosis app, it is possible to analyze the skin disease in real time by photographing the skin of a specific area in real time. will be.
이때, 인공지능 학습을 클라우드서버를 통해 실시할 수 있으며, 학습된 결과 정보를 상기 피부질환진단앱에서 실시간으로 업데이트할 수 있으며, 자신의 피부 질환 의심 부위를 촬영함과 동시에 실시간으로 악성 질환 유무를 화면을 통해 확인할 수 있는 편리성을 제공하게 되는 것이다.At this time, artificial intelligence learning can be carried out through the cloud server, and the learned result information can be updated in real time in the skin disease diagnosis app, and the presence or absence of a malignant disease can be checked in real time while photographing the suspected skin disease area. It will provide the convenience of checking through the screen.
한편, 도 13에 도시한 바와 같이, 상기 진단결과출력처리부(2100)는,On the other hand, as shown in Figure 13, the diagnosis result output processing unit 2100,
피부질환학습장치(1000)가 전송한 피부질환 진단결과에 매칭된 피부 이미지를 출력시키기 위한 촬영이미지출력레이어(2110);a photographed image output layer 2110 for outputting a skin image matched with the skin disease diagnosis result transmitted by the skin disease learning apparatus 1000;
피부질환학습장치(1000)가 전송한 피부질환 진단결과 정보를 출력시키기 위한 피부질환진단결과출력레이어(2120);a skin disease diagnosis result output layer 2120 for outputting skin disease diagnosis result information transmitted by the skin disease learning apparatus 1000;
피부질환학습장치(1000)에 구성된 카메라로 피부 이미지 촬영 시, 또는 스마트기기(2000)에 구성된 카메라로 피부 이미지 촬영 시, 진단 정확도를 높이도록 조명의 파장대를 다양하게 변경하기 위한 조명파장대변경레이어(2130);When taking a skin image with the camera configured in the skin disease learning device 1000, or when taking a skin image with the camera configured in the smart device 2000, an illumination wavelength band changing layer ( 2130);
촬영된 피부 이미지와 피부질환 진단결과 정보를 저장하기 위한 저장처리레이어(2140);를 포함하여 구성할 수 있다.A storage processing layer 2140 for storing the photographed skin image and skin disease diagnosis result information; may be included.
상기 촬영이미지출력레이어(2110)에 의해, 피부질환학습장치(1000)가 전송한 피부질환 진단결과에 매칭된 피부 이미지를 출력시키게 된다.(도 13의 ① 영역임.)A skin image matched with the skin disease diagnosis result transmitted by the skin disease learning apparatus 1000 is output by the photographed image output layer 2110 (region ① in FIG. 13).
또한, 피부질환진단결과출력레이어(2120)는 피부질환학습장치(1000)가 전송한 피부질환 진단결과 정보를 출력시키게 된다.(도 13의 ② 영역임.)In addition, the skin disease diagnosis result output layer 2120 outputs the skin disease diagnosis result information transmitted by the skin disease learning apparatus 1000 (region ② in FIG. 13).
예를 들어, 진단결과 - 악성 질환, 신뢰도 - 100% 라는 정보를 출력시키게 되는 것이다.For example, information such as diagnosis result - malignant disease, reliability - 100% is output.
그리고, 조명파장대변경레이어(2130)는 피부질환학습장치(1000)에 구성된 카메라로 피부 이미지 촬영 시, 또는 스마트기기(2000)에 구성된 카메라로 피부 이미지 촬영 시, 진단 정확도를 높이도록 조명의 파장대를 다양하게 변경한다.(도 13의 ③ 영역임.)In addition, the illumination wavelength band change layer 2130 changes the wavelength band of illumination to increase diagnosis accuracy when a skin image is taken with a camera configured in the skin disease learning device 1000 or a skin image is taken with a camera configured in the smart device 2000 . Change it in various ways. (It is area ③ in FIG. 13.)
피부 촬영시, 파장대에 따라 다양한 영상 이미지를 획득할 수 있게 되므로 가장 심각한 악성 질환의 경우에 다양한 파장대의 조명들을 통해 다양한 영상을 획득하여 악성 질환을 진단함에 있어 진단 정확도를 높일 수 있도록 하는 것이다.Since it is possible to acquire various image images according to wavelength bands during skin imaging, in the case of the most serious malignant disease, various images are acquired through illumination of various wavelength bands to increase diagnostic accuracy in diagnosing malignant diseases.
이를 위하여, 파장대를 조절할 수 있는 버튼을 구성함으로써, 사용자가 다양한 조명을 이용하여 촬영할 수 있도록 유도하는 것이다.To this end, by configuring a button that can adjust the wavelength band, the user is induced to shoot using various lighting.
또한, 상기 저장처리레이어(2140)는 상기 촬영된 피부 이미지와 피부질환 진단결과 정보를 저장하게 된다.(도 13의 ④ 영역임.)In addition, the storage processing layer 2140 stores the photographed skin image and skin disease diagnosis result information. (Region ④ in FIG. 13 .)
도 14를 참조하면, 얼굴, 신체 등 다양한 부위의 피부를 피부질환학습장치(1000)에 형성된 카메라 또는 스마트기기(2000)에 형성된 카메라를 통해 촬영하게 된다.Referring to FIG. 14 , the skin of various parts, such as the face and body, is photographed through the camera formed in the skin disease learning apparatus 1000 or the camera formed in the smart device 2000 .
이후, 피부질환학습장치(1000)에 의해 피부질환 유무를 진단하게 될 것이며, 진단 결과를 스마트기기의 화면에 출력되게 된다. 즉, 촬영 부위에 대한 검사 결과 인 단순 점인지 트러블인지 악성 질환(예 : 흑색종)인지가 표시된다.Thereafter, the presence or absence of a skin disease will be diagnosed by the skin disease learning apparatus 1000, and the diagnosis result will be output on the screen of the smart device. That is, whether it is a simple dot, a trouble, or a malignant disease (eg melanoma), which is the result of the examination for the imaging site, is displayed.
한편, 다른 부가적인 양태에 따라, 상기 진단결과출력처리부(2100)는,On the other hand, according to another additional aspect, the diagnosis result output processing unit 2100,
상기 피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, 현재 위치를 기반으로 설정 범위 내 병원 정보를 출력시키기 위한 병원안내정보처리레이어(2150);a hospital guide information processing layer 2150 for outputting hospital information within a set range based on the current location when the skin disease diagnosis result is a malignant disease or a simple skin disease;
상기 피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, 병원 내진이나 조직검사를 안내하는 안내메세지를 출력시키기 위한 부연안내정보처리레이어(2160);를 더 포함하여 구성할 수 있다.When the skin disease diagnosis result is a malignant disease or a simple skin disease, the amplification guide information processing layer 2160 for outputting a guide message for guiding a hospital visit or biopsy; may be further included.
즉, 병원안내정보처리레이어(2150)는 피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, 현재 위치의 주변 10KM 반경 내의 조직검사가 가능한 병원리스트 정보를 화면에 출력시키는 기능을 수행하는 것이다.That is, the hospital guide information processing layer 2150 performs a function of outputting on the screen information on a list of hospitals capable of biopsy within a 10KM radius around the current location when the skin disease diagnosis result is a malignant disease or a simple skin disease. .
그리고, 부연안내정보처리레이어(2160)는 피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, '병원에 내방하셔서 정밀 진단을 받아보세요', '조직검사를 수행하여야 하오니, 병원에 내방하세요'라는 안내메세지를 제공하게 된다.And, if the skin disease diagnosis result is a malignant disease or a simple skin disease, the amplification guide information processing layer 2160 includes 'Visit to the hospital and receive a detailed diagnosis', 'You need to perform a biopsy, so please visit the hospital. ' will be provided.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
본 발명에 따른 비정형 피부질환 영상데이터를 활용한 판독보조장치는, A reading aid device using atypical skin disease image data according to the present invention,
피부 질환 이미지 정보를 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 악성 질환, 피부 색소 질환 및 감염성 질환, 정상 피부 중 어디에 속하는 지를 피부질환학습장치 혹은 스마트기기를 통해 판단할 수 있도록 하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 악성 질환(예를 들어, 피부암) 진단 확률을 높이는 효과를 발휘하므로 산업상 이용가능성이 높다.After classifying skin disease image information into a pre-set class, it learns, stores, and manages it, and determines whether the skin disease image acquired from the user who has been authenticated by the user belongs to malignant disease, skin pigment disease, infectious disease, or normal skin. By allowing judgment through the disease learning device or smart device, and at the same time providing the image-based skin disease learning unit for re-learning, the exact type of skin disease is identified, especially malignant disease (eg, skin cancer) Since it exerts the effect of increasing the diagnosis probability, it has high industrial applicability.

Claims (10)

  1. 비정형 피부질환 영상데이터를 활용한 판독보조장치에 있어서,In the reading aid device using atypical skin disease image data,
    학습할 피부 질환 이미지 정보를 획득하고, 획득한 피부 질환 이미지 정보를 학습하여 클래스 분류를 위한 학습 결과 정보를 생성하여 저장 처리하는 이미지기반피부질환학습부(100),An image-based skin disease learning unit 100 that acquires skin disease image information to be learned, generates and stores learning result information for class classification by learning the acquired skin disease image information,
    자체 촬영한 피부 질환 이미지 정보 또는 스마트기기(2000)가 전송한 피부 질환 이미지 정보를 이미지기반피부질환학습부(100)가 생성한 클래스 분류를 위한 학습 결과 정보와 비교하여 해당 클래스로 분류한 피부질환 진단결과를 생성하고, 피부질환 진단결과를 해당 사용자의 스마트기기(2000)로 전송하는 클래스판별부(200)를 포함하여 구성되는 피부질환학습장치(1000)와;Skin disease classified into the class by comparing the self-photographed skin disease image information or the skin disease image information transmitted by the smart device 2000 with the learning result information for class classification generated by the image-based skin disease learning unit 100 a skin disease learning apparatus 1000 configured to generate a diagnosis result and transmit the skin disease diagnosis result to the smart device 2000 of the user;
    상기 피부질환학습장치(1000)로 진단을 의뢰할 피부 질환 이미지 정보를 전송하고, 피부질환학습장치(1000)에서 제공된 피부질환 진단결과와 해당 피부질환 이미지를 화면에 출력시키는 스마트기기(2000)를 포함하여 구성되는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.A smart device 2000 that transmits skin disease image information to request a diagnosis to the skin disease learning apparatus 1000 and outputs the skin disease diagnosis result and the skin disease image provided from the skin disease learning apparatus 1000 on the screen A reading aid using image data for atypical skin diseases, characterized in that it includes.
  2. 제 1항에 있어서,The method of claim 1,
    상기 이미지기반피부질환학습부(100)는,The image-based skin disease learning unit 100,
    학습할 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(110);a skin disease image information acquisition module 110 for acquiring skin disease image information to be learned;
    상기 획득된 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 피부질환이미지변환모듈(120);a skin disease image conversion module 120 for converting the acquired skin disease image information according to the specifications of the CNN structure;
    상기 CNN 구조의 스펙에 맞추어 변환된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 클래스 분류가 가능한 적어도 2개 이상의 클래스별 데이터로 변환하는 클래스별분류데이터변환모듈(130);Classification data conversion module 130 for converting the skin disease image information converted according to the specification of the CNN structure into data for at least two classes that can be classified into classes using a convolutional neural network;
    상기 각 클래스별 수치 데이터들의 합이 1이 되도록 변경하는 데이터변경모듈(140);a data change module 140 for changing the sum of the numerical data for each class to be 1;
    합이 1이 되도록 각 클래스별 수치 데이터들을 이용하여 학습할 피부 질환 이미지 정보에 대한 학습결과 정보를 생성하는 클래스판단모듈(150);a class determination module 150 for generating learning result information on skin disease image information to be learned by using numerical data for each class so that the sum becomes 1;
    학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(160);a class information processing module 160 for storing and processing the learned skin disease image information and learning result information on the image information in a corresponding class field of the class information storage module;
    학습한 피부 질환 이미지 정보와 해당 이미지 정보에 대한 학습결과 정보가 매칭 되어 해당 클래스 필드에 저장하고 있는 클래스정보저장모듈(170);을 포함하는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.Reading aid using atypical skin disease image data, characterized in that it includes; a class information storage module 170 that matches the learned skin disease image information and the learning result information for the image information and stores it in the corresponding class field Device.
  3. 제2항에 있어서,3. The method of claim 2,
    상기 클래스판단모듈(150)은,The class determination module 150,
    적어도 2개 이상의 클래스별 수치 데이터 중 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하거나,Generate the class having the highest numerical data among the numerical data of at least two or more classes as the learning result information of the skin disease image information learned, or
    가장 높은 수치 데이터를 갖는 클래스의 수치 데이터가 나머지 클래스의 수치 데이터의 합보다 큰 경우 가장 높은 수치 데이터를 갖는 클래스를 학습한 피부 질환 이미지 정보의 학습결과 정보로 생성하는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.Atypical skin disease image, characterized in that when the numerical data of the class having the highest numerical data is greater than the sum of the numerical data of the other classes, the class having the highest numerical data is generated as the learning result information of the skin disease image information learned Reading aids using data.
  4. 제2항에 있어서,3. The method of claim 2,
    상기 이미지기반피부질환학습부(100)는,The image-based skin disease learning unit 100,
    피부질환이미지변환모듈(120)에 의해 피부 질환 이미지 정보가 CNN 구조의 스펙에 맞추어 변환되기 전에 피부 질환 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(180);을 더 포함하여 구성되는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.Before the skin disease image information is converted according to the specifications of the CNN structure by the skin disease image conversion module 120, the skin disease image information is pre-processed into at least one set item among size, direction, magnification, brightness, and noise removal to learn A reading aid device using atypical skin disease image data, characterized in that it further comprises; a learning discrimination power improvement processing module 180 to increase discrimination power.
  5. 제 1항에 있어서,The method of claim 1,
    이미지기반피부질환학습부(100)는,The image-based skin disease learning unit 100,
    학습할 피부 질환 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 이미지 정보를 수신받는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.A reading aid using atypical skin disease image data, characterized in that it is connected to a camera and receives a direct input image or receives image information from a wireless network or an Internet network in order to acquire skin disease image information to be learned.
  6. 제 1항에 있어서,The method of claim 1,
    상기 클래스판별부(200)는,The class discrimination unit 200,
    스마트기기(2000)가 제공한 피부 질환 이미지 정보와 해당 이미지에 대한 피부질환 진단결과를 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)가 학습 결과 정보 생성 시, 반영할 수 있도록 하는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.When the image-based skin disease learning unit 100 generates the learning result information by providing the skin disease image information provided by the smart device 2000 and the skin disease diagnosis result for the image to the image-based skin disease learning unit 100, A reading aid using atypical skin disease image data, characterized in that it can be reflected.
  7. 제 1항에 있어서,The method of claim 1,
    상기 클래스판별부(200)는,The class discrimination unit 200,
    사용자 인증을 수행하기 위한 사용자인증수행모듈(210);a user authentication performing module 210 for performing user authentication;
    피부 질환을 판단하기 위해 피부질환학습장치(1000)에 구성된 카메라 또는 인증된 사용자의 스마트기기(2000)로부터 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(220);a skin disease image information acquisition module 220 for acquiring skin disease image information from a camera configured in the skin disease learning apparatus 1000 or an authenticated user's smart device 2000 to determine a skin disease;
    상기 획득된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(230);a user labeling execution module 230 for performing labeling on the acquired skin disease image information and storing and processing the user labeling information storage module;
    상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 피부 질환 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(240);a user labeling information storage module 240 for storing the labeling information provided by the user labeling execution module and the corresponding skin disease image information;
    피부 질환을 판단하기 위하여 저장된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(250);a judgment target image feature point extraction module 250 for extracting feature points by convolving the stored skin disease image information to determine a skin disease using a convolutional neural network;
    상기 추출된 특징점을 클래스정보저장모듈(170)에 저장된 학습 결과 정보와 비교하여 해당하는 클래스로 분류한 피부질환 진단결과를 생성하여 해당 사용자의 스마트기기(200)로 전송하는 타겟이미지클래스분류모듈(260);을 포함하여 구성되는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.A target image class classification module ( 260); a reading aid using image data for atypical skin diseases, characterized in that it includes.
  8. 제 1항에 있어서,The method of claim 1,
    상기 스마트기기(2000)는,The smart device 2000,
    피부질환학습장치(1000)에서 제공된 피부질환 진단결과와 해당 피부질환 이미지를 화면에 출력시키는 진단결과출력처리부(2100);를 포함하여 구성되고,and a diagnosis result output processing unit 2100 for outputting the skin disease diagnosis result provided by the skin disease learning apparatus 1000 and the skin disease image on the screen; and
    상기 진단결과출력처리부(2100)는,The diagnosis result output processing unit 2100,
    피부질환학습장치(1000)가 전송한 피부질환 진단결과에 매칭된 피부 이미지를 출력시키기 위한 촬영이미지출력레이어(2110);a photographed image output layer 2110 for outputting a skin image matched with the skin disease diagnosis result transmitted by the skin disease learning apparatus 1000;
    피부질환학습장치(1000)가 전송한 피부질환 진단결과 정보를 출력시키기 위한 피부질환진단결과출력레이어(2120);a skin disease diagnosis result output layer 2120 for outputting skin disease diagnosis result information transmitted by the skin disease learning apparatus 1000;
    피부질환학습장치(1000)에 구성된 카메라로 피부 이미지 촬영 시, 또는 스마트기기(2000)에 구성된 카메라로 피부 이미지 촬영 시, 진단 정확도를 높이도록 조명의 파장대를 다양하게 변경하기 위한 조명파장대변경레이어(2130);When taking a skin image with the camera configured in the skin disease learning device 1000, or when taking a skin image with the camera configured in the smart device 2000, an illumination wavelength band changing layer ( 2130);
    촬영된 피부 이미지와 피부질환 진단결과 정보를 저장하기 위한 저장처리레이어(2140);를 포함하여 구성되는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.A reading aid using atypical skin disease image data, characterized in that it comprises; a storage processing layer (2140) for storing the photographed skin image and skin disease diagnosis result information.
  9. 제 8항에 있어서,9. The method of claim 8,
    상기 진단결과출력처리부(2100)는,The diagnosis result output processing unit 2100,
    피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, 현재 위치를 기반으로 설정 범위 내 병원 정보를 출력시키기 위한 병원안내정보처리레이어(2150);a hospital guide information processing layer 2150 for outputting hospital information within a setting range based on the current location when the skin disease diagnosis result is a malignant disease or a simple skin disease;
    피부질환 진단결과가 악성 질환, 단순 피부 질환인 경우에, 병원 내진이나 조직검사를 안내하는 안내메세지를 출력시키기 위한 부연안내정보처리레이어(2160);를 더 포함하는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.When the skin disease diagnosis result is a malignant disease or a simple skin disease, an amplification guide information processing layer 2160 for outputting a guide message guiding a hospital visit or a biopsy; Reading aids using data.
  10. 제 8항에 있어서,9. The method of claim 8,
    상기 스마트기기(2000)는,The smart device 2000,
    의사단말기(3000)로 획득된 피부질환 이미지와 피부질환 진단결과를 제공하여 진단 결과의 전문가 확인을 요청하기 위한 전문가진단결과획득부(2200);를 더 포함하여 구성되는 것을 특징으로 하는 비정형 피부질환 영상데이터를 활용한 판독보조장치.Atypical skin disease, characterized in that it further comprises; A reading aid using image data.
PCT/KR2020/008024 2020-01-31 2020-06-20 Device for assisting identification by using atypical skin disease image data WO2021153858A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0011633 2020-01-31
KR1020200011633A KR102162683B1 (en) 2020-01-31 2020-01-31 Reading aid using atypical skin disease image data

Publications (1)

Publication Number Publication Date
WO2021153858A1 true WO2021153858A1 (en) 2021-08-05

Family

ID=72883661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008024 WO2021153858A1 (en) 2020-01-31 2020-06-20 Device for assisting identification by using atypical skin disease image data

Country Status (2)

Country Link
KR (1) KR102162683B1 (en)
WO (1) WO2021153858A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808738A (en) * 2021-09-18 2021-12-17 安徽爱朋科技有限公司 Disease identification system based on self-identification image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114093507B (en) * 2021-11-26 2024-02-13 南京邮电大学 Intelligent dermatological classification method based on contrast learning in edge computing network
KR102654796B1 (en) * 2021-11-29 2024-04-11 (주)스톤랩 System for Differential Diagnosis of Dermatitis using Non-invasive Skin Biomarkers based on Visual Artificial Intelligence and Method Thereof
CN115631386B (en) * 2022-12-19 2023-03-10 天津医之本医疗科技有限公司 Pathological image classification method and system based on machine learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (en) * 2012-08-03 2014-02-13 삼성전자주식회사 Apparatus and method for lesion analysis in medical images
KR101792541B1 (en) * 2016-10-20 2017-11-02 주식회사 에프앤디파트너스 Smart Device Skin care service system using Skin Diagnostic Information
KR20180068703A (en) * 2016-12-14 2018-06-22 최성숙 Self oral care service system and Method thereof
KR20190051256A (en) * 2017-11-06 2019-05-15 주식회사 베이바이오텍 Method for evaluating condition of skin based on image analysis result and skin recognizer and program for executing the method
KR102041906B1 (en) * 2019-03-06 2019-11-07 주식회사 에프앤디파트너스 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (en) 2015-08-06 2016-05-23 주식회사 루닛 Pathological diagnosis classifying apparatus for medical image and pathological diagnosis system using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018748A (en) * 2012-08-03 2014-02-13 삼성전자주식회사 Apparatus and method for lesion analysis in medical images
KR101792541B1 (en) * 2016-10-20 2017-11-02 주식회사 에프앤디파트너스 Smart Device Skin care service system using Skin Diagnostic Information
KR20180068703A (en) * 2016-12-14 2018-06-22 최성숙 Self oral care service system and Method thereof
KR20190051256A (en) * 2017-11-06 2019-05-15 주식회사 베이바이오텍 Method for evaluating condition of skin based on image analysis result and skin recognizer and program for executing the method
KR102041906B1 (en) * 2019-03-06 2019-11-07 주식회사 에프앤디파트너스 API engine for discrimination of facial skin disease based on artificial intelligence that discriminates skin disease by using image captured through facial skin photographing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808738A (en) * 2021-09-18 2021-12-17 安徽爱朋科技有限公司 Disease identification system based on self-identification image

Also Published As

Publication number Publication date
KR102162683B1 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
WO2021153858A1 (en) Device for assisting identification by using atypical skin disease image data
WO2016171341A1 (en) Cloud-based pathology analysis system and method
WO2020242239A1 (en) Artificial intelligence-based diagnosis support system using ensemble learning algorithm
US20140316235A1 (en) Skin imaging and applications
WO2021049729A1 (en) Method for predicting likelihood of developing lung cancer by using artificial intelligence model, and analysis device therefor
WO2017022882A1 (en) Apparatus for classifying pathological diagnosis of medical image, and pathological diagnosis system using same
WO2021025458A1 (en) Device for analyzing mobile in-vitro diagnostic kit by using multimedia information
WO2019054638A1 (en) Image analysis method and apparatus and computer program
WO2016159710A1 (en) Mobile multispectral imaging device, user terminal for acquiring multispectral image, spectral image analysis server and method thereof
WO2016159523A1 (en) Biometric information acquisition method and device for same
WO2019235828A1 (en) Two-face disease diagnosis system and method thereof
WO2021054518A1 (en) Method, device, and software program for diagnosing cervical cancer by using medical image analysis based on artificial intelligence technology
WO2015041451A1 (en) Image diagnosis device for photographing breast by using matching of tactile image and near-infrared image and method for acquiring breast tissue image
WO2022030685A1 (en) Skin disease detection system and skin disease management method using portable terminal
Kudva et al. Andriod device-based cervical cancer screening for resource-poor settings
WO2020032559A2 (en) System and method for disease diagnosis using neural network
WO2019045385A1 (en) Image alignment method and device therefor
WO2021261808A1 (en) Method for displaying lesion reading result
WO2022045746A1 (en) Computing apparatus and method for authentication of pattern code including facial feature information
WO2019221586A1 (en) Medical image management system, method, and computer-readable recording medium
WO2022169045A1 (en) Cfu recognition method using trained deep learning model
WO2021225226A1 (en) Alzheimer diagnosis device and method
WO2021201582A1 (en) Method and device for analyzing causes of skin lesion
CN112907571A (en) Target judgment method based on multispectral image fusion recognition
WO2020222555A1 (en) Image analysis device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917074

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20917074

Country of ref document: EP

Kind code of ref document: A1