WO2021141187A1 - 피부 이미지 기반의 피부질환 판별 장치 - Google Patents

피부 이미지 기반의 피부질환 판별 장치 Download PDF

Info

Publication number
WO2021141187A1
WO2021141187A1 PCT/KR2020/008023 KR2020008023W WO2021141187A1 WO 2021141187 A1 WO2021141187 A1 WO 2021141187A1 KR 2020008023 W KR2020008023 W KR 2020008023W WO 2021141187 A1 WO2021141187 A1 WO 2021141187A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
skin
skin disease
class
disease
Prior art date
Application number
PCT/KR2020/008023
Other languages
English (en)
French (fr)
Inventor
장현재
김석호
Original Assignee
주식회사 에프앤디파트너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프앤디파트너스 filed Critical 주식회사 에프앤디파트너스
Publication of WO2021141187A1 publication Critical patent/WO2021141187A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a skin image-based skin disease discrimination device, and more specifically, classifies skin disease image information into a pre-set class using a convolutional neural network, learns it, stores and manages it, and performs user authentication.
  • a skin image for re-learning by determining whether the skin disease image obtained from the user belongs to skin cancer, skin pigmentation disease, infectious disease, or normal skin, and providing it to the user terminal, and at the same time providing it to the image-based skin disease learning unit It relates to a skin disease identification device based on
  • machine learning has been applied in various fields from software technology to finance and economy, and in particular, it is positioned as a core technology leading the rapid development of computer vision and image processing fields.
  • machine learning technology has been widely used in the field of medical diagnosis including medical image analysis and overall medical image analysis such as extraction and segmentation of organs or cancer sites from medical images, image registration, and image search.
  • Such machine learning technology is a field of artificial intelligence (AI) and refers to algorithms and related fields that learn patterns or characteristics from given data to perform analysis on new data.
  • AI artificial intelligence
  • the deep learning technique is a model of an artificial neural network that mimics the nervous system of an organism. If the existing artificial neural network model consists of a thin layer of neuron models, the deep learning technique builds a deep layer of neuron models. It is a technique to apply a model that increases the learning ability of a neural network by raising it.
  • the data-based artificial intelligence system generated by applying all the data used by doctors for diagnosis in the medical field that is, various clinical information other than medical images, has improved diagnostic performance compared to medical machine learning algorithms learned only from medical images. can be expected
  • One of the prior art in response to such a request is a pathology diagnosis classification apparatus for medical images and a pathology diagnosis system using the same described in Korean Patent Registration No. 10-1623431 (20160523).
  • This prior art is to perform pathological diagnosis by receiving a micrograph of cell staining as an input, and by receiving a medical image as an input, extracting feature data by a feature extracting unit, and providing pathological diagnosis classification results through feature vector conversion. .
  • the prior art only provides to classify and analyze the pattern of lesions by applying to a module learned through any one of the machine learning algorithms, and extracts both the features of deep learning-based medical images and machine learning-based clinical information. There is still a limit in improving the diagnostic performance because the technique for learning by doing so is not applied.
  • skin cancer is mainly looked at carefully with the naked eye or a microscope, and when skin cancer is suspected, a biopsy is performed.
  • the biopsy requires pain and wounds to remove the skin tissue, and a lot of money and time. need.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-1623431 (2016.05.23)
  • Patent Document 2 Republic of Korea Patent Publication No. 10-2014-0018748 (2014.02.13)
  • a first object of the present invention is to classify skin disease image information into a preset class using a convolutional neural network, then learn it and store and manage it. In addition, it determines whether the skin disease image obtained from the user who has undergone user authentication belongs to skin cancer, skin pigment disease, and infectious disease, and provides it to the user terminal, and at the same time provides it to the image-based skin disease learning unit for re-learning. to make it possible
  • the second object of the present invention is through the user request image class determining unit 200,
  • the weight value calculated with respect to the image image obtained to determine the skin disease is a weight value having a larger value than the sum of two weight values among the skin cancer weight value, the skin disease weight value, and the normal skin weight value.
  • an apparatus for determining skin disease based on a skin image according to an embodiment of the present invention
  • an image-based skin disease learning unit 100 After acquiring the skin disease image information to be learned, using a convolutional neural network to convert it into data that can be classified as a preset class, and using the converted data to determine the class with the highest value using a numerical calculation function, after learning , an image-based skin disease learning unit 100 for storing and processing the learned skin disease image information in the corresponding class field of the class information storage module;
  • Size, direction, magnification, brightness, and noise removal are performed on the skin disease image information obtained from the user to improve skin disease discrimination, and the preprocessed skin disease image information is labeled and stored in the user labeling information storage module.
  • the skin disease image information is convolved using a convolutional neural network to extract a feature point, and then compares the extracted feature point with the skin disease image information stored in the class information storage module and classifies it into a corresponding class, the classified class
  • the result value is transmitted to the user terminal with reference to the labeling information stored in the user labeling information storage module, and provided to the image-based skin disease learning unit 100 to be re-learned by the image-based skin disease learning unit 100 It includes a user request image class determining unit 200 to ensure that.
  • the image-based skin disease learning unit 100 After configuring the image-based skin disease learning unit 100 to classify skin disease image information into a pre-set class using a convolutional neural network, it learns, stores, and manages the skin disease image obtained from a user who has undergone user authentication Determines which skin cancer, skin pigment disease and infectious disease belongs to, and provides it to the user's terminal, and at the same time provides it to the image-based skin disease learning unit so that it can be re-learned, what is the exact type of skin disease, In particular, it exerts the effect of increasing the probability of skin cancer diagnosis.
  • the weight value calculated for the image image obtained to determine the skin disease is a weight value of two of a skin cancer weight value, a skin disease weight value, and a normal skin weight value.
  • 1 is an exemplary view showing the shape of a general point and skin cancer.
  • FIG. 2 is an exemplary diagram for diagnosing skin cancer with a handy skin cancer diagnosis device in a hospital.
  • FIG. 3 is a block diagram of an apparatus for determining a skin disease based on a skin image according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram of a data image of an apparatus for determining a skin disease based on a skin image according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of an image-based skin disease learning unit 100 of a skin image-based skin disease discrimination apparatus according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram of converting skin disease image information of a skin image-based skin disease determining apparatus according to an embodiment of the present invention according to the specification of a CNN structure.
  • FIG. 7 is an exemplary diagram for converting a converted image of the skin image-based skin disease determining apparatus according to an embodiment of the present invention into data capable of classifying through convolution.
  • FIG. 8 is an exemplary diagram of changing the class classification data of the apparatus for determining a skin disease based on a skin image according to an embodiment of the present invention so that the sum of three classes is 1;
  • FIG. 9 is an exemplary diagram for calculating the accuracy of each class of the skin image-based skin disease determining apparatus according to an embodiment of the present invention and determining the class having the highest numerical value.
  • FIG. 10 is a block diagram of a user-requested image class discrimination unit 200 of an apparatus for determining skin disease based on a skin image according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of a convolution operation of an apparatus for determining skin disease based on a skin image according to an embodiment of the present invention.
  • an image-based skin disease learning unit 100 After acquiring the skin disease image information to be learned, using a convolutional neural network to convert it into data that can be classified as a preset class, and using the converted data to determine the class with the highest value using a numerical calculation function, after learning , an image-based skin disease learning unit 100 for storing and processing the learned skin disease image information in the corresponding class field of the class information storage module;
  • Size, direction, magnification, brightness, and noise removal are performed on the skin disease image information obtained from the user to improve skin disease discrimination, and the preprocessed skin disease image information is labeled and stored in the user labeling information storage module.
  • the skin disease image information is convolved using a convolutional neural network to extract a feature point, and then compares the extracted feature point with the skin disease image information stored in the class information storage module and classifies it into a corresponding class, the classified class
  • the result value is transmitted to the user terminal with reference to the labeling information stored in the user labeling information storage module, and provided to the image-based skin disease learning unit 100 to be re-learned by the image-based skin disease learning unit 100 It is characterized in that it is configured to include a user request image class determining unit 200 to ensure that.
  • It is characterized by including skin cancer image information, skin pigmentation disease and infectious disease image information, and normal skin image information.
  • the weight value calculated with respect to the image image obtained to determine the skin disease is a weight value having a larger value than the sum of two weight values among the skin cancer weight value, the skin disease weight value, and the normal skin weight value. , to improve the skin disease identification performance by determining any one of the skin, and at the same time providing the determination result to the image-based skin disease learning unit 100 to re-learning through the image-based skin disease learning unit 100 characterized.
  • the device In order to acquire skin disease image information to be learned, it is characterized in that the device is connected to a camera to receive a direct input image or to receive input from a wireless network or an Internet network.
  • FIG. 3 is a block diagram of an apparatus for determining a skin disease based on a skin image according to an embodiment of the present invention.
  • the skin image-based skin disease determination apparatus 1000 is configured to include an image-based skin disease learning unit 100 and a user request image class determination unit 200 .
  • the skin disease discrimination device described in the present invention means a skin (skin) image analysis device, and in other words, it means a skin (derma) image analysis device.
  • the image-based skin disease learning unit 100 the image-based skin disease learning unit 100
  • the learned skin disease image information is stored and processed in the corresponding class field of the class information storage module.
  • a plurality of skin disease image information to be learned as shown in FIG. 4 is searched through the image search engine 10, and the searched information is acquired from the image-based skin disease learning unit 100 and learned using a convolutional neural network. It will be stored in the class information storage module.
  • the skin disease image information to be learned is,
  • the above-mentioned skin cancer means a skin disease such as basal cell carcinoma and melanoma.
  • the device In order to acquire skin disease image information to be learned, it is characterized in that the device is connected to a camera to receive a direct input image or to receive input from a wireless network or an Internet network.
  • Size, direction, magnification, brightness, and noise removal are performed on the skin disease image information obtained from the user to improve skin disease discrimination, and the preprocessed skin disease image information is labeled and stored in the user labeling information storage module.
  • the skin disease image information is convolved using a convolutional neural network to extract a feature point, and then compares the extracted feature point with the skin disease image information stored in the class information storage module and classifies it into a corresponding class, the classified class
  • the result value is transmitted to the user terminal with reference to the labeling information stored in the user labeling information storage module, and provided to the image-based skin disease learning unit 100 to be re-learned by the image-based skin disease learning unit 100 function will be performed.
  • a function to perform user authentication a function to obtain skin disease image information for judging skin diseases from the user, a function to label and store the acquired image information, and a function to classify classes using a convolutional neural network , a function of transmitting the classified class result value to the corresponding user terminal with reference to the labeling information stored in the corresponding user labeling information storage module, and providing the image-based skin disease learning unit 100 to the image-based skin disease learning unit 100 It performs the function of re-learning through
  • FIG. 5 is a block diagram of the image-based skin disease learning unit 100 of the skin image-based skin disease discrimination apparatus according to an embodiment of the present invention.
  • the image-based skin disease learning unit 100 As shown in Figure 5, the image-based skin disease learning unit 100,
  • a skin disease image information acquisition module 110 for acquiring skin disease image information to be learned
  • a skin disease image conversion module 120 for converting the acquired skin disease image information according to the specifications of the CNN structure
  • a class classification data conversion module 130 for converting the converted skin disease image information into data that can be classified in a preset class using a convolutional neural network
  • a data changing module 140 for changing the data capable of classifying the class so that the sum of the preset classes becomes 1;
  • a class determination module 150 for determining a class having the highest numerical value
  • a class information processing module 160 for storing and processing the skin disease image information to be learned in a corresponding class field of the class information storage module;
  • a class information storage module 170 that stores the skin disease image information learned for each class.
  • the skin disease image information acquisition module 110 acquires skin disease image information to be learned.
  • n images are prepared, and they can be classified into preset classes.
  • skin cancer image information, skin pigment disease and infectious disease image information, and normal skin image information can be classified in advance into three classes, and the skin cancer may mean, for example, basal cell cancer, melanoma, and the like.
  • Pigment diseases and infectious diseases may mean seborrheic keratosis, actinic keratosis, and the like, and may mean normal skin spots, age spots, and the like.
  • the skin disease image conversion module 120 converts the acquired skin disease image information according to the specifications of the CNN structure.
  • FIG. 6 shows an example of converting skin disease image information according to the specification of the CNN structure in detail.
  • the class classification data conversion module 130 converts the converted skin disease image information into data that can be classified in a preset class using a convolutional neural network.
  • the converted image data is converted into data capable of classifying through convolution.
  • the data change module 140 changes the data capable of classifying the data so that the sum of the preset classes becomes 1.
  • the data that can be classified into a class is changed so that the sum of three classes is 1.
  • the class determination module 150 calculates the accuracy of each class and determines the class having the highest numerical value.
  • the image is stored in the cancer class field.
  • the class information processing module 160 stores and processes the skin disease image information to be learned in the corresponding class field of the class information storage module.
  • the class information storage module 170 stores the skin disease image information learned for each class.
  • FIG. 10 is a block diagram of a user-requested image class discrimination unit 200 of an apparatus for determining skin disease based on a skin image according to an embodiment of the present invention.
  • the user request image class determining unit 200 As shown in Figure 10, the user request image class determining unit 200,
  • a skin disease image information acquisition module 220 for acquiring skin disease image information in order to determine a skin disease from the user terminal when logging in after performing the user authentication;
  • a user labeling execution module 230 for performing labeling on the acquired skin disease image information and storing and processing the user labeling information storage module;
  • a user labeling information storage module 240 for storing the labeling information provided by the user labeling execution module and the corresponding skin disease image information
  • a judgment target image feature point extraction module 250 for extracting feature points by convolving the skin disease image information using a convolutional neural network to determine a skin disease
  • a target image class classification module 260 for classifying into a corresponding class by comparing it with the skin disease image information stored in the class information storage module 170 with reference to the extracted feature points.
  • the user authentication performing module 210 performs a function for performing user authentication, for example, provides a login page, and displays an ID, password, address, contact information, name, etc. on the login page. will be input
  • the skin disease image information acquisition module 220 acquires skin disease image information in order to determine a skin disease from the user terminal when the user logs in using the user terminal after performing the user authentication.
  • a page for acquiring an image of a skin disease is provided, and an image attached to the page is acquired.
  • the user labeling execution module 230 performs labeling on the acquired skin disease image information, and stores it in the user labeling information storage module.
  • image labeling is additionally performed on user ID, access user terminal unique number, access date, image upload date, and skin disease image, and the performed labeling information and skin disease data image information are stored in the user labeling information storage module 240 ) will be stored and processed.
  • the judgment target image feature point extraction module 250 performs a function for extracting feature points by convolving the skin disease image information using a convolutional neural network to determine a skin disease.
  • the convolution is performed to extract the feature point.
  • the target image class classification module 260 performs a function for classifying into a corresponding class by comparing the extracted feature points with skin disease image information stored in the class information storage module 170 .
  • skin cancer is determined through the feature points of a new skin disease image to be determined, it is classified into a corresponding skin cancer class, stored, and notified through the user terminal.
  • the target image class discrimination unit 200 the target image class discrimination unit 200
  • the weight value calculated with respect to the image image obtained to determine the skin disease is a weight value having a larger value than the sum of two weight values among the skin cancer weight value, the skin disease weight value, and the normal skin weight value.
  • a weight value determination module 270 for determining any one of normal skin is a weight value having a larger value than the sum of two weight values among the skin cancer weight value, the skin disease weight value, and the normal skin weight value.
  • the re-learning progress module 280 for improving the skin disease discrimination performance by providing the determination result to the image-based skin disease learning unit 100 and re-learning through the image-based skin disease learning unit 100; further including configurable.
  • the skin cancer weight value is 60
  • the skin disease weight value is 30, and the skin weight value is usually 10 days.
  • the skin cancer weight value has a larger value than the sum of the skin disease weight value and the normal skin weight value, the corresponding image B can be diagnosed as skin cancer.
  • the target image class determining unit 200 determines whether the target image class belongs to the target image class based unit 200.
  • the learning discrimination power improvement processing module 290 for increasing the learning discrimination power by preprocessing the skin disease image information obtained from the user into at least one set item among size, direction, magnification, brightness, and noise removal; have.
  • the skin disease image information obtained through the learning discrimination power improvement processing module 290 may be pre-processed into at least one set item among size, direction, magnification, brightness, and noise removal. If the size is a square with the same size horizontally and vertically, the direction is horizontal, and the magnification is set such as 2x magnification, the size, direction, and magnification of the acquired skin disease image information are adjusted as described above to convert a plurality of images to the same size and direction , to increase the discrimination power of learning by CNN by preprocessing with magnification.
  • noise removal when noise removal is performed, a noise filtering function is provided and noise is removed through this, so that it is possible to increase learning discrimination power by CNN.
  • Convolution described in the present invention is mainly used for filter operation in the image processing field, and is used to implement a filter for extracting feature points from an image.
  • the yellow part of the entire image is the area where convolution is taking place
  • the red text corresponds to the kernel of the convolution
  • the 4 on the right comes out, and the mask is moved by one space to repeat the final result can get
  • the embodiment of the present invention classifies and combines input images into pattern images robust to each environment in order to solve the problem of poor quality of learning information due to various environmental problems, and then learns various environmental problems ( Not only can it improve the quality of image learning information, which is vulnerable to shaking, illuminance, noise, reduction in recognition rate, etc.) , provides a convolutional neural network (CNN)-based device for skin disease discrimination that can acquire higher quality learning information in that different patterns can be applied to each layer.
  • CNN convolutional neural network
  • the image-based skin disease learning unit 100 is configured to classify skin disease image information into a pre-set class using a convolutional neural network, then learns it, stores and manages it, and collects information from the user through user authentication. It determines whether the acquired skin disease image belongs to skin cancer, skin pigmentation disease, infectious disease, or normal skin, and provides it to the user terminal, and at the same time provides it to the image-based skin disease learning unit for re-learning. What is the type, in particular, it will exert the effect of increasing the probability of diagnosis of skin cancer.
  • the skin image-based skin disease determination apparatus configures the image-based skin disease learning unit 100 to classify skin disease image information into a preset class using a convolutional neural network, then learns and stores it It determines whether the skin disease image acquired from the user who has undergone user authentication belongs to skin cancer, skin pigmentation disease, infectious disease, and normal skin, and provides it to the user terminal, and at the same time provides it to the image-based skin disease learning unit for re-learning By making it possible, it has the effect of increasing the exact type of skin disease, in particular, the probability of diagnosing skin cancer, and thus has high industrial applicability.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 피부 이미지 기반의 피부질환 판별 장치에 관한 것으로서, 더욱 상세하게는 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 하기 위한 피부 이미지 기반의 피부질환 판별 장치에 관한 것이다.

Description

피부 이미지 기반의 피부질환 판별 장치
본 발명은 피부 이미지 기반의 피부질환 판별 장치에 관한 것으로서, 더욱 상세하게는 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 하기 위한 피부 이미지 기반의 피부질환 판별 장치에 관한 것이다.
최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.
또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.
이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.
그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.
딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.
여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.
일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다.
또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.
이러한 요구에 따른 종래 기술 중 하나는 대한민국 등록특허공보 10-1623431호(20160523)에 기재된 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템이다.
이 종래 기술은 세포염색의 현미경 사진 등을 입력으로 받아 병리 진단을 수행하는 것으로서, 의료영상을 입력으로 받아 특징 추출부에 의한 특징 데이터를 추출하고 특징 벡터 변환을 통한 병리 진단 분류 결과를 제공하고 있다.
그러나, 종래 기술 대부분은 단순히 세포염색의 현미경 사진을 입력으로 받아 특징을 추출하여 병리 진단을 수행함에 있어서, 임상정보에서 추출한 특징 정보를 반영하지 않기 때문에 병변 진단 성능을 높이는데 한계가 있다.
또 다른 종래 기술은 대한민국 공개특허공보 제10-2014-0018748(20140213)에 기재된 기술로서, 이 기술은 의료 영상에서 TAS(Threshold Adjacency Statistics) 특징점을 이용하여 병변의 형태학적 특징과 질감을 신속 정확하게 분석한다.
그러나, 종래 기술은 기계학습 알고리즘 중의 어느 하나를 통해 학습된 모듈에 적용하여 병변의 패턴을 분류하고 분석하는 것을 제공할 뿐, 딥러닝 기반 의료영상의 특징과 머신러닝 기반 임상정보의 특징을 모두 추출하여 학습시키는 기법을 적용하고 있지 않으므로 여전히 진단 성능을 높이는데 한계가 있다.
한편, 미국에서는 피부암으로 인하여 매시간마다 1명꼴로 피부암으로 인하여 사망하고 있다.
그리고, 매년 5명 중 1명이 피부암 진단을 받으며, 5백 만명이 피부암으로 인해 치료를 받고 있으므로 피부암은 매우 심각한 사회적 문제로 대두되고 있다.
이러한 피부암은 자각 증상이 없기 때문에 주기적으로 확인하는 것이 중요하다.
도 1에 도시한 바와 같이, 피부암은 주로 육안이나 현미경으로 주의깊게 살펴 보고, 피부암이 의심스러울 경우 조직검사를 하게 되는데, 특히 조직검사는 피부조직을 떼어내는 고통과 상처, 그리고 많은 비용과 시간이 필요하다.
근래에는 레이저의 분광특성을 이용하여 피부암을 진단하는 기술도 개발되었지만, 이러한 방법들은 모두 병원을 방문해야 한다.
즉, 주기적으로 확인하기 위해서 매번 병원에 가는 것은 어려운 게 현실이다.
또한, 도 1에 도시한 바와 같이, 일반인들이 일반 점과 피부암이 그 형상과 크기가 비슷하므로 육안으로 판단한다는 것은 불가능하다.
도 2의 경우에는 병원에 가도 주치의에 의해 핸디 타입 진단기로 눈으로 확인하여 피부암을 진단하게 되지만, 적중률은 90% 미만으로 좀 더 정확한 진단 기술이 필요한 실정이다.
한편, 지속적으로 피부에 대한 이미지를 데이터베이스화하여 실시간으로 갱신하는 기술 개발이 필요한 실정이며, 이를 활용하여 판별을 요청하는 피부 이미지에 대한 판별 결과와 이미지를 재차 제공하여 재학습하여 피부 질환 판별 성능을 더욱 향상시킬 수 있는 기술이 필요하게 되었다.
<선행기술문헌>
(특허문헌 1) 대한민국등록특허공보 제10-1623431호(2016.05.23)
(특허문헌 2) 대한민국공개특허공보 제10-2014-0018748호(2014.02.13)
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 하는데 있다.
본 발명의 제2 목적은 사용자의뢰이미지클래스판별부(200)를 통해,
피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하며, 동시에 이미지기반피부질환학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환학습부(100)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치는,
학습할 피부 질환 이미지 정보를 획득하여 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환학습부(100)와,
사용자로부터 획득한 피부 질환 이미지 정보에 대하여 사이즈, 방향, 배율, 밝기, 노이즈 제거를 실시하여 피부질환 판별력을 높이고, 상기 전처리된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)에 의해 재학습할 수 있도록 하기 위한 사용자의뢰이미지클래스판별부(200)를 포함한다.
본 발명에 따른 피부 이미지 기반의 피부질환 판별 장치는,
이미지기반피부질환학습부(100)를 구성하여 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 피부암 진단 확률을 높이는 효과를 발휘하게 된다.
즉, 사전에 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과와 정확한 피부 질환의 종류를 분류할 수 있는 효과를 발휘한다.
또한, 사용자의뢰이미지클래스판별부(200)를 구성함으로써, 피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별되도록 함으로써, 학습 변별력을 높이는 효과와 변별 속도를 높이는 효과를 발휘하게 된다.
도 1은 일반 점과 피부암의 형상을 나타낸 예시도.
도 2는 병원에서 핸디 피부암 진단장치로 피부암을 진단하는 예시도.
도 3은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 구성도.
도 4는 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 데이터 이미지 예시도.
도 5는 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 이미지기반피부질환학습부(100) 블록도.
도 6은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시도.
도 7은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 변환된 이미지를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하는 예시도.
도 8은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 클래스 분류가 가능한 데이터를 3개의 class의 합이 1이 나오게 변경하는 예시도.
도 9는 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 각 클래스의 정확도를 계산하고 가장 높은 수치를 가진 클래스를 판단하는 예시도.
도 10은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 사용자의뢰이미지클래스판별부(200) 블록도.
도 11은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 Convolution 연산 예시도.
<부호의 설명>
100 : 이미지기반피부질환학습부
200 : 사용자의뢰이미지클래스판별부
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치는,
학습할 피부 질환 이미지 정보를 획득하여 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환학습부(100)와,
사용자로부터 획득한 피부 질환 이미지 정보에 대하여 사이즈, 방향, 배율, 밝기, 노이즈 제거를 실시하여 피부질환 판별력을 높이고, 상기 전처리된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)에 의해 재학습할 수 있도록 하기 위한 사용자의뢰이미지클래스판별부(200)를 포함하여 구성되는 것을 특징으로 한다.
또한, 학습할 피부 질환 이미지 정보는,
피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보를 포함하는 것을 특징으로 한다.
또한, 사용자의뢰이미지클래스판별부(200)를 통해,
피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하며, 동시에 이미지기반피부질환학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환학습부(100)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키는 것을 특징으로 한다.
또한, 이미지기반피부질환학습부(100)는,
학습할 피부 질환 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.
이하, 본 발명에 의한 피부 이미지 기반의 피부질환 판별 장치의 실시예를 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 구성도이다.
도 3에 도시한 바와 같이, 피부 이미지 기반의 피부질환 판별 장치(1000)는, 이미지기반피부질환학습부(100)와 사용자의뢰이미지클래스판별부(200)를 포함하여 구성되게 된다.
본 발명에서 설명하고 있는 피부질환 판별 장치는 스킨(피부) 이미지 분석 장치를 의미하며, 다른 의미로 피부(더마) 이미지 분석 장치를 의미한다.
구체적으로 설명하면, 상기 이미지기반피부질환학습부(100)는,
학습할 피부 질환 이미지 정보를 획득하여 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 된다.
즉, 도 4와 같은 복수 개의 학습할 피부 질환 이미지 정보를 이미지검색엔진(10)을 통해 검색하고, 해당 검색된 정보를 이미지기반피부질환학습부(100)에서 획득하여 합성곱 신경망을 이용하여 학습하여 클래스정보저장모듈에 저장하게 되는 것이다.
이때, 특징적인 사항으로서, 학습할 피부 질환 이미지 정보는,
피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보 중 적어도 2개 이상의 이미지 정보를 포함하는 것을 특징으로 하고 있다.
상기한 피부암이란, 기저 세포암, 흑색종 등과 같은 피부 질환을 의미하게 된다.
또한, 상기 이미지기반피부질환학습부(100)는,
학습할 피부 질환 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.
즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 이미지 검색 엔진에 의하여 각종 영상 이미지를 획득할 수 있게 된다.
또한, 상기 사용자의뢰이미지클래스판별부(200)는,
사용자로부터 획득한 피부 질환 이미지 정보에 대하여 사이즈, 방향, 배율, 밝기, 노이즈 제거를 실시하여 피부질환 판별력을 높이고, 상기 전처리된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)에 의해 재학습할 수 있는 기능을 수행하게 된다.
즉, 사용자 인증을 수행하는 기능, 해당 사용자로부터 피부 질환 판단을 위한 피부 질환 이미지 정보를 획득하는 기능, 획득된 이미지 정보에 라벨링을 수행하여 저장하는 기능, 합성곱 신경망을 이용하여 클래스를 분류하는 기능, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하는 기능, 이미지기반피부질환학습부(100)로 제공하여 이미지기반피부질환학습부(100)를 통해 재학습시키는 기능 등을 수행하게 된다.
도 5는 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 이미지기반피부질환학습부(100) 블록도이다.
도 5에 도시한 바와 같이, 이미지기반피부질환학습부(100)는,
학습할 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(110);
상기 획득된 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 피부질환이미지변환모듈(120);
상기 변환된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하기 위한 클래스별분류데이터변환모듈(130);
상기 클래스 분류가 가능한 데이터를 사전에 설정된 클래스의 합이 1이 되도록 변경하기 위한 데이터변경모듈(140);
가장 높은 수치를 가진 클래스를 판단하기 위한 클래스판단모듈(150);
상기 학습할 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(160);
상기 클래스별 학습한 피부 질환 이미지 정보를 저장하고 있는 클래스정보저장모듈(170);을 포함하여 구성되는 것을 특징으로 한다.
구체적으로 설명하면, 피부질환이미지정보획득모듈(110)은 학습할 피부 질환 이미지 정보를 획득하게 된다.
예를 들어, n개의 이미지를 준비하는데, 사전에 설정된 클래스로 구분할 수 있다.
즉, 피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보라는 3개의 클래스로 사전에 구분할 수 있으며, 피부암에는 예를 들어, 기저 세포 암, 흑색종 등을 의미할 수 있으며, 피부 색소 질환 및 감염성 질환에는 지루성 각화증, 광선 각화증 등을 의미할 수 있으며, 보통 피부는 일반적인 점, 검버섯 등을 의미할 수 있다.
이때, 상기 피부질환이미지변환모듈(120)은 상기 획득된 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키게 된다.
도 6에 피부 질환 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시를 구체적으로 도시하였다.
이후, 클래스별분류데이터변환모듈(130)은 상기 변환된 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하게 된다.
즉, 도 7과 같이, 변환된 이미지 데이터를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하게 되는 것이다.
이후, 데이터변경모듈(140)은 상기 클래스 분류가 가능한 데이터를 사전에 설정된 클래스의 합이 1이 되도록 변경하게 된다.
즉, 도 8과 같이, 클래스 분류가 가능한 데이터를 3개의 클래스의 합이 1이 나오도록 변경하는 것이다.
이후, 클래스판단모듈(150)은 각 클래스의 정확도를 계산하고, 가장 높은 수치를 가진 클래스를 판단하게 된다.
즉, 도 9와 같이, 각 클래스의 정확도를 계산하고, 가장 높은 수치를 가진 클래스를 찾게 된다.
예를 들어, A의 피부 질환 이미지가 암으로 판단된다면, 해당 이미지를 암 클래스 필드에 저장하게 된다.
즉, 클래스정보처리모듈(160)은 상기 학습할 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 되는 것이다.
따라서, 상기 클래스정보저장모듈(170)에는 상기 클래스별 학습한 피부 질환 이미지 정보를 저장하고 있게 되는 것이다.
도 10은 본 발명의 일실시예에 따른 피부 이미지 기반의 피부질환 판별 장치의 사용자의뢰이미지클래스판별부(200) 블록도이다.
도 10에 도시한 바와 같이, 상기 사용자의뢰이미지클래스판별부(200)는,
사용자 인증을 수행하기 위한 사용자인증수행모듈(210);
상기 사용자 인증을 수행한 후, 로그인시, 해당 사용자단말기로부터 피부 질환을 판단하기 위하여 피부 질환 이미지 정보를 획득하기 위한 피부질환이미지정보획득모듈(220);
상기 획득된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(230);
상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 피부 질환 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(240);
피부 질환을 판단하기 위하여 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(250);
상기 추출된 특징점을 참조하여 클래스정보저장모듈(170)에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 타겟이미지클래스분류모듈(260);을 포함하여 구성되는 것을 특징으로 한다.
구체적으로 설명하면, 사용자인증수행모듈(210)은 사용자 인증을 수행하기 위한 기능을 수행하게 되는데, 예를 들어, 로그인 페이지를 제공하고, 로그인 페이지 상에 아이디, 비번, 주소, 연락처, 성명 등을 입력하게 된다.
이때, 입력된 정보를 토대로 개인 정보를 저장하여 관리하게 된다.
이후, 피부질환이미지정보획득모듈(220)은 상기 사용자 인증을 수행한 후, 사용자가 사용자단말기를 이용하여 로그인시, 해당 사용자단말기로부터 피부 질환을 판단하기 위하여 피부 질환 이미지 정보를 획득하게 된다.
즉, 피부 질환 이미지를 획득하기 위한 페이지를 제공하고, 해당 페이지에 첨부된 이미지를 획득하게 되는 것이다.
그리고, 상기 사용자라벨링실행모듈(230)은 상기 획득된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.
예를 들어, 사용자 아이디, 접속 사용자단말기 고유 번호, 접속 일자, 이미지 업로딩 일자, 피부 질환 이미지에 추가적으로 이미지 라벨링을 수행하게 되고, 수행된 라벨링 정보와 피부 질환 데이터 이미지 정보를 사용자라벨링정보저장모듈(240)에 저장 처리하게 되는 것이다.
그리고, 상기 판단대상이미지특징점추출모듈(250)은 피부 질환을 판단하기 위하여 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출하기 위한 기능을 수행하게 된다.
즉, 도 11과 같이, 컨볼루션하게 되어 이를 통해 특징점을 추출하게 되는 것이다.
그리고, 상기 타겟이미지클래스분류모듈(260)은 추출된 특징점을 참조하여 클래스정보저장모듈(170)에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 기능을 수행하게 된다.
예를 들어, 판단하고자 하는 새로운 피부 질환 이미지의 특징점을 통해 피부암으로 판단되면 해당하는 피부암 클래스로 분류하여 이를 저장하고, 사용자단말기를 통해 이를 알려주게 된다.
또한, 부가적인 양태에 따라 타켓이미지클래스판별부(200)는,
피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하기 위한 가중치값판별모듈(270);
이미지기반피부질환학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환학습부(100)를 통해 재학습하도록 하여 피부 질환 판별 성능을 향상시키는 재학습진행모듈(280);을 더 포함하여 구성할 수 있다.
즉, B라는 새로운 영상 이미지에 대하여 컨볼루션에 의해 계산된 가중치값을 가지고 판단할 수 있는데, 예를 들어, 피부암 가중치값이 60이고, 피부질환 가중치값이 30이고, 보통 피부 가중치값이 10일 경우에 피부질환 가중치값과 보통 피부 가중치값을 더한 값보다 피부암 가중치값이 더 큰 값을 가지고 있기 때문에 해당 B라는 영상 이미지는 피부암으로 진단할 수 있는 것이다.
한편, 다른 부가적인 양태에 따라, 타켓이미지클래스판별부(200)는,
사용자로부터 획득한 피부 질환 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(290);을 더 포함하여 구성할 수 있다.
즉, 상기 학습변별력향상처리모듈(290)을 통해 획득된 피부 질환 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리할 수 있는데, 예를 들어, 설정된 항목이 사이즈는 가로와 세로 동일한 사이즈인 정사각형, 방향은 수평하게, 배율은 2배 확대 등과 같이 설정되었다면 획득된 피부 질환 이미지 정보를 사이즈, 방향, 배율을 상기와 같이 조절하여 복수 개의 이미지들을 동일한 사이즈, 방향, 배율로 전처리함으로써, CNN에 의한 학습 변별력을 높이는 것이다.
또한, 노이즈 제거를 수행하게 되면, 노이즈필터링 기능을 제공하여 이를 통해 노이즈를 제거함으로써, CNN에 의한 학습 변별력을 높일 수 있게 된다.
본 발명에서 설명하고 있는 Convolution이란, 영상 처리 분야에서 주로 필터 연산에 사용이 되며, 영상으로부터 특징점을 추출하기 위한 필터를 구현할 때 사용한다.
즉, 3 x 3 또는 그 이상의 마스크를 영상 전체에 반복적으로 수행하게 되면, 그 마스크의 계수 값들의 따라 적정한 결과가 나온다.
도 11과 같이, 전체 이미지에 노란색 부분이 convolution이 일어나고 있는 영역이며, 빨간색 글자는 convolution의 커널에 해당하고, 마스크 연산이 수행되면 오른쪽의 4가 나오며, 마스크는 한 칸 이동시키는 것을 반복하여 최종 결과를 얻을 수 있다.
이와 같이, 본 발명의 실시예는 다양한 환경적인 문제로 인한 학습 정보의 질이 떨어지는 문제점을 해결하기 위해, 입력 영상을 각각의 환경에 강인한 패턴 영상으로 분류하고 조합한 후 학습시킴으로써, 다양한 환경문제(흔들림, 조도, 노이즈, 인식률 저하 등)에 취약한 영상 학습 정보의 질을 높일 수 있을 뿐만 아니라, 컨볼루션 신경망(CNN)의 각 레이어 층에서 특징을 추출하는 과정에서 발생할 수 있는 오류를 보정할 수 있고, 레이어 층마다 다른 패턴을 적용할 수 있다는 점에서 보다 양질의 학습정보를 획득할 수 있는 컨볼루션 신경망(CNN) 기반의 피부질환 판별용 장치를 제공하게 된다.
본 발명에 의하면, 이미지기반피부질환학습부(100)를 구성하여 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 피부암 진단 확률을 높이는 효과를 발휘하게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
본 발명에 따른 피부 이미지 기반의 피부질환 판별 장치는, 이미지기반피부질환학습부(100)를 구성하여 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하며, 동시에 이미지기반피부질환학습부로 제공하여 재학습할 수 있도록 함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 피부암 진단 확률을 높이는 효과를 발휘하므로 산업상 이용가능성도 높다.

Claims (5)

  1. 피부 이미지 기반의 피부질환 판별 장치에 있어서,
    학습할 피부 질환 이미지 정보를 획득하여 합성곱 신경망을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환된 데이터를 가지고 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습한 후, 학습한 피부 질환 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환학습부(100)와,
    사용자로부터 피부 질환 이미지 정보를 획득하고, 획득한 피부 질환 이미지 정보를 클래스정보저장모듈에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자단말기로 전송하며, 분류된 클래스 결과값을 이미지기반피부질환학습부(100)로도 제공하여 이미지기반피부질환학습부(100)에 의해 재학습할 수 있도록 하기 위한 사용자의뢰이미지클래스판별부(200)를 포함하여 구성되는 것을 특징으로 하는 피부 이미지 기반의 피부질환 판별 장치.
  2. 제 1항에 있어서,
    상기 사용자의뢰이미지클래스판별부(200)는,
    사용자로부터 획득한 피부 질환 이미지 정보에 대하여 사이즈, 방향, 배율, 밝기, 노이즈 제거를 실시하여 피부질환 판별력을 높이고, 상기 전처리된 피부 질환 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 이미지 정보를 합성곱 신경망을 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 이미지 정보와 비교하여 해당하는 클래스로 분류하며,
    분류된 클래스 결과값을 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자자단말기로 전송하는 것을 특징으로 하는 피부 이미지 기반의 피부질환 판별 장치.
  3. 제 1항에 있어서,
    학습할 피부 질환 이미지 정보는,
    피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보를 포함하는 것을 특징으로 하는 피부 이미지 기반의 피부질환 판별 장치.
  4. 제 1항에 있어서,
    사용자의뢰이미지클래스판별부(200)를 통해,
    피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하며, 동시에 이미지기반피부질환학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환학습부(100)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키는 것을 특징으로 하는 피부 이미지 기반의 피부질환 판별 장치.
  5. 제 1항에 있어서,
    이미지기반피부질환학습부(100)는,
    학습할 피부 질환 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 하는 피부 이미지 기반의 피부질환 판별 장치.
PCT/KR2020/008023 2020-01-08 2020-06-20 피부 이미지 기반의 피부질환 판별 장치 WO2021141187A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0002319 2020-01-08
KR20200002319 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021141187A1 true WO2021141187A1 (ko) 2021-07-15

Family

ID=76787506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008023 WO2021141187A1 (ko) 2020-01-08 2020-06-20 피부 이미지 기반의 피부질환 판별 장치

Country Status (1)

Country Link
WO (1) WO2021141187A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
KR20170107778A (ko) * 2016-03-16 2017-09-26 동국대학교 산학협력단 피부질환 진단 방법 및 피부질환 진단 시스템
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR20190090583A (ko) * 2018-01-25 2019-08-02 안준범 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치
KR102041906B1 (ko) * 2019-03-06 2019-11-07 주식회사 에프앤디파트너스 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107778A (ko) * 2016-03-16 2017-09-26 동국대학교 산학협력단 피부질환 진단 방법 및 피부질환 진단 시스템
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR20190090583A (ko) * 2018-01-25 2019-08-02 안준범 컨볼루션 신경망을 이용한 이미지 분석을 통해 신체피부를 시술에 필요한 피부 타입으로 구분, 이를 저장, 전달하는 장치
KR102041906B1 (ko) * 2019-03-06 2019-11-07 주식회사 에프앤디파트너스 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진

Similar Documents

Publication Publication Date Title
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
Rathod et al. Diagnosis of skin diseases using Convolutional Neural Networks
KR102311654B1 (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
CN108198620B (zh) 一种基于深度学习的皮肤疾病智能辅助诊断系统
KR102041906B1 (ko) 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진
CN109410194B (zh) 一种基于深度学习的食管癌病理图像处理方法
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
De Guzman et al. Design and evaluation of a multi-model, multi-level artificial neural network for eczema skin lesion detection
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021141187A1 (ko) 피부 이미지 기반의 피부질환 판별 장치
WO2021060748A1 (ko) 연결성 학습 장치 및 연결성 학습 방법
CN111862118B (zh) 压疮分期的训练方法、分期方法及分期系统
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
KR102036052B1 (ko) 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치
WO2019168381A1 (ko) 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법
KR102165487B1 (ko) 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022119347A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
Li et al. A deep-learning-enabled monitoring system for ocular redness assessment
CN109711306A (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备
KR20230097726A (ko) 인공지능 딥러닝 기반의 피부질환 판별 장치
Seal et al. Minutiae based thermal human face recognition using label connected component algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911950

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911950

Country of ref document: EP

Kind code of ref document: A1