KR20230087816A - Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model - Google Patents

Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model Download PDF

Info

Publication number
KR20230087816A
KR20230087816A KR1020210176379A KR20210176379A KR20230087816A KR 20230087816 A KR20230087816 A KR 20230087816A KR 1020210176379 A KR1020210176379 A KR 1020210176379A KR 20210176379 A KR20210176379 A KR 20210176379A KR 20230087816 A KR20230087816 A KR 20230087816A
Authority
KR
South Korea
Prior art keywords
image data
deep learning
learning model
feature aggregation
feature
Prior art date
Application number
KR1020210176379A
Other languages
Korean (ko)
Inventor
안현식
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020210176379A priority Critical patent/KR20230087816A/en
Publication of KR20230087816A publication Critical patent/KR20230087816A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법에 관한 것으로, 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하거나, 임의의 영상 데이터를 획득하는 데이터 획득부, 상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하거나, 상기 임의의 영상 데이터를 전처리하는 전처리부, 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부 및 전처리된 상기 임의의 영상 데이터를 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 예측하는 예측부를 포함하는 딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법에 관한 것이다. The present invention relates to a deep learning model learning system and method, and an image classification system and method using a deep learning model. A data acquisition unit for acquiring a plurality of labeled image data or acquiring arbitrary image data; A preprocessing unit generating a data set after preprocessing the plurality of image data or preprocessing the arbitrary image data, a learning unit and a preprocessing unit extracting parameters after training a feature-integrated deep learning model using the data set A deep learning model learning system and method including a prediction unit for predicting a classification result according to a preset classification criterion by inputting the random image data to the feature-aggregated deep learning model having parameters, and using the deep learning model It relates to an image classification system and method.

Description

딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법 {Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model}Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model}

본 발명은 딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법에 관한 것으로, 보다 구체적으로 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습하고, 학습된 특징결집형 딥러닝 모델에 임의의 영상 데이터를 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 예측하는 딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법에 관한 것이다. The present invention relates to a deep learning model learning system and method, and an image classification system and method using a deep learning model. A deep learning model learning system and method for predicting a classification result according to preset classification criteria by inputting arbitrary image data to a learning model, and an image classification system and method using a deep learning model.

객체 검출 기술은 로봇, 비디오 감시, 자동차 안전 등과 같은 여러 응용 분야에서 널리 사용되고 있는 핵심 기술이다. 최근에는, 객체 검출 기술에 인공 신경망 또는 합성곱 신경망을 사용하는 방식이 연구됨에 따라, 단일 영상 및 스테레오 영상을 이용한 객체 검출 기술은 비약적으로 발전하였다. Object detection technology is a key technology widely used in many applications such as robotics, video surveillance, and automotive safety. Recently, as a method of using an artificial neural network or a convolutional neural network in an object detection technology has been studied, object detection technology using a single image and a stereo image has been rapidly developed.

종래에는 딥러닝 기술을 이용하여 객체를 검출하기 위해서 영상 내 객체에 바운딩 박스(Bounding Box; BBX)를 표시하는 방법과 객체 영역을 화소 단위로 분할해주는 인스턴스 분류(Instance Segmentation)를 수행하는 방법이 제안되고 있고, 이와 같은 방법으로 인간의 인식능력에 부합할 정도로 상당한 정확도를 제공할 수 있다.Conventionally, in order to detect objects using deep learning technology, a method of displaying a bounding box (BBX) on an object in an image and a method of performing instance segmentation that divides an object area into pixels have been proposed. In this way, it is possible to provide considerable accuracy enough to match human cognitive ability.

다만, 인간의 암의 조직검사 등을 위한 조직검사용 영상, 조직 병리학 영상을 대상으로 딥러닝이 활용될 때에는 상기와 같은 정확도를 구현하지 못하는 기술적 한계가 존재한다. 예컨대, 의료진은 유방암이나 대장암 조직검사에서 피검사조직에 헤마톡실린(Hematoxylin) 또는 에오신(Eosin)을 이용하여 염색한 후 보라색 또는 분홍색으로 염색된 병리학 영상을 임상적으로 보고 판단하나 암 여부 및 암 진행 상태를 진단하는데 정확성이 상당히 떨어지고, 딥러닝을 이용할 경우에도 정확도가 상기 방식들에 비해서 상당히 떨어져 진단보조로 사용하기에는 신뢰성이 떨어진다. However, when deep learning is used for biopsy images and histopathology images for human cancer biopsies, there is a technical limitation that the above accuracy cannot be achieved. For example, in a breast cancer or colorectal cancer biopsy, the medical staff stains the tissue to be examined using Hematoxylin or Eosin, and then clinically looks at the pathology image stained purple or pink to determine whether or not it is cancer and The accuracy of diagnosing cancer progression is considerably low, and even when deep learning is used, the accuracy is considerably lower than those of the above methods, making it unreliable for use as a diagnostic aid.

이와 관련하여, 관련문헌 1은 바운딩 박스를 시공간상으로 매칭하여 영상 내 객체를 검출하는 방법 및 장치에 관한 것으로, 영역 추출을 기반으로 하나의 특징 맵에서 서로 다른 크기를 갖는 객체를 검출할 수 있도록 바운딩 박스(Bounding Box; BBX)의 크기와 위치를 추정한 후 객체를 검출할 수 있다. 관련문헌 2는 스테레오 카메라를 이용한 인스턴스 객체별 거리값 검출 장치 및 방법에 관한 것으로, 속성에 따라서 클래스별로 객체를 분류한 후 인식할 수 있다. In this regard, Related Document 1 relates to a method and apparatus for detecting objects in an image by matching bounding boxes in space and time, to detect objects having different sizes from one feature map based on region extraction. An object can be detected after estimating the size and position of a bounding box (BBX). Related Document 2 relates to an apparatus and method for detecting a distance value for each instance object using a stereo camera, which can be recognized after classifying objects by class according to attributes.

다만, 영상에서 객체의 위치, 크기, 형상이 뚜렷한 경우에는 바운딩 박스(Bounding Box; BBX) 및 인스턴스 분류(Instance Segmentation)를 통해서 객체를 검출하기 용이하나 조직 병리학 영상과 같이 매우 미세하고 형상이 불분명한 객체를 대상으로 하는 경우 상기와 같은 방식은 객체 검출이 어렵다. 따라서 이러한 문제점을 해결할 수 있는 딥러닝 기술이 필요한 실정이다. However, when the location, size, and shape of an object are clear in the image, it is easy to detect the object through a bounding box (BBX) and instance segmentation, but it is very fine and the shape is unclear, such as in a histopathology image. In the case of targeting an object, it is difficult to detect the object in the above method. Therefore, there is a need for deep learning technology that can solve these problems.

KR 10-2020-0075072KR 10-2020-0075072 KR 10-2020-0054344KR 10-2020-0054344

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 조직 병리학 영상과 같이 객체를 인식하기 어려운 영상으로부터 용이하게 객체를 인식할 수 있고 이에 따라 정상 비정상 여부를 정확하게 예측하여 의료진의 질병진단에 보조적인 역할을 수행할 수 있도록 전처리된 임의의 영상 데이터를 학습된 특징결집형 딥러닝 모델에 입력함으로써 기 설정된 분류기준에 따라 분류결과를 예측하는 딥러닝 모델 학습 시스템 및 방법, 그리고 딥러닝 모델을 이용한 영상 분류 시스템 및 방법을 얻고자 하는 것을 목적으로 한다.The present invention is to solve the above problems, and it is possible to easily recognize an object from an image that is difficult to recognize an object such as a histopathology image, and accordingly, it accurately predicts whether it is normal or abnormal, thereby playing an auxiliary role in diagnosing diseases by medical staff. A deep learning model learning system and method for predicting classification results according to preset classification criteria by inputting preprocessed image data to a learned feature-packed deep learning model, and an image classification system using a deep learning model and to obtain a method.

상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델 학습 시스템은 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하는 영상 데이터 획득부; 상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하는 전처리부; 및 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부;를 제공한다.In order to achieve the above object, the deep learning model learning system of the present invention includes an image data acquisition unit for acquiring a plurality of labeled image data; a pre-processing unit generating a data set after pre-processing the plurality of image data; and a learning unit that extracts parameters after training a feature aggregation type deep learning model using the data set.

상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델 학습 방법은 영상 데이터 획득부에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 영상 데이터 획득단계; 전처리부에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 전처리단계; 및 학습부에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파라미터가 추출되는 학습단계;를 제공한다. In order to achieve the above object, a deep learning model learning method of the present invention includes an image data acquisition step of acquiring a plurality of labeled image data by an image data acquisition unit; a pre-processing step of generating a data set after pre-processing the plurality of image data by a pre-processing unit; and a learning step of extracting parameters after the feature aggregation type deep learning model is learned by using the data set by the learning unit.

또한, 상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델을 이용한 영상 분류 시스템은 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하거나, 임의의 영상 데이터를 획득하는 데이터 획득부; 상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하거나, 상기 임의의 영상 데이터를 전처리하는 전처리부; 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부; 및 전처리된 상기 임의의 영상 데이터를 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 예측하는 예측부;를 제공한다. In addition, in order to achieve the above object, an image classification system using a deep learning model of the present invention includes a data acquisition unit that acquires a plurality of labeled image data or obtains arbitrary image data; a pre-processing unit generating a data set after pre-processing the plurality of image data or pre-processing the arbitrary image data; a learning unit that extracts parameters after training a feature aggregation type deep learning model using the data set; and a prediction unit that predicts a classification result according to a predetermined classification criterion by inputting the pre-processed arbitrary image data to the feature aggregation type deep learning model having parameters.

상기 목적을 달성하기 위하여, 본 발명의 딥러닝 모델을 이용한 영상 분류 방법은 데이터 획득부에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 다수 개의 영상 데이터 획득단계; 전처리부에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 데이터 셋 생성단계; 학습부에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파리미터가 추출되는 학습단계; 상기 데이터 획득부에 의하여, 임의의 영상 데이터가 획득되는 임의의 영상 데이터 획득단계; 상기 전처리부에 의하여, 상기 임의의 영상 데이터가 전처리되는 전처리단계; 및 예측부에 의하여, 전처리된 상기 임의의 영상 데이터가 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력됨으로써, 기 설정된 분류기준에 따른 분류결과가 예측되는 예측단계;를 제공한다.In order to achieve the above object, an image classification method using a deep learning model of the present invention includes a plurality of image data acquisition steps in which a plurality of labeled image data is obtained by a data acquisition unit; a data set generating step of generating a data set after pre-processing the plurality of image data by a pre-processing unit; a learning step in which, by a learning unit, a feature aggregation type deep learning model is learned using the data set and then parameters are extracted; an arbitrary image data acquisition step in which arbitrary image data is acquired by the data acquisition unit; a pre-processing step of pre-processing the arbitrary image data by the pre-processing unit; and a predicting step of predicting a classification result according to a preset classification criterion by inputting the preprocessed arbitrary image data to the feature aggregation type deep learning model having parameters by a prediction unit.

이상과 같이 본 발명에 의하면 임의의 영상 데이터를 학습된 특징결집형 딥러닝 모델에 입력하여 기 설정된 분류기준에 따라 분류결과를 예측하도록 구비함으로써, 조직 병리학 영상과 같이 객체를 인식하기 어려운 영상으로부터 용이하게 객체를 인식할 수 있고 이에 따라 정상 비정상 여부 또는 분류기준 중 하나로 분류결과를 정확하게 예측하여 의료진의 질병진단에 보조적인 역할을 수행할 수 있는 효과가 있다.As described above, according to the present invention, by inputting arbitrary image data into a learned feature-aggregation type deep learning model and predicting a classification result according to preset classification criteria, it is easy to use images in which objects are difficult to recognize, such as histopathology images. It is possible to recognize the object clearly, and accordingly, it has an effect of playing an auxiliary role in diagnosing the disease by medical staff by accurately predicting the classification result as one of normal or abnormal status or classification criteria.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상세한 설명 및 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the detailed description and claims.

도 1은 본 발명의 딥러닝 모델 학습 시스템 구성도이다.
도 2는 본 발명의 딥러닝 모델을 이용한 영상 분류 시스템 구성도이다.
도 3은 본 발명의 일실시예에 따라 BreakHis 데이터 셋에서 정상인 영상 데이터(a, b, c, d)와 비정상인 영상 데이터(e, f, g, h)를 표시한 도면이다.
도 4는 본 발명의 일실시예에 따라 사람의 대장암에 대한 데이터 셋에서 9가지 분류기준에 따라 분류된 영상 데이터를 표시한 도면이다.
도 5는 본 발명의 일실시예에 따라 BreakHis 데이터 셋이 전처리되기 전 영상 데이터(a)와 전처리된 후 영상 데이터(b)를 표시한 도면이다.
도 6은 본 발명의 일실시예에 따른 특징결집형 딥러닝 모델 내 컨볼루션 블록을 표시한 도면이다.
도 7은 본 발명의 일실시예에 따른 특징 결집형 딥러닝 모델 구조도이다.
도 8은 본 발명의 딥러닝 모델 학습 방법 흐름도이다.
도 9는 본 발명의 딥러닝 모델을 이용한 영상 분류 방법 흐름도이다.1 is a configuration diagram of a deep learning model learning system of the present invention.
2 is a configuration diagram of an image classification system using the deep learning model of the present invention.
3 is a diagram showing normal image data (a, b, c, d) and abnormal image data (e, f, g, h) in the BreakHis data set according to an embodiment of the present invention.
4 is a diagram showing image data classified according to 9 classification criteria in a data set for human colorectal cancer according to an embodiment of the present invention.
5 is a diagram showing image data (a) before pre-processing and image data (b) after pre-processing of a BreakHis data set according to an embodiment of the present invention.
6 is a diagram showing a convolution block in a feature aggregation type deep learning model according to an embodiment of the present invention.
7 is a structure diagram of a feature aggregation type deep learning model according to an embodiment of the present invention.
8 is a flowchart of a deep learning model training method of the present invention.
9 is a flowchart of an image classification method using a deep learning model of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in this specification have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention of a person skilled in the art, precedent, or the emergence of new technologies. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.

다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, it should not be interpreted in an ideal or excessively formal meaning. don't

(1) 딥러닝 모델 학습 시스템과 딥러닝 모델을 이용한 영상 분류 시스템(1) Deep learning model learning system and image classification system using deep learning model

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 딥러닝 모델 학습 시스템 구성도이다. 도 2는 본 발명의 딥러닝 모델을 이용한 영상 분류 시스템 구성도이다. 도 3은 본 발명의 일실시예에 따라 BreakHis 데이터 셋에서 정상인 영상 데이터(a, b, c, d)와 비정상인 영상 데이터(e, f, g, h)를 표시한 도면이다. 도 4는 본 발명의 일실시예에 따라 사람의 대장암에 대한 데이터 셋에서 9가지 분류기준에 따라 분류된 영상 데이터를 표시한 도면이다. 도 5는 본 발명의 일실시예에 따라 BreakHis 데이터 셋이 전처리되기 전 영상 데이터(a)와 전처리된 후 영상 데이터(b)를 표시한 도면이다. 도 6은 본 발명의 일실시예에 따른 특징결집형 딥러닝 모델 내 컨볼루션 블록을 표시한 도면이다. 도 7은 본 발명의 일실시예에 따른 특징결집형 딥러닝 모델 구조도이다. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. 1 is a configuration diagram of a deep learning model learning system of the present invention. 2 is a configuration diagram of an image classification system using the deep learning model of the present invention. 3 is a diagram showing normal image data (a, b, c, d) and abnormal image data (e, f, g, h) in the BreakHis data set according to an embodiment of the present invention. 4 is a diagram showing image data classified according to nine classification criteria in a data set for human colorectal cancer according to an embodiment of the present invention. 5 is a diagram showing image data (a) before pre-processing and image data (b) after pre-processing of a BreakHis data set according to an embodiment of the present invention. 6 is a diagram showing a convolution block in a feature aggregation type deep learning model according to an embodiment of the present invention. 7 is a structural diagram of a feature aggregation type deep learning model according to an embodiment of the present invention.

(1-1) 딥러닝 모델 학습 시스템(1-1) Deep learning model learning system

우선 도 1을 보면, 본 발명의 딥러닝 모델 학습 시스템은 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하는 데이터 획득부(100), 상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하는 전처리부(200) 및 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부(300)를 포함한다. First, referring to FIG. 1, the deep learning model learning system of the present invention includes a data acquisition unit 100 that acquires a plurality of labeled image data, and a preprocessor that preprocesses the plurality of image data and creates a data set. 200 and a learning unit 300 for extracting parameters after training a feature aggregation type deep learning model using the data set.

일반적으로, 딥러닝 모델을 학습하기 위해서는 고성능 컴퓨터 내 그래픽카드와 이에 설치된 NVIDIA cuDNN 등의 소프트웨어가 요구된다. 즉, 본원발명의 데이터 획득부(100), 전처리부(200) 및 학습부(300)는 상기 소프트웨어를 구현하는 상기 그래픽카드 내 프로세서에 포함될 수 있고, 이에 따라 다수 개의 영상 데이터를 고속으로 학습할 수 있다.In general, in order to train a deep learning model, a graphics card in a high-performance computer and software such as NVIDIA cuDNN installed on it are required. That is, the data acquisition unit 100, the pre-processing unit 200, and the learning unit 300 of the present invention may be included in the processor in the graphic card that implements the software, and accordingly, a plurality of image data can be learned at high speed. can

상기 데이터 획득부(100)는 딥러닝 모델을 학습시키기 위해서 필수적인 데이터 셋을 구축하고자 다수 개의 영상 데이터를 획득할 수 있다. 이때, 상기 다수 개의 영상 데이터는 상기 딥러닝 모델을 학습시키기 위한 것임으로, 정상과 비정상 중 하나의 상태로 라벨링(Labeling)되거나, 기 설정된 분류기준에 따라 라벨링(Labeling)될 수 있다.The data acquisition unit 100 may acquire a plurality of image data to build a data set necessary for learning a deep learning model. At this time, since the plurality of image data is for learning the deep learning model, they may be labeled as either normal or abnormal, or labeled according to a preset classification criterion.

그리고 가장 바람직하게 상기 데이터 획득부(100)는 상기 데이터 셋과 임의의 영상 데이터로 피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상을 획득할 수 있다. 즉, 본원발명에 의하여 학습된 상기 특징결집형 딥러닝 모델은 의료진이 병리학 영상으로부터 질병의 여부를 파악하는데 보조적인 역할을 할 수 있다. And most preferably, the data acquisition unit 100 may acquire a histopathology image taken after tissue is stained for a tissue examination of a subject using the data set and arbitrary image data. That is, the feature aggregation type deep learning model learned according to the present invention can play an auxiliary role in helping medical staff determine whether or not there is a disease from a pathology image.

도 3을 보면, BreakHis 데이터 셋은 유방암에 대한 양성 종양을 포함하는 영상 데이터와 악성 종양을 포함하는 영상 데이터로 구축된 종래 데이터 셋이다. 그리고 각 영상 데이터는 일실시예와 같이 피검사체의 피검사조직에 헤마톡실린(Hematoxylin) 또는 에오신(Eosin)에 의하여 염색되어 보라색 또는 분홍색으로 표시될 수 있다. 즉, 데이터 획득부(100)는 도 3의 일실시예와 같은 데이터 셋을 수집할 수 있다. 그리고 상기 데이터 셋은 상기 딥러닝 모델을 학습한 후에 이를 검증하기 위해서 또한 사용될 수 있다. 또한, 도 4를 보면, 상기 데이터 획득부(100)는 지방조직(ADI), 림프구(LYM), 배경(BACK), 점액(MUC), 평활근(MUS), 정상(NORM), 파편(DEB), 암관련 기질(STR), 종양(TUM)을 포함하는 9개의 클래스로 라벨링(Labeling)된 다수 개의 영상 데이터를 획득할 수 있다. 이는, 상기 학습부(300)로부터 각 클래스에 따른 영상 데이터를 학습할 수 있도록 하기 위함이다.Referring to FIG. 3 , the BreakHis data set is a conventional data set constructed from image data including benign tumors and image data including malignant tumors. In addition, each image data may be displayed in purple or pink by staining the tissue to be examined with hematoxylin or eosin, as in one embodiment. That is, the data acquisition unit 100 may collect a data set similar to the embodiment of FIG. 3 . And the data set can also be used to verify the deep learning model after learning it. In addition, referring to FIG. 4 , the data acquisition unit 100 includes adipose tissue (ADI), lymphocytes (LYM), background (BACK), mucus (MUC), smooth muscle (MUS), normal (NORM), and debris (DEB). It is possible to acquire a plurality of image data labeled with 9 classes including cancer-related stroma (STR) and tumor (TUM). This is to enable the learning unit 300 to learn image data according to each class.

다음으로, 상기 전처리부(200)는 가장 바람직하게 상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 다수 개의 영상 데이터가 입력될 수 있도록 상기 다수 개의 영상 데이터 각각을 패치형태로 추출하는 패치 추출부(210)를 포함할 수 있다. 상기 데이터 획득부(100)로부터 획득된 다수 개의 영상 데이터는 각각 상이한 사이즈일 수 있고, 가장 바람직하게, 상기 패치 추출부(210)는 상이한 사이즈를 갖는 다수 개의 영상 데이터를 224*224 크기로 동일하게 할 수 있다.Next, the pre-processing unit 200 is most preferably a patch extraction unit for extracting each of the plurality of image data in the form of a patch so that the plurality of image data of a certain size can be input to the feature aggregation type deep learning model ( 210) may be included. Each of the plurality of image data obtained from the data acquisition unit 100 may have different sizes, and most preferably, the patch extraction unit 210 equally converts the plurality of image data having different sizes to a size of 224*224. can do.

또한, 상기 전처리부(200)는 상기 패치형태로 추출된 상기 다수 개의 영상 데이터를 대상으로 밝기와 색상이 일정하도록 정규화 하는 정규화부(220)를 포함할 수 있다. 상기 데이터 획득부(100)로부터 상기 다수 개의 영상 데이터는 RGB 기반의 고해상도 형식으로 획득될 수 있고, 각각의 영상 데이터는 상이한 밝기와 색상을 가질 수 있다. 따라서 상기 정규화부(220)는 밝기와 색상이 동일할 수 있도록 상기 패치형태로 추출된 상기 다수 개의 영상 데이터를 대상으로 얼룩 정규화(Stain Normalization)할 수 있다. In addition, the pre-processing unit 200 may include a normalization unit 220 that normalizes the plurality of image data extracted in the form of patches so that brightness and color are constant. The plurality of image data may be obtained in an RGB-based high-resolution format from the data acquisition unit 100, and each image data may have different brightness and color. Accordingly, the normalization unit 220 may perform stain normalization on the plurality of image data extracted in the patch form so that brightness and color may be the same.

도 5를 보면, 상기 전처리부(200)로부터 얼룩 정규화(Stain Normalization)되기 전 영상 데이터(a)와 상기 전처리부(200)로부터 얼룩 정규화(Stain Normalization)된 후 영상 데이터(b)의 밝기와 색상의 차이를 확인할 수 있다.Referring to FIG. 5 , brightness and color of image data (a) before stain normalization from the preprocessor 200 and image data (b) after stain normalization from the preprocessor 200 difference can be seen.

따라서 상기 전처리부(200)는 상기 다수 개의 영상 데이터를 대상으로 패치형식으로 추출하고, 얼룩 정규화(Stain Normalization)하는 전처리를 수행한 후 데이터 셋을 생성할 수 있다.Accordingly, the preprocessor 200 may generate a data set after extracting the plurality of image data in a patch format and performing preprocessing for stain normalization.

다음으로, 상기 학습부(300)는 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시키고, 상기 데이터 셋의 일부를 사용하여 기 학습된 특징결집형 딥러닝 모델을 검증할 수 있다. 즉, 상기 학습부(300)는 학습된 상기 특징결집형 딥러닝 모델의 정확도를 검증하는 검증부(310)를 포함할 수 있다.상기 학습부(300)는 상기 특징결집형 딥러닝 모델을 학습시킨 결과로 다수 개의 파라미터를 추출할 수 있고, 상기 다수 개의 파라미터는 실수 데이터의 집합으로 나타날 수 있다. 그리고 상기 검증부(310)는 다수 개의 파라미터와 상기 데이터 셋의 일부 영상 데이터를 이용하여 상기 특징결집형 딥러닝 모델의 정확도를 연산할 수 있고, 정확도가 기 설정된 수치범위를 초과할 경우 정확도가 높은 모델로 인식하고 학습을 완료할 수 있다.Next, the learning unit 300 may train a feature-aggregation type deep learning model using the data set, and verify the pre-learned feature-aggregation type deep learning model using a part of the data set. That is, the learning unit 300 may include a verification unit 310 that verifies the accuracy of the learned feature-aggregation type deep learning model. The learning unit 300 learns the feature-aggregation type deep learning model. As a result, a plurality of parameters can be extracted, and the plurality of parameters can appear as a set of real data. In addition, the verification unit 310 may calculate the accuracy of the feature-packed deep learning model using a plurality of parameters and some image data of the data set, and if the accuracy exceeds a preset numerical range, the accuracy is high It can be recognized as a model and complete learning.

여기서, 상기 특징결집형 딥러닝 모델은 다수 개의 컨볼루션 블록을 포함하고 특징을 결집시키는 것이 가장 큰 특징이고, 아키텍처는 다음과 같다. Here, the feature-aggregation type deep learning model has the greatest feature of including a plurality of convolution blocks and aggregating features, and the architecture is as follows.

도 6을 보면, 상기 다수 개의 컨볼루션 블록 내 세부 구성을 확인할 수 있다. 상기 특징결집형 딥러닝 모델의 가장 최선에 위치한 컨볼루션 블록에 입력된 데이터는 224*224 해상도와 RGB 값인 3 컬러정보를 가질 수 있고, 이때, 상기 3 컬러정보는 각각 분리되어 상기 컨볼루션 블록에 입력될 수 있다. 즉, 너비(N), 높이(M) 및 컨볼루션 레이어의 필터의 개수(k) 형식으로 224*224*3 크기를 갖는 영상 데이터일 수 있고, 이는 빨간색(Red) 컬러정보를 갖는 224*224 크기의 영상 데이터, 초록색(Green) 컬러정보를 갖는 224*224 크기의 영상 데이터, 파란색(Blue) 컬러정보를 갖는 224*224* 크기의 영상 데이터각 각각 입력될 수 있다는 의미이다.Referring to FIG. 6 , detailed configurations within the plurality of convolution blocks can be confirmed. Data input to the convolution block located at the top of the feature aggregation type deep learning model may have 224*224 resolution and 3 color information of RGB values. can be entered. That is, it may be image data having a size of 224*224*3 in the format of width (N), height (M), and the number of filters (k) of the convolution layer, which is 224*224 with red color information. size image data, 224*224 size image data having green color information, and 224*224* size image data having blue color information, respectively.

그리고 상기 컨볼루션 블록은 5*5*k 개의 필터와 3*3*k 개의 필터에 의해 각각 컨볼루션이 이루어진 후 ReLU 활성화함수를 거치고, 각 필터로부터 출력된 출력값은 Concatenate 과정을 통해서 합해질 수 있다. 그리고 1*1*k 크기의 필터로 다시 컨볼루션이 이루어진 후 ReLU 활성화함수를 거치고, 배치 정규화(Batch Normalization)한 후 출력값을 출력한다. 여기서, 컨볼루션은 텐스플로우(Tensflow)의 케라스(Keras)의 함수를 활용할 수 있다. 따라서 상기 컨볼루션 블록으로부터 출력된 데이터의 개수는 k개의 사이즈를 가질 수 있다. In addition, the convolution block is subjected to a ReLU activation function after convolution is performed by 5*5*k filters and 3*3*k filters, respectively, and output values output from each filter can be summed through a concatenation process. . Then, after convolution is performed again with a filter of size 1*1*k, it passes through the ReLU activation function, and after batch normalization, an output value is output. Here, convolution can utilize Tensflow's Keras function. Accordingly, the number of data output from the convolution block may have k sizes.

다음으로, 상기 특징 결집형 딥러닝 모델은 제n 컨볼루션 블록으로부터 출력된 제n 결과와 제n+1 컨볼루션 블록으로부터 출력된 제n+1 결과가 합해진 후 제n 평균풀링(Average Pooling) 블록에서 제n 특징 결집이 이루어지고, 그 다음 상기 제n 특징 결집, 제n+2 컨볼루션 블록으로부터 출력된 제n+2 결과와 제n+3 컨볼루션 블록으로부터 출력된 제n+3 결과가 합해진 후 제n+1 평균풀링(Average Pooling) 블록에서 제n+1 특징 결집이 이루어질 수 있다. 여기서, n은 양의 정수이다. 그리고 상기 특징결집형 딥러닝 모델은 최종 특징 결집 후 전체평균풀링(Global Average Pooling; GAP) 블록과 완전연결(Fully Connected; FC) 층을 포함할 수 있다.Next, in the feature aggregation type deep learning model, the n-th result output from the n-th convolution block and the n+1-th result output from the n+1-th convolution block are combined, and then the n-th average pooling block In , the nth feature aggregation is performed, and then the n+2th result output from the nth feature aggregation, the n+2th convolution block, and the n+3th result output from the n+3th convolution block are summed. Afterwards, the n+1th feature aggregation may be performed in the n+1th Average Pooling block. Here, n is a positive integer. The feature aggregation type deep learning model may include a Global Average Pooling (GAP) block and a Fully Connected (FC) layer after final feature aggregation.

예컨대, 전처리된 데이터 셋 또는 상기 임의의 영상 데이터는 224*224*3의 크기를 갖고 상기 특징결집형 딥러닝 모델의 제1 컨볼루션 블록(B1)에 입력될 수 있고, 상기 제1 컨볼루션 블록(B1)은 224*224*16의 크기를 갖는 제1 결과를 출력할 수 있다. 여기서, 3 또는 16은 필터의 개수를 일컫는다. 그리고 상기 제2 컨볼루션 블록(B2)은 상기 제1 결과가 입력되어 224*224*32의 크기를 갖는 제2 결과를 출력할 수 있다. 그리고 상기 제1 결과와 제2 결과가 단순히 합해지는 Concatenate 과정을 거치고, 224*224*48의 크기를 갖는 제1 결과와 제2 결과가 제1 평균풀링(Average Pooling) 블록(P1)에 입력되면 제1 특징 결집이 이루어진다. 제1 특징 결집은 112*112*48의 크기를 가질 수 있다.For example, the preprocessed data set or the arbitrary image data may have a size of 224*224*3 and be input to the first convolution block (B1) of the feature aggregation type deep learning model, and the first convolution block (B1) may output a first result having a size of 224*224*16. Here, 3 or 16 refers to the number of filters. The second convolution block B2 may output a second result having a size of 224*224*32 after receiving the first result. And, when the first result and the second result are simply added together through a concatenate process, and the first result and the second result having a size of 224*224*48 are input to the first average pooling block (P1), A first feature set is made. The first feature cluster may have a size of 112*112*48.

다음으로, 제1 특징 결집은 제3 컨볼루션 블록(B3)에 입력되어 112*112*32 크기를 갖는 제3 결과를 출력할 수 있다. 그리고 제4 컨볼루션 블록(B4)은 상기 제2 결과가 입력되어 112*112*64의 크기를 갖는 제4 결과를 출력할 수 있다. 그리고 상기 제1 특징 결집, 상기 제3 결과와 제4 결과가 단순히 합해지는 Concatenate 과정을 거쳐 112*112*144 크기를 가질 수 있고, 제2 평균풀링(Average Pooling) 블록(P2)에 입력되어 56*56*144의 크기를 갖는 제2 특징 결집이 이루어진다.Next, the first feature aggregation may be input to the third convolution block B3 to output a third result having a size of 112*112*32. Also, the fourth convolution block B4 may output a fourth result having a size of 112*112*64 after receiving the second result. In addition, it may have a size of 112*112*144 through a concatenate process in which the first feature aggregate, the third result and the fourth result are simply combined, and input to the second average pooling block (P2) to obtain 56 A second feature aggregation having a size of *56*144 is made.

다음으로, 상기 제2 특징 결집은 제5 컨볼루션 블록(B5)에 입력되어 56*56*64 크기를 갖는 제5 결과를 출력할 수 있다. 그리고 제6 컨볼루션 블록(B6)은 상기 제5 결과가 입력되어 56*56*128 크기를 갖는 제6 결과를 출력할 수 있다. 그리고 상기 제2 특징 결집, 상기 제5 결과와 제6 결과가 단순히 합해지는 Concatenate 과정을 거쳐 112*112*144 크기를 가질 수 있고, 제3 평균풀링(Average Pooling) 블록(P3)에 입력되어 28*28*192 크기를 갖는 제3 특징 결집이 이루어진다. Next, the second feature aggregation may be input to a fifth convolution block B5 to output a fifth result having a size of 56*56*64. Further, the sixth convolution block B6 may output a sixth result having a size of 56*56*128 after receiving the fifth result. In addition, it may have a size of 112*112*144 through a concatenate process in which the second feature aggregation, the fifth result and the sixth result are simply combined, and input to the third average pooling block (P3) to obtain 28 A third feature aggregation having a size of *28*192 is made.

다음으로, 상기 제3 특징 결집은 제7 컨볼루션 블록(B7)에 입력되어 28*28*128 크기를 갖는 제7 결과를 출력할 수 있다. 그리고 제8 컨볼루션 블록(B8)은 상기 제7 결과가 입력되어 28*28*256 크기를 갖는 제8 결과를 출력할 수 있다. 그리고 상기 제3 특징 결집, 상기 제7 결과와 제8 결과가 단순히 합해지는 Concatenate 과정을 거쳐 28*28*576 크기를 가질 수 있고, 제4 평균풀링(Average Pooling) 블록(P4)에 입력되어 14*14*576 크기를 갖는 제4 특징 결집이 이루어진다.Next, the third feature set may be input to a seventh convolution block B7 to output a seventh result having a size of 28*28*128. Further, the eighth convolution block B8 may output an eighth result having a size of 28*28*256 after receiving the seventh result. In addition, it may have a size of 28*28*576 through a concatenate process in which the third feature aggregate, the seventh result and the eighth result are simply combined, and input to the fourth average pooling block (P4) to obtain 14 A fourth feature aggregation having size *14*576 is made.

다음으로, 상기 제4 특징 결집은 제9 컨볼루션 블록(B9)에 입력되어 14*14*256 크기를 갖는 제9 결과를 출력할 수 있다. 그리고 제10 컨볼루션 블록(B9)은 상기 제9 결과가 입력되어 14*14*512 크기를 갖는 제10 결과를 출력할 수 있다. 그리고 상기 제4 특징 결집, 상기 제9 결과와 제10 결과가 단순히 합해지는 Concatenate 과정을 거쳐 14*14*784 크기를 가질 수 있고, 제5 평균풀링(Average Pooling) 블록(P5)에 입력되어 7*7*784 크기를 갖는 제5 특징 결집이 이루어진다.Next, the fourth feature aggregate may be input to the ninth convolution block B9 to output a ninth result having a size of 14*14*256. Further, the 10th convolution block B9 may output a 10th result having a size of 14*14*512 after receiving the ninth result. In addition, it may have a size of 14*14*784 through a concatenate process in which the fourth feature aggregate, the ninth result and the tenth result are simply combined, and input to the fifth average pooling block (P5) to obtain 7 A fifth feature aggregation having size *7*784 is made.

마지막으로, 상기 제5 평균풀링(Average Pooling) 블록(P5)은 상기 제1 특징 결집 내지 제4 특징 결집에 대하여 평균풀링(Average Pooling)을 반복하여 7*7 크기로 줄인 후 상기 제5 특징 결집과 합해진다. 그리고 상기 제5 평균풀링(Average Pooling) 블록(P5)으로부터 출력된 결과가 전체평균풀링(Global Average Pooling) 블록(GAP)과 완전연결(Fully Connected; FC) 층을 거치면 분류결과가 출력될 수 있도록 구성될 수 있다.Finally, the fifth average pooling block (P5) repeats average pooling on the first to fourth feature aggregates to reduce the size to 7*7, and then the fifth feature aggregate. combined with And, when the result output from the fifth Average Pooling block (P5) passes through the Global Average Pooling block (GAP) and the Fully Connected (FC) layer, a classification result can be output. can be configured.

(1-2) 딥러닝 모델을 이용한 영상 분류 시스템(1-2) Image classification system using deep learning model

다음으로, 본원발명의 딥러닝 모델 학습 시스템을 통해서 학습된 상기 특징 결집형 딥러닝 모델을 이용한 딥러닝 모델을 이용한 영상 분류 시스템을 설명하면 다음과 같다. Next, an image classification system using a deep learning model using the feature aggregation type deep learning model learned through the deep learning model learning system of the present invention will be described.

도 2를 보면, 본원발명의 딥러닝 모델을 이용한 영상 분류 시스템은 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하거나, 임의의 영상 데이터를 획득하는 데이터 획득부(100), 상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하거나, 상기 임의의 영상 데이터를 전처리하는 전처리부(200),상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부(300) 및 전처리된 상기 임의의 영상 데이터를 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 예측하는 예측부(400)를 포함한다.Referring to FIG. 2 , the image classification system using the deep learning model of the present invention includes a data acquisition unit 100 that obtains a plurality of labeled image data or obtains arbitrary image data, and the plurality of image data. A pre-processing unit 200 that generates a data set after pre-processing or pre-processes the arbitrary image data, a learning unit 300 that extracts parameters after training a feature-aggregated deep learning model using the data set, and pre-processing and a prediction unit 400 that predicts a classification result according to a preset classification criterion by inputting the selected image data to the feature aggregation type deep learning model having parameters.

한편, 상기 본원발명의 딥러닝 모델을 이용한 영상 분류 시스템은 앞서 언급한 딥러닝 모델 학습 시스템과 달리 그래픽 카드 기반의 고속 연산처리가 필수적이지 않다.Meanwhile, unlike the aforementioned deep learning model learning system, the image classification system using the deep learning model of the present invention does not require high-speed processing based on a graphics card.

상기 데이터 획득부(100)는 상기 언급한 것과 같이 상기 특징결집형 딥러닝 모델의 학습을 위해서 라벨링(Labeling)된 다수 개의 영상 데이터를 획득할 수 있을 뿐만 아니라 분류결과를 예측하기 위한 임의의 영상 데이터를 획득할 수 있다. 그리고 상기 임의의 영상 데이터는 피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상인 것이 가장 바람직하다.As mentioned above, the data acquisition unit 100 can acquire a plurality of labeled image data for learning of the feature aggregation type deep learning model, as well as arbitrary image data for predicting a classification result. can be obtained. And, most preferably, the arbitrary image data is a histopathology image taken after tissue is stained for a biopsy of a subject to be examined.

그리고 전처리부(200)는 상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 다수 개의 영상 데이터와 임의의 영상 데이터가 입력될 수 있도록 상기 다수 개의 영상 데이터와 임의의 영상 데이터 각각을 패치형태로 추출하는 패치 추출부(210)를 포함할 수 있다. And the pre-processing unit 200 extracts each of the plurality of image data and arbitrary image data in the form of a patch so that the plurality of image data and arbitrary image data of a certain size can be input to the feature aggregation type deep learning model. A patch extraction unit 210 may be included.

즉, 상기 임의의 영상 데이터의 크기가 상기 특징결집형 딥러닝 모델에 적합한 사이즈일 수 있고, 그렇지 않을 수 있으므로, 상기 패치 추출부(210)는 224*224와 같이 일정한 크기를 가질 수 있도록 패치형태로 추출할 수 있다. That is, since the size of the arbitrary image data may or may not be a size suitable for the feature aggregation type deep learning model, the patch extractor 210 may have a fixed size such as 224*224 in the form of a patch. can be extracted with

또한, 상기 전처리부(200)는 패치형태로 추출된 상기 다수 개의 영상 데이터와 임의의 영상 데이터를 대상으로 밝기와 색상이 일정하도록 정규화 하는 정규화부(220)를 더 포함할 수 있다. 즉, 상기 임의의 영상 데이터 역시 앞서 언급한 다수 개의 영상 데이터와 동일하게 RGB 기반의 해상도를 가질 수 있고, 촬영된 시간, 장치, 외부환경 등이 상이함에 따라 달라지는 밝기와 색상이 일정하도록 상기 정규화부(220)는 패치형태로 추출된 상기 임의의 영상 데이터를 대상으로 얼룩 정규화(Stain Normalization)를 수행할 수 있다.In addition, the pre-processing unit 200 may further include a normalization unit 220 that normalizes the plurality of image data extracted in the form of patches and arbitrary image data so that brightness and color are constant. That is, the arbitrary image data may also have the same RGB-based resolution as the plurality of image data mentioned above, and the normalization unit such that the brightness and color that vary according to the photographing time, device, external environment, etc. are constant. Step 220 may perform stain normalization on the arbitrary image data extracted in the form of a patch.

따라서 상기 예측부(400)는 패치 추출 및 얼룩 정규화(Stain Normalization)와 같은 전처리가 수행된 상기 임의의 영상 데이터를 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 보다 정확하게 예측할 수 있다.Therefore, the prediction unit 400 inputs the arbitrary image data subjected to preprocessing such as patch extraction and stain normalization to the feature-aggregation type deep learning model having parameters, thereby classifying according to preset classification criteria. Results can be more accurately predicted.

다음으로, 상기 학습부(300)는 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시키고, 상기 데이터 셋의 일부를 사용하여 기 학습된 특징결집형 딥러닝 모델을 검증할 수 있다. 즉, 상기 학습부(300)는 학습된 상기 특징결집형 딥러닝 모델의 정확도를 검증하는 검증부(310)를 포함할 수 있다.상기 학습부(300)는 상기 특징결집형 딥러닝 모델을 학습시킨 결과로 다수 개의 파라미터를 추출할 수 있고, 상기 다수 개의 파라미터는 실수 데이터의 집합으로 나타날 수 있다. 그리고 상기 검증부(310)는 다수 개의 파라미터와 상기 데이터 셋의 일부 영상 데이터를 이용하여 상기 특징결집형 딥러닝 모델의 정확도를 연산할 수 있고, 정확도가 기 설정된 수치범위를 초과할 경우 정확도가 높은 모델로 인식하고 학습을 완료할 수 있다.Next, the learning unit 300 may train a feature-aggregation type deep learning model using the data set, and verify the pre-learned feature-aggregation type deep learning model using a part of the data set. That is, the learning unit 300 may include a verification unit 310 that verifies the accuracy of the learned feature-aggregation type deep learning model. The learning unit 300 learns the feature-aggregation type deep learning model. As a result, a plurality of parameters can be extracted, and the plurality of parameters can appear as a set of real data. In addition, the verification unit 310 may calculate the accuracy of the feature-packed deep learning model using a plurality of parameters and some image data of the data set, and if the accuracy exceeds a preset numerical range, the accuracy is high It can be recognized as a model and complete learning.

여기서, 상기 특징결집형 딥러닝 모델은, 제n 컨볼루션 블록으로부터 출력된 제n 결과와 제n+1 컨볼루션 블록으로부터 출력된 제n+1 결과가 합해진 후 제n 평균풀링(Average Pooling) 블록에서 제n 특징 결집이 이루어지고, 상기 제n 특징 결집, 제n+2 컨볼루션 블록으로부터 출력된 제n+2 결과와 제n+3 컨볼루션 블록으로부터 출력된 제n+3 결과가 합해진 후 제n+1 평균풀링(averrage Pooling) 블록에서 제n+1 특징 결집이 이루어질 수 있다. 여기서, n은 양의 정수이다. 상기 특징결집형 딥러닝 모델은,최종 특징 결집 후 전체평균풀링(Global Average Pooling; GAP) 블록과 완전연결(Fully Connected; FC) 층을 거치면 상기 분류결과가 출력될 수 있다. 즉, 상기 학습부(300)는 상기 언급한 것과 동일하다. 상기 특징결집형 딥러닝 모델 역시 도 6 내지 도 7을 이용하여 설명한 것과 동일하다. Here, in the feature aggregation type deep learning model, after the nth result output from the nth convolution block and the n+1th result output from the n+1th convolution block are combined, the nth average pooling block After the nth feature aggregation is performed, the n+2th result output from the nth feature aggregation, the n+2th convolution block, and the n+3th result output from the n+3th convolution block are added. An n+1 feature aggregation may be performed in an n+1 average pooling block. Here, n is a positive integer. The feature aggregation type deep learning model may output the classification result after passing through a Global Average Pooling (GAP) block and a Fully Connected (FC) layer after final feature aggregation. That is, the learning unit 300 is the same as that mentioned above. The feature aggregation type deep learning model is also the same as that described with reference to FIGS. 6 to 7 .

다음으로, 상기 예측부(400)는 상기 특징결집형 딥러닝 모델이 학습된 상기 데이터 셋에 따라 정상과 비정상으로 분류된 분류결과를 예측할 수도 있고, 기 설정된 분류기준에 따른 분류결과를 예측할 수 있다. 즉, 도 2와 같이 정상 비정상으로 분류된 데이터 셋으로 상기 특징결집형 딥러닝 모델이 학습되었다면 상기 예측부(400)는 상기 임의의 영상 데이터로부터 정상 또는 비정상 중 하나의 분류결과를 제공할 수 있고, 도 3과 같이 9개의 분류기준에 따라 분류된 데이터 셋으로 상기 특징결집형 딥러닝 모델이 학습되었다면 상기 예측부(400)는 상기 임의의 영상 데이터로부터 9개의 분류기준 중 하나의 분류결과를 제공할 수 있다. Next, the prediction unit 400 may predict a classification result classified as normal or abnormal according to the data set on which the feature-aggregation type deep learning model has been learned, or may predict a classification result according to a preset classification criterion. . That is, if the feature aggregation type deep learning model is learned with a data set classified as normal or abnormal as shown in FIG. 2, the prediction unit 400 can provide a classification result of either normal or abnormal from the arbitrary image data, , If the feature aggregation type deep learning model is learned with a data set classified according to 9 classification criteria as shown in FIG. 3, the prediction unit 400 provides a classification result of one of the 9 classification criteria from the arbitrary image data can do.

즉, 본원발명의 상기 특징결집형 딥러닝 모델은 특징을 결집하기 위해서 가장 작고 얕은 규모에서 시작하여 반복적인 방식을 통해서 점차 깊고 넓은 규모로 병합하는 구조를 갖는다. 이에 따라 상기 조직 병리학 영상과 같이 객체를 인식하기 어려운 영상으로부터 용이하게 객체를 인식할 수 있고 이에 따라 질병의 여부를 정확하게 예측할 수 있는 현저한 효과가 있다. That is, the feature aggregation type deep learning model of the present invention has a structure in which features are aggregated starting from the smallest and shallowest scale and gradually merging into a deeper and wider scale through an iterative method. Accordingly, there is a remarkable effect of easily recognizing an object from an image in which it is difficult to recognize an object, such as the histopathology image, and thus accurately predicting whether or not a disease exists.

또한, 본원발명의 딥러닝 모델 학습을 통해서 학습된 상기 특징결집형 딥러닝 모델은 정상 및 비정상과 같이 이진적으로 분류결과를 출력할 수 있을 뿐만 아니라 기 설정된 분류기준에 따라 여러 가지로 분류결과를 출력할 수 있는 현저한 효과가 있다. 따라서 본원발명의 특징결집형 딥러닝 모델은 조직 병리학 영상에 국한되어 활용되지 않고, 영상 데이터를 이용한 객체의 종류 또는 상태를 분류하는 다양한 산업군에 활용될 수 있는 현저한 효과가 있다.In addition, the feature aggregation type deep learning model learned through the deep learning model learning of the present invention can output classification results in a binary manner such as normal and abnormal, as well as various classification results according to preset classification criteria. There are remarkable effects that can be output. Therefore, the feature aggregation type deep learning model of the present invention is not limited to histopathology images and has a remarkable effect that can be used in various industrial groups that classify the type or state of an object using image data.

(2) 딥러닝 모델 학습 방법과 딥러닝 모델을 이용한 영상 분류 방법(2) Deep learning model learning method and image classification method using deep learning model

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 8은 본 발명의 딥러닝 모델 학습 방법 흐름도이다. 도 9는 본 발명의 딥러닝 모델을 이용한 영상 분류 방법 흐름도이다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. 8 is a flowchart of a deep learning model training method of the present invention. 9 is a flowchart of an image classification method using a deep learning model of the present invention.

(2-1) 딥러닝 모델 학습 방법(2-1) Deep learning model learning method

도 8을 보면, 본 발명의 딥러능 모델 학습 방법은 영상 데이터 획득부(100)에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 다수 개의 영상 데이터 획득단계(S100), 전처리부(200)에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 데이터 셋 생성단계(S200) 및 학습부(300)에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파라미터가 추출되는 학습단계(S300)를 포함한다.Referring to FIG. 8 , in the deep learning model learning method of the present invention, a plurality of image data acquisition steps (S100) in which a plurality of labeled image data are acquired by the image data acquisition unit 100, and a pre-processing unit 200 ), a data set creation step (S200) in which a data set is generated after the plurality of image data is preprocessed, and the data set is used by the learning unit 300 to learn a feature aggregation type deep learning model It includes a learning step (S300) in which parameters are extracted.

보다 구체적으로, 상기 다수 개의 영상 데이터 획득단계(S100)는 상기 특징결집형 딥러닝 모델을 학습시키기 위해서 상기 데이터 셋 내 다수 개의 영상 데이터가 정상과 비정상 또는 기 설정된 분류기준에 따라 라벨링(Labeling)될 수 있다. More specifically, in the acquiring of the plurality of image data (S100), the plurality of image data in the data set is labeled according to normal and abnormal or preset classification criteria in order to train the feature-aggregated deep learning model. can

그리고 가장 바람직하게 상기 다수 개의 영상 데이터 획득단계(S100)는 상기 데이터 셋으로 피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상을 획득될 수 있다. 즉, 본원발명에 의하여 학습된 상기 특징결집형 딥러닝 모델은 의료진이 병리학 영상으로부터 질병의 여부를 파악하는데 보조적인 역할을 할 수 있다.And most preferably, in the plurality of image data acquisition step (S100), a histopathology image taken after tissue is stained for a biopsy of a subject with the data set may be obtained. That is, the feature aggregation type deep learning model learned according to the present invention can play an auxiliary role in helping medical staff determine whether or not there is a disease from a pathology image.

도 3을 보면, BreakHis 데이터 셋은 유방암에 대한 양성 종양을 포함하는 영상 데이터와 악성 종양을 포함하는 영상 데이터로 구축된 종래 데이터 셋이다. 그리고 각 영상 데이터는 일실시예와 같이 피검사체의 피검사조직에 헤마톡실린(Hematoxylin) 또는 에오신(Eosin)에 의하여 염색되어 보라색 또는 분홍색으로 표시될 수 있다. 도 4를 보면, 상기 영상 데이터 획득단계(S100)는 지방조직(ADI), 림프구(LYM), 배경(BACK), 점액(MUC), 평활근(MUS), 정상(NORM), 파편(DEB), 암관련 기질(STR), 종양(TUM)을 포함하는 9개의 클래스로 라벨링(Labeling)된 다수 개의 영상 데이터가 획득될 수 있다. 이는, 상기 학습부(300)로부터 각 클래스에 따른 영상 데이터가 학습될 수 있도록 하기 위함이다.Referring to FIG. 3 , the BreakHis data set is a conventional data set constructed from image data including benign tumors and image data including malignant tumors. In addition, each image data may be displayed in purple or pink by staining the tissue to be examined with hematoxylin or eosin, as in one embodiment. 4, the image data acquisition step (S100) includes adipose tissue (ADI), lymphocyte (LYM), background (BACK), mucus (MUC), smooth muscle (MUS), normal (NORM), debris (DEB), A plurality of image data labeled with nine classes including cancer-related stroma (STR) and tumor (TUM) can be obtained. This is to enable the learning unit 300 to learn image data according to each class.

다음으로, 상기 데이터 셋 생성단계(S200)는 가장 바람직하게 전처리부(200) 내 패치 추출부(210)에 의하여, 상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 다수 개의 영상 데이터가 입력될 수 있도록 상기 다수 개의 영상 데이터 각각이 패치형태로 추출되는 제1 패치 추출단계(S210)를 포함할 수 있다. 상기 다수 개의 영상 데이터 획득단계(S100)로부터 상기 다수 개의 영상 데이터는 각각 상이한 사이즈일 수 있고, 가장 바람직하게, 상기 제1 패치 추출단계(S210)는 상이한 사이즈를 갖는 다수 개의 영상 데이터를 224*224 크기로 동일하게 할 수 있다.Next, in the data set generation step (S200), most preferably, the plurality of image data of a certain size can be input to the feature aggregation type deep learning model by the patch extractor 210 in the preprocessor 200 A first patch extraction step (S210) of extracting each of the plurality of image data in the form of a patch may be included. The plurality of image data from the plurality of image data acquisition step (S100) may be of different sizes, respectively, and most preferably, the first patch extraction step (S210) of the plurality of image data having a different size 224 * 224 size can be the same.

또한, 상기 데이터 셋 생성단계(S200)는 가장 바람직하게 전처리부(220) 내 정규화부(220)에 의하여, 상기 패치형태로 추출된 상기 다수 개의 영상 데이터가 대상이 되어 밝기와 색상이 일정하도록 정규화 되는 제1 정규화단계(S220)를 포함할 수 있다. 상기 다수 개의 영상 데이터 획득단계(S100)로부터 상기 다수 개의 영상 데이터는 RGB 기반의 고해상도 형식으로 획득될 수 있고, 각각의 영상 데이터는 상이한 밝기와 색상을 가질 수 있다. 따라서 상기 제1 정규화단계(S220)는 밝기와 색상이 동일할 수 있도록 상기 패치형태로 추출된 상기 다수 개의 영상 데이터가 대상이 되어 얼룩 정규화(Stain Normalization)될 수 있다. 도 5를 보면, 상기 얼룩 정규화(Stain Normalization)되기 전 영상 데이터(a)와 상기 얼룩 정규화(Stain Normalization)된 후 영상 데이터(b)의 밝기와 색상의 차이를 확인할 수 있다.In addition, the data set generation step (S200) is most preferably normalized by the normalization unit 220 in the preprocessing unit 220 so that the plurality of image data extracted in the form of patches are subject to constant brightness and color It may include a first normalization step (S220). The plurality of image data may be obtained in RGB-based high-resolution format from the plurality of image data acquisition step (S100), and each image data may have different brightness and color. Therefore, in the first normalization step (S220), the plurality of image data extracted in the patch form may be subjected to stain normalization so that the brightness and color may be the same. Referring to FIG. 5 , a difference in brightness and color between image data (a) before stain normalization and image data (b) after stain normalization can be confirmed.

따라서 본원발명의 상기 데이터 셋 생성단계(S200)로부터 상기 다수 개의 영상 데이터를 대상으로 패치형식으로 추출되고, 얼룩 정규화(Stain Normalization)된 데이터 셋이 생성될 수 있다.Therefore, from the data set generating step (S200) of the present invention, a data set obtained by extracting the plurality of image data in a patch format and stain normalizing the data set may be generated.

다음으로, 상기 학습단계(S300)는 상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시키고, 상기 데이터 셋의 일부가 사용되어 기 학습된 특징결집형 딥러닝 모델이 검증될 수 있다. 즉, 상기 학습단계(S300)는 학습부(300) 내 검증부(310)에 의하여, 학습된 상기 특징결집형 딥러닝 모델의 정확도가 검증되는 검증단계(S310)를 포함할 수 있다. 상기 학습단계(S300)는 상기 특징결집형 딥러닝 모델을 학습시킨 결과로 다수 개의 파라미터가 추출될 수 있고, 상기 다수 개의 파라미터는 실수 데이터의 집합으로 나타날 수 있다. 그리고 상기 검증단계(S310)는 다수 개의 파라미터와 상기 데이터 셋의 일부 영상 데이터를 이용하여 상기 특징결집형 딥러닝 모델의 정확도가 연산될 수 있고, 정확도가 기 설정된 수치범위를 초과할 경우 정확도가 높은 모델로 인식하고 학습이 완료될 수 있다.Next, in the learning step (S300), a feature aggregation type deep learning model is trained using the data set, and a part of the data set is used to verify the previously learned feature aggregation type deep learning model. That is, the learning step (S300) may include a verification step (S310) of verifying the accuracy of the feature aggregation type deep learning model learned by the verification unit 310 in the learning unit 300. In the learning step (S300), a plurality of parameters may be extracted as a result of learning the feature aggregation type deep learning model, and the plurality of parameters may appear as a set of real data. In the verification step (S310), the accuracy of the feature-packed deep learning model can be calculated using a plurality of parameters and some image data of the data set, and if the accuracy exceeds a preset numerical range, the accuracy is high It is recognized as a model and learning can be completed.

여기서, 상기 특징결집형 딥러닝 모델은 다수 개의 컨볼루션 블록을 포함하고 특징을 결집시키는 것이 가장 큰 특징이고, 아키텍처는 다음과 같다. Here, the feature-aggregation type deep learning model has the greatest feature of including a plurality of convolution blocks and aggregating features, and the architecture is as follows.

도 6을 보면, 상기 다수 개의 컨볼루션 블록 내 세부 구성을 확인할 수 있다. 상기 특징결집형 딥러닝 모델의 가장 최선에 위치한 컨볼루션 블록에 입력된 데이터는 224*224 해상도와 RGB 값인 3 컬러정보를 가질 수 있고, 이때, 상기 3 컬러정보는 각각 분리되어 상기 컨볼루션 블록에 입력될 수 있다. 즉, 너비(N), 높이(M) 및 컨볼루션 레이어의 필터의 개수(k) 형식으로 224*224*3 크기를 갖는 영상 데이터일 수 있고, 이는 빨간색(Red) 컬러정보를 갖는 224*224 크기의 영상 데이터, 초록색(Green) 컬러정보를 갖는 224*224 크기의 영상 데이터, 파란색(Blue) 컬러정보를 갖는 224*224* 크기의 영상 데이터각 각각 입력될 수 있다는 의미이다.Referring to FIG. 6 , detailed configurations within the plurality of convolution blocks can be confirmed. Data input to the convolution block located at the top of the feature aggregation type deep learning model may have 224*224 resolution and 3 color information of RGB values. can be entered. That is, it may be image data having a size of 224*224*3 in the format of width (N), height (M), and the number of filters (k) of the convolution layer, which is 224*224 with red color information. size image data, 224*224 size image data having green color information, and 224*224* size image data having blue color information, respectively.

그리고 상기 컨볼루션 블록은 5*5*k 개의 필터와 3*3*k 개의 필터에 의해 각각 컨볼루션이 이루어진 후 ReLU 활성화함수를 거치고, 각 필터로부터 출력된 출력값은 Concatenate 과정을 통해서 합해질 수 있다. 그리고 1*1*k 크기의 필터로 다시 컨볼루션이 이루어진 후 ReLU 활성화함수를 거치고, 배치 정규화(Batch Normalization)한 후 출력값을 출력한다. 여기서, 컨볼루션은 텐스플로우(Tensflow)의 케라스(Keras)의 함수를 활용할 수 있다. 따라서 상기 컨볼루션 블록으로부터 출력된 데이터의 개수는 k개의 사이즈를 가질 수 있다. In addition, the convolution block is subjected to a ReLU activation function after convolution is performed by 5*5*k filters and 3*3*k filters, respectively, and output values output from each filter can be summed through a concatenation process. . Then, after convolution is performed again with a filter of size 1*1*k, it passes through the ReLU activation function, and after batch normalization, an output value is output. Here, convolution can utilize Tensflow's Keras function. Accordingly, the number of data output from the convolution block may have k sizes.

다음으로, 상기 특징 결집형 딥러닝 모델은 제n 컨볼루션 블록으로부터 출력된 제n 결과와 제n+1 컨볼루션 블록으로부터 출력된 제n+1 결과가 합해진 후 제n 평균풀링(Average Pooling) 블록에서 제n 특징 결집이 이루어지고, 그 다음 상기 제n 특징 결집, 제n+2 컨볼루션 블록으로부터 출력된 제n+2 결과와 제n+3 컨볼루션 블록으로부터 출력된 제n+3 결과가 합해진 후 제n+1 평균풀링(Average Pooling) 블록에서 제n+1 특징 결집이 이루어질 수 있다. 여기서, n은 양의 정수이다. 그리고 상기 특징결집형 딥러닝 모델은 최종 특징 결집 후 전체평균풀링(Global Average Pooling; GAP) 블록과 완전연결(Fully Connected; FC) 층을 포함할 수 있다.Next, in the feature aggregation type deep learning model, the n-th result output from the n-th convolution block and the n+1-th result output from the n+1-th convolution block are combined, and then the n-th average pooling block In , the nth feature aggregation is performed, and then the n+2th result output from the nth feature aggregation, the n+2th convolution block, and the n+3th result output from the n+3th convolution block are summed. Afterwards, the n+1th feature aggregation may be performed in the n+1th Average Pooling block. Here, n is a positive integer. The feature aggregation type deep learning model may include a Global Average Pooling (GAP) block and a Fully Connected (FC) layer after final feature aggregation.

예컨대, 전처리된 데이터 셋 또는 상기 임의의 영상 데이터는 224*224*3의 크기를 갖고 상기 특징결집형 딥러닝 모델의 제1 컨볼루션 블록(B1)에 입력될 수 있고, 상기 제1 컨볼루션 블록(B1)은 224*224*16의 크기를 갖는 제1 결과를 출력할 수 있다. 여기서, 3 또는 16은 필터의 개수를 일컫는다. 그리고 상기 제2 컨볼루션 블록(B2)은 상기 제1 결과가 입력되어 224*224*32의 크기를 갖는 제2 결과를 출력할 수 있다. 그리고 상기 제1 결과와 제2 결과가 단순히 합해지는 Concatenate 과정을 거치고, 224*224*48의 크기를 갖는 제1 결과와 제2 결과가 제1 평균풀링(Average Pooling) 블록(P1)에 입력되면 제1 특징 결집이 이루어진다. 제1 특징 결집은 112*112*48의 크기를 가질 수 있다.For example, the preprocessed data set or the arbitrary image data may have a size of 224*224*3 and be input to the first convolution block (B1) of the feature aggregation type deep learning model, and the first convolution block (B1) may output a first result having a size of 224*224*16. Here, 3 or 16 refers to the number of filters. The second convolution block B2 may output a second result having a size of 224*224*32 after receiving the first result. And, when the first result and the second result are simply added together through a concatenate process, and the first result and the second result having a size of 224*224*48 are input to the first average pooling block (P1), A first feature set is made. The first feature cluster may have a size of 112*112*48.

다음으로, 제1 특징 결집은 제3 컨볼루션 블록(B3)에 입력되어 112*112*32 크기를 갖는 제3 결과를 출력할 수 있다. 그리고 제4 컨볼루션 블록(B4)은 상기 제2 결과가 입력되어 112*112*64의 크기를 갖는 제4 결과를 출력할 수 있다. 그리고 상기 제1 특징 결집, 상기 제3 결과와 제4 결과가 단순히 합해지는 Concatenate 과정을 거쳐 112*112*144 크기를 가질 수 있고, 제2 평균풀링(Average Pooling) 블록(P2)에 입력되어 56*56*144의 크기를 갖는 제2 특징 결집이 이루어진다.Next, the first feature aggregation may be input to the third convolution block B3 to output a third result having a size of 112*112*32. Also, the fourth convolution block B4 may output a fourth result having a size of 112*112*64 after receiving the second result. In addition, it may have a size of 112*112*144 through a concatenate process in which the first feature aggregate, the third result and the fourth result are simply combined, and input to the second average pooling block (P2) to obtain 56 A second feature aggregation having a size of *56*144 is made.

다음으로, 상기 제2 특징 결집은 제5 컨볼루션 블록(B5)에 입력되어 56*56*64 크기를 갖는 제5 결과를 출력할 수 있다. 그리고 제6 컨볼루션 블록(B6)은 상기 제5 결과가 입력되어 56*56*128 크기를 갖는 제6 결과를 출력할 수 있다. 그리고 상기 제2 특징 결집, 상기 제5 결과와 제6 결과가 단순히 합해지는 Concatenate 과정을 거쳐 112*112*144 크기를 가질 수 있고, 제3 평균풀링(Average Pooling) 블록(P3)에 입력되어 28*28*192 크기를 갖는 제3 특징 결집이 이루어진다. Next, the second feature aggregation may be input to a fifth convolution block B5 to output a fifth result having a size of 56*56*64. Further, the sixth convolution block B6 may output a sixth result having a size of 56*56*128 after receiving the fifth result. In addition, it may have a size of 112*112*144 through a concatenate process in which the second feature aggregation, the fifth result and the sixth result are simply combined, and input to the third average pooling block (P3) to obtain 28 A third feature aggregation having a size of *28*192 is made.

다음으로, 상기 제3 특징 결집은 제7 컨볼루션 블록(B7)에 입력되어 28*28*128 크기를 갖는 제7 결과를 출력할 수 있다. 그리고 제8 컨볼루션 블록(B8)은 상기 제7 결과가 입력되어 28*28*256 크기를 갖는 제8 결과를 출력할 수 있다. 그리고 상기 제3 특징 결집, 상기 제7 결과와 제8 결과가 단순히 합해지는 Concatenate 과정을 거쳐 28*28*576 크기를 가질 수 있고, 제4 평균풀링(Average Pooling) 블록(P4)에 입력되어 14*14*576 크기를 갖는 제4 특징 결집이 이루어진다.Next, the third feature set may be input to a seventh convolution block B7 to output a seventh result having a size of 28*28*128. Further, the eighth convolution block B8 may output an eighth result having a size of 28*28*256 after receiving the seventh result. In addition, it may have a size of 28*28*576 through a concatenate process in which the third feature aggregate, the seventh result and the eighth result are simply combined, and input to the fourth average pooling block (P4) to obtain 14 A fourth feature aggregation having size *14*576 is made.

다음으로, 상기 제4 특징 결집은 제9 컨볼루션 블록(B9)에 입력되어 14*14*256 크기를 갖는 제9 결과를 출력할 수 있다. 그리고 제10 컨볼루션 블록(B9)은 상기 제9 결과가 입력되어 14*14*512 크기를 갖는 제10 결과를 출력할 수 있다. 그리고 상기 제4 특징 결집, 상기 제9 결과와 제10 결과가 단순히 합해지는 Concatenate 과정을 거쳐 14*14*784 크기를 가질 수 있고, 제5 평균풀링(Average Pooling) 블록(P5)에 입력되어 7*7*784 크기를 갖는 제5 특징 결집이 이루어진다.Next, the fourth feature aggregate may be input to the ninth convolution block B9 to output a ninth result having a size of 14*14*256. Further, the 10th convolution block B9 may output a 10th result having a size of 14*14*512 after receiving the ninth result. In addition, it may have a size of 14*14*784 through a concatenate process in which the fourth feature aggregate, the ninth result and the tenth result are simply combined, and input to the fifth average pooling block (P5) to obtain 7 A fifth feature aggregation having size *7*784 is made.

마지막으로, 상기 제5 평균풀링(Average Pooling) 블록(P5)은 상기 제1 특징 결집 내지 제4 특징 결집에 대하여 평균풀링(Average Pooling)을 반복하여 7*7 크기로 줄인 후 상기 제5 특징 결집과 합해진다. 그리고 상기 제5 평균풀링(Average Pooling) 블록(P5)으로부터 출력된 결과가 전체평균풀링(Global Average Pooling) 블록(GAP)과 완전연결(Fully Connected; FC) 층을 거치면 분류결과가 출력될 수 있도록 구성될 수 있다.Finally, the fifth average pooling block (P5) repeats average pooling on the first to fourth feature aggregates to reduce the size to 7*7, and then the fifth feature aggregate. combined with And, when the result output from the fifth Average Pooling block (P5) passes through the Global Average Pooling block (GAP) and the Fully Connected (FC) layer, a classification result can be output. can be configured.

(2-2) 딥러닝 모델을 이용한 영상 분류 방법(2-2) Image classification method using deep learning model

다음으로, 본원발명의 딥러닝 모델을 이용한 영상 분류 방법을 설명하면 다음과 같다. 도 9는 본 발명의 딥러닝 모델을 이용한 영상 분류 방법 흐름도이다.Next, an image classification method using the deep learning model of the present invention will be described. 9 is a flowchart of an image classification method using a deep learning model of the present invention.

도 9를 보면, 본원발명의 딥러닝 모델을 이용한 영상 분류 방법은 데이터 획득부(100)에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 다수 개의 영상 데이터 획득단계(S100), 전처리부(200)에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 데이터 셋 생성단계(S200), 학습부(300)에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파리미터가 추출되는 학습단계(S300), 상기 데이터 획득부(100)에 의하여, 임의의 영상 데이터가 획득되는 임의의 영상 데이터 획득단계(S400), 상기 전처리부(200)에 의하여, 상기 임의의 영상 데이터가 전처리되는 전처리단계(S500); 및 예측부(400)에 의하여, 전처리된 상기 임의의 영상 데이터가 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력됨으로써, 기 설정된 분류기준에 따른 분류결과가 예측되는 예측단계(S600)를 포함한다.Referring to FIG. 9 , the image classification method using the deep learning model of the present invention includes a plurality of image data acquisition steps (S100) in which a plurality of labeled image data is acquired by the data acquisition unit 100, a pre-processing unit In (200), a data set creation step (S200) in which a data set is generated after the plurality of image data is preprocessed, and the feature aggregation type deep learning model is learned by using the data set by the learning unit 300 Then, a learning step (S300) in which parameters are extracted, an arbitrary image data acquisition step (S400) in which arbitrary image data is obtained by the data acquisition unit 100, and the arbitrary image data acquisition step (S400) by the pre-processing unit 200 A pre-processing step of pre-processing the image data of (S500); and a predicting step (S600) of predicting a classification result according to a preset classification criterion by inputting the arbitrary image data preprocessed by the prediction unit 400 to the feature aggregation type deep learning model having parameters. .

이때, 본원발명의 딥러닝 모델을 이용한 영상 분류 방법의 다수 개의 영상 데이터 획득단계(S100), 데이터 셋 생성단계(S200), 학습단계(S300)는 앞서 언급한 본원발명의 딥러닝 모델 학습 방법의 다수 개의 영상 데이터 획득단계(S100), 데이터 셋 생성단계(S200) 및 학습단계(S300)와 동일하다.At this time, the multiple image data acquisition step (S100), data set generation step (S200), and learning step (S300) of the image classification method using the deep learning model of the present invention are the aforementioned deep learning model learning method of the present invention It is the same as acquiring a plurality of image data (S100), generating a data set (S200), and learning (S300).

다음으로, 상기 임의의 영상 데이터 획득단계(S400)는 분류결과를 예측하기 위한 것으로 라벨링(Labeling)되지 않은 임의의 영상 데이터가 획득될 수 있다. 그리고 상기 임의의 영상 데이터는 피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상인 것이 가장 바람직하다.Next, the random image data acquisition step (S400) is for predicting a classification result, and random image data that is not labeled may be acquired. And, most preferably, the arbitrary image data is a histopathology image taken after tissue is stained for a biopsy of a subject to be examined.

다음으로, 상기 전처리단계(S500)는 우선 상기 전처리부(200) 내 패치 추출부(210)에 의하여, 상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 임의의 영상 데이터가 입력될 수 있도록 임의의 영상 데이터가 패치형태로 추출되는 제2 패치 추출단계(S510)를 포함할 수 있다. 즉, 상기 임의의 영상 데이터의 크기가 상기 특징결집형 딥러닝 모델에 적합한 사이즈일 수 있고 그렇지 않을 수 있으므로, 상기 제2 패치 추출단계(S510)는 224*224와 같이 일정한 크기를 가질 수 있도록 패치형태가 추출될 수 있다. Next, in the pre-processing step (S500), first, the random image data of a certain size can be input to the feature-integrated deep learning model by the patch extractor 210 in the pre-processor 200. A second patch extraction step (S510) of extracting image data in the form of a patch may be included. That is, since the size of the arbitrary image data may or may not be a size suitable for the feature aggregation type deep learning model, the second patch extraction step (S510) is performed to obtain a patch to have a constant size such as 224 * 224 form can be extracted.

또한, 상기 전처리단계(S500)는 상기 전처리부(200) 내 정규화부(220)에 의하여, 패치형태로 추출된 상기 다수 개의 영상 데이터와 임의의 영상 데이터가 대상이 되어 밝기와 색상이 일정하도록 정규화 되는 제2 정규화단계(S520)를 더 포함할 수 있다. 즉, 상기 임의의 영상 데이터 역시 앞서 언급한 다수 개의 영상 데이터와 동일하게 RGB 기반의 해상도를 가질 수 있고, 촬영된 시간, 장치, 외부환경 등이 상이함에 따라 달라지는 밝기와 색상이 일정하도록 상기 제2 정규화단계(S520)는 패치형태로 추출된 상기 임의의 영상 데이터가 대상이 되어 얼룩 정규화(Stain Normalization)가 수행될 수 있다.In addition, in the preprocessing step (S500), the plurality of image data extracted in the form of patches and arbitrary image data are normalized by the normalization unit 220 in the preprocessing unit 200 so that the brightness and color are constant. A second normalization step (S520) may be further included. That is, the arbitrary image data may also have the same RGB-based resolution as the plurality of image data mentioned above, and the brightness and color that vary according to the photographing time, device, and external environment are different, so that the second In the normalization step (S520), stain normalization may be performed with the arbitrary image data extracted in the form of a patch as a target.

다음으로, 상기 예측단계(S600)는 상기 특징결집형 딥러닝 모델이 학습된 상기 데이터 셋에 따라 정상과 비정상으로 분류된 분류결과가 예측될 수도 있고, 기 설정된 분류기준에 따른 분류결과가 예측될 수도 있다. 즉, 상기 학습단계(S300)로부터 도 2와 같이 정상 비정상으로 분류된 데이터 셋으로 상기 특징결집형 딥러닝 모델이 학습되었다면 상기 예측단계(S600)는 상기 임의의 영상 데이터로부터 정상 또는 비정상 중 하나의 분류결과가 제공될 수 있고, 상기 학습단계(S300)로부터 도 3과 같이 9개의 분류기준에 따라 분류된 데이터 셋으로 상기 특징결집형 딥러닝 모델이 학습되었다면 상기 예측단계(S600)는 상기 임의의 영상 데이터로부터 9개의 분류기준 중 하나의 분류결과가 제공될 수 있다. Next, in the predicting step (S600), a classification result classified into normal and abnormal may be predicted according to the data set on which the feature aggregation type deep learning model has been learned, or a classification result according to a preset classification criterion may be predicted. may be That is, if the feature aggregation type deep learning model is learned with the data set classified as normal or abnormal as shown in FIG. If a classification result can be provided, and the feature aggregation type deep learning model is learned with a data set classified according to nine classification criteria as shown in FIG. 3 from the learning step (S300), the prediction step (S600) is the arbitrary A classification result of one of nine classification criteria may be provided from image data.

즉, 본원발명의 상기 특징결집형 딥러닝 모델은 특징을 결집하기 위해서 가장 작고 얕은 규모에서 시작하여 반복적인 방식을 통해서 점차 깊고 넓은 규모로 병합하는 구조를 갖는다. 이에 따라 상기 조직 병리학 영상과 같이 객체를 인식하기 어려운 영상으로부터 용이하게 객체가 인식될 수 있고 이에 따라 질병의 여부가 정확하게 예측될 수 있는 현저한 효과가 있다. That is, the feature aggregation type deep learning model of the present invention has a structure in which features are aggregated starting from the smallest and shallowest scale and gradually merging into a deeper and wider scale through an iterative method. Accordingly, an object can be easily recognized from an image in which it is difficult to recognize an object, such as the histopathology image, and accordingly, there is a remarkable effect that the presence or absence of a disease can be accurately predicted.

또한, 본원발명의 딥러닝 모델 학습을 통해서 학습된 상기 특징결집형 딥러닝 모델은 정상 및 비정상과 같이 이진적으로 분류결과가 출력될 수 있을 뿐만 아니라 기 설정된 분류기준에 따라 여러 가지로 분류결과가 출력될 수 있는 현저한 효과가 있다. 따라서 본원발명의 특징결집형 딥러닝 모델은 조직 병리학 영상에 국한되어 활용되지 않고, 영상 데이터를 이용한 객체의 종류 또는 상태를 분류하는 다양한 산업군에 활용될 수 있는 현저한 효과가 있다.In addition, the feature-aggregated deep learning model learned through the deep learning model learning of the present invention can output binary classification results such as normal and abnormal, as well as various classification results according to preset classification criteria. There are significant effects that can be output. Therefore, the feature aggregation type deep learning model of the present invention is not limited to histopathology images and has a remarkable effect that can be used in various industrial groups that classify the type or state of an object using image data.

실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 필요한 작업을 수행하는 프로그램 코드 또는 코드 세그먼트들은 컴퓨터 판독 가능 저장 매체에 저장되고 하나 이상의 프로세서에 의해 실행될 수 있다.Embodiments may be implemented by hardware, software, firmware, middleware, microcode, hardware description language, or any combination thereof. When implemented in software, firmware, middleware or microcode, the program code or code segments that perform necessary tasks may be stored on a computer readable storage medium and executed by one or more processors.

그리고 본 명세서에 설명된 주제의 양태들은 컴퓨터에 의해 실행되는 프로그램 모듈 또는 컴포넌트와 같은 컴퓨터 실행 가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈 또는 컴포넌트들은 특정 작업을 수행하거나 특정 데이터 형식을 구현하는 루틴, 프로그램, 객체, 데이터 구조를 포함한다. 본 명세서에 설명된 주제의 양태들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체에 둘 다에 위치할 수 있다.And aspects of the subject matter described herein may be described in the general context of computer-executable instructions, such as a program module or component executed by a computer. Generally, program modules or components include routines, programs, objects, and data structures that perform particular tasks or implement particular data types. Aspects of the subject matter described herein may be practiced in distributed computing environments where tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote computer storage media including memory storage devices.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 으로 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and/or the components of the system, structure, device, circuit, etc. described in are combined or combined in a different form than the described method, or in a different configuration. Appropriate results can be achieved even when substituted or substituted by elements or equivalents.

그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100.. 데이터 획득부
200.. 전처리부
210.. 패치 추출부
220.. 정규화부
300.. 학습부
310.. 검증부
400.. 예측부
B.. 컨볼루션 블록
P.. 평균풀링(Average Pooling) 블록
G.. 전체평균풀링(Global Average Pooling) 블록
F.. 완전연결(Fully Connected) 층100.. data acquisition unit
200.. pre-processing unit
210.. patch extraction unit
220.. normalization unit
300.. Department of Learning
310.. Verification Department
400.. prediction unit
B.. convolution block
P.. Average Pooling block
G.. Global Average Pooling block
F.. Fully Connected Layer

Claims (14)

라벨링(Labeling)된 다수 개의 영상 데이터를 획득하는 데이터 획득부;
상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하는 전처리부; 및
상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부;를 포함하는 딥러닝 모델 학습 시스템.a data acquisition unit that acquires a plurality of labeled image data;
a pre-processing unit generating a data set after pre-processing the plurality of image data; and
A deep learning model learning system comprising: a learning unit that extracts parameters after training a feature aggregation type deep learning model using the data set. 제 1항에 있어서,
상기 전처리부는,
상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 다수 개의 영상 데이터가 입력될 수 있도록 상기 다수 개의 영상 데이터 각각을 패치형태로 추출하는 패치 추출부;를 포함하는 것을 특징으로 하는 딥러닝 모델 학습 시스템.According to claim 1,
The pre-processing unit,
A deep learning model learning system comprising a; patch extractor for extracting each of the plurality of image data in a patch form so that the plurality of image data of a certain size can be input to the feature aggregation type deep learning model. 제 2항에 있어서,
상기 전처리부는,
상기 패치형태로 추출된 상기 다수 개의 영상 데이터를 대상으로 밝기와 색상이 일정하도록 정규화 하는 정규화부;를 더 포함하는 것을 특징으로 하는 딥러닝 모델 학습 시스템.According to claim 2,
The pre-processing unit,
The deep learning model learning system further comprising a normalization unit that normalizes the plurality of image data extracted in the form of patches so that brightness and color are constant. 제 1항에 있어서,
상기 특징결집형 딥러닝 모델은,
제n 컨볼루션 블록으로부터 출력된 제n 결과와 제n+1 컨볼루션 블록으로부터 출력된 제n+1 결과가 합해진 후 제n 평균풀링(Average Pooling) 블록에서 제n 특징 결집이 이루어지고,
상기 제n 특징 결집, 제n+2 컨볼루션 블록으로부터 출력된 제n+2 결과와 제n+3 컨볼루션 블록으로부터 출력된 제n+3 결과가 합해진 후 제n+1 평균풀링(averrage Pooling) 블록에서 제n+1 특징 결집이 이루어지는 것을 특징으로 하는 딥러닝 모델 학습 시스템.
여기서, n은 양의 정수이다.According to claim 1,
The feature aggregation type deep learning model,
After the n-th result output from the n-th convolution block and the n+1-th result output from the n+1-th convolution block are added, n-th feature aggregation is performed in an n-th average pooling block,
After the n + 2 th feature aggregation, the n + 2 result output from the n + 2 convolution block and the n + 3 result output from the n + 3 convolution block are combined, n + 1 average pooling A deep learning model learning system, characterized in that the n + 1th feature aggregation is made in the block.
Here, n is a positive integer. 제 4항에 있어서,
상기 특징결집형 딥러닝 모델은,
최종 특징 결집 후 전체평균풀링(Global Average Pooling; GAP) 블록과 완전연결(Fully Connected; FC) 층을 포함하는 것을 특징으로 하는 딥러닝 모델 학습 시스템.According to claim 4,
The feature aggregation type deep learning model,
A deep learning model learning system comprising a Global Average Pooling (GAP) block and a Fully Connected (FC) layer after final feature aggregation. 제 1항에 있어서,
상기 다수 개의 영상 데이터는,
피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상인 것을 특징으로 하는 딥러닝 모델 학습 시스템.According to claim 1,
The plurality of image data,
Deep learning model learning system, characterized in that the histopathology image taken after the tissue is stained for histological examination of the subject. 영상 데이터 획득부에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 다수 개의 영상 데이터 획득단계;
전처리부에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 데이터 셋 생성단계; 및
학습부에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파라미터가 추출되는 학습단계;를 포함하는 딥러닝 모델 학습 방법.a plurality of image data acquisition steps in which a plurality of labeled image data are obtained by an image data acquisition unit;
a data set generating step of generating a data set after pre-processing the plurality of image data by a pre-processing unit; and
A learning step of extracting parameters after learning a feature aggregation type deep learning model by using the data set by a learning unit; 라벨링(Labeling)된 다수 개의 영상 데이터를 획득하거나, 임의의 영상 데이터를 획득하는 데이터 획득부;
상기 다수 개의 영상 데이터를 전처리한 후 데이터 셋을 생성하거나, 상기 임의의 영상 데이터를 전처리하는 전처리부;
상기 데이터 셋을 이용하여 특징결집형 딥러닝 모델을 학습시킨 후 파라미터를 추출하는 학습부; 및
전처리된 상기 임의의 영상 데이터를 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력함으로써, 기 설정된 분류기준에 따른 분류결과를 예측하는 예측부;를 포함하는 딥러닝 모델을 이용한 영상 분류 시스템.a data acquisition unit that obtains a plurality of labeled image data or obtains arbitrary image data;
a pre-processing unit generating a data set after pre-processing the plurality of image data or pre-processing the arbitrary image data;
a learning unit that extracts parameters after training a feature aggregation type deep learning model using the data set; and
A prediction unit for predicting a classification result according to a preset classification criterion by inputting the preprocessed arbitrary image data to the feature-aggregation type deep learning model having parameters. 제 8항에 있어서,
상기 전처리부는,
상기 특징결집형 딥러닝 모델에 일정한 크기의 상기 다수 개의 영상 데이터와 임의의 영상 데이터가 입력될 수 있도록 상기 다수 개의 영상 데이터와 임의의 영상 데이터 각각을 패치형태로 추출하는 패치 추출부;를 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 영상 분류 시스템.According to claim 8,
The pre-processing unit,
A patch extractor for extracting each of the plurality of image data and arbitrary image data in the form of a patch so that the plurality of image data and arbitrary image data of a certain size can be input to the feature aggregation type deep learning model. An image classification system using a deep learning model, characterized in that. 제 9항에 있어서,
상기 전처리부는,
패치형태로 추출된 상기 다수 개의 영상 데이터와 임의의 영상 데이터를 대상으로 밝기와 색상이 일정하도록 정규화 하는 정규화부;를 더 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 영상 분류 시스템.According to claim 9,
The pre-processing unit,
A normalization unit for normalizing the plurality of image data extracted in the form of a patch and arbitrary image data so that the brightness and color are constant. 제 8항에 있어서,
상기 특징결집형 딥러닝 모델은,
제n 컨볼루션 블록으로부터 출력된 제n 결과와 제n+1 컨볼루션 블록으로부터 출력된 제n+1 결과가 합해진 후 제n 평균풀링(Average Pooling) 블록에서 제n 특징 결집이 이루어지고,
상기 제n 특징 결집, 제n+2 컨볼루션 블록으로부터 출력된 제n+2 결과와 제n+3 컨볼루션 블록으로부터 출력된 제n+3 결과가 합해진 후 제n+1 평균풀링(averrage Pooling) 블록에서 제n+1 특징 결집이 이루어지는 것을 특징으로 하는 딥러닝 모델을 이용한 영상 분류 시스템.
여기서, n은 양의 정수이다.According to claim 8,
The feature aggregation type deep learning model,
After the n-th result output from the n-th convolution block and the n+1-th result output from the n+1-th convolution block are added, n-th feature aggregation is performed in an n-th average pooling block,
After the n + 2 th feature aggregation, the n + 2 result output from the n + 2 convolution block and the n + 3 result output from the n + 3 convolution block are combined, n + 1 average pooling An image classification system using a deep learning model, characterized in that the n + 1th feature aggregation is made in the block.
Here, n is a positive integer. 제 11항에 있어서,
상기 특징결집형 딥러닝 모델은,
최종 특징 결집 후 전체평균풀링(Global Average Pooling; GAP) 블록과 완전연결(Fully Connected; FC) 층을 거치면 상기 분류결과가 출력되는 것을 특징으로 하는 딥러닝 모델을 이용한 영상 분류 시스템.According to claim 11,
The feature aggregation type deep learning model,
An image classification system using a deep learning model, characterized in that the classification result is output after passing through a Global Average Pooling (GAP) block and a Fully Connected (FC) layer after final feature collection. 제 8항에 있어서,
상기 임의의 영상 데이터는,
피검사체의 조직검사를 위해 조직이 염색된 후 촬영된 조직 병리학 영상인 것을 특징으로 하는 딥러닝 모델을 이용한 영상 분류 시스템.According to claim 8,
The arbitrary image data,
An image classification system using a deep learning model, characterized in that the histopathology image taken after the tissue is stained for a histological examination of the subject. 데이터 획득부에 의하여, 라벨링(Labeling)된 다수 개의 영상 데이터가 획득되는 다수 개의 영상 데이터 획득단계;
전처리부에 의하여, 상기 다수 개의 영상 데이터가 전처리된 후 데이터 셋이 생성되는 데이터 셋 생성단계;
학습부에 의하여, 상기 데이터 셋이 이용되어 특징결집형 딥러닝 모델이 학습된 후 파리미터가 추출되는 학습단계;
상기 데이터 획득부에 의하여, 임의의 영상 데이터가 획득되는 임의의 영상 데이터 획득단계;
상기 전처리부에 의하여, 상기 임의의 영상 데이터가 전처리되는 전처리단계; 및
예측부에 의하여, 전처리된 상기 임의의 영상 데이터가 파라미터를 갖는 상기 특징결집형 딥러닝 모델에 입력됨으로써, 기 설정된 분류기준에 따른 분류결과가 예측되는 예측단계;를 포함하는 딥러닝 모델을 이용한 영상 분류 방법.a plurality of image data acquisition steps in which a plurality of labeled image data are acquired by a data acquisition unit;
a data set generating step of generating a data set after pre-processing the plurality of image data by a pre-processing unit;
a learning step in which, by a learning unit, a feature aggregation type deep learning model is learned using the data set and then parameters are extracted;
an arbitrary image data acquisition step in which arbitrary image data is acquired by the data acquisition unit;
a pre-processing step of pre-processing the arbitrary image data by the pre-processing unit; and
A prediction step of predicting a classification result according to a preset classification criterion by inputting the arbitrary image data preprocessed by a prediction unit to the feature aggregation type deep learning model having parameters; an image using a deep learning model comprising: classification method.
KR1020210176379A 2021-12-10 2021-12-10 Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model KR20230087816A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210176379A KR20230087816A (en) 2021-12-10 2021-12-10 Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210176379A KR20230087816A (en) 2021-12-10 2021-12-10 Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model

Publications (1)

Publication Number Publication Date
KR20230087816A true KR20230087816A (en) 2023-06-19

Family

ID=86988537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210176379A KR20230087816A (en) 2021-12-10 2021-12-10 Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model

Country Status (1)

Country Link
KR (1) KR20230087816A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054344A (en) 2018-10-25 2020-05-20 현대모비스 주식회사 Apparatus and method for detecting distance values per instance object using a stereo camera
KR20200075072A (en) 2018-12-07 2020-06-26 한국전자통신연구원 A method and apparatus for detecting an object in an image by matching a bounding box on a space-time basis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054344A (en) 2018-10-25 2020-05-20 현대모비스 주식회사 Apparatus and method for detecting distance values per instance object using a stereo camera
KR20200075072A (en) 2018-12-07 2020-06-26 한국전자통신연구원 A method and apparatus for detecting an object in an image by matching a bounding box on a space-time basis

Similar Documents

Publication Publication Date Title
CN112132156B (en) Image saliency target detection method and system based on multi-depth feature fusion
CN112150428B (en) Medical image segmentation method based on deep learning
Agaian et al. Automated screening system for acute myelogenous leukemia detection in blood microscopic images
Hartanto et al. Development of mobile skin cancer detection using faster R-CNN and MobileNet v2 model
Grand-Brochier et al. Tree leaves extraction in natural images: Comparative study of preprocessing tools and segmentation methods
Korbar et al. Looking under the hood: Deep neural network visualization to interpret whole-slide image analysis outcomes for colorectal polyps
Fan et al. Effect of image noise on the classification of skin lesions using deep convolutional neural networks
CN113034505B (en) Glandular cell image segmentation method and glandular cell image segmentation device based on edge perception network
Yuan et al. Automatic polyp detection in colonoscopy videos
Sathyan et al. Lung nodule classification using deep ConvNets on CT images
WO2021120961A1 (en) Brain addiction structure map evaluation method and apparatus
Öztürk et al. Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks
CN113989662A (en) Remote sensing image fine-grained target identification method based on self-supervision mechanism
Xing et al. Traffic sign recognition using guided image filtering
Taş et al. Super resolution convolutional neural network based pre-processing for automatic polyp detection in colonoscopy images
CN113706562B (en) Image segmentation method, device and system and cell segmentation method
CN110991412A (en) Face recognition method and device, storage medium and electronic equipment
Razavi et al. Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images
Dipu et al. Brain tumor detection using various deep learning algorithms
Scheurer et al. Semantic segmentation of histopathological slides for the classification of cutaneous lymphoma and eczema
Fahad et al. Skinnet-8: An efficient cnn architecture for classifying skin cancer on an imbalanced dataset
CN113781387A (en) Model training method, image processing method, device, equipment and storage medium
KR20230087816A (en) Deep Learning Model Learning System and Method, and Image Classification System and Method using Deep Learning Model
CN113887455B (en) Face mask detection system and method based on improved FCOS
Kee et al. Cracks identification using mask region-based denoised deformable convolutional network