WO2022015000A1 - 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법 - Google Patents

다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법 Download PDF

Info

Publication number
WO2022015000A1
WO2022015000A1 PCT/KR2021/008932 KR2021008932W WO2022015000A1 WO 2022015000 A1 WO2022015000 A1 WO 2022015000A1 KR 2021008932 W KR2021008932 W KR 2021008932W WO 2022015000 A1 WO2022015000 A1 WO 2022015000A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
layer
images
cancer
cancer progression
Prior art date
Application number
PCT/KR2021/008932
Other languages
English (en)
French (fr)
Inventor
하유신
장현종
박재명
이성학
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority claimed from KR1020210091299A external-priority patent/KR102605837B1/ko
Publication of WO2022015000A1 publication Critical patent/WO2022015000A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Definitions

  • the present invention relates to a cancer progression/relapse prediction system and a cancer progression/relapse prediction method using multiple images capable of predicting the prognosis, cancer recurrence, and cancer progression of a cancer patient through multiple diagnostic images.
  • Images used in the diagnosis process of cancer patients are various, such as pathological tissue images, endoscopic images, and radiographic images.
  • An object of the present invention is to integrate at least three image modalities using deep learning to diagnose and predict the prognosis, cancer recurrence, and cancer progression of a cancer patient. Based on deep learning, a cancer progression/recurrence prediction system using multiple images and cancer It is to provide a method for predicting progression/recurrence.
  • an image acquisition unit that acquires an endoscopic image, a pathological tissue image and a radiographic image by imaging a target lesion of a cancer patient with an endoscope, a pathological tissue scan, and radiation, an acquired endoscopic image, and a pathological tissue image and a layer extractor that extracts a plurality of step-by-step layers individually by analyzing the radiographic image with a deep learning-based predictor, and extracts the highest feature layer for each image from among a plurality of step-by-step layers extracted from each image, and
  • This can be achieved by a cancer progression/recurrence prediction system using multiple images, including a layer forming unit that forms one final classification layer for predicting cancer progression and recurrence of a cancer patient by combining the uppermost feature layers.
  • an endoscopic image, a pathological tissue image, and a radiographic image may be processed using a Convolutional Neural Network (CNN)-based deep learning predictor.
  • CNN Convolutional Neural Network
  • the endoscopic image, the pathological tissue image, and the radiographic image may be individually analyzed by the deep learning predictor, and a plurality of step-by-step layers may be extracted for each image.
  • the image acquiring unit, the layer extracting unit, and the layer forming unit may be provided as a single neural network for predicting a cancer patient's prognosis, cancer recurrence, and cancer progression.
  • the final classification layer formed by the layer forming unit may be combined in a state in which the uppermost characteristic layer extracted from each endoscopic image, pathological tissue image, and radiographic image is continuously listed.
  • the layer forming unit may add a feature extraction layer between the uppermost feature layer and the final classification layer in a state that is extracted and combined for each image.
  • the layer extracting unit may be provided to extract a plurality of layered layers using about 5 images including a target lesion of a cancer patient from among a plurality of images captured by the endoscope in the image acquisition unit.
  • the layer extraction unit may be provided to extract a plurality of layered layers using only an image classified as a tumor tissue from among images digitally scanned of cancer tissues of a cancer patient using pathological tissue scans by the image acquisition unit.
  • the layer extractor may be provided to extract a plurality of layered layers by using about five or more images from among a plurality of CT images in which cancer tissue of a cancer patient appears by using radiation from the image acquisition unit.
  • the present invention is an image acquisition unit that acquires an endoscopic image, a pathological tissue image and a radiographic image by photographing a target lesion of a cancer patient with an endoscope, a pathological tissue scan, and a radiation, the acquired endoscopic image, a pathological tissue image, and a radiographic image
  • a layer extractor that extracts a plurality of step-by-step layers using a predictor based on deep learning for a layer forming unit that combines to form one final classification layer, wherein the layer forming unit combines the uppermost feature layer extracted from the endoscopic image and the uppermost feature layer extracted from the pathological tissue image to form a final feature layer, and the endoscopic image and cancer progression/relapse using multiple images, which is prepared to predict cancer progression and recurrence of cancer patients by combining the final feature layer formed by the combination of pathological tissue images and the highest feature layer extracted from the radiographic image to form a final classification layer
  • This can be achieved by a predictive system.
  • Step (a) of acquiring a photographed diagnostic image, extracting a step-by-step layer for each of the obtained endoscopic image, pathological tissue image, and radiographic image, and extracting the highest characteristic layer for each image from the extracted step-by-step layer A method for predicting cancer progression and recurrence using multiple images, including b) and (c) forming one final classification layer for predicting cancer progression and recurrence of cancer patients through the highest feature layer extracted from each image can be achieved by
  • the step (a') of obtaining a diagnostic image of a target lesion of a cancer patient using an endoscope, a pathological tissue scan, and radiation (a'), each of the obtained endoscopic images, and pathological tissue images and extracting the step-by-step layer for the radiographic image, extracting the top-level feature layer for each image from the extracted step-by-step layer (b'), and predicting cancer progression and recurrence of cancer patients through the top-level feature layer extracted from each image It can be achieved by a cancer progression and recurrence prediction method using multiple images, including the step (c') of forming one final classification layer for
  • the step (c') is the step (c'-1) of extracting the final feature layer by combining the uppermost feature layer of the endoscopic image and the uppermost feature layer of the radiographic image, and the final formed by the combination of the endoscopic image and the radiographic image.
  • the step (c′-2) of extracting the final classification layer by combining the feature layer and the uppermost feature layer of the pathological tissue image may be included.
  • the cancer progression/relapse prediction system and cancer progression/relapse prediction method using multiple images of the present invention constructs a multi-neural network through a deep learning predictor based on multiple diagnostic image formats including endoscopic images, pathological tissue images, and radiographic images. This has the effect of obtaining higher predictive performance for the prognosis of cancer patients, cancer recurrence, and cancer progression.
  • FIG. 1 is a block diagram of a cancer progression/recurrence prediction system using multiple images according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating the general structure of the layer extractor shown in FIG. 1 .
  • FIG. 3 is a diagram schematically illustrating analysis of an endoscopic image in the cancer progression/recurrence prediction system using multiple images according to the first embodiment of the present invention shown in FIG. 1 .
  • FIG. 4 is a diagram schematically illustrating analysis of radiographic images in the cancer progression/recurrence prediction system using multiple images according to the first embodiment of the present invention shown in FIG. 1 .
  • FIG. 5 is a diagram schematically illustrating analysis of pathological tissue images in the cancer progression/relapse prediction system using multiple images according to the first embodiment of the present invention shown in FIG. 1 .
  • FIG. 6 is a diagram illustrating an analysis of the cancer progression/recurrence prediction system using multiple images according to the first embodiment of the present invention shown in FIG. 1 .
  • FIG. 7 is a view showing a state in which the uppermost characteristic layer of each of the endoscopic image, the radiographic image, and the pathological tissue image shown in FIGS. 3 to 5 is combined.
  • FIG. 8 is a view showing an uppermost characteristic layer formed by combining the step-by-step layers for each image extracted by FIG. 6 .
  • FIG. 9 is a view showing a state in which a feature extraction layer is added in a state in which the uppermost feature layer of each of the endoscopic image, the radiographic image, and the pathological tissue image shown in FIG. 7 is combined.
  • FIG. 10 is a flowchart illustrating a cancer progression/recurrence prediction method of the cancer progression/relapse prediction system using multiple images according to the first embodiment of the present invention shown in FIG. 1 .
  • 11 to 13 are diagrams schematically illustrating the analysis of endoscopic images, radiographic images, and pathological tissue images in the cancer progression/recurrence prediction system using multiple images according to the second embodiment of the present invention shown in FIG. 1 . .
  • FIG. 14 is a flowchart illustrating a cancer progression/recurrence prediction method of the cancer progression/relapse prediction system using multiple images according to the second embodiment of the present invention shown in FIG. 1 .
  • the embodiments of the present invention specifically represent ideal embodiments of the present invention. As a result, various modifications of the drawings are expected. Accordingly, the embodiment is not limited to a specific shape of the illustrated area, and includes, for example, a shape modification by manufacturing.
  • a cancer progression/relapse prediction system (S100, hereinafter referred to as a 'cancer progression/relapse prediction system') using multiple images according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 9 .
  • the cancer progression/recurrence prediction system S100 may include an image acquisition unit 110 , a layer extractor 120 , and a layer former 130 .
  • the image acquisition unit 110 is a part for acquiring a diagnostic image obtained by photographing a target lesion of a cancer patient.
  • the cancer progression/recurrence prediction system S100 may include multiple diagnostic images of the cancer patient to predict the cancer prognosis, cancer recurrence, and cancer progression of the cancer patient.
  • the image acquisition unit 110 acquires an endoscopic image, a pathological tissue image, and a radiographic image including a target lesion of a cancer patient photographed using endoscopy, pathology, and radiation. can do.
  • images obtainable through the image acquisition unit 110 are not limited to endoscopic images, pathological tissue images, and radiographic images, and other types of diagnostic images of cancer patients may be acquired. .
  • the layer extraction unit 120 is a part for extracting a layer through the endoscopic image, pathological tissue image, and radiographic image acquired through the image acquisition unit 110 .
  • the layer extraction unit 120 individually extracts a plurality of layered layers from the endoscopic image, pathological tissue image, and radiographic image acquired by the image acquisition unit 110 .
  • the input value input to the layer extractor 120 is processed (training) an endoscope image, a pathological tissue image, and a radiographic image using a deep learning predictor based on a CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the CNN Convolutional Neural Network
  • AlexNet AlexNet
  • ResNet-50 ResNet-50
  • Incaption-v3 which are representative types, but is not necessarily limited thereto.
  • the layer extractor 120 As the endoscopic image input to the layer extractor 120, about 5 image photos including cancer lesions among images acquired during gastric or bladder endoscopy are used.
  • a whole silde image (WSI) digitally scanned of cancer tissue is cut into image patches with a size of 360 X 360 pixels, and a deep learning classifier is used for each image patch.
  • a deep learning classifier is used to analyze only the patch classified as a tumor tissue by making a normal tissue classifier and a tumor tissue classifier.
  • the radiographic image is analyzed by using a deep learning classifier of about 5 images from top to bottom, centering on the target lesion of the cancer patient, that is, the CT image containing the largest amount of cancer tissue.
  • CNN convolutional neural network
  • the cancer progression/recurrence prediction system 100 uses a CNN-based deep learning predictor to analyze each image and extracts the final layer value by extracting the cancer progression/recurrence of a cancer patient. Obtain an output value for prediction of recurrence.
  • the layer extractor 120 the input endoscopic image, pathological tissue image, and radiographic image are individually analyzed (trained) by a deep learning predictor, and a plurality of step-by-step layers are extracted for each image.
  • an endoscopic image is input to the layer extractor 120 and passes through a CNN-based deep learning predictor, and a plurality of layered layers for the endoscopic image are extracted.
  • a radiation image is input to the layer extractor 120 and passes through a CNN-based deep learning predictor, and a plurality of layered layers for the radiation image are output.
  • a pathological tissue image is input to the layer extractor 120 and passes through a CNN-based deep learning predictor, and a plurality of step-by-step layers for the pathological tissue image are extracted.
  • the layer extractor 120 extracts the highest feature layer for each image from among the plurality of step-by-step layers output for each image.
  • the uppermost feature layer value for each image extracted by the layer extractor 120 (the uppermost feature layer of the pathological tissue image: (1), the uppermost feature layer of the radiographic image (2), and the uppermost feature layer of the endoscopic image: (3)) is input to the layer forming unit 130 as an input value.
  • the uppermost feature layer value for each image extracted by the layer extractor 120 forms the final classification layer value (A) for predicting the progression/recurrence of cancer patients, and is said to be a layer containing the uppermost feature.
  • the layer forming unit 130 is a part for forming a final classification layer for predicting cancer progression and recurrence of a cancer patient.
  • the layer forming unit 130 forms one final classification layer for predicting cancer progression and recurrence of a cancer patient by combining the uppermost feature layer for each image.
  • the uppermost feature layer value extracted from the pathological tissue image, the uppermost feature layer value extracted from the radiographic image, and the uppermost feature layer value extracted from the endoscopic image are listed, and the listed uppermost feature layer values are combined to form the final classification layer.
  • the highest characteristic layer value extracted for each pathological tissue image, radiographic image, and endoscopic image compared to the classification performance value for the highest characteristic layer obtained by classifying the pathological tissue image, the radiographic image, and the endoscopic image, respectively. It was found that the classification performance was better when the final classification layer was formed by combining
  • the final classification layer formed by the layer forming unit 130 is the uppermost feature layer 3 of the endoscopic image, the uppermost feature layer 1 of the pathological tissue image, and the uppermost of the radiographic image. It is formed by the bonding of the characteristic layer (2).
  • the final classification layer (A) consists of the uppermost feature layer (3) of the endoscopic image, the uppermost feature layer (1) of the pathological tissue image, and the uppermost feature layer (2) of the radiographic image successively. combined as listed.
  • the final classification layer (A) is formed by arranging the uppermost feature layer (3) of the endoscopic image, the uppermost feature layer (1) of the pathology image, and the uppermost feature layer (2) of the radiographic image side by side and performing splicing will become
  • a feature extraction layer may be added to the layer forming unit 130 .
  • the layer forming unit 130 includes a feature extraction layer (B) between the uppermost feature layers (1), (2) and (3) extracted and combined for each image and the final classification layer (A). can be added.
  • the feature extraction layer (B) is used to increase prediction accuracy and reduce noise when predicting progression/recurrence of a cancer patient using an endoscopic image, pathological tissue image, and radiographic image.
  • the feature extraction layer may be added or excluded in the process of analyzing the endoscopic image, pathological tissue image, and radiographic image including the target lesion of a cancer patient using a deep learning predictor in the cancer progression/recurrence prediction system 100 can
  • the image acquisition unit 110 , the layer extraction unit 120 , and the layer formation unit 130 may be provided as a single neural network to predict a cancer patient's prognosis, cancer recurrence, and cancer progression. .
  • the neural network as a training network may refer to an overall analysis process for extracting the highest feature layer of each image using a predictor.
  • a target lesion of a cancer patient is photographed using an endoscope, pathological tissue scan, and radiation, and a photographed image is obtained (a).
  • step-by-step layers are extracted from the acquired endoscopic image, pathological tissue image, and radiographic image, and the highest feature layer is extracted from the extracted step-by-step layers for each image (b).
  • a CNN-based deep learning predictor uses a CNN-based deep learning predictor to individually extract for an endoscopic image, a pathological tissue image, and a radiographic image, and the highest feature layer is extracted from among them.
  • one final classification layer for predicting cancer progression and recurrence of cancer patients is formed through the highest feature layer extracted from each image (c).
  • the uppermost feature layer of each image is formed by combining the uppermost feature layers in a state in which they are arranged side by side.
  • a feature extraction layer may be added between the uppermost feature layers for each image, thereby forming one final classification layer.
  • cancer progression/recurrence prediction system 200 according to the second embodiment of the present invention will be described with reference to FIGS. 1 and 11 to 13 , focusing on differences from the above-described embodiment.
  • cancer progression/recurrence prediction system 200 is substantially the same as the above-described first embodiment except for the layer forming unit 130 , a description thereof is given in the first embodiment described above. Examples will be applied mutatis mutandis.
  • the cancer progression/recurrence prediction system 200 uses the image acquired by the image acquisition unit 110 and the image acquisition unit 110 to It includes a layer extracting unit 120 for extracting a step-by-step layer for each image and an uppermost feature layer using the same, and a layer forming unit 230 for forming one final classification layer by combining the extracted uppermost feature layer for each image.
  • the layer forming unit 230 first combines the uppermost feature layer extracted from the endoscopic image and the uppermost feature layer extracted from the pathological tissue image to form a final feature layer, and by combining the endoscopic image and the pathological tissue image
  • the final classification layer is formed by combining the formed final feature layer and the uppermost lateral layer extracted from the radiographic image.
  • the CNN-based deep learning predictor for the initial three image formats uses only one image format in the analysis (training) process, so one image format
  • the disadvantage is that only the information provided is used.
  • the image with the smallest number of images is analyzed first, and then the image of the pathological tissue with the largest number of images is analyzed. to form a final classification layer to judge cancer progression/relapse prediction of cancer patients.
  • the layer forming unit 130 extracts the highest feature layer from among a plurality of step-by-step layers from the endoscopic image with the smallest number of images through the CNN deep learning predictor.
  • the uppermost feature layer of the endoscopic image is combined with the uppermost feature layer of the CNN for radiographic image analysis to form a final feature layer, and then radiographic image analysis (training) is performed.
  • the endoscopic image analysis information is combined with the radiographic image analysis and analyzed (trained).
  • the final feature layer formed by the combination of the endoscopic image and the radiographic image is combined with the top feature layer of the CNN for pathologic image analysis to form the final feature layer, and then the pathological tissue image analysis (training) is performed.
  • the endoscopic image and radiographic image analysis information is combined with pathological tissue image analysis and analyzed (trained).
  • the characteristics of the endoscopic image are integrated with the characteristics of the radiographic image and analyzed, and again, the characteristics of the radiographic image with the characteristics of the endoscopic image are integrated. Since it is integrated with the characteristics of the pathological tissue image, it has the advantage of securing the best predictive performance in predicting the prognosis, recurrence, and progression of cancer patients.
  • the final feature layer is formed by combining the uppermost feature layer extracted from the endoscopic image with the uppermost feature layer extracted from the radiographic image, and the formed final feature layer and the uppermost feature layer extracted from the pathological tissue image
  • the classification performance was better when the final classification layer was formed by combining them.
  • a target lesion of a cancer patient is photographed using an endoscope, pathological tissue scan, and radiation, and a photographed image is obtained (a').
  • step-by-step layers are extracted from the acquired endoscopic image, pathological tissue image, and radiographic image, and the highest characteristic layer is extracted from the extracted step-by-step layers for each image (b').
  • each step-by-step layer is extracted for each endoscopic image, pathological tissue image, and radiographic image, and the highest feature layer is extracted among them.
  • one final classification layer for predicting cancer progression and recurrence of cancer patients is formed through the highest feature layer extracted from each image (C').
  • step (c') the final feature layer is formed by combining the uppermost feature layer of the endoscopic image and the uppermost feature layer of the radiographic image (C'-1). Then, the final classification layer is formed by combining the uppermost feature layer formed by the combination of the endoscopic image and the radiographic image with the final feature layer of the pathological tissue image (c'-2).
  • the cancer progression/relapse prediction system and cancer progression/relapse prediction method using multiple images can generate multiple diagnostic image forms including endoscopic images, pathological tissue images, and radiographic images using a deep learning predictor.
  • a cancer progression/relapse prediction system and cancer progression/relapse prediction method using multiple images uses a deep learning predictor based on multiple diagnostic image formats including endoscopic images, pathological tissue images, and radiographic images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법이 개시된다. 본 발명에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법은, 내시경 이미지, 병리조직 이미지, 방사선 이미지를 포함하는 다중 진단 이미지 양식을 기반으로 딥러닝 예측기를 통해 다종 신경망을 구성함으로써 암 환자의 예후, 암 재발, 암 진행에 대하여 보다 높은 예측 성능을 얻을 수 있다.

Description

다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
본 발명은 다중 진단 이미지를 통해 암 환자의 예후, 암 재발, 암 진행을 예측할 수 있는 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법에 관한 것이다.
암 환자의 진단 과정에서 사용되는 이미지는 병리 조직 이미지, 내시경 이미지, 방사선 영상 이미지 등으로 다양하다.
이들 각각의 이미지는 추가적인 정보를 포함하고 있으므로 진단적 가치가 고유하다고 볼 수 있다. 다시 말해서, 암 환자의 여후, 암 재발, 암 진행을 예측하는데 유용한 정보가 각각의 이미지 양식 별로 조금씩 다른 양상으로 존재하고 있는 것이다.
최근에는 이러한 이미지(병리 조직 이미지, 내시경 이미지, 방사선 영상 이미지 등)를 기반으로 암 환자의 예후, 암 재발, 암 진행을 진단 및 예측하는 연구가 폭발적으로 증가하고 있는 추세이다.
그러나, 지금까지의 연구는 단일 이미지 양식에 기반한 것이 대부분이다. 물론 다중 이미지 양식에 기반한 연구도 다수 진행되고 있으나, 다중 이미지 양식에 기반하는 경우라 해도 방사선 영상 이미지 중 여러 양식(예를 들어, CT +MRI 같은)을 결합하는 정도의 연구에 그치고 있다.
즉, 진정한 의미의 다중 이미지를 이용한 이종 진단 영상 기반 예측기는 시도되고 있지 않고 있다.
이에, 병리 조직 이미지, 내시경 이미지, 방사선 영상 이미지 등의 다중 이미지를 통해 암 환자의 예후, 암 재발, 암 진행을 예측할 수 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법의 개발이 요구되는 실정이다.
본 발명의 목적은 딥러닝을 이용하여 적어도 세가지 이미지 양식을 통합함으로써 암 환자의 예후, 암 재발, 암 진행을 진단 및 예측할 수 있는 딥러닝을 기반으로 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적은, 본 발명에 따라, 내시경, 병리조직 스캔 및 방사선으로 암 환자의 대상 병변을 촬영하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 획득하는 이미지 획득부, 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대해 딥러닝 기반의 예측기로 분석하여 복수 개의 단계별 레이어를 개별적으로 추출하고, 각각의 이미지로부터 추출된 복수 개의 단계별 레이어 중에서 각 이미지 별 최상위 특성 레이어를 추출하는 레이어 추출부 및 각 이미지의 최상위 특성 레이어를 결합하여 암 환자의 암 진행 및 재발을 예측하기 위한 하나의 최종 분류 레이어를 형성하는 레이어 형성부를 포함하는, 다중 이미지를 이용한 암 진행/재발 예측 시스템에 의해 달성될 수 있다.
여기서, CNN(Convolutional Neural Network) 기반의 딥러닝 예측기를 이용하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지가 처리되도록 마련될 수 있다.
한편, 레이어 추출부에서는, 내시경 이미지, 병리조직 이미지 및 방사선 이미지가 딥러닝 예측기에 의해 개별적으로 분석되어 각 이미지 별로 복수 개의 단계별 레이어가 추출되도록 마련될 수 있다.
이미지 획득부, 레이어 추출부 및 레이어 형성부는 암 환자의 예후, 암 재발, 암 진행 여부를 예측하기 위한 하나의 신경망(Neural network)으로 마련될 수 있다.
레이어 형성부에 의해 형성된 최종 분류 레이어는, 각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에서 추출된 최상위 특성 레이어가 연속적으로 나열된 상태로 결합될 수 있다.
또한, 레이어 형성부는, 각 이미지 별로 추출되어 결합된 상태의 최상위 특성 레이어와 최종 분류 레이어 사이에 특성 추출 레이어가 추가될 수 있다.
한편, 레이어 추출부에서는, 이미지 획득부에서 내시경에 의해 촬영된 복수 개의 이미지 중에서 암 환자의 대상 병변을 포함하는 5장 내외의 이미지를 이용하여 복수 개의 단계별 레이어를 추출하도록 마련될 수 있다.
또한, 레이어 추출부에서는, 이미지 획득부에서 병리조직 스캔을 이용하여 암 환자의 암 조직을 디지털 스캔한 이미지 중에서 종양 조직으로 분류된 이미지 만을 이용하여 복수 개의 단계별 레이어를 추출하도록 마련될 수 있다.
또한, 레이어 추출부에서는, 이미지 획득부에서 방사선을 이용하여 암 환자의 암 조직이 나타난 복수 개의 CT 이미지 중에서 5장 내외의 이미지를 이용하여 복수 개의 단계별 레이어를 추출하도록 마련될 수 있다.
한편, 본 발명은, 내시경, 병리조직 스캔 및 방사선으로 암 환자의 대상 병변을 촬영하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 획득하는 이미지 획득부, 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대해 딥러닝을 기반으로 한 예측기를 이용하여 복수 개의 단계별 레이어를 추출하고, 각각의 이미지로부터 추출된 복수 개의 단계별 레이어 중에서 각 이미지 별 최상위 특성 레이어를 추출하는 레이어 추출부 및 각 이미지의 최상위 특성 레이어를 결합하여 하나의 최종 분류 레이어를 형성하는 레이어 형성부를 포함하고, 레이어 형성부는, 내시경 이미지로부터 추출된 최상위 특성 레이어와 병리조직 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 특성 레이어를 형성하고, 내시경 이미지 및 병리조직 이미지의 조합에 의해 형성된 최종 특성 레이어와 방사선 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 분류 레이어를 형성하여 암 환자의 암 진행 및 재발을 예측하도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템에 의해 달성될 수 있다.
한편, 본 발명의 다른 분야에 의하면, 도 1에 기재된 다중 이미지를 이용한 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법에 있어서, 내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변이 촬영된 진단 이미지를 획득하는 단계 (a), 상기 획득된 각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에대한 단계별 레이어를 추출하고, 추출된 단계별 레이어에서 각 이미지 별 최상위 특성 레이어를 추출하는 단계 (b) 및 각각의 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성하는 단계 (c)를 포함하는, 다중 이미지를 이용한 암 진행 및 재발 예측 방법에 의해 달성될 수 있다.
또한, 본 발명의 다른 분야에 의하면, 내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변이 촬영된 진단 이미지를 획득하는 단계 (a'), 상기 획득된 각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대한 단계별 레이어를 추출하고, 추출된 단계별 레이어에서 각 이미지 별 최상위 특성 레이어를 추출하는 단계(b') 및 각각의 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성하는 단계 (c')를 포함하는, 다중 이미지를 이용한 암 진행 및 재발 예측 방법에 의해 달성될 수 있다.
여기서, 단계 (c')는, 내시경 이미지의 최상위 특성 레이어와 방사선 이미지의 최상위 특성 레이어를 조합하여 최종 특성 레이어를 추출하는 단계(c'-1) 및 내시경 이미지 및 방사선 이미지의 조합에 의해 형성된 최종 특성 레이어와 병리조직 이미지의 최상위 특성 레이어를 조합하여 최종 분류 레이어를 추출하는 단계(c'-2)를 포함할 수 있다.
본 발명의 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법은, 내시경 이미지, 병리조직 이미지, 방사선 이미지를 포함하는 다중 진단 이미지 양식을 기반으로 딥러닝 예측기를 통해 다종 신경망을 구성함으로써 암 환자의 예후, 암 재발, 암 진행에 대하여 보다 높은 예측 성능을 얻을 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템의 구성도이다.
도 2는 도 1에 도시한 레이어 추출부의 일반적 구조를 간략하게 나타낸 도면이다.
도 3은 도 1에 도시한 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템에서 내시경 이미지를 분석하는 것에 대하여 간략하게 나타낸 도면이다.
도 4는 도 1에 도시한 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템에서 방사선 이미지의 분석에 대하여 간략하게 나타낸 도면이다.
도 5는 도 1에 도시한 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템에서 병리조직 이미지를 분석하는 것에 대하여 간략하게 나타낸 도면이다.
도 6은 도 1에 도시한 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템의 분석에 대하여 나타낸 도면이다.
도 7은 도 3 내지 도 5에 도시한 내시경 이미지, 방사선 이미지 및 병리조직 이미지 각각의 최상위 특성 레이어를 조합한 상태를 나타낸 도면이다.
도 8은 도 6에 의해 추출된 각 이미지 별 단계별 레이어가 결합되어 형성된 최상위 특성 레이어를 나타낸 도면이다.
도 9는 도 7에 도시한 내시경 이미지, 방사선 이미지 및 병리조직 이미지 각각의 최상위 특성 레이어를 조합한 상태에서 특성 추출 레이어가 추가된 상태를 나타낸 도면이다.
도 10은 도 1에 도시한 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법을 나타낸 순서도이다.
도 11 내지 도 13은 도 1에 도시한 본 발명의 제2 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템에서, 내시경 이미지, 방사선 이미지 및 병리조직 이미지의 분석에 대하여 간략하게 나타낸 도면이다.
도 14는 도 1에 도시한 본 발명의 제2 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법을 나타낸 순서도이다.
이하, 첨부된 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
도면들은 개략적이고 축적에 맞게 도시되지 않았다는 것을 일러둔다. 도면에 있는 부분들의 상대적인 치수 및 비율은 도면에서의 명확성 및 편의를 위해 그 크기에 있어 과장되거나 감소되어 도시되었으며 임의의 치수는 단지 예시적인 것이지 한정적인 것은 아니다. 그리고 둘 이상의 도면에 나타나는 동일한 구조물, 요소 또는 부품에는 동일한 참조 부호가 유사한 특징을 나타내기 위해 사용된다.
본 발명의 실시예는 본 발명의 이상적인 실시예들을 구체적으로 나타낸다. 그 결과, 도면의 다양한 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법을 설명한다.
먼저, 도 1 내지 도 9를 참조하여, 본 발명의 제1 실시예에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템(S100, 이하 '암 진행/재발 예측 시스템'이라 함)을 설명한다.
도 1에 도시한 바와 같이, 암 진행/재발 예측 시스템(S100)은 이미지 획득부(110), 레이어 추출부(120) 및 레이어 형성부(130)를 포함할 수 있다.
이미지 획득부(110)는 암 환자의 대상 병변을 촬영한 진단 이미지를 획득하기 위한 부분이다.
본 발명의 제1 실시예에 따른 암 진행/재발 예측 시스템(S100)은 암 환자의 다중 진단 이미지를 포함하여 암 환자의 암 예후, 암 재발 및 암 진행을 예측할 수 있다.
이를 위해, 이미지 획득부(110)는 내시경(Endoscopy), 병리조직 스캔(Pathology) 및 방사선(Radiology)를 이용하여 촬영한 암 환자의 대상 병변이 포함된 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 획득할 수 있다.
참고로, 상기한 바와 같이, 이미지 획득부(110)를 통해 획득할 수 있는 이미지는 내시경 이미지, 병리조직 이미지, 방사선 이미지에 한정되는 것은 아니며, 다른 형태의 암 환자의 진단 이미지를 획득할 수 있다.
레이어 추출부(120)는 이미지 획득부(110)를 통해 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 통해 레이어(layer)를 추출하기 위한 부분이다. 레이어 추출부(120)는 이미지 획득부(110)에 의해 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지로부터 복수 개의 단계별 레이어를 개별적으로 추출한다.
여기서, 도 2에 도시한 바와 같이, 레이어 추출부(120)에 입력되는 입력값은 CNN(Convolutional Neural Network) 기반의 딥러닝 예측기를 이용하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 처리(훈련)시켜서 각 이미지 별로 단계별 특성 레이어, 각 이미지 별 단계별 특성 레이어 중에서 최상위 특성 레이어를 추출하고, 이를 통해 최종 분류 레이어가 추출되도록 한다.
본 발명의 일 실시예에 따른 암 진행/재발 예측 시스템(100)에서, CNN(Convolutional Neural Network)은 대표적인 종류인 AlexNet, ResNet-50, Incaption-v3 일 수 있으나, 반드시 이에 한정되는 것은 아니다.
한편, 레이어 추출부(120)에 입력되는 내시경 이미지는 위 또는 방광 내시경 촬영시 취득된 이미지 중 암 병변을 포함하는 5장 내외의 이미지 사진을 사용한다.
병리조직 이미지는 암 조직을 디지털 스캔한 whole silde image(WSI)를 360 X 360 픽셀 크기의 이미지 패치로 잘라내어 각각의 이미지 패치에 대해 딥러닝 분류기를 사용한다. 이때, 디지털 스캔에 의해 획득된 전체 이미지 패치는 암 환자의 정상 조직도 포함하고 있으므로, 정상 조직 분류기 및 종양 조직 분류기를 만들어 종양 조직으로 분류된 패치에 대해서만 딥러닝 분류기를 사용하여 분석한다.
방사선 이미지는 암 환자의 대상 병변, 즉 암 조직을 가장 크게 포함하는 CT 이미지를 중심으로 위/아래로 5컷 내외의 이미지 사진을 딥러닝 분류기를 사용하여 분석한다.
상술한 바와 같이, 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 기본적인 이미지 수준에서 통합하는 것은 불가능하다. 왜냐하면, 특히, 병리 조직의 경우, 하나의 WSI에서 수천 장 이상의 이미지 패치가 나오게 되는데 각각의 이미지 양식이 서로 이미지 수에서 큰 차이를 보이기 때문이다.
특히, 세가지의 내시경 이미지, 병리조직 이미지 및 방사선 이미지 양식을 딥러닝 기반 분류기를 훈련시키는데 있어서, 세가지의 이미지 양식을 동시에 복합한 CNN(Convolutional Neural Network)를 통해 훈련시키게 되는 경우에는 네트워크가 너무 거대해지므로 세가지 양식의 이미지를 동시에 또는 한 번에 훈련시키는데 어려움이 있다. 여기서, 딥러닝(deep learning)의 경우, 깊은 레이어로 들어가면 들어갈수록 고수준 특성을 처리할 수 있는 특징이 있다.
이에 따라, 본 발명의 제1 실시예에 따른 암 진행/재발 예측 시스템(100)은 CNN 기반의 딥러닝 예측기를 각각의 이미지를 분석하는데 사용하여 최종적인 레이어 값을 추출함으로써 암 환자의 암 진행/재발 예측을 위한 출력값을 얻는다.
구체적으로, 레이어 추출부(120)에서는 입력된 내시경 이미지, 병리조직 이미지 및 방사선 이미지가 딥러닝 예측기에 의해 개별적으로 분석(훈련)되어, 각각의 이미지 별로 복수 개의 단계별 레이어가 추출되게 된다.
다시 말해서, 도 3에 도시한 바와 같이, 레이어 추출부(120)에는 내시경 이미지가 입력되어 CNN 기반의 딥러닝 예측기를 거치면, 내시경 이미지에 대한 복수 개의 단계별 레이어가 추출된다.
이때, 내시경 이미지를 분석하는 경우, 도 3에 도시된 그래프를 참고하면 그 분류 성능은 AUC = 0.693 과 같다.
더욱이, 도 4에 도시한 바와 같이, 레이어 추출부(120)에서는 방사선 이미지가 입력되어 CNN 기반의 딥러닝 예측기를 거치면, 방사선 이미지에 대한 복수 개의 단계별 레이어가 출력된다.
이때, 방사선 이미지를 분석하는 경우, 도 4에 도시된 그래프를 참고하면 그 분류 성능은 AUC = 0.736 과 같다.
또한, 도 5에 도시한 바와 같이, 레이어 추출부(120)에는 병리조직 이미지가 입력되어 CNN 기반의 딥러닝 예측기를 거치면, 병리조직 이미지에 대한 복수 개의 단계별 레이어가 추출된다.
이때, 병리조직 이미지를 분석하는 경우, 도 5에 도시된 그래프를 참고하면 그 분류 성능은 AUC = 0.817 과 같다.
한편, 레이어 추출부(120)에서는 각 이미지 별로 출력된 복수 개의 단계별 레이어 중에서 각 이미지 별 최상위 특성 레이어가 추출된다.
레이어 추출부(120)에서 추출된 각 이미지 별 최상위 특성 레이어 값(병리조직 이미지의 최상위 특성 레이어: (1), 방사선 이미지의 최상위 특성 레이어(2) 및 내시경 이미지의 최상위 특성 레이어: (3))은 레이어 형성부(130)에 입력값으로 입력된다.
참고로, 레이어 추출부(120)에 의해 추출되는 각 이미지 별 최상위 특성 레이어 값은 암 환자의 진행/재발을 예측하기 위한 최종 분류 레이어값(A)을 형성하는데 가장 상위 특성을 포함하는 레이어라고 할 수 있다.
레이어 형성부(130)는 암 환자의 암 진행 및 재발을 예측하기 위한 최종 분류 레이어를 형성하기 위한 부분이다.
이를 위해, 레이어 형성부(130)는 각 이미지 별 최상위 특성 레이어를 결합하여 암 환자의 암 진행 및 재발을 예측하기 위한 하나의 최종 분류 레이어를 형성한다.
도 6에 도시한 바와 같이, 병리조직 이미지로부터 추출된 최상위 특성 레이어 값과, 방사선 이미지로부터 추출된 최상위 특성 레이어 값과 내시경 이미지로부터 추출된 최상위 특성 레이어 값을 나열하고, 나열된 최상위 특성 레이어값을 조합하여 최종 분류 레이어를 형성한다.
이와 같이, 병리조직 이미지, 방사선 이미지 및 내시경 이미지 별로 추출된 최상위 특성 레이어값을 조합하여 최종 분류 레이어를 형성한 경우, 도 6에 도시된 그래프를 참고하면 그 분류 성능은 AUC = 0.878과 같다.
참고로, 상기한 바와 같이, 병리조직 이미지, 방사선 이미지, 내시경 이미지를 각각 분류하여 획득한 최상위 특성 레이어에 대한 분류 성능 값에 비하여, 병리조직 이미지, 방사선 이미지 및 내시경 이미지 별로 추출된 최상위 특성 레이어값을 조합하여 최종 분류 레이어를 형성한 경우의 분류 성능이 더욱 뛰어난 것으로 나타났다.
예컨대, 도 7 및 도 8을 참조하면, 레이어 형성부(130)에 의해 형성되는 최종 분류 레이어는 내시경 이미지의 최상위 특성 레이어(3), 병리조직 이미지의 최상위 특성 레이어(1) 및 방사선 이미지의 최상위 특성 레이어(2)의 결합으로 형성된다.
특히, 도 8에 도시한 바와 같이, 최종 분류 레이어(A)는 내시경 이미지의 최상위 특성 레이어(3), 병리조직 이미지의 최상위 특성 레이어(1) 및 방사선 이미지의 최상위 특성 레이어(2)가 연속적으로 나열된 상태로 결합된다. 다시 말해서, 최종 분류 레이어(A)는 내시경 이미지의 최상위 특성 레이어(3), 병리조직 이미지의 최상위 특성 레이어(1) 및 방사선 이미지의 최상위 특성 레이어(2)를 나란히 배열하여 이어 붙이기를 수행함으로써 형성되는 것이다.
한편, 레이어 형성부(130)는 특성 추출 레이어가 추가될 수 있다.
도 9를 참조하면, 레이어 형성부(130)는 각 이미지 별로 추출되어 결합된 최상위 특성 레이어(1), (2), (3)와 최종 분류 레이어(A) 사이에 특성 추출 레이어(B)가 추가될 수 있다.
특성 추출 레이어(B)는 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 이용하여 암 환자의 진행/재발 예측할 때, 예측 정확도를 높이고 노이즈를 줄이기 위한 것이다.
참고로, 특성 추출 레이어는 암 진행/재발 예측 시스템(100)에서 딥러닝 예측기를 이용하여 암 환자의 대상 병변이 포함된 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 분석하는 과정에서 추가되거나 또는 제외될 수 있다.
여기서, 이미지 획득부(110), 레이어 추출부(120) 및 레이어 형성부(130)는 암 환자의 예후, 암 재발, 암 진행 여부를 예측하기 위하여 하나의 신경망(Neural network)으로 마련될 수 있다.
즉, 신경망은 트레이닝 네트워크(training network)로써 예측기를 이용하여 각 이미지의 최상위 특성 레이어를 추출하기 위한 전체적인 분석 과정을 의미할 수 있다.
이하, 도 1 내지 도 10을 참조하여, 본 발명의 제1 실시예에 따른 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법(S100)을 간단히 설명한다.
우선, 내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변을 촬영하고, 촬영된 이미지를 획득한다(a).
그 다음, 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에서 단계별 복수 개의 단계별 레이어를 추출하고, 추출된 각 이미지 별 단계별 레이어 중에서 최상위 특성 레이어를 추출한다(b).
이때, CNN 기반의 딥러닝 예측기를 이용하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대하여 개별적으로 단계별 레이어를 복수 개 추출하고, 그 중에서 최상위 특성 레이어를 추출한다.
그 다음, 각 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성한다(c).
이때, 각 이미지의 최상위 특성 레이어는 최상위 특성 레이어를 나란하게 배열한 상태에서 결합함으로써 형성된다.
한편, 필요한 경우, 각 이미지 별 최상위 특성 레이어 사이에 특성 추출 레이어를 추가하고, 이를 통해 하나의 최종 분류 레이어를 형성할 수도 있다.
이하, 도 1, 도 11 내지 도 13을 참조하여, 본 발명의 제2 실시예에 따른 암 진행/재발 예측 시스템(200)을 전술한 실시예와 상이한 점을 중심으로 설명한다.
본 발명의 제2 실시예에 따른 암 진행/재발 예측 시스템(200)은 레이어 형성부(130)를 제외하고는, 전술한 제1 실시예와 실질적으로 동일하므로, 그에 대한 설명은 전술한 제1 실시예를 준용하기로 한다.
도 1, 도 11 내지 도 13을 참조하면, 본 발명의 다른 실시예에 따른 암 진행/재발 예측 시스템(200)은 이미지 획득부(110), 이미지 획득부(110)에서 획득된 이미지를 이용하여 각 이미지 별 단계별 레이어 및 이를 이용한 최상위 특성 레이어를 추출하는 레이어 추출부(120) 및 추출된 각 이미지 별 최상위 특성 레이어를 결합하여 하나의 최종 분류 레이어를 형성하는 레이어 형성부(230)를 포함한다.
특히, 레이어 형성부(230)는, 우선, 내시경 이미지로부터 추출된 최상위 특성 레이어와 병리조직 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 특성 레이어를 형성하고, 내시경 이미지와 병리조직 이미지의 조합에 의해 형성된 최종 특성 레이어와 방사선 이미지로부터 추출된 최상위 측성 레이어를 조합하여 최종 분류 레이어를 형성한다.
전술한 제1 실시예에 따른 암 진행/재발 예측 시스템(100)에서는 초기의 세가지의 이미지 양식에 대한 CNN 기반의 딥러닝 예측기는 분석(훈련) 과정에서 한가지의 이미지 양식만을 사용하므로 한가지의 이미지 양식이 제공하는 정보만이 사용되는 단점이 있다.
이러한 단점을 개선하기 위하여, 본 발명의 제2 실시예에 따른 암 진행/재발 예측 시스템(200)에서는 이미지 수가 가장 적은 이미지의 분석을 먼저 수행한 이후에 이미지 수가 가장 많은 병리조직 이미지의 분석을 수행하여 최종 분류 레리어를 형성하여 암 환자의 암 진행/재발 예측을 판단한다.
도 11 내지 도 13을 참조하면, 본 발명의 제2 실시예에 따른 레이어 형성부(130)는 이미지 수가 가장 적은 내시경 이미지를 CNN 딥러닝 예측기를 통해 복수 개의 단계별 레이어 중에서 최상위 특성 레이어를 추출한다. 다음으로, 방사선 이미지를 위한 CNN 딥러닝 예측기의 분석(훈련)과정에서 내시경 이미지의 최상위 특성 레이어를 방사선 이미지 분석을 위한 CNN의 최상위 특성 레이어와 결합하여 최종 특성 레이어를 형성하게 구성한 후 방사선 이미지 분석(훈련)을 수행한다. 이를 통해 내시경 이미지 분석 정보가 방사선 이미지 분석에 결합되어 분석(훈련)된다. 마지막으로, 내시경 이미지와 방사선 이미지의 조합으로 형성된 최종 특성 레이어를 병리조직 이미지 분석을 위한 CNN의 최상위 특성 레이어와 결합하여 최종 특성 레이어를 형성하게 구성한 후 병리조직 이미지 분석(훈련)을 수행한다. 이를 통해 내시경 이미지 및 방사선 이미지 분석 정보가 병리조직 이미지 분석에 결합되어 분석(훈련)된다.
상기와 같은, 본 발명의 제2 실시예에 따른 암 진행/재발 예측 시스템(200)에서는 내시경 이미지의 특성이 방사선 이미지의 특성과 통합되어 분석되고, 다시 내시경 이미지 특성이 통합된 방사선 이미지의 특성이 병리조직 이미지의 특성과 통합되기 때문에 암 환자의 예후, 재발 및 진행을 예측하는데 있어서 가장 좋은 예측 성능을 확보할 수 있는 이점이 있다.
한편, 도 13을 참고하면, 내시경 이미지로부터 추출된 최상위 특성 레이어를 방사선 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 특성 레이어를 형성하고, 형성된 최종 특성 레이어와 병리조직 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 분류 레이어를 형성하는 경우, 전술한 제1 실시예에 따른 암 진행/재발 예측 시스템(100)의 분류 성능 보다 더 높은 분류 성능을 가지는 것으로 나타났으며, 그 분류 성능은 AUC = 0.914와 같다.
즉, 상기한 바와 같이, 병리조직 이미지, 방사선 이미지, 내시경 이미지를 각각 분류하여 획득한 최상위 특성 레이어에 대한 분류 성능 값에 비하여, 병리조직 이미지, 방사선 이미지 및 내시경 이미지 별로 추출된 최상위 특성 레이어값을 조합하여 최종 분류 레이어를 형성한 경우의 분류 성능이 더욱 뛰어난 것으로 나타났다.
이하, 도 1, 도 11 내지 도 14를 참조하여, 본 발명의 제2 실시예에 따른 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법(S200)을 간단히 설명한다.
우선, 내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변을 촬영하고, 촬영된 이미지를 획득한다(a').
그 다음, 획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에서 복수 개의 단계별 레이어를 추출하고, 추출된 각 이미지 별 단계별 레이어 중에서 최상위 특성 레이어를 추출한다(b').
이때, CNN 기반의 딥러닝 예측기를 이용하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지 별 단계별 레이어를 추출하고, 그 중에서 최상위 특성 레이어를 추출한다.
그 다음, 각 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성한다(C').
이때, 단계 (c')는, 내시경 이미지의 최상위 특성 레이어와 방사선 이미지의 최상위 특성 레이어를 조합하여 최종 특성 레이어를 형성한다(C'-1). 그 다음, 내시경 이미지 및 방사선 이미지의 조합에 의해 형성된 최상위 특성 레이어와 병리조직 이미지의 최종 특성 레이어를 조합하여 최종 분류 레이어를 형성한다(c'-2).
상기한 구성에 의하여, 본 발명에 따른 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법은, 내시경 이미지, 병리조직 이미지, 방사선 이미지를 포함하는 다중 진단 이미지 양식을 딥러닝 예측기를 통해 다종 신경망을 구성함으로써 암 환자의 예후, 암 재발, 암 진행에 대하여 보다 높은 예측 성능을 얻을 수 있는 효과가 있다.
이상과 같이 본 발명의 제1 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명의 일 실시예에 따르면, 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법은 내시경 이미지, 병리조직 이미지, 방사선 이미지를 포함하는 다중 진단 이미지 양식을 기반으로 딥러닝 예측기를 통해 다종 신경망을 구성함으로써 암 환자의 예후, 암 재발, 암 진행에 대하여 보다 높은 예측 성능을 얻기 위해 사용될 수 있다.

Claims (13)

  1. 내시경, 병리조직 스캔 및 방사선으로 암 환자의 대상 병변을 촬영하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 획득하는 이미지 획득부;
    획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대해 딥러닝 기반의 예측기로 분석하여 복수 개의 단계별 레이어를 개별적으로 추출하고, 각각의 이미지로부터 추출된 복수 개의 단계별 레이어 중에서 각 이미지 별 최상위 특성 레이어를 추출하는 레이어 추출부; 및
    각 이미지의 최상위 특성 레이어를 결합하여 암 환자의 암 진행 및 재발을 예측하기 위한 하나의 최종 분류 레이어를 형성하는 레이어 형성부;
    를 포함하는, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  2. 제1항에 있어서,
    CNN(Convolutional Neural Network) 기반의 딥러닝 예측기를 이용하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지가 처리되도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  3. 제2항에 있어서,
    레이어 추출부에서는,
    내시경 이미지, 병리조직 이미지 및 방사선 이미지가 딥러닝 예측기에 의해 개별적으로 분석되어 각 이미지 별로 복수 개의 단계별 레이어가 추출되도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  4. 제2항에 있어서,
    이미지 획득부, 레이어 추출부 및 레이어 형성부는 암 환자의 예후, 암 재발, 암 진행 여부를 예측하기 위한 하나의 신경망(Neural network)으로 마련되는, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  5. 제4항에 있어서,
    레이어 형성부에 의해 형성된 최종 분류 레이어는,
    각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에서 추출된 최상위 특성 레이어가 연속적으로 나열된 상태로 결합되는, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  6. 제4항에 있어서,
    레이어 형성부는,
    각 이미지 별로 추출되어 결합된 상태의 최상위 특성 레이어와 최종 분류 레이어 사이에 특성 추출 레이어가 추가되는, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  7. 제1항에 있어서,
    레이어 추출부에서는,
    이미지 획득부에서 내시경에 의해 촬영된 복수 개의 이미지 중에서 암 환자의 대상 병변을 포함하는 5장 내외의 이미지를 이용하여 복수 개의 단계별 레이어를 추출하도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  8. 제1항에 있어서,
    레이어 추출부에서는,
    이미지 획득부에서 병리조직 스캔을 이용하여 암 환자의 암 조직을 디지털 스캔한 이미지 중에서 종양 조직으로 분류된 이미지 만을 이용하여 복수 개의 단계별 레이어를 추출하도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  9. 제1항에 있어서,
    레이어 추출부에서는,
    이미지 획득부에서 방사선을 이용하여 암 환자의 암 조직이 나타난 복수 개의 CT 이미지 중에서 5장 내외의 이미지를 이용하여 복수 개의 단계별 레이어를 추출하도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  10. 내시경, 병리조직 스캔 및 방사선으로 암 환자의 대상 병변을 촬영하여 내시경 이미지, 병리조직 이미지 및 방사선 이미지를 획득하는 이미지 획득부;
    획득된 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대해 딥러닝을 기반으로 한 예측기를 이용하여 복수 개의 단계별 레이어를 추출하고, 각각의 이미지로부터 추출된 복수 개의 단계별 레이어 중에서 각 이미지 별 최상위 특성 레이어를 추출하는 레이어 추출부; 및
    각 이미지의 최상위 특성 레이어를 결합하여 하나의 최종 분류 레이어를 형성하는 레이어 형성부; 를 포함하고,
    레이어 형성부는, 내시경 이미지로부터 추출된 최상위 특성 레이어와 병리조직 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 특성 레이어를 형성하고, 내시경 이미지 및 병리조직 이미지의 조합에 의해 형성된 최종 특성 레이어와 방사선 이미지로부터 추출된 최상위 특성 레이어를 조합하여 최종 분류 레이어를 형성하여 암 환자의 암 진행 및 재발을 예측하도록 마련된, 다중 이미지를 이용한 암 진행/재발 예측 시스템.
  11. 도 1에 기재된 다중 이미지를 이용한 암 진행/재발 예측 시스템의 암 진행/재발 예측 방법에 있어서,
    내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변이 촬영된 진단 이미지를 획득하는 단계 (a);
    상기 획득된 각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에대한 단계별 레이어를 추출하고, 추출된 단계별 레이어에서 각 이미지 별 최상위 특성 레이어를 추출하는 단계 (b); 및
    각각의 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성하는 단계 (c); 를 포함하는, 다중 이미지를 이용한 암 진행 및 재발 예측 방법.
  12. 내시경, 병리조직 스캔 및 방사선을 이용하여 암 환자의 대상 병변이 촬영된 진단 이미지를 획득하는 단계 (a');
    상기 획득된 각각의 내시경 이미지, 병리조직 이미지 및 방사선 이미지에 대한 단계별 레이어를 추출하고, 추출된 단계별 레이어에서 각 이미지 별 최상위 특성 레이어를 추출하는 단계(b'); 및
    각각의 이미지에서 추출된 최상위 특성 레이어를 통해 암 환자의 암 진행 및 재발 예측을 위한 하나의 최종 분류 레이어를 형성하는 단계 (c'); 를 포함하는, 다중 이미지를 이용한 암 진행 및 재발 예측 방법.
  13. 제12항에 있어서,
    단계 (c')는,
    내시경 이미지의 최상위 특성 레이어와 방사선 이미지의 최상위 특성 레이어를 조합하여 최종 특성 레이어를 추출하는 단계(c'-1); 및
    내시경 이미지 및 방사선 이미지의 조합에 의해 형성된 최종 특성 레이어와 병리조직 이미지의 최상위 특성 레이어를 조합하여 최종 분류 레이어를 추출하는 단계(c'-2)를 포함하는, 다중 이미지를 이용한 암 진행 및 재발 예측 방법.
PCT/KR2021/008932 2020-07-13 2021-07-13 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법 WO2022015000A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0086404 2020-07-13
KR20200086404 2020-07-13
KR1020210091299A KR102605837B1 (ko) 2020-07-13 2021-07-13 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
KR10-2021-0091299 2021-07-13

Publications (1)

Publication Number Publication Date
WO2022015000A1 true WO2022015000A1 (ko) 2022-01-20

Family

ID=79555551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008932 WO2022015000A1 (ko) 2020-07-13 2021-07-13 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법

Country Status (1)

Country Link
WO (1) WO2022015000A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694839A (zh) * 2024-02-05 2024-03-15 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20190134586A (ko) * 2019-11-28 2019-12-04 연세대학교 산학협력단 질환 예측 방법 및 이를 이용한 질환 예측 디바이스
KR20200038120A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20200038120A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
KR20190134586A (ko) * 2019-11-28 2019-12-04 연세대학교 산학협력단 질환 예측 방법 및 이를 이용한 질환 예측 디바이스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694839A (zh) * 2024-02-05 2024-03-15 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统
CN117694839B (zh) * 2024-02-05 2024-04-16 四川省肿瘤医院 基于图像的非肌层浸润性膀胱癌复发率预测方法和系统

Similar Documents

Publication Publication Date Title
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2014189232A1 (en) Electronic sensor and method for controlling the same
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
US5970167A (en) Integrated circuit failure analysis using color voltage contrast
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2022015000A1 (ko) 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
US20080139966A1 (en) Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
Ali et al. Color-based template selection for detection of gastric abnormalities in video endoscopy
JP2006304993A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113768452A (zh) 一种电子内窥镜智能计时方法及装置
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
Bernal et al. Building up the future of colonoscopy–a synergy between clinicians and computer scientists
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21842760

Country of ref document: EP

Kind code of ref document: A1