WO2020060046A1 - 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템 - Google Patents

4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템 Download PDF

Info

Publication number
WO2020060046A1
WO2020060046A1 PCT/KR2019/010690 KR2019010690W WO2020060046A1 WO 2020060046 A1 WO2020060046 A1 WO 2020060046A1 KR 2019010690 W KR2019010690 W KR 2019010690W WO 2020060046 A1 WO2020060046 A1 WO 2020060046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
breast
view
unit
cnn
Prior art date
Application number
PCT/KR2019/010690
Other languages
English (en)
French (fr)
Other versions
WO2020060046A9 (ko
Inventor
선우명훈
배지훈
Original Assignee
아주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교 산학협력단 filed Critical 아주대학교 산학협력단
Priority to US17/277,443 priority Critical patent/US11922622B2/en
Publication of WO2020060046A1 publication Critical patent/WO2020060046A1/ko
Publication of WO2020060046A9 publication Critical patent/WO2020060046A9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Definitions

  • the present invention relates to a method and system for analyzing a breast image in which four mammography images are input to a convolutional neural network.
  • a misdiagnosis may occur depending on the experience and skill of a doctor who diagnoses an image because a specialist discriminates an X-ray photograph with the naked eye, which may cause unnecessary additional examination. Indeed, the sensitivity and specificity of an experienced radiologist are 62-87% and 75-91%, respectively.
  • the conventional convolutional neural network uses only one image as an input, but there is a limitation that the analysis performance is not high.
  • the present invention has been devised to overcome the above limitation, and is to provide a method and system for analyzing a breast image based on a convolutional neural network using a 4-channel input.
  • a breast image analysis system includes an image receiving unit that receives four breast imaging images; An image size adjusting unit that adjusts the size of the mammography image received from the image receiving unit; A pre-processing unit to perform pre-processing on the image image adjusted by the image resizing unit; A CNN learning unit based on a convolutional neural network (CNN) that learns a preprocessed image image by the preprocessing unit to generate learning information, and learning information learned from the CNN learning unit and a classification target from the image receiving unit It may include a CNN inference unit for receiving a breast imaging image, and performing a breast abnormality diagnosis.
  • CNN convolutional neural network
  • the classification target mammography image received by the CNN inference unit may be an image size adjusted by the resizing unit, and pre-processed on the image image by the preprocessing unit.
  • the four mammography images include a right upper and lower imaging (Craniocaudal, CC) view, a left upper and lower imaging (Craniocaudal, CC) view, a right and left inner and outer imaging (Mediolateral oblique, MLO) view, and a left and inner imaging. (Mediolateral oblique, MLO) view.
  • the image resizing unit changes the angle with respect to the inner and outer oblique imaging view images, parallel to the pectoral muscle line shown in the inner and outer oblique imaging view images, and the pleural parallel line having a predetermined distance from the pectoral line to the papillary direction.
  • it may be characterized by cutting only the breast-side image and adjusting it in the upper and lower imaging (CC) view form.
  • the pectoral parallelism line according to an embodiment of the present invention may be that the breast of the lower nipple passes through a point where it meets at the boundary of the inner and outer oblique view images.
  • a breast image analysis method includes the steps of receiving four breast imaging images; (b) adjusting the size of the received mammogram; (c) performing pre-processing on the adjusted video image; (d) learning the pre-processed image image based on a convolutional neural network (CNN) to generate learning information; (e) receiving a classification target mammography image to classify the presence or absence of breast disease; And (f) receiving the learning information learned based on the convolutional neural network (CNN) and the mammography image to be classified, and performing a breast abnormality diagnosis.
  • CNN convolutional neural network
  • the step (e) of receiving a classification mammography image according to an embodiment of the present invention may further include adjusting the size of the image and performing pre-processing of the adjusted image image.
  • the step (b) of adjusting the size of the received mammogram changes the angle with respect to the image of the internal and external oblique imaging, parallel to the thymus line shown in the image of the internal and external oblique imaging It may be to adjust the image in the upper and lower imaging (CC) view by cutting only the breast-side image based on the pectoral muscle parallel line having a predetermined distance from the pectoral line to the nipple.
  • the convolutional neural network-based breast image analysis method and its system using four-channel input can improve the breast cancer judgment rate compared to the conventional method because the images of the four chapters are collectively learned / analyzed.
  • the present invention can exhibit excellent performance regardless of the video order at the 4-channel input, and also analyzes when the class to be analyzed is divided into two (negative, positive) and three (normal, cancer, positive). This is excellent.
  • FIG. 1 is a flowchart of a breast imaging analysis method according to an embodiment of the present invention.
  • FIG. 2 shows a method of obtaining a breast image according to an embodiment of the present invention.
  • FIG. 3 shows four mammography images input to a convolutional neural network according to an embodiment of the present invention.
  • 4A to 4D illustrate a method for adjusting the size of a mammogram image according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a breast imaging analysis system according to an embodiment of the present invention.
  • FIG. 6 is a graph showing the effect of a breast image analysis method using a 2-channel input.
  • FIG. 7 to 13 are graphs showing the effects of a breast imaging analysis method and a system according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a flowchart of a breast imaging analysis method according to an embodiment of the present invention.
  • the breast image analysis method (a) receiving four breast imaging images (S201); (b) adjusting the size of the received mammogram (S202); (c) pre-processing the adjusted video image (S203); (d) learning the pre-processed image image based on a convolutional neural network (CNN) to generate learning information (S204); (e) receiving a classification target mammography image to classify the presence or absence of breast disease (S205); And (f) receiving learning information based on the convolutional neural network (CNN) and the mammography image to be classified, and performing breast abnormality diagnosis (S206).
  • CNN convolutional neural network
  • Receiving the classification target mammography image according to an embodiment of the present invention may further include adjusting the size of the image and performing pre-processing on the adjusted image image.
  • the breast image according to an embodiment of the present invention includes a right upper and lower imaging (Craniocaudal, CC) view, a left upper and lower imaging (Craniocaudal, CC) view, a right and left inner and outer imaging (Mediolateral oblique, MLO) view, and a left and right inner and outer imaging (Mediolateral oblique) , MLO) may include a total of four mammography images.
  • FIG. 2 shows a method of obtaining a breast image according to an embodiment of the present invention.
  • the method of acquiring a breast image is usually performed through an X-ray examination of the breast, and the breast is placed between the compression paddle and the film holder, and the breast tissue is compressed and X-rayed.
  • CC upper and lower imaging
  • a method of acquiring an MLO view is an X-ray by placing the compression paddle and the film holder in the oblique direction of the breast, and compressing the breast between the compression paddle and the film holder. Acquire images.
  • FIG. 3 shows four mammography images input to a convolutional neural network according to an embodiment of the present invention.
  • the left top and bottom shot view (a), the left and right top and bottom shot (MLO) view (b), the right top and bottom shot (CC) view (c), and the right and left top and bottom shot (MLO) view (d) are input to the Convolution Neural Network (CNN).
  • CNN Convolution Neural Network
  • the size of the input data of a typical convolutional neural network for black and white images is (W, H, 1).
  • the input data size of the convolutional neural network may be (W, H, 4).
  • W is the horizontal size of the image pixels
  • H is the vertical size of the image pixels.
  • the convolutional neural network since the above-described four mammography images are input to the convolutional neural network, learning and reasoning based on the convolutional neural network may be comprehensively determined.
  • CNN convolutional neural networks
  • the convolutional neural network stacks one layer and reduces the number of nodes to repeat the process of creating a higher layer.
  • CNN convolutional neural network
  • a data set for learning using a convolutional neural network (CNN) and a data set for inferring mammography images using a convolutional neural network (CNN) may be divided.
  • a data set that knows whether a patient has a lesion or a progression of the lesion may be used, but for a mammography image to be classified according to an embodiment of the present invention, the patient's lesion Datasets with or without information on the presence or absence of lesion progression may be used.
  • the pre-processing process may include adjusting the size of the mammogram (S202) and pre-processing (S203) to increase the contrast of the black and white image.
  • FIGS. 4A to 4D illustrate a method for adjusting the size of a mammogram image according to an embodiment of the present invention.
  • the image (a) is a right upper and lower imaging (CC) view
  • the image (b) is a right inner and outer oblique imaging (MLO) view.
  • a step S202 of adjusting the size of the mammography image will be described with reference to FIGS. 4A to 4D.
  • the pectoral muscle line 11 is vertical in the image, but in the internal and external imaging view image (b), the pectoral muscle line 11 is oblique in the image. Therefore, the position of the breasts does not match.
  • the pectoral line 11 in the inner and outer oblique imaging view image b is perpendicular to the pectoral- papillary line 12 as in the upper and lower imaging (CC) view image (a). Tilt so that you can.
  • the right breast image is rotated about 45 degrees counterclockwise, and the left breast image is rotated about 45 degrees clockwise.
  • a parallel to the pectoral muscle line 11 and a pectoral muscle parallel line 13 having a predetermined distance from the pectoral muscle line 11 in the nipple direction are disposed in the inward and outward imaging view image b.
  • the pectoral parallelism line 13 is a line perpendicular to the pectoral- papillary line 12 and passing through a point A where the breast of the lower nipple meets at the boundary of the imaging images of the internal and external oblique view.
  • the cutting area 20 is the same as the size of the top and bottom photographing (CC) view, and the margin portion 21 that does not include the image in the cutting area is processed such that the image is not displayed with a pixel value of 0.
  • a CLAHE Contrast Limited Adaptive Histogram Equalization
  • the CLAHE algorithm divides an image into small blocks with a certain size, and has a mechanism to achieve uniformity over the entire image by performing histogram equalization for each block.
  • the CLAHE algorithm uses a conventional algorithm, and detailed description of the CLAHE algorithm is omitted below.
  • FIG. 5 is a block diagram of a breast imaging analysis system according to an embodiment of the present invention.
  • the breast image analysis system 100 includes an image receiving unit 110 that receives four breast imaging images; An image size adjusting unit 120 for adjusting the size of the mammography image received from the image receiving unit; A pre-processing unit 130 performing pre-processing on the adjusted image image by the image resizing unit; A CNN learning unit 140 based on a convolutional neural network (CNN) that learns a pre-processed image image by the pre-processing unit to generate learning information, and learning information and the image receiving unit learned from the CNN learning unit It may include a CNN inference unit 150 for receiving a classification mammography image from, and performs a breast abnormality diagnosis.
  • CNN convolutional neural network
  • the classification target mammography image received from the CNN inference unit 150 is the image size is adjusted in the size adjustment unit 120, and the pre-processing unit 130 performs pre-processing for the image image It may be through.
  • Description of the breast image analysis system according to an embodiment of the present invention may be applied to the content of the breast image analysis method.
  • ROC Receiver Operating Characteristic
  • AUC Area under the curve
  • the ROC curve and AUC are used to quantify how well the problems are classified in two categories.
  • the two items can be normal (negative, negative) and abnormal (positive, positive).
  • the ROC curve is expressed using sensitivity (True Positive Rate, TPR) and specificity (True Negative Rate, TNR). Sensitivity is the number of data that is determined to be positive among actual positive data, and specificity is negative among data that is actual negative. This is the number of data determined.
  • Sensitivity and specificity basically have an inverse relationship (Trade-off relationship) where one side increases and one side decreases. For example, when “X> T is positive and X ⁇ T is negative” for the threshold value T (Threshold) and data X, when the T value decreases, it appears as 'increased sensitivity and decrease in specificity', and the T value As it grows, it appears as 'decreased sensitivity and increased specificity'.
  • the AUC used to quantify the ROC curve is the area under the ROC curve. That is, the ROC curve has the meaning of the integral value for T and can be expressed as follows.
  • FIG. 6 is a graph showing the effect of a breast image analysis method using a 2-channel input.
  • the AUC of the ROC curve for the learning and inference results of the convolutional neural network using 2-channel input was 0.772.
  • the AUC is 0.98 or more as illustrated in FIGS. 7 to 17.
  • the AUC value of the ROC curve is high in the case of inputting an image of 4 channels to a convolutional neural network. That is, the breast imaging analysis method according to the present invention in which the AUC value is high can be said to have high analytical performance due to a high probability of judging as negative when it has a real negative result and positive when having a positive result.
  • FIG. 7 is an image sequence of 4 channels input to the convolutional neural network in order of the left top and bottom left view (Left CC), left and right inside and outside shooting view (Left MLO), right top and bottom shooting view (Right CC), right inside and outside shooting position view (Right MLO).
  • Left CC left top and bottom left view
  • Left MLO left and right inside and outside shooting view
  • Right CC right top and bottom shooting view
  • Right MLO right inside and outside shooting position view
  • FIG. 8 is an image sequence of 4 channels input to the convolutional neural network in order of the left top and bottom shot view (Left CC), right top and bottom shot view (Right CC), left inside and outside shot view (Left MLO), right inside and outside shot (Right MLO).
  • Left CC left top and bottom shot view
  • RVL right top and bottom shot view
  • Left MLO left inside and outside shot view
  • RVL right inside and outside shot
  • FIG. 9 is a sequence of 4 channels of image input to the convolutional neural network in order of left and right inner and outer shooting shots (Left MLO), left and right upper and lower shooting shots (Left CC), right and left inner and outer shooting shots view (Right MLO), and right and lower shooting shots view (Right CC).
  • Left MLO left and right inner and outer shooting shots
  • Left CC left and right upper and lower shooting shots
  • Right MLO right and left inner and outer shooting shots view
  • Right CC right and lower shooting shots view
  • FIG. 10 is a sequence of images of the 4 channels input to the convolutional neural network in order of right and left shooting view (Right CC), right and left shooting view (Right MLO), left and bottom shooting view (Left CC), left and right shooting shots (Left MLO).
  • the AUC was 0.990.
  • FIG. 11 is a sequence of 4 channels of image input to the convolutional neural network in order of right and left inward and outward shooting view (Right MLO), left and right in and out shooting view (Left MLO), right and bottom shooting view (Right CC), and left and bottom shooting view (Left CC).
  • the AUC was 0.991.
  • FIG. 12 is a sequence of 4 channels of image input to the convolutional neural network in order of right and left inward and outward shooting view (Right MLO), right and left and right shooting view (Right CC), left and right inward and outward shooting view (Left MLO), and left and bottom shooting view. (Left CC).
  • the AUC was 0.992.
  • the breast image analysis method according to an embodiment of the present invention exhibits similarly excellent performance regardless of the order of the four mammography images.
  • FIG. 13 shows an analysis result when divided into three classes: 'normal', 'cancer', and 'benign'.
  • the macro-average ROC curve means the ROC average in the above three cases.
  • AUCs were in turn 0.991, 0.975, and 0.991. That is, according to the breast image analysis method according to an embodiment of the present invention, it can be seen that the analysis performance is excellent even when the type is divided into three types.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 4개의 유방 촬영 영상이 컨볼루션 신경망에 하나의 입력으로 되는 유방 영상 분석 방법 및 그 시스템에 관한 것으로, 시스템은 4개의 유방 촬영 영상을 수신하는 영상 수신부; 상기 영상 수신부로부터 받은 유방 촬영 영상의 크기를 조정하는 이미지 크기 조정부; 상기 이미지 크기 조정부에서 조정된 영상 이미지에 대한 전처리를 수행하는 전처리부; 상기 전처리부에서 전처리된 영상 이미지를 학습하여 학습정보를 생성하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 하는 CNN 학습부 및 상기 CNN 학습부로부터 학습된 학습정보 및 상기 영상 수신부로부터 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 CNN 추론부를 포함할 수 있다.

Description

4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템
본 발명은 4개의 유방 촬영 영상이 컨볼루션 신경망에 하나의 입력으로 되는 유방 영상 분석 방법 및 그 시스템에 관한 것이다.
유방촬영술(Mammography)의 경우, 전문의가 X선 사진을 육안으로 판별하기 때문에 영상을 진단하는 의사의 경험과 숙련도에 따라 오진이 발생할 수 있어, 불필요한 추가 검사를 야기할 수 있다. 실제로 숙련된 방사선 전문의의 민감도와 특이도는 각각 62~87%와 75~91%이다.
이를 해결하기 위해 최근 딥러닝(Deep Learning)을 이용하여 의료 영상을 진단하는 연구가 진행중이다. 딥러닝 중 종래의 컨볼루션 신경망(Convolutional Neural Network)은 한 개의 이미지만 입력으로 하는데, 분석 성능이 높지 않은 한계가 있다.
본 발명은 상기 한계점을 극복하기 위해 안출된 것으로서, 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템을 제공하기 위함이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 유방 영상 분석 시스템은 4개의 유방 촬영 영상을 수신하는 영상 수신부; 상기 영상 수신부로부터 받은 유방 촬영 영상의 크기를 조정하는 이미지 크기 조정부; 상기 이미지 크기 조정부에서 조정된 영상 이미지에 대한 전처리를 수행하는 전처리부; 상기 전처리부에서 전처리된 영상 이미지를 학습하여 학습정보를 생성하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 하는 CNN 학습부 및 상기 CNN 학습부로부터 학습된 학습정보 및 상기 영상 수신부로부터 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 CNN 추론부를 포함할 수 있다.
본 발명의 일 실시예에 따른 CNN 추론부에서 수신하는 상기 분류 대상 유방 촬영 영상은 상기 크기 조정부에서 이미지 크기가 조정되고, 상기 전처리부에서 영상 이미지에 대한 전처리 수행을 거친 것일 수 있다.
본 발명의 일 실시예에 따른 4개의 유방 촬영 영상은 오른쪽 상하위 촬영(Craniocaudal, CC) 뷰, 왼쪽 상하위 촬영(Craniocaudal, CC) 뷰, 오른쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰 및 왼쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 크기 조정부는 내외사위 촬영 뷰 영상에 대하여 각도를 변경하며, 내외사위 촬영 뷰 영상에 나타난 흉근선에 평행하고 흉근선으로부터 유두방향으로 소정의 간격을 가지는 흉근평행선을 기준으로 유방쪽 영상만 커팅하여 상하위 촬영(CC) 뷰 형태로 조정하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 흉근평행선은 유두 하측의 유방이 상기 내외사위 촬영 뷰 영상의 경계에서 만나는 지점을 지나는 것일 수 있다.
본 발명의 일 실시예에 따른 유방 영상 분석 방법은 4개의 유방 촬영 영상을 수신하는 단계; (b) 상기 수신한 유방 촬영 영상의 크기를 조정하는 단계; (c) 상기 조정된 영상 이미지에 대한 전처리를 수행하는 단계; (d) 상기 전처리된 영상 이미지를 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 학습하여 학습정보를 생성하는 단계; (e) 유방 질환 유무를 분류하기 위한 분류 대상 유방 촬영 영상을 수신하는 단계; 및 (f) 상기 컨볼루션 신경망(CNN) 기반으로 학습한 학습정보 및 상기 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 분류 대상 유방 촬영 영상을 수신하는 단계(e)는, 영상의 크기를 조정하는 단계 및 조정된 영상 이미지에 대한 전처리를 수행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 상기 수신한 유방 촬영 영상의 크기를 조정하는 단계(b)는, 내외사위 촬영 뷰 영상에 대하여 각도를 변경하며, 상기 내외사위 촬영 뷰 영상에 나타난 흉근선에 평행하고 흉근선으로부터 유두방향으로 소정의 간격을 가지는 흉근평행선을 기준으로 유방쪽 영상만 커팅하여 상하위 촬영(CC) 뷰 형태로 조정하는 것일 수 있다.
본 발명의 일 실시예에 따른 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템은 4장의 이미지를 종합하여 학습/분석하기 때문에, 기존의 방법보다 유방암 판단율을 높일 수 있다.
따라서, 의사들의 오진율을 낮추고 환자들에게 불필요한 추가 검사를 방지할 수 있다.
또한, 본 발명은 4 채널 입력에서 영상 순서에 상관없이 우수한 성능을 나타낼 수 있고, 분석하는 클래스를 2가지(음성, 양성)뿐만 아니라, 3가지(정상, 암, 양성)로 나눈 경우에도 분석 성능이 우수하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 유방 영상 분석 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 유방 영상을 획득하는 방법을 나타낸다.
도 3은 본 발명의 일 실시예에 따라 컨볼루션 신경망에 입력하는 4개의 유방 촬영 영상을 나타낸다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 유방 촬영 영상의 크기를 조정하는 방법을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 유방 영상 분석 시스템의 블록도이다.
도 6은 2 채널 입력을 이용한 유방 영상 분석 방법의 효과를 나타내는 그래프이다.
도 7 내지 도 13은 본 발명의 일 실시예에 따른 유방 영상 분석 방법 및 그 시스템의 효과를 나타내는 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 유방 영상 분석 방법의 순서도이다.
도 1을 참조하면, 유방 영상 분석 방법은 (a) 4개의 유방 촬영 영상을 수신하는 단계(S201); (b) 상기 수신한 유방 촬영 영상의 크기를 조정하는 단계(S202); (c) 상기 조정된 영상 이미지에 대한 전처리를 수행하는 단계(S203); (d) 상기 전처리된 영상 이미지를 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 학습하여 학습정보를 생성하는 단계(S204); (e) 유방 질환 유무를 분류하기 위한 분류 대상 유방 촬영 영상을 수신하는 단계(S205); 및 (f) 상기 컨볼루션 신경망(CNN) 기반으로 학습한 학습정보 및 상기 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 단계(S206)를 포함할 수 있다.
본 발명의 일 실시예에 따른 분류 대상 유방 촬영 영상을 수신하는 단계(S205)는, 영상의 크기를 조정하는 단계 및 조정된 영상 이미지에 대한 전처리를 수행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 유방 영상은 오른쪽 상하위 촬영(Craniocaudal, CC) 뷰, 왼쪽 상하위 촬영(Craniocaudal, CC) 뷰, 오른쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰 및 왼쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰를 포함하여 총 4개의 유방 촬영 영상인 것을 특징으로 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 유방 영상을 획득하는 방법을 나타낸다.
유방 영상을 획득하는 방법은 보통 유방엑스선 검사를 통해 이루어지는데, 압박패들과 필름 홀더 사이에 유방을 위치시키고, 유방조직을 압박하여 엑스선 촬영한다.
4개의 유방 촬영 영상 중 상하위 촬영(CC) 뷰를 획득하는 방법은 도 2 (a)에 도시된 바와 같이, 유방의 상측과 유방의 하측에 압박패들과 필름 홀더를 배치시켜 유방을 압박하고, 오른쪽 및 왼쪽 2가지 경우에 대해 획득한다.
내외사위 촬영(MLO) 뷰를 획득하는 방법은 도 2 (b)에 도시된 바와 같이, 압박패들과 필름 홀더를 유방의 사선방향으로 배치시키고, 압박패들과 필름 홀더 사이로 유방을 압박하여 엑스선 영상을 획득한다.
도 3은 본 발명의 일 실시예에 따라 컨볼루션 신경망에 입력하는 4개의 유방 촬영 영상을 나타낸다.
도 3을 참조하면, 왼쪽 상하위 촬영 뷰(a), 왼쪽 내외사위 촬영(MLO) 뷰(b), 오른쪽 상하위 촬영(CC) 뷰(c), 오른쪽 내외사위 촬영(MLO) 뷰(d)를 포함하는 4개의 유방 촬영 영상은 컨볼루션 신경망(Convolution Neural Network, CNN)의 입력이 된다.
흑백 이미지에 대한 일반적인 컨볼루션 신경망의 입력 데이터의 크기는 (W, H, 1)이다. 반면, 본 발명의 일 실시예에 따른 유방 영상 분석 방법에서는 4채널 입력을 이용하기 때문에, 컨볼루션 신경망의 입력 데이터 크기는 (W, H, 4)이 될 수 있다. 단 여기서, W는 이미지 픽셀의 가로 크기, H는 이미지 픽셀의 세로 크기이다.
본 발명의 일 실시예에 따르면, 상술한 4개의 유방 촬영 영상은 컨볼루션 신경망에 하나의 입력으로 하기 때문에, 컨볼루션 신경망을 기반으로 하는 학습 및 추론은 종합적으로 판단될 수 있다.
한편, 컨볼루션 신경망(CNN)은 2차원 영상 처리에 특화되어 인식문제에 주로 사용되어 왔고, 기본적인 핵심 특징으로, 첫 번째는 국소 수용 면(local receptive field)을 두어 영상 일부를 표현하는 특징 추출에 중점 두었고, 두 번째는 이러한 특징을 나타내는 가중치들을 영상 전 영역에서 공유할 수 있게 하였다는 점에서 막대한 수의 매개변수를 줄이고 영상 위치에 상관없이 특징을 공유할 수 있는 딥러닝(Deep Learning) 알고리즘 중 하나이다.
컨볼루션 신경망(CNN)은 하나의 계층을 쌓고 노드 수를 줄여 상위 계층을 만드는 과정은 반복하면 상위 계층으로 갈수록 일반화가 이루어지게 된다. 이하, 컨볼루션 신경망(CNN)에 대한 일반적인 내용은 생략한다.
한편, 컨볼루션 신경망(CNN)을 이용하여 학습하기 위한 데이터 세트와 컨볼루션 신경망(CNN)을 이용하여 유방 촬영 영상을 추론하기 위한 데이터 세트는 구분될 수 있다.
즉, 학습 데이터 세트에 포함되는 유방 촬영 영상에 대해서는 환자의 병변 유무 또는 병변의 진행 정도를 알고 있는 데이터 세트가 사용될 수 있으나, 본 발명의 일 실시예에 따른 분류 대상 유방 촬영 영상에 대해서는 환자의 병변 유무 또는 병변의 진행 정도에 관한 정보가 없는 데이터 세트가 사용될 수 있다.
본 발명의 일 실시예에 따른 유방 영상 분석 방법은, 4개의 서로 다른 영상 이미지를 입력으로 사용하기 때문에, 영상 이미지에 대한 전처리를 수행한다.
전처리 과정은 유방 촬영 영상의 크기를 조정하는 것(S202)과 흑백 이미지의 대비를 높여주는 전처리(S203)를 포함할 수 있다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 유방 촬영 영상의 크기를 조정하는 방법을 나타낸다. 도 4a 내지 도 4d에 포함된 두 개의 영상 중 (a) 영상은 오른쪽 상하위 촬영(CC) 뷰이고, (b) 영상은 오른쪽 내외사위 촬영(MLO) 뷰이다.
도 4a 내지 도 4d를 참조하여 유방 촬영 영상의 크기를 조정하는 단계(S202)를 설명한다.
도 4a를 참조하면, 상하위 촬영(CC) 뷰 영상(a)에서 흉근(pectoral muscle) 선(11)은 영상에서 수직이나, 내외사위 촬영 뷰 영상(b)에서는 흉근 선(11)은 영상에서 비스듬하여 유방의 위치가 일치하지 않는다.
따라서, 유방의 위치를 일치시키기 위하여 도 4b와 같이, 내외사위 촬영 뷰 영상(b)에서 흉근 선(11)이 상하위 촬영(CC) 뷰 영상(a)과 같이 흉근-유두 선(12)에 수직할 수 있도록 기울인다.
오른쪽 유방 영상에서는 반시계 방향으로 45도 정도 회전시키고, 왼쪽 유방 영상에서는 시계 방향으로 45도 정도 회전시킨다.
그리고 흉근선(11)에 평행하고 흉근선(11)으로부터 유두방향으로 소정의 간격을 가지는 흉근평행선(13)이 내외사위 촬영 뷰 영상(b)에 배치된다.
흉근평행선(13)은 흉근-유두 선(12)에 수직하고, 유두 하측의 유방이 내외사위 촬영 뷰 영상의 경계에서 만나는 지점(A)을 지나는 선이다.
도 4c를 참조하면, 흉근평행선(13)을 기준으로 유방이 배치된 영상만 커팅하여 상하위 촬영(CC) 뷰 형태로 조정될 수 있다.
커팅 영역(20)은 상하위 촬영(CC) 뷰의 크기와 같고, 커팅 영역 내에 이미지를 포함하지 않는 여백 부분(21)은 픽셀 값을 0으로 하여 이미지가 나타나지 않도록 처리된다.
상술한 방법을 통해 이미지의 크기를 조정함으로써 도 4d에 도시된 바와 같이 서로 다른 촬영 영상에서 유방의 위치를 최대한 일치시킬 수 있기 때문에, 컨볼루션 신경망 학습 및 추론에 대한 정확도를 높일 수 있다.
영상 이미지를 전처리 하는 과정(S203)에서는 흑백 이미지의 대비를 높여주는 CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 적용하였다. CLAHE 알고리즘은 이미지를 일정한 크기를 가진 작은 블록으로 구분하고, 블록별로 히스토그램 균일화를 시행하여 이미지 전체에 대해 균일화를 달성하는 메커니즘을 가지고 있다. CLAHE 알고리즘은 종래의 알고리즘을 사용하며, 이하 CLAHE 알고리즘에 대한 상세한 설명은 생략한다.
도 5는 본 발명의 일 실시예에 따른 유방 영상 분석 시스템의 블록도이다.
본 발명의 일 실시예에 따른 유방 영상 분석 시스템(100)은 4개의 유방 촬영 영상을 수신하는 영상 수신부(110); 상기 영상 수신부로부터 받은 유방 촬영 영상의 크기를 조정하는 이미지 크기 조정부(120); 상기 이미지 크기 조정부에서 조정된 영상 이미지에 대한 전처리를 수행하는 전처리부(130); 상기 전처리부에서 전처리된 영상 이미지를 학습하여 학습정보를 생성하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 하는 CNN 학습부(140) 및 상기 CNN 학습부로부터 학습된 학습정보 및 상기 영상 수신부로부터 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 CNN 추론부(150)를 포함할 수 있다.
본 발명의 일 실시예에 따른 CNN 추론부(150)에서 수신하는 상기 분류 대상 유방 촬영 영상은 상기 크기 조정부(120)에서 이미지 크기가 조정되고, 상기 전처리부(130)에서 영상 이미지에 대한 전처리 수행을 거친 것일 수 있다.
본 발명의 일 실시예에 따른 유방 영상 분석 시스템에 대한 설명은 유방 영상 분석 방법에 대한 내용이 동일하게 적용될 수 있다.
본 발명의 일 실시예에 따른 유방 영상 분석 방법의 효과는 ROC(Receiver Operating Characteristic) 커브(Curve) 및 AUC(Area under the curve)로 표현하였다.
ROC 커브와 AUC는 두 가지 항목으로 분류하는 문제에 대해 얼마나 잘 분류했는지 수치화 할 때 이용한다. 두 가지 항목은 정상(음성, negative)와 비정상(양성, positive)이 될 수 있다.
ROC 커브는 민감도(True Positive Rate, TPR)와 특이도(True Negative Rate, TNR)를 이용하여 표현되는데, 민감도는 실제 양성인 데이터 중 양성이라 판별한 데이터 수이고, 특이도는 실제 음성인 데이터 중 음성이라 판별한 데이터 수이다.
민감도와 특이도는 기본적으로 한쪽이 증가하면 한쪽이 감소하는 반비례 관계(Trade-off 관계)가 있다. 예를 들어 임계값 T(Threshold)와 데이터 X에 대해 “X>T이면 양성, X<T이면 음성”이라고 할 때, T값이 작아지면 '민감도 증가, 특이도 감소'로 나타나며, T값이 커지면 '민감도 감소, 특이도 증가'로 나타난다.
이 관계를 표현한 것이 ROC 커브 그래프이다. 즉 ROC 커브 그래프는 T값의 변화에 따른 민감도와 특이도의 변화를 의미하며, 그래프의 '세로축은 [민감도], 가로축은 [1-특이도]'를 나타낸다. 여기서 '1-특이도=1-TNR= FPR(False Positive Rate)'을 의미한다.
ROC 커브를 수치화하기 위해 이용하는 것이 AUC이며, 이는 ROC 커브 밑 영역의 넓이를 뜻한다. 즉, ROC 커브를 T에 대해 적분한 값의 의미를 가지며 아래와 같이 나타낼 수 있다.
Figure PCTKR2019010690-appb-I000001
Figure PCTKR2019010690-appb-I000002
상술한 ROC 커브를 참조하여 도 6 내지 도 17에 도시된 유방 영상 분석 방법의 효과를 나타내는 그래프를 설명한다.
도 6은 2 채널 입력을 이용한 유방 영상 분석 방법의 효과를 나타내는 그래프이다.
본 발명의 일 실시예에 따른 유방 영상 분석 방법과 달리, 2 채널 입력을 이용한 컨볼루션 신경망 학습 및 추론 결과에 대한 ROC 커브의 AUC는 0.772가 나왔다.
반면, 본 발명의 일 실시예에 따른 유방 영상 분석 방법을 적용한 경우는 도 7 내지 도 17에 도시된 바와 같이 AUC는 0.98 이상이다.
본 발명의 일 실시예에 따라 4 채널의 이미지를 컨볼루션 신경망에 입력한 경우에서 ROC 커브의 AUC 수치가 높게 나왔다. 즉, AUC 수치가 높게 나온 본 발명에 따른 유방 영상 분석 방법은 실제 음성 결과를 가지는 경우 음성으로 판정하고, 양성 결과를 가지는 경우 양성으로 판정할 확률이 높아 분석 성능이 높다고 할 수 있다.
도 7은 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 왼쪽 상하위 촬영뷰(Left CC), 왼쪽 내외사위 촬영뷰(Left MLO), 오른쪽 상하위 촬영뷰(Right CC), 오른쪽 내외사위 촬영뷰(Right MLO)로 한 경우의 결과이다. 이 경우에서 AUC는 0.989가 나왔다.
도 8은 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 왼쪽 상하위 촬영뷰(Left CC), 오른쪽 상하위 촬영뷰(Right CC), 왼쪽 내외사위 촬영뷰(Left MLO), 오른쪽 내외사위 촬영뷰(Right MLO)로 한 경우의 결과이다. 이 경우에서 AUC는 0.980이 나왔다.
도 9는 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 왼쪽 내외사위 촬영뷰(Left MLO), 왼쪽 상하위 촬영뷰(Left CC), 오른쪽 내외사위 촬영뷰(Right MLO), 오른쪽 상하위 촬영뷰(Right CC)로 한 경우의 결과이다. 이 경우에서 AUC는 0.995가 나왔다.
도 10은 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 오른쪽 상하위 촬영뷰(Right CC), 오른쪽 내외사위 촬영뷰(Right MLO), 왼쪽 상하위 촬영뷰(Left CC), 왼쪽 내외사위 촬영뷰(Left MLO)로 한 경우의 결과이다. 이 경우에서 AUC는 0.990이 나왔다.
도 11은 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 오른쪽 내외사위 촬영뷰(Right MLO), 왼쪽 내외사위 촬영뷰(Left MLO), 오른쪽 상하위 촬영뷰(Right CC), 왼쪽 상하위 촬영뷰(Left CC)로 한 경우의 결과이다. 이 경우에서 AUC는 0.991이 나왔다.
도 12는 컨볼루션 신경망에 입력하는 4 채널의 이미지 순서를 차례대로 오른쪽 내외사위 촬영뷰(Right MLO), 오른쪽 상하위 촬영뷰(Right CC), 왼쪽 내외사위 촬영뷰(Left MLO), 왼쪽 상하위 촬영뷰(Left CC)로 한 경우의 결과이다. 이 경우에서 AUC는 0.992가 나왔다.
도 7 내지 도 12에서 살펴본 바와 같이, 본 발명의 일 실시예에 따른 유방 영상 분석 방법은 4 개의 유방 촬영 영상의 순서에 상관없이 비슷하게 우수한 성능을 나타내는 것을 확인할 수 있다.
도 13은 유방 영상 분석 클래스를 3가지로 하였을 경우에 대한 분석 결과를 나타낸다.
도 6 내지 도 12는 양성 또는 음성 2개의 클래스로 구분한 반면, 도 13에서는 '정상', '암', '양성(benign)'으로 총 3개의 클래스로 구분한 경우의 분석 결과를 나타낸다.
도 13에서는 3개 클래스에 대해 ROC 커브를 그리기 위해, 다음 3가지의 경우의 수로 나누어 분석 결과를 확인하였다.
1. Class 0: [정상 vs 암 + 양성]
2. Class 1: [암 vs 정상 + 양성]
3. Class 2: [양성 vs 정상 + 암]
한편, macro-average ROC curve는 위 세가지 경우의 ROC 평균을 의미한다.
도 13에서 살펴본 바와 같이, 3가지 경우 모두에서, AUC는 차례대로 0.991, 0.975, 0.991로 나왔다. 즉, 본 발명의 일 실시예에 따른 유방 영상 분석 방법에 의하면 종류를 3가지로 나눈 경우에도 분석 성능이 우수한 것을 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 4개의 유방 촬영 영상을 수신하는 영상 수신부;
    상기 영상 수신부로부터 받은 유방 촬영 영상의 크기를 조정하는 이미지 크기 조정부;
    상기 이미지 크기 조정부에서 조정된 영상 이미지에 대한 전처리를 수행하는 전처리부;
    상기 전처리부에서 전처리된 영상 이미지를 학습하여 학습정보를 생성하는 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 하는 CNN 학습부 및
    상기 CNN 학습부로부터 학습된 학습정보 및 상기 영상 수신부로부터 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 CNN 추론부를 포함하고,
    상기 CNN 추론부에서 수신하는 상기 분류 대상 유방 촬영 영상은 상기 크기 조정부에서 이미지 크기가 조정되고, 상기 전처리부에서 영상 이미지에 대한 전처리 수행을 거친 것인, 유방 영상 분석 시스템.
  2. 제1항에 있어서,
    상기 4개의 유방 촬영 영상은
    오른쪽 상하위 촬영(Craniocaudal, CC) 뷰, 왼쪽 상하위 촬영(Craniocaudal, CC) 뷰, 오른쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰 및 왼쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰를 포함하는 것을 특징으로 하는 유방 영상 분석 시스템.
  3. 제1항에 있어서,
    상기 이미지 크기 조정부는
    내외사위 촬영 뷰 영상에 대하여 각도를 변경하며,
    상기 내외사위 촬영 뷰 영상에 나타난 흉근선에 평행하고 흉근선으로부터 유두방향으로 소정의 간격을 가지는 흉근평행선을 기준으로 유방쪽 영상만 커팅하여 상하위 촬영(CC) 뷰 형태로 조정하는 것을 특징으로 하는 유방 영상 분석 시스템.
  4. 제3항에 있어서,
    상기 흉근평행선은 유두 하측의 유방이 상기 내외사위 촬영 뷰 영상의 경계에서 만나는 지점을 지나는 것인 유방 영상 분석 시스템.
  5. (a) 4개의 유방 촬영 영상을 수신하는 단계;
    (b) 상기 수신한 유방 촬영 영상의 크기를 조정하는 단계;
    (c) 상기 조정된 영상 이미지에 대한 전처리를 수행하는 단계;
    (d) 상기 전처리된 영상 이미지를 컨볼루션 신경망(CNN: Convolution Neural Network)을 기반으로 학습하여 학습정보를 생성하는 단계;
    (e) 유방 질환 유무를 분류하기 위한 분류 대상 유방 촬영 영상을 수신하는 단계; 및
    (f) 상기 컨볼루션 신경망(CNN) 기반으로 학습한 학습정보 및 상기 분류 대상 유방 촬영 영상을 수신하여, 유방 이상 진단을 수행하는 단계를 포함하는 유방 영상 분석 방법.
  6. 제 5 항에 있어서,
    상기 유방 질환 유무를 분류하기 위한 분류 대상 유방 촬영 영상을 수신하는 단계(e)는,
    영상의 크기를 조정하는 단계 및 조정된 영상 이미지에 대한 전처리를 수행하는 단계를 더 포함하는 유방 영상 분석 방법.
  7. 제 5 항에 있어서,
    상기 4개의 유방 촬영 영상은
    오른쪽 상하위 촬영(Craniocaudal, CC) 뷰, 왼쪽 상하위 촬영(Craniocaudal, CC) 뷰, 오른쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰 및 왼쪽 내외사위 촬영(Mediolateral oblique, MLO) 뷰를 포함하는 것을 특징으로 하는 유방 영상 분석 방법.
  8. 제 5 항에 있어서,
    상기 수신한 유방 촬영 영상의 크기를 조정하는 단계(b)는,
    내외사위 촬영 뷰 영상에 대하여 각도를 변경하며,
    상기 내외사위 촬영 뷰 영상에 나타난 흉근선에 평행하고 흉근선으로부터 유두방향으로 소정의 간격을 가지는 흉근평행선을 기준으로 유방쪽 영상만 커팅하여 상하위 촬영(CC) 뷰 형태로 조정하는 것을 특징으로 하는 유방 영상 분석 방법.
  9. 제8항에 있어서,
    상기 흉근평행선은 유두 하측의 유방이 상기 내외사위 촬영 뷰 영상의 경계에서 만나는 지점을 지나는 것인 유방 영상 분석 방법.
PCT/KR2019/010690 2018-09-20 2019-08-22 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템 WO2020060046A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/277,443 US11922622B2 (en) 2018-09-20 2019-08-22 Convolutional neural network based breast image analysis method using four-channel inputs and system therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0113030 2018-09-20
KR20180113030 2018-09-20

Publications (2)

Publication Number Publication Date
WO2020060046A1 true WO2020060046A1 (ko) 2020-03-26
WO2020060046A9 WO2020060046A9 (ko) 2020-08-13

Family

ID=69887449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010690 WO2020060046A1 (ko) 2018-09-20 2019-08-22 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US11922622B2 (ko)
WO (1) WO2020060046A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657497B2 (en) * 2019-03-26 2023-05-23 The Johns Hopkins University Method and apparatus for registration of different mammography image views

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043869A (ko) * 2005-04-20 2005-05-11 송희성 적응 퍼지-뉴럴 네트워크를 이용한 유방암 자동 진단기의개발
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR101887760B1 (ko) * 2016-10-10 2018-08-10 순천향대학교 산학협력단 열화상카메라를 이용한 유방암 진단 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266435B1 (en) * 1993-09-29 2001-07-24 Shih-Ping Wang Computer-aided diagnosis method and system
US6574357B2 (en) * 1993-09-29 2003-06-03 Shih-Ping Wang Computer-aided diagnosis method and system
US20020097902A1 (en) * 1993-09-29 2002-07-25 Roehrig Jimmy R. Method and system for the display of regions of interest in medical images
WO1997029437A1 (en) * 1996-02-09 1997-08-14 Sarnoff Corporation Method and apparatus for training a neural network to detect and classify objects with uncertain training data
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
JP5927180B2 (ja) * 2010-04-30 2016-06-01 ヴィユーコンプ インクVucomp, Inc. 画像の異形を識別するための画像データの処理方法、システムおよびプログラム
US9305204B2 (en) * 2010-12-06 2016-04-05 Indian Institute Of Technology, Kharagpur Method and system to detect the microcalcifications in X-ray images using nonlinear energy operator
US9730660B2 (en) * 2014-01-15 2017-08-15 Alara Systems, Inc. Converting low-dose to higher dose mammographic images through machine-learning processes
US20170249739A1 (en) * 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
US11004559B2 (en) * 2017-12-15 2021-05-11 International Business Machines Corporation Differential diagnosis mechanisms based on cognitive evaluation of medical images and patient data
US20190189267A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Automated medical resource reservation based on cognitive classification of medical images
US11024415B2 (en) * 2017-12-15 2021-06-01 International Business Machines Corporation Automated worklist prioritization of patient care based on cognitive classification of medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050043869A (ko) * 2005-04-20 2005-05-11 송희성 적응 퍼지-뉴럴 네트워크를 이용한 유방암 자동 진단기의개발
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR101887760B1 (ko) * 2016-10-10 2018-08-10 순천향대학교 산학협력단 열화상카메라를 이용한 유방암 진단 장치 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARNEIRO, G. ET AL.: "Unregistered Multiview Mammogram Analysiswith Pre-tra ined Deep Learning Models", INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPU TING AND COMPUTER-ASSISTED INTERVENTION, 2015, pages 652 - 660 *

Also Published As

Publication number Publication date
US11922622B2 (en) 2024-03-05
US20220036544A1 (en) 2022-02-03
WO2020060046A9 (ko) 2020-08-13

Similar Documents

Publication Publication Date Title
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
US11900647B2 (en) Image classification method, apparatus, and device, storage medium, and medical electronic device
CN111128396B (zh) 一种基于深度学习的消化道疾病辅助诊断系统
CN110123347B (zh) 用于乳腺钼靶的图像处理方法及装置
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
WO2023063646A1 (ko) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
Pal et al. Deep metric learning for cervical image classification
CN111179252B (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
WO2020060046A1 (ko) 4채널 입력을 이용하는 컨볼루션 신경망 기반의 유방 영상 분석 방법 및 그 시스템
CN109785320A (zh) 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
Akpinar et al. Chest X-ray abnormality detection based on SqueezeNet
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
KR20220012628A (ko) 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템
WO2022086105A1 (ko) 딥 뉴럴 네트워크 기반의 뇌출혈 진단 시스템
KR20210050790A (ko) 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
EP4241650A1 (en) Image processing method, and electronic device and readable storage medium
UÇA et al. Comparison of deep learning models for body cavity fluid cytology images classification
Cao et al. Deep learning based lesion detection for mammograms
WO2022239895A1 (ko) Gan을 이용한 합성 내시경 이미지 생성 장치 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2021177799A1 (ko) 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
Adepoju et al. Detection of tumour based on breast tissue categorization
KR20210129850A (ko) 조직 병리학 분류를 위한 다중 인스턴스 학습 방법
WO2019088673A2 (ko) 이미지 분류장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19863757

Country of ref document: EP

Kind code of ref document: A1