KR102436351B1 - Deep learning based liver tumor detection method and device in CT scan image - Google Patents

Deep learning based liver tumor detection method and device in CT scan image Download PDF

Info

Publication number
KR102436351B1
KR102436351B1 KR1020200094356A KR20200094356A KR102436351B1 KR 102436351 B1 KR102436351 B1 KR 102436351B1 KR 1020200094356 A KR1020200094356 A KR 1020200094356A KR 20200094356 A KR20200094356 A KR 20200094356A KR 102436351 B1 KR102436351 B1 KR 102436351B1
Authority
KR
South Korea
Prior art keywords
liver
image
normalization
slide image
region
Prior art date
Application number
KR1020200094356A
Other languages
Korean (ko)
Other versions
KR20220014932A (en
Inventor
김수형
양형정
이귀상
보티퉁뷔
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200094356A priority Critical patent/KR102436351B1/en
Publication of KR20220014932A publication Critical patent/KR20220014932A/en
Application granted granted Critical
Publication of KR102436351B1 publication Critical patent/KR102436351B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Abstract

본 기술은 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치에 관한 것이다. 본 기술의 구현 예에 다중 필터 U-net 네트워크를 사용하여 간 및 간 종양을 병렬로 분할 및 슬라이드 CT 이미지를 전처리하고 데이터셋을 표준화 및 정규화하여 정확도가 향상된 간 종양 분류 정보를 제공하여 의사의 간 종양 진단에 도움을 주고 종양 치료 요법 계획의 진단을 용이하게 할 수 있는 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치를 제공할 수 있는 이점이 있다.The present technology relates to a method and apparatus for detecting a liver tumor based on deep learning in a CT scan image. In an embodiment of the present technology, a multi-filter U-net network is used to segment liver and liver tumors in parallel, preprocess the slide CT images, and standardize and normalize the dataset to provide liver tumor classification information with improved accuracy. It has the advantage of providing a method and apparatus for detecting liver tumors based on deep learning in CT scan images, which can aid in tumor diagnosis and facilitate the diagnosis of tumor treatment regimen planning.

Description

CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치{Deep learning based liver tumor detection method and device in CT scan image}Deep learning based liver tumor detection method and device in CT scan image

본 발명은 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치에 관한 것으로 더욱 구체적으로는 컴퓨터 단층 촬영(CT) 이미지로부터 자동으로 간 종양을 검출하는 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting a liver tumor based on deep learning from a CT scan image, and more particularly, to a liver tumor detection based on deep learning from a CT scan image that automatically detects a liver tumor from a computed tomography (CT) image It relates to a method and apparatus.

간 종양 인식은 의료 분야의 인공지능 상호작용 연구에 도전적이고 중요한 과제이다. 기술과 의학에 대한 이해가 진행됨에 따라 의사 결정을 지원하는 분석 능력을 향상시키고 효율적인 인간-기계 인터페이스(HMI)를 설계하기 위해 실제 응용 분야에 적합한 강력하고 신뢰할 수 있는 종양 인식 시스템을 설계할 필요가 있다.Liver tumor recognition is a challenging and important task for the study of artificial intelligence interactions in the medical field. As our understanding of technology and medicine advances, there is a need to design robust and reliable tumor recognition systems suitable for practical applications to enhance the analytical capabilities to support decision-making and to design efficient human-machine interfaces (HMIs). have.

수년에 걸쳐 여러 연구자들은 간 종양 세분화를 위하여 여러 방법을 제한하였다. 공개된 간 종양 세분화 방법은 임계 값 방법, 공간 정규화 방법, 감독 분류 및 비지도 클러스터링 방법 및 딥러닝 방법과 같은 네 가지 주요 방법으로 분류할 수 있다.Over the years, several investigators have limited several methods for hepatic tumor segmentation. Published liver tumor segmentation methods can be classified into four main methods: threshold method, spatial normalization method, supervised classification and unsupervised clustering method, and deep learning method.

임계 값은 종양 바깥 영역에 속하는 픽셀과 다른 강도 종양 영역인 CT 영상 추정치의 영상 히스토그램을 바탕으로 간 및 배경에서 종양을 자동으로 분리하는 단순하고 효과적인 첫 번째 방법이다.Threshold is a simple and effective first method to automatically isolate tumors from liver and background based on image histograms of CT image estimates, which are different intensity tumor regions and pixels belonging to regions outside the tumor.

공간 정규화 방법은 종양의 크기, 모양, 표면 또는 공간 정보와 같은 정보를 바탕으로 종양의 영역을 추출한다. 감독 분류 및 비지도 클러스터링 방법에는 level set, AdaBoost, 퍼지 c 평균 클러스터링, Ek-means가 포함된다. 최근에는 딥러닝 방법이 최첨단 기술로서 종양 분할 결과에 대한 성과를 얻고 있다.Spatial normalization method extracts a region of a tumor based on information such as size, shape, surface, or spatial information of the tumor. Supervised classification and unsupervised clustering methods include level set, AdaBoost, fuzzy c-means clustering, and Ek-means. In recent years, deep learning methods are achieving results for tumor segmentation as a cutting-edge technology.

그러나 간 종양 인식의 과제는 여전히 매우 어려운 과제이다. 먼저, 자동화된 종양 인식에 접근하려면 적절한 종양 표현 모델이 필요하다. 자동 간 종양 인식의 또 다른 난제는 종양모양의 정의에 대한 호모그래피의 부족이다. CT 이미지에서 간 종양은 간 영역의 여러 부위에서 매우 자연스럽게 나타나 이러한 변형을 구별하기가 어렵다. 또한 간 부위의 다른 장기 및 종양과 간 특징의 낮은 대비 또한 자동 간 종양 인식을 어렵게 한다.However, the challenge of liver tumor recognition remains a very difficult task. First, an appropriate tumor expression model is needed to access automated tumor recognition. Another challenge for automatic liver tumor recognition is the lack of homography for the definition of tumor shape. On CT images, liver tumors appear very spontaneously at different sites in the liver region, making it difficult to distinguish these variants. In addition, the low contrast of liver features with other organs and tumors in the liver region also makes automatic liver tumor recognition difficult.

1. 한국 공개특허 제10-2019-0058036호1. Korean Patent Publication No. 10-2019-0058036

본 발명은 상기와 같은 문제를 해결하기 위한 것으로서 다중 필터 U-net 네트워크를 사용하여 간 및 간 종양을 병렬로 분할 및 슬라이드 CT 이미지를 전처리하고 데이터셋을 표준화 및 정규화하여 향상된 간 종양 분류 정확도를 가지는 딥러닝 기반 CT 스캔 영상에서 간 종양 검출 방법 및 장치를 제공하는데 그 목적이 있다.In order to solve the above problems, the present invention uses a multi-filter U-net network to divide liver and liver tumors in parallel, preprocess the slide CT images, and standardize and normalize the dataset to have improved liver tumor classification accuracy. An object of the present invention is to provide a method and apparatus for detecting a liver tumor in a deep learning-based CT scan image.

상기와 같은 목적을 달성하기 위한 본 발명은, 피검자의 복부 CT 스캔 영상을 수신하는 단계; 상기 복부 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성하는 단계; HU 필터링으로 상기 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거하는 단계; 상기 HU 필터링된 상기 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 상기 간 영역의 슬라이드 이미지에 대하여 표준화와 정규화를 수행하는 단계; 상기 표준화와 정규화를 수행한 상기 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환하는 단계; 및 상기 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별하는 단계를 포함한다.The present invention for achieving the above object, receiving a CT scan image of the abdomen of the subject; generating a slide image of the liver region using the HU scale from the abdominal CT scan image; removing unnecessary values for the liver region from the slide image of the liver region by HU filtering; performing standardization and normalization on the slide image of the liver region by contrasting the HU-filtered slide image of the liver region with the adjusted gamma rays between the dataset; converting the slide image of the liver region on which the normalization and normalization has been performed into a 2D numpy array matrix; and inputting the 2D Numpy array matrix into a multi-filter U-net network to identify liver and liver tumors.

바람직하게는, 상기 표준화와 정규화를 수행하는 단계는 다음 수학식 1에 따라 표준화를 수행하는 것이고, 다음 수학식 2에 따라 정규화를 수행하는 것이다.Preferably, the step of performing the standardization and normalization is to perform standardization according to Equation 1 below, and to perform normalization according to Equation 2 below.

수학식1Equation 1

Figure 112020079434957-pat00001
Figure 112020079434957-pat00001

수학식2Equation 2

Figure 112020079434957-pat00002
Figure 112020079434957-pat00002

본 발명의 다른 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치는 피검자의 복부 CT 스캔 영상을 수신하는 영상 수신부; 상기 복부 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성하는 슬라이드 이미지 생성부; HU 필터링으로 상기 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거하는 HU 필터링부; 상기 HU 필터링된 상기 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 상기 간 영역의 슬라이드 이미지에 대하여 표준화와 정규화를 수행하는 표준화 및 정규화 수행부; 상기 표준화와 정규화를 수행한 상기 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환하는 매트릭스 변환부; 및 상기 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별하는 간 종양 식별부를 포함한다.In accordance with another embodiment of the present invention, an apparatus for detecting a liver tumor based on deep learning in a CT scan image includes an image receiving unit configured to receive a CT scan image of the abdomen of a subject; a slide image generator for generating a slide image of the liver region using the HU scale from the abdominal CT scan image; a HU filtering unit for removing unnecessary values for the liver region from the slide image of the liver region by HU filtering; a standardization and normalization performing unit for normalizing and normalizing the slide image of the liver region in comparison with the HU-filtered slide image of the liver region and the adjusted gamma rays between the dataset; a matrix conversion unit converting the slide image of the liver region, which has been standardized and normalized, into a 2D numpy array matrix; and a liver tumor identification unit for identifying liver and liver tumors by inputting the 2D Numpy array matrix into a multi-filter U-net network.

바람직하게는, 기 표준화 및 정규화 수행부는 다음 수학식 1에 따라 표준화를 수행하는 것이고, 다음 수학식 2에 따라 정규화를 수행하는 것이다.Preferably, the pre-standardization and normalization performing unit performs standardization according to Equation 1 below, and performs normalization according to Equation 2 below.

수학식1Equation 1

Figure 112020079434957-pat00003
Figure 112020079434957-pat00003

수학식2Equation 2

Figure 112020079434957-pat00004
Figure 112020079434957-pat00004

전술한 바와 같은 본 발명에 따르면, 다중 필터 U-net 네트워크를 사용하여 간 및 간 종양을 병렬로 분할 및 슬라이드 CT 이미지를 전처리하고 데이터셋을 표준화 및 정규화하여 정확도가 향상된 간 종양 분류 정보를 제공하여 의사의 간 종양 진단에 도움을 주고 종양 치료 요법 계획의 진단을 용이하게 할 수 있는 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치를 제공할 수 있는 이점이 있다.According to the present invention as described above, liver and liver tumors are segmented in parallel using a multi-filter U-net network, slide CT images are preprocessed, and data sets are standardized and normalized to provide liver tumor classification information with improved accuracy. It has the advantage of providing a method and apparatus for detecting liver tumors based on deep learning in CT scan images, which can help doctors diagnose liver tumors and facilitate the diagnosis of tumor treatment regimen plans.

도 1은 본 발명의 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치의 블록도를 도시한다.
도 2는 본 발명에 따른 전처리된 이미지를 얻는 단계에 관한 개념도를 도시한다.
도 3은 본 발명의 실시예에 따른 MFU-net 아키텍쳐의 개념도를 도시한다.
도 4는 본 발명의 다른 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법의 흐름도를 도시한다.1 shows a block diagram of an apparatus for detecting a liver tumor based on deep learning in a CT scan image according to an embodiment of the present invention.
2 shows a conceptual diagram of a step of obtaining a preprocessed image according to the present invention.
3 shows a conceptual diagram of an MFU-net architecture according to an embodiment of the present invention.
4 is a flowchart illustrating a method for detecting a liver tumor based on deep learning in a CT scan image according to another embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특징적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various characteristic contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that the present invention may be used without these various specific details. In some cases, it is mentioned in advance that in describing the invention, parts that are commonly known but not largely related to the invention are not described in order to avoid confusion for no reason in explaining the invention.

도 1은 본 발명의 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치의 블록도를 도시한다. 도 1을 참조하면 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치(100)는 영상 수신부(102), 슬라이드 이미지 생성부(104), HU 필터링부(106), 정규화 및 표준화 수행부(108), 매트릭스 변환부(110) 및 간 종양 식별부(112)를 포함한다.1 shows a block diagram of an apparatus for detecting a liver tumor based on deep learning in a CT scan image according to an embodiment of the present invention. Referring to FIG. 1 , an apparatus 100 for detecting a liver tumor based on deep learning in a CT scan image includes an image receiving unit 102 , a slide image generating unit 104 , a HU filtering unit 106 , and a normalization and standardization performing unit 108 . , a matrix transformation unit 110 and a liver tumor identification unit 112 .

영상 수신부(102)는 피검자의 복부 CT 스캔 영상을 수신한다. CT 스캔 영상은 피검자 복부 전체의 이미지를 얻을 수 있는 것이다. The image receiving unit 102 receives a CT scan image of the subject's abdomen. A CT scan image can obtain an image of the entire abdomen of the subject.

피검자의 원시 복부 이미지는 기본 구조를 쉽게 식별하고 위치를 파악할 수 있고 발생할 수 있는 종양이나 이상 징후를 확인할 수 있는 단층 슬라이드에 nii 또는 DICOM 파일에 의해 수집될 수 있다. 복부 CT 스캔 영상은 각 폴더가 한 명의 피검자를 나타내는 데이터셋으로 분류될 수 있고, 데이터셋에는 연속된 스캔 이미지가 포함될 수 있다.Raw abdominal images of the subject can be collected by nii or DICOM files on tomographic slides where the underlying structures can be easily identified and localized and any tumors or anomalies that may have arisen can be identified. The abdominal CT scan image may be classified into a dataset in which each folder represents one subject, and the dataset may include consecutive scan images.

슬라이드 이미지 생성부(104)는 영상 수신부(102)에 수신된 피검자의 복부 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성한다.The slide image generating unit 104 generates a slide image of the liver region using the HU scale from the abdominal CT scan image of the subject received by the image receiving unit 102 .

복부에서 특히 중요한 Hounsfield CT 스캔은 조직의 밀도에 비례하여 x선을 감쇠시키고 HU 값은 조직의 물리적 밀도에 비례한다. 본 발명에 따른 복부 CT 스캔의 Hounsfield 스케일은 -1,000HU ~ +1,000HU이다. 공기의 HU 값은 일반적으로 -200 이상이며, 물은 -10HU에서 10HU에 가깝고 혈액은 3~14HU이다.Of particular importance in the abdomen, Hounsfield CT scans attenuate x-rays proportional to the tissue's density, and the HU value is proportional to the tissue's physical density. The Hounsfield scale of an abdominal CT scan according to the present invention ranges from -1,000HU to +1,000HU. The HU value of air is generally above -200, water is -10HU to close to 10HU, and blood is 3-14HU.

Nibabel 라이브러리는 CT 이미지 처리에 유용하며 슬라이드 별로 HU 필터링을 수행하여 슬라이드를 변환할 수 있도록 한다. 원본 CT 스캔 영상의 각 볼륨은 간, 폐, 뼈와 같은 복부의 모든 장기가 스캔되고 각 볼륨은 동일하지 않은 수의 슬라이드를 포함할 수 있ek.The Nibabel library is useful for CT image processing and enables slide conversion by performing HU filtering for each slide. Each volume of the original CT scan image scans all organs of the abdomen, such as liver, lungs and bones, and each volume may contain an unequal number of slides.

HU 필터링부(106)는 HU필터링으로 슬라이드 이미지 생성부(104)에서 생성된 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거한다. 슬라이드 별로 HU 필터링이 수행된다. The HU filtering unit 106 removes unnecessary values for the liver region from the slide image of the liver region generated by the slide image generation unit 104 through HU filtering. HU filtering is performed for each slide.

정규화 및 표준화 수행부(108)는 HU 필터링부(106)에서 HU 필터링된 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 간 영역의 슬라이드 이미지에 대하여 정규화와 표준화를 수행한다. OpenCV를 사용하여 감마, 대비 기법 및 HU(Hounsfield Units) 단위를 원본 이미지에 적용할 수 있다.The normalization and normalization performing unit 108 performs normalization and normalization on the slide image of the liver region by contrasting the gamma rays adjusted between the HU-filtered liver region slide image and the dataset by the HU filtering unit 106 . You can use OpenCV to apply gamma, contrast techniques, and Hounsfield Units (HU) units to the original image.

도 2는 본 발명에 따른 전처리된 이미지를 얻는 단계에 관한 개념도를 도시한다. 정규화 및 표준화 수행부(108)는 간 영역의 슬라이드 이미지를 HU 필터링된 간 영역의 슬라이드 이미지의 데이터셋 간에 조정된 감마선과 대비한 다음 평균 값으로 정규화함으로써 전처리된 이미지를 확보한다. 데이터셋은 각 피험자 별로 전처리된 이미지를 포함하고 있다. 2 shows a conceptual diagram of a step of obtaining a preprocessed image according to the present invention. The normalization and normalization performing unit 108 secures the preprocessed image by comparing the slide image of the liver region with the gamma rays adjusted between the HU-filtered datasets of the slide image of the liver region, and then normalizing it to an average value. The dataset contains preprocessed images for each subject.

또한, 표준화 및 정규화 수행부(108)는 다음 수학식 1에 따라 표준화를 수행하는 것일 수 있고, 다음 수학식 2에 따라 정규화를 수행하는 것일 수 있다.Also, the standardization and normalization performing unit 108 may perform standardization according to Equation 1 below, and may perform normalization according to Equation 2 below.

수학식1Equation 1

Figure 112020079434957-pat00005
Figure 112020079434957-pat00005

수학식2Equation 2

Figure 112020079434957-pat00006
Figure 112020079434957-pat00006

여기서,

Figure 112020079434957-pat00007
는 원본 이미지,
Figure 112020079434957-pat00008
는 전처리된 이미지,
Figure 112020079434957-pat00009
는 표준화 단계,
Figure 112020079434957-pat00010
는 HU 필터링 단계,
Figure 112020079434957-pat00011
는 테이터셋의 모든 이미지에 적용할 임계값인 이미지 매트릭스의 평균,
Figure 112020079434957-pat00012
와
Figure 112020079434957-pat00013
는 HU 스케일 입력,
Figure 112020079434957-pat00014
값은 이미지의 대비, 밝기 조명 조정,
Figure 112020079434957-pat00015
와
Figure 112020079434957-pat00016
는 각 점의 픽셀 값을 나타낸다.here,
Figure 112020079434957-pat00007
is the original image,
Figure 112020079434957-pat00008
is the preprocessed image,
Figure 112020079434957-pat00009
is the standardization step,
Figure 112020079434957-pat00010
is the HU filtering step,
Figure 112020079434957-pat00011
is the average of the image matrix, which is the threshold to be applied to all images in the dataset,
Figure 112020079434957-pat00012
Wow
Figure 112020079434957-pat00013
is the HU scale input,
Figure 112020079434957-pat00014
The values are the image's contrast, brightness, lighting adjustments,
Figure 112020079434957-pat00015
Wow
Figure 112020079434957-pat00016
represents the pixel value of each point.

매트릭스 변환부(110)는 표준화 및 정규화 수행부(108)에서 정규화와 표준화를 수행한 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환한다. 이를 통해 CT 이미지는 2D Numpy array 매트릭스로 변환된다. Numpy array와 같은 회색 이미지는 end-to-end 네트워크로 공급되어 대상 간 및 간 종양 부위를 분할하기 위한 특징을 추출한다.The matrix conversion unit 110 converts the slide image of the liver region normalized and normalized by the standardization and normalization performing unit 108 into a 2D numpy array matrix. Through this, the CT image is converted into a 2D numpy array matrix. A gray image such as a numpy array is fed into an end-to-end network to extract features for segmenting the target liver and liver tumor regions.

간 종양 식별부(112)는 매트릭스 변환부(110)에서 변환된 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별한다. 간 종양 식별부(112)는 신경망에 의해 간과 간 종양을 식별하는 것이다.The liver tumor identification unit 112 inputs the 2D numpy array matrix converted by the matrix transformation unit 110 into the multi-filter U-net network to identify liver and liver tumors. The liver tumor identification unit 112 identifies liver and liver tumors by a neural network.

간 종양 식별부(112)는 동일한 필터를 하나의 입력 레어어에 반복적으로 적용하는 대신 동일한 속도로 모든 크기의 필터를 원래 레이어에 직접 적용하는 것이다. 이는 다중 필터 블록이 이미지 크기를 반복적으로 줄이는 대신 필터 크기를 상향 조정하여 이미지를 처리하는데 사용됨을 의미한다. 이 모델은 U-net과 다중 필터의 조합을 기반으로 하기 때문에 다중 필터 U-net(MFU-net) 아키텍쳐라고 부를 수 있다.The liver tumor identification unit 112 directly applies filters of all sizes to the original layer at the same speed instead of repeatedly applying the same filter to one input layer. This means that multiple filter blocks are used to process the image by scaling up the filter instead of repeatedly reducing the size of the image. Since this model is based on a combination of U-net and multiple filters, it can be called a multi-filter U-net (MFU-net) architecture.

도 3은 본 발명의 실시예에 따른 MFU-net 아키텍쳐의 개념도를 도시한다. 멀티 필터 블록은 광범위한 실험을 통해 확인한 결과 3번 인터리브 되는 것이 바람직하다. 첫 번째 레이어의 필터 크기는 1x1일 수 있고, 다운 샘플링 스케일 값은 1일 수 있다. 해당 피쳐 맴에 1x1 컨벌루션을 적용할 수 있다. 두 번째 레이어는 3x3 필터 크기의 2의 다운 샘플링 크기를 늘리고, 마지막 레이어는 크기가 5x5이고 샘플링 크기는 2로 증가하여 피쳐를 추출할 수 있다. 3 shows a conceptual diagram of an MFU-net architecture according to an embodiment of the present invention. It is desirable that the multi-filter block be interleaved three times as a result of extensive experimentation. The filter size of the first layer may be 1x1, and the down-sampling scale value may be 1. A 1x1 convolution can be applied to the feature map. The second layer increases the downsampling size of 2 of the 3x3 filter size, the last layer is the size 5x5 and the sampling size is increased by 2 to extract features.

도 4는 본 발명의 다른 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법의 흐름도를 도시한다.4 is a flowchart illustrating a method for detecting a liver tumor based on deep learning in a CT scan image according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법은 먼저 피검자의 복부 CT 스캔 영상을 수신한다(S402). 이어서, S402 단계에서 수신한 복수 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성한다(S404). 이어서, HU 필터링으로 S404 단계에서 생성된 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거한다(S406). 이어서, S406 단계에서 HU 필터링된 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 간 영역의 슬라이드 이미지에 대하여 정규화와 표준화를 수행한다(S408). 이어서, S408 단계에서 정규화와 표준화를 수행한 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환한다(S410). 이어서 S410 단계에서 변환된 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별한다.A liver tumor detection method based on deep learning in a CT scan image according to another embodiment of the present invention first receives an abdominal CT scan image of a subject (S402). Next, a slide image of the liver region is generated using the HU scale from the multiple CT scan images received in step S402 (S404). Next, unnecessary values for the liver region are removed from the slide image of the liver region generated in step S404 by HU filtering (S406). Next, in step S406, normalization and normalization are performed on the slide image of the liver region by contrasting the gamma rays adjusted between the HU-filtered slide image of the liver region and the dataset (S408). Next, the slide image of the liver region, which has been normalized and standardized in step S408, is converted into a 2D numpy array matrix (S410). Then, the 2D Numpy array matrix converted in step S410 is input to the multi-filter U-net network to identify liver and liver tumors.

또한, S408 단계는 위 수학식 1에 따라 표준화를 수행하는 것이고, 위 수학식 2에 따라 정규화를 수행하는 것일 수 있다.In addition, step S408 may be to perform normalization according to Equation 1 above, and to perform normalization according to Equation 2 above.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치
102 영상 수신부
104 슬라이드 이미지 생성부
106 HU 필터링부
108 표준화 및 정규화 수행부
110 매트릭스 변환부
112 간 종양 식별부Liver tumor detection device based on deep learning from 100 CT scan images
102 video receiver
104 slide image generator
106 HU filtering unit
108 Standardization and Normalization Implementation Unit
110 Matrix Transformer
112 liver tumor identification

Claims (4)

피검자의 복부 CT 스캔 영상을 수신하는 단계;
상기 복부 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성하는 단계;
HU 필터링으로 상기 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거하는 단계;
상기 HU 필터링된 상기 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 상기 간 영역의 슬라이드 이미지에 대하여 표준화와 정규화를 수행하는 단계;
상기 표준화와 정규화를 수행한 상기 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환하는 단계; 및
상기 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별하는 단계를 포함하고,
상기 표준화와 정규화를 수행하는 단계는 다음 수학식 1에 따라 표준화를 수행하는 것이고, 다음 수학식 2에 따라 정규화를 수행하는 것을 특징으로 하는 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법.
수학식1
Figure 112022038452998-pat00024

수학식2
Figure 112022038452998-pat00025
receiving a CT scan image of the subject's abdomen;
generating a slide image of the liver region using the HU scale from the abdominal CT scan image;
removing unnecessary values for the liver region from the slide image of the liver region by HU filtering;
performing standardization and normalization on the slide image of the liver region by contrasting the HU-filtered slide image of the liver region with the adjusted gamma rays between the dataset;
converting the slide image of the liver region on which the normalization and normalization has been performed into a 2D numpy array matrix; and
inputting the 2D Numpy array matrix into a multi-filter U-net network to identify liver and liver tumors,
The step of performing the standardization and normalization is to perform the standardization according to the following Equation 1, and a method for detecting a liver tumor based on deep learning in a CT scan image, characterized in that performing the normalization according to the following Equation 2.
Equation 1
Figure 112022038452998-pat00024

Equation 2
Figure 112022038452998-pat00025
 삭제delete 피검자의 복부 CT 스캔 영상을 수신하는 영상 수신부;
상기 복부 CT 스캔 영상으로부터 HU 스케일을 이용하여 간 영역의 슬라이드 이미지를 생성하는 슬라이드 이미지 생성부;
HU 필터링으로 상기 간 영역의 슬라이드 이미지로부터 간 영역에 대한 불필요한 값을 제거하는 HU 필터링부;
상기 HU 필터링된 상기 간 영역의 슬라이드 이미지와 데이터셋 간에 조정된 감마선을 대비하여 상기 간 영역의 슬라이드 이미지에 대하여 표준화와 정규화를 수행하는 표준화 및 정규화 수행부;
상기 표준화와 정규화를 수행한 상기 간 영역의 슬라이드 이미지를 2D Numpy array 매트릭스로 변환하는 매트릭스 변환부; 및
상기 2D Numpy array 매트릭스를 다중 필터 U-net 네트워크에 입력하여 간과 간 종양을 식별하는 간 종양 식별부를 포함하고,
상기 표준화 및 정규화 수행부는 다음 수학식 1에 따라 표준화를 수행하는 것이고, 다음 수학식 2에 따라 정규화를 수행하는 것을 특징으로 하는 CT 스캔 영상에서 딥러닝에 기반한 간 종양 검출 장치.
수학식1
Figure 112022038452998-pat00026

수학식2
Figure 112022038452998-pat00027

an image receiving unit for receiving a CT scan image of the subject's abdomen;
a slide image generator for generating a slide image of the liver region using the HU scale from the abdominal CT scan image;
a HU filtering unit for removing unnecessary values for the liver region from the slide image of the liver region by HU filtering;
a standardization and normalization performing unit for normalizing and normalizing the slide image of the liver region in comparison with the HU-filtered slide image of the liver region and the adjusted gamma rays between the dataset;
a matrix conversion unit converting the slide image of the liver region, which has been standardized and normalized, into a 2D numpy array matrix; and
A liver tumor identification unit for identifying liver and liver tumors by inputting the 2D Numpy array matrix into a multi-filter U-net network,
The standardization and normalization performing unit performs standardization according to the following Equation 1, and performs the normalization according to the following Equation 2 A liver tumor detection apparatus based on deep learning in a CT scan image.
Equation 1
Figure 112022038452998-pat00026

Equation 2
Figure 112022038452998-pat00027

 삭제delete
KR1020200094356A 2020-07-29 2020-07-29 Deep learning based liver tumor detection method and device in CT scan image KR102436351B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200094356A KR102436351B1 (en) 2020-07-29 2020-07-29 Deep learning based liver tumor detection method and device in CT scan image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094356A KR102436351B1 (en) 2020-07-29 2020-07-29 Deep learning based liver tumor detection method and device in CT scan image

Publications (2)

Publication Number Publication Date
KR20220014932A KR20220014932A (en) 2022-02-08
KR102436351B1 true KR102436351B1 (en) 2022-08-26

Family

ID=80251937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094356A KR102436351B1 (en) 2020-07-29 2020-07-29 Deep learning based liver tumor detection method and device in CT scan image

Country Status (1)

Country Link
KR (1) KR102436351B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046162A (en) 2002-06-12 2004-02-12 Eastman Kodak Co Image photographing method and reader for forming output image by using photosensitive member already subjected to photographic processing
CN110570432A (en) * 2019-08-23 2019-12-13 北京工业大学 CT image liver tumor segmentation method based on deep learning
JP2020075104A (en) 2018-10-08 2020-05-21 ゼネラル・エレクトリック・カンパニイ Ultrasound cardiac doppler study automation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102058348B1 (en) 2017-11-21 2019-12-24 서울여자대학교 산학협력단 Apparatus and method for classification of angiomyolipoma wihtout visible fat and clear cell renal cell carcinoma in ct images using deep learning and sahpe features

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046162A (en) 2002-06-12 2004-02-12 Eastman Kodak Co Image photographing method and reader for forming output image by using photosensitive member already subjected to photographic processing
JP2020075104A (en) 2018-10-08 2020-05-21 ゼネラル・エレクトリック・カンパニイ Ultrasound cardiac doppler study automation
CN110570432A (en) * 2019-08-23 2019-12-13 北京工业大学 CT image liver tumor segmentation method based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
웹페이지-note.nkmk.me. Image processing with Python, NumPy, [online], 2019년 5월, [2022년 1월 9일 검색], 인터넷: <URL: https://note.nkmk.me/en/python-numpy-image-processing/>*

Also Published As

Publication number Publication date
KR20220014932A (en) 2022-02-08

Similar Documents

Publication Publication Date Title
Shaziya et al. Automatic lung segmentation on thoracic CT scans using U-net convolutional network
CN112150428B (en) Medical image segmentation method based on deep learning
Miah et al. Detection of lung cancer from CT image using image processing and neural network
JP3947109B2 (en) Computer-based image analysis
CN110678903B (en) System and method for analysis of ectopic ossification in 3D images
Simaiya et al. MRI brain tumour detection & image segmentation by hybrid hierarchical K-means clustering with FCM based machine learning model
US20230005140A1 (en) Automated detection of tumors based on image processing
Apiparakoon et al. MaligNet: semisupervised learning for bone lesion instance segmentation using bone scintigraphy
US20230251199A1 (en) Identifying auto-fluorescent artifacts in a multiplexed immunofluorescent image
Ramkumar et al. Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images
Rahman et al. Mri brain tumor classification using deep convolutional neural network
KR102436351B1 (en) Deep learning based liver tumor detection method and device in CT scan image
Rao et al. Early detection of lung cancer using machine learning technique
Karargyros et al. Saliency U-Net: A regional saliency map-driven hybrid deep learning network for anomaly segmentation
Salwe et al. Brain tumor pixels detection using adaptive wavelet based histogram thresholding and fine windowing
Susomboon et al. Automatic single-organ segmentation in computed tomography images
Adegoke et al. Overview of medical image segmentation
Armstrong et al. Brain tumor image segmentation using Deep learning
Sreelekshmi et al. A Review on Multimodal Medical Image Fusion
Rashmi et al. Analysis of CT DICOM image segmentation for abnormality detection
Saxena et al. Utilizing deep learning techniques to diagnose nodules in lung computed tomography (ct) scan images
Gupta et al. Lungs Disease Classification using VGG-16 architecture with PCA
Bhojane et al. Lung Tomography Using Convolutional Neural Networks
Nasim et al. Review on multimodality of different medical image fusion techniques
Uthra Devi et al. Convolutional neural network based brain tumor classification using robust background saliency detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant