KR20190084426A - Apparatus and method for lesion screening - Google Patents
Apparatus and method for lesion screening Download PDFInfo
- Publication number
- KR20190084426A KR20190084426A KR1020180002177A KR20180002177A KR20190084426A KR 20190084426 A KR20190084426 A KR 20190084426A KR 1020180002177 A KR1020180002177 A KR 1020180002177A KR 20180002177 A KR20180002177 A KR 20180002177A KR 20190084426 A KR20190084426 A KR 20190084426A
- Authority
- KR
- South Korea
- Prior art keywords
- feature map
- patch
- zoom
- lesion
- dimensional
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 병변 스크리닝 장치 및 방법에 관한 것이다.The present invention relates to a lesion screening apparatus and method.
폐암은 전세계적으로 높은 사망률을 보이는 질병으로, 흉부CT(computed tomography) 영상의 스크리닝을 통한 조기 검출이 생존률을 효과적으로 높일 수 있다. 그래서, 종래의 자동 폐결절 검출 시스템은 도 1에 도시된 바와 같이, 흉부 CT 영상을 이용하여 폐결절의 후보군을 검출하고, 후보군의 위양성을 분류한다. 이러한, 종래의 자동 폐결절 검출 시스템은 CT 영상의 스크리닝을 보조하기 위한 임상 의사결정 보조 시스템(Clinical Decision Support System)으로서, 기존 방사선의가 육안으로 검출하기 힘든 폐결절을 검출하여 스크리닝의 효율을 높일 수 있다.Lung cancer is a worldwide disease with a high mortality rate and early detection by screening of computed tomography (CT) images can effectively increase the survival rate. Therefore, the conventional automatic pulmonary nodule detection system detects a candidate group of pulmonary nodules using a chest CT image as shown in FIG. 1, and classifies the false positives of the candidate group. Such a conventional automatic pulmonary nodule detection system is a clinical decision support system for assisting screening of CT images and can improve the efficiency of screening by detecting pulmonary nodules which are difficult to detect with the naked eye of existing radiation .
그러나, 흉부 CT 스캔을 통해 관찰되는 폐결절은 그 복잡한 형태와 다양한 유사 기관으로 인해 높은 위양성 결절 검출율을 보인다. 또한, 폐결절 검출을 위해 영상 처리 방법과 기계학습 방법을 통해 폐결절을 자동으로 검출 하지만, 복잡한 단계를 통해 처리함으로 검출 속도가 느리다.However, pulmonary nodules observed through chest CT scan show a high false positive nodule detection rate due to its complex shape and various similar organs. In addition, the pulmonary nodule is automatically detected through the image processing method and the machine learning method for pulmonary nodule detection, but the detection speed is slow by processing through complicated steps.
한편, 종래의 폐결절 검출 시스템은 위양성을 낮추기 위하여 다양한 방법으로 폐결절을 관찰하여 특징을 추출하고, 그 특징을 통합하는 방법을 사용하며, 물체를 실시간으로 검출하기 위하여 딥러닝을 통한 인공신경망의 프레임워크가 제안된 바 있다.Meanwhile, the conventional pulmonary nodule detection system uses a method of extracting features and observing pulmonary nodules by various methods to reduce false positives and integrating the features. In order to detect an object in real time, a framework of artificial neural network Has been proposed.
하지만, 기존의 인공신경망은 물체의 검출을 위해 위치 정보 추출과 해당 클래스 정보 추출을 다른 네트워크로 처리하기 때문에 시간이 걸렸다.However, the conventional artificial neural network takes time because it extracts the position information and extracts the class information from the other network in order to detect the object.
따라서, 위양성 결절 검출율을 낮추면서도, 실시간에 가까운(real-time-like) 속도로 정확히 검출하도록 폐결절 검출 시스템의 성능 향상이 요구된다.Therefore, it is required to improve the performance of the lung nodule detection system so as to accurately detect at a real-time-like speed while reducing the false-positive nodule detection rate.
본 발명은 콘볼루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 3차원 단층 영상으로부터 병변을 실시간으로 정확히 검출하는 병변 스크리닝 장치 및 방법을 제공하기 위한 것이다.The present invention provides a lesion screening apparatus and method for accurately detecting a lesion in real time from a three-dimensional tomographic image through deep learning using a convolutional neural network (CNN).
본 발명의 일 측면에 따르면, 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법이 개시된다.According to one aspect of the present invention, a lesion screening method performed by a lesion screening apparatus is disclosed.
본 발명의 실시예에 따른 병변 스크리닝 방법은, 3차원 단층 영상을 입력받는 단계, 상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계, 상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계, 상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계, 콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계, 상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계 및 상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함한다.A method for screening a lesion according to an embodiment of the present invention includes receiving a three-dimensional tomographic image, extracting a candidate lesion area from the inputted three-dimensional tomographic image with a three-dimensional patch, Extracting a plurality of first three-dimensional multi-view patches from the plurality of first three-dimensional multi-view patches, adjusting the sizes of the plurality of extracted first three-dimensional multi-view patches to the same scale, using a convolutional neural network (CNN) In-stream feature map and a zoom-out stream feature map by zoom-in and zoom-out the adjusted plurality of second three- extracting a feature map from the feature map, integrating the calculated zoom in stream feature map and zoom out stream feature map, and classifying the candidate lesion area using the integrated feature map to provide classification result information And a system.
상기 후보 병변 영역을 3차원 패치로 추출하는 단계는, 상기 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하는 단계, 상기 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득하는 단계, 상기 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부를 확인하여 병변이 존재하는 격자를 검출하는 단계 및 상기 검출된 격자를 후보 병변 영역으로 추출하는 단계를 포함한다.The step of extracting the candidate lesion area with a 3D patch may include dividing the inputted 3D tomographic image into a grid having a predetermined size, extracting a feature map indicating a position of a lesion from each of the divided grid images Detecting the presence of a lesion on a lattice basis using the acquired feature map to detect a lattice in which the lesion is present, and extracting the detected lattice as a candidate lesion region.
상기 3차원 패치로 추출되는 상기 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 상기 생성된 모델은 딥러닝 인공신경망으로 학습된다.The candidate lesion region extracted by the 3D patch is generated as a model using a regression algorithm, and the generated model is learned by a deep learning artificial neural network.
상기 회귀 알고리즘은, 상기 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)의 최적값을 산출하는 손실함수로 나타내어진다.The regression algorithm is represented by a loss function that calculates an optimum value of coordinate information (x, y, z), width, height, and depth of the 3D patch.
상기 복수의 제1 3차원 다중 시야 패치를 추출하는 단계는, 상기 3차원 패치의 중심을 기준으로, 상기 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출한다.The extracting of the plurality of first three-dimensional multi-view patches extracts a three-dimensional multi-view patch that is constantly increased by a predetermined size from the center of the three-dimensional patch, based on the center of the three-dimensional patch.
상기 복수의 제1 3차원 다중 시야 패치는 상기 3차원 패치 및 3차원 패치보다 더 넓은 시야를 가지는 3차원 패치들을 포함한다.The plurality of first three-dimensional multi-view patches include three-dimensional patches having a wider field of view than the three-dimensional patches and the three-dimensional patches.
상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계는, 상기 복수의 제1 3차원 다중 시야 패치의 크기를 상기 3차원 패치의 크기로 일치시킨다.Wherein adjusting the sizes of the extracted plurality of first three-dimensional multiple field-of-view patches to the same scale matches the sizes of the plurality of first three-dimensional multi-field patches to the size of the three-dimensional patch.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation)하여 상기 줌인 스트림 특징맵을 산출하는 단계 및 상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 상기 줌아웃 스트림 특징맵을 산출하는 단계를 포함한다.Wherein the step of calculating the zoom in stream feature map and the zoom out stream feature map comprises sequentially calculating the coordinates of each of the patches and each of the patches from the three- Calculating a zoom in-stream feature map by concatenating the feature maps obtained from the patches; and calculating the zoom in-stream feature map from the three-dimensional patches of the narrowest field of view to the three- And sequentially calculating the zoom-out stream feature map by combining the feature maps obtained from each patch and each patch.
상기 복수의 제2 3차원 다중 시야 패치는, 가장 넓은 시야의 제1 패치, 중간 시야의 제2 패치 및 가장 좁은 시야의 제3 패치를 포함하며, 상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 제1 패치로부터 제1 특징맵이 획득되고, 상기 제1 특징맵과 상기 제2 패치를 결합연산하여 제2 특징맵이 산출되고, 상기 제2 특징맵과 상기 제3 패치를 결합연산하여 상기 줌인 스트림 특징맵이 산출되는 단계를 포함한다.Wherein the plurality of second three-dimensional multiple field of view patches comprises a first patch of widest field of view, a second patch of middle field of view, and a third patch of narrowest field of view, wherein the zoom in stream feature map and the zoom out stream feature map are calculated Wherein the first feature map is obtained from the first patch, the second feature map is calculated by performing a combination operation of the first feature map and the second patch, and the second feature map and the third patch And a step of calculating the zoom in stream feature map by performing a combining operation.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 제3 패치로부터 제3 특징맵이 획득되고, 상기 제3 특징맵과 상기 제2 패치를 결합연산하여 제4 특징맵이 산출되고, 상기 제4 특징맵과 상기 제1 패치를 결합연산하여 상기 줌아웃 스트림 특징맵이 산출되는 단계를 포함한다.The step of calculating the zoom in stream feature map and the zoom out stream feature map may include obtaining a third feature map from the third patch and combining the third feature map and the second patch to calculate a fourth feature map And combining the fourth feature map and the first patch to calculate the zoomout stream feature map.
상기 분류 결과 정보는 상기 후보 병변 영역에 대한 병변 유무 정보 및 병변 위치 정보를 포함하되, 상기 병변 유무 정보는 병변인 경우의 병변인 확률값 또는 병변이 아닌 경우의 병변이 아닌 확률값을 포함하고, 상기 병변 위치 정보는 상기 후보 병변 영역을 나타내는 3차원 패치의 좌표정보, 너비, 높이 및 깊이를 포함한다.Wherein the classification result information includes lesion presence information and lesion location information for the candidate lesion area, wherein the lesion presence information includes a probability value that is a lesion in the case of a lesion or a probability value that is not a lesion in a case where the lesion is not a lesion, The position information includes coordinate information, width, height, and depth of the three-dimensional patch indicating the candidate lesion area.
본 발명의 다른 측면에 따르면, 병변 스크리닝 장치가 개시된다.According to another aspect of the present invention, a lesion screening apparatus is disclosed.
본 발명의 실시예에 따른 병변 스크리닝 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 3차원 단층 영상을 입력받는 단계, 상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계, 상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계, 상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계, 콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계, 상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계 및 상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법을 수행한다.A lesion screening apparatus according to an embodiment of the present invention includes a memory for storing an instruction and a processor for executing the instruction, wherein the instruction comprises: receiving a three-dimensional tomographic image; Extracting a plurality of first three-dimensional multi-view patches based on the three-dimensional patches, extracting a plurality of first three-dimensional multi-field patches from the extracted three- Adjusting the same scale, zoom-in and zoom-out the adjusted plurality of second three-dimensional multi-view patches using a convolutional neural network (CNN) The method comprising the steps of: calculating a zoom-in stream feature map and a zoom-out stream feature map; summing the calculated zoom-in stream feature map and zoom- And it performs a lesion screening method comprises the steps of providing a classification information classifies the candidate lesion region using the unified feature map.
본 발명의 실시예에 따른 병변 스크리닝 장치 및 방법은, 콘볼루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 3차원 단층 영상으로부터 병변을 실시간으로 정확히 검출함으로써, 신뢰도가 높은 검출 결과를 의사에게 제공하여 의사의 최종 진단에 도움을 줄 수 있다.The apparatus and method for lesion screening according to an embodiment of the present invention accurately detect lesions in real time from a three-dimensional tomographic image through deep learning using a convolutional neural network (CNN) The result of the detection can be provided to a doctor, which can help the doctor in the final diagnosis.
도 1은 폐결절 분류 영상의 예를 나타낸 도면.
도 2는 본 발명의 실시예에 따른 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법을 나타낸 흐름도.
도 3 내지 도 7은 도 2의 병변 스크리닝 방법을 설명하기 위한 도면.
도 8은 본 발명의 실시예에 따른 병변 스크리닝 장치의 구성을 개략적으로 예시한 도면.1 shows an example of a pulmonary nodule classification image.
FIG. 2 is a flowchart illustrating a lesion screening method performed by a lesion screening apparatus according to an embodiment of the present invention. FIG.
FIGS. 3 to 7 are views for explaining a lesion screening method of FIG. 2;
FIG. 8 is a view schematically illustrating a configuration of a lesion screening apparatus according to an embodiment of the present invention; FIG.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 실시예에 따른 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법을 나타낸 흐름도이고, 도 3 내지 도 7은 도 2의 병변 스크리닝 방법을 설명하기 위한 도면이다. 이하, 도 2를 중심으로 본 발명의 실시예에 따른 병변 스크리닝 방법에 대하여 설명하되, 도 3 내지 도 7을 참조하기로 한다.FIG. 2 is a flowchart illustrating a lesion screening method performed by the lesion screening apparatus according to an embodiment of the present invention, and FIGS. 3 to 7 are views for explaining a lesion screening method of FIG. Hereinafter, a lesion screening method according to an embodiment of the present invention will be described with reference to FIG. 2, with reference to FIGS. 3 to 7. FIG.
S210 단계에서, 병변 스크리닝 장치는 3차원 단층 영상을 입력받는다. 예를 들어, 3차원 단층 영상은 환자의 흉부를 CT(computed tomography) 스캔하여 획득한 3차원 흉부 단층 영상일 수 있으며, 3차원 흉부 단층 영상은 병변 영역을 포함할 수 있다.In step S210, the lesion screening apparatus receives a three-dimensional tomographic image. For example, a 3D tomographic image may be a 3D thoracic tomographic image obtained by CT scan (computed tomography) of a patient's chest, and a 3D thoracic tomographic image may include a lesion area.
S220 단계에서, 병변 스크리닝 장치는 입력된 3차원 단층 영상에서 후보 병변 영역을 추출한다.In step S220, the lesion screening apparatus extracts a candidate lesion region from the input three-dimensional tomographic image.
즉, 병변 스크리닝 장치는 도 2에 도시된 바와 같이 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하고, 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득할 수 있다. 그리고, 병변 스크리닝 장치는 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부 및/또는 위치를 확인하여 병변이 존재하는 격자를 검출하고, 검출된 격자를 후보 병변 영역으로 추출할 수 있다. 이때, 후보 병변 영역은 3차원 패치(patch)로 추출될 수 있다.That is, as shown in FIG. 2, the lesion screening apparatus divides the inputted three-dimensional tomographic image into grids having a preset size, and obtains a feature map indicating the position of the lesion from each of the divided grid images . In addition, the lesion screening apparatus can detect the presence of a lesion and detect the presence or absence of a lesion on a lattice basis using the obtained feature map, and extract the detected lattice as a candidate lesion region. At this time, the candidate lesion region can be extracted by a three-dimensional patch.
3차원 패치로 추출되는 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 생성된 모델은 딥러닝 인공신경망으로 학습될 수 있다.The candidate lesion region extracted by the 3D patch is generated as a model using a regression algorithm, and the generated model can be learned by a deep learning artificial neural network.
회귀 알고리즘은, 후보 병변 영역을 나타내는 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)(w, h, d)의 최적값을 산출하는 손실함수로 나타내어질 수 있다.The regression algorithm calculates optimal values of coordinate information (x, y, z), width, height and depth (w, h, d) of the 3D patch representing the candidate lesion area Can be expressed as a loss function.
예를 들어, 3차원 흉부 단층 영상에서 후보 폐결절 영역을 추출하는 경우, 손실함수는 하기 수학식과 같이 나타낼 수 있다.For example, when a candidate lung nodule region is extracted from a three-dimensional chest tomographic image, the loss function can be expressed by the following equation.
여기서, G는 3차원 단층 영상을 G*G*G의 3차원 격자로 분할한 하나의 격자이고, λcoord는 좌표 데이터에 대한 가중치값이고, λLung는 폐영역에 대한 가중치값이고, 1 i nd는 해당 격자의 결절 유무를 표현하는 벡터이고, 1 i l는 해당 격자의 폐영역 유무를 표현하는 벡터이고, pi(c)는 해당 클래스의 예측 확률값이다.Here, G is a grid of dividing a three-dimensional tomographic image in a three-dimensional lattice of G * G * G, λ coord are weighting values for the coordinate data, λ Lung is the weight value of the closed region, 1 i nd is a vector representing the presence or absence of a nodule in the lattice, 1 i 1 is a vector representing the presence or absence of a closed region of the lattice, and p i (c) is a predicted probability value of the class.
S230 단계에서, 병변 스크리닝 장치는 추출된 후보 병변 영역을 기준으로 복수의 3차원 다중 시야 패치(patch)를 추출한다.In step S230, the lesion screening apparatus extracts a plurality of three-dimensional multi-view patches based on the extracted candidate lesion area.
즉, 병변 스크리닝 장치는, 후보 병변 영역을 나타내는 3차원 패치의 중심을 기준으로, 후보 병변 영역을 나타내는 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출한다. 그래서, 복수의 3차원 다중 시야 패치는 모두 후보 병변 영역을 포함하며, 후보 병변 영역을 나타내는 3차원 패치 및 3차원 패치보다 더 넓의 시야를 가지는 3차원 패치들을 포함하여 구성될 수 있다.That is, the lesion screening apparatus extracts a three-dimensional multi-view patch that is constantly increased in size by a predetermined size from the center of the three-dimensional patch representing the candidate lesion area, the size of the three-dimensional patch representing the candidate lesion area. Thus, a plurality of three-dimensional multiple field-of-view patches may include a candidate lesion area, and may include a three-dimensional patch indicating a candidate lesion area and three-dimensional patches having a wider field of view than a three-dimensional patch.
예를 들어, 도 4를 참조하면, 후보 병변 영역을 나타내는 3차원 패치가 20*20*6의 크기로 추출된 경우, 복수의 3차원 다중 시야 패치는 20*20*6 크기의 제1 3차원 패치(1), 30*30*10 크기의 제2 3차원 패치(2) 및 40*40*26 크기의 제3 3차원 패치(3)로 추출될 수 있다.For example, referring to FIG. 4, when a three-dimensional patch representing a candidate lesion region is extracted with a size of 20 * 20 * 6, a plurality of three-
이와 같은 복수의 3차원 다중 시야 패치는 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치로 정렬되거나, 그 반대로 정렬될 수 있다.Such a plurality of three-dimensional multiple field-of-view patches can be aligned from the widest field of
S240 단계에서, 병변 스크리닝 장치는 추출된 복수의 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정한다.In step S240, the lesion screening apparatus adjusts the sizes of the extracted three-dimensional multiple field of view patches to the same scale.
즉, 병변 스크리닝 장치는 추출된 복수의 3차원 다중 시야 패치의 크기를 S220 단계에서 추출된 후보 병변 영역을 나타내는 3차원 패치의 크기로 일치시킨다. 이는 추출된 후보 병변 영역을 나타내는 최적의 3차원 패치의 스케일을 조정하지 않음으로써, 스케일 조정 중에 발생할 수 있는 정보 손실을 방지할 수 있다.That is, the lesion screening apparatus matches the sizes of the extracted three-dimensional multi-field patches with the sizes of the three-dimensional patches representing the candidate lesion regions extracted in step S220. This does not adjust the scale of the optimal three-dimensional patch representing the extracted candidate lesion area, thereby preventing information loss that may occur during scale adjustment.
예를 들어, 도 4를 참조하면, 20*20*6 크기의 제1 3차원 패치(1)는 20*20*6 크기로 스케일 조정되고(S3 패치), 30*30*10 크기의 제2 3차원 패치(2)는 20*20*6 크기로 스케일 조정되고(S2 패치), 40*40*26 크기의 제3 3차원 패치(3)는 20*20*6 크기로 스케일 조정될 수 있다(S1 패치). 그래서, 스케일 조정되어 생성된 가장 넓은 시야, 중간 시야 및 가장 좁은 시야의 3차원 패치는 각각 S1 패치, S2 패치 및 S3 패치가 될 수 있다.For example, referring to FIG. 4, a first 3-dimensional patch 1 of 20 * 20 * 6 size is scaled to a size of 20 * 20 * 6 (S3 patch) The
S250 단계에서, 병변 스크리닝 장치는 콘볼루션 신경망을 이용하여, 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출한다.In step S250, the lesion screening apparatus zoom-in and zoom-out a plurality of three-dimensional multi-view patches adjusted to the same scale using a convolutional neural network to obtain a zoom-in feature map (zoom-in) stream feature map and a zoom-out stream feature map.
즉, 병변 스크리닝 장치는 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation: 
그리고, 병변 스크리닝 장치는 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 줌아웃 스트림 특징맵을 산출할 수 있다.The lesion screening apparatus combines the feature maps obtained from each patch and each patch sequentially from a 3D patch of the narrowest view to a 3D patch of the widest view among a plurality of 3D multi-view patches adjusted with the same scale And calculate a zoom out stream feature map.
예를 들어, 도 6은 줌인 스트림 특징맵 산출 방법을 나타낸 도면이다. 도 6을 참조하면, S1, S2 및 S3가 각각 가장 넓은 시야, 중간 시야 및 가장 좁은 시야의 3차원 패치라고 가정하면, S1 패치, S2 패치 및 S3 패치가 순차적으로 콘볼루션 신경망에 입력되어 F123 줌인 스트림 특징맵이 산출될 수 있다.For example, FIG. 6 is a diagram showing a method of calculating a zoom in stream feature map. Referring to FIG. 6, assuming that S 1 , S 2, and S 3 are three-dimensional patches of widest field, middle field, and narrowest field, respectively, the S 1 patch, S 2 patch, and S 3 patch are sequentially convolved The F 123 zoom in stream feature map can be calculated.
즉, S1 패치로부터 F1 특징맵이 획득되고, F1 특징맵과 S2 패치를 결합연산하여 F12 특징맵이 산출되고, F12 특징맵과 S3 패치를 결합연산하여 최종적으로 F123 줌인 스트림 특징맵이 산출될 수 있다.That is, the F 1 characteristic map obtained from the S 1 patch, F 1 characterized maps and combining the S 2 patch operation by F 12 feature map is calculated, F 12 feature map and S 3 and finally calculates coupled patches F 123 A zoom in stream feature map can be calculated.
한편, 줌아웃 스트림 특징맵의 경우, S3 패치, S2 패치 및 S1 패치가 순차적으로 콘볼루션 신경망에 입력되어, F123 줌인 스트림 특징맵 산출 방법과 동일하게 F321 줌아웃 스트림 특징맵이 산출될 수 있다.On the other hand, in the case of the zoom-out stream feature map, the S 3 patch, S 2 patch, and S 1 patch are sequentially input to the convolutional neural network, and the F 321 zoom-out stream feature map is calculated in the same manner as the F 123 zoom- .
이와 같은 F123 줌인 스트림 특징맵 및 F321 줌아웃 스트림 특징맵의 산출 방법은 하기 수학식과 같이 나타낼 수 있다.The F 123 zoom in stream feature map and the F 321 zoom out stream feature map calculation method can be expressed by the following mathematical expression.
이러한 F123 줌인 스트림 특징맵 및 F321 줌아웃 스트림 특징맵은 순차적으로 다른 시야를 가지는 패치 간에 병변 영역에 관한 문맥적 특징 정보를 포함한다. 즉, F123 줌인 스트림 특징맵은 병변 영역의 주변 영역에서 병변에 최적화된 스케일의 영역으로 시야를 집중하여 관찰할 때의 특징 정보를 포함한다. 반대로, F321 줌아웃 스트림 특징맵은 병변에 최적화된 스케일의 영역에서 주변 영역으로 시야를 확장해가며 관찰한 특징 정보를 포함한다.The F 123 zoom in stream feature map and the F 321 zoom out stream feature map sequentially contain contextual feature information about a lesion area between patches having different fields of view. That is, the F 123 zoom-in stream feature map includes feature information for observing the field of view concentrating on a region of scale optimized for lesions in the peripheral region of the lesion region. Conversely, the F321 zoomout stream feature map includes feature information that is observed while extending the field of view from the area of the scale optimized for the lesion to the surrounding area.
S260 단계에서, 병변 스크리닝 장치는 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합한다.In step S260, the lesion screening apparatus integrates the calculated zoom in stream feature map and zoom out stream feature map.
예를 들어, 줌인 스트림 특징맵과 줌아웃 스트림 특징맵은 도 6에 도시된 바와 같이, Element-wise summation 방식을 이용하여 통합될 수 있다. Element-wise summation 방식은 검출된 후보 병변 영역에 대한 위양성 검출을 감소시키는데 우수한 방식이다.For example, the zoom in stream feature map and the zoom out stream feature map may be integrated using the Element-wise summation scheme as shown in FIG. The element-wise summation method is an excellent method for reducing the detection of false positives for the detected candidate lesion area.
줌인 스트림 특징맵과 줌아웃 스트림 특징맵의 통합은, 서로 반대되는 스트림에서 추출된 보완적인 정보가 통합되어 검출 성능을 향상시킬 수 있으며, 다중 스트림의 정보를 통합함으로써, 하나의 시스템으로 처리가 가능하다.The integration of the zoom in stream feature map and the zoom out stream feature map can improve detection performance by integrating complementary information extracted from streams opposite to each other and can be processed by a single system by integrating information of multiple streams .
S270 단계에서, 병변 스크리닝 장치는 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공한다. 여기서, 분류 결과 정보는 각 후보 병변 영역에 대한 병변 유무 정보 및 위치 정보를 포함한다.In step S270, the lesion screening apparatus classifies the candidate lesion area using the integrated feature map, and provides classification result information. Here, the classification result information includes lesion presence information and position information for each candidate lesion area.
예를 들어, 도 7은 3차원 흉부 단층 영상에서 후보 폐결절 영역을 추출하는 경우의 각 후보 폐결절 영역에 대한 폐결절 유무 정보 및 위치 정보를 나타낸다. 도 7에 도시된 바와 같이, 폐결절 유무 정보는 폐결절인 경우의 폐결절인 확률값(P(ND): Probability of pulmonary nodule) 또는 폐결절이 아닌 경우의 폐결절이 아닌 확률값(P(NND): Probability of non-nodule)을 포함할 수 있다. 그리고, 폐결절 위치 정보는 후보 폐결절 영역을 나타내는 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)를 포함할 수 있다.For example, FIG. 7 shows pulmonary nodule presence information and position information for each candidate pulmonary nodule region in the case of extracting a candidate pulmonary nodule region from a 3D thoracic tomography image. 7, the presence / absence information of the pulmonary nodule is a probability value (P (ND): probability of non-pulmonary nodule in the case of pulmonary nodule) or a probability value (P (NND) nodule). The lung nodule location information may include coordinate information (x, y, z), width, height, and depth of the 3D patch representing the candidate lung nodule region.
이와 같은 본 발명의 실시예에 따른 병변 스크리닝 방법의 단계들 중에서, S210 내지 S240 단계는 병변 영역에 대한 후보군을 검출하는 단계가 되고, 나머지 S250 내지 S270 단계는 추출된 후보군에 대한 위양성을 감소시키는 단계가 될 수 있다.In steps S210 to S240 of the method for detecting a lesion according to an embodiment of the present invention, the candidate group for the lesion region is detected, and the remaining steps S250 to S270 are performed to reduce false positives for the extracted candidate group .
특히, 검출된 후보군에 대한 위양성을 감소시키는 S250 내지 S270 단계는 콘볼루션 신경망을 이용하여 수행될 수 있다.In particular, steps S250 through S270 for reducing the false positives for the detected candidate group may be performed using a convolutional neural network.
예를 들어, 본 발명의 실시예에 따른 콘볼루션 신경망은 콘볼루션 레이어, 최대 풀링(Max pooling) 레이어, 드랍아웃(Dropout) 레이어 및 완전 연결(Fully connected) 레이어를 포함할 수 있다. 줌인 스트림 특징맵 및 줌아웃 스트림 특징맵을 산출하는 S250 단계는 콘보루션 레이어를 이용하여 수행될 수 있고, 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 S260 단계는 최대 풀링 레이어를 이용하여 수행될 수 있으며, 최종적으로 후보 병변 영역을 분류하는 S270 단계는 드랍아웃 레이어 및 완전 연결 레이어를 이용하여 수행될 수 있다. 드랍아웃 레이어 및 완전 연결 레이어를 통해 병변 유무에 따라 각 후보 병변 영역이 분류될 수 있다.For example, the convolutional neural network according to an embodiment of the present invention may include a convolution layer, a Max pooling layer, a Dropout layer, and a Fully connected layer. The step S250 of calculating the zoom-in stream feature map and the zoom-out-stream feature map may be performed using the convolution layer, and step S260 of integrating the zoom-in stream feature map and the zoom-out stream feature map may be performed using the maximum pulling layer And finally, step S270 of classifying the candidate lesion area may be performed using a dropout layer and a fully connected layer. Each candidate lesion region can be classified according to the presence or absence of the lesion through the dropout layer and the complete connection layer.
따라서, 위양성을 감소시키는 단계는, 복수의 3차원 다중 시야 패치의 순차적인 줌인 및 줌아웃을 통하여 정보를 추출하고, 이를 통합함으로써, 검출된 후보 병변 영역에 대한 위양성을 감소시킬 수 있다. 그리고, 후보군을 검출하는 단계와 위양성을 감소시키는 단계는 하나의 시스템으로 구현될 수 있어 후보군 검출부터 위양성 감소까지 실시간에 가까운 속도로 수행될 수 있다.Accordingly, the step of reducing the false positives can reduce the false positives for the detected candidate lesion area by extracting information by sequentially zooming in and zooming out of a plurality of three-dimensional multiple field patches and integrating them. The step of detecting the candidate group and the step of decreasing the false positive can be implemented as one system, and the detection from the candidate group to the reduction of false positives can be performed at a near real time.
도 8은 본 발명의 실시예에 따른 병변 스크리닝 장치의 구성을 개략적으로 예시한 도면이다.FIG. 8 is a schematic view illustrating a configuration of a lesion screening apparatus according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 실시예에 따른 병변 스크리닝 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스(40)를 포함한다.Referring to FIG. 8, a lesion screening apparatus according to an embodiment of the present invention includes a
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.The
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.The
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 병변 스크리닝 방법을 수행하는 명령어들을 저장할 수 있다.For example, the
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.The
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.The
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.On the other hand, the components of the above-described embodiment can be easily grasped from a process viewpoint. That is, each component can be identified as a respective process. Further, the process of the above-described embodiment can be easily grasped from the viewpoint of the components of the apparatus.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.It will be apparent to those skilled in the art that various modifications, additions and substitutions are possible, without departing from the spirit and scope of the invention as defined by the appended claims. Should be regarded as belonging to the following claims.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부10: Processor
20: Memory
30:
40:
Claims (12)
3차원 단층 영상을 입력받는 단계;
상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계;
상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계;
상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계;
콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계;
상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계; 및
상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법.
A lesion screening method performed by a lesion screening apparatus,
Receiving a three-dimensional tomographic image;
Extracting a candidate lesion region from the inputted three-dimensional tomographic image with a three-dimensional patch;
Extracting a plurality of first three-dimensional multi-view patches based on the three-dimensional patches;
Adjusting a size of the extracted plurality of first three-dimensional multiple field-of-view patches to the same scale;
A method of zoom-in and zoom-out a plurality of adjusted second three-dimensional multi-view patches using a convolutional neural network (CNN) to generate a zoom-in stream calculating a feature map and a zoom-out stream feature map;
Integrating the calculated zoom in stream feature map and zoom out stream feature map; And
And classifying the candidate lesion region using the integrated feature map to provide classification result information.
상기 후보 병변 영역을 3차원 패치로 추출하는 단계는,
상기 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하는 단계;
상기 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득하는 단계;
상기 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부를 확인하여 병변이 존재하는 격자를 검출하는 단계; 및
상기 검출된 격자를 후보 병변 영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
The step of extracting the candidate lesion region with a three-
Dividing the input three-dimensional tomographic image into a grid having a predetermined size;
Obtaining a feature map indicating a position of a lesion from each of the divided grid images;
Detecting a presence of a lesion in a lattice unit by using the obtained feature map, and detecting a lattice in which a lesion is present; And
And extracting the detected lattice as a candidate lesion region.
상기 3차원 패치로 추출되는 상기 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 상기 생성된 모델은 딥러닝 인공신경망으로 학습되는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
Wherein the candidate lesion region extracted by the 3D patch is generated by a model using a regression algorithm, and the generated model is learned by a deep learning artificial neural network.
상기 회귀 알고리즘은, 상기 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)의 최적값을 산출하는 손실함수로 나타내어지는 것을 특징으로 하는 병변 스크리닝 방법.
The method of claim 3,
Wherein the regression algorithm is represented by a loss function that calculates an optimum value of coordinate information (x, y, z), width, height, and depth of the 3D patch. Screening method.
상기 복수의 제1 3차원 다중 시야 패치를 추출하는 단계는,
상기 3차원 패치의 중심을 기준으로, 상기 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출하는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
Wherein the step of extracting the plurality of first three-
Wherein the 3D multi-view patch is extracted from the center of the 3D patch, the 3D multi-view patch being increased in size by a predetermined size larger than the size of the 3D patch.
상기 복수의 제1 3차원 다중 시야 패치는 상기 3차원 패치 및 3차원 패치보다 더 넓의 시야를 가지는 3차원 패치들을 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
6. The method of claim 5,
Wherein the plurality of first three-dimensional multi-view patches include three-dimensional patches having a wider field of view than the three-dimensional patches and the three-dimensional patches.
상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계는,
상기 복수의 제1 3차원 다중 시야 패치의 크기를 상기 3차원 패치의 크기로 일치시키는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
Wherein the step of adjusting the sizes of the extracted plurality of first three-
Wherein the size of the plurality of first three-dimensional multiple field-of-view patches is matched with the size of the three-dimensional patches.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation)하여 상기 줌인 스트림 특징맵을 산출하는 단계; 및
상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 상기 줌아웃 스트림 특징맵을 산출하는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
Wherein the step of calculating the zoom in stream feature map and the zoom out stream feature map comprises:
A feature map obtained from each patch and each patch is sequentially concatenated from a 3D patch of the widest field of view to a 3D patch of the narrowest field among the plurality of second 3D multi-field patches, Calculating a feature map; And
A feature map obtained from each patch and each patch is sequentially computed from a 3D patch of the narrowest field of view to a 3D patch of the widest field among the plurality of second 3D field multiple field of view patches, And calculating the number of lesions.
상기 복수의 제2 3차원 다중 시야 패치는, 가장 넓은 시야의 제1 패치, 중간 시야의 제2 패치 및 가장 좁은 시야의 제3 패치를 포함하며,
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
상기 제1 패치로부터 제1 특징맵이 획득되고, 상기 제1 특징맵과 상기 제2 패치를 결합연산하여 제2 특징맵이 산출되고, 상기 제2 특징맵과 상기 제3 패치를 결합연산하여 상기 줌인 스트림 특징맵이 산출되는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
The plurality of second three-dimensional multiple field-of-view patches include a first patch of widest field of view, a second patch of middle field of view, and a third patch of narrowest field of view,
Wherein the step of calculating the zoom in stream feature map and the zoom out stream feature map comprises:
A first feature map is obtained from the first patch, a second feature map is calculated by combining the first feature map and the second patch, and the second feature map and the third patch are combined, Wherein the zoom in stream feature map is calculated.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
상기 제3 패치로부터 제3 특징맵이 획득되고, 상기 제3 특징맵과 상기 제2 패치를 결합연산하여 제4 특징맵이 산출되고, 상기 제4 특징맵과 상기 제1 패치를 결합연산하여 상기 줌아웃 스트림 특징맵이 산출되는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
10. The method of claim 9,
Wherein the step of calculating the zoom in stream feature map and the zoom out stream feature map comprises:
A third feature map is obtained from the third patch, a fourth feature map is calculated by combining the third feature map and the second patch, and the fourth feature map and the first patch are combined, And a zoom out stream feature map is calculated.
상기 분류 결과 정보는 상기 후보 병변 영역에 대한 병변 유무 정보 및 병변 위치 정보를 포함하되,
상기 병변 유무 정보는 병변인 경우의 병변인 확률값 또는 병변이 아닌 경우의 병변이 아닌 확률값을 포함하고,
상기 병변 위치 정보는 상기 후보 병변 영역을 나타내는 3차원 패치의 좌표정보, 너비, 높이 및 깊이를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
The method according to claim 1,
Wherein the classification result information includes lesion presence information and lesion location information for the candidate lesion area,
The lesion presence / absence information includes a probability value that is a lesion in the case of a lesion or a probability value that is not a lesion in the case of a lesion,
Wherein the lesion location information includes coordinate information, width, height, and depth of the 3D patch indicating the candidate lesion area.
명령어를 저장하는 메모리; 및
상기 명령어를 실행하는 프로세서를 포함하되,
상기 명령어는,
3차원 단층 영상을 입력받는 단계;
상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계;
상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계;
상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계;
콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계;
상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계; 및
상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법을 수행하는 것을 특징으로 하는 병변 스크리닝 장치.
In a lesion screening apparatus,
A memory for storing instructions; And
And a processor for executing the instruction,
Wherein the command comprises:
Receiving a three-dimensional tomographic image;
Extracting a candidate lesion region from the inputted three-dimensional tomographic image with a three-dimensional patch;
Extracting a plurality of first three-dimensional multi-view patches based on the three-dimensional patches;
Adjusting a size of the extracted plurality of first three-dimensional multiple field-of-view patches to the same scale;
A method of zoom-in and zoom-out a plurality of adjusted second three-dimensional multi-view patches using a convolutional neural network (CNN) to generate a zoom-in stream calculating a feature map and a zoom-out stream feature map;
Integrating the calculated zoom in stream feature map and zoom out stream feature map; And
And classifying the candidate lesion region using the integrated feature map to provide classification result information. ≪ Desc / Clms Page number 20 >
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180002177A KR102046240B1 (en) | 2018-01-08 | 2018-01-08 | Apparatus and method for lesion screening |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180002177A KR102046240B1 (en) | 2018-01-08 | 2018-01-08 | Apparatus and method for lesion screening |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190084426A true KR20190084426A (en) | 2019-07-17 |
| KR102046240B1 KR102046240B1 (en) | 2019-11-18 |
Family
ID=67512985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180002177A KR102046240B1 (en) | 2018-01-08 | 2018-01-08 | Apparatus and method for lesion screening |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102046240B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3806035A1 (en) * | 2019-10-09 | 2021-04-14 | Siemens Healthcare GmbH | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging |
| KR20220001985A (en) * | 2020-06-30 | 2022-01-06 | 연세대학교 산학협력단 | Apparatus and method for diagnosing local tumor progression using deep neural networks in diagnostic images |
| KR20220086128A (en) * | 2020-12-16 | 2022-06-23 | 가천대학교 산학협력단 | Apparatus and method for determining disease severity based on medical image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7020316B2 (en) | 2001-12-05 | 2006-03-28 | Siemens Corporate Research, Inc. | Vessel-feeding pulmonary nodule detection by volume projection analysis |
| KR20100010973A (en) * | 2008-07-24 | 2010-02-03 | 울산대학교 산학협력단 | Method for automatic classifier of lung diseases |
| KR101144964B1 (en) * | 2010-10-21 | 2012-05-11 | 전남대학교산학협력단 | System for Detection of Interstitial Lung Diseases and Method Therefor |
| KR20160038405A (en) * | 2014-09-30 | 2016-04-07 | 삼성전자주식회사 | Method and apparatus for image registration, and ultrasonic diagnosis apparatus |
-
2018
- 2018-01-08 KR KR1020180002177A patent/KR102046240B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7020316B2 (en) | 2001-12-05 | 2006-03-28 | Siemens Corporate Research, Inc. | Vessel-feeding pulmonary nodule detection by volume projection analysis |
| KR20100010973A (en) * | 2008-07-24 | 2010-02-03 | 울산대학교 산학협력단 | Method for automatic classifier of lung diseases |
| KR101144964B1 (en) * | 2010-10-21 | 2012-05-11 | 전남대학교산학협력단 | System for Detection of Interstitial Lung Diseases and Method Therefor |
| KR20160038405A (en) * | 2014-09-30 | 2016-04-07 | 삼성전자주식회사 | Method and apparatus for image registration, and ultrasonic diagnosis apparatus |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3806035A1 (en) * | 2019-10-09 | 2021-04-14 | Siemens Healthcare GmbH | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging |
| CN112712493A (en) * | 2019-10-09 | 2021-04-27 | 西门子医疗有限公司 | False positive detection using multi-parameter magnetic resonance imaging to reduce malignant lesions |
| US11308611B2 (en) | 2019-10-09 | 2022-04-19 | Siemens Healthcare Gmbh | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging |
| KR20220001985A (en) * | 2020-06-30 | 2022-01-06 | 연세대학교 산학협력단 | Apparatus and method for diagnosing local tumor progression using deep neural networks in diagnostic images |
| KR20220086128A (en) * | 2020-12-16 | 2022-06-23 | 가천대학교 산학협력단 | Apparatus and method for determining disease severity based on medical image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102046240B1 (en) | 2019-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-masni et al. | Detection and classification of the breast abnormalities in digital mammograms via regional convolutional neural network | |
| CN110232383B (en) | Focus image recognition method and focus image recognition system based on deep learning model | |
| WO2020133636A1 (en) | Method and system for intelligent envelope detection and warning in prostate surgery | |
| US10210612B2 (en) | Method and system for machine learning based estimation of anisotropic vessel orientation tensor | |
| Roy et al. | Classification of lung image and nodule detection using fuzzy inference system | |
| CN113728335A (en) | Method and system for classification and visualization of 3D images | |
| CN109492547B (en) | Nodule identification method and device and storage medium | |
| JP2007524488A (en) | System and method for toboggan-based object segmentation using divergent gradient field response in images | |
| Tang et al. | An end-to-end framework for integrated pulmonary nodule detection and false positive reduction | |
| Romero et al. | End-to-end discriminative deep network for liver lesion classification | |
| KR20220154100A (en) | Automated detection of tumors based on image processing | |
| KR20190084426A (en) | Apparatus and method for lesion screening | |
| JP2006006359A (en) | Image generator, image generator method, and its program | |
| JP2006325937A (en) | Image determination device, image determination method, and program therefor | |
| Zhao et al. | D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism | |
| Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
| Mei et al. | YOLO-lung: A practical detector based on imporved YOLOv4 for Pulmonary Nodule Detection | |
| CN109671055B (en) | Pulmonary nodule detection method and device | |
| Zhang et al. | An efficient spatial-temporal polyp detection framework for colonoscopy video | |
| Xu et al. | Mrdff: A deep forest based framework for ct whole heart segmentation | |
| CN117764917A (en) | Yolov 8-based lung nodule image detection method | |
| CN116777893B (en) | Segmentation and identification method based on characteristic nodules of breast ultrasound transverse and longitudinal sections | |
| CN117274985A (en) | Method and system for detecting tubercle bacillus real-time target based on deep learning | |
| Vasanthselvakumar et al. | Automatic detection and classification of chronic kidney diseases using CNN architecture | |
| Chen et al. | Pulmonary nodule segmentation in computed tomography with an encoder-decoder architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |