KR20210015972A - 병소 검출 방법, 장치, 기기 및 기억 매체 - Google Patents
병소 검출 방법, 장치, 기기 및 기억 매체 Download PDFInfo
- Publication number
- KR20210015972A KR20210015972A KR1020207038088A KR20207038088A KR20210015972A KR 20210015972 A KR20210015972 A KR 20210015972A KR 1020207038088 A KR1020207038088 A KR 1020207038088A KR 20207038088 A KR20207038088 A KR 20207038088A KR 20210015972 A KR20210015972 A KR 20210015972A
- Authority
- KR
- South Korea
- Prior art keywords
- feature map
- lesion
- neural network
- image
- features
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 254
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims description 146
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 73
- 238000005070 sampling Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000011478 gradient descent method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 206010028980 Neoplasm Diseases 0.000 abstract description 6
- 201000011510 cancer Diseases 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 4
- 241000187479 Mycobacterium tuberculosis Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000001717 pathogenic effect Effects 0.000 description 3
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 병소 검출 방법, 장치, 기기 및 기억 매체를 개시하는 것으로, 상기 방법은 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하는 것과, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성하는 것과, 상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하는 것과, 상기 제2 특징맵의 특징을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 및 상기 위치에 대응하는 신뢰도를 얻는 것을 포함하는 것이며, 본 발명을 채용하면 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있는 것이다.
Description
본 발명은 컴퓨터 기술 분야에 관한 것으로, 특히 병소 검출 방법, 장치, 기기 및 기억 매체에 관한 것이다.
컴퓨터 지원 진단(Computer aided diagosis, CAD)이란, 영상학적, 의료 이미지 해석 기술 및 다른 가능한 생리학적, 생화학적 등의 수단을, 컴퓨터에 의한 해석 계산과 조합함으로써, 영상에서 병소를 자동적으로 발견하는 것을 말한다. 컴퓨터 지원 진단에 의해 진단의 정확도 향상, 진단 누락의 저감 및 의사의 작업 효율 향상 등의 방면에서 적극적인 촉진 작용을 매우 크게 달성하는 것은 실천에 의해 증명되고 있다. 여기서, 병소란, 병원성 인자의 영향으로 병변이 있는 조직 또는 기관의 부위를 말하고, 병변이 있는 생체의 부분이다. 예를 들면, 인체의 폐의 어느 부분이 결핵균에 의해 파괴되면, 이 부분은 폐결핵증의 병소가 된다.
최근, 컴퓨터 비전 및 심층 학습 기술의 급속한 발전에 따라, CT 이미지에 기초하는 병소 검출 방법은 점점 주목을 받고 있다.
본 발명은 병소 검출 방법, 장치, 기기 및 기억 매체를 제공하여, 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있도록 하는 것이다.
제1 방면에서, 본 발명은 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하는 것과, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, 상기 X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성하는 것과, 상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, 상기 X축 차원 및 상기 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하는 것과, 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 및 상기 위치에 대응하는 신뢰도를 얻는 것을 포함하는 병소 검출 방법을 제공한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 복수의 샘플 절편을 포함하는 제1 이미지를 취득하는 것은, 취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성하는 것을 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은, 제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여 제3 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록(residual module)에 의해 상기 제3 특징맵을 다운 샘플링하여 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과, 상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고, 상기 제3 소정 특징맵 및 상기 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은, 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제1 이미지를 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제1 이미지와 동일한 해상도의 상기 제1 소정 특징맵을 생성하는 것과, 상기 제1 이미지와 상기 제1 소정 특징맵에서 상기 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고, 상기 제1 소정 특징맵은 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은, 제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제3 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 상기 제3 특징맵보다 해상도가 낮은 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제4 특징맵을 다운 샘플링하여, 상기 제4 특징맵보다 해상도가 낮은 제5 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제5 특징맵에서 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 상기 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과, 상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제5 특징맵과 상기 제5 소정 특징맵을 융합하여 상기 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고, 상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 뉴럴 네트워크는 합성곱층 및 상기 합성곱층에 캐스케이드(cascade) 접속되는 잔차 블록을 포함하고, 상기 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 상기 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크이다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 잔차 블록은 합성곱층, 배치 정규화층, ReLU 활성화 함수 및 최대 풀링층(pooling layer)을 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여 제2 특징맵을 생성하는 것은, 상기 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 상기 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 상기 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 상기 제2 특징맵으로 하는 것을 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제2 특징맵을 검출하는 것은, 제1 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서 각 병소의 위치 좌표를 얻는 것과, 제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는 것을 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하고, 상기 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함한다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제1 뉴럴 네트워크에 입력하는 것과; 구배 강하법을 사용하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크, 상기 DenseASPP 모듈, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하는 것을 추가로 포함하고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력된다.
몇 가지 가능한 실시예에서는 제1 방면에 있어서, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제1 뉴럴 네트워크에 입력하는 것과, 구배 강하법을 사용하여 상기 제2 뉴럴 네트워크, 상기 DenseASPP 모듈, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하는 것을 추가로 포함하고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력된다.
제2 방면에서, 본 발명은, 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하기 위한 취득 유닛과, 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, 상기 X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성하기 위한 제1 생성 유닛과, 상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, 상기 X축 차원 및 상기 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하기 위한 제2 생성 유닛과, 상기 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소의 위치 및 상기 위치에 대응하는 신뢰도를 얻기 위한 검출 유닛을 포함하는 병소 검출 장치를 제공한다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 취득 유닛은 구체적으로, 취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제1 생성 유닛은 구체적으로, 제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제3 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 상기 제3 특징맵보다 해상도가 낮은 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과, 상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고, 상기 제3 소정 특징맵 및 상기 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제1 생성 유닛은 구체적으로, 제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제1 이미지와 동일한 해상도의 상기 제1 소정 특징맵을 생성하는 것과, 상기 제1 이미지와 상기 제1 소정 특징맵에서 상기 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고, 상기 제1 소정 특징맵은 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제1 생성 유닛은 구체적으로, 제2 뉴럴 네트워크에 의해 상기 제1 이미지의 잔차 블록을 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제3 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 상기 제3 특징맵보다 해상도가 낮은 제4 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제4 특징맵을 다운 샘플링하여, 상기 제4 특징맵보다 해상도가 낮은 제5 특징맵을 생성하는 것과, 상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과, 상기 DenseASPP 모듈에 의한 처리 후, 상기 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 상기 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과, 상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제5 특징맵과 상기 제5 소정 특징맵을 융합하여 상기 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고, 상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제1 뉴럴 네트워크는 합성곱층 및 상기 합성곱층에 캐스케이드 접속되는 잔차 블록을 포함하고, 상기 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 상기 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함한다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크이다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 잔차 블록은 합성곱층, 배치 정규화층, ReLU 활성화 함수 및 최대 풀링층을 포함한다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제3 특징 유닛은 구체적으로, 상기 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 상기 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 상기 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 상기 제2 특징맵으로 하기 위해 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 검출 유닛은 구체적으로, 제1 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 좌표를 얻는 것과, 제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는 것에 사용된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 상기 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하고, 상기 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함한다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 훈련 유닛을 추가로 포함하고, 상기 훈련 유닛은 구체적으로, 상기 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징이 포함되는 제1 특징맵을 생성하기 전에, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용되고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력된다.
몇 가지 가능한 실시예에서는 제2 방면에 있어서, 훈련 유닛을 추가로 포함하고, 상기 훈련 유닛은 구체적으로, 상기 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용되고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력된다.
제3 방면에서, 본 발명은 서로 접속되는 프로세서, 디스플레이 및 메모리를 포함하는 병소 검출 기기로서, 상기 디스플레이는 병소의 위치 및 상기 위치에 대응하는 신뢰도를 표시하기 위해 사용되고, 상기 메모리는 애플리케이션 프로그램 코드를 기억하기 위해 사용되고, 상기 프로세서는 상기 프로그램 코드를 호출함으로써 상기 제1 방면의 병소 검출 방법을 실행하도록 구성되는 병소 검출 기기를 제공한다.
제4 방면에서, 본 발명은 명령을 포함하는 하나 이상의 컴퓨터 프로그램을 기억하기 위한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램은 컴퓨터에서 실행되면, 상기 명령은 제1 방면의 병소 검출 방법을 실행시키기 위해 사용되는 컴퓨터 판독 가능 기억 매체를 제공한다.
제5 방면에서, 본 발명은 병소 검출 명령을 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램이 컴퓨터에서 실행되면, 상기 병소 검출 명령은 상기 제1 방면이 제공하는 병소 검출 방법을 실행시키기 위해 사용되는 컴퓨터 프로그램을 제공한다.
본 발명은 병소 검출 방법, 장치, 기기 및 기억 매체를 제공한다. 우선 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득한다. 또한, 제1 이미지의 특징을 추출하고, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성한다. 이어서, 제1 특징맵에 포함되는 특징의 차원 삭감을 행하고, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성한다. 마지막으로, 제2 특징맵의 특징을 검출하고, 제2 특징맵에서의 각 병소의 특징 및 위치에 대응하는 신뢰도를 얻는다.
본 발명을 채용하면 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있다.
이하, 본 발명의 실시예의 해결 수단을 보다 명확하게 설명하기 위해, 실시예의 설명에 필요한 도면을 간단히 설명한다. 하기 도면이 본 발명의 일부의 실시예이고, 당업자이면 창조적인 노력을 필요로 하지 않고, 상기 도면에 기초하여 다른 도면을 도출할 수 있는 것은 분명하다.
도 1은 본 발명이 제공하는 병소 검출 시스템의 네트워크 아키텍처의 모식도이다.
도 2는 본 발명이 제공하는 병소 검출 방법의 모식적 흐름도이다.
도 3은 본 발명이 제공하는 병소 검출 장치의 모식적 블록도이다.
도 4는 본 발명이 제공하는 병소 검출 기기의 모식적 구성도이다.
도 1은 본 발명이 제공하는 병소 검출 시스템의 네트워크 아키텍처의 모식도이다.
도 2는 본 발명이 제공하는 병소 검출 방법의 모식적 흐름도이다.
도 3은 본 발명이 제공하는 병소 검출 장치의 모식적 블록도이다.
도 4는 본 발명이 제공하는 병소 검출 기기의 모식적 구성도이다.
이하, 본 발명에서의 도면을 참조하면서 본 발명에서의 기술적 해결 수단을 명확하고, 완전하게 설명한다. 설명되는 실시예는 본 발명의 실시예의 일부에 불과하고, 모든 실시예는 아니다. 본 발명에서의 실시예에 기초하여, 당업자가 창조적인 노력을 필요로 하지 않고 얻어진 다른 모든 실시예는 전부 본 발명의 보호 범위에 속한다.
본 명세서 및 첨부된 특허청구범위에서 사용되는 용어 「포함한다」 및 「포함된다」는 설명되는 특징, 전체, 단계, 조작, 요소 및/또는 컴포넌트가 존재하는 것을 의미하지만, 하나 이상의 다른 특징, 전체, 단계, 조작, 요소, 컴포넌트 및/또는 상기 군의 존재 또는 추가를 제외하지 않는 것을 이해해야 한다.
본 발명의 명세서에서 사용되는 용어는 특정 실시예를 설명하기 위한 것에 불과하고, 본 발명을 한정하는 것은 아닌 것도 이해해야 한다. 본 발명의 명세서 및 첨부된 특허청구범위에서 사용되는 단수형 「일」, 「하나」 및 「상기」는 문맥에 따라 명확하게 나타내지 않는 한, 복수형도 포함하는 것을 이해해야 한다.
본 발명의 명세서 및 첨부된 특허청구범위에서 사용되는 용어 「및/또는」은 관련하여 열거된 항목 중 하나 이상의 임의의 조합 및 모든 가능한 조합을 의미하고, 또한 상기 조합을 포함하는 것도 이해해야 한다.
본 명세서 및 첨부된 특허청구범위에서 사용되는 용어 「경우」는 문맥에 의해 「…시」 또는 「…하면」 또는 「결정/특정/판정에 따라」 또는 「검출에 따라」라는 의미로 해석될 수 있다. 동일하게, 어구 「결정/특정/판정된 경우」 또는 「[기재된 조건 또는 이벤트]가 검출된 경우」는 문맥에 따라 「결정/특정/판정하면」 또는 「결정/특정/판정에 따라」 또는 「[설명된 조건 또는 이벤트]가 검출되면」 또는 「[설명된 조건 또는 이벤트]의 검출에 따라」라는 의미로 해석될 수 있다.
구체적인 실현에 있어서, 본 발명에 기재된 기기는 터치 감지면(예를 들면, 터치 스크린 디스플레이 및/또는 터치 패널)을 갖는 노트북형 컴퓨터 또는 태블릿 컴퓨터와 같은 다른 휴대 기기를 포함하지만, 이들에 한정되지 않는다. 또한, 일부 실시예에서, 상기 기기는 휴대 통신 기기가 아니라, 터치 감지면(예를 들면, 터치 스크린 디스플레이 및/또는 터치 패널)을 갖는 데스크탑 컴퓨터인 것도 이해해야 한다.
이하, 디스플레이 및 터치 감지면을 포함하는 기기에 대해 설명한다. 기기는 물리적 키보드, 마우스 및/또는 조이스틱 등의 하나 이상의 다른 물리적 사용자 인터페이스 장치를 포함할 수 있는 것을 이해해야 한다.
기기는 다양한 애플리케이션, 예를 들면, 묘화 애플리케이션, 데모 애플리케이션, 워드 프로세싱 애플리케이션, 웹 사이트 작성 애플리케이션, 디스크 기록 애플리케이션, 스프레드 시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 텔레비전 회의 애플리케이션, 전자 메일 애플리케이션, 인스턴트 메시징 애플리케이션, 훈련 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 플레이어 애플리케이션 및/또는 디지털 비디오 플레이어 애플리케이션 중 하나 이상을 지원한다.
기기 상에서 실행 가능한 다양한 애플리케이션은 터치 감지면 등의 적어도 하나의 공통의 물리적 사용자 인터페이스 장치를 사용해도 된다. 터치 감지면의 하나 이상의 기능 및 기기 상에 표시되는 대응하는 정보는 애플리케이션 사이 및/또는 대응하는 애플리케이션 내에서 조정 및/또는 변경되어 있어도 된다. 이렇게 하여, 기기의 공통의 물리적 아키텍처(예를 들면, 터치 감지면)는 사용자에 의해 직감적이고, 또한 투과적인 사용자 인터페이스를 갖는 다양한 애플리케이션을 지원할 수 있다.
이하, 본 발명을 보다 명확하게 이해하기 위해, 본 발명에 적합한 네트워크 아키텍처를 설명한다. 도 1은 본 발명이 제공하는 병소 검출 시스템의 모식도이다. 도 1에 나타내는 바와 같이, 시스템(10)은 제1 뉴럴 네트워크(101), 제2 뉴럴 네트워크(102) 및 검출 서브넷(Detection Subnet)(103)을 포함하도록 해도 된다.
본 발명의 실시예에서는 병소란, 병원성 인자의 영향으로 병변이 있는 조직 또는 기관의 부위를 말하고, 병변이 있는 생체의 부분이다. 예를 들면, 인체의 폐의 어느 부분이 결핵균에 의해 파괴되면, 이 부분은 폐결핵증의 병소가 된다.
설명하고자 하는 것은 제1 뉴럴 네트워크(101)는 합성곱층(Conv1) 및 합성곱층에 캐스케이드 접속되는 잔차 블록(SEResBlock)을 포함한다. 그 중, 잔차 블록은 배치 정규화층(Batch Normalization, BN), 수정 선형 유닛(ReLU) 활성화 함수 및 최대 풀링층(Max-pooling)을 포함하도록 해도 된다.
그 중, 제1 뉴럴 네트워크(101)는, 제1 뉴럴 네트워크(101)에 입력되는 제1 이미지를 X축 차원 및 Y축 차원에서 다운 샘플링하여, 제3 특징맵을 생성하기 위해 사용될 수 있다. 설명하고자 하는 것은 제1 이미지는 X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지(즉, 제1 이미지는 X축 차원 및 Y축 차원을 포함하는 복수의 2차원 이미지에 의해 구성되고, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지)이고, 예를 들면, 제1 이미지는 512*512*9의 3차원 이미지여도 된다.
구체적으로는 제1 뉴럴 네트워크(101)는 합성곱층의 합성곱 커널에 의해 제1 이미지를 처리하여 특징맵을 생성하고, 또한 잔차 블록에 의해 특정 특징맵을 풀링하고, 제1 이미지보다 해상도가 낮은 제3 특징맵을 생성하도록 해도 된다. 예로서, 제1 뉴럴 네트워크(101)에 의해 512*512*9의 3차원 이미지를 처리하여 256*256*9의 3차원 이미지를 얻어도 되고, 또는 제1 뉴럴 네트워크(101)에 의해 512*512*9의 3차원 이미지를 처리하여 128*128*9의 3차원 이미지를 얻어도 된다. 다운 샘플링에 의해, 입력되는 제1 이미지에 포함되는 병소 특징을 추출하고, 제1 이미지 내의 불필요한 영역의 일부를 제거할 수 있다.
설명하고자 하는 것은 본 발명의 실시예에서의 다운 샘플링은 제1 이미지를 표시 영역의 크기에 맞추도록 제1 이미지의 썸네일을 생성하기 위해 사용된다. 본 발명의 실시예에서의 업 샘플링은 보간에 의해 원래 이미지의 화소 사이에 새로운 이미지를 삽입하여 원래 이미지를 확대하기 위해 사용된다. 이것은 작은 병소의 검출에 유용하다.
이하, 일례를 들어 본 발명의 실시예에서의 다운 샘플링을 간단하게 설명한다. 예를 들면, 사이즈가 M*N인 이미지(I)를 S배 다운 샘플링하여, (M/S)*(N/S) 사이즈의 해상도의 이미지를 얻을 수 있다. 즉, 원래 이미지(I)의 S*S 윈도우 내의 이미지를 하나의 화소로 하고, 여기서, 상기 화소의 화소값은 상기 S*S 윈도우 내의 모든 화소의 최대값이다. 여기서, 수평 방향 또는 수직 방향으로 슬라이드하는 스트라이드(Stride)는 2로 해도 된다.
제2 뉴럴 네트워크(102)는 적층되어 있는 4개의 3D U-net 네트워크를 포함하도록 해도 된다. 3D U-net 네트워크의 전개도는 도 1의 '104'에 나타낸다. 복수의 3D U-net 네트워크에서 검출함으로써, 검출의 정확성을 향상시킬 수 있다. 본 발명의 실시예에서의 3D U-net 네트워크의 수는 예시적인 것에 불과하고, 한정되는 것은 아니다. 여기서, 3D U-Net 네트워크는 합성곱층(conv), 역합성곱층(deconv), 잔차 블록 및 DenseASPP 모듈을 포함한다.
그 중, 제2 뉴럴 네트워크(102)의 잔차 블록은 제1 뉴럴 네트워크(101)에서 출력되는 제3 특징맵을 X축 차원 및 Y축 차원에서 다운 샘플링하여, 제4 특징맵을 생성하기 위해 사용할 수 있다.
또한, 제2 뉴럴 네트워크(102)의 잔차 블록은 제4 특징맵을 X축 차원 및 Y축 차원에서 다운 샘플링하여, 제5 특징맵을 생성하기 위해 사용할 수도 있다.
이어서, 제2 뉴럴 네트워크(102)의 DenseASPP 모듈에 의해 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크(102)의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 상기 제2 뉴럴 네트워크(102)의 역합성곱층 및 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성한다.
제3 특징맵과 제3 소정 특징맵을 융합(concat)하여 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제4 특징맵과 제4 소정 특징맵을 융합하여 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제5 특징맵과 제5 소정 특징맵을 융합하여 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
설명하고자 하는 것은, DenseASPP 모듈은 캐스케이드 접속되어 있는 5개의 상이한 확장률의 확장 합성곱을 포함하고, 상이한 스케일의 병소의 특징을 추출할 수 있다. 여기서, 5개의 상이한 확장률(dilate)의 확장 합성곱은 각각 확장률 d＝3의 확장 합성곱, 확장률 d＝6의 확장 합성곱, 확장률 d＝12의 확장 합성곱, 확장률 d＝18의 확장 합성곱 및 확장률 d＝24의 확장 합성곱이다.
검출 서브넷(103)은 제1 검출 서브넷 및 제2 검출 서브넷을 포함하도록 해도 된다. 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함한다. 동일하게, 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함한다.
제1 검출 서브넷은 제1 특징맵이 차원 삭감된 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소의 위치 좌표를 얻기 위해 사용된다.
구체적으로는 제1 검출 서브넷의 캐스케이드 접속되어 있는 4개의 합성곱층에 의해, 입력되는 제2 특징맵을 처리하고, 제2 특징맵에서의 각 병소의 위치를 특정한다. 여기서, 각 합성곱층은 각각 하나의 Y*Y의 합성곱 커널을 포함하고, 각 병소의 좌측 상단 구석의 좌표(x1, y1) 및 병소의 우측 하단 구석의 좌표(x2, y2)를 순서대로 취득함으로써, 제2 특징맵에서의 각 병소의 위치를 특정하도록 해도 된다.
제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는다.
구체적으로는 제2 검출 서브넷의 캐스케이드 접속되어 있는 4개의 합성곱층에 의해, 입력되는 제2 특징맵을 처리하고, 제2 특징맵에서의 각 병소의 위치를 특정하고, 또한 상기 위치에 대응하는 신뢰도를 출력한다. 여기서, 각 합성곱층은 각각 하나의 Y*Y의 합성곱 커널을 포함하고, 각 병소의 좌측 상단 구석의 좌표(x1, y1) 및 병소의 우측 하단 구석의 좌표(x2, y2)를 순서대로 취득함으로써, 제2 특징맵에서의 각 병소의 위치를 특정하고, 또한 상기 위치에 대응하는 신뢰도를 출력하도록 해도 된다.
설명하고자 하는 것은 본 발명의 실시예에서 위치에 대응하는 신뢰도는 상기 위치가 병소인 것을 사용자가 믿는 정도를 나타낸다. 예를 들면, 어느 병소의 위치의 신뢰도는 90％이다.
이상의 기재에 의하면, 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있다.
설명하고자 하는 것은 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 추가로 이하의 단계를 포함한다.
미리 저장된, 병소를 라벨링(예를 들면, 박스 형태로 병소를 라벨링하고, 또한 상기 병소의 위치 좌표에서 라벨링)하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를, 상기 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제1 뉴럴 네트워크, 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련한다. 여기서, 복수의 병소의 각각의 위치는 제1 검출 서브넷에 의해 출력된다.
설명하고자 하는 것은 구배 강하법에 의한 각 파라미터의 훈련에서 역전파 알고리즘으로 구배 강하법의 구배를 계산하도록 해도 된다.
또는, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련한다. 여기서, 복수의 병소의 각각의 위치는 제1 검출 서브넷에 의해 출력된다.
도 2는 본 발명이 제공하는 병소 검출 방법의 모식적 흐름도이다. 가능한 일 실시형태에서는 상기 병소 검출 방법은 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 또는 서버 등의 전자 기기에 의해 실행되어도 된다. 상기 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 호출함으로써 실현되어도 된다. 또는, 상기 방법은 서버에 의해 실행되어도 된다.
도 2에 나타내는 바와 같이, 상기 방법은 적어도 이하의 단계를 포함하도록 해도 된다.
S201: 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득한다.
구체적으로는 선택 가능한 일 실시형태에서, 취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성한다. 여기서, 환자의 CT 이미지는 각 층의 두께가 각각 2.0mm인 130층의 단층을 포함하고, X축 차원, Y축 차원에서의 제1 샘플링 간격은 2.0mm이도록 해도 된다.
본 발명의 실시예에서는 환자의 CT 이미지는 환자의 조직 또는 기관에 관한, 복수의 단층을 포함하는 하나의 스캔 시퀀스이고, 단층의 수는 130으로 해도 된다.
병소란, 병원성 인자의 영향으로 병변이 있는 환자의 조직 또는 기관의 부위를 말하고, 병변이 있는 생체의 부분이다. 예를 들면, 인체의 폐의 어느 부분이 결핵균에 의해 파괴되면, 이 부분은 폐결핵증의 병소가 된다.
설명하고자 하는 것은 제1 이미지는 X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지(즉, 제1 이미지는 X축 차원, Y축 차원을 포함하는 N장의 2차원 이미지에 의해 구성되고, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지이고, 여기서, N은 2 이상이고, 각 2차원 이미지는 피검출 조직의 상이한 위치에서의 횡단면 이미지)이고, 예를 들면, 제1 이미지는 512*512*9의 3차원 이미지여도 된다.
설명하고자 하는 것은 CT 이미지를 재샘플링하기 전에, 추가로 역치법에 의해 CT 이미지 중의 여분의 배경을 제거하는 단계를 포함하도록 해도 된다.
S202: 제1 이미지의 특징을 추출하고, 병소의 특징이 포함되고, 상기 X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성한다.
구체적으로는 제1 이미지의 특징을 추출하고, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은 이하의 케이스를 포함해도 되지만, 이들에 한정되지 않는다.
케이스 1: 제1 뉴럴 네트워크에 의해 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성한다.
제3 특징맵과 제3 소정 특징맵에서 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제4 특징맵과 제4 소정 특징맵을 융합하여 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 제3 소정 특징맵 및 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
케이스 2: 제2 뉴럴 네트워크의 잔차 블록에 의해 제1 이미지를 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제1 이미지와 동일한 해상도의 제1 소정 특징맵을 생성한다.
상기 제1 이미지와 제1 소정 특징맵에서 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 제1 소정 특징맵은 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
케이스 3: 제1 뉴럴 네트워크에 의해 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제4 특징맵을 다운 샘플링하여, 제5 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성한다.
제3 특징맵과 제3 소정 특징맵에서 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제4 특징맵과 제4 소정 특징맵을 융합하여 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제5 특징맵과 제5 소정 특징맵을 융합하여 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
설명하고자 하는 것은 제1 뉴럴 네트워크는 합성곱층 및 합성곱층에 캐스케이드 접속되는 잔차 블록을 포함하고, 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함한다.
그 중, 잔차 블록은 합성곱층, 배치 정규화층(BN층), ReLU 활성화 함수 및 최대 풀링층을 포함해도 된다.
선택적으로, 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크이다. 제2 뉴럴 네트워크가 적층되어 있는 복수의 3D U-Net 네트워크인 경우, 병소 검출 시스템의 안정성 및 검출의 정확성을 향상시킬 수 있다. 본 발명의 실시예는 3D U-net 네트워크의 수를 한정하지 않는다.
S203: 제1 특징맵에 포함되는 특징의 차원 삭감을 행하고, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성한다.
구체적으로는, 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 제2 특징맵으로 한다. 제1 특징맵은 3차원의 특징맵이지만, 검출 서브넷(103)에 출력되어 검출될 때, 2차원으로 변환할 필요가 있기 때문에, 제1 특징맵의 차원 삭감을 행하지 않으면 안된다.
설명하고자 하는 것은 상술한 어느 특징의 채널은 어느 특징의 분포 데이터를 나타낸다.
S204: 제2 특징맵의 특징을 검출하여, 검출된 제2 특징맵에서의 각 병소의 특징 및 위치에 대응하는 신뢰도를 표시한다.
구체적으로는 제1 검출 서브넷에 의해 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소의 위치 좌표를 얻는다.
더욱 구체적으로는 제1 검출 서브넷의 캐스케이드 접속되어 있는 복수의 합성곱층에 의해, 입력되는 제2 특징맵을 처리하고, 제2 특징맵에서의 각 병소의 위치를 특정한다. 여기서, 각 합성곱층은 각각 하나의 Y*Y의 합성곱 커널을 포함하고, 각 병소의 좌측 상단 구석의 좌표(x1, y1) 및 병소의 우측 하단 구석의 좌표(x2, y2)를 순서대로 취득함으로써, 제2 특징맵에서의 각 병소의 위치를 특정하도록 해도 된다.
제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는다.
더욱 구체적으로는 제2 검출 서브넷의 캐스케이드 접속되어 있는 복수의 합성곱층에 의해, 입력되는 제2 특징맵을 처리하고, 제2 특징맵에서의 각 병소의 위치를 취득하고, 추가로 상기 위치에 대응하는 신뢰도를 출력한다. 여기서, 각 합성곱층은 각각 하나의 Y*Y의 합성곱 커널을 포함하고, 각 병소의 좌측 상단 구석의 좌표(x1, y1) 및 병소의 우측 하단 구석의 좌표(x2, y2)를 순서대로 취득함으로써, 제2 특징맵에서의 각 병소의 위치를 취득하고, 추가로 상기 위치에 대응하는 신뢰도를 출력하도록 해도 된다.
이상의 기재에 의하면, 본 발명의 실시예는 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있다.
설명하고자 하는 것은 제1 이미지의 특징을 추출하여, 병소의 특징이 포함되는 제1 특징맵을 생성하기 전에, 추가로 이하의 단계를 포함한다.
미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제1 뉴럴 네트워크, 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련한다. 여기서, 복수의 병소의 각각의 위치는 제1 검출 서브넷에 의해 출력된다.
또는, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련한다. 여기서, 복수의 병소의 각각의 위치는 제1 검출 서브넷에 의해 출력된다.
이상을 정리하면, 본 발명에서는 먼저, 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득한다. 또한, 제1 이미지의 특징을 추출하여, 병소의 특징이 포함되는 제1 특징맵으로서, X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성한다. 이어서, 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성한다. 마지막으로, 제2 특징맵의 특징을 검출하여, 제2 특징맵에서의 각 병소의 위치 및 위치에 대응하는 신뢰도를 얻는다. 본 발명의 실시예를 채용하면 환자 체내의 복수의 부위의 병소 상황을 정확하게 검출하고, 환자 전신에 걸쳐 암을 예비적으로 평가할 수 있다.
이해해야 하는 것은 도 2의 방법의 실시예에서 제공되어 있지 않은 관련 정의 및 설명은 도 1의 실시예를 참조하면 되고, 여기서 설명을 생략한다.
도 3은 본 발명이 제공하는 병소 검출 장치이다. 도 3에 나타내는 바와 같이, 병소 검출 장치(30)는 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하기 위한 취득 유닛(301)과, 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, X축 차원, Y축 차원 및 Z축 차원의 3차원 특징이 포함되는 제1 특징맵을 생성하기 위한 제1 생성 유닛(302)과, 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하기 위한 제2 생성 유닛(303)과, 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소의 위치 및 위치에 대응하는 신뢰도를 얻기 위한 검출 유닛(304)을 포함한다.
취득 유닛(302)은 구체적으로, 취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성하기 위해 사용된다.
제1 생성 유닛(303)은 구체적으로 이하의 세 가지 케이스에 사용될 수 있다.
케이스 1: 제1 뉴럴 네트워크에 의해 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성한다.
제3 특징맵과 제3 소정 특징맵에서 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제4 특징맵과 제4 소정 특징맵을 융합하여 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 제3 소정 특징맵 및 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
케이스 2: 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제1 이미지를 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제1 이미지와 동일한 해상도의 제1 소정 특징맵을 생성한다.
제1 이미지와 제1 소정 특징맵에서 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 제1 소정 특징맵은 병소의 위치를 포함하고, 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
케이스 3: 제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성한다.
제2 뉴럴 네트워크의 잔차 블록에 의해 제4 특징맵을 다운 샘플링하여, 제5 특징맵을 생성한다.
제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출한다.
DenseASPP 모듈에 의한 처리 후, 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성한다.
제3 특징맵과 제3 소정 특징맵에서 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제4 특징맵과 제4 소정 특징맵을 융합하여 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 제5 특징맵과 제5 소정 특징맵을 융합하여 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성한다. 여기서, 제3 소정 특징맵, 제4 소정 특징맵 및 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용된다.
설명하고자 하는 것은 제1 뉴럴 네트워크는 합성곱층 및 합성곱층에 캐스케이드 접속되는 잔차 블록을 포함하고, 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함한다.
선택적으로, 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크를 포함해도 된다. 복수의 3D U-net 네트워크에서 검출함으로써, 검출의 정확성을 향상시킬 수 있다. 본 발명의 실시예에서의 3D U-net 네트워크의 수는 예시적인 것에 불과하다.
설명하고자 하는 것은 잔차 블록은 합성곱층, 배치 정규화층(BN층), ReLU 활성화 함수 및 최대 풀링층을 포함해도 된다.
제3 특징 유닛(304)은 구체적으로 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 제2 특징맵으로 하기 위해 사용된다.
검출 유닛(305)은 구체적으로 제1 검출 서브넷에 의해 제2 특징맵을 검출하고, 제2 특징맵에서의 각 병소의 위치 좌표를 얻는 것과, 제2 검출 서브넷에 의해 제2 특징맵을 검출하고, 제2 특징맵에서의 병소에 대응하는 신뢰도를 얻는 것에 사용된다.
설명하고자 하는 것은 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하고, 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함한다.
병소 검출 장치(30)는 취득 유닛(301), 제1 생성 유닛(302), 제2 생성 유닛(303) 및 검출 유닛(304) 외에 표시 유닛을 추가로 포함한다.
표시 유닛은 구체적으로 검출 유닛(304)에 의해 검출된 병소의 위치 및 위치의 신뢰도를 표시하기 위해 사용된다.
병소 검출 장치(30)는 취득 유닛(301), 제1 생성 유닛(302), 제2 생성 유닛(303) 및 검출 유닛(304)외에 훈련 유닛을 추가로 포함한다.
훈련 유닛은 구체적으로, 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제1 뉴럴 네트워크, 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용되거나, 또는 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 제2 뉴럴 네트워크, 제1 검출 서브넷 및 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용된다. 여기서, 복수의 병소의 각각의 위치는 제1 검출 서브넷에 의해 출력된다.
병소 검출 장치(30)는 본 발명의 실시예에서 일례로서 제공된 것에 불과하고, 개시된 부재보다 많은 부재 또는 적은 부재를 구비해도 되고, 2개 이상의 부재의 조합 또는 구비 가능한 부재의 상이한 배치에 의해 실현되어도 되는 것을 이해해야 한다.
이해해야 하는 것은 도 3의 병소 검출 장치(30)가 포함하는 기능 블록의 구체적인 실시형태는 상기 도 2에 기재된 방법의 실시예를 참조하면 되고, 여기서는 설명을 생략한다.
도 4는 본 발명이 제공하는 병소 검출 장치의 구성의 모식도이다. 본 발명의 실시예에서, 병소 검출 기기는 휴대 전화, 태블릿, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 모바일 인터넷 장치(Mobile Internet Device, MID), 스마트 웨어러블 장치(예를 들면, 스마트 워치, 스마트 브레이슬릿 등) 등 각종 기기를 포함해도 되고, 본 발명의 실시예는 이에 대해 한정하지 않는다. 도 4에 나타내는 바와 같이, 병소 검출 기기(40)는 베이스밴드 칩(401), 메모리(402)(하나 이상의 컴퓨터 판독 가능 기억 매체), 주변 시스템(403)을 포함해도 된다. 상기 부재는 하나 이상의 통신 버스(404)를 통해 통신 가능하다.
베이스밴드 칩(401)은 하나 이상의 프로세서(CPU)(405), 입력되는 법선 맵을 처리 가능한 하나 이상의 이미지 처리 장치(GPU)(406)를 포함한다.
메모리(402)는 프로세서(405)와 결합되고, 다양한 소프트웨어 프로그램 및/또는 복수의 명령 세트를 기억하기 위해 사용될 수 있다. 구체적인 실현에서는 메모리(402)는 고속 랜덤 액세스 메모리를 포함해도 되고, 또한 하나 이상의 자기 디스크 기억 장치, 플래시 메모리 또는 다른 비휘발성 고체 기억 장치와 같은 비휘발성 메모리를 포함해도 된다. 메모리(402)는 오퍼레이팅 시스템(이하, 간단히 시스템이라고 함), 예를 들면, ANDROID, IOS, WINDOWS 또는 LINUX 등의 내장된 오퍼레이팅 시스템을 기억해도 된다. 메모리(402)는 하나 이상의 부가 장치, 하나 이상의 기기, 하나 이상의 네트워크 기기와의 통신에 사용되는 네트워크 통신 프로그램을 기억해도 된다. 메모리(402)는 그래피컬 사용자 인터페이스에 의해 애플리케이션의 콘텐츠를 리얼하게 표시하고, 메뉴, 대화 상자 및 버튼 등의 입력 컨트롤에 의해 사용자로부터 애플리케이션의 제어 조작을 수신하는 사용자 인터페이스 프로그램을 기억해도 된다.
이해해야 하는 것은 메모리(402)는 병소 검출 방법을 실현하는 프로그램 코드를 기억하기 위해 사용될 수 있다.
이해해야 하는 것은 프로세서(405)는 메모리(402)에 기억되어 있는 병소 검출 방법을 실행하는 프로그램 코드를 호출하기 위해 사용될 수 있다.
메모리(402)는 하나 이상의 애플리케이션을 기억해도 된다. 도 4에 나타내는 바와 같이 상기 애플리케이션은 소셜 애플리케이션(예를 들면, Facebook), 이미지 관리 애플리케이션(예를 들면, 앨범), 지도 애플리케이션(예를 들면, 구글 맵), 브라우저(예를 들면, Safari, Google Chrome) 등을 포함해도 된다.
주변 시스템(403)은 주로 병소 검출 기기(40)와 사용자/외부 환경 사이의 상호 작용 기능을 실현하기 위해 사용되고, 주로 병소 검출 기기(40)의 입출력 기기를 포함한다. 구체적인 실현에서는 주변 시스템(403)은 표시(display) 스크린 컨트롤러(407), 카메라 컨트롤러(408), 마우스-키보드 컨트롤러(409) 및 오디오 컨트롤러(410)를 포함해도 된다. 그 중, 각 컨트롤러의 각각은 대응하는 주변 기기(예를 들면, 표시 스크린(411), 카메라(412), 마우스-키보드(413) 및 오디오 회로(414))와 결합 가능하다. 일부 실시예에서는 표시 스크린은 자기 용량형 플로팅 터치 패널을 배치한 표시 스크린이어도 되고, 적외선형 플로팅 터치 패널을 배치한 표시 스크린이어도 된다. 일부 실시예에서는 카메라(412)는 3D 카메라여도 된다. 설명하고자 하는 것은 주변 시스템(403)은 다른 I/O 외부 장치를 포함해도 된다.
이해해야 하는 것은 표시 스크린(411)은 검출된 병소의 위치 및 위치의 신뢰도를 표시하기 위해 사용될 수 있다.
병소 검출 기기(40)는 본 발명의 실시예에 있어서 일례로서 제공되는 것에 불과하고, 개시된 부재보다 많은 부재 또는 적은 부재를 구비해도 되고, 두 개 이상의 부재의 조합 또는 구비 가능한 부재의 상이한 배치에 의해 실현되어도 되는 것을 이해해야 한다.
이해해야 하는 것은 도 4의 병소 검출 기기(40)가 포함하는 기능 모듈의 구체적인 실시형태는 도 2의 방법의 실시예를 참조하면 되고, 여기서는 설명을 생략한다.
본 발명은 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 컴퓨터 프로그램은 프로세서에 의해 실행되면 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.
상기 컴퓨터 판독 가능 기억 매체는 상기 실시예에 기재된 기기 중 어느 하나의 내부 기억 유닛, 예를 들면, 기기의 하드 디스크 또는 내부 메모리여도 된다. 상기 컴퓨터 판독 가능 기억 매체는 기기의 외부 기억 장치, 예를 들면, 기기에 배치된 플러그인 하드 디스크, 스마트 미디어 카드(Smart Media Card, SMC), 시큐어 디지털(Secure Digital, SD) 카드, 플래시 카드(Flash Card) 등이어도 된다. 또한, 상기 컴퓨터 판독 가능 기억 매체는 기기의 내부 기억 유닛과 외부 기억 장치를 포함해도 된다. 상기 컴퓨터 판독 가능 기억 매체는 컴퓨터 프로그램 및 기기에 필요한 다른 프로그램이나 데이터를 기억하기 위해 사용되고, 또한 출력되었거나 또는 출력되는 데이터를 일시적으로 기억하기 위해 사용되어도 된다.
본 발명은 컴퓨터 프로그램이 기억되어 있는 비일시적인 컴퓨터 판독 가능 기억 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램은 컴퓨터에 상기 방법의 실시예에 기재된 방법 중 어느 하나의 일부 또는 모든 단계를 실행시키도록 동작하는 컴퓨터 프로그램 제품을 제공한다. 상기 컴퓨터 프로그램 제품은 하나의 소프트웨어 설치 패키지여도 되고, 상기 컴퓨터는 전자 장치를 포함한다.
당업자이면 본 명세서의 실시예에서 설명한 각 예시적인 유닛 및 알고리즘 단계는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로 실현할 수 있는 것으로 이해해야 한다. 상기 설명에서 하드웨어와 소프트웨어를 교환 가능함을 명확하게 설명하기 위해 기능에 따라 각 예시적인 구성 및 단계를 일반적으로 기술하였다. 상기 기능이 하드웨어에서 실행되는지, 아니면 소프트웨어에서 실행되는지는 기술적 해결 수단의 특정 용도 및 설계상의 제약 조건에 의해 결정된다. 전문 기술자이면 특정 용도에 따라 상이한 방법으로 기재된 기능을 실현할 수 있다. 이와 같은 실현은 본 발명의 범위를 초과한 것으로 이해하지 않아도 된다.
설명을 간소화 및 간결화하기 위해, 상술한 기기 및 유닛의 구체적인 동작에 대해, 상기 방법의 실시예에서의 대응하는 부분을 참조하면 되는 것은 당업자이면 명확하게 이해되고, 여기서는 설명을 생략한다.
본 발명의 일부 실시예에서 개시한 기기 및 방법은 다른 형태로 실현할 수 있음을 이해해야 한다. 예를 들면, 각 예시적 구성 및 단계를 설명했지만, 상기 기능이 하드웨어에서 실행되는지, 아니면 소프트웨어에서 실행되는지는 기술적 해결 수단의 특정 용도 및 설계상의 제약 조건에 의해 결정된다. 전문 기술자이면 특정 용도에 따라 상이한 방법으로 기재된 기능을 실현할 수 있다. 이와 같은 실현은 본 발명의 범위를 초과한 것으로 이해하지 않아도 된다.
이상에 기재한 기기의 실시예는 예시적인 것에 불과하다. 예를 들면, 상기 유닛의 분할은 논리 기능의 분할에 불과하고, 실제로 실현하는 경우에 다른 형태로 분할해도 된다. 예를 들면, 복수의 유닛 또는 컴포넌트를 조합해도 되고, 또는 다른 시스템에 통합해도 되거나, 또는 일부 기능을 생략 혹은 실행하지 않아도 된다. 또한, 도시 또는 설명한 상호 결합, 직접 결합 또는 통신 접속은 일부의 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 접속이어도 되고, 전기적, 기계적 또는 다른 형태로의 접속이어도 된다.
별도의 부재로서 설명한 상기 유닛은 물리적으로 분리되어도 되고, 분리되지 않아도 되며, 유닛으로서 나타낸 부재는 물리적 유닛이어 되고, 아니어도 되며, 한 지점에 있어도 되고, 복수의 네트워크 유닛에 분산되어도 된다. 본 실시예의 해결 수단의 목적을 달성하기 위해서는 실제 필요에 따라 일부 또는 모든 유닛을 선택할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 전부 하나의 처리 유닛에 통합되어도 되고, 각각 물리적으로 개별 유닛이어도 되고, 두 개 이상으로 하나의 유닛에 통합되어도 된다. 상기 통합된 유닛은 하드웨어에서 실현되어도 되고, 소프트웨어 기능 유닛에서 실현되어도 된다.
상기 통합된 유닛은 소프트웨어 기능 유닛에서 실현되고, 또한 독립적인 제품으로서 판매 또는 사용되는 경우, 컴퓨터 판독 가능 기억 매체에 기억되어도 된다. 이러한 견해를 기초로 본 발명의 기술적 해결 수단의 실질적인 부분, 종래 기술에 기여하는 부분 또는 기술적 해결 수단의 전부 혹은 일부는 소프트웨어 제품에서 실현될 수 있다. 상기 컴퓨터 소프트웨어 제품은 기억 매체에 기억되고, 하나의 컴퓨터 기기(개인용 컴퓨터, 블록 체인의 목표 노드인 기기 또는 네트워크 기기 등이어도 됨)에 본 발명의 각 실시예에 기재된 방법의 전부 또는 일부 단계를 실행시키는 약간의 명령을 포함한다. 상기 기억 매체는 USB 플래시 드라이브, 모바일 하드 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리 (Random Access Memory, RAM), 자기 디스크 또는 광디스크 등의 프로그램 코드를 기억 가능한 다양한 매체를 포함한다.
이상은 본 발명의 구체적인 실시예에 불과하고, 본 발명의 보호 범위를 한정하는 것은 아니다. 당업자이면 본 발명에 기재된 기술적 범위 내에서 다양한 균등한 수정 또는 치환을 용이하게 상도할 수 있다. 상기 수정 또는 치환은 전부 본 발명의 보호 범위에 속한다. 따라서, 본 발명의 보호 범위는 특허청구범위에 준하는 것으로 이해해야 한다.
Claims (29)
- 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하는 것과,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, 상기 X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성하는 것과,
상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, 상기 X축 차원 및 상기 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하는 것과,
상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 및 상기 위치에 대응하는 신뢰도를 얻는 것을 포함하는, 병소 검출 방법. - 제 1 항에 있어서,
상기 복수의 샘플 절편을 포함하는 제1 이미지를 취득하는 것은,
취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은,
제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과,
상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고,
상기 제3 소정 특징맵 및 상기 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 방법. - 제 1 항에 있어서,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은,
제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제1 이미지를 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제1 이미지와 동일한 해상도의 상기 제1 소정 특징맵을 생성하는 것과,
상기 제1 이미지와 상기 제1 소정 특징맵에서 상기 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고,
상기 제1 소정 특징맵은 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 방법. - 제 1 항에 있어서,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하는 것은,
제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제4 특징맵을 다운 샘플링하여, 상기 제4 특징맵보다 해상도가 낮은 제5 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 상기 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과,
상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제5 특징맵과 상기 제5 소정 특징맵을 융합하여 상기 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것을 포함하고,
상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 방법. - 제 3 항 또는 제 5 항에 있어서,
상기 제1 뉴럴 네트워크는 합성곱층 및 상기 합성곱층에 캐스케이드 접속되는 잔차 블록을 포함하고,
상기 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 상기 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함하는, 방법. - 제 5 항 또는 제 6 항에 있어서,
상기 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크인, 방법. - 제 5 항 또는 제 6 항에 있어서,
상기 잔차 블록은 합성곱층, 배치 정규화층, ReLU 활성화 함수 및 최대 풀링층을 포함하는, 방법. - 제 1 항에 있어서,
상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, 제2 특징맵을 생성하는 것은,
상기 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 상기 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 상기 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 상기 제2 특징맵으로 하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 제2 특징맵을 검출하는 것은,
제1 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 좌표를 얻는 것과,
제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는 것을 포함하는, 방법. - 제 10 항에 있어서,
상기 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하고,
상기 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하는, 방법. - 제 1 항, 제 2 항, 제 3 항, 제 5 항, 제 6 항, 제 7 항, 제 8 항, 제 9 항, 제 10 항 및 제 11 항 중 어느 한 항에 있어서,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에,
미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하는 것을 추가로 포함하고,
상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력되는, 방법. - 제 1 항, 제 2 항, 제 4 항, 제 7 항, 제 9 항, 제 10 항 및 제 11 항 중 어느 한 항에 있어서,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에,
병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하는 것을 추가로 포함하고,
상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력되는, 방법. - 복수의 샘플 절편을 포함하는 제1 이미지로서, X축 차원, Y축 차원 및 Z축 차원을 포함하는 3차원 이미지인 제1 이미지를 취득하기 위한 취득 유닛과,
상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵으로서, 상기 X축 차원, Y축 차원 및 Z축 차원의 3차원 특징을 포함하는 제1 특징맵을 생성하기 위한 제1 생성 유닛과,
상기 제1 특징맵에 포함되는 특징의 차원 삭감을 행하여, X축 차원 및 Y축 차원의 2차원 특징을 포함하는 제2 특징맵을 생성하기 위한 제2 생성 유닛과,
상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 및 상기 위치에 대응하는 신뢰도를 얻기 위한 검출 유닛을 포함하는, 병소 검출 장치. - 제 14 항에 있어서,
상기 취득 유닛은 구체적으로,
취득된 환자의 CT 이미지를 제1 샘플링 간격으로 재샘플링하여, 복수의 샘플 절편을 포함하는 제1 이미지를 생성하기 위해 사용되는, 장치. - 제 14 항에 있어서,
상기 제1 생성 유닛은 구체적으로,
제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 제3 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과,
상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고,
상기 제3 소정 특징맵 및 상기 제4 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 장치. - 제 14 항에 있어서,
상기 제1 생성 유닛은 구체적으로,
제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제1 이미지를 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제4 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제1 이미지와 동일한 해상도의 제1 소정 특징맵을 생성하는 것과,
상기 제1 이미지와 상기 제1 소정 특징맵에서 상기 제1 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고,
상기 제1 소정 특징맵은 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 장치. - 제 14 항에 있어서,
상기 제1 생성 유닛은 구체적으로,
제1 뉴럴 네트워크에 의해 상기 제1 이미지를 다운 샘플링하여, 상기 제1 이미지보다 해상도가 낮은 제3 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제3 특징맵을 다운 샘플링하여, 제4 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 잔차 블록에 의해 상기 제4 특징맵을 다운 샘플링하여, 제5 특징맵을 생성하는 것과,
상기 제2 뉴럴 네트워크의 DenseASPP 모듈에 의해 상기 제5 특징맵에서의 상이한 스케일의 병소의 특징을 추출하는 것과,
상기 DenseASPP 모듈에 의한 처리 후, 상기 제5 특징맵과 동일한 해상도의 제5 소정 특징맵이 생성되고, 상기 제2 뉴럴 네트워크의 역합성곱층 및 상기 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제4 특징맵과 동일한 해상도의 제4 소정 특징맵을 생성하거나, 또는 상기 제2 뉴럴 네트워크의 역합성곱층 및 잔차 블록에 의해 상기 DenseASPP 모듈에 의한 처리 후의 특징맵을 업 샘플링하여, 상기 제3 특징맵과 동일한 해상도의 제3 소정 특징맵을 생성하는 것과,
상기 제3 특징맵과 상기 제3 소정 특징맵에서 상기 제3 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제4 특징맵과 상기 제4 소정 특징맵을 융합하여 상기 제4 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하고, 상기 제5 특징맵과 상기 제5 소정 특징맵을 융합하여 상기 제5 소정 특징맵과 동일한 해상도의 제1 특징맵을 생성하는 것에 사용되고,
상기 제3 소정 특징맵, 상기 제4 소정 특징맵 및 상기 제5 소정 특징맵은 각각 병소의 위치를 포함하고, 상기 병소의 위치는 제1 특징맵에서의 병소의 위치를 생성하기 위해 사용되는, 장치. - 제 16 항 또는 제 18 항에 있어서,
상기 제1 뉴럴 네트워크는 합성곱층 및 상기 합성곱층에 캐스케이드 접속되는 잔차 블록을 포함하고,
상기 제2 뉴럴 네트워크는 합성곱층, 역합성곱층, 잔차 블록 및 상기 DenseASPP 모듈을 포함하는 3D U-Net 네트워크를 포함하는, 장치. - 제 18 항 또는 제 19 항에 있어서,
상기 제2 뉴럴 네트워크는 적층되어 있는 복수의 3D U-Net 네트워크인, 장치. - 제 18 항 또는 제 19 항에 있어서,
상기 잔차 블록은 합성곱층, 배치 정규화층, ReLU 활성화 함수 및 최대 풀링층을 포함하는, 장치. - 제 14 항에 있어서,
상기 제2 생성 유닛은 구체적으로, 상기 제1 특징맵의 모든 특징의 각각에 대해 채널 차원과 Z축 차원을 병합하여, 상기 제1 특징맵의 모든 특징의 각각의 차원을 X축 차원 및 Y축 차원으로 이루어지는 것으로 하고, 상기 모든 특징의 각각의 차원이 X축 차원 및 Y축 차원으로 이루어지는 제1 특징맵을 상기 제2 특징맵으로 하기 위해 사용되는, 장치. - 제 14 항에 있어서,
상기 검출 유닛은 구체적으로,
제1 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소의 위치 좌표를 얻는 것과,
제2 검출 서브넷에 의해 상기 제2 특징맵을 검출하고, 상기 제2 특징맵에서의 각 병소에 대응하는 신뢰도를 얻는 것에 사용되는, 장치. - 제 23 항에 있어서,
상기 제1 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하고,
상기 제2 검출 서브넷은 각각이 하나의 ReLU 활성화 함수와 접속되는 복수의 합성곱층을 포함하는, 장치. - 제 14 항 내지 제 24 항 중 어느 한 항에 있어서,
훈련 유닛을 추가로 포함하고,
상기 훈련 유닛은 구체적으로, 상기 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 미리 저장된, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제1 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제1 뉴럴 네트워크, 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용되고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력되는, 장치. - 제 14 항 내지 제 24 항 중 어느 한 항에 있어서,
훈련 유닛을 추가로 포함하고,
상기 훈련 유닛은 구체적으로, 상기 제1 생성 유닛이 상기 제1 이미지의 특징을 추출하여, 병소의 특징 및 위치가 포함되는 제1 특징맵을 생성하기 전에, 병소를 라벨링하기 위한 병소 라벨이 복수 포함되어 있는 3차원 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 구배 강하법을 사용하여 상기 제2 뉴럴 네트워크, 상기 제1 검출 서브넷 및 상기 제2 검출 서브넷의 각 파라미터를 각각 훈련하기 위해 사용되고, 상기 복수의 병소의 각각의 위치는 상기 제1 검출 서브넷에 의해 출력되는, 장치. - 디스플레이, 메모리 및 상기 메모리에 결합되는 프로세서를 포함하는 병소 검출 기기로서, 상기 디스플레이는 병소의 위치 및 상기 위치에 대응하는 신뢰도를 표시하기 위해 사용되고, 상기 메모리는 애플리케이션 프로그램 코드를 기억하기 위해 사용되고, 상기 프로세서는 상기 프로그램 코드를 호출함으로써 제 1 항 내지 제 13 항 중 어느 한 항의 병소 검출 방법을 실행하도록 구성되는, 병소 검출 기기.
- 프로그램 명령을 포함하는 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 프로그램 명령은 프로세서에 의해 실행되면, 상기 프로세서에 제 1 항 내지 제 13 항 중 어느 한 항의 병소 검출 방법을 실행시키는, 컴퓨터 판독 가능 기억 매체.
- 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 13 항 중 어느 한 항의 병소 검출 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811500631.4A CN109754389B (zh) | 2018-12-07 | 2018-12-07 | 一种图像处理方法、装置及设备 |
| CN201811500631.4 | 2018-12-07 | ||
| PCT/CN2019/114452 WO2020114158A1 (zh) | 2018-12-07 | 2019-10-30 | 一种病灶检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210015972A true KR20210015972A (ko) | 2021-02-10 |
Family
ID=66402643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207038088A KR20210015972A (ko) | 2018-12-07 | 2019-10-30 | 병소 검출 방법, 장치, 기기 및 기억 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210113172A1 (ko) |
| JP (1) | JP7061225B2 (ko) |
| KR (1) | KR20210015972A (ko) |
| CN (2) | CN111292301A (ko) |
| SG (1) | SG11202013074SA (ko) |
| TW (1) | TWI724669B (ko) |
| WO (1) | WO2020114158A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292301A (zh) * | 2018-12-07 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种病灶检测方法、装置、设备及存储介质 |
| CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法 |
| CN110533637B (zh) * | 2019-08-02 | 2022-02-11 | 杭州依图医疗技术有限公司 | 一种检测对象的方法及装置 |
| CN110580948A (zh) * | 2019-09-12 | 2019-12-17 | 杭州依图医疗技术有限公司 | 医学影像的显示方法及显示设备 |
| CN111402252B (zh) * | 2020-04-02 | 2021-01-15 | 和宇健康科技股份有限公司 | 精准医疗图像分析方法及机器人手术系统 |
| CN111816281B (zh) * | 2020-06-23 | 2024-05-14 | 无锡祥生医疗科技股份有限公司 | 超声影像查询装置 |
| CN112116562A (zh) * | 2020-08-26 | 2020-12-22 | 重庆市中迪医疗信息科技股份有限公司 | 基于肺部影像数据检测病灶的方法、装置、设备及介质 |
| CN112258564B (zh) * | 2020-10-20 | 2022-02-08 | 推想医疗科技股份有限公司 | 生成融合特征集合的方法及装置 |
| CN112017185B (zh) * | 2020-10-30 | 2021-02-05 | 平安科技（深圳）有限公司 | 病灶分割方法、装置及存储介质 |
| US11830622B2 (en) * | 2021-06-11 | 2023-11-28 | International Business Machines Corporation | Processing multimodal images of tissue for medical evaluation |
| CN114943717B (zh) * | 2022-05-31 | 2023-04-07 | 北京医准智能科技有限公司 | 一种乳腺病灶检测方法、装置、电子设备及可读存储介质 |
| CN115170510B (zh) * | 2022-07-04 | 2023-04-07 | 北京医准智能科技有限公司 | 一种病灶检测方法、装置、电子设备及可读存储介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5974108A (en) * | 1995-12-25 | 1999-10-26 | Kabushiki Kaisha Toshiba | X-ray CT scanning apparatus |
| US7747057B2 (en) * | 2006-05-26 | 2010-06-29 | General Electric Company | Methods and apparatus for BIS correction |
| US9208556B2 (en) * | 2010-11-26 | 2015-12-08 | Quantitative Insights, Inc. | Method, system, software and medium for advanced intelligent image analysis and display of medical images and information |
| US10238368B2 (en) * | 2013-09-21 | 2019-03-26 | General Electric Company | Method and system for lesion detection in ultrasound images |
| CN105917354A (zh) * | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
| CN108140141B (zh) | 2015-08-15 | 2019-09-06 | 易享信息技术有限公司 | 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统 |
| JP6849966B2 (ja) * | 2016-11-21 | 2021-03-31 | 東芝エネルギーシステムズ株式会社 | 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム |
| KR101879207B1 (ko) | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
| CN106780460B (zh) * | 2016-12-13 | 2019-11-08 | 杭州健培科技有限公司 | 一种用于胸部ct影像的肺结节自动检测系统 |
| JP7054787B2 (ja) * | 2016-12-22 | 2022-04-15 | パナソニックＩｐマネジメント株式会社 | 制御方法、情報端末、及びプログラム |
| CN108022238B (zh) | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
| CN108257674A (zh) * | 2018-01-24 | 2018-07-06 | 龙马智芯（珠海横琴）科技有限公司 | 疾病预测方法和装置、设备、计算机可读存储介质 |
| CN108171709A (zh) * | 2018-01-30 | 2018-06-15 | 北京青燕祥云科技有限公司 | 肝占位性病灶区域的检测方法、装置和实现装置 |
| CN108447046B (zh) * | 2018-02-05 | 2019-07-26 | 龙马智芯（珠海横琴）科技有限公司 | 病灶的检测方法和装置、计算机可读存储介质 |
| CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
| CN108717569B (zh) * | 2018-05-16 | 2022-03-22 | 中国人民解放军陆军工程大学 | 一种膨胀全卷积神经网络装置及其构建方法 |
| CN111292301A (zh) * | 2018-12-07 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种病灶检测方法、装置、设备及存储介质 |
-
2018
- 2018-12-07 CN CN202010071412.XA patent/CN111292301A/zh active Pending
- 2018-12-07 CN CN201811500631.4A patent/CN109754389B/zh active Active
-
2019
- 2019-10-30 JP JP2021500548A patent/JP7061225B2/ja active Active
- 2019-10-30 SG SG11202013074SA patent/SG11202013074SA/en unknown
- 2019-10-30 KR KR1020207038088A patent/KR20210015972A/ko active Search and Examination
- 2019-10-30 WO PCT/CN2019/114452 patent/WO2020114158A1/zh active Application Filing
- 2019-12-04 TW TW108144288A patent/TWI724669B/zh active
-
2020
- 2020-12-28 US US17/134,771 patent/US20210113172A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN109754389B (zh) | 2021-08-24 |
| TW202032579A (zh) | 2020-09-01 |
| US20210113172A1 (en) | 2021-04-22 |
| CN109754389A (zh) | 2019-05-14 |
| TWI724669B (zh) | 2021-04-11 |
| JP2021531565A (ja) | 2021-11-18 |
| WO2020114158A1 (zh) | 2020-06-11 |
| JP7061225B2 (ja) | 2022-04-27 |
| CN111292301A (zh) | 2020-06-16 |
| SG11202013074SA (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210015972A (ko) | 병소 검출 방법, 장치, 기기 및 기억 매체 | |
| US10409366B2 (en) | Method and apparatus for controlling display of digital content using eye movement | |
| Andriole et al. | Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day | |
| JP7386812B2 (ja) | 照明推定 | |
| WO2019245768A1 (en) | System for predicting articulated object feature location | |
| CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
| CN109460756B (zh) | 医学影像处理方法、装置、电子设备及计算机可读介质 | |
| US10185701B2 (en) | Unsupported character code detection mechanism | |
| US11810297B2 (en) | Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion | |
| WO2021222251A1 (en) | Augmented reality interaction and contextual menu system | |
| US20240134499A1 (en) | Image template-based ar form experiences | |
| JP2019536505A (ja) | コンテキスト依存拡大鏡 | |
| CN107480673B (zh) | 确定医学图像中感兴趣区域的方法、装置及图像编辑系统 | |
| CN110069254B (zh) | 文本显示方法、装置及服务器 | |
| CN109718554B (zh) | 一种实时渲染方法、装置及终端 | |
| JP5446700B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN113129362A (zh) | 一种三维坐标数据的获取方法及装置 | |
| EP4202867A1 (en) | Method, device and system for automated processing of medical images and medical reports of a patient | |
| Tang et al. | The implementation of an AR (augmented reality) approach to support mammographic interpretation training: an initial feasibility study | |
| JP6168872B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Cruz Bautista et al. | Hand features extractor using hand contour–a case study | |
| WO2022181253A1 (ja) | 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
| KR102639050B1 (ko) | Vr 이미지 콘텐츠 제공 시스템 | |
| CN109754450B (zh) | 一种赛道生成方法、装置及设备 | |
| CN114972007A (zh) | 一种图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |