KR102623109B1 - 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 - Google Patents
합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 Download PDFInfo
- Publication number
- KR102623109B1 KR102623109B1 KR1020210121269A KR20210121269A KR102623109B1 KR 102623109 B1 KR102623109 B1 KR 102623109B1 KR 1020210121269 A KR1020210121269 A KR 1020210121269A KR 20210121269 A KR20210121269 A KR 20210121269A KR 102623109 B1 KR102623109 B1 KR 102623109B1
- Authority
- KR
- South Korea
- Prior art keywords
- shufflenet
- convolution
- medical image
- information
- result
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 44
- 238000010191 image analysis Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000012805 post-processing Methods 0.000 claims abstract description 31
- 201000010099 disease Diseases 0.000 claims abstract description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 137
- 238000005070 sampling Methods 0.000 claims description 42
- 238000003703 image analysis method Methods 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims 1
- 238000001308 synthesis method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템이 제공된다. 본 발명의 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템은 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고, 필요한 경우 상기 의료 영상 정보에 대한 전처리를 수행하여 전처리 된 정보를 획득하는 영상 정보 전처리부; 상기 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하는 영상 정보 합성곱 처리부; 및 상기 본처리 된 정보에 후처리를 수행하여 상기 의심 환자에 대한 상기 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하는 영상 처리 결과 출력부;를 포함한다.
Description
본 발명은 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법에 관한 것으로, 특히, 컴퓨터 단층 촬영과 같은 의료용 3차원 촬영 기술들로부터 산출된 이미지들을 효율적으로 분석할 수 있는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법에 관한 것이다.
AlexNet팀이 ImageNet 챌린지에서 우승한 이후로, 합성곱 신경망(Convolution Neural Network, CNN) 구조는 컴퓨터 비전 분야에서 계속해서 널리 사용되고 있는 인공신경망 구조이다. 이러한 CNN의 다양한 변형은, 컴퓨터 비전 분야에서 주로 3채널의 RGB 이미지, 1채널의 Gray 스케일 이미지를 처리하기 위해 사용되고 있다.
한편, CT 이미지로 대표되는 3차원 의료 영상에 대한 분석은 다양한 의료 분야에서 널리 연구되고 있으며, 이러한 CT 이미지 분석시 2차원 이미지인 CT 이미지 시퀀스의 각 슬라이스를 합하여 3차원 이미지 영상으로 취급할 수 있으며, 이를 CNN 알고리즘에 적용할 수도 있다.
CT 이미지 분석시, CT 이미지의 각 슬라이스는 입력 이미지의 채널에 매핑될 수 있다. 이 때, 입력되는 채널들은, 각각 매우 작은 최초 관심 영역을 포함하는 경우가 많은데, 많은 종래 CNN 기반 인공신경망 모형들은 기본적으로 수많은 합성곱 연산을 수행하도록 설계가 되어있다. 결과적으로 이러한 CNN 기반 모형들은, 이와 같은 의료 이미지 분석을 위한 학습 절차내에서 불필요한 합성곱 연산을 반복해서 수행하게 되고, 따라서, 많은 경우에 비교적 많은 계산 낭비를 초래하게 되는 문제점이 존재한다.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 종래의 다른 CNN을 이용하는 3차원 의료 영상 분석 시스템 및 방법과 유의미한 차이를 보이지 않는 정확도를 가짐과 동시에 비교적 적은 파라미터와 적은 플롭스를 이용하여 계산을 수행함으로써 다른 시스템 및 방법에 비하여 보다 효율적인 연산을 수행할 수 있는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템이 제공된다. 상기 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템은 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고, 필요한 경우 상기 의료 영상 정보에 대한 전처리를 수행하여 전처리 된 정보를 획득하는 영상 정보 전처리부; 상기 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하는 영상 정보 합성곱 처리부; 및 상기 본처리 된 정보에 후처리를 수행하여 상기 의심 환자에 대한 상기 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하는 영상 처리 결과 출력부;를 포함한다.
상기 영상 정보 전처리부는, 상기 의료 영상 정보를 획득하여 상기 의료 영상 정보에 포함된 채널 개수를 획득하는 영상 정보 획득 모듈; 및 상기 채널 개수가 기 설정된 기준 값 이상인 경우 상기 기준 값까지 상기 채널 개수를 감소시키기 위해 상기 의료 영상 정보의 슬라이스를 압축하는 전처리를 수행하는 영상 정보 전처리 모듈;을 포함하는 합성곱 신경망 모델을 이용할 수 있다.
상기 전처리는 상기 의료 영상 정보에 포인트와이즈 합성곱을 이용하여 압축된 영상을 생성하고, 상기 압축된 영상에 일반 합성곱을 수행하여 상기 전처리 된 정보를 생성할 수 있다.
상기 영상 정보 획득 모듈은, 상기 의료 영상 정보를 128×128×32 크기의 영상으로 설정하며, 상기 영상 정보 전처리 모듈은 상기 의료 영상 정보에 상기 포인트와이즈 합성곱을 수행하여 128×128×8 크기의 영상을 상기 압축된 영상으로 생성하고, 상기 압축된 영상에 상기 일반 합성곱을 수행하여 64×64×24의 크기의 영상을 상기 전처리 된 정보로 출력할 수 있다.
상기 영상 정보 합성곱 처리부는, 상기 전처리 된 정보에 상기 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 합성곱 알고리즘을 생성하는 셔플넷 차수 결정 모듈; 상기 셔플넷 차수 별로 각각 최초 1회에 다운 샘플링 셔플넷 합성곱을 수행하는 다운 샘플링 셔플넷 수행 모듈; 및 상기 다운 샘플링 셔플넷 합성곱이 수행된 결과에 상기 셔플넷 차수별로 기 설정된 일반 셔플넷 합성곱을 수행하는 일반 셔플넷 수행 모듈;을 포함할 수 있다.
상기 셔플넷 차수 결정 모듈은 상기 셔플넷 차수를 최대 3차수까지 결정할 수 있으며, 상기 셔플넷 합성곱 알고리즘은 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘을 포함할 수 있다.
상기 일반 셔플넷 수행 모듈은 상기 제1차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하고, 상기 제2차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 7번 수행하며, 상기 제3차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행할 수 있다.
상기 영상 정보 합성곱 처리부는, 획득한 상기 전처리 된 정보에 상기 제1차 셔플넷 알고리즘을 적용하여 제1차 셔플넷 결과를 생성하고, 상기 제1차 셔플넷 결과에 상기 제2차 셔플넷 알고리즘을 적용하여 제2차 셔플넷 결과를 생성하며, 상기 제2차 셔플넷 결과에 상기 제3차 셔플넷 알고리즘을 적용하여 제3차 셔플넷 결과를 생성할 수 있다.
상기 제1차 셔플넷 결과는 32×32×48크기의 특징 맵으로 표현되고, 상기 제2차 셔플넷 결과는 16×16×96크기의 특징 맵으로 표현되며, 상기 제3차 셔플넷 결과는 8×8×192크기의 특징 맵으로 표현될 수 있다.
상기 영상 처리 결과 출력부는, 상기 본처리 된 정보를 전달 받아 상기 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하는 영상 정보 후처리 모듈; 및 상기 후처리 된 정보에 대해 선형화(linear) 작업을 수행하여 상기 특정 질환의 양성 여부를 판단하고, 상기 판단 결과를 출력하는 판단 결과 출력 모듈;을 포함할 수 있다.
상기 후처리는 포인트와이즈 합성곱을 이용하여 수행될 수 있다.
본 발명의 일 측면에 따르면, 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법이 제공된다. 상기 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법은, 영상 전처리부를 이용하여 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고, 필요한 경우 상기 의료 영상 정보에 대한 전처리를 수행하여 전처리 된 정보를 획득하는 단계; 영상 정보 합성곱 처리부를 이용하여 상기 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하는 단계; 및 영상 결과 출력부를 이용하여 상기 본처리 된 정보에 후처리를 수행하고 상기 의심 환자에 대한 상기 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하는 단계;를 포함할 수 있다.
상기 전처리 된 정보를 획득하는 단계는, 상기 의료 영상 정보를 획득하여 상기 의료 영상 정보에 포함된 채널 개수를 획득하는 단계; 및 상기 채널 개수가 기 설정된 기준 값 이상인 경우 상기 기준 값까지 상기 채널 개수를 감소시키기 위해 상기 의료 영상 정보의 슬라이스를 압축하는 전처리를 수행하는 단계;를 포함할 수 있다.
상기 전처리는 상기 의료 영상 정보에 포인트와이즈 합성곱을 이용하여 압축된 영상을 생성하고, 상기 압축된 영상에 일반 합성곱을 수행하여 상기 전처리 된 정보를 생성할 수 있다.
상기 의료 영상 정보에 포함된 채널 개수를 획득하는 단계는, 상기 의료 영상 정보를 128×128×32 크기의 영상으로 설정하며, 상기 전처리를 수행하는 단계는 상기 의료 영상 정보에 상기 포인트와이즈 합성곱을 수행하여 128×128×8 크기의 영상을 상기 압축된 영상으로 생성하고, 상기 압축된 영상에 상기 일반 합성곱을 수행하여 64×64×24의 크기의 영상을 상기 전처리 된 정보로 출력할 수 있다.
상기 본처리 된 정보를 획득하는 단계는, 상기 전처리 된 정보에 상기 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 합성곱 알고리즘을 생성하는 단계; 상기 셔플넷 차수 별로 각각 최초 1회에 다운 샘플링 셔플넷 합성곱을 수행하는 단계; 및 상기 다운 샘플링 셔플넷 합성곱이 수행된 결과에 상기 셔플넷 차수별로 기 설정된 일반 셔플넷 합성곱을 수행하는 단계;를 포함할 수 있다.
상기 셔플넷 합성곱 알고리즘을 생성하는 단계는, 상기 셔플넷 차수를 최대 3차수까지 결정할 수 있으며, 상기 셔플넷 합성곱 알고리즘은 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘을 포함할 수 있다.
상기 일반 셔플넷 합성곱을 수행하는 단계는, 상기 제1차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하고, 상기 제2차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 7번 수행하며, 상기 제3차 셔플넷 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행할 수 있다.
상기 본처리 된 정보를 획득하는 단계는, 획득한 상기 전처리 된 정보에 상기 제1차 셔플넷 알고리즘을 적용하여 제1차 셔플넷 결과를 생성하고, 상기 제1차 셔플넷 결과에 상기 제2차 셔플넷 알고리즘을 적용하여 제2차 셔플넷 결과를 생성하며, 상기 제2차 셔플넷 결과에 상기 제3차 셔플넷 알고리즘을 적용하여 제3차 셔플넷 결과를 생성할 수 있다.
상기 제1차 셔플넷 결과는 32×32×48크기의 특징 맵으로 표현되고, 상기 제2차 셔플넷 결과는 16×16×96크기의 특징 맵으로 표현되며, 상기 제3차 셔플넷 결과는 8×8×192크기의 특징 맵으로 표현될 수 있다.
상기 판단 결과를 출력하는 단계는, 상기 본처리 된 정보를 전달 받아 상기 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하는 단계; 및 상기 후처리 된 정보에 대해 선형화(linear) 작업을 수행하여 상기 특정 질환의 양성 여부를 판단하고, 상기 판단 결과를 출력하는 단계;를 포함할 수 있다.
상기 후처리는 포인트와이즈 합성곱을 이용하여 수행될 수 있다.
본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법은 종래의 다른 CNN을 이용하는 3차원 의료 영상 분석 시스템 및 방법과 유의미한 차이를 보이지 않는 정확도를 가짐과 동시에 비교적 적은 파라미터와 적은 플롭스를 이용하여 계산을 수행할 수 있는 효과가 있다.
또, 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법은 종래의 다른 CNN을 이용하는 3차원 의료 영상 분석 시스템 및 방법 보다 효율적인 연산을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템을 나타낸 도이다.
도 2는 도 1의 영상 정보 전처리부를 나타낸 블록도이다.
도 3은 도 1의 영상 정보 합성곱 처리부를 나타낸 블록도이다.
도 4는 도 1의 영상 처리 결과 출력부를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법을 나타낸 순서도이다.
도 6은 도 5의 단계 S11을 상세히 나타낸 순서도이다.
도 7은 도 5의 단계 S12를 상세히 나타낸 순서도이다.
도 8은 도 5의 단계 S13을 상세히 나타낸 순서도이다.
도 9는 본 발명에서 사용하는 (a) 일반 셔플넷 합성곱 알고리즘 및 (b) 다운 샘플링 셔플넷 합성곱 알고리즘을 나타낸 순서도이다.
도 2는 도 1의 영상 정보 전처리부를 나타낸 블록도이다.
도 3은 도 1의 영상 정보 합성곱 처리부를 나타낸 블록도이다.
도 4는 도 1의 영상 처리 결과 출력부를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법을 나타낸 순서도이다.
도 6은 도 5의 단계 S11을 상세히 나타낸 순서도이다.
도 7은 도 5의 단계 S12를 상세히 나타낸 순서도이다.
도 8은 도 5의 단계 S13을 상세히 나타낸 순서도이다.
도 9는 본 발명에서 사용하는 (a) 일반 셔플넷 합성곱 알고리즘 및 (b) 다운 샘플링 셔플넷 합성곱 알고리즘을 나타낸 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템을 나타낸 도이고, 도 2는 도 1의 영상 정보 전처리부를 나타낸 블록도이며, 도 3은 도 1의 영상 정보 합성곱 처리부를 나타낸 블록도이고, 도 4는 도 1의 영상 처리 결과 출력부를 나타낸 블록도이다.
이하에서는 도 1 내지 도 4를 이용하여 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템에 대하여 상세히 설명하도록 한다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템(1, 이하 영상 분석 시스템이라 함)은 3차원 의료 영상 촬영 장치(2)와 유선 또는 무선 통신망을 이용하여 연결되어 3차원 의료 영상 촬영 장치(2)로부터 특정 환자에 대한 3차원 의료 영상을 전달 받도록 형성된다. 본 발명에서 3차원 의료 영상 촬영 장치(2)는 CT 장치로 설명하도록 하지만, 본 발명이 반드시 이에 한정되는 것은 아니다.
본 발명의 영상 분석 시스템(1)은 CT 이미지 영상을 획득하여 합성곱 알고리즘을 적용하고, 적용 결과를 출력하도록 형성된다. 이를 위해 본 발명의 영상 분석 시스템(1)은 도 1에 도시된 바와 같이 영상 정보 전처리부(11), 영상 정보 합성곱 처리부(12) 및 영상 처리 결과 출력부(13)를 포함하도록 형성된다.
영상 정보 전처리부(11)는 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고 필요한 경우 의료 영상 정보에 대한 전처리 된 정보를 획득하도록 형성된다. 영상 정보 전처리부(11)는 의심 환자에 대한 3차원 의료 영상 정보를 도 1에 도시된 바와 같이 유선 또는 무선 통신망을 이용하여 연결된 3차원 의료 영상 촬영 장치(2)로부터 획득할 수 있다. 이를 위해 영상 정보 전처리부(11)는 도 2에 도시된 바와 같이 영상 정보 획득 모듈(111) 및 영상 정보 전처리 모듈(112)을 포함하도록 형성될 수 있다.
영상 정보 획득 모듈(111)은 의료 영상 정보를 획득하도록 형성된다. 영상 정보 획득 모듈(111)은 상술한 바와 같이 유선 또는 무선 통신망을 이용하여 연결된 3차원 의료 영상 촬영 장치(2)로부터 의심 환자에 대한 의료 영상 정보를 획득한다. 또 의료 영상 정보를 획득하면, 영상 정보 획득 모듈(111)은 의료 영상 정보를 확인하여 채널 개수를 더 획득할 수도 있다.
채널은 2차원 의료 영상 정보의 개수일 수 있다. 본 발명에서 3차원 의료 영상 정보는 다수의 2차원 의료 영상 정보가 적층되어 형성되는 정보이다. 일 예로, CT는 특정 위치의 단면을 촬영하도록 형성되기 때문에 2차원 의료 영상 정보로 생성된다. 이러한 2차원 의료 영상 정보를 복수개 획득하여 적층하게 되면 CT를 통해 복수회 촬영한 범위의 3차원 의료 영상 정보를 획득할 수 있게 된다.
이때, 2차원 의료 영상 정보는 일 예로 슬라이스라고 표현 되며, 본 발명의 채널은 이러한 슬라이스의 개수를 의미할 수 있다.
영상 정보 전처리 모듈(112)은 영상 정보 획득 모듈(111)에서 획득한 의료 영상 정보에 대한 전처리를 수행하기 위해 형성된다. 영상 정보 전처리 모듈(112)은 의료 영상 정보에 대한 전처리를 수행하여 의료 영상 정보의 슬라이스를 압축할 수 있다. 본 발명의 영상 정보 전처리 모듈(112)는 일 예로 영상 정보 획득 모듈(111)에서 획득한 의료 영상 정보의 채널 수를 전달 받고, 전달 받은 채널 수가 기 설정된 개수를 초과하는 경우 기 설정된 개수로 감소시키고 후술되는 본처리를 수행하기 위한 크기로 의료 영상 정보를 변경하는 전처리를 수행할 수 있다.
여기서 전처리는 의료 영상 정보에 포인트와이즈 합성곱을 적용한 후 일반 합성곱(CNN)을 적용하는 처리일 수 있다. 포인트와이즈 합성곱은 채널 개수를 감소시키기 위한 알고리즘이다. 포인트와이즈 합성곱은 커널 크기가 고정되어 각 채널에 대한 연산만 수행하기 때문에 채널을 압축하기 위해 주로 사용될 수 있다.
일반 합성곱(CNN)은 후술되는 본처리를 수행하기 위해 의료 영상 정보를 규격화하기 위해 사용될 수 있다.
본 발명의 일 실시예에서는 기 설정된 개수의 채널을 8개로 설정하였으며, 따라서 본 발명의 영상 정보 전처리 모듈(112)은 8개의 채널을 생성하기 위해 8개를 초과하는 슬라이스를 가지는 의료 영상 정보에 대하여 전처리를 수행하여 채널을 압축할 수 있다.
또, 본 발명의 영상 정보 전처리 모듈(112)은 포인트와이즈 합성곱을 수행하여 8개의 채널을 가지는 영상에 일반 합성곱(CNN)을 수행하여 24채널을 가지는 전처리 된 정보를 출력할 수 있다.
본 발명의 일 실시예에서는 획득하는 의료 영상 정보가 128×128×32의 크기를 가진다고 가정한다. 의료 영상 정보의 크기는 사용자의 설정에 따라 변경될 수 있으며, 일반적으로는 규격화되어 출력된다. 하지만 규격화 되지 않은 의료 영상 정보를 획득하는 경우에는 해당 의료 영상 정보를 사용하기 위해서 규격화 과정이 요구된다. 따라서, 본 발명의 영상 정보 전처리부(11)는 비규격 의료 영상 정보를 획득하면 먼저 128×128×32 크기의 의료 영상 정보로 변경하는 규격화 과정을 더 수행할 수도 있다.
정리하면, 본 발명의 영상 정보 전처리부(11)는 의료 영상 정보를 영상 정보 획득 모듈(111)을 통해 획득하고, 영상 정보 전처리 모듈(112)에서 필요한 경우 규격화를 수행하여 128×128×32 크기의 의료 영상 정보에 대한 전처리를 수행한다. 여기서 영상 정보 전처리 모듈(112)은 1차 전처리로 포인트와이즈 합성곱을 수행하여 128×128×8 크기의 영상을 생성하고, 생성한 영상에 2차 전처리인 일반 합성곱(CNN)을 수행하여 최종적으로 64×64×24 크기의 전처리 된 정보를 출력할 수 있다.
영상 정보 합성곱 처리부(12)는 영상 정보 전처리부(11)에서 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하도록 형성된다. 본 발명의 일 실시예에서 상술한 합성곱은 셔플넷 합성곱일수 있다. 본 발명에 따른 영상 정보 합성곱 처리부(12)는 이를 위해 도 3에 도시된 바와 같이 셔플넷 차수 결정 모듈(121), 다운 샘플링 셔플넷 수행 모듈(122) 및 일반 셔플넷 수행 모듈(123)을 포함할 수 있다.
셔플넷 차수 결정 모듈(121)은 전처리 된 정보에 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 알고리즘을 생성하도록 형성된다. 셔플넷 합성곱은 채널을 그룹화하여 합성곱을 수행하며, 그룹을 섞어줌으로써 기존의 다른 알고리즘에 비하여 합성곱 연산량을 크게 감소시킬 수 있는 합성곱 알고리즘이며, 일반적으로는 도 9a에 도시된 바와 같이 나타난다.
본 발명의 셔플넷 차수 결정 모듈(121)은 셔플넷 차수를 결정한다. 본 발명에서는 최대 3차의 셔플넷을 수행하게 된다. 본 발명의 셔플넷 차수 결정 모듈(121)은 3차의 셔플넷을 각각 수행할 수 있는 셔플넷 알고리즘을 생성하고, 여기서 셔플넷 알고리즘은 차수에 따라 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘으로 표현될 수 있다.
셔플넷 차수 결정 모듈(121)은 처리 정보를 획득하면, 해당 처리 정보가 어느 정보인지 확인하고, 확인 결과에 대응하는 셔플넷 알고리즘을 수행하여 해당 처리 정보를 본처리 된 정보로 생성할 수 있다.
본 발명의 일 실시예에서는 전처리 된 정보가 영상 정보 합성곱 처리부(12)로 전달되면, 전처리 된 정보는 제1차 셔플넷 합성곱 알고리즘에 적용되어 제1차 셔플넷 결과가 생성되고, 제1차 셔플넷 결과는 제2차 셔플넷 합성곱 알고리즘에 적용되어 제2차 셔플넷 결과로 처리되며, 제2차 셔플넷 결과는 제3차 셔플넷 합성곱 알고리즘에 적용되어 제3차 셔플넷 결과로 처리될 수 있다. 여기서, 제3차 셔플넷 결과는 본 발명의 본처리 된 정보일 수 있다.
즉, 셔플넷 차수 결정 모듈(121)은 전처리 된 정보 뿐 아니라 각각의 제n차 셔플넷 결과를 처리 정보로 획득하고, 획득한 처리 정보에 따라 다음으로 적용할 셔플넷 합성곱 알고리즘을 대응시킬 수 있다.
다운 샘플링 셔플넷 수행 모듈(122)은 처리 정보가 셔플넷 합성곱 알고리즘에 적용되면, 1번의 다운 샘플링 셔플넷을 수행하도록 형성된다.
본 발명의 일 실시예에 따른 셔플넷 알고리즘은 모두 최초 1번의 다운 샘플링 셔플넷을 수행하며, 이후에는 각각의 셔플넷 알고리즘에서 기 설정된 횟수만큼 일반 셔플넷을 수행하도록 형성된다. 따라서, 다운 샘플링 셔플넷 수행 모듈(122)은 전처리 된 정보, 제1차 셔플넷 결과 및 제2차 셔플넷 결과 중 어느 하나를 획득하게 되면, 각각 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘이 적용되어야 하기 때문에 해당 처리 정보에 1회의 다운 샘플링 셔플넷을 수행할 수 있다. 이때, 본 발명에서 사용하는 다운 샘플링 셔플넷 합성곱의 일 예가 도 9b에 도시되고 있다.
일반 셔플넷 수행 모듈(123)은 처리 정보가 셔플넷 합성곱 알고리즘에 적용되면, 셔플넷 합성곱 알고리즘의 차수에 따라 기 설정된 횟수의 일반 셔플넷을 다운 샘플링 셔플넷 합성곱 수행 결과에 수행하도록 형성된다. 일반 셔플넷은 셔플넷 합성곱 알고리즘의 차수에 따라 수행 횟수가 결정된다. 본 발명의 일 실시예에서는 제1차 셔플넷 합성곱 알고리즘은 3번의 일반 셔플넷을 수행하도록 결정되며, 제2차 셔플넷 합성곱 알고리즘으 7번의 일반 셔플넷을 수행하도록 결정되고, 제3차 셔플넷 합성곱 알고리즘은 3번의 일반 셔플넷을 수행하도록 결정된다.
즉 정리하면, 본 발명의 제1차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 이후 3번의 일반 셔플넷을 수행하는 알고리즘이고, 제2차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 이후 7번의 일반 셔플넷을 수행하는 알고리즘이며, 제3차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 후 3번의 일반 셔플넷을 수행하는 알고리즘으로 표현 될 수 있다.
각각의 차수의 셔플넷 합성곱 알고리즘은 전처리 된 정보를 특정 크기의 특징 맵으로 생성하기 위해 형성된다. 본 발명의 일 실시예에서 제1차 셔플넷 합성곱 알고리즘은 64×64×24 크기의 전처리 된 정보를 이용하여 32×32×48 크기의 특징 맵을 생성한다. 또, 제2차 셔플넷 합성곱 알고리즘은 32×32×48 크기의 특징맵을 이용하여 16×16×96 크기의 특징 맵을 생성한다. 마지막으로 제3차 셔플넷 합성곱 알고리즘은 16×16×96 크기의 특징 맵을 이용하여 8×8×192 크기의 특징 맵을 생성한다.
제3차 셔플넷 결과인 본처리 된 정보가 8×8×192 크기의 특징 맵으로 형성되면, 본 발명의 의료 영상 분석 시스템(1)은 영상 처리 결과 출력부(13)를 이용하여 본처리 된 정보에 후처리를 수행할 수 있다.
영상 처리 결과 출력부(13)는 본처리 된 정보에 후처리를 수행하여 의심 환자에 대한 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하도록 형성될 수 있다. 이를 위해 본 발명의 일 실시예에 따른 영상 처리 결과 출력부(13)는 도 4에 도시된 바와 같이 영상 정보 후처리 모듈(131) 및 판단 결과 출력 모듈(132)을 포함할 수 있다.
영상 정보 후처리 모듈(131)은 본처리 된 정보를 전달 받아 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하기 위해 형성된다. 여기서 본처리 된 정보의 슬라이스는 상술한 바와 같이 채널일 수 있다. 영상 정보 후처리 모듈(131)은 합성곱 알고리즘에 의료 영상 정보를 적용하여 획득한 결과값을 통해 본 발명의 목표인 특정 질병 의심 환자에 대한 의료 영상 정보로부터 양성 여부를 판단하기 위한 최종 처리인 후처리를 수행할 수 있다.
여기서 후처리는 포인트와이즈 합성곱일 수 있으며, 이를 통해 영상 정보 후처리 모듈(131)은 복수개의 슬라이스(채널)을 가지고 획득된 의료 영상 정보를 학습이 종료된 1개의 2차원 의료 영상 정보로 변경할 수 있다.
판단 결과 출력 모듈(132)은 후처리 된 정보를 이용하여 판단 결과를 출력하도록 형성된다. 판단 결과 출력 모듈(132)은 후처리 된 정보에 선형화(linear) 작업을 수행하여 특정 질환의 양성 여부를 판단하고, 판단 결과를 출력할 수 있다. 여기서 선형화 작업을 수행하는 이유는 2차원 의료 영상 정보로부터 양성 여부를 판단하기 위함이다.
한편, 도 5 내지 도 8에는 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법이 도시되고 있다. 도 5는 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법을 나타낸 순서도이고, 도 6은 도 5의 단계 S11을 상세히 나타낸 순서도이며, 도 7은 도 5의 단계 S12를 상세히 나타낸 순서도이고, 도 8은 도 5의 단계 S13을 상세히 나타낸 순서도이다.
이하에서는 설명의 편의상 도 1 내지 도 4의 3차원 의료 영상 분석 시스템을 이용하여 본 발명의 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법(3, 이하 의료 영상 분석 방법이라 함)이 동작하는 것으로 가정하고 설명하도록 한다. 하지만, 본 발명은 반드시 이에 한정되는 것은 아니며 유사한 동작을 수행할 수 있는 다른 장치 또는 단말기 등에서도 사용 가능하다.
도 5를 참고하면, 본 발명의 영상 분석 방법(3)은 전처리 된 정보를 획득하는 단계(S11), 본처리 된 정보를 획득하는 단계(S12) 및 판단 결과를 출력하는 단계(S13)를 포함하여 형성될 수 있다. 본 발명의 영상 분석 방법(3)은 CT 이미지 영상을 획득하여 합성곱 알고리즘을 적용하고, 적용 결과를 출력하도록 형성된다.
전처리 된 정보를 획득하는 단계(S11)는 영상 정보 전처리부를 이용하여 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고 필요한 경우 의료 영상 정보에 대한 전처리 된 정보를 획득하도록 형성된다. 전처리 된 정보를 획득하는 단계(S11)는 의심 환자에 대한 3차원 의료 영상 정보를 도 1에 도시된 바와 같이 유선 또는 무선 통신망을 이용하여 연결된 3차원 의료 영상 촬영 장치로부터 획득할 수 있다.
이를 위해 전처리 된 정보를 획득하는 단계(S11)는 도 6에 도시된 바와 같이 채널 개수를 획득하는 단계(S111) 및 전처리를 수행하는 단계(S112)를 포함하여 형성될 수 있다.
채널 개수를 획득하는 단계(S111)는 의료 영상 정보를 획득하도록 형성된다. 단계 S111는 상술한 바와 같이 유선 또는 무선 통신망을 이용하여 연결된 3차원 의료 영상 촬영 장치로부터 의심 환자에 대한 의료 영상 정보를 획득한다. 또 의료 영상 정보를 획득하면, 단계 S111는 의료 영상 정보를 확인하여 채널 개수를 더 획득할 수도 있다.
채널은 2차원 의료 영상 정보의 개수일 수 있다. 본 발명에서 3차원 의료 영상 정보는 다수의 2차원 의료 영상 정보가 적층되어 형성되는 정보이다. 일 예로, CT는 특정 위치의 단면을 촬영하도록 형성되기 때문에 2차원 의료 영상 정보로 생성된다. 이러한 2차원 의료 영상 정보를 복수개 획득하여 적층하게 되면 CT를 통해 복수회 촬영한 범위의 3차원 의료 영상 정보를 획득할 수 있게 된다.
이때, 2차원 의료 영상 정보는 일 예로 슬라이스라고 표현 되며, 본 발명의 채널은 이러한 슬라이스의 개수를 의미할 수 있다.
전처리를 수행하는 단계(S112)는 단계 S111에서 획득한 의료 영상 정보에 대한 전처리를 수행하기 위해 형성된다. 단계 S112는 의료 영상 정보에 대한 전처리를 수행하여 의료 영상 정보의 슬라이스를 압축할 수 있다. 본 발명의 단계 S112는 일 예로 단계 S111에서 획득한 의료 영상 정보의 채널 수를 전달 받고, 전달 받은 채널 수가 기 설정된 개수를 초과하는 경우 기 설정된 개수로 감소시키고 후술되는 본처리를 수행하기 위한 크기로 의료 영상 정보를 변경하는 전처리를 수행할 수 있다.
여기서 전처리는 의료 영상 정보에 포인트와이즈 합성곱을 적용한 후 일반 합성곱(CNN)을 적용하는 처리일 수 있다. 포인트와이즈 합성곱은 채널 개수를 감소시키기 위한 알고리즘이다. 포인트와이즈 합성곱은 커널 크기가 고정되어 각 채널에 대한 연산만 수행하기 때문에 채널을 압축하기 위해 주로 사용될 수 있다.
일반 합성곱(CNN)은 후술되는 본처리를 수행하기 위해 의료 영상 정보를 규격화하기 위해 사용될 수 있다.
본 발명의 일 실시예에서는 기 설정된 개수의 채널을 8개로 설정하였으며, 따라서 본 발명의 단계 S112는 8개의 채널을 생성하기 위해 8개를 초과하는 슬라이스를 가지는 의료 영상 정보에 대하여 전처리를 수행하여 채널을 압축할 수 있다.
또, 본 발명의 단계 S112는 포인트와이즈 합성곱을 수행하여 8개의 채널을 가지는 영상에 일반 합성곱(CNN)을 수행하여 24채널을 가지는 전처리 된 정보를 출력할 수 있다.
본 발명의 일 실시예에서는 획득하는 의료 영상 정보가 128×128×32의 크기를 가진다고 가정한다. 의료 영상 정보의 크기는 사용자의 설정에 따라 변경될 수 있으며, 일반적으로는 규격화되어 출력된다. 하지만 규격화 되지 않은 의료 영상 정보를 획득하는 경우에는 해당 의료 영상 정보를 사용하기 위해서 규격화 과정이 요구된다. 따라서, 본 발명의 전처리 된 정보를 획득하는 단계(S11)는 비규격 의료 영상 정보를 획득하면 먼저 128×128×32 크기의 의료 영상 정보로 변경하는 규격화 과정을 더 수행할 수도 있다.
정리하면, 본 발명의 전처리 된 정보를 획득하는 단계(S11)는 의료 영상 정보를 단계 S111을 통해 획득하고, 단계 S112에서 필요한 경우 규격화를 수행하여 128×128×32 크기의 의료 영상 정보에 대한 전처리를 수행한다. 여기서 단계 S112는 1차 전처리로 포인트와이즈 합성곱을 수행하여 128×128×8 크기의 영상을 생성하고, 생성한 영상에 2차 전처리인 일반 합성곱(CNN)을 수행하여 최종적으로 64×64×24 크기의 전처리 된 정보를 출력할 수 있다.
본처리 된 정보를 획득하는 단계(S12)는 영상 정보 합성곱 처리부를 이용하여 단계 S11에서 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하도록 형성된다. 본 발명의 일 실시예에서 상술한 합성곱은 셔플넷 합성곱일수 있다. 본 발명에 따른 본처리 된 정보를 획득하는 단계(S12)는 이를 위해 도 7에 도시된 바와 같이 셔플넷 합성곱 알고리즘을 생성하는 단계(S121), 다운 샘플링 셔플넷 합성곱을 수행하는 단계(S122) 및 일반 셔플넷 합성곱을 수행하는 단계(S123)를 포함하도록 형성된다.
셔플넷 합성곱 알고리즘을 생성하는 단계(S121)는 전처리 된 정보에 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 알고리즘을 생성하도록 형성된다. 셔플넷 합성곱은 채널을 그룹화하여 합성곱을 수행하며, 그룹을 섞어줌으로써 기존의 다른 알고리즘에 비하여 합성곱 연산량을 크게 감소시킬 수 있는 합성곱 알고리즘이며, 일반적으로는 도 9a에 도시된 바와 같이 나타난다.
본 발명의 단계 S121은 셔플넷 차수를 결정한다. 본 발명에서는 최대 3차의 셔플넷을 수행하게 된다. 본 발명의 단계 S121은 3차의 셔플넷을 각각 수행할 수 있는 셔플넷 알고리즘을 생성하고, 여기서 셔플넷 알고리즘은 차수에 따라 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘으로 표현될 수 있다.
단계 S121은 처리 정보를 획득하면, 해당 처리 정보가 어느 정보인지 확인하고, 확인 결과에 대응하는 셔플넷 알고리즘을 수행하여 해당 처리 정보를 본처리 된 정보로 생성할 수 있다.
본 발명의 일 실시예에서는 전처리 된 정보가 본처리 된 정보를 획득하는 단계(S12)로 전달되면, 전처리 된 정보는 제1차 셔플넷 합성곱 알고리즘에 적용되어 제1차 셔플넷 결과가 생성되고, 제1차 셔플넷 결과는 제2차 셔플넷 합성곱 알고리즘에 적용되어 제2차 셔플넷 결과로 처리되며, 제2차 셔플넷 결과는 제3차 셔플넷 합성곱 알고리즘에 적용되어 제3차 셔플넷 결과로 처리될 수 있다. 여기서, 제3차 셔플넷 결과는 본 발명의 본처리 된 정보일 수 있다.
즉, 단계 S121은 전처리 된 정보 뿐 아니라 각각의 제n차 셔플넷 결과를 처리 정보로 획득하고, 획득한 처리 정보에 따라 다음으로 적용할 셔플넷 합성곱 알고리즘을 대응시킬 수 있다.
다운 샘플링 셔플넷 합성곱을 수행하는 단계(S122)는 처리 정보가 셔플넷 합성곱 알고리즘에 적용되면, 1번의 다운 샘플링 셔플넷을 수행하도록 형성된다.
본 발명의 일 실시예에 따른 셔플넷 알고리즘은 모두 최초 1번의 다운 샘플링 셔플넷을 수행하며, 이후에는 각각의 셔플넷 알고리즘에서 기 설정된 횟수만큼 일반 셔플넷을 수행하도록 형성된다. 따라서, 다운 샘플링 셔플넷 수행 모듈(122)은 전처리 된 정보, 제1차 셔플넷 결과 및 제2차 셔플넷 결과 중 어느 하나를 획득하게 되면, 각각 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘이 적용되어야 하기 때문에 해당 처리 정보에 1회의 다운 샘플링 셔플넷을 수행할 수 있다. 이때, 본 발명에서 사용하는 다운 샘플링 셔플넷 합성곱의 일 예가 도 9b에 도시되고 있다.
일반 셔플넷 합성곱을 수행하는 단계(S123)를 처리 정보가 셔플넷 합성곱 알고리즘에 적용되면, 셔플넷 합성곱 알고리즘의 차수에 따라 기 설정된 횟수의 일반 셔플넷을 다운 샘플링 셔플넷 합성곱 수행 결과에 수행하도록 형성된다. 일반 셔플넷은 셔플넷 합성곱 알고리즘의 차수에 따라 수행 횟수가 결정된다. 본 발명의 일 실시예에서는 제1차 셔플넷 합성곱 알고리즘은 3번의 일반 셔플넷을 수행하도록 결정되며, 제2차 셔플넷 합성곱 알고리즘으 7번의 일반 셔플넷을 수행하도록 결정되고, 제3차 셔플넷 합성곱 알고리즘은 3번의 일반 셔플넷을 수행하도록 결정된다.
즉 정리하면, 본 발명의 제1차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 이후 3번의 일반 셔플넷을 수행하는 알고리즘이고, 제2차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 이후 7번의 일반 셔플넷을 수행하는 알고리즘이며, 제3차 셔플넷 합성곱 알고리즘은 1회의 다운 샘플링 셔플넷을 수행한 후 3번의 일반 셔플넷을 수행하는 알고리즘으로 표현 될 수 있다.
각각의 차수의 셔플넷 합성곱 알고리즘은 전처리 된 정보를 특정 크기의 특징 맵으로 생성하기 위해 형성된다. 본 발명의 일 실시예에서 제1차 셔플넷 합성곱 알고리즘은 64×64×24 크기의 전처리 된 정보를 이용하여 32×32×48 크기의 특징 맵을 생성한다. 또, 제2차 셔플넷 합성곱 알고리즘은 32×32×48 크기의 특징맵을 이용하여 16×16×96 크기의 특징 맵을 생성한다. 마지막으로 제3차 셔플넷 합성곱 알고리즘은 16×16×96 크기의 특징 맵을 이용하여 8×8×192 크기의 특징 맵을 생성한다.
제3차 셔플넷 결과인 본처리 된 정보가 8×8×192 크기의 특징 맵으로 형성되면, 본 발명의 의료 영상 분석 방법(3)은 판단 결과를 출력하는 단계(S13)를 이용하여 본처리 된 정보에 후처리를 수행할 수 있다.
판단 결과를 출력하는 단계(S13)는 영상 처리 결과 출력부를 이용하여 본처리 된 정보에 후처리를 수행하여 의심 환자에 대한 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하도록 형성될 수 있다. 이를 위해 본 발명의 일 실시예에 따른 판단 결과를 출력하는 단계(S13)는 도 8에 도시된 바와 같이 후처리를 수행하는 단계(S131) 및 판단 결과를 출력하는 단계(S132)를 포함하도록 형성될 수 있다.
후처리를 수행하는 단계(S131)는 본처리 된 정보를 전달 받아 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하기 위해 형성된다. 여기서 본처리 된 정보의 슬라이스는 상술한 바와 같이 채널일 수 있다. 단계 S131은 합성곱 알고리즘에 의료 영상 정보를 적용하여 획득한 결과값을 통해 본 발명의 목표인 특정 질병 의심 환자에 대한 의료 영상 정보로부터 양성 여부를 판단하기 위한 최종 처리인 후처리를 수행할 수 있다.
여기서 후처리는 포인트와이즈 합성곱일 수 있으며, 이를 통해 단계 S131은 복수개의 슬라이스(채널)을 가지고 획득된 의료 영상 정보를 학습이 종료된 1개의 2차원 의료 영상 정보로 변경할 수 있다.
판단 결과를 출력하는 단계(S132)는 후처리 된 정보를 이용하여 판단 결과를 출력하도록 형성된다. 단계 S132에서는 후처리 된 정보에 선형화(linear) 작업을 수행하여 특정 질환의 양성 여부를 판단하고, 판단 결과를 출력할 수 있다. 여기서 선형화 작업을 수행하는 이유는 2차원 의료 영상 정보로부터 양성 여부를 판단하기 위함이다.
한편, 상술한 도 1 내지 도 8에 나타나는 본 발명의 일 실시예에 따른 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법은 하기 표 1로 나타나는 모의실험 결과를 통해 그 효과를 확인할 수 있다.
표 1은 4개의 종래 알고리즘을 이용한 의료 영상 분석 결과와 본 발명을 이용한 의료 영상 분석 결과를 나타내고 있다. 여기서, 4개의 종래 알고리즘은 Resnet, GoogleNet, Resnext 및 ShuffleNet-v2 모델이다.
| Model | Resnet | GoogleNet | Resnext | ShuffleNet-v2 | Propesed |
| Parameters (M) |
23.60 | 5.69 | 86.84 | 1.26 | 0.24 |
| Macs (M) |
1717.7 | 864.5 | 5761.8 | 74.5 | 21.3 |
| AUC | 0.86±0.039 | 0.85±0.061 | 0.90±0.044 | 0.91±0.042 | 0.90±0.039 |
| Accuracy | 0.77±0.050 | 0.77±0.058 | 0.82±0.060 | 0.83±0.049 | 0.81±0.053 |
| Sensitivity | 0.78±0.085 | 0.78±0.092 | 0.84±0.078 | 0.82±0.081 | 0.81±0.099 |
| Specificity | 0.77±0.100 | 0.76±0.096 | 0.79±0.082 | 0.84±0.079 | 0.80±0.071 |
상기 표 1은 본 발명과 종래의 알고리즘의 성능을 비교하기 위한 모의 실험 결과로서 갑상선 안병증 환자들의 CT 영상 데이터 셋을 사용하였다. 해당 데이터 셋은 환자의 머리부터 턱까지 스캔한 3D 안와 CT 영상이며, 스캔 방향에 따라 axial, coronal, sagittal view로 나누어 각각 32개 슬라이드를 획득하였다. 모의 실험에서는 획득한 데이터 중 sagittal view의 데이터를 사용하였으며, 총 261명의 환자 중 129명의 갑상선 안병증 환자와 132명의 정상 대조군을 구성하여 획득한 데이터이다.
또, 본 모의 실험에서의 데이터 셋의 양과 질을 높이기 위해 데이터 어그멘테이션(Data Augmentation)을 적용하여 상술한 바와 같은 규격화 및 추가 데이터를 생성하여 과적합 문제를 방지하였다.
총 30회의 모의 실험을 반복하였으며, 알고리즘 사이의 효율성 비교를 위해 파라미터 사이즈(Parameter size)와 MACs(Multiply-Accumulate Cycles Per Second)를 사용하였고, 성능 비교를 위해 Area Under the Curve(AUC), 정확도(accuracy), 민감도(sensitivity) 및 특이도(specificity)를 사용하였다.
표 1의 모의 실험 결과 중 효율성을 살펴보면, 본 발명의 파라미터 크기는 24만이고, MACs는 213만의 연산이 소요된 것을 확인할 수 있다. 한편, 종래 알고리즘들은 가장 적은 파라미터 크기가 126만으로 나타나며, 연산 소요량(MACs) 역시 745만으로 본 발명과 큰 차이가 발생하는 것을 확인할 수 있었다.
또, 모의 실험 결과중 성능을 비교하면, 본 발명의 AUC 는 0.90으로 나타나고, 정확도는 0.81, 민감도는 0.81 및 특이도는 0.80으로 나타나는 것을 확인할 수 있다. 기존의 4개 알고리즘과 비교하면 AUC는 2번째, 정확도는 3번째, 민감도는 3번째, 특이도는 2번째로 나타나는 것을 확인할 수 있다.
즉, 본 발명은 비교 대상 4개의 알고리즘과 비교하여 유사한 성능을 유지할 뿐 아니라, 실제 속도 향상에서 약 3.5배 빠르며 약 80%의 매개 변수 감소 효과를 보이는 것으로 확인되었다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
1: 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템
2: 3차원 의료 영상 촬영 장치
11: 영상 정보 전처리부
12: 영상 정보 합성곱 처리부
13: 영상 처리 결과 출력부
111: 영상 정보 획득 모듈
112: 영상 정보 전처리 모듈
121: 셔플넷 차수 결정 모듈
122: 다운 샘플링 셔플넷 수행 모듈
123: 일반 셔플넷 수행 모듈
131: 영상 정보 후처리 모듈
132: 판단 결과 출력 모듈
2: 3차원 의료 영상 촬영 장치
11: 영상 정보 전처리부
12: 영상 정보 합성곱 처리부
13: 영상 처리 결과 출력부
111: 영상 정보 획득 모듈
112: 영상 정보 전처리 모듈
121: 셔플넷 차수 결정 모듈
122: 다운 샘플링 셔플넷 수행 모듈
123: 일반 셔플넷 수행 모듈
131: 영상 정보 후처리 모듈
132: 판단 결과 출력 모듈
Claims (22)
- 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고, 필요한 경우 상기 의료 영상 정보에 대한 전처리를 수행하여 전처리 된 정보를 획득하는 영상 정보 전처리부;
상기 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하는 영상 정보 합성곱 처리부; 및
상기 본처리 된 정보에 후처리를 수행하여 상기 의심 환자에 대한 상기 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하는 영상 처리 결과 출력부;를 포함하며,
상기 영상 정보 합성곱 처리부는,
상기 전처리 된 정보에 상기 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 합성곱 알고리즘을 생성하는 셔플넷 차수 결정 모듈;
상기 셔플넷 차수 별로 각각 최초 1회에 다운 샘플링 셔플넷 합성곱을 수행하는 다운 샘플링 셔플넷 수행 모듈; 및
상기 다운 샘플링 셔플넷 합성곱이 수행된 결과에 상기 셔플넷 차수별로 기 설정된 일반 셔플넷 합성곱을 수행하는 일반 셔플넷 수행 모듈;을 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 1항에 있어서,
상기 영상 정보 전처리부는,
상기 의료 영상 정보를 획득하여 상기 의료 영상 정보에 포함된 채널 개수를 획득하는 영상 정보 획득 모듈; 및
상기 채널 개수가 기 설정된 기준 값 이상인 경우 상기 기준 값까지 상기 채널 개수를 감소시키기 위해 상기 의료 영상 정보의 슬라이스를 압축하는 전처리를 수행하는 영상 정보 전처리 모듈;을 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 2항에 있어서,
상기 전처리는
상기 의료 영상 정보에 포인트와이즈 합성곱을 이용하여 압축된 영상을 생성하고, 상기 압축된 영상에 일반 합성곱을 수행하여 상기 전처리 된 정보를 생성하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 3항에 있어서,
상기 영상 정보 획득 모듈은,
상기 의료 영상 정보를 128×128×32 크기의 영상으로 설정하며,
상기 영상 정보 전처리 모듈은
상기 의료 영상 정보에 상기 포인트와이즈 합성곱을 수행하여 128Х128Х8 크기의 영상을 상기 압축된 영상으로 생성하고,
상기 압축된 영상에 상기 일반 합성곱을 수행하여 64Х64Х24의 크기의 영상을 상기 전처리 된 정보로 출력하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 삭제
- 제 1항에 있어서,
상기 셔플넷 차수 결정 모듈은 상기 셔플넷 차수를 최대 3차수까지 결정할 수 있으며, 상기 셔플넷 합성곱 알고리즘은 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘을 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 6항에 있어서,
상기 일반 셔플넷 수행 모듈은
상기 제1차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하고,
상기 제2차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 7번 수행하며,
상기 제3차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 7항에 있어서,
상기 영상 정보 합성곱 처리부는,
획득한 상기 전처리 된 정보에 상기 제1차 셔플넷 합성곱 알고리즘을 적용하여 제1차 셔플넷 결과를 생성하고, 상기 제1차 셔플넷 결과에 상기 제2차 셔플넷 합성곱 알고리즘을 적용하여 제2차 셔플넷 결과를 생성하며, 상기 제2차 셔플넷 결과에 상기 제3차 셔플넷 합성곱 알고리즘을 적용하여 제3차 셔플넷 결과를 생성하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 8항에 있어서,
상기 제1차 셔플넷 결과는 32Х32Х48크기의 특징 맵으로 표현되고,
상기 제2차 셔플넷 결과는 16Х16Х96크기의 특징 맵으로 표현되며,
상기 제3차 셔플넷 결과는 8Х8Х192크기의 특징 맵으로 표현되는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 1항에 있어서,
상기 영상 처리 결과 출력부는,
상기 본처리 된 정보를 전달 받아 상기 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하는 영상 정보 후처리 모듈; 및
상기 후처리 된 정보에 대해 선형화(linear) 작업을 수행하여 상기 특정 질환의 양성 여부를 판단하고, 상기 판단 결과를 출력하는 판단 결과 출력 모듈;을 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 제 10항에 있어서,
상기 후처리는 포인트와이즈 합성곱을 이용하여 수행되는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템. - 영상 전처리부를 이용하여 특정 질환이 의심되는 의심 환자에 대한 3차원 의료 영상 정보를 획득하고, 필요한 경우 상기 의료 영상 정보에 대한 전처리를 수행하여 전처리 된 정보를 획득하는 단계;
영상 정보 합성곱 처리부를 이용하여 상기 전처리 된 정보에 기 설정된 조건에 따라 결정된 횟수의 합성곱을 반복하여 본처리 된 정보를 획득하는 단계; 및
영상 결과 출력부를 이용하여 상기 본처리 된 정보에 후처리를 수행하고 상기 의심 환자에 대한 상기 특정 질환의 양성 여부를 판단한 결과인 판단 결과를 출력하는 단계;를 포함하며,
상기 본처리 된 정보를 획득하는 단계는,
상기 전처리 된 정보에 상기 합성곱을 반복하기 위한 셔플넷 차수를 결정하여 셔플넷 합성곱 알고리즘을 생성하는 단계;
상기 셔플넷 차수 별로 각각 최초 1회에 다운 샘플링 셔플넷 합성곱을 수행하는 단계; 및
상기 다운 샘플링 셔플넷 합성곱이 수행된 결과에 상기 셔플넷 차수별로 기 설정된 일반 셔플넷 합성곱을 수행하는 단계;를 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 12항에 있어서,
상기 전처리 된 정보를 획득하는 단계는,
상기 의료 영상 정보를 획득하여 상기 의료 영상 정보에 포함된 채널 개수를 획득하는 단계; 및
상기 채널 개수가 기 설정된 기준 값 이상인 경우 상기 기준 값까지 상기 채널 개수를 감소시키기 위해 상기 의료 영상 정보의 슬라이스를 압축하는 전처리를 수행하는 단계;를 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 13항에 있어서,
상기 전처리는
상기 의료 영상 정보에 포인트와이즈 합성곱을 이용하여 압축된 영상을 생성하고, 상기 압축된 영상에 일반 합성곱을 수행하여 상기 전처리 된 정보를 생성하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 14항에 있어서,
상기 의료 영상 정보에 포함된 채널 개수를 획득하는 단계는,
상기 의료 영상 정보를 128Х128Х32 크기의 영상으로 설정하며,
상기 전처리를 수행하는 단계는
상기 의료 영상 정보에 상기 포인트와이즈 합성곱을 수행하여 128Х128Х8 크기의 영상을 상기 압축된 영상으로 생성하고,
상기 압축된 영상에 상기 일반 합성곱을 수행하여 64Х64Х24의 크기의 영상을 상기 전처리 된 정보로 출력하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 삭제
- 제 12항에 있어서,
상기 셔플넷 합성곱 알고리즘을 생성하는 단계는,
상기 셔플넷 차수를 최대 3차수까지 결정할 수 있으며, 상기 셔플넷 합성곱 알고리즘은 제1차 셔플넷 합성곱 알고리즘, 제2차 셔플넷 합성곱 알고리즘 및 제3차 셔플넷 합성곱 알고리즘을 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 17항에 있어서,
상기 일반 셔플넷 합성곱을 수행하는 단계는,
상기 제1차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하고,
상기 제2차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 7번 수행하며,
상기 제3차 셔플넷 합성곱 알고리즘의 경우 상기 다운 샘플링 셔플넷 합성곱을 1회 수행한 후 상기 일반 셔플넷 합성곱을 3번 수행하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 18항에 있어서,
상기 본처리 된 정보를 획득하는 단계는,
획득한 상기 전처리 된 정보에 상기 제1차 셔플넷 합성곱 알고리즘을 적용하여 제1차 셔플넷 결과를 생성하고, 상기 제1차 셔플넷 결과에 상기 제2차 셔플넷 합성곱 알고리즘을 적용하여 제2차 셔플넷 결과를 생성하며, 상기 제2차 셔플넷 결과에 상기 제3차 셔플넷 합성곱 알고리즘을 적용하여 제3차 셔플넷 결과를 생성하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 19항에 있어서,
상기 제1차 셔플넷 결과는 32Х32Х48크기의 특징 맵으로 표현되고,
상기 제2차 셔플넷 결과는 16Х16Х96크기의 특징 맵으로 표현되며,
상기 제3차 셔플넷 결과는 8Х8Х192크기의 특징 맵으로 표현되는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 12항에 있어서,
상기 판단 결과를 출력하는 단계는,
상기 본처리 된 정보를 전달 받아 상기 본처리 된 정보의 슬라이스를 압축하는 후처리를 수행하는 단계; 및
상기 후처리 된 정보에 대해 선형화(linear) 작업을 수행하여 상기 특정 질환의 양성 여부를 판단하고, 상기 판단 결과를 출력하는 단계;를 포함하는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법. - 제 21항에 있어서,
상기 후처리는 포인트와이즈 합성곱을 이용하여 수행되는 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210121269A KR102623109B1 (ko) | 2021-09-10 | 2021-09-10 | 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210121269A KR102623109B1 (ko) | 2021-09-10 | 2021-09-10 | 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230038029A KR20230038029A (ko) | 2023-03-17 |
| KR102623109B1 true KR102623109B1 (ko) | 2024-01-10 |
Family
ID=85872264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210121269A KR102623109B1 (ko) | 2021-09-10 | 2021-09-10 | 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102623109B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558832A (zh) | 2018-11-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种人体姿态检测方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102017996B1 (ko) * | 2018-01-16 | 2019-09-03 | 한국과학기술원 | 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치 |
| CN112149458A (zh) * | 2019-06-27 | 2020-12-29 | 商汤集团有限公司 | 障碍物检测方法、智能驾驶控制方法、装置、介质及设备 |
| KR20210035381A (ko) * | 2019-09-23 | 2021-04-01 | 삼성에스디에스 주식회사 | 의료 진단 방법 및 장치 |
| KR102303963B1 (ko) | 2019-12-03 | 2021-09-17 | 경희대학교 산학협력단 | 인공 신경망 네트워크에서 고속 주파수 변환을 이용한 점별 컨벌루션을 위한 장치 및 그 제어 방법 |
-
2021
- 2021-09-10 KR KR1020210121269A patent/KR102623109B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558832A (zh) | 2018-11-27 | 2019-04-02 | 广州市百果园信息技术有限公司 | 一种人体姿态检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230038029A (ko) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110462689B (zh) | 基于深度学习的断层摄影重建 | |
| US10783655B2 (en) | System and method for assisted patient positioning | |
| Ma et al. | Automatic 3D landmarking model using patch‐based deep neural networks for CT image of oral and maxillofacial surgery | |
| US20210012463A1 (en) | System and method for processing data acquired utilizing multi-energy computed tomography imaging | |
| KR20180054414A (ko) | 얼굴 영상 분석 방법 및 장치 | |
| Doshi et al. | DeepMRSeg: A convolutional deep neural network for anatomy and abnormality segmentation on MR images | |
| CN111127316B (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及系统 | |
| US20230196515A1 (en) | A method of denoising dental images through domain adaptation | |
| WO2017191643A1 (en) | Method and system for providing a locally-consistent enhancement of a low-quality image | |
| US11631160B2 (en) | Image processing apparatus, image processing method, and X-ray CT apparatus | |
| Zhang et al. | The effect of nonlinear human visual system components on performance of a channelized Hotelling observer in structured backgrounds | |
| KR20190131800A (ko) | 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법 | |
| CN111951215A (zh) | 一种图像检测方法、装置及计算机可读存储介质 | |
| CN109741254A (zh) | 字典训练及图像超分辨重建方法、系统、设备及存储介质 | |
| KR102623109B1 (ko) | 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법 | |
| US20240070810A1 (en) | Image processing apparatus, operation method of image processing apparatus, and endoscope system | |
| EP3629294A1 (en) | Method of providing a training dataset | |
| KR102380785B1 (ko) | 뇌이미지를 이용하는 알츠하이머 진단장치 | |
| CN114862670A (zh) | 大鼠踝骨骨折Micro-CT图像的超分辨率重建装置 | |
| Selig et al. | Low-Dose CT Image Reconstruction by Fine-Tuning a UNet Pretrained for Gaussian Denoising for the Downstream Task of Image Enhancement | |
| WO2012069833A1 (en) | Process and apparatus for data registration | |
| Zheng | Multi-scale fusion algorithm comparisons: Pyramid, DWT and iterative DWT | |
| CN115372872A (zh) | 一种三维脊椎mr图像自动分割装置 | |
| Dahl et al. | Fast local thickness | |
| Naji et al. | Skin Diseases Classification using Deep Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |