KR102291854B1 - 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 - Google Patents
3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 Download PDFInfo
- Publication number
- KR102291854B1 KR102291854B1 KR1020190083387A KR20190083387A KR102291854B1 KR 102291854 B1 KR102291854 B1 KR 102291854B1 KR 1020190083387 A KR1020190083387 A KR 1020190083387A KR 20190083387 A KR20190083387 A KR 20190083387A KR 102291854 B1 KR102291854 B1 KR 102291854B1
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional
- inception
- resnet
- result
- medical image
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 62
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 24
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000013135 deep learning Methods 0.000 title description 6
- 238000003745 diagnosis Methods 0.000 claims abstract description 63
- 238000011176 pooling Methods 0.000 claims abstract description 42
- 238000012800 visualization Methods 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 18
- 210000000513 rotator cuff Anatomy 0.000 claims description 10
- 208000024288 Rotator Cuff injury Diseases 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4576—Evaluating the shoulder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Physical Education & Sports Medicine (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
어깨 질환 진단 장치는 3차원 인셉션 레즈넷 블록(Inception-ResNet block) 구조, 글로벌 에버리지 풀링(global average pooling) 구조 및 풀리 커넥티드(fully connected) 레이어를 포함한다. 상기 3차원 인셉션 레즈넷 블록 구조는 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 3차원 인셉션 레즈넷(Inception-ResNet) 구조 및 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 3차원 인셉션 다운샘플링(Inception downsampling) 구조를 포함한다. 상기 글로벌 에버리지 풀링 구조는 상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링한다. 상기 풀리 커넥티드 레이어는 상기 글로벌 에버리지 풀링 블록의 후단에 배치된다. 상기 어깨 질환 진단 장치는 상기 3차원 의료 영상의 진단 결과를 복수의 카테고리로 자동 분류한다.
Description
본 발명은 어깨 질환 자동 진단 장치에 관한 것으로, 더욱 상세하게는 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치에 관한 것이다.
어깨 부분의 질환에 대한 진단은 자기공명영상이나 컴퓨터단층촬영 영상과 같은 3차원 의료 영상을 숙련된 전문의가 시각적으로 분석함으로써 이루어진다. 3차원으로 이루어진 의료 영상을 효과적으로 분석하기 위해서는 많은 시간과 노력, 경험이 필요하다. 분석 과정에서도 3차원 이미지를 한 눈에 보는 것에는 많은 어려움이 따르기 때문에 여러 장의 2차원 이미지를 반복해서 관찰, 분석 후에 진단의 결론을 내릴 수 있게 된다.
결론적으로, 종래의 어깨 질환 진단의 경우, 높은 정확도를 확보하기 위해서는 진단에 많은 시간이 소요되며, 영상을 분석하는 전문의의 개인적인 숙련도에도 의존하게 되는 문제가 있다.
본 발명이 이루고자 하는 목적은 3차원 딥러닝을 이용하여 자동으로 어깨 질환의 정도를 분류할 수 있는 어깨 질환 자동 진단 장치를 제공하는 것이다.
본 발명이 이루고자 하는 목적은 상기 어깨 질환 자동 진단 장치를 이용하여 어깨 질환 진단을 위한 정보 제공 방법을 제공하는 것이다.
본 발명이 이루고자 하는 목적은 상기 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 어깨 질환 진단 장치는 3차원 인셉션 레즈넷 블록(Inception-ResNet block) 구조, 글로벌 에버리지 풀링(Global Average Pooling) 구조 및 풀리 커넥티드(Fully Connected) 레이어를 포함한다. 상기 3차원 인셉션 레즈넷 블록 구조는 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 3차원 인셉션 레즈넷(Inception-ResNet) 구조 및 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 3차원 인셉션 다운샘플링(Inception DownSampling) 구조를 포함한다. 상기 글로벌 에버리지 풀링 구조는 상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링한다. 상기 풀리 커넥티드 레이어는 상기 글로벌 에버리지 풀링 블록의 후단에 배치된다. 상기 어깨 질환 진단 장치는 상기 3차원 의료 영상의 진단 결과를 복수의 카테고리로 자동 분류한다.
본 발명의 일 실시예에 있어서, 상기 복수의 카테고리는 상기 환자의 회전근개가 파열되지 않은 것을 의미하는 None; 상기 환자의 회전근개의 파열 정도에 따라 Partial, Small, Medium 및 Large를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 의료 영상은 제1 3차원 컨볼루젼 구조, 제1 3차원 인셉션 레즈넷 블록 구조, 제2 3차원 인셉션 레즈넷 블록 구조, 제2 3차원 컨볼루젼 구조, 상기 글로벌 에버리지 풀링 구조 및 상기 풀리 커넥티드 레이어를 순차적으로 통과할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 인셉션 레즈넷 블록 구조는 직렬로 연결되는 3개의 상기 3차원 인셉션 레즈넷 구조 및 하나의 상기 3차원 인셉션 다운샘플링 구조를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 인셉션 레즈넷 구조는 제1 경로를 형성하며 직렬로 연결되는 제1 3차원 컨볼루젼 구조, 제2 3차원 컨볼루젼 구조 및 제3 3차원 컨볼루젼 구조, 제2 경로를 형성하며 직렬로 연결되는 제4 3차원 컨볼루젼 구조 및 제5 3차원 컨볼루젼 구조, 상기 제3 3차원 컨볼루젼 구조의 결과 및 상기 제5 3차원 컨볼루젼 구조의 결과를 병합하는 제1 칸캐터네이트(concatenate) 구조 및 상기 제1 칸캐터네이트 구조의 결과와 상기 3차원 인셉션 레즈넷 구조의 입력을 원소별 합산(element-wise add)하는 애드(add) 구조를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 3차원 인셉션 다운샘플링 구조는 제3 경로를 형성하는 제6 3차원 컨볼루젼 구조 및 상기 제6 3차원 컨볼루젼 구조의 결과에서 최대값을 선택하는 맥시멈 풀링 구조, 제4 경로를 형성하는 제7 3차원 컨볼루젼 구조 및 상기 제7 3차원 컨볼루젼 구조의 결과에서 평균값을 선택하는 에버리지 풀링 구조, 제5 경로를 형성하며 컨볼루젼 필터의 이동 단위를 증가시킨 제1 스트라이드(stride) 3차원 컨볼루젼 구조, 제6 경로를 형성하며 상기 제1 스트라이드 3차원 컨볼루젼 구조와 상이하고 컨볼루젼 필터의 이동 단위를 증가시킨 제2 스트라이드 3차원 컨볼루젼 구조 및 상기 맥시멈 풀링 구조의 결과, 상기 에버리지 풀링 구조의 결과, 상기 제1 스트라이드 3차원 컨볼루젼 구조의 결과 및 상기 제2 스트라이드 3차원 컨볼루젼 구조의 결과를 병합하는 제2 칸캐터네이트(concatenate) 구조를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 어깨 질환 자동 진단 장치는 인공 지능이 상기 3차원 의료 영상의 진단 결과를 생성함에 있어 상기 3차원 의료 영상 내에서 확인한 관심 영역을 시각화하는 히트맵을 생성하는 관심 영역 시각화부를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 어깨 질환 자동 진단 장치는 상기 3차원 인셉션 레즈넷 블록 구조 및 상기 글로벌 에버리지 풀링 구조 사이에 배치되는 3차원 컨볼루젼 구조를 더 포함할 수 있다. 상기 관심 영역 시각화부는 상기 3차원 컨볼루젼 구조의 결과로 도출되는 피쳐들에 상기 풀리 커넥티드 레이어에서 학습된 웨이트들을 각각 곱한 뒤, 상기 3차원 컨볼루젼 구조의 결과로 도출되는 상기 피쳐들과 상기 웨이트들의 곱들을 합산하여 상기 히트맵을 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 히트맵은 3차원 클래스 액티베이션 맵(Class Activation Map)일 수 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 어깨 질환 진단을 위한 정보 제공 방법은 3차원 인셉션 레즈넷(Inception-ResNet) 구조를 이용하여 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 단계, 3차원 인셉션 레즈넷 블록(Inception-ResNet Block) 구조를 이용하여 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 단계, 글로벌 에버리지 풀링(Global Average Pooling) 구조를 이용하여 상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링하는 단계 및 상기 3차원 의료 영상의 진단 결과를 복수의 카테고리로 자동 분류하는 단계를 포함한다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 전자 기록 매체에는 3차원 인셉션 레즈넷(Inception-ResNet) 구조를 이용하여 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 단계, 3차원 인셉션 레즈넷 블록(Inception-ResNet Block) 구조를 이용하여 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 단계, 글로벌 에버리지 풀링(Global Average Pooling) 구조를 이용하여 상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링하는 단계 및 상기 3차원 의료 영상의 진단 결과를 복수의 카테고리로 자동 분류하는 단계를 포함하는 컴퓨터 프로그램이 기록된다.
본 발명에 따른 어깨 질환 진단 장치는 3차원 의료 영상을 입력 받아 3차원 CNN (convolutional neural network)을 기반으로 한 3차원 인공 지능 알고리즘을 이용하여 사람이 한눈에 쉽게 볼 수 없는 고차원 이미지를 분석할 수 있다. 3차원 인공 지능 알고리즘은 기존에 획득된 다량의 이미지 및 진단 기록 빅데이터를 이용하여 스스로 학습을 진행하며, 단기간에 숙련된 전공의를 뛰어넘는 진단 정확도를 보여줄 수 있다.
또한, 본 발명에 따른 어깨 질환 진단 장치는 어깨 질환을 정확하게 진단하는 것을 뛰어넘어, 의료 영상에서의 관심영역을 히트맵으로 보여줄 수 있다. 본 발명에 따른 어깨 질환 진단 장치는 3차원 Class Activation Map을 생성하여 인공 지능이 관심 있게 보고 있는 영역을 표시할 수 있고, 이를 3차원으로 렌더링하여 진단 결과에 대한 보조적인 정보를 제공할 수 있다.
도 1은 종래의 어깨 질환 진단 장치 및 본 발명의 일 실시예에 따른 어깨 질환 진단 장치의 개념을 나타내는 도면이다.
도 2는 본 실시예의 3차원 인셉션 다운샘플링 구조를 나타내는 블록도이다.
도 3은 본 실시예의 3차원 인셉션 레즈넷 구조를 나타내는 블록도이다.
도 4는 본 실시예의 3차원 인셉션 레즈넷 블록 구조를 나타내는 블록도이다.
도 5는 본 실시예의 어깨 질환 진단 장치를 나타내는 블록도이다.
도 6은 본 실시예의 어깨 질환 진단 장치의 관심 영역 시각화부의 동작을 나타내는 도면이다.
도 7은 본 실시예의 어깨 질환 진단 장치의 전반적인 동작을 나타내는 통합 소프트웨어의 화면을 나타내는 도면이다.
도 8은 본 실시예에서 사용된 회전근개 MRI 데이터 현황을 나타내는 표이다.
도 9는 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 표이다.
도 10 및 도 11은 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 그래프이다.
도 12는 본 실시예의 어깨 질환 진단 장치에서 인공 지능 학습이 진행되어감에 따라 관심 영역이 어떻게 변하는지를 나타내는 도면이다.
도 13은 본 실시예의 어깨 질환 진단 장치의 회전근개 파열 유무 데이터와 관심 영역 시각화를 나타내는 도면이다.
도 2는 본 실시예의 3차원 인셉션 다운샘플링 구조를 나타내는 블록도이다.
도 3은 본 실시예의 3차원 인셉션 레즈넷 구조를 나타내는 블록도이다.
도 4는 본 실시예의 3차원 인셉션 레즈넷 블록 구조를 나타내는 블록도이다.
도 5는 본 실시예의 어깨 질환 진단 장치를 나타내는 블록도이다.
도 6은 본 실시예의 어깨 질환 진단 장치의 관심 영역 시각화부의 동작을 나타내는 도면이다.
도 7은 본 실시예의 어깨 질환 진단 장치의 전반적인 동작을 나타내는 통합 소프트웨어의 화면을 나타내는 도면이다.
도 8은 본 실시예에서 사용된 회전근개 MRI 데이터 현황을 나타내는 표이다.
도 9는 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 표이다.
도 10 및 도 11은 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 그래프이다.
도 12는 본 실시예의 어깨 질환 진단 장치에서 인공 지능 학습이 진행되어감에 따라 관심 영역이 어떻게 변하는지를 나타내는 도면이다.
도 13은 본 실시예의 어깨 질환 진단 장치의 회전근개 파열 유무 데이터와 관심 영역 시각화를 나타내는 도면이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 종래의 어깨 질환 진단 장치 및 본 발명의 일 실시예에 따른 어깨 질환 진단 장치의 개념을 나타내는 도면이다.
도 1을 참조하면, 종래의 어깨 질환 진단 장치는 3차원 의료 영상이 입력되는 경우, 상기 3차원 의료 영상을 복수의 2차원 영상들로 각각 분리하여 진단이 이루어진다.
본 실시예의 어깨 질환 진단 장치는 상기 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하고, 다운샘플링하여, 3차원 의료 영상의 진단 결과를 복수의 카테고리로 자동 분류할 수 있다.
예를 들어, 상기 복수의 카테고리는 상기 환자의 회전근개가 파열되지 않은 것을 의미하는 None, 상기 환자의 회전근개의 파열 정도에 따라 Partial, Small, Medium 및 Large를 포함할 수 있다.
본 실시예의 어깨 질환 진단 장치는 3차원 Convolution Neural Network (CNN)을 기초로 하고 있다. CNN은 이미지를 분석함에 있어 강력한 성능을 보여주는 딥러닝 기반 인공 지능 알고리즘이다. CNN은 인공 신경망(Artificial Neural Network, ANN)을 깊이 연결하여 인공 지능의 성능을 극대화시킨 딥러닝 기반 알고리즘으로 각 연결 층마다 수많은 학습가능한 컨볼루젼 필터들이 존재하여, 입력되는 학습 데이터로부터 이미지의 주요한 특징들을 추출하는 것을 학습한다. CNN 구조를 이루는 가장 기본적인 단위는 컨볼루젼 필터이다. 2차원 이미지에 (1*1), (3*3) 또는 (5*5) 크기의 필터를 적용함으로써 이미지에서 유의미한 feature를 추출하는 역할을 수행할 수 있는데, CNN 은 이러한 필터들이 초기 랜덤한 값으로 채워져 컨볼루젼 레이어(Convolutional Layer)를 이루고, 학습이 진행됨에 따라서 필터 값들이 의미있는 feature를 뽑아낼 수 있도록 변화한다. 또한 이러한 레이어가 깊이 쌓여서, 여러 단계에 걸쳐 feature를 뽑아낸다.
레이어가 깊이 쌓이면서 pooling (feature map 에서 한 개의 가장 유의미한 값을 다음 레이어로 전달, 가장 큰 값을 선택하는 max pooling과, 평균값을 선택하는 average pooling 등의 방법이 있다), 과 stride (컨볼루젼 필터가 이미지를 돌 때 몇 픽셀씩 이동할 것인지에 관한 파라미터) 값 조절 등을 통하여 Downsampling이 이루어진다.
이러한 필터들이 존재하는 컨볼루젼 레이어들을 깊이 연결하는 구조를 통해서, 인공 지능은 이미지의 작은 영역에 대한 미세한 특징부터, 넓은 영역의 특징까지 모두 활용하여 이미지를 분석하고, 원하는 결과를 도출할 수 있게끔 학습을 할 수 있게 된다. 이렇게 넓은 수용 영역 (receptive field)을 보고 이미지를 분석할 수 있다는 것이 CNN이 가지는 가장 큰 특징이자 장점이라고 할 수 있다.
도 2는 본 실시예의 3차원 인셉션 다운샘플링 구조를 나타내는 블록도이다. 도 3은 본 실시예의 3차원 인셉션 레즈넷 구조를 나타내는 블록도이다. 도 4는 본 실시예의 3차원 인셉션 레즈넷 블록 구조를 나타내는 블록도이다. 도 5는 본 실시예의 어깨 질환 진단 장치를 나타내는 블록도이다.
도 2 내지 도 5를 참조하면, 상기 어깨 질환 진단 장치는 3차원 인셉션 레즈넷 블록 구조(B53, B54), 3차원 글로벌 에버리지 풀링 구조(3D GAP, B56) 및 상기 글로벌 에버리지 풀링 블록(B56)의 후단에 배치되는 풀리 커넥티드 레이어(FC, B57)를 포함한다.
예를 들어, 상기 어깨 질환 진단 장치에서, 상기 3차원 의료 영상(B51)은 제1 3차원 컨볼루젼 구조(B52), 제1 3차원 인셉션 레즈넷 블록 구조(B53), 제2 3차원 인셉션 레즈넷 블록 구조(B54), 제2 3차원 컨볼루젼 구조(B55), 상기 글로벌 에버리지 풀링 구조(B56) 및 상기 풀리 커넥티드 레이어(B57)를 순차적으로 통과할 수 있다. 본 실시예에서, 상기 3차원 의료 영상(B51)은 64*64*64 인풋일 수 있다.
상기 3차원 인셉션 레즈넷 블록 구조(B53, B54)는 직렬로 연결되는 3개의 상기 3차원 인셉션 레즈넷 구조(B41, B42, B43) 및 하나의 상기 3차원 인셉션 다운샘플링 구조(B44)를 포함할 수 있다. 3개의 상기 3차원 인셉션 레즈넷 구조(B41, B42, B43)는 동일한 구조를 가질 수 있다. 이와는 달리, 3개의 상기 3차원 인셉션 레즈넷 구조(B41, B42, B43)는 서로 상이한 구조를 가질 수도 있다.
상기 3차원 인셉션 레즈넷 구조(B41, B42, B43 중 적어도 하나)는 제1 경로를 형성하며 직렬로 연결되는 제1 3차원 컨볼루젼 구조(B32), 제2 3차원 컨볼루젼 구조(B33) 및 제3 3차원 컨볼루젼 구조(B34), 제2 경로를 형성하며 직렬로 연결되는 제4 3차원 컨볼루젼 구조(B35) 및 제5 3차원 컨볼루젼 구조(B36), 상기 제3 3차원 컨볼루젼 구조(B34)의 결과 및 상기 제5 3차원 컨볼루젼 구조(B36)의 결과를 병합하는 칸캐터네이트(concatenate) 구조(B37) 및 상기 칸캐터네이트 구조(B37)의 결과와 상기 3차원 인셉션 레즈넷 구조의 입력을 원소별 합산(element-wise add)하는 애드(add) 구조(B38)를 포함할 수 있다.
상기 제1 3차원 컨볼루젼 구조(B32) 및 상기 제4 3차원 컨볼루젼 구조(B35)는 이전 단(B31)과 연결되어 상기 3차원 인셉션 레즈넷 구조(B41, B42, B43)의 입력을 입력 받는다.
상기 3차원 인셉션 다운샘플링 구조(B44)는 제1 경로를 형성하는 제1 3차원 컨볼루젼 구조(B22) 및 상기 제1 3차원 컨볼루젼 구조(B22)의 결과에서 최대값을 선택하는 맥시멈 풀링 구조(B23), 제2 경로를 형성하는 제2 3차원 컨볼루젼 구조(B24) 및 상기 제2 3차원 컨볼루젼 구조(B24)의 결과에서 평균값을 선택하는 에버리지 풀링 구조(B25), 제3 경로를 형성하며 컨볼루젼 필터의 이동 단위를 증가시킨 제1 스트라이드(stride) 3차원 컨볼루젼 구조(B26), 제4 경로를 형성하며 상기 제1 스트라이드 3차원 컨볼루젼 구조(B26)와 상이하고 컨볼루젼 필터의 이동 단위를 증가시킨 제2 스트라이드 3차원 컨볼루젼 구조(B27) 및 상기 맥시멈 풀링 구조(B23)의 결과, 상기 에버리지 풀링 구조(B25)의 결과, 상기 제1 스트라이드 3차원 컨볼루젼 구조(B26)의 결과 및 상기 제2 스트라이드 3차원 컨볼루젼 구조(B27)의 결과를 병합하는 칸캐터네이트 구조(B28)를 포함할 수 있다.
상기 제1 스트라이드 3차원 컨볼루젼 구조(B26)는 3*3*3 3차원 컨볼루젼 구조이며 상기 컨볼루젼 필터의 이동 단위를 나타내는 스트라이드는 2일 수 있다. 상기 제2 스트라이드 3차원 컨볼루젼 구조(B27)는 1*1*1 3차원 컨볼루젼 구조이며 상기 컨볼루젼 필터의 이동 단위를 나타내는 스트라이드는 2일 수 있다.
상기 제1 3차원 컨볼루젼 구조(B22) 및 상기 제2 3차원 컨볼루젼 구조(B22), 상기 제1 스트라이드 3차원 컨볼루젼 구조(B26) 및 상기 제2 스트라이드 3차원 컨볼루젼 구조(B27)는 이전 단(B21)과 연결되어 상기 3차원 인셉션 다운샘플링 구조(B44)의 입력을 입력 받는다.
도 2를 다시 참조하면, 상기 3차원 인셉션 다운샘플링 구조(B44)는 previous 볼륨(B21)의 feature를 뽑아낸 뒤 downsample된 output을 만들어낸다. pooling과 stride를 사용하여 다운샘플링이 이루어진다. Pooling 같은 경우에는 convolution의 결과물로 나온 feature에서 의미있는 한 개의 값만 선택하여 정보를 축약하게 되고, stride를 사용하게 되면 convolution filter의 이동을 더 크게 하여 결과물 자체가 원래 이미지보다 작아지게 하는 효과가 있다.
각각의 방법으로 downsampling된 결과물은 모두 같은 크기를 가질 수 있게 설정되어 있어서 종이를 포개어 놓는 것처럼 concatenate(B37)하여 다음 층으로 결과물을 넘겨준다. 상기 3차원 인셉션 다운샘플링 구조(B44)는 previous(B21)에 비해서 크기가 작아진 수많은 output feature들을 만들어내어 더 넓은 공간에 대한 축약된 정보를 가진 결과물이 나온다고 할 수 있다.
도 3을 다시 참조하면, 3차원 인셉션 레즈넷 구조(B41, B42, B43 중 적어도 하나)는 3D 컨볼루젼 필터를 이용하여 구현된다. previous(B31)로 들어온 이미지, 혹은 feature map에 대해서 더 유의미한 정보를 뽑아낼 수 있는 다양한 종류의 convolution filter들(B32, B33, B34, B35, B36)을 가지고 있다. 이 구조에서는 각각의 (3*3*3) 필터를 통과한 결과물의 크기는 input과 동일하다. 두 개의 서로 다른 구조를 concatenate(B37)하여 더 다양한 형태의 feature를 뽑아내는 효과를 가지고 있다.
도 4를 다시 참조하면, 3차원 인셉션 레즈넷 블록 구조(B53, B54)는 앞 단 세 개의 3D 인셉션 레즈넷 구조(B41, B42, B43)와 마지막단 한 개의 3D 인셉션 다운샘플링 구조(B44)로 이루어진다. 도 3의 구조와 끝단에 한 개의 도 2의 구조로 이루어져 input으로 들어오는 이미지, 혹은 feature map에 대해서 정보가 축약된(downsample 된) output이 나오게 된다.
도 5를 다시 참조하면, 두 개의 3차원 인셉션 레즈넷 블록 구조(B53, B54)로 이루어진 전체 회전근개 파열 네트워크 구조가 도시된다. 각각의 3차원 인셉션 레즈넷 블록 구조(B53, B54)는 도 4의 구조를 갖고, 3차원으로 분석할 수 있는 수많은 3차원 feature들을 뽑아낼 수 있는 필터를 학습한다. 입력 영상(B51)이 (3*3*3) convolution layer(B52, B55)나 각각의 3차원 인셉션-레즈넷 블록 구조(B53, B54)를 통과하면서 점점 입력 영상(B51)의 정보가 축약되고, 의미있는 feature들을 뽑아내게 되어 최종적인 판단을 내릴 수 있게 된다. 각각의 단일 convolution filter(B52, B55)나 3차원 인셉션-레즈넷 블록 구조(B53, B54)들은 기본적으로 이미지에서의 feature를 뽑아낸다는 공통점이 있지만, 3차원 인셉션-레즈넷 블록 구조(B53, B54)의 경우 내부적으로 더 많은 정보를 얻어낼 수 있다는 차이점이 있다.
대부분의 CNN 적용 연구들은 2차원 이미지를 기반으로 하고 있고, 실제로도 많은 데이터들은 2차원 이미지로 이루어져 있다. CT나 MRI 와 같은 의료 영상의 경우에는, 환자의 신체 내부 영상 정보까지 가지고 있는 3차원 볼륨 이미지이다. 많은 CNN 기반 알고리즘들을 활용한 의료 영상 분석 역시 활발하게 이루어지고 있지만, 2D 이미지 여러장을 분석하는 방법 등을 사용하여, 3차원 이미지가 가지고 있는 풍부한 정보를 완벽하게 사용하지 못하고 있다.
우리는 앞서 언급한 CNN 의 컨볼루젼 필터를 3차원으로 확장하여 이미지의 3차원 특징을 추출할 수 있는 3D Inception-ResNet 구조를 사용하여 MRI 이미지에 대한 판독을 학습시켰다.
기존의 CNN 방식은 단순히 컨볼루젼 레이어를 층으로 쌓는 구조였다면, Inception-ResNet 구조는 여기에 Inception 과 ResNet 이라는 구조를 결합한 것이다. Inception 구조는 서로 다른 컨볼루젼 필터를 병렬적으로 적용한 뒤 여러 아웃풋을 concatenate 해 주는 방식이다. 이는 똑같은 수량의 필터를 기존 방식처럼 쌓는 것과 비교하여 계산량과 성능 면에서 모두 좋은 결과를 보여준 것으로 알려져 있다. ResNet 구조는 몇 개의 컨볼루젼 필터를 통과한 결과값과 앞 단의 이미지를 element-wise add 해 주는 구조 (Residual Block)를 사용한 것으로, 앞 단의 원본에 가까운 정보를 유지하며 CNN 의 성능을 높일 수 있다는 장점이 있다.
제안된 3D Inception-ResNet 구조는, 3차원 볼륨에서 feature를 뽑아낼 수 있도록, 기본 단위인 컨볼루젼 필터가 3차원으로 확장되었다. (1*1*1) 과 (3*3*3) 크기의 필터로 이루어져 있고, pooling과 stride 조절을 통하여 feature map의 다운샘플링이 이루어진다. 제안된 3D Inception-ResNet 구조는 크게 3D Inception-ResNet 구조(B41, B42, B43)와 3D Inception-Downsample 구조(B44)로 이루어져 있고, 해당 구조를 조합하여 3D Inception-ResNet Block 구조(B53, B54)가 구성되며, 이 3D Inception-ResNet Block 두 개(B53, B54)를 사용하여 전체 회전근개 파열 분류 네트워크를 구성할 수 있다
뒤에 언급할 3D Class Activation Map(CAM) 계산을 위해서 마지막 단에 Global Average Pooling (GAP, B56) 층과 한 개의 Fully-Connected (FC, B57) 층을 사용하여 분류하였다. GAP 레이어(B56)는 마지막 컨볼루젼 레이어 아웃풋의 feature map들 각각의 평균치를 구하여 하나의 값으로 만들어주는 것인데, 이것으로 각 위치상의 가중치를 가늠할 수 있게 된다. FC 레이어(B57)는 GAP(B56)를 통하여 나온 값들을 이용하여 최종 분류 작업을 수행하는 파라미터들을 학습하게 된다. FC 층(B57)도 여러 겹으로 쌓아서 성능 향상을 기대할 수 있지만, 여러번 통과하게 되면서 위치 정보를 잃게 되기 때문에 본 실시예에서는 CAM 계산을 위해서 한 개의 FC 층(B57)을 이용하여 분류하였다. FC 층(B57)을 적게 사용함으로써 계산량에도 더 효율적일 수 있다.
본 실시예에 따르면, 이러한 방법들을 적용함으로써 2차원 이미지에서 보여주었던 CNN의 성능을 3차원 이미지로 확장 적용할 수 있다. 환자에 대한 3차원 이미지, 특히 넓은 수용 영역에 대해서 효율적으로 분석할 수 있기 때문에 기존 알고리즘은 물론, 의료 현장에서 실제로 진단을 내리는 것보다도 시간, 비용적인 효율을 높일 수 있는 방법이다.
도 6은 본 실시예의 어깨 질환 진단 장치의 관심 영역 시각화부의 동작을 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 상기 어깨 질환 자동 진단 장치는 인공 지능이 상기 3차원 의료 영상의 진단 결과를 생성함에 있어 상기 3차원 의료 영상 내에서 확인한 관심 영역을 시각화하는 히트맵을 생성하는 관심 영역 시각화부를 더 포함할 수 있다.
상기 관심 영역 시각화부는 도 5의 제2 3차원 컨볼루젼 구조(B55)의 결과로 도출되는 피쳐들(c1, c2, c3, c4, ...)에 상기 풀리 커넥티드 레이어(B57)에서 학습된 웨이트들(w1, w2, w3, w4, ...)을 각각 곱한 뒤, 상기 3차원 컨볼루젼 구조의 결과로 도출되는 상기 피쳐들(c1, c2, c3, c4, ...)과 상기 웨이트들(w1, w2, w3, w4, ...)의 곱들을 합산하여 상기 히트맵을 생성할 수 있다. 예를 들어, 상기 히트맵은 3차원 클래스 액티베이션 맵(Class Activation Map)일 수 있다.
도 6은 Class Activation Map (CAM) 계산을 통한 원본 이미지에서 관심 영역을 추출하는 것을 도시한다. 마지막 컨볼루젼에서 나온 각각의 feature map 들(c1, c2, c3. c4, ...)에 FC 레이어에서 학습된 weight를 곱하여 더하면 3차원 히트맵 결과가 도출된다.
CNN이 학습되고 나면 Class Activation Map (CAM) 방법을 사용하여 인공 지능이 판단을 내릴 때 중요하게 보았던 특징 영역을 시각화해줄 수 있다.
CNN이 내부적으로 수많은 특징을 추출하는 것을 학습하였기 때문에 판단을 내리는 이미지와, CNN 구조 뒷부분 층의 학습된 필터 정보를 이용하여 시각화가 가능해진다. 의료영상 진단의 경우 단순한 진단 예측을 넘어서 진단 결과에 대한 설명가능성이 임상적으로 아주 중요하기 때문에 이러한 관심 영역 시각화가 중요하다. 본 실시예에서는 3D CNN 이용하였기 때문에 CAM 또한 3차원으로 계산하고, 시각화할 수 있다. 이 관심 영역을 MRI 데이터와 함께 시각화하여 인공 지능이 내린 예측에 대해서 어떤 영역이 중요하게 작용했는지를 확인할 수 있다.
이러한 시각화를 학습 및 예측 결과에 대한 신뢰도 향상뿐 아니라, 임상적으로 문제가 발생한 위치에 대한 예측이 가능하다.
도 7은 본 실시예의 어깨 질환 진단 장치의 전반적인 동작을 나타내는 통합 소프트웨어의 화면을 나타내는 도면이다.
도 1 내지 도 7을 참조하면, 학습된 3D CNN 실제 의료현장에서 효과적으로 사용할 수 있는 통합 소프트웨어를 이용하면 신뢰도와 안정성이 검증된 인공 지능 기반 진단을 시간과 장소에 구애받지 않고 사용하는 것이 가능하다.
소프트웨어는 의료데이터 불러오기, 2차원 및 3차원 시각화, 인공 지능 기반 진단 수행, 관심 영역 시각화 기능을 가지고 있다. 불러오기 기능에서는 의료영상에서 많이 쓰이는 이미지 포맷인 Dicom 파일 (확장자 *.dcm) 을 읽어와 이미지 및 3차원 시각화 정보를 재구성한다. 사용자는 어깨 부분의 MRI 데이터만 있으면 의학적 사전 지식이 없이도 간단하게 어깨 부분에서 가장 큰 뼈인 상완골(Humerus)을 마우스로 선택하는 것만으로도 해당 환자의 회전근개 파열 유무를 실시간으로 확인할 수 있고, 관심 영역이 3차원으로 시각화된 정보를 제공받는다.
도 8은 본 실시예에서 사용된 회전근개 MRI 데이터 현황을 나타내는 표이다. 도 9는 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 표이다. 도 10 및 도 11은 본 실시예의 어깨 질환 진단 장치의 진단 결과, 어깨 전문의의 진단 결과 및 전공의의 진단 결과를 나타내는 그래프이다. 도 12는 본 실시예의 어깨 질환 진단 장치에서 인공 지능 학습이 진행되어감에 따라 관심 영역이 어떻게 변하는지를 나타내는 도면이다. 도 13은 본 실시예의 어깨 질환 진단 장치의 회전근개 파열 유무 데이터와 관심 영역 시각화를 나타내는 도면이다.
도 1 내지 도 13을 참조하면, 회전근개 파열 MRI 데이터에 대해서 본 실시예에 따른 어깨 질환 진단 장치의 성능 테스트를 진행하였다. 총 2,124 명의 파열의 유무와 파열 크기가 표시된 MRI 영상을 이용하였다. 이들 중 무작위로 샘플링한 200명의 데이터를 테스트 데이터로 지정하고, 나머지 1,924 명의 환자 데이터를 사용하여 학습을 진행하였고, 200명 테스트 데이터에 대해서 실제 정형외과 전문의 4명과 전공의 13명이 같은 진단을 수행하여 학습된 어깨 질환 진단 장치와 정형외과 전문의 사이 정확도를 테스트하였다. 인공 지능 학습은 파열의 유무 및 파열의 크기를 카테고리로 나누어 총 5가지로 (None, Partial, Small, Medium, Large) 분류하였다.
실험 결과, 200개의 실험 데이터에서 파열의 크기를 정확하게 예측 (Top-1 accuracy) 하는 경우는 제시된 본 실시예의 어깨 질환 진단 장치의 인공 지능 방법에서 76.5%의 정확도를 보여주었다. 전문가의 경우에는 전문의 43.8%, 전공의 30.8%의 수치를 보여주어, 인공 지능이 전문의보다 32.7%, 전공의보다 45.7% 높은 진단 정확도를 보여주었다.
파열의 유무만 정확하게 예측(Binary accuracy)하는 것으로 정확도를 측정했을 경우, 본 실시예의 어깨 질환 진단 장치의 방법에서 92.5%의 정확도를 보여주었다. 같은 실험에서 전문의와 전공의는 각각 75.8%, 68.3%의 정확도를 보여주어, 본 실시예의 어깨 질환 진단 장치의 정확도가 전공의보다 16.7%, 24.2% 높은 정확도를 보여주었다.
진단 시간에서도 본 실시예의 어깨 질환 진단 장치의 방법이 높은 효율을 보여주었는데, 200명의 환자 데이터를 모두 진단하는데 소요 시간이 1인당 0.01초로 실시간으로 정확한 진단을 할 수 있는 것을 보여준다. 전문의의 경우 한 사람의 데이터를 판독하는 데 있어서 평균 20.7초, 전공의는 평균 31.5초가 소요되는 것으로 나타났다.
도 12를 보면, 3차원 CAM 기술을 이용하여 인공 지능 학습이 진행되어감에 따라서 관심 영역이 어떻게 변하는지를 3차원 시각화 데이터로 확인하는 것이 가능하다.
또한, 도 13을 보면, 본 실시예의 어깨 질환 진단 장치의 회전근개 파열 유무 데이터(None, Partial, Small, Medium, Large)와 관심 영역 시각화를 동시에 나타내는 도면이다. 상기 관심 영역 시각화 데이터를 통해 학습 및 예측 결과에 대한 신뢰도 향상뿐 아니라, 임상적으로 문제가 발생한 위치에 대한 예측이 가능하다.
본 발명은 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치 및 시각화 장치에 대한 것으로, 진단 정확도를 증가시킬 수 있고, 진단 시간 및 진단 비용을 감소시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
Claims (11)
- 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 3차원 인셉션 레즈넷(Inception-ResNet) 구조 및 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 3차원 인셉션 다운샘플링(Inception DownSampling) 구조를 포함하는 3차원 인셉션 레즈넷 블록(Inception-ResNet Block) 구조;
상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링하는 글로벌 에버리지 풀링(Global Average Pooling) 구조; 및
상기 글로벌 에버리지 풀링 블록의 후단에 배치되는 풀리 커넥티드(Fully Connected) 레이어를 포함하고,
상기 3차원 의료 영상의 진단 결과를 상기 환자의 회전근개의 파열 정도를 나타내는 복수의 카테고리로 자동 분류하며,
인공 지능이 상기 3차원 의료 영상의 진단 결과를 생성함에 있어 상기 3차원 의료 영상 내에서 확인한 관심 영역을 시각화하는 히트맵을 생성하는 관심 영역 시각화부를 더 포함하고,
상기 관심 영역은 상기 환자의 상기 회전근개의 파열 부위에 대응하는 것을 특징으로 하는 어깨 질환 자동 진단 장치. - 제1항에 있어서, 상기 복수의 카테고리는
상기 환자의 상기 회전근개가 파열되지 않은 것을 의미하는 None; 상기 환자의 상기 회전근개의 파열 정도에 따라 Partial, Small, Medium 및 Large를 포함하는 것을 특징으로 하는 어깨 질환 자동 진단 장치. - 제1항에 있어서, 상기 3차원 의료 영상은 제1 3차원 컨볼루젼 구조, 제1 3차원 인셉션 레즈넷 블록 구조, 제2 3차원 인셉션 레즈넷 블록 구조, 제2 3차원 컨볼루젼 구조, 상기 글로벌 에버리지 풀링 구조 및 상기 풀리 커넥티드 레이어를 순차적으로 통과하는 것을 특징으로 하는 어깨 질환 자동 진단 장치.
- 제1항에 있어서, 상기 3차원 인셉션 레즈넷 블록 구조는 직렬로 연결되는 3개의 상기 3차원 인셉션 레즈넷 구조 및 하나의 상기 3차원 인셉션 다운샘플링 구조를 포함하는 것을 특징으로 하는 어깨 질환 자동 진단 장치.
- 제1항에 있어서, 상기 3차원 인셉션 레즈넷 구조는
제1 경로를 형성하며 직렬로 연결되는 제1 3차원 컨볼루젼 구조, 제2 3차원 컨볼루젼 구조 및 제3 3차원 컨볼루젼 구조;
제2 경로를 형성하며 직렬로 연결되는 제4 3차원 컨볼루젼 구조 및 제5 3차원 컨볼루젼 구조;
상기 제3 3차원 컨볼루젼 구조의 결과 및 상기 제5 3차원 컨볼루젼 구조의 결과를 병합하는 제1 칸캐터네이트(concatenate) 구조; 및
상기 제1 칸캐터네이트 구조의 결과와 상기 3차원 인셉션 레즈넷 구조의 입력을 원소별 합산(element-wise add)하는 애드(add) 구조를 포함하는 것을 특징으로 하는 어깨 질환 자동 진단 장치. - 제5항에 있어서, 상기 3차원 인셉션 다운샘플링 구조는
제3 경로를 형성하는 제6 3차원 컨볼루젼 구조 및 상기 제6 3차원 컨볼루젼 구조의 결과에서 최대값을 선택하는 맥시멈 풀링 구조;
제4 경로를 형성하는 제7 3차원 컨볼루젼 구조 및 상기 제7 3차원 컨볼루젼 구조의 결과에서 평균값을 선택하는 에버리지 풀링 구조;
제5 경로를 형성하며 컨볼루젼 필터의 이동 단위를 증가시킨 제1 스트라이드(stride) 3차원 컨볼루젼 구조;
제6 경로를 형성하며 상기 제1 스트라이드 3차원 컨볼루젼 구조와 상이하고 컨볼루젼 필터의 이동 단위를 증가시킨 제2 스트라이드 3차원 컨볼루젼 구조; 및
상기 맥시멈 풀링 구조의 결과, 상기 에버리지 풀링 구조의 결과, 상기 제1 스트라이드 3차원 컨볼루젼 구조의 결과 및 상기 제2 스트라이드 3차원 컨볼루젼 구조의 결과를 병합하는 제2 칸캐터네이트(concatenate) 구조를 포함하는 것을 특징으로 하는 어깨 질환 자동 진단 장치. - 삭제
- 제1항에 있어서, 상기 3차원 인셉션 레즈넷 블록 구조 및 상기 글로벌 에버리지 풀링 구조 사이에 배치되는 3차원 컨볼루젼 구조를 더 포함하고,
상기 관심 영역 시각화부는 상기 3차원 컨볼루젼 구조의 결과로 도출되는 피쳐들에 상기 풀리 커넥티드 레이어에서 학습된 웨이트들을 각각 곱한 뒤, 상기 3차원 컨볼루젼 구조의 결과로 도출되는 상기 피쳐들과 상기 웨이트들의 곱들을 합산하여 상기 히트맵을 생성하는 것을 특징으로 하는 어깨 질환 자동 진단 장치. - 제8항에 있어서, 상기 히트맵은 3차원 클래스 액티베이션 맵(Class Activation Map)인 것을 특징으로 하는 어깨 질환 자동 진단 장치.
- 삭제
- 3차원 인셉션 레즈넷(Inception-ResNet) 구조를 이용하여 환자의 어깨 부분을 촬영한 3차원 의료 영상을 입력 받아 상기 3차원 의료 영상에서 피쳐(feature)들을 도출하는 단계, 3차원 인셉션 레즈넷 블록(Inception-ResNet Block) 구조를 이용하여 상기 피쳐들이 이루는 피쳐 맵(feature map)의 정보를 축약하는 단계, 글로벌 에버리지 풀링(Global Average Pooling) 구조를 이용하여 상기 3차원 인셉션 레즈넷 블록 구조의 출력을 에버리지 풀링하는 단계, 상기 3차원 의료 영상의 진단 결과를 상기 환자의 회전근개의 파열 정도를 나타내는 복수의 카테고리로 자동 분류하는 단계 및 인공 지능이 상기 3차원 의료 영상의 진단 결과를 생성함에 있어 상기 3차원 의료 영상 내에서 확인한 관심 영역을 시각화하는 히트맵을 생성하는 단계를 포함하고, 상기 관심 영역은 상기 환자의 상기 회전근개의 파열 부위에 대응하는 것을 특징으로 하는 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083387A KR102291854B1 (ko) | 2019-07-10 | 2019-07-10 | 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 |
| US16/923,987 US20210012884A1 (en) | 2019-07-10 | 2020-07-08 | Automated classification apparatus for shoulder disease via three dimensional deep learning method, method of providing information for classification of shoulder disease and non-transitory computer readable storage medium operating the method of providing information for classification of shoulder disease |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190083387A KR102291854B1 (ko) | 2019-07-10 | 2019-07-10 | 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210007260A KR20210007260A (ko) | 2021-01-20 |
| KR102291854B1 true KR102291854B1 (ko) | 2021-08-23 |
Family
ID=74102388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190083387A KR102291854B1 (ko) | 2019-07-10 | 2019-07-10 | 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210012884A1 (ko) |
| KR (1) | KR102291854B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230128181A (ko) | 2022-02-25 | 2023-09-04 | (주)시안솔루션 | 인공지능 기반 어깨 회전근 개의 파열 상태 판독 방법, 장치 및 프로그램 |
| KR20230128182A (ko) | 2022-02-25 | 2023-09-04 | (주)시안솔루션 | 인공지능 기반 어깨 회전근 개 근육 지방 변성 질환 판독 방법, 장치 및 프로그램 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11842484B2 (en) | 2021-01-04 | 2023-12-12 | James R. Glidewell Dental Ceramics, Inc. | Teeth segmentation using neural networks |
| US20220249014A1 (en) * | 2021-02-05 | 2022-08-11 | Siemens Healthcare Gmbh | Intuitive display for rotator cuff tear diagnostics |
| TWI790572B (zh) * | 2021-03-19 | 2023-01-21 | 宏碁智醫股份有限公司 | 影像相關的檢測方法及檢測裝置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920518B (zh) * | 2019-03-08 | 2021-11-16 | 腾讯科技（深圳）有限公司 | 医学影像分析方法、装置、计算机设备和存储介质 |
-
2019
- 2019-07-10 KR KR1020190083387A patent/KR102291854B1/ko active IP Right Grant
-
2020
- 2020-07-08 US US16/923,987 patent/US20210012884A1/en not_active Abandoned
Non-Patent Citations (3)
| Title |
|---|
| Andrew Brock 외 3명, Generative and Discriminative Voxel Modeling with Convolutional Neural Networks, 2016.08.16. 1부* |
| Yang C 외 2명, Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification, Annual Symposium proceedings, pp1571-1580, 2018.12.5. 1부* |
| 논문:(2014) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230128181A (ko) | 2022-02-25 | 2023-09-04 | (주)시안솔루션 | 인공지능 기반 어깨 회전근 개의 파열 상태 판독 방법, 장치 및 프로그램 |
| KR20230128182A (ko) | 2022-02-25 | 2023-09-04 | (주)시안솔루션 | 인공지능 기반 어깨 회전근 개 근육 지방 변성 질환 판독 방법, 장치 및 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210007260A (ko) | 2021-01-20 |
| US20210012884A1 (en) | 2021-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102291854B1 (ko) | 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체 | |
| Singla et al. | Explanation by progressive exaggeration | |
| Cengil et al. | A deep learning based approach to lung cancer identification | |
| CN109492547B (zh) | 一种结节识别方法、装置和存储介质 | |
| CN112232164A (zh) | 一种视频分类方法和装置 | |
| Shi et al. | Automatic diagnosis of pulmonary embolism using an attention-guided framework: A large-scale study | |
| Pant et al. | Pneumonia detection: An efficient approach using deep learning | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| Ameen et al. | Explainable residual network for tuberculosis classification in the IoT era | |
| Rajasenbagam et al. | Semantic content-based image retrieval system using deep learning model for lung cancer CT images | |
| Wan et al. | C2BNet: a deep learning architecture with coupled composite backbone for parasitic EGG detection in microscopic images | |
| Huang et al. | Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| CN113221971B (zh) | 一种基于前后特征融合的多尺度人群计数方法及系统 | |
| Khanh Phung et al. | A research for segmentation of brain tumors based on GAN model | |
| Hussain et al. | Mammogram Screening for Breast Density Classification using a soft voting ensemble of Swin Transformers and ConvNext models | |
| Zhang et al. | A new optimization method for accurate anterior cruciate ligament tear diagnosis using convolutional neural network and modified golden search algorithm | |
| Esmaeilishahmirzadi et al. | A novel method for enhancing the classification of pulmonary data sets using generative adversarial networks | |
| Akella et al. | A novel hybrid model for automatic diabetic retinopathy grading and multi-lesion recognition method based on SRCNN & YOLOv3 | |
| Kodumuru et al. | Diabetic Retinopathy Screening Using CNN (ResNet 18) | |
| Dai et al. | A Generative Data Augmentation Trained by Low-quality Annotations for Cholangiocarcinoma Hyperspectral Image Segmentation | |
| Pranavi et al. | Lung Disease Detection using Deep Learning | |
| Li et al. | Structural Prior Models for 3-D Deep Vessel Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |