KR20210054678A - 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 - Google Patents
전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 Download PDFInfo
- Publication number
- KR20210054678A KR20210054678A KR1020190140605A KR20190140605A KR20210054678A KR 20210054678 A KR20210054678 A KR 20210054678A KR 1020190140605 A KR1020190140605 A KR 1020190140605A KR 20190140605 A KR20190140605 A KR 20190140605A KR 20210054678 A KR20210054678 A KR 20210054678A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- neural network
- artificial neural
- module
- input image
- Prior art date
Links
- 238000007781 pre-processing Methods 0.000 title claims abstract description 282
- 238000010191 image analysis Methods 0.000 title claims abstract description 222
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 24
- 238000010801 machine learning Methods 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 215
- 238000003745 diagnosis Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 121
- 238000012549 training Methods 0.000 claims description 96
- 238000002591 computed tomography Methods 0.000 claims description 58
- 238000004458 analytical method Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 31
- 238000003709 image segmentation Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 9
- 238000002600 positron emission tomography Methods 0.000 claims description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 2
- 238000012285 ultrasound imaging Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 230000003902 lesion Effects 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 abstract description 8
- 238000003703 image analysis method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 84
- 238000010586 diagram Methods 0.000 description 29
- 210000004185 liver Anatomy 0.000 description 20
- 201000007270 liver cancer Diseases 0.000 description 17
- 208000014018 liver neoplasm Diseases 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 13
- 210000000056 organ Anatomy 0.000 description 9
- 238000004195 computer-aided diagnosis Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008092 positive effect Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002203 pretreatment Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치가 개시된다. 상기 영상 분석 장치는 컴퓨팅 시스템을 포함하며 상기 컴퓨팅 시스템은 프로세서를 포함하고, 상기 컴퓨팅 시스템은 프로세서; 입력 영상을 수신하는 통신 모듈; 및 상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 인공 신경망을 포함한다. 상기 프로세서는 상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈; 및 상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈을 포함한다. 상기 프로세서는 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 영상 분석을 수행하는 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 인공 신경망, 및 상기 통신 모듈을 제어한다.
Description
본 발명은 머신 러닝 기반의 인공지능을 이용하는 영상 분석 기법에 관한 것이다. 구체적으로는 머신 러닝 기반의 인공지능을 이용한 학습 과정에서 종래 기술보다 개선된 학습 기법 및 네트워크를 적용한 영상 분석 기법 및 그 방법이 적용되는 컴퓨팅 시스템을 포함하는 영상 분석 장치에 관한 것이다.
영상의 분할(segmentation)에 기반하여 관심 영역(ROI, Region of Interest)을 검출하는 기술은 영상 처리에서 다양한 용도로 활용된다. 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상을 분할하며, 분할되는 대상은 인체의 장기(organ), 병변(lesion)일 수 있다.
최근 정밀한 의료 진단 목적으로 실행되는 컴퓨터 단층촬영(CT, Computed Tomography)의 결과로 얻어지는 CT 영상에 대한 영상 분할을 최적화하려는 시도가 다수 존재한다.
CT 영상은 CT 넘버로 표현될 수 있다. CT 넘버는 Hounsfield unit(HU)이라고도 부르며, 방사선 투과성을 나타내는 수치이다. CT 넘버는 예를 들면 -1024~3071 범위의 정수로 나타낼 수 있으며, 12비트 영상 데이터로 표현될 수 있다. CT 영상은 CT 넘버를 이용하여 흑백 영상으로 표현되거나, 제한된 칼라 성분으로 표현되는 경우가 많다. 따라서 정확한 진단을 위해서는, 영상을 넓은 계조 범위로 표현해야 하는데, 표시부에서 표현 가능한 계조 수가, CT 영상 데이터의 CT 넘버의 수보다 적은 경우가 있어, CT 영상 데이터의 표시에 어려움이 있다.
또한 의료 영상을 통하여 병변을 진단하고자 하는 경우에 CT 넘버의 전체 윈도우 영역이 모두 필요하지 않은 경우가 일반적이다. 인체 부위(body part), 장기(organ), 및 병변(lesion)에 따라서 분할 및 진단하고자 하는 관심 영역이 용이하게 구분되기 위한 CT 넘버의 윈도우 영역은 서로 다르게 설정될 수 있다.
의료 현장에서는 CT 영상을 획득하는 목적, 즉, 인체 부위, 장기, 및 병변을 고려하여 각 의료 기관에서 빈번하게 사용하는 윈도우 레벨을 지정하고 그에 맞추어 CT 영상을 전처리한 후 전처리된 영상이 영상의학과 판독의(radiologist) 또는 임상의(clinician)에게 전달된다. 이 과정에서 필요한 인력과 시간은 매우 큰 부담이 되고 있다.
이러한 과정을 일부나마 자동화하려는 시도가 한국등록특허 KR 10-1798083 "단층 영상 처리 장치, 방법, 및 그 방법에 관련된 기록매체" 및 한국등록특허 KR 10-1971625 "CT 영상을 처리하는 장치 및 방법" 등에 소개된다.
KR 10-1798083에서는 CT 영상 데이터 내의 관심 지점에 대응하는 화소 영역에서 관심 CT 넘버를 결정하고, 히스토그램 상에서 기준 값 이상의 빈도 수를 가지는 CT 넘버 범위를 CT 윈도우로서 설정하는데, 하나의 CT 영상에서 둘 이상의 관심 영역이 존재하는 경우 각각의 관심 영역에 서로 다른 CT 윈도우가 설정될 수 있다.
KR 10-1971625에서는 복수의 설정 영역 각각에 대응하는 복수의 CT 영상에서, 각 설정 영역, 영상의 표시 방법에 기반하여 각각 CT 윈도우의 폭 및 윈도우의 레벨을 설정하고 설정된 폭 및 레벨에 따라 각각 복수의 CT 영상을 변환하는 구성이 개시된다.
그러나 이러한 선행기술들에 의하더라도 얻어지는 CT 윈도우 레벨 및 그에 의한 전처리는 진단에 매우 불필요한 조직을 배제하는 용도로 이용되는 수준이며, 이러한 수준의 전처리가 최종적으로 임상 진단에 긍정적인 영향을 줄 정도로 최적화되어 있지 않아 부분적 자동화 과정 이후에도 전문가에 의한 수동 작업이 여전히 필요한 상황이다.
또한 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" 에서는 병변 진단에 대한 근거 정보를 도출하기 위하여 DNN 기반으로 추출된 특징 정보를 연쇄적으로 융합하여 특징 벡터를 생성하는 기술이 소개되었다. 그러나 KR 10-1938992는 인공 신경망이 스스로 특징 정보를 도출할 뿐, 추출된 특징 정보가 임상적으로 유용한 정보인 지에 대한 검증이 전혀 이루어지지 않기 때문에, 인공 신경망의 진단 결과에 대한 설명으로 인간이 인식할 수 있으리라는 근거가 희박하다.
"MobileNetV2: Inverted Residuals and Linear Bottlenecks", Mark Sandler, 외, (2019.03.21)
최근 딥러닝 기반의 인공지능 기법을 적용하여 영상 분할에 기반한 영상 분석 기법의 성능을 향상하고자 하는 노력이 계속되고 있다. 그러나 딥러닝 기반 인공지능의 경우, 그 동작으로부터 제공되는 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다.
반면 설명이 용이한 룰-베이스드(rule-based) 방식의 훈련 또는 학습으로는 딥러닝 만큼의 성과가 얻어지지 못하는 점에서 사용이 제한되고 있다. 따라서 향상된 성능을 가지면서도 설명적 정보(descriptive information, explanation)를 제공할 수 있는 딥러닝 기반 인공지능에 대한 연구가 활발하다.
본 발명의 목적은 자동화된 영상 분석 기법의 성능을 향상하여 인간의 육안으로 판독할 때 놓칠 수 있는 병변에 대한 분할, 검출 및 진단까지도 가능한 영상 분석 기법을 제공하는 것이다.
본 발명의 목적은 의료 전문가에게 영상 분석, 분할, 검출, 및 진단 결과물에 대한 설명적 정보(descriptive information, explanation)로서, 임상적으로 유의미한 정보를 제공할 수 있는 영상 분석 기법을 구현하는 것이다.
한편 영상의 밝기 값에 관한 윈도우 레벨 설정은, 영상의 분할 및 영상의 분석에 영향을 미칠 것으로 기대되나, 종래기술들은 윈도우 레벨 설정이 영상의 분할 및 분석 결과에 미치는 관련성이 파악되지 않는 문제점이 있다. 의료 영상에서, 예를 들어 CT 윈도우 레벨의 경우에는 임상적 진단의 효율성으로 연결되는 관련성에 대한 연구가 더욱 필요한데, 종래 기술의 CT 윈도우 레벨은 관습적인 룰-베이스드 방식 또는 단순한 딥러닝을 변용하여 자동화 및 모듈화하는 데에만 치중하고 있어 임상적 진단과 연계될 때 효율적인 지 여부를 알 수단이 없는 문제점이 있다.
본 발명의 목적은 영상의 윈도우 레벨을 전처리하는 과정을 최적화하여 자동화된 전처리 과정의 완성도를 높이는 것이다.
본 발명의 목적은, 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 영상 전처리 조건을 제공하는 것이다.
본 발명의 목적은 의료 영상에 대한 자동화된 전처리 과정으로 얻어지는 윈도우 레벨이 임상적으로 진단에 긍정적인 영향을 줄 정도로 최적화되는 전처리 과정을 제공하는 것이다.
본 발명의 목적은, 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 전처리된 영상 집합을 제공하는 것이다.
본 발명의 목적은 학습 과정에서 영상 분석 인공 신경망과 윈도우 레벨 전처리 모듈을 함께 학습하여 인공 신경망이 수행하는 임무(task)와 관련성이 높은 윈도우 레벨을 도출할 수 있도록 전처리 모듈과 인공 신경망 양쪽의 성능을 향상하는 것이다.
본 발명의 목적은 복수의 전처리 모듈을 상호 독립적으로, 병렬적으로 동작하도록 설계하여 초기값의 지정에 따른 진단 정확도에 대한 영향, 및 local optimum에 의하여 global optimum을 찾지 못하는 문제점에 대한 robustness를 확보하는 것이다.
본 발명의 목적은 영상 분석 인공 신경망이 내부에서 문제를 해결하는 과정을 외부에서 이해할 수 있는 설명적 정보로서, 영상 분석 인공 신경망이 문제를 해결하기에 적합화된 전처리 조건을 도출하고, 전처리 조건에 기반하여 영상 분석 인공 신경망이 문제를 해결하는 과정을 적어도 부분적으로 설명하는 것이다.
또한 종래 기술들과 달리 본 발명은 단순히 인공 신경망의 분석 과정에서 도출되는 히트맵 등을 분석하여 설명적 정보로서 도출하는 데에 그치지 않고, 본 발명의 생성적 인공 신경망의 도출 결과가 인공 신경망의 분석 과정에 미치는 영향을 관찰할 수 있으며, 이로 인하여 결과에 대한 검증을 거쳐 신뢰할 수 있는 설명적 정보를 생성하는 것을 목적으로 한다.
본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 영상 전처리 장치는 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 장치로서, 상기 영상 전처리 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 프로세서; 입력 영상을 수신하는 통신 모듈; 및 상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 인공 신경망을 포함한다. 상기 프로세서는 상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈; 및 상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈을 포함한다. 상기 프로세서는 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 영상 분석을 수행하는 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 인공 신경망, 및 상기 통신 모듈을 제어한다.
상기 프로세서는 상기 인공 신경망 및 상기 영상 분석 모듈이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 영상 분석 모듈의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 인공 신경망에 전달할 수 있고, 상기 인공 신경망이 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망 및 상기 영상 분석 모듈을 제어할 수 있다.
상기 컴퓨팅 시스템은 상기 영상 분석 모듈을 상기 컴퓨팅 시스템의 내부에 더 포함할 수 있다.
상기 통신 모듈은 상기 컴퓨팅 시스템 외부의 상기 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상을 전송할 수 있다. 상기 통신 모듈은 상기 영상 분석 모듈이 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련하는 동안 상기 훈련용 입력 영상 및 상기 영상 분석 모듈의 목적 함수 출력을 피드백받아 상기 인공 신경망에 전달할 수 있다.
상기 프로세서는 상기 인공 신경망이 상기 영상 분석 모듈이 훈련하는 동안 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망을 제어할 수 있다.
상기 제1 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제1 윈도우 레벨일 수 있다. 상기 제2 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제2 윈도우 레벨일 수 있다.
상기 입력 영상은 X선 촬영 영상(X-ray), 컴퓨터 단층촬영 영상(CT), 자기 공명 영상(MRI), 초음파 영상, 양전자 방출 단층촬영 영상(PET, Positron Emission Tomography), 및 단일 광자 방출 컴퓨터 단층촬영(SPECT, Single Photon Emission CT) 중 적어도 하나 이상을 포함하는 모달리티에 의하여 획득되는 영상일 수 있다.
상기 영상 분석 모듈은 상기 입력 영상에 대한 영상 분할(segmentation), 객체 검출(object detection), 진단(diagnosis), 정량화(quantification), 및 영상 분석(image analysis) 중 적어도 하나 이상을 포함하는 태스크(Task)를 수행하는 모듈일 수 있다.
상기 인공 신경망은 상기 입력 영상에 대한 추론을 통하여 제3 전처리 조건을 생성할 수 있다. 이때 상기 프로세서는 상기 입력 영상에 대하여 상기 제3 전처리 조건을 적용하여 제3 전처리 영상을 생성하는 제3 전처리 모듈을 더 포함할 수 있다. 상기 프로세서는 상기 영상 분석 모듈에 상기 제1 전처리 영상, 상기 제2 전처리 영상, 및 상기 제3 전처리 영상이 전달되도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 제3 전처리 모듈, 상기 인공 신경망, 및 상기 통신 모듈을 제어할 수 있다.
상기 제1 전처리 모듈과 상기 제2 전처리 모듈은 상호 독립적으로 동작할 수 있다.
상기 프로세서는 상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 영상 분석 모듈, 및 상기 입력 영상에 대한 상기 영상 분석 모듈의 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 지원 장치는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 지원 장치로서, 상기 영상 분석 지원 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 프로세서; 입력 영상을 수신하는 통신 모듈; 및 상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 인공 신경망을 포함한다. 상기 프로세서는 상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈에 상기 제1 전처리 조건이 전달되고, 상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈에 상기 제2 전처리 조건이 전달되도록 상기 인공 신경망, 및 상기 통신 모듈을 제어한다. 상기 프로세서는 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 영상 분석을 수행하는 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되도록 상기 통신 모듈을 경유하여 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 및 상기 영상 분석 모듈을 제어한다.
상기 프로세서는 상기 인공 신경망 및 상기 영상 분석 모듈이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 영상 분석 모듈의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 인공 신경망에 전달할 수 있고, 상기 인공 신경망이 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망 및 상기 영상 분석 모듈을 제어할 수 있다.
상기 프로세서는 상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 영상 분석 모듈, 및 상기 입력 영상에 대한 상기 영상 분석 모듈의 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 장치는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치로서, 상기 영상 분석 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 프로세서; 입력 영상을 수신하는 통신 모듈; 상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 제1 인공 신경망; 및 상기 입력 영상에 대한 영상 분석을 수행하여 분석 결과를 생성하는 제2 인공 신경망을 포함한다. 상기 프로세서는 상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈; 및 상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈을 포함한다. 상기 프로세서는 상기 제2 인공 신경망에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되고 상기 제2 인공 신경망이 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 상기 분석 결과를 생성하도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 제1 인공 신경망, 상기 제2 인공 신경망, 및 상기 통신 모듈을 제어한다.
상기 프로세서는 상기 제1 인공 신경망 및 상기 제2 인공 신경망이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 제2 인공 신경망의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 제1 인공 신경망에 전달하고, 상기 제1 인공 신경망이 상기 제2 인공 신경망과 함께 훈련하도록 상기 제1 인공 신경망 및 상기 제2 인공 신경망을 제어할 수 있다.
상기 제2 인공 신경망은 상기 입력 영상에 대한 영상 분할(segmentation), 객체 검출(object detection), 진단(diagnosis), 정량화(quantification), 및 영상 분석(image analysis) 중 적어도 하나 이상을 포함하는 태스크(Task)를 수행하는 인공 신경망일 수 있다.
상기 프로세서는 상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 입력 영상에 대한 상기 제2 인공 신경망의 상기 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공할 수 있다.
본 발명에 따르면 자동화된 영상 분석 기법의 성능을 향상하여 인간의 육안으로 판독할 때 놓칠 수 있는 병변에 대한 분할, 검출, 및 진단까지도 가능한 영상 분석 기법을 제공할 수 있다.
본 발명에 따르면 의료 전문가에게 영상 분석, 분할, 검출, 및 진단 결과물에 대한 설명적 정보(descriptive information, explanation)로서, 임상적으로 유의미한 정보를 제공할 수 있는 영상 분석 기법을 구현할 수 있다.
본 발명에 따르면 영상의 윈도우 레벨을 전처리하는 과정을 최적화하여 자동화된 전처리 과정의 완성도를 높일 수 있다.
본 발명에 따르면 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 영상 전처리 조건을 제공할 수 있다.
본 발명에 따르면 의료 영상에 대한 자동화된 전처리 과정으로 얻어지는 윈도우 레벨이 임상적으로 진단에 긍정적인 영향을 줄 정도로 최적화되는 전처리 과정을 제공할 수 있다.
본 발명에 따르면 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 전처리된 영상 집합을 제공할 수 있다.
본 발명에 따르면 학습 과정에서 인공 신경망과 윈도우 레벨 전처리 모듈을 함께 학습하여 인공 신경망이 수행하는 임무(task)와 관련성이 높은 윈도우 레벨을 도출할 수 있도록 전처리 모듈과 인공 신경망 양쪽의 성능을 향상할 수 있다.
본 발명에 따르면 복수의 전처리 모듈을 상호 독립적으로, 병렬적으로 동작하도록 설계함으로써 초기값의 지정에 따른 진단 정확도에 대한 영향, 및 local optimum에 의하여 global optimum을 찾지 못하는 문제점에 대한 robustness를 확보할 수 있다.
본 발명에 따르면 영상 분석 인공 신경망이 내부에서 문제를 해결하는 과정을 외부에서 이해할 수 있는 설명적 정보로서, 영상 분석 인공 신경망이 문제를 해결하기에 적합화된 전처리 조건을 도출할 수 있다. 또한 본 발명에 따르면 도출된 전처리 조건에 기반하여 영상 분석 인공 신경망이 문제를 해결하는 과정을 적어도 부분적으로 설명할 수 있다.
본 발명에 따르면 종래 기술들과 달리 단순히 인공 신경망의 분석 과정에서 도출되는 히트맵 등을 분석하여 설명적 정보로서 도출하는 데에 그치지 않고, 본 발명의 생성적 인공 신경망의 도출 결과가 인공 신경망의 분석 과정에 미치는 영향을 관찰할 수 있으며, 이로 인하여 결과에 대한 검증을 거쳐 신뢰할 수 있는 설명적 정보를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 및 분석 장치의 훈련/학습 과정을 도시하는 도면이다.
도 2는 도 1의 영상 전처리 및 분석 장치를 이용한 추론 과정을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 장치의 훈련/학습 과정을 도시하는 도면이다.
도 4는 도 3의 영상 전처리 장치를 이용한 추론 과정을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 지원 장치의 훈련/학습 과정을 도시하는 도면이다.
도 6은 도 5의 영상 분석 지원 장치를 이용한 추론 과정을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치의 훈련/학습 과정을 도시하는 도면이다.
도 7은 도 8의 영상 분석 장치를 이용한 추론 과정을 도시하는 도면이다.
도 9는 본 발명의 일부를 구성하는 CT 윈도우잉 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 복수의 윈도우잉 전처리 모듈에서 생성되는 windowed images의 예시를 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 전처리 및/또는 영상 분석 장치에서, 영상 분석을 효과적으로 지원하기 위한 전처리 데이터 생성 과정을 도시하는 도면이다.
도 12는 본 발명의 비교예로서, 1개의 전처리 조건을 이용하는 인공 신경망이 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 13과 도 14는 본 발명의 실시예들로서, 복수의 전처리 모듈과 인공 신경망이 함께 훈련되는 네트워크 구조에서 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 15와 도 16은 본 발명의 또 다른 일 실시예에서 복수의 전처리 모듈과 인공 신경망이 영상 분석 모듈과 함께 훈련되는 네트워크 구조에서 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 2는 도 1의 영상 전처리 및 분석 장치를 이용한 추론 과정을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 장치의 훈련/학습 과정을 도시하는 도면이다.
도 4는 도 3의 영상 전처리 장치를 이용한 추론 과정을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 지원 장치의 훈련/학습 과정을 도시하는 도면이다.
도 6은 도 5의 영상 분석 지원 장치를 이용한 추론 과정을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치의 훈련/학습 과정을 도시하는 도면이다.
도 7은 도 8의 영상 분석 장치를 이용한 추론 과정을 도시하는 도면이다.
도 9는 본 발명의 일부를 구성하는 CT 윈도우잉 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 복수의 윈도우잉 전처리 모듈에서 생성되는 windowed images의 예시를 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 전처리 및/또는 영상 분석 장치에서, 영상 분석을 효과적으로 지원하기 위한 전처리 데이터 생성 과정을 도시하는 도면이다.
도 12는 본 발명의 비교예로서, 1개의 전처리 조건을 이용하는 인공 신경망이 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 13과 도 14는 본 발명의 실시예들로서, 복수의 전처리 모듈과 인공 신경망이 함께 훈련되는 네트워크 구조에서 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 15와 도 16은 본 발명의 또 다른 일 실시예에서 복수의 전처리 모듈과 인공 신경망이 영상 분석 모듈과 함께 훈련되는 네트워크 구조에서 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
인공 신경망이 주어지는 문제를 해결하는 내부 과정은 자세히 알려져 있지 않다. 최근 영상 분할, 영상 처리 등에 있어서 획기적인 성능 향상을 가져온 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network) 등에 있어서는 특히 내부가 블랙박스에 가까워, 도출되는 결과가 우수하더라도 사용자가 이를 전적으로 수용하고 채택하는 데에 거부감이 있다.
이러한 배경에서 설명 가능한 인공지능(explainable artificial intelligence, X-AI)에 대한 연구가 미국국방고등연구기획국(DARPA) 등에서 시도되고 있다 (https://www.darpa.mil/program/explainable-artificial-intelligence). 다만 아직까지 가시적인 성과는 드러나지 않고 있는 상황이다.
최근의 딥러닝/CNN 기반 인공 신경망 및 그 이후에 연구된 V-NET, U-NET, RNN 등의 인공 신경망은 주어지는 문제를 복수개의 task로 구분하여 접근할 것으로 예상되지만 어떤 파라미터가 각각의 task에 영향을 미치는 지에 대한 정보는 아직까지 충분히 연구되지 않았다.
본 발명은 인공 신경망과 전처리 모듈을 함께 훈련하여 인공 신경망과 전처리 모듈 양쪽의 성능을 향상시키는 성과로부터 도출되었다. 인공 신경망과 전처리 모듈을 함께 훈련함으로써 인공 신경망의 영상 처리(본 발명에서는 주로 영상 분할 및 관심 영역 검출)의 성능을 향상시키는 결과가 확인되었다.
이 과정에서 인공 신경망의 성능을 향상시키기 위한 의도, 및 전처리 모듈의 초기값의 지정이 최적화된 범위를 벗어나 local optimum으로 제한되는 경우를 회피하기 위하여 복수의 전처리 모듈을 병렬적, 상호 독립적으로 구현하는 과정에서 본 발명은 더욱 고도화된 결과를 도출하였다.
본 발명은 복수개의 전처리 모듈을 사용함으로써, 인공 신경망에게 주어지는 문제를 해결하기 위하여 인공 신경망이 개별적인 task에 대하여 각각 복수개의 전처리 모듈을 서로 다른 양상으로 최적화하는 결과를 도출하였고, 이에 기반하여 복수개의 전처리 모듈이 학습에 의하여 도출한 파라미터가 인공 신경망의 내부 동작을 이해하는 열쇠로서 활용될 수 있음에 착안하였다.
사용자는 본 발명을 활용함으로써, 인공 신경망에게 주어지는 문제를 해결하기 위하여 인공 신경망이 주어지는 문제를 어떠한 개별적인 task로 구분하는지를 들여다 볼 수 있고, 각각의 task에 대하여 인공 신경망이 전처리 모듈을 최적화한 결과물을 관련 정보로서 함께 제공받음으로써 인공 신경망이 제시하는 영상 분할, 및 관심 영역의 검출은 물론, 그로부터 기인하는 의료 진단 결과물이 임상적으로 유의미한 결과를 동반하는 지 여부를 확인할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 및 방법을 도 1 내지 도 14를 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 및 분석 장치의 훈련/학습 과정을 도시하는 도면이다.
도 1을 참조하면, 영상 전처리 및 분석 장치는 컴퓨팅 시스템(100)을 포함한다. 컴퓨팅 시스템(100)은 수신 모듈(150), 제1 인공 신경망(110), 프로세서(120), 영상 분석 모듈(130), 및 목적 함수 로직(140)을 포함한다. 프로세서(120)는 제1 전처리 모듈(121), 제2 전처리 모듈(122), 제3 전처리 모듈(123)을 포함한다. 프로세서(120)는 제1 인공 신경망(110)과 수신 모듈(150)을 제어할 수 있다.
훈련용 입력 영상(170)은 의료 영상이고, 설명의 편의를 위하여 컴퓨터 단층촬영(CT) 영상을 주로 언급하지만, 훈련용 입력 영상(170)은 CT 영상에 국한되지 않고, X선 촬영 영상(X-ray), 컴퓨터 단층촬영 영상(CT), 자기 공명 영상(MRI), 초음파 영상, 양전자 방출 단층촬영 영상(PET, Positron Emission Tomography), 및 단일 광자 방출 컴퓨터 단층촬영(SPECT, Single Photon Emission CT) 중 적어도 하나 이상을 포함하는 모달리티(modality)에 의하여 획득되는 영상일 수 있다. 여기서 제시한 것은 예시일 뿐, 인체의 해부학적 정보를 포함하는 의료 영상이면 어떠한 모달리티(modality)를 이용한 경우에도 대응할 수 있다.
훈련용 입력 영상(170)은 수신 모듈(150)을 경유하여 제1 인공 신경망(110)에 전달될 수 있다. 이때, 발명의 실시예에 따라서는 훈련용 입력 영상(170)의 원본 영상이 영상 분석 모듈(130)에도 전달될 수 있다. 또는 발명의 다른 실시예에 따라서는 훈련용 입력 영상(170)이 복수의 전처리 모듈들(121, 122, 123)에 의하여 전처리된 영상들이 영상 분석 모듈(130)에 전달될 수 있다. 어느 쪽이든, 영상 분석 모듈(130)은 훈련용 입력 영상(170)에 기반한 영상 분석을 수행할 수 있다.
제1 인공 신경망(110)은 훈련용 입력 영상(170)에 대한 추론을 통하여 제1 전처리 조건, 제2 전처리 조건, 및 제3 전처리 조건을 생성할 수 있다. 제1 전처리 조건은 제1 전처리 모듈(121)을 위한 것이고, 제2 전처리 조건은 제2 전처리 모듈(122)을 위한 것이며, 제3 전처리 조건은 제3 전처리 모듈(123)을 위한 것이다. 전처리 조건들은 훈련용 입력 영상(170)의 밝기 값의 상한과 하한을 포함하는 윈도윙(Windowing) 정보일 수 있으며, 상한과 하한으로 표시되는 대신, 중심 레벨(Level)과 폭(Width)으로 표현될 수도 있다.
영상 분석 모듈(130)은 훈련용 입력 영상(170)에 대한 영상 분석을 수행하여 분석 결과를 도출하는 모듈이다. 영상 분석 모듈(130)은 훈련용 입력 영상(170)에 대한 영상 분할(segmentation), 객체 검출(object detection), 진단(diagnosis), 정량화(quantification), 및/또는 영상 분석(image analysis) 중 적어도 하나 이상을 포함하는 태스크(Task)를 수행하는 모듈일 수 있다.
영상 분석 모듈(130)은 인공 신경망으로 구현될 수도 있고, rule-based 방식으로 구현될 수도 있다. 또한 영상 분석 모듈(130)은 학습 또는 훈련에 의하여 형성된 모듈일 수도 있고 처음부터 고정된 파라미터를 가지는 모듈일 수도 있다.
도 1에 도시된 본 발명의 일 실시예에서는 영상 분석 모듈(130)이 인공 신경망으로 구현되었지만, 이미 훈련용 입력 영상에 대하여 학습이 완료되어 고정된 내부 파라미터를 가지는 경우를 가정한다. 이 때 도 1의 실시예의 훈련/학습 과정은 영상 분석 모듈(130)을 훈련하기 위한 것이 아니고, 제1 인공 신경망(110)을 훈련하기 위한 과정이다. 후술할 도 7과 도 8에서는 도 1과 도 2의 영상 분석 모듈(130)이 제2 인공 신경망(430)으로 대체되어, 도 7과 도 8의 제1 인공 신경망(410)과 함께 훈련되는 실시예가 도시된다.
다시 도 1을 참조하면, 제1 인공 신경망(110)은 복수의 전처리 모듈들(121, 122, 123)에서 수행하는 전처리 과정에서 이용되는 전처리 조건들을 생성한다. 이때 제1 인공 신경망(110)은 생성적 인공 신경망(Generative Artificial Neural Network)일 수 있다. 제1 인공 신경망(110)은 훈련용 입력 영상(170)에 기반하여 전처리 조건들을 생성한다.
제1 인공 신경망(110)에 의하여 생성된 전처리 조건들은 프로세서(120)에 의하여 복수의 전처리 모듈들(121, 122, 123)에 전달된다. 제1 전처리 모듈(121)은 제1 전처리 조건을 이용하여 훈련용 입력 영상(170)을 전처리하여 제1 전처리 영상을 생성하고, 제2 전처리 모듈(122)은 제2 전처리 조건을 이용하여 훈련용 입력 영상(170)을 전처리하여 제2 전처리 영상을 생성하고, 제3 전처리 모듈(123)은 제3 전처리 조건을 이용하여 훈련용 입력 영상(170)을 전처리하여 제3 전처리 영상을 생성한다.
제1, 제2, 제3 전처리 영상들은 영상 분석 모듈(130)로 입력되고, 영상 분석 모듈(130)은 제1, 제2, 제3 전처리 영상들에 기반하여 훈련용 입력 영상(170)에 대한 분석 결과를 도출한다. 프로세서(120)는 제1, 제2, 제3 전처리 영상들이 영상 분석 모듈(130)에 전달되도록 전처리 모듈들(121, 122, 123) 및 영상 분석 모듈(130)을 제어할 수 있다. 이때 제1, 제2, 제3 전처리 영상들은 훈련용 입력 영상(170)에 기반하여 형성된 것이고, 훈련용 입력 영상(170)이 관련되는 레이블(label) 정보는 제1, 제2, 제3 전처리 영상들도 관련된다. 목적 함수 로직(140)은 영상 분석 모듈(130)의 분석 결과 및 훈련용 입력 영상(170)이 관련되는 레이블 정보, 또는 제1, 제2, 제3 전처리 영상들과 그 레이블 정보(훈련용 입력 영상(170)의 레이블 정보에 기반하여 획득)에 기반하여 분석 결과에 대한 판정을 수행한다. 분석 결과에 대한 판정이 목적 함수 로직(140)이 설정한 기준 조건을 충족하였는지 여부가 목적 함수 로직(140)의 피드백 정보로서 제1 인공 신경망(110)에 전달된다.
제1, 제2, 제3 전처리 영상들은 윈도윙 정보에 기반하여 전처리된 windowed images이다. 실시예에 따라서는 windowed images 는 영상 분석 모듈(130)에 직접 전달될 수도 있고, 영상 분석 모듈(130)이 처리하기 용이한 형태로 가공되어 영상 분석 모듈(130)에 전달될 수도 있다. 이와 관련된 실시예는 후술할 도 11에 소개된다.
제1 인공 신경망(110)은 전처리 모듈들(121, 122, 123)이 수행할 윈도윙 정보를 생성함으로써 영상 분석 모듈(130)이 훈련용 입력 영상(170)에 대한 영상 분석 성능을 향상시킬 수 있도록 지원한다. 생성적 제1 인공 신경망(110)은 영상 분석 모듈(130)이 훈련용 입력 영상(170)에 대하여 수행하는 영상 분석 과정, 영상 분석 모듈(130)이 훈련용 입력 영상(170)에 대하여 제공하는 분석 결과에 대한 설명적 정보로서 전처리 모듈들(121, 122, 123)이 수행할 윈도윙 정보를 제공할 수 있다.
실시예에 따라서는 영상 분석 모듈(130)이 최초 훈련 과정에서 도달한 목표 성능보다 높은 목표 성능을 가지도록 목적 함수 로직(140)의 기준 조건이 설정될 수 있다. 이 때에는 제1 인공 신경망(110)이 영상 분석 모듈(130)의 성능 향상에 기여한 요인에 대한 설명적 정보로서 윈도윙 정보가 이용될 수도 있다.
영상 분석 모듈(130)이 영상 분할 Task를 수행하는 경우, 영상 분석 모듈(130)의 분석 결과로 도출된 관심 영역 및 훈련용 입력 영상(170)에 대한 레퍼런스 관심 영역 간의 유사도가 목적 함수 로직(140)의 기준 조건이 될 수도 있으며, 영상 분석 모듈(110)이 객체 검출 Task를 수행하는 경우, 영상 분석 모듈(130)의 분석 결과로 도출된 관심 영역의 수 및 위치와 훈련용 입력 영상(170)에 대한 레퍼런스 관심 영역의 수 및 위치 간의 유사도가 목적 함수 로직(140)의 기준 조건이 될 수도 있다. 영상 분석 모듈(130)이 병변의 진단 또는 정량화에 대한 Task를 수행하는 경우, 영상 분석 모듈(130)의 진단 또는 정량화 결과와 레퍼런스 진단 결과 또는 정량화 결과 간의 정확도가 목적 함수 로직(140)의 기준 조건이 될 수도 있다.
도 1의 영상 전처리 및 분석 장치의 컴퓨팅 시스템(100) 내에서는 프로세서(120)의 제어에 의하여 제1 인공 신경망(110), 전처리 모듈들(121, 122, 123), 영상 분석 모듈(130), 및 목적 함수 로직(140)이 함께 훈련용 입력 영상(170) 및 훈련용 입력 영상(170)에 대한 분석 결과 간의 관련성에 대하여 훈련/학습할 수 있도록 훈련/학습 과정의 피드백 루프를 형성한다. 훈련용 입력 영상(170)은 제1 인공 신경망(110)의 입력으로 전달되어 전처리 조건들을 생성하는 기반으로 적용된다. 피드백 루프 내에서는 목적 함수 로직(140)의 출력의 피드백이 제1 인공 신경망(110)에 전달된다. 프로세서(120)는 제1 인공 신경망(110), 전처리 모듈들(121, 122, 123), 영상 분석 모듈(130), 및 목적 함수 로직(140) 간의 데이터 전달 경로 및 피드백 전달 경로를 제어할 수 있다.
제1 전처리 모듈(121), 제2 전처리 모듈(122), 및 제3 전처리 모듈(123)은 상호 독립적으로 동작한다. 또한 제1 인공 신경망(110)은 전처리 모듈들(121, 122, 123) 모두에 대하여 전처리 모듈들(121, 122, 123) 각각의 전처리 조건들을 동시에 생성하지만, 전처리 조건들은 생성된 이후에는 전처리 모듈들(121, 122, 123) 각각으로 전달되고 전처리 모듈들(121, 122, 123) 각각의 동작은 상호 독립적이다.
도 2는 도 1의 영상 전처리 및 분석 장치를 이용한 추론 과정을 도시하는 도면이다. 도 2의 입력 영상(172)는 새로운 분석 및 추론을 위한 새로운 입력이다.
수신 모듈(150)은 입력 영상(172)을 수신한다.
제1 인공 신경망(110)은 입력 영상(172)에 대한 추론을 통하여 제1 전처리 조건, 제2 전처리 조건, 및 제3 전처리 조건을 생성한다.
프로세서(120) 내부의 전처리 모듈들(121, 122, 123)은 각각에 할당되는 전처리 조건들을 입력 영상(172)에 적용하여 제1, 제2, 제3 전처리 영상들을 생성한다.
프로세서(120)는 제1 전처리 모듈(121)이 제1 전처리 조건을 입력 영상(172)에 적용하여 생성한 제1 전처리 영상, 제2 전처리 모듈(122)이 제2 전처리 조건을 입력 영상(172)에 적용하여 생성한 제2 전처리 영상, 및 제3 전처리 모듈(123)이 제3 전처리 조건을 입력 영상(172)에 적용하여 생성한 제3 전처리 영상이 영상 분석 모듈(130)에 전달되도록 제1 인공 신경망(110), 전처리 모듈들(121, 122, 123), 및 영상 분석 모듈(130)을 제어할 수 있다.
프로세서(120)는 제1 전처리 조건, 제2 전처리 조건, 및 제3 전처리 조건을 입력 영상(172), 제1 전처리 영상, 제2 전처리 영상, 제3 전처리 영상, 영상 분석 모듈(130), 및 입력 영상(172)에 대한 영상 분석 모듈(130)의 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공할 수 있다.
제1 인공 신경망(110)이 입력 영상(172)에 대해서 도출한 전처리 조건들, 윈도윙 정보는 입력 영상(172)을 영상 분석 모듈(130)이 효과적으로 분석할 수 있도록 도출된 전처리 조건들일 수 있으므로, 입력 영상(172)이 포함하는 질환, 및 병변에 대한 설명적 정보로 해석될 수도 있고, 입력 영상(172)을 영상 분석 모듈(130)이 분석하는 과정 및 수단을 외부에서 들여다 볼 수 있는 설명적 정보로 해석될 수도 있다. 또한 영상 분석 모듈(130)의 성능 향상을 위한 전처리 영상들이 도출되는 과정, 영상 분석 모듈(130)의 성능 향상을 도모할 수 있는 수단에 대한 설명적 정보로 해석될 수도 있다.
도 1과 도 2의 실시예에서는 영상 분석 모듈(130)이 컴퓨팅 시스템(100) 내에 포함된다. 또한 도시되지는 않았으나, 컴퓨팅 시스템(100) 외부로 데이터 및 정보를 전송할 수 있는 전송 모듈(도시되지 않음)이 컴퓨팅 시스템(100) 내에 더 포함될 수 있다. 수신 모듈(150)과 전송 모듈은 하나의 모듈로 통합되어 "통신 모듈"을 구성할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 장치의 훈련/학습 과정을 도시하는 도면이다.
도 3을 참조하면, 영상 전처리 및 분석 장치는 컴퓨팅 시스템(200)을 포함한다. 컴퓨팅 시스템(200)은 수신 모듈(250), 제1 인공 신경망(210), 프로세서(220), 및 전송 모듈(260)을 포함한다. 컴퓨팅 시스템(200) 외부의 영상 분석 모듈(230), 및 목적 함수 로직(240)과 통신하거나, 영상 분석 모듈(230) 및 목적 함수 로직(240)을 제어하기 위하여 프로세서(220)는 수신 모듈(250)과 전송 모듈(260)을 포함한다. 실시예에 따라서는 수신 모듈(250)과 전송 모듈(260)은 하나의 모듈로 통합되어 "통신 모듈"로서 기능할 수도 있다.
프로세서(220)는 제1 전처리 모듈(221), 제2 전처리 모듈(222), 제3 전처리 모듈(223)을 포함한다. 프로세서(220)는 제1 인공 신경망(210), 수신 모듈(250), 전송 모듈(260)을 제어할 수 있다.
전송 모듈(260)은 컴퓨팅 시스템(200) 외부의 영상 분석 모듈(230)에 제1 전처리 영상, 제2 전처리 영상, 및 제3 전처리 영상을 전송한다.
수신 모듈(250)은 제1 인공 신경망(210) 및 영상 분석 모듈(230)이 함께 훈련용 입력 영상(270) 및 훈련용 입력 영상(270)에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 훈련용 입력 영상(270) 및 영상 분석 모듈(230)의 분석 결과에 대한 목적 함수 로직(240)의 출력을 피드백받아 제1 인공 신경망(210)에 전달할 수 있다.
프로세서(210)는 제1 인공 신경망(210)이 영상 분석 모듈(230)과 함께 훈련하도록 제1 인공 신경망(210)을 제어하고, 수신 모듈(250)과 전송 모듈(260)을 경유하여 영상 분석 모듈(230) 및 목적 함수 로직(240)을 제어할 수 있다.
도 3의 컴퓨팅 시스템(200)은 제1 인공 신경망(210)의 훈련에 의하여 영상 분석 모듈(230)을 위한 제1, 제2, 제3 전처리 영상들을 생성한다. 이때 제1, 제2, 제3 전처리 영상들은 훈련용 입력 영상(270) 및 제1, 제2, 제3 전처리 조건들에 기반하여 생성된다.
제1 인공 신경망(210)이 영상 분석 모듈(230)에 대한 전처리 조건들을 도출할 수 있도록 제1 인공 신경망(210)을 훈련/학습하는 과정은, 수신 모듈(250), 제1 인공 신경망(210), 프로세서(220), 제1 전처리 모듈(221), 제2 전처리 모듈(222), 제3 전처리 모듈(223), 전송 모듈(260), 영상 분석 모듈(230), 및 목적 함수 로직(240)에 의하여 형성되는 피드백 루프 내에서 실행된다.
도 4는 도 3의 영상 전처리 장치를 이용한 추론 과정을 도시하는 도면이다.
도 4에서 입력 영상(272)을 수신 모듈(250)이 수신하고, 제1 인공 신경망(210)이 입력 영상(272)에 기반하여 제1, 제2, 제3 전처리 조건들을 생성하고, 프로세서(220) 내부의 전처리 모듈들(221, 222, 223) 각각이 제1, 제2, 제3 전처리 조건들을 입력 영상(272)에 적용하여 제1, 제2, 제3 전처리 영상들을 생성하고, 영상 분석 모듈(230)이 제1, 제2, 제3 전처리 영상들을 전달받아 추론에 의한 영상 분석 결과를 입력 영상(272)에 대한 영상 분석 결과로서 도출하는 것은 도 2에서 설명된 과정과 유사하므로 중복되는 설명은 생략한다.
도 4에서는 전송 모듈(260)이 제1, 제2, 제3 전처리 영상들을 컴퓨팅 시스템(200) 외부의 영상 분석 모듈(230)에 전송하는 점이 도 2에서와 상이할 뿐, 다른 구성은 도 2와 매우 유사하다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 지원 장치의 훈련/학습 과정을 도시하는 도면이다.
훈련용 입력 영상(370)에 기반하여 수신 모듈(350), 제1 인공 신경망(310), 제1 전처리 모듈(321), 제2 전처리 모듈(322), 제3 전처리 모듈(323), 영상 분석 모듈(330), 및 목적 함수 로직(340)이 피드백 루프를 이루고, 제1 인공 신경망(310) 및 영상 분석 모듈(330)이 함께 훈련용 입력 영상(370) 및 훈련용 입력 영상의 레퍼런스 분석 결과 간의 관련성을 훈련/학습하는 과정이 실행되는 것은 도 1 및 도 3의 실시예와 동일하므로 중복되는 설명은 생략한다.
영상 분석 모듈(330)은 제1 인공 신경망(310)의 훈련/학습 과정에 함께 참여하지만, 영상 분석 모듈(330)은 이미 훈련/학습이 종료된 상태이고, 영상 분석 모듈(330) 내부의 파라미터는 고정된 상태일 수도 있다. 이 경우 실질적으로 훈련/학습되는 대상은 제1 인공 신경망(310)이다.
도 5의 실시예에서는 전송 모듈(360)이 프로세서(320)의 제어에 의하여 제1 전처리 조건을 컴퓨팅 시스템(300) 외부의 제1 전처리 모듈(321)에 전달하고, 제2 전처리 조건을 컴퓨팅 시스템(300) 외부의 제2 전처리 모듈(322)에 전달하고, 제3 전처리 조건을 컴퓨팅 시스템(300) 외부의 제3 전처리 모듈(323)에 전달한다.
제1 인공 신경망(310)의 훈련/학습을 위한 피드백 루프는 컴퓨팅 시스템(300) 외부의 전처리 모듈들(321, 322, 323), 영상 분석 모듈(330), 목적 함수 로직(340)을 포함하므로, 프로세서(320)는 수신 모듈(350)과 전송 모듈(360)을 경유하여 컴퓨팅 시스템(300) 외부의 전처리 모듈들(321, 322, 323), 영상 분석 모듈(330), 목적 함수 로직(340)을 제어할 수 있다.
제1 인공 신경망(310)은 컴퓨팅 시스템(300) 외부의 전처리 모듈들(321, 322, 323)의 개수를 사전에 인식하고 있는 것을 전제로 한다.
도 6은 도 5의 영상 분석 지원 장치를 이용한 추론 과정을 도시하는 도면이다.
도 6에서 입력 영상(372)을 수신 모듈(350)이 수신하고, 제1 인공 신경망(310)이 입력 영상(372)에 기반하여 제1, 제2, 제3 전처리 조건들을 생성하고, 전처리 모듈들(321, 222, 223) 각각이 제1, 제2, 제3 전처리 조건들을 입력 영상(372)에 적용하여 제1, 제2, 제3 전처리 영상들을 생성하고, 영상 분석 모듈(330)이 제1, 제2, 제3 전처리 영상들을 전달받아 추론에 의한 영상 분석 결과를 입력 영상(372)에 대한 영상 분석 결과로서 도출하는 것은 도 2, 및 도 4에서 설명된 과정과 유사하므로 중복되는 설명은 생략한다.
도 6에서는 전송 모듈(360)이 제1 인공 신경망(310)이 생성한 제1, 제2, 제3 전처리 조건들을 컴퓨팅 시스템(300) 외부의 전처리 모듈들(321, 322, 323)에 전달하는 점이 도 2, 및 도 4에서와 상이할 뿐, 다른 구성은 도 2, 및 도 4와 매우 유사하다.
도 7은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치의 훈련/학습 과정을 도시하는 도면이다.
도 7에서는 도 1의 영상 분석 모듈(130)이 제2 인공 신경망(430)으로 대체된다.
도 7을 참조하면, 훈련용 입력 영상(470)에 기반하여 수신 모듈(450), 제1 인공 신경망(410), 제1 전처리 모듈(421), 제2 전처리 모듈(422), 제3 전처리 모듈(423), 제2 인공 신경망(430), 및 목적 함수 로직(440)이 피드백 루프를 이루고, 제1 인공 신경망(410) 및 제2 인공 신경망(430)이 함께 훈련용 입력 영상(470) 및 훈련용 입력 영상의 레퍼런스 분석 결과 간의 관련성을 훈련/학습하는 과정이 실행되는 것은 도 1의 실시예와 동일하므로 중복되는 설명은 생략한다.
제2 인공 신경망(430)은 제1 인공 신경망(410)의 훈련/학습 과정에 함께 참여하고, 제1 인공 신경망(410) 및 제2 인공 신경망(430)이 함께 훈련/학습될 수 있다. 이때에는 제2 인공 신경망(430)은 제1 인공 신경망(410)에 의하여 동작 원리에 대한 설명적 정보가 부분적이나마 생성될 수 있다. 제2 인공 신경망(430)은 일반적으로 내부가 블랙 박스에 가까워 내부의 동작을 외부에서 들여다볼 수 없지만, 제1 인공 신경망(410)이 함께 훈련/학습하여 전처리 조건들을 생성하고, 외부에서는 전처리 조건들을 제2 인공 신경망(430)이 문제를 해결하는 과정을 부분적으로나마 이해하는 수단으로 활용할 수 있다.
도 7은 도 8의 영상 분석 장치를 이용한 추론 과정을 도시하는 도면이다.
도 8에서 입력 영상(472)을 수신 모듈(450)이 수신하고, 제1 인공 신경망(410)이 입력 영상(472)에 기반하여 제1, 제2, 제3 전처리 조건들을 생성하고, 프로세서(420) 내부의 전처리 모듈들(421, 222, 223) 각각이 제1, 제2, 제3 전처리 조건들을 입력 영상(472)에 적용하여 제1, 제2, 제3 전처리 영상들을 생성하고, 제2 인공 신경망(430)이 제1, 제2, 제3 전처리 영상들을 전달받아 추론에 의한 영상 분석 결과를 입력 영상(472)에 대한 영상 분석 결과로서 도출하는 것은 도 2에서 설명된 과정과 유사하므로 중복되는 설명은 생략한다.
도 7과 도 8의 실시예에 따르면, 학습 과정에서 인공 신경망과 윈도우 레벨 전처리 모듈을 함께 학습하여 인공 신경망이 수행하는 임무(task)와 관련성이 높은 윈도우 레벨을 도출할 수 있도록 전처리 모듈과 인공 신경망 양쪽의 성능을 향상할 수 있다.
도 1 내지 도 8의 실시예에 따르면, 영상 분석 모듈에 대한 입력 영상의 윈도우 레벨을 전처리하는 과정을 최적화하여 자동화된 전처리 과정의 완성도를 높일 수 있다.
도 1 내지 도 8의 실시예에 따르면, 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 영상 전처리 조건을 제공할 수 있다.
도 1 내지 도 8의 실시예에 따르면, 의료 영상에 대한 자동화된 전처리 과정으로 얻어지는 윈도우 레벨이 임상적으로 진단에 긍정적인 영향을 줄 정도로 최적화되는 전처리 과정을 제공할 수 있다.
도 1 내지 도 8의 실시예에 따르면, 영상 분석 모듈 또는 영상 분석 인공 신경망의 성능을 향상시킬 수 있는 전처리된 영상 집합을 제공할 수 있다.
도 1 내지 도 8의 실시예에 따르면, 영상 분석 인공 신경망이 내부에서 문제를 해결하는 과정을 외부에서 이해할 수 있는 설명적 정보로서, 영상 분석 인공 신경망이 문제를 해결하기에 적합화된 전처리 조건을 도출할 수 있다. 또한 본 발명에 따르면 도출된 전처리 조건에 기반하여 영상 분석 인공 신경망이 문제를 해결하는 과정을 적어도 부분적으로 설명할 수 있다.
도 1 내지 도 8의 실시예에 따르면, 종래 기술들과 달리 단순히 영상 분석 인공 신경망의 분석 과정에서 도출되는 히트맵 등을 분석하여 설명적 정보로서 도출하는 데에 그치지 않고, 본 발명의 생성적 인공 신경망의 도출 결과가 영상 분석 인공 신경망의 분석 과정에 미치는 영향을 관찰할 수 있으며, 이로 인하여 설명적 정보가 개입한 결과에 대한 검증을 거쳐 신뢰할 수 있는 설명적 정보를 생성할 수 있다.
도 1 내지 도 6의 실시예에서처럼, 기존의 컴퓨터 보조 진단(CAD, Computer-aided Diagnosis) 인공 신경망(훈련/학습이 종료된 상태)의 성능을 부스트하기 위한 용도로 본 발명의 제1 인공 신경망(110, 210, 310)을 애드-온하는 방식으로 본 발명이 실행될 수도 있다. 이때 본 발명의 제1 인공 신경망(110, 210, 310)은 기존의 CAD 모델의 성능을 부스트하거나, 또는 기존의 CAD 모델이 의료 영상에 대한 분석을 수행할 때 실제로는 내부에서 복수의 Task로 구분하여 수행함을 설명적 정보로서 생성할 수도 있다.
도 7과 도 8의 실시예에서는 새로운 CAD 모델을 설계함에 있어서, 새로운 CAD 모델과 본 발명의 제1 인공 신경망(410)을 함께 훈련하여 성능이 향상된 CAD 모델을 개발하는 수단으로 본 발명을 활용할 수도 있다.
도 7 내지 도 8의 실시예에서 전처리 모듈들이 3개인 실시예가 도시되었으나, 본 발명의 사상은 실시예들에 국한되지 않는다. 주어지는 Task의 특성에 따라서 다른 개수의 전처리 모듈들이 이용될 수 있음은 본 발명의 개시에 기반하여 당업자가 자명하게 이해할 수 있을 것이다.
도 1 내지 도 8의 실시예에서, 생성적 제1 인공 신경망으로는 컨볼루션 신경망, 또는 Feature Extracter 와 Parameter Generator를 결합한 형태를 이용하여 구성할 수 있다. 다만 이러한 예시는 본 발명의 사상을 한정하지 않으며, 훈련에 의하여 윈도윙 조건을 생성할 수 있는 생성적 인공 신경망은 모두 본 발명의 구성으로 적용 가능할 것이다.
도 9는 본 발명의 일부를 구성하는 CT 윈도우잉 과정을 설명하는 도면이다.
최근 의료 영상을 이용한 병변 판별의 자동화에 대한 관심이 높아진 상태에서, 의료 영상은 인체 내의 장기(organ) 별로 CT 또는 MRI 등의 영상에서 나타나는 밝기 값에 차이가 있음이 알려져 있다. CT 영상의 경우에는 의료 영상 판별에 있어서 Hounsfield Unit의 정규화 과정이 매우 중요함이 잘 알려져 있다.
도 9를 참조하면, 뼈(bone), 혈액(Blood), 심장(Heart), 간(Liver), 종양(Tumor), 맘모(Mammo), 지방(Fat), 폐(Lung) 장기와 일반적인 물(Water), 공기(Air)가 CT 영상 내에서 가지는 Hounsfield 값의 범위가 도시된다.
윈도윙 전의 CT 영상은 각 장기의 구별이 육안으로 쉽지 않도록 표시되지만, 윈도윙 후의 CT 영상은 육안으로 장기를 구별하기 쉽도록 표현될 수 있다. 이때 윈도윙 조건은 중심 레벨과 폭(Width), 또는 상한과 하한으로 표현될 수 있다. 이러한 윈도윙 조건은 원하지 않는 정보는 제외하고 원하는 정보만 관찰하기 위한 것으로, 간 관찰을 예로 들면, 뼈 부위 또는 지방 부위의 밝기 범위를 제외하고, 간 영역의 밝기 차이를 주로 분석하기 위하여 windowing 조건을 설정하고, windowing을 수행할 수 있다.
한편 도 9에서 CT를 예시로 들었으나, MRI 또는 다른 모달리티에도 적용 가능하며, 발명이 적용되는 모달리티에 맞게 윈도윙 조건을 변형하여 적용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 복수의 윈도우잉 전처리 모듈에서 생성되는 windowed images의 예시를 도시하는 도면이다.
제1 윈도우 영상들(1021)은 제1 전처리 조건에 의하여 생성되고, 제2 윈도우 영상들(1022)은 제2 전처리 조건에 의하여 생성되고, 제3 윈도우 영상들(1023)은 제3 전처리 조건에 의하여 생성된다. 이때 제1 전처리 조건, 제2 전처리 조건, 제3 전처리 조건은 서로 다르므로 동일한 입력 영상에 대해서 생성되는 제1 윈도우 영상들(1021), 제2 윈도우 영상들(1022), 제3 윈도우 영상들(1023)이 시각화되는 결과는 미묘하게 다르며, 이들 제1 윈도우 영상들(1021), 제2 윈도우 영상들(1022), 제3 윈도우 영상들(1023)의 조합에 의하여 영상 분석 모듈 또는 영상 분석 인공 신경망은 영상 분석의 성능을 향상시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 전처리 및/또는 영상 분석 장치에서, 영상 분석을 효과적으로 지원하기 위한 전처리 데이터 생성 과정을 도시하는 도면이다.
본 발명의 실시예들에서는 전처리 영상들이 영상 분석 모듈 또는 영상 분석 인공 신경망에 직접 입력될 수도 있으나, 도 11에서와 같이 추가 전처리 과정을 거쳐 영상 분석 모듈 또는 영상 분석 인공 신경망에 입력될 수도 있다.
도 11을 참조하면, 1차 전처리된(windowed) 영상들을 컨벌루션하여 k개의 슬라이드에서 k개의 feature map을 생성하는 2차 전처리 과정이 수행된다. 2차 전처리 과정에 의하여 생성되는 k개의 feature map 영상이 영상 분석을 수행하는 Task module에 입력된다. 여기에서 도 11에서는 Task module의 일 예로 segmentation인 경우가 도시되었으나, 본 발명의 다른 실시예에서는 Task module이 detection, diagnosis, quantification, analysis 일 수도 있고, 이들 중 둘 이상의 조합을 함께 수행하는 경우일 수도 있다.
도 12는 본 발명의 비교예로서, 1개의 전처리 조건을 이용하는 인공 신경망이 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 12에서 initial 조건은 일반적으로 의료 기관에서 이용하는 간암 진단을 위한 전처리 윈도윙 기준일 수 있다. 1개의 전처리 모듈을 이용하여 훈련하는 경우 윈도윙 조건의 범위는 initial 조건보다 좁혀지는 경향이 있다. 다만 이 경우에 윈도윙 조건이 나타나는 현상의 원인을 정확히 진단하기는 어려울 수 있다.
도 13과 도 14는 본 발명의 실시예들로서, 복수의 전처리 모듈과 인공 신경망이 함께 훈련되는 네트워크 구조에서 간과 간암 영역을 검출한 결과를 도시하는 도면이다.
도 13에서는 최초의 initial 조건에서 트레이닝을 시작하여, 본 발명의 개념을 적용하여 훈련한 결과, 간과 간암을 구별하고자 하는 Task에서 제1 전처리 조건은 tumor의 윈도우 레벨에 유사하도록 훈련되고, 제2 전처리 조건은 간과 간암을 포함하여 주변의 생체 조직을 나타내도록 훈련되고, 제3 전처리 조건은 건강한 liver의 윈도우 레벨에 유사하도록 훈련되었음을 나타낸다.
이때, 본 발명의 생성적 인공 신경망은 분석용 인공 신경망이 해당 Task를 수행하기 위하여 건강한 간(liver)과 간암(tumor) 각각을 구별하는 적어도 두 개의 sub-task를 수행하고 있음을 간접적으로 파악할 수 있다. 제2 전처리 조건은 건강한 간과 간암 양쪽 모두 외에도 주변 장기들을 파악하는 좀 더 넓은 범위로 수렴하는데, 이는 인간이 육안으로 주변 부위를 인식하기 위하여 설정하는 윈도윙 조건과 매우 유사하다. 마찬가지로, 영상 분석 인공 신경망이 주변의 정황 정보를 인식하기 위하여 인간이 육안으로 인식하는 윈도윙 조건과 유사한 윈도윙 조건을 이용한다는 것 또한 간접적으로 파악할 수 있다.
종합적으로는 간과 간암을 구별하는 Task를 수행하기 위하여, 인공 신경망이 맥락(context)를 파악하기 위한 수단으로 제2 전처리 조건과 같이 대상의 주변을 포함하는 윈도윙 조건을 필요로 하는 것으로 이해될 수도 있을 것이다.
도 14의 실시예에서는 윈도윙 조건들의 초기값을 도 13과 조금 달리 설정하였지만, 결과는 실질적으로 동일하거나 유사하다.
도 14에서는 제1 전처리 조건이 건강한 간(liver)의 윈도윙 범위에 대응하고, 제3 전처리 조건이 간암(tumor)의 윈도윙 범위에 대응한다. 제2 전처리 조건은 간과 간암을 모두 포함하는 초기 윈도윙 조건과 유사하게 대응한다. 결국, 도 13과 도 14세어 초기값을 조금 달리 설정하더라도 결과는 매우 유사하면, 본 발명은 다양한 조건 하에서도 robust한 결과를 도출한다는 점을 시사한다.
도 15는 도 1의 실시예에서 훈련된 제1 인공 신경망(110)이 도 2의 실시예에서 새로운 입력 영상(172)을 수신하여 전처리 영상들을 생성하는 과정의 일 예를 도시하는 도면이다.
입력 영상(172)인 CT 영상에서 인간 전문가가 진단한 판독 결과인 Ground Truth, 영상 분석 모듈(130)의 기존 판독 결과가 Existing으로 도 15에 표시된다. 영상 분석 모듈(130)은 훈련이 종료되어 파라미터가 fixed되었다고 가정한다.
본 발명의 제1 인공 신경망(110)은 영상 분석 모듈(130)과 함께 피드백 루프를 형성하고, 훈련하여 영상 분석 모듈(130)의 성능을 향상시킬 수 있는 전처리 조건을 학습한다. 제1 인공 신경망(110)이 생성한 전처리 조건들을 이용하여 윈도윙 처리된 영상들이 도 15에 도시된다. 또한 윙도윙 처리된 전처리 영상들이 fixed 영상 분석 모듈(130)에 입력되어 얻은 결과가 Proposal 로 표시된다. 영상 분석 모듈(130)이 CT 영상을 [-230, 230] 윈도윙 처리한 후 입력받아 단독으로 동작한 경우 검출하지 못했던 영역을 제1 인공 신경망(110)의 전처리 조건에 기반한 전처리 영상들을 수신하여 동작한 경우에는 검출하는 데에 성공한 결과가 도시된다.
제1 인공 신경망(110)이 CT 영상과 영상 분석 모듈(130)을 위하여 도출한 윈도윙 조건은 [54, 69], [-19, -11], [-27, -17] 로 해당 CT 영상 내에서 특정한 장기들을 구분하고 검출하는 데에 최적화되는 조건들이다. 따라서 이러한 윈도윙 조건들은 영상 분석 모듈(130)이 CT 영상을 분석하는 과정을 제1 인공 신경망(110)이 학습한 결과이고, 영상 분석 모듈(130)이 CT 영상을 분석하는 과정을 제1 인공 신경망(110)을 통하여 외부에서 들여다볼 수 있는 설명적 정보로서 이용될 수 있다.
또한 제1 인공 신경망(110)이 이미 학습이 종료되어 파라미터가 fixed된 영상 분석 모듈(130)의 성능을 더욱 향상시킬 수 있는 윈도윙 이미지를 생성할 수 있음이 도 15에 의하여 도시된다.
도 16은 도 15에서 도출된 제1 인공 신경망(110)에 의하여 생성된 Window Parameter를 입력 CT 영상의 Hounsfield Unit 값의 분포와 함께 도시한 도면이다.
도 16을 참조하면, 도 15에 나타난 예시에서 입력 CT 영상의 조영 값(Contrast Value)의 분포(Other, Tumor, Liver)와, CT 영상을 입력했을 때 제1 인공 신경망(110)이 생성한 전처리 파라미터로부터 얻어진 Hounsfield Unit 범위들(Window 1, Window 2, Window 3)이 도시된다.
도 16을 참조하면, 기존의 영상 분석 모듈(130)의 훈련에 사용한 CT 영상들의 Hounsfield Unit 범위는 [-230, 230]으로 간, 간암, 기타 조직의 Hounsfield Unit 범위를 폭 넓게 포함한다.
반면, 제1 인공 신경망(110)이 생성한 전처리 파라미터로부터 얻어진 Hounsfield Unit 범위들(Window 1, Window 2, Window 3)은 간과 간암 조직 사이의 경계값에 민감하게 특화되어 있어, 간과 간암의 조영 값의 분포를 구별하는데 특화되거나(Window 1), 간암 조직과 다른 조직간의 차이를 구별하는데 특화되는 모습이 도시된다(Window 2, Window 3).
도 16을 통하여 제1 인공 신경망(110)이 기존의 영상 분석 모듈(130)이 영역을 분별하는데 최적화된 Hounsfield Unit 범위를 포커싱하여 제공하고, 불필요한 조영 범위를 제거함으로써 기존의 영상 분석 모듈(130)의 성능을 향상시키는 것으로 이해할 수 있다.본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 전처리, 분석 지원, 및/또는 분석 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100, 200, 300, 400: 컴퓨팅 시스템
110, 210, 310, 410: 제1 인공 신경망
130, 230, 330, 430: 제2 인공 신경망/영상 분석 모듈
120, 220, 320: 프로세서
121, 122, 123, 221, 222, 223, 321, 322, 323, 421, 422, 423: 전처리 모듈
150, 250, 350, 450: 수신 모듈
260, 360: 전송 모듈
110, 210, 310, 410: 제1 인공 신경망
130, 230, 330, 430: 제2 인공 신경망/영상 분석 모듈
120, 220, 320: 프로세서
121, 122, 123, 221, 222, 223, 321, 322, 323, 421, 422, 423: 전처리 모듈
150, 250, 350, 450: 수신 모듈
260, 360: 전송 모듈
Claims (19)
- 머신 러닝 기반의 인공지능을 이용하는 영상 전처리 장치로서, 상기 영상 전처리 장치는 컴퓨팅 시스템을 포함하며, 상기 컴퓨팅 시스템은
프로세서;
입력 영상을 수신하는 통신 모듈; 및
상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 인공 신경망;
을 포함하고,
상기 프로세서는
상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈; 및
상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈;
을 포함하고,
상기 프로세서는 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 영상 분석을 수행하는 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 인공 신경망, 및 상기 통신 모듈을 제어하는 영상 전처리 장치. - 제1항에 있어서,
상기 프로세서는
상기 인공 신경망 및 상기 영상 분석 모듈이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 영상 분석 모듈의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 인공 신경망에 전달하고, 상기 인공 신경망이 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망 및 상기 영상 분석 모듈을 제어하는 영상 전처리 장치. - 제1항에 있어서,
상기 컴퓨팅 시스템은
상기 영상 분석 모듈;
을 더 포함하는 영상 전처리 장치. - 제1항에 있어서,
상기 통신 모듈은 상기 컴퓨팅 시스템 외부의 상기 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상을 전송하고,
상기 통신 모듈은 상기 인공 신경망 및 상기 영상 분석 모듈이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 훈련용 입력 영상 및 상기 영상 분석 모듈의 목적 함수 출력을 피드백받아 상기 인공 신경망에 전달하고,
상기 프로세서는 상기 인공 신경망이 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망을 제어하고, 상기 통신 모듈을 경유하여 상기 영상 분석 모듈을 제어하는 영상 전처리 장치. - 제1항에 있어서,
상기 제1 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제1 윈도우 레벨이고,
상기 제2 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제2 윈도우 레벨인 영상 전처리 장치. - 제1항에 있어서,
상기 입력 영상은
X선 촬영 영상(X-ray), 컴퓨터 단층촬영 영상(CT), 자기 공명 영상(MRI), 초음파 영상, 양전자 방출 단층촬영 영상(PET, Positron Emission Tomography), 및 단일 광자 방출 컴퓨터 단층촬영(SPECT, Single Photon Emission CT) 중 적어도 하나 이상을 포함하는 모달리티에 의하여 획득되는 영상인 영상 전처리 장치. - 제1항에 있어서,
상기 영상 분석 모듈은
상기 입력 영상에 대한 영상 분할(segmentation), 객체 검출(object detection), 진단(diagnosis), 정량화(quantification), 및 영상 분석(image analysis) 중 적어도 하나 이상을 포함하는 태스크(Task)를 수행하는 모듈인 영상 전처리 장치. - 제1항에 있어서,
상기 인공 신경망은 상기 입력 영상에 대한 추론을 통하여 제3 전처리 조건을 생성하고,
상기 프로세서는
상기 입력 영상에 대하여 상기 제3 전처리 조건을 적용하여 제3 전처리 영상을 생성하는 제3 전처리 모듈;
을 더 포함하고,
상기 프로세서는
상기 영상 분석 모듈에 상기 제1 전처리 영상, 상기 제2 전처리 영상, 및 상기 제3 전처리 영상이 전달되도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 제3 전처리 모듈, 상기 인공 신경망, 및 상기 통신 모듈을 제어하는 영상 전처리 장치. - 제1항에 있어서,
상기 제1 전처리 모듈과 상기 제2 전처리 모듈은 상호 독립적으로 동작하는, 영상 전처리 장치. - 제1항에 있어서,
상기 프로세서는
상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 영상 분석 모듈, 및 상기 입력 영상에 대한 상기 영상 분석 모듈의 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공하는 영상 전처리 장치. - 머신 러닝 기반의 인공지능을 이용하는 영상 분석 지원 장치로서, 상기 영상 분석 지원 장치는 컴퓨팅 시스템을 포함하며, 상기 컴퓨팅 시스템은
프로세서;
입력 영상을 수신하는 통신 모듈; 및
상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 인공 신경망;
을 포함하고,
상기 프로세서는 상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈에 상기 제1 전처리 조건이 전달되고, 상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈에 상기 제2 전처리 조건이 전달되도록 상기 인공 신경망, 및 상기 통신 모듈을 제어하고,
상기 프로세서는 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 영상 분석을 수행하는 영상 분석 모듈에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되도록 상기 통신 모듈을 경유하여 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 및 상기 영상 분석 모듈을 제어하는 영상 분석 지원 장치. - 제11항에 있어서,
상기 프로세서는
상기 인공 신경망 및 상기 영상 분석 모듈이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 영상 분석 모듈의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 인공 신경망에 전달하고, 상기 인공 신경망이 상기 영상 분석 모듈과 함께 훈련하도록 상기 인공 신경망 및 상기 영상 분석 모듈을 제어하는 영상 분석 지원 장치. - 제11항에 있어서,
상기 제1 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제1 윈도우 레벨이고,
상기 제2 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제2 윈도우 레벨인 영상 분석 지원 장치. - 제11항에 있어서,
상기 프로세서는
상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 영상 분석 모듈, 및 상기 입력 영상에 대한 상기 영상 분석 모듈의 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공하는 영상 분석 지원 장치. - 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치로서, 상기 영상 분석 장치는 컴퓨팅 시스템을 포함하며, 상기 컴퓨팅 시스템은
프로세서;
입력 영상을 수신하는 통신 모듈;
상기 입력 영상에 대한 추론을 통하여 제1 전처리 조건 및 제2 전처리 조건을 생성하는 제1 인공 신경망; 및
상기 입력 영상에 대한 영상 분석을 수행하여 분석 결과를 생성하는 제2 인공 신경망;
을 포함하고,
상기 프로세서는
상기 입력 영상에 대하여 상기 제1 전처리 조건을 적용하여 상기 제1 전처리 영상을 생성하는 제1 전처리 모듈; 및
상기 입력 영상에 대하여 상기 제2 전처리 조건을 적용하여 상기 제2 전처리 영상을 생성하는 제2 전처리 모듈;
을 포함하고,
상기 프로세서는 상기 제2 인공 신경망에 상기 제1 전처리 영상 및 상기 제2 전처리 영상이 전달되고 상기 제2 인공 신경망이 상기 제1 전처리 영상 및 상기 제2 전처리 영상에 기반하여 상기 입력 영상에 대한 상기 분석 결과를 생성하도록 상기 제1 전처리 모듈, 상기 제2 전처리 모듈, 상기 제1 인공 신경망, 상기 제2 인공 신경망, 및 상기 통신 모듈을 제어하는 영상 분석 장치. - 제15항에 있어서,
상기 프로세서는
상기 제1 인공 신경망 및 상기 제2 인공 신경망이 함께 훈련용 입력 영상 및 상기 훈련용 입력 영상에 대한 분석 결과 간의 관련성에 대하여 훈련할 수 있도록 상기 제2 인공 신경망의 목적 함수 출력의 피드백 및 상기 훈련용 입력 영상을 상기 제1 인공 신경망에 전달하고, 상기 제1 인공 신경망이 상기 제2 인공 신경망과 함께 훈련하도록 상기 제1 인공 신경망 및 상기 제2 인공 신경망을 제어하는 영상 분석 장치. - 제15항에 있어서,
상기 제1 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제1 윈도우 레벨이고,
상기 제2 전처리 조건은 상기 입력 영상에 대한 밝기 값의 상한과 하한에 대한 정보를 포함하는 제2 윈도우 레벨인 영상 분석 장치. - 제15항에 있어서,
상기 제2 인공 신경망은
상기 입력 영상에 대한 영상 분할(segmentation), 객체 검출(object detection), 진단(diagnosis), 정량화(quantification), 및 영상 분석(image analysis) 중 적어도 하나 이상을 포함하는 태스크(Task)를 수행하는 인공 신경망인 영상 분석 장치. - 제15항에 있어서,
상기 프로세서는
상기 제1 전처리 조건, 및 상기 제2 전처리 조건을 상기 입력 영상, 상기 제1 전처리 영상, 상기 제2 전처리 영상, 상기 입력 영상에 대한 상기 제2 인공 신경망의 상기 분석 결과 중 적어도 하나 이상에 대한 설명적 정보로서 사용자에게 제공하는 영상 분석 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190140605A KR102370886B1 (ko) | 2019-11-06 | 2019-11-06 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
| US17/091,143 US11928589B2 (en) | 2019-11-06 | 2020-11-06 | Image analysis apparatus using machine learning-based artificial intelligence including preprocessing modules |
| KR1020220026343A KR20220034750A (ko) | 2019-11-06 | 2022-02-28 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190140605A KR102370886B1 (ko) | 2019-11-06 | 2019-11-06 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220026343A Division KR20220034750A (ko) | 2019-11-06 | 2022-02-28 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210054678A true KR20210054678A (ko) | 2021-05-14 |
| KR102370886B1 KR102370886B1 (ko) | 2022-03-07 |
Family
ID=75688737
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190140605A KR102370886B1 (ko) | 2019-11-06 | 2019-11-06 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
| KR1020220026343A KR20220034750A (ko) | 2019-11-06 | 2022-02-28 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220026343A KR20220034750A (ko) | 2019-11-06 | 2022-02-28 | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11928589B2 (ko) |
| KR (2) | KR102370886B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230089446A (ko) | 2021-12-13 | 2023-06-20 | 재단법인 구미전자정보기술원 | 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법 |
| WO2023239174A1 (ko) * | 2022-06-09 | 2023-12-14 | 경북대학교 산학협력단 | 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12002202B2 (en) * | 2021-08-09 | 2024-06-04 | Merck Sharp & Dohme Llc | Meta-learning for cardiac MRI segmentation |
| CN113688975A (zh) * | 2021-08-24 | 2021-11-23 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、装置、电子设备及存储介质 |
| DE102023104538A1 (de) | 2023-02-23 | 2024-08-29 | Olympus Winter & Ibe Gmbh | Medizinisches System und Verfahren zum Betreiben desselben |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150145860A (ko) * | 2014-06-19 | 2015-12-31 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 기능 관리 방법 |
| KR101802500B1 (ko) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | 영상 인식을 위한 학습 장치 및 그 학습 방법 |
| KR101798083B1 (ko) | 2016-02-04 | 2017-12-12 | 삼성전자주식회사 | 단층 영상 처리 장치, 방법, 및 그 방법에 관련된 기록매체 |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
| KR101938992B1 (ko) | 2017-06-19 | 2019-01-15 | 한국과학기술원 | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 |
| KR20190079047A (ko) * | 2017-12-27 | 2019-07-05 | 소프트온넷(주) | 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법 |
| KR20190094133A (ko) * | 2019-04-16 | 2019-08-12 | 엘지전자 주식회사 | 객체를 인식하는 인공 지능 장치 및 그 방법 |
| KR101971625B1 (ko) | 2016-04-12 | 2019-08-13 | 삼성전자주식회사 | Ct 영상을 처리하는 장치 및 방법 |
| KR102097905B1 (ko) * | 2019-06-04 | 2020-04-06 | 주식회사 딥엑스 | 이미지 객체 인식 장치 및 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101983992B1 (ko) | 2014-12-04 | 2019-05-31 | (주)엘지하우시스 | 열가소성 복합재 및 이의 제조방법 |
| EP3432784B1 (en) | 2016-03-24 | 2020-09-23 | The Regents of The University of California | Deep-learning-based cancer classification using a hierarchical classification framework |
| WO2017179866A1 (en) | 2016-04-12 | 2017-10-19 | Samsung Electronics Co., Ltd. | Apparatus and method of processing computed tomography image |
| US10210613B2 (en) | 2016-05-12 | 2019-02-19 | Siemens Healthcare Gmbh | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training |
| WO2018015414A1 (en) | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
| US10599812B2 (en) * | 2016-07-29 | 2020-03-24 | Siemens Healthcare Gmbh | Preprocessing image data based on scan protocols |
| DE102017211331A1 (de) * | 2017-07-04 | 2019-01-10 | Robert Bosch Gmbh | Bildauswertung mit zielgerichteter Vorverarbeitung |
| US10929973B2 (en) * | 2018-10-02 | 2021-02-23 | Siemens Healtcare Gmbh | Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms |
-
2019
- 2019-11-06 KR KR1020190140605A patent/KR102370886B1/ko active IP Right Grant
-
2020
- 2020-11-06 US US17/091,143 patent/US11928589B2/en active Active
-
2022
- 2022-02-28 KR KR1020220026343A patent/KR20220034750A/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150145860A (ko) * | 2014-06-19 | 2015-12-31 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 기능 관리 방법 |
| KR101798083B1 (ko) | 2016-02-04 | 2017-12-12 | 삼성전자주식회사 | 단층 영상 처리 장치, 방법, 및 그 방법에 관련된 기록매체 |
| KR101971625B1 (ko) | 2016-04-12 | 2019-08-13 | 삼성전자주식회사 | Ct 영상을 처리하는 장치 및 방법 |
| KR101802500B1 (ko) * | 2016-10-20 | 2017-11-28 | 재단법인대구경북과학기술원 | 영상 인식을 위한 학습 장치 및 그 학습 방법 |
| KR101938992B1 (ko) | 2017-06-19 | 2019-01-15 | 한국과학기술원 | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 |
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
| KR20190079047A (ko) * | 2017-12-27 | 2019-07-05 | 소프트온넷(주) | 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법 |
| KR20190094133A (ko) * | 2019-04-16 | 2019-08-12 | 엘지전자 주식회사 | 객체를 인식하는 인공 지능 장치 및 그 방법 |
| KR102097905B1 (ko) * | 2019-06-04 | 2020-04-06 | 주식회사 딥엑스 | 이미지 객체 인식 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| "MobileNetV2: Inverted Residuals and Linear Bottlenecks", Mark Sandler, 외, (2019.03.21) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230089446A (ko) | 2021-12-13 | 2023-06-20 | 재단법인 구미전자정보기술원 | 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법 |
| WO2023239174A1 (ko) * | 2022-06-09 | 2023-12-14 | 경북대학교 산학협력단 | 다중 해상도 기반 광간섭 단층 이미징 장치 및 단층 영상 이미지를 이용한 세균 자동 동정 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11928589B2 (en) | 2024-03-12 |
| KR102370886B1 (ko) | 2022-03-07 |
| KR20220034750A (ko) | 2022-03-18 |
| US20210133572A1 (en) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017292642B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| EP3665703B1 (en) | Computer-aided diagnostics using deep neural networks | |
| KR102370886B1 (ko) | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 | |
| Blanc et al. | Artificial intelligence solution to classify pulmonary nodules on CT | |
| KR102629045B1 (ko) | 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| JP2023516651A (ja) | 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数 | |
| Fontanella et al. | Diffusion models for counterfactual generation and anomaly detection in brain images | |
| Sheoran et al. | An efficient anchor-free universal lesion detection in CT-scans | |
| KR20210001233A (ko) | 혈관 세그멘테이션 방법 | |
| Singh et al. | Preprocessing of Medical Images using Deep Learning: A Comprehensive Review | |
| Nasim et al. | Review on multimodality of different medical image fusion techniques | |
| Totad et al. | Brain Tumour Detection and Segmentation using CNN Architecture and U-Net Architecture | |
| Farzana et al. | Semantic Segmentation of Brain Tumor from 3D Structural MRI Using U-Net Autoencoder | |
| DREVICKÝ et al. | Deep Learning Model Uncertainty in Medical Image Analysis | |
| Rajalakshmi et al. | TWO-LEVEL FILTERING AND CONVOLUTIONAL NEURAL NETWORK WITH DRAGONFLY OPTIMIZATION TECHNIQUES FOR LUNG CANCER DETECTION | |
| Sharma | Deep Learning-Based Medical Image Segmentation for Precise Disease Localization | |
| Vinoth et al. | Explainable AI for Transparent MRI Segmentation: Deep Learning and Visual Attribution in Clinical Decision Support | |
| Wahengbam et al. | Deep Learning-based Early Lung Cancer Detection using Multi-Model Image Fusion Technique | |
| Breesam et al. | Segmentation and Classification of Medical Images Using Artificial Intelligence: A Review | |
| Joshi | Segmentation of Teeth in Panoramic X-ray Image Using U-net Algorithm | |
| Müller et al. | nnOOD: A Framework for Benchmarking Self-supervised Anomaly Localisation Methods | |
| Yeboah et al. | Enhancing brain MRI data visualization accuracy with UNET and FPN networks | |
| Chiwhane et al. | Data mining approaches to pneumothorax detection: Integrating mask-RCNN and medical transfer learning techniques | |
| Rajput et al. | U-Net: A Versatile Deep Learning Architecture for Multi-Disease Detection | |
| Yang et al. | Skip-attention Optimization Methods for Machine Learning Models for Papillary Thyroid Carcinoma Detection Based on Ultrasound Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |