KR20200089146A - 의료 영상 처리 장치 및 방법 - Google Patents
의료 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR20200089146A KR20200089146A KR1020190005857A KR20190005857A KR20200089146A KR 20200089146 A KR20200089146 A KR 20200089146A KR 1020190005857 A KR1020190005857 A KR 1020190005857A KR 20190005857 A KR20190005857 A KR 20190005857A KR 20200089146 A KR20200089146 A KR 20200089146A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- image
- processing
- neural network
- lesion
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims description 75
- 230000003902 lesion Effects 0.000 claims abstract description 225
- 238000013528 artificial neural network Methods 0.000 claims abstract description 166
- 230000002159 abnormal effect Effects 0.000 claims abstract description 81
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 14
- 206010061818 Disease progression Diseases 0.000 claims abstract description 5
- 230000005750 disease progression Effects 0.000 claims abstract description 5
- 201000010099 disease Diseases 0.000 claims description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000002059 diagnostic imaging Methods 0.000 claims description 21
- 238000003672 processing method Methods 0.000 claims description 15
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000011976 chest X-ray Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 35
- 238000003786 synthesis reaction Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000001308 synthesis method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 데이터 획득부; 및 신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리, 및 적어도 하나의 비정상 의료 영상에 기초하여 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 하나 이상의 프로세서를 포함하고, 제1 처리는, 제1 입력으로부터 가상 병변 영상을 생성하고, 가상 병변 영상과 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하고, 하나 이상의 프로세서는, 제2 처리의 결과에 기초하여 제1 처리에 이용되는 신경망을 학습(training)시키는, 의료 영상 처리 장치가 제공된다.
Description
본 개시의 실시예들은 의료 영상 처리 장치, 의료 영상 처리 장치에 의해 생성된 의료 영상을 이용하여 신경망을 학습시키는 학습 장치, 학습된 신경망을 이용하는 의료 영상 장치, 및 의료 영상 처리 방법에 관한 것이다.
의료 영상 장치는 대상체를 촬영하여 의료 영상을 생성한다. 의료 영상은 진단을 위해 사용되는데, 최근 의료 영상의 진단에 학습 모델을 이용하기 위한 다양한 연구가 수행되고 있다. 학습 모델의 성능은 학습 데이터의 개수, 학습 데이터의 품질, 학습 알고리즘 등에 의해 결정되는데, 소정 수준 이상의 신뢰도를 갖는 학습 모델을 얻기 위해서는 높은 품질을 갖는 대량의 학습 데이터를 확보하는 것이 중요하다. 그런데 대량의 의료 영상을 수집하는데 어려움이 있어, 의료 영상의 판독을 위한 학습 모델을 생성하는데 어려움이 있다.
본 개시의 실시예들은, 학습 데이터로 이용될 고품질의 의료 영상들을 생성하는 장치 및 방법을 제공하기 위한 것이다.
또한, 본 개시의 실시예들은, 학습 데이터로 이용될 질병의 진행 단계에 따른 다양한 의료 영상을 생성하기 위한 것이다.
또한, 본 개시의 실시예들은, 생성된 학습 데이터를 이용하여 학습을 수행하는 학습 장치, 및 생성된 학습 데이터를 이용하여 학습된 모델을 이용하는 의료 영상 장치를 제공하기 위한 것이다.
본 개시의 일 실시예에 따르면, 적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 데이터 획득부; 및 신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리, 및 상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 하나 이상의 프로세서를 포함하고, 상기 제1 처리는, 제1 입력으로부터 가상 병변 영상을 생성하고, 상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하고, 상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는, 의료 영상 처리 장치가 제공된다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 제1 입력은 랜덤 변수 입력일 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 제1 입력은 병변 패치 영상일 수 있다.
본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여, 상기 가상 병변 영상과 상기 정상 의료 영상을 합성하여 상기 제1 의료 영상을 생성하는 제2 신경망을 학습시킬 수 있다.
본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여, 상기 제1 입력으로부터 상기 가상 병변 영상을 생성하는 제1 신경망을 학습시킬 수 있다.
본 개시의 일 실시예에 따르면, 상기 정상 의료 영상 및 상기 비정상 의료 영상은 흉부 엑스선 영상일 수 있다.
본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 제3 신경망을 이용하여 상기 제2 처리를 수행하고, 상기 제2 처리의 결과에 기초하여, 상기 제3 신경망을 학습시킬 수 있다.
본 개시의 일 실시예에 따르면, 상기 제1 처리는, 상기 제1 입력으로부터 질병의 진행 상태에 따른 복수의 가상 병변 영상을 생성하고, 상기 복수의 가상 병변 영상 각각을 상기 정상 의료 영상과 합성하여, 서로 다른 질병의 진행 상태에 대응하는 복수의 제1 의료 영상을 생성할 수 있다.
본 개시의 일 실시예에 따르면, 상기 제1 처리는, 상기 적어도 하나의 가상 병변 영상 중 하나를 서로 다른 복수의 정상 의료 영상과 각각 합성하여, 복수의 제1 의료 영상을 생성할 수 있다.
본 개시의 일 실시예에 따르면, 상기 제2 처리는 상기 적어도 하나의 비정상 의료 영상과 상기 제1 의료 영상의 병변 영역에 관련된 특징에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별할 수 있다.
본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 제1 처리에서 생성된 상기 제1 의료 영상에 대한 정보에 기초하여 상기 제2 처리에서 이용될 상기 적어도 하나의 비정상 의료 영상을 선택할 수 있다.
본 개시의 일 실시예에 따르면, 상기 가상 병변 영상의 해상도는 상기 적어도 하나의 비정상 의료 영상의 해상도 및 상기 제1 의료 영상의 해상도보다 작을 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 정상 의료 영상 및 상기 적어도 하나의 비정상 의료 영상은, 엑스선 영상, CT 영상, MRI 영상, 및 초음파 영상 중 적어도 하나일 수 있다.
본 개시의 일 실시예에 따르면, 상기 의료 영상 처리 장치를 이용하여 생성된 상기 적어도 하나의 제1 의료 영상을 이용하여, 병변의 위치, 병변의 종류, 및 병변에 해당할 확률 중 적어도 하나를 나타내는 진단 보조 영상을 생성하는 제4 신경망을 학습시키는 학습 장치가 제공된다.
본 개시의 일 실시예에 따르면, 상기 학습 장치에 의해 학습된 제4 신경망을 이용하여 생성된 진단 보조 영상을 디스플레이하는 의료 영상 장치가 제공된다.
본 개시의 일 실시예에 따르면, 적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 단계; 신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리를 수행하는 단계; 상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 단계; 및 상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는 단계를 포함하고, 상기 제1 처리를 수행하는 단계는, 제1 입력으로부터 가상 병변 영상을 생성하는 단계; 상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하는 단계를 포함하는, 의료 영상 처리 방법이 제공된다.
본 개시의 일 실시예에 따르면, 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 수행되었을 때 의료 영상 처리 방법을 수행하는 적어도 하나의 인스트럭션을 포함하고, 상기 의료 영상 처리 방법은, 적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 단계; 신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리를 수행하는 단계; 상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 단계; 및 상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는 단계를 포함하고, 상기 제1 처리를 수행하는 단계는, 제1 입력으로부터 가상 병변 영상을 생성하는 단계; 상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하는 단계를 포함하는, 컴퓨터 프로그램이 제공된다.
본 개시의 실시예들에 따르면, 학습 데이터로 이용될 고품질의 의료 영상들을 생성하는 장치 및 방법을 제공할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 학습 데이터로 이용될 질병의 진행 단계에 따른 다양한 의료 영상을 생성할 수 있는 효과가 있다.
또한, 본 개시의 실시예들에 따르면, 생성된 학습 데이터를 이용하여 학습을 수행하는 학습 장치, 및 생성된 학습 데이터를 이용하여 학습된 모델을 이용하는 의료 영상 장치를 제공할 수 있는 효과가 있다.
도 1a는 일 실시예에 따른 엑스선 장치의 구성을 도시하는 외관도이다. 도 1에서는 고정식 엑스선 장치를 예로 들어 설명한다.
도 1b는 엑스선 장치의 일 예로서, 모바일 엑스선 장치를 도시한 외관도이다.
도 2는 일 실시예에 따른 의료 영상 처리 장치(200)의 구조를 나타낸 블록도이다.
도 3은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 동작을 나타낸 도면이다.
도 4는 제1-2 처리(316) 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 의료 영상 처리 방법을 나타낸 흐름도이다.
도 6은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
도 7은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
도 8은 일 실시예에 따른 제1 입력의 형태를 나타낸 도면이다.
도 9는 일 실시예에 따라 제1 의료 영상을 생성하는 과정을 나타낸 도면이다.
도 10은 일 실시예에 따른 학습 장치 및 의료 영상 장치를 나타낸 도면이다.
도 11은 일 실시예에 따른 의료 영상 장치(1110a)를 나타낸 블록도이다.
도 12는 일 실시예에 따른 의료 영상 장치(1110b)를 나타낸 블록도이다.
도 1b는 엑스선 장치의 일 예로서, 모바일 엑스선 장치를 도시한 외관도이다.
도 2는 일 실시예에 따른 의료 영상 처리 장치(200)의 구조를 나타낸 블록도이다.
도 3은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 동작을 나타낸 도면이다.
도 4는 제1-2 처리(316) 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 의료 영상 처리 방법을 나타낸 흐름도이다.
도 6은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
도 7은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
도 8은 일 실시예에 따른 제1 입력의 형태를 나타낸 도면이다.
도 9는 일 실시예에 따라 제1 의료 영상을 생성하는 과정을 나타낸 도면이다.
도 10은 일 실시예에 따른 학습 장치 및 의료 영상 장치를 나타낸 도면이다.
도 11은 일 실시예에 따른 의료 영상 장치(1110a)를 나타낸 블록도이다.
도 12는 일 실시예에 따른 의료 영상 장치(1110b)를 나타낸 블록도이다.
본 명세서는 청구항의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 청구항에 기재된 실시예를 실시할 수 있도록, 실시예들의 원리를 설명하고 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시예들이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '모듈' 또는 '부'(unit)라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합으로 구현될 수 있으며, 실시예들에 따라 복수의 '모듈' 또는 '부'가 하나의 요소(element)로 구현되거나, 하나의 '모듈' 또는 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시예들의 작용 원리 및 다양한 실시예들에 대해 설명한다.
본 명세서에서 영상은 컴퓨터 단층 촬영(CT, Computed Tomography) 장치, 자기 공명 영상(MRI, Magnetic Resonance Imaging) 장치, 초음파 촬영 장치, 또는 엑스선 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
본 개시의 실시예들은 CT 영상, MRI 영상, 초음파 영상, 또는 엑스선 영상에 적용될 수 있다. 본 개시에서는 엑스선 영상에 본 개시의 실시예들을 적용하는 실시예를 중심으로 설명하지만, 청구항의 권리범위가 엑스선 영상을 이용하는 실시예로 한정되는 것은 아니며, 다른 모달리티의 의료 영상을 이용하는 실시예까지 청구항의 권리범위가 미침을 용이하게 이해할 수 있다.
도 1a는 일 실시예에 따른 엑스선 장치의 구성을 도시하는 외관도이다. 도 1에서는 고정식 엑스선 장치를 예로 들어 설명한다.
도 1a를 참조하면, 엑스선 장치(100)는 엑스선을 발생시켜 조사하는 엑스선 조사부(110), 엑스선 조사부로부터 조사되어 대상체를 투과한 엑스선을 검출하는 엑스선 디텍터(195), 및 사용자로부터 명령을 입력 받고 정보를 제공하는 워크스테이션(180)을 포함한다. 또한, 엑스선 장치(100)는 입력된 명령에 따라 엑스선 장치(100)를 제어하는 제어부(120) 및 외부 기기와 통신하는 통신부(140)를 포함할 수 있다.
제어부(120) 및 통신부(140)의 구성요소 중 일부 또는 전부는 워크스테이션(180)에 포함되거나 워크스테이션(180)과 별도로 마련될 수 있다.
엑스선 조사부(110)는 엑스선을 발생시키는 엑스선 소스와, 엑스선 소스에서 발생되는 엑스선의 조사영역을 조절하는 콜리메이터(collimator)를 구비할 수 있다.
엑스선 장치(100)가 배치되는 검사실 천장에는 가이드 레일(30)이 설치될 수 있고, 가이드 레일(30)을 따라 이동하는 이동 캐리지(40)에 엑스선 조사부(110)를 연결하여 대상체(P)에 대응되는 위치로 엑스선 조사부(110)를 이동시킬 수 있고, 이동 캐리지(40)와 엑스선 조사부(110)는 절첩 가능한 포스트 프레임(50)을 통해 연결되어 엑스선 조사부(110)의 높이를 조절할 수 있다.
워크스테이션(180)에는 사용자의 명령을 입력 받는 입력부(181) 및 정보를 표시하는 디스플레이부(182)가 마련될 수 있다.
입력부(181)는 촬영 프로토콜, 촬영 조건, 촬영 타이밍, 엑스선 조사부(110)의 위치 제어 등을 위한 명령을 입력 받을 수 있다. 입력부(181)는 키보드, 마우스, 터치스크린, 음성 인식기, 등을 포함할 수 있다.
디스플레이부(182)는 사용자의 입력을 가이드하기 위한 화면, 엑스선 영상, 엑스선 장치(100)의 상태를 나타내는 화면 등을 표시할 수 있다.
제어부(120)는 사용자로부터 입력된 명령에 따라 엑스선 조사부(110)의 촬영 타이밍, 촬영 조건 등을 제어할 수 있고, 엑스선 디텍터(195)로부터 수신된 이미지 데이터를 이용하여 의료 이미지를 생성할 수 있다. 또한, 제어부(120)는 촬영 프로토콜 및 대상체(P)의 위치에 따라 엑스선 조사부(110)나 엑스선 디텍터(195)가 장착된 장착부(14, 24)의 위치 또는 자세를 제어할 수도 있다.
제어부(120)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 메모리 및 저장된 프로그램을 실행하는 프로세서를 포함할 수 있다. 제어부(120)는 단일 프로세서를 포함할 수도 있고, 복수의 프로세서를 포함할 수도 있는바, 후자의 경우에는 복수의 프로세서가 하나의 칩 상에 집적될 수도 있고, 물리적으로 분리될 수도 있다.
엑스선 장치(100)는 통신부(140)를 통해 외부 장치 (예를 들면, 외부의 서버(151), 의료 장치(152) 및 휴대용 단말(153; 스마트폰, 태브릿 PC, 웨어러블 기기 등)) 와 연결되어 데이터를 송신하거나 수신할 수 있다.
통신부(140)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
또한, 통신부(140)가 외부 장치로부터 제어 신호를 수신하고, 수신된 제어 신호를 제어부(120)에 전달하여 제어부(120)로 하여금 수신된 제어 신호에 따라 엑스선 장치(100)를 제어하도록 하는 것도 가능하다.
또한, 제어부(120)는 통신부(140)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다. 예를 들어, 외부 장치는 통신부(140)를 통해 수신된 제어부(120)의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
또한, 통신부(140)는 엑스선 장치(100)의 구성요소들 간에 통신을 가능하게 하는 내부 통신 모듈을 더 포함할 수도 있다. 외부 장치에는 엑스선 장치(100)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(120)의 동작 중 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 휴대용 단말(153)에 미리 설치될 수도 있고, 휴대용 단말(153)의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로딩하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
한편, 엑스선 디텍터(195)는 스탠드(20)나 테이블(10)에 고정된 고정형 엑스선 디텍터로 구현될 수도 있고, 장착부(14, 24)에 착탈 가능하게 장착되거나, 임의의 위치에서 사용 가능한 휴대용 엑스선 디텍터(portable x-ray detector)로 구현될 수도 있다. 휴대용 엑스선 디텍터는 데이터 전송 방식과 전원 공급 방식에 따라 유선 타입 또는 무선 타입으로 구현될 수 있다.
엑스선 디텍터(195)는 엑스선 장치(100)의 구성 요소로 포함될 수도 있고, 포함되지 않을 수도 있다. 후자의 경우, 엑스선 디텍터(195)는 사용자에 의해 엑스선 장치(100)에 등록될 수 있다. 또한, 두 경우 모두 엑스선 디텍터(195)는 통신부(140)를 통해 제어부(120)와 연결되어 제어 신호를 수신하거나 이미지 데이터를 송신할 수 있다.
엑스선 조사부(110)의 일 측면에는 사용자에게 정보를 제공하고 사용자로부터 명령을 입력 받는 서브 유저 인터페이스(80)가 마련될 수 있고, 워크 스테이션(180)의 입력부(181) 및 디스플레이부(182)가 수행하는 기능 중 일부 또는 전부가 서브 유저 인터페이스(80)에서 수행될 수 있다.
제어부(120) 및 통신부(140)의 구성 요소 중 전부 또는 일부가 워크스테이션(180)과 별도로 마련되는 경우에는 엑스선 조사부(110)에 마련된 서브 유저인터페이스(80)에 포함될 수 있다.
도 1a은 검사실의 천장에 연결된 고정식 엑스선 장치에 대해 도시하고 있지만, 엑스선 장치(100)는 C-암(arm) 타입 엑스선 장치, 모바일 엑스선 장치 등 당업자에게 자명한 범위 내에서 다양한 구조의 엑스선 장치를 포함할 수 있다.
도 1b는 엑스선 장치의 일 예로서, 모바일 엑스선 장치를 도시한 외관도이다.
도 1a과 동일한 부호는 동일한 기능을 수행하므로 도 1a에 설명된 부호에 대한 설명은 생략한다.
엑스선 장치는 전술한 실링 타입뿐만 아니라 모바일 타입으로도 구현 가능하다. 엑스선 장치(100)가 모바일 엑스선 장치로 구현되는 경우에는 엑스선 조사부(110)가 연결된 본체(101)가 자유롭게 이동 가능하고 엑스선 조사부(110)와 본체(101)를 연결하는 암(103) 역시 회전 및 직선 이동이 가능하기 때문에 엑스선 조사부(110)를 3차원 공간 상에서 자유롭게 이동시킬 수 있다.
본체(101)에는 엑스선 디텍터(195)를 보관하는 보관부(105)가 마련될 수 있다. 또한, 보관부(105) 내부에는 엑스선 디텍터(195)를 충전할 수 있는 충전 단자가 마련되어 엑스선 디텍터(195)를 보관하면서 충전까지 함께 수행할 수 있다.
입력부(181), 디스플레이부(182), 제어부(120) 및 통신부(140)는 본체(101)에 마련될 수 있고, 엑스선 디텍터(195)가 획득한 이미지 데이터는 본체(101)로 전송되어 영상 처리를 거친 후에 디스플레이부(152)에 표시되거나, 통신부(140)를 통해 외부의 장치로 전송될 수 있다.
또한, 제어부(120) 및 통신부(140)는 본체(101)와 별도로 마련될 수도 있으며, 제어부(120) 및 통신부(140)의 구성요소 중 일부만 본체(101)에 마련되는 것도 가능하다.
도 2는 일 실시예에 따른 의료 영상 처리 장치(200)의 구조를 나타낸 블록도이다.
일 실시예에 따르면, 의료 영상 처리 장치(200)는 데이터 획득부(210) 및 프로세서(220)를 포함한다. 프로세서(220)는 신경망(230)을 이용하여 제1 의료 영상을 생성한다. 신경망(230)은 의료 영상 처리 장치(200) 내부에 포함되거나, 외부 장치에 구비될 수 있다.
데이터 획득부(210)는 적어도 하나의 정상 의료 영상 및 적어도 하나의 비정상 의료 영상을 획득한다.
정상 의료 영상은 질병 또는 병변이 검출되지 않은 환자를 촬영하여 획득된 의료 영상이다. 비정상 의료 영상은 질병 또는 병변을 가진 환자를 촬영하여 획득된 의료 영상이다. 여기서 정상 의료 영상 및 비정상 의료 영상은 실제로 환자를 촬영하여 획득된 실제 의료 영상이다. 의료 영상은 예를 들면 의료진의 진단, 의료 영상 진단 장치의 진단 등에 의해 정상 의료 영상 또는 비정상 의료 영상으로 판별될 수 있다. 정상 의료 영상인지 비정상 의료 영상인지 여부에 대한 정보는 의료 영상의 메타 데이터에 기록될 수 있다.
정상 의료 영상 및 비정상 의료 영상은 환자 또는 질병에 관련된 메타 데이터를 포함할 수 있다. 메타 데이터는 예를 들면, 촬영 프로토콜, 환자 나이, 환자 성별, 환자 인종, 환자 체중, 환자 신장, 환자 생체 정보, 질병 정보, 질병 이력, 가족력, 진단 정보 등의 추가 정보를 포함할 수 있다.
정상 의료 영상 및 비정상 의료 영상은 서로 대응되는 영역 또는 장기를 촬영한 의료 영상일 수 있다. 예를 들면, 정상 의료 영상 및 비정상 의료 영상은 흉부 영상, 복부 영상, 또는 뼈 영상 등에 대응될 수 있다. 또한, 정상 의료 영상 및 비정상 의료 영상은 미리 정의된 방향으로 촬영한 의료 영상일 수 있다. 예를 들면, 정상 의료 영상 및 비정상 의료 영상은 정면, 측면, 또는 후면 등 미리 정의된 방향에 대응될 수 있다.
일 실시예에 따르면, 정상 의료 영상 및 비정상 의료 영상은 미리 정의된 속성을 가질 수 있다. 미리 정의된 속성은 예를 들면 사이즈, 해상도, 대상체의 정렬 등을 포함할 수 있다.
일 실시예에 따르면, 데이터 획득부(210)는 저장 매체에 대응될 수 있다. 예를 들면, 메모리, 데이터 저장용 비휘발성 저장 매체 등의 형태로 구현될 수 있다. 데이터 획득부(210)는 의료 영상을 저장하는 데이터베이스에 대응될 수 있다.
다른 실시예에 따르면, 데이터 획득부(210)는 외부 장치로부터 의료 영상을 획득하는 통신부 또는 I/O 디바이스에 대응될 수 있다. 외부 장치는 예를 들면, 엑스선 영상 시스템, CT 시스템, MRI 시스템, 의료 데이터 서버, 다른 사용자의 단말 등을 포함한다. 본 실시예에 따르면, 데이터 획득부(210)는 다양한 유무선 네트워크를 통하여 외부 장치와 연결될 수 있으며, 예를 들면 유선 케이블, LAN(Local Area Network), 이동 통신망, 인터넷 등을 통하여 외부 장치와 연결될 수 있다. 데이터 획득부(210)는 도 1a의 통신부(140) 또는 도 1b의 통신부(140)에 대응될 수 있다.
프로세서(220)는 의료 영상 처리 장치(200)의 전반적인 동작을 제어하고, 데이터를 처리할 수 있다. 프로세서(220)는 하나 이상의 프로세서를 포함할 수 있다. 프로세서(220)는 도 1a의 영상 제어부(120) 또는 도 1b의 제어부(120)에 대응할 수 있다.
프로세서(220)는 신경망(230)을 이용하여 제1 입력 및 정상 의료 영상으로부터 제1 의료 영상을 생성한다.
일 실시예에 따르면, 프로세서(220)는 외부에 배치된 신경망(230)을 이용하여 제1 의료 영상을 생성한다. 이를 위해 프로세서(220)는 외부에 배치된 신경망(230)으로 제1 입력 및 정상 의료 영상을 전달하고, 신경망(230)의 동작을 제어하고, 신경망(230)으로부터 출력된 제1 의료 영상을 수신할 수 있다. 신경망(230)은 예를 들면 의료 영상 처리 장치(200)와 연결된 외부 서버 또는 외부 시스템에 배치될 수 있다.
다른 실시예에 따르면, 신경망(230)은 의료 영상 처리 장치(200)의 내부에 구비될 수 있다. 일 실시예에 따르면, 신경망(230)는 프로세서(220)와 별개의 블록으로 형성되고, 프로세서(220)와 신경망(230)이 별개의 IC 칩으로 형성될 수 있다. 다른 실시예에 따르면, 신경망(230)과 프로세서(220)가 하나의 블록으로 형성되고, 하나의 IC 칩 내에 형성될 수 있다.
신경망(230)은 적어도 하나의 프로세서와 적어도 하나의 메모리의 조합으로 구성될 수 있다. 신경망(230)은 하나 또는 복수의 신경망을 포함할 수 있다. 신경망(230)은 제1 입력 및 정상 의료 영상을 수신하여, 제1 의료 영상을 출력한다. 프로세서(220)는 신경망(230)으로 입력 데이터를 전달하고, 신경망(230)으로부터 출력되는 데이터를 획득할 수 있다. 신경망(230)는 적어도 하나의 레이어, 적어도 하나의 노드, 적어도 하나의 노드 사이의 가중치를 포함할 수 있다. 신경망(230)은 복수의 레이어로 구성된 심층 신경망(Deep Neural Network)에 대응될 수 있다.
프로세서(220)는 신경망을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리, 및 적어도 하나의 비정상 의료 영상에 기초하여 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행한다.
신경망을 이용하여 의료 영상의 진단 정보를 생성하는 의료 인공지능 시스템을 구현하기 위해서는, 다수의 학습 데이터를 이용한 신경망의 학습이 필요하다. 신뢰도 높은 의료 인공지능 시스템을 구현하기 위해서는, 다수의 고품질 학습 데이터가 요구된다. 그런데 다수의 고품질 의료 영상을 수집 및 관리하는 것은 엄청난 비용과 노력이 요구되어, 의료 인공지능 시스템을 구축하는데 기술적인 장애 요인이 된다. 더욱이 질병 또는 병변에 대한 정보를 얻기 위한 의료 인공지능 시스템을 학습시키기 위해서는, 질병 또는 병변을 포함하는 환자의 의료 영상을 학습 데이터로 확보해야하는데, 질병 또는 병변을 포함하는 환자의 의료 영상의 개수가 정상 환자의 의료 영상의 수보다 적기 때문에, 비정상 의료 영상을 확보하는 것은 정상 의료 영상을 확보하는 것에 비해 더욱 어렵다. 본 개시의 실시예들에 따르면, 제1 입력 및 정상 의료 영상을 이용하여 다양한 제1 의료 영상을 생성하여, 다수의 학습 데이터를 확보할 수 있는 효과가 있다.
한편, 가상으로 영상을 생성하기 위한 알고리즘 중 하나로 생성적 적대 신경망(Generative Adversarial Network, GAN) 기술이 있다. GAN 기술은 가상 영상을 생성하는데 이용될 수 있다. 그런데 의료 영상은 일반 영상에 비해 그 해상도가 매우 크고, 영상의 그레이 레벨의 분포 및 범위가 다르며, 영상 특성에 차이가 있다. 이로 인해 일반적인 GAN 기술을 의료 영상에 적용하여 가상 의료 영상을 생성하는 경우, 가상 의료 영상의 품질이 좋지 않았다. 더욱이 GAN 기술로 생성된 가상 의료 영상은 실제 의료 영상과 그 품질에 있어서 차이가 있었다.
본 개시의 실시예들에 따르면, 최종 출력 영상인 제1 의료 영상보다 그 크기가 작은 가상 병변 영상을 먼저 생성하고, 가상 병변 영상과 정상 영상을 합성함에 의해, 높은 품질의 제1 의료 영상의 획득할 수 있다. 또한, 본 개시의 실시예들은 실제로 촬영된 비정상 의료 영상에 기초하여 제1 의료 영상이 실제 영상인지 여부를 판단하고, 판단 결과를 이용하여 제1 의료 영상의 생성에 사용되는 신경망 및 실제 영상인지 여부를 판단하는 신경망을 학습시킴에 의해, 높은 품질의 제1 의료 영상을 획득할 수 있다.
도 3은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 동작을 나타낸 도면이다.
프로세서(220)가 신경망(230)을 포함하도록 구성되는 경우, 도 3의 제1 처리(310) 및 제2 처리(330)는 프로세서(220) 내에서 수행된다. 신경망(230)이 프로세서(220) 외부에 배치되는 경우, 제1 처리(310) 및 제2 처리(330)의 일부 동작은 신경망(230)에서 수행되고, 프로세서(220)는 신경망(230)으로 입력 데이터를 전달하고, 신경망(230)으로부터 출력된 데이터를 획득하여 처리 또는 전달하는 동작을 수행할 수 있다. 또한, 프로세서(220)는 제2 처리(330)의 결과에 기초하여 신경망(230)을 학습(training)시키는 동작을 수행할 수 있다.
도 3의 제1 처리(310), 제1-1 처리(312), 제1-2 처리(316), 및 제2 처리(330) 블록은 적어도 하나의 인스트럭션을 실행하여 수행되는 소프트웨어 처리 블록에 대응될 수 있다. 따라서 각 처리 블록들은 처리의 흐름을 나타내기 위해 사용되었으며, 하드웨어 구성을 한정하는 것은 아니다. 또한, 제1 처리(310), 제1-1 처리(312), 제1-2 처리(316), 및 제2 처리(330) 블록은 다양한 프로세서, GPU(graphic processing unit), 전용 프로세서, 전용 IC(integrated circuit) 칩, 메모리, 버퍼, 레지스터 등의 조합에 의해 구현될 수 있다.
제1 처리(310)는 제1 입력 및 정상 의료 영상(320)으로부터 제1 의료 영상(318)을 생성한다. 제1 처리(310)는 제1 입력으로부터 가상 병변 영상(314)을 생성하는 제1-1 처리(312)와 가상 병변 영상(314)과 정상 의료 영상(320)을 합성하여 제1 의료 영상(318)을 생성하는 제1-2 처리(316)를 포함한다.
제1-1 처리(312)는 제1 입력으로부터 가상 병변 영상(314)을 생성한다. 제1 입력은 가상 병변 영상(314)을 생성하는 초기값, 파라미터 등을 정의할 수 있다. 일 실시예에 따르면 제1 입력은 랜덤 변수일 수 있다. 다른 실시예에 따르면 제1 입력은 병변 패치 영상일 수 있다. 제1-1 처리(312)는 제1 입력으로부터 가상 병변 영상의 형태, 크기, 병변 종류, 가상 병변 영상 내의 각 픽셀 값 등을 결정하여 가상 병변 영상을 생성한다. 일 실시예에 따르면, 제1-1 처리(312)는 미리 정의된 함수를 이용하여 제1 입력으로부터 가상 병변 영상(314)을 생성할 수 있다. 다른 실시예에 따르면, 제1-1 처리(312)는 제1 신경망을 이용하여 제1 입력으로부터 가상 병변 영상을 생성할 수 있다. 제1 신경망은 복수의 노드와 각 노드 사이의 가중치가 정의된 심층 신경망으로 구현될 수 있다. 제1 신경망은 제2 처리(330)의 결과 값에 기초하여 소정의 학습 알고리즘을 이용하여 학습될 수 있다.
일 실시예에 따르면, 제1 입력은 랜덤 변수에 대응될 수 있다. 제1-1 처리(312)는 랜덤 변수를 초기 값 또는 파라미터 값으로 이용하여 가상 병변 영상을 생성한다. 랜덤 변수는 하나 또는 복수의 값들의 세트에 대응될 수 있다. 랜덤 변수에 포함되는 하나 또는 복수의 값들은 소정의 랜덤 변수 생성 알고리즘을 이용하여 생성될 수 있다. 랜덤 변수에 포함되는 값들의 자릿수, 값의 범위, 값들 사이의 인터벌, 값의 개수 등은 미리 정의될 수 있다.
다른 실시예에 따르면, 제1 입력은 병변 패치 영상에 대응될 수 있다. 제1-1 처리(312)는 병변 패치 영상을 초기 값 또는 파라미터 값으로 이용하여, 가상 병변 영상을 생성할 수 있다. 병변 패치 영상은 병변의 형태, 병변의 종류, 병변 내부의 픽셀 값 분포 등의 초기 값을 정의할 수 있다. 제1 입력으로 이용되는 병변 패치 영상은 복수의 병변의 종류, 복수의 병변의 형태, 및 복수의 내부 픽셀 값 분포들의 조합에 대응될 수 있다. 병변 패치 영상은 실제 의료 영상에서 획득된 영상이거나, 실제 의료 영상을 변형하여 획득된 영상이거나, 병변 영상을 생성하는 알고리즘에 의해 생성된 영상일 수 있다. 일 실시예에 따르면, 제1-1 처리(314)에 의해 생성된 가상 병변 영상(314)이 다시 제1 입력으로 사용되는 것도 가능하다. 병변 패치 영상이 실제 의료 영상만 이용하는지, 실제 의료 영상과 실제 의료 영상을 변형한 영상만 이용하는지, 실제 의료 영상과 실제 의료 영상을 변형한 영상과 가상으로 생성된 병변 영상을 모두 이용하는지는 의료 영상 처리 장치의 스펙, 요구 조건, 설계 등에 따라 다양하게 설정될 수 있다.
다른 실시예에 따르면, 제1 입력은 랜덤 변수 및 병변 패치 영상을 모두 포함할 수 있다. 제1-1 처리(312)는 랜덤 변수로부터 가상 병변 영상(314)을 생성하는 처리와, 병변 패치 영상으로부터 가상 병변 영상(314)을 생성하는 처리를 모두 수행할 수 있다. 제1-1 처리(312)는 제1 입력의 종류에 따라 그에 대응되는 처리를 수행할 수 있다.
가상 병변 영상(314)은 제1-1 처리(312)에 의해 생성된 가상의 병변을 나타내는 영상이다. 가상 병변 영상(314)은 병변 영역 및 배경 영역을 포함할 수 있다. 병변 영역은 병변에 대응되는 영역이고, 배경 영역은 병변 이외의 영역에 대응된다. 배경 영역은 디폴트 값을 가질 수 있다. 가상 병변 영상(314)은 미리 정의된 사이즈로 생성될 수 있다. 가상 병변 영상(314)의 가로 사이즈 및 세로 사이즈는 정상 의료 영상(320) 및 제1 의료 영상(318)보다 작다.
제1-2 처리(316)는 가상 병변 영상(314) 및 정상 의료 영상(320)을 입력 받아, 제1 의료 영상(318)을 생성한다. 정상 의료 영상(320)은 소정의 데이터 베이스에 저장되고, 프로세서(220)에 의해 독출될 수 있다. 제1-2 처리(316)는 하나의 가상 병변 영상(314)을 다수의 정상 의료 영상(320) 각각과 합성하여, 다수의 제1 의료 영상(318)을 생성할 수 있다. 이러한 구성에 의해, 제1-2 처리(316)는 다수의 정상 의료 영상(320)으로부터 다수의 가상 비정상 의료 영상을 생성할 수 있다.
정상 의료 영상(320)은 미리 정의된 촬영 부위에 대응되는 영상이다. 예를 들면, 정상 의료 영상(320)은 흉부 엑스선 영상일 수 있다. 본 개시에서는 정상 의료 영상(320), 제1 의료 영상(318), 및 비정상 의료 영상(342)이 흉부 엑스선 영상인 실시예를 중심으로 설명하지만, 본 개시의 실시예가 이에 한정되는 것은 아니다. 정상 의료 영상(320), 제1 의료 영상(318), 및 비정상 의료 영상(342)은 흉부, 복부, 뼈, 머리, 유방 등 다양한 부위의 의료 영상에 대응될 수 있으며, 다양한 모달리티의 의료 영상에 대응될 수 있다.
또한, 정상 의료 영상(320)은 미리 정의된 범위의 사이즈, 해상도 등을 가질 수 있다. 정상 의료 영상(320)은 환자의 성별, 체중, 신장, 인종, 생체 정보 등을 포함하는 메타 데이터를 포함할 수 있고, 이러한 메타 데이터 중 일부 또는 전부가 제1-2 처리(316) 및 제2 처리(330) 중 적어도 하나에서 이용될 수 있다. 또한, 제1-2 처리(316)는 정상 의료 영상(320)에 포함된 메타 데이터 중 일부 또는 전부를 제1 의료 영상의 메타 데이터에 기록할 수 있다.
제2 처리(330)는 비정상 의료 영상(344)에 기초하여 제1 의료 영상이 실제 영상인지 여부를 판별한다. 비정상 의료 영상(344)은 소정의 데이터베이스(340)에 저장되고, 제2 처리(330)에 이용될 수 있다. 제2 처리(330)는 비정상 의료 영상(344)을 랜덤으로 선택하거나 소정의 기준에 따라 선택할 수 있다. 제2 처리(330)에 이용되는 비정상 의료 영상(344)은 하나 또는 복수일 수 있다.
일 실시예에 따르면, 제2 처리(330)는 가상 병변 영상(314)의 합성 조건에 기초하여 비정상 의료 영상(344)을 선택할 수 있다. 예를 들면, 제2 처리(330)는 가상 병변 영상(314)의 합성 조건 중 합성 위치에 기초하여, 비정상 의료 영상(342) 중 유사한 위치에 병변을 포함하는 비정상 의료 영상(344)을 선택할 수 있다.
일 실시예에 따르면, 제2 처리(330)는 가상 병변 영상(314)의 병변에 관련된 정보에 기초하여 비정상 의료 영상(344)을 선택할 수 있다. 예를 들면, 제2 처리(330)는 비정상 의료 영상(342) 중 제1 의료 영상(318)에 합성된 병변과 병변의 종류, 병변의 크기 등이 유사한 비정상 의료 영상(344)을 선택할 수 있다.
일 실시예에 따르면, 제2 처리(330)는 정상 의료 영상(320)의 환자에 관련된 정보에 기초하여 비정상 의료 영상(344)을 선택할 수 있다. 예를 들면, 제2 처리(330)는 비정상 의료 영상(342) 중 환자의 연령, 체중, 신장, 인종 등이 유사한 비정상 의료 영상(344)을 선택할 수 있다.
일 실시예에 따르면, 제2 처리(330)는 정상 의료 영상(320)의 영상 데이터에 기초하여 비정상 의료 영상(344)을 선택할 수 있다. 예를 들면, 제2 처리(330)는 비정상 의료 영상(342) 중 해부학적 구조의 유사도가 높은 비정상 의료 영상(344)을 선택할 수 있다.
일 실시예에 따르면, 제2 처리(330)는 비정상 의료 영상(344)에 기초하여 제1 의료 영상이 실제 의료 영상인지 여부를 판별한다. 제2 처리(330)는 실제 의료 영상인지 여부를 판별하기 위해, 비정상 의료 영상(344)과 제1 의료 영상의 비교 결과에 따른 평가 값을 산출할 수 있다. 평가 값의 산출은 미리 정의된 알고리즘을 이용하거나 적어도 하나의 신경망을 이용할 수 있다. 평가 값의 산출은 영상의 유사도 판별, 영상 데이터의 특성 판별, 병변 영역 주변의 영상 특성 판별 등 다양한 방식에 의해 수행될 수 있으며, 복수의 판별 방식을 조합하여 이용하는 것도 가능하다. 예를 들면, 제2 처리(330)는 병변 영역의 경계 주변의 영상 특성을 검출하고, 비정상 의료 영상(344)과 비교하여 경계 주변의 영상 특성이 실제 의료 영상인 비정상 의료 영상(344)과 유사한지 여부를 판별한다. 만약 경계 주변의 영상 특성이 비정상 의료 영상(344)과 유사하다면 제2 처리(330)는 제1 의료 영상을 실제 의료 영상으로 판단하거나 실제 의료 영상일 확률이 높다고 판단하고, 경계 주변의 영상 특성이 비정상 의료 영상(344)과 유사하지 않다면, 제2 처리(330)는 제1 의료 영상을 실제 의료 영상이 아니라고 판단하거나 실제 의료 영상일 확률이 낮다고 판단한다.
평가 값이 산출되면, 제2 처리(330)는 소정의 기준 값과 평가 값을 비교하여 제1 의료 영상(318)이 실제 의료 영상인지 여부를 판별할 수 있다. 제2 처리(330)는 제1 의료 영상(318)이 실제 의료 영상인지 여부를 나타내는 판별 결과 값을 생성하여 출력할 수 있다. 일 실시예에 따르면, 제2 처리(330)는 GAN 알고리즘의 판별 알고리즘을 이용할 수 있다.
프로세서(220)는 제2 처리(330)의 판별 결과 값에 기초하여 제1 처리(310)에서 이용되는 신경망을 학습시킨다. 제1 처리(310)는 제1-1 처리(312) 및 제1-2 처리(316) 중 하나 또는 모두에 적어도 하나의 신경망을 이용할 수 있다. 프로세서(220)는 판별 결과 값을 이용하여 제1 처리(310)에서 사용되는 적어도 하나의 신경망에 포함되는 레이어의 정의, 노드의 정의, 노드의 속성 정의, 노드 사이의 가중치 정의, 노드 사이의 연결 관계 정의 등의 동작을 수행하여, 신경망을 학습시킬 수 있다. 프로세서(220)는 제1 입력, 제1-1 처리(312)에서 이용된 가상 병변 영상(314)의 생성 조건, 가상 병변 영상(314), 정상 의료 영상(320), 제1-2 처리(316)의 합성 조건, 제1 의료 영상(318), 또는 비정상 의료 영상(344) 중 적어도 하나 또는 이들의 조합과, 판별 결과 값을 학습 데이터로 이용하여 제1 처리(310)에 이용되는 적어도 하나의 신경망을 학습시킬 수 있다.
또한, 프로세서(220)는 제2 처리(330)의 판별 결과 값에 기초하여 제2 처리(330)에 이용되는 적어도 하나의 신경망을 학습시킨다. 프로세서(220)는 판별 결과 값을 이용하여 제2 처리(330)에 이용되는 적어도 하나의 신경망에 포함되는 레이어의 정의, 노드의 정의, 노드의 속성 정의, 노드 사이의 가중치 정의, 노드 사이의 연결 관계 정의 등의 동작을 수행하여 신경망을 학습시킬 수 있다. 프로세서(220)는 제1 입력, 제1-1 처리(312)에서 이용된 가상 병변 영상(314)의 생성 조건, 가상 병변 영상(314), 정상 의료 영상(320), 제1-2 처리(316)의 합성 조건, 제1 의료 영상(318), 비정상 의료 영상(344) 선택 조건, 또는 비정상 의료 영상(344) 중 적어도 하나 또는 이들의 조합과, 판별 결과 값을 학습 데이터로 이용하여 제2 처리(330)에 이용되는 적어도 하나의 신경망을 학습시킬 수 있다.
제1 처리(310) 또는 제2 처리(330)에 이용되는 신경망의 학습은 다양한 학습 알고리즘을 이용하여 수행될 수 있으며, 예를 들면 GAN 기술에서 사용되는 학습 알고리즘이 사용될 수 있다.
도 4는 제1-2 처리(316) 과정을 설명하기 위한 도면이다.
제1-2 처리(316)는 가상 병변 영상(314) 및 정상 의료 영상(320)을 입력 받아 제1 의료 영상(318)을 생성한다. 제1-2 처리(316)는 가상 병변 영상(314)과 정상 의료 영상(320)을 합성하여 제1 의료 영상(318)을 생성한다. 제1-2 처리(316)는 정상 의료 영상(320)과 가상 병변 영상(314)의 합성 조건을 결정한다. 가상 병변 영상(314)의 합성 조건은 가상 병변 영상(314)에 포함된 병변에 관련된 정보, 가상 병변 영상(314)의 영상 데이터, 정상 의료 영상(320)의 환자에 관련된 정보, 정상 의료 영상(320)의 영상 데이터, 미리 설정된 합성 조건, 미리 설정된 규칙 또는 로직 등에 의해 결정될 수 있다. 제1-2 처리(316)는 실시예에 따라 미리 정의된 알고리즘에 의해 수행되거나, 적어도 하나의 신경망을 이용하여 수행될 수 있다.
가상 병변 영상(314)의 합성 조건은 정상 의료 영상(320) 내에서 가상 병변 영상(314)이 삽입될 위치, 가상 병변 영상(314)에 적용될 배율, 가상 병변 영상(314)의 병변 영역의 경계에 해당하는 영역에 대한 처리 조건, 가상 병변 영상(314)과 정상 의료 영상(320)의 합성과 관련된 가중치, 합성 방식 등을 포함할 수 있다. 가상 병변 영상(314)이 삽입될 위치는 정상 의료 영상(320) 내의 해부학적 정보, 가상 병변 영상(314)의 병변에 관련된 정보, 또는 가상 병변 영상(314)의 영상 데이터 중 적어도 하나 또는 이들의 조합에 의해 결정될 수 있다. 가상 병변 영상(314)의 병변 영역의 경계에 해당하는 영역에 대한 처리 조건은 영상 합성 시 병변의 가장자리를 어떻게 처리할지에 대한 조건이다. 예를 들면, 병변 영역의 경계에 해당하는 영역에 대한 처리 조건은 병변의 가장자리 영역에서의 스무딩 조건을 포함한다. 가상 병변 영상(314)과 정상 의료 영상(320)의 합성과 관련된 가중치는 병변 영역의 중심으로부터 가장자리 방향으로 진행하면서 적용되는 가중치 조건 등을 포함할 수 있다. 가중치 조건은 가상 병변 영상(314)과 정상 의료 영상(320)에 대한 가중치를 의미한다. 합성 방식은 가상 병변 영상(314)과 정상 의료 영상(320)을 합성할 때 사용하는 픽셀 값의 산정 방식 등을 의미한다. 예를 들면, 합성 방식은 영상 선형 합산, 컨벌루션 등을 포함할 수 있다.
일 실시예에 따르면, 하나의 가상 병변 영상(314)과 하나의 정상 의료 영상(320)에 대해 복수의 합성 조건을 적용하여, 하나의 가상 병변 영상(314)과 하나의 정상 의료 영상(320)으로부터 복수의 제1 의료 영상(318)을 생성할 수 있다. 예를 들면, 제1-2 처리(316)는 가상 병변 영상(314)에 대해 복수의 합성 위치를 적용하여 복수의 제1 의료 영상(318)을 생성할 수 있다. 다른 예로서, 제1-2 처리(316)는 가상 병변 영상(314)에 대해 복수의 합성 방식을 적용하여 복수의 제1 의료 영상(318)을 생성할 수 있다.
일 실시예에 따르면 가상 병변 영상의 해상도는 정상 의료 영상(320) 및 제1 의료 영상(318)의 해상도는 보다 작다. 예를 들면, 가상 병변 영상의 해상도는 70*70이고, 정상 의료 영상(320) 및 제1 의료 영상(318)의 해상도는 3000*3000일 수 있다. 본 개시의 실시예들은 가상 병변 영상을 생성하는 제1-1 처리는 상대적으로 작은 해상도를 갖는 가상 병변 영상에 대해서만 수행하고, 가상 병변 영상이 생성된 후에 정상 의료 영상(320)의 합성 처리를 별도의 처리인 제1-2 처리로 수행함으로써, 가상 병변 영상 및 제1 의료 영상의 품질을 향상시키고, 보다 자연스러운 제1 의료 영상을 획득할 수 있는 효과가 있다.
도 5는 일 실시예에 따른 의료 영상 처리 방법을 나타낸 흐름도이다.
본 개시의 실시예들에 따른 의료 영상 처리 방법은, 프로세서 및 저장부를 구비하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서에서는 본 개시의 의료 영상 처리 장치가 본 개시의 의료 영상 처리 방법을 수행하는 실시예를 중심으로 설명한다. 따라서 의료 영상 처리 장치에 대해 설명된 실시예들은 의료 영상 처리 방법에 적용 가능하고, 반대로 의료 영상 처리 방법에 대해 설명된 실시예들은 의료 영상 처리 장치에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 의료 영상 처리 방법은 본 명세서에 개시된 의료 영상 처리 장치에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.
의료 영상 처리 장치는 우선 정상 의료 영상 및 비정상 의료 영상을 획득한다(S502). 정상 의료 영상 및 비정상 의료 영상은 소정의 저장부, 데이터베이스, 또는 외부 장치 등으로부터 획득될 수 있다.
다음으로 의료 영상 처리 장치는 제1 입력으로부터 제1 의료 영상을 생성하는 제1 처리를 수행한다(S504). 제1 입력은 랜덤 변수 또는 병변 영상 패치일 수 있다. 의료 영상 처리 장치는 제1 입력으로부터 가상 병변 영상을 생성한다(S506). 가상 병변 영상은 미리 설정된 해상도를 갖는다. 다음으로 의료 영상 처리 장치는 가상 병변 영상과 정상 의료 영상을 합성하여 제1 의료 영상을 생성한다(S508). 가상 병변 영상과 정상 의료 영상의 합성 처리는 앞서 설명한 바와 같이 합성 조건을 결정하여 가상 병변 영상과 정상 의료 영상을 합성하는 처리를 포함한다. 가상 병변 영상과 정상 의료 영상의 합성 처리는 미리 설정된 로직에 의한 처리에 의해 수행되거나, 학습된(trained) 신경망을 이용하여 수행될 수 있다.
다음으로 의료 영상 처리 장치는 비정상 의료 영상에 기초하여 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행한다(S510). 제2 처리는 제1 의료 영상이 실제 의료 영상인지 여부를 판별하여 평가 값을 산출하고, 판별 결과 값을 출력할 수 있다. 제2 처리는 앞서 설명한 바와 같이 미리 정의된 알고리즘을 이용하거나 적어도 하나의 신경망을 이용하여 수행될 수 있다. 또한, 제2 처리는 하나 또는 복수의 비정상 의료 영상을 이용할 수 있다. 또한, 앞서 설명한 바와 같이 비정상 의료 영상은 랜덤으로 선택되거나 소정의 기준에 따라 선택될 수 있다.
다음으로 의료 영상 처리 장치는 판결 결과에 기초하여 제1 처리(S504) 및 제2 처리(S510)에서 이용되는 적어도 하나의 신경망을 학습시킨다(S512). 신경망의 학습은 앞서 도 3에서 설명한 바와 같이 다양한 방식으로 수행될 수 있다.
도 6은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
일 실시예에 따르면, 제1-1 처리(312)는 제1 신경망(620)을 이용하여 수행되고, 제1-2 처리(316)는 제2 신경망(630)을 이용하여 수행되고, 제2 처리(330)는 제3 신경망(662)을 포함하는 판별부(660)에 의해 수행될 수 있다. 제1 신경망(620), 제2 신경망(630), 및 제3 신경망(662)은 의료 영상 처리 장치(200)의 내부 또는 외부에 구비된 신경망(230)에 대응될 수 있다. 제1 신경망(620), 제2 신경망(630), 및 제3 신경망(662)은 서로 독립적인 신경망으로서, 적어도 하나의 레이어, 적어도 하나의 노드, 및 적어도 하나의 노드 간의 가중치가 정의된 신경망에 대응될 수 있다.
제1 처리(610a)는 제1 입력(602, 604) 및 정상 의료 영상(320)을 수신하여 제1 의료 영상(632)을 생성하여 출력한다. 제1 입력(602)은 랜덤 변수(602)를 포함하거나, 병변 영상 패치(604)를 포함하거나, 랜덤 변수(602)와 병변 영상 패치(604)를 모두 포함할 수 있다. 병변 영상 패치(604)는 미리 정의된 해상도를 가질 수 있다.
제1 신경망(620)은 제1 입력을 입력 받아, 가상 병변 영상(622)을 생성한다. 제1 신경망(620)은 가상 병변 영상(622)에서의 병변의 형태, 크기, 병변 영역 내의 픽셀 값을 정의할 수 있다. 병변과 관련된 적어도 하나의 속성은 제1 신경망(620)의 레이어 또는 노드에 대응될 수 있다. 예를 들면, 병변의 형태, 크기, 병변 영역 내의 픽셀 값 등이 각각 제1 신경망(620)의 레이어 또는 노드에 대응될 수 있다. 병변 패치 영상이 제1 입력으로 이용되는 경우, 제1 신경망(620)은 병변 패치 영상의 특성을 식별하는 적어도 하나의 레이어를 포함할 수 있다. 제1 신경망(620)은 제1 입력과 가상 병변 영상의 쌍으로 이루어진 다수의 학습 데이터에 의해 학습된(trained) 신경망일 수 있다. 일 실시예에 따르면, 제1 신경망(620)은 제1 입력, 가상 병변 영상(622), 및 판별부(660)의 판별 결과 값을 학습 데이터로 이용하여 학습될 수 있다.
제2 신경망(630)은 가상 병변 영상(622) 및 정상 의료 영상(320)을 입력 받아 제1 의료 영상(632)을 생성한다. 제2 신경망(630)은 가상 병변 영상(622)과 정상 의료 영상(320)의 합성 조건을 결정하고, 가상 병변 영상(622)과 정상 의료 영상(320)을 합성하여 제1 의료 영상(632)을 생성하여 출력한다. 가상 병변 영상(622)의 특성 검출, 정상 의료 영상(320)의 특성 검출, 가상 병변 영상(622)의 처리, 정상 의료 영상(320)의 처리, 합성 조건 결정, 영상 합성 동작 수행, 또는 합성 영상 후처리 중 적어도 하나 또는 이들의 조합이 제2 신경망(630)의 적어도 하나의 레이어 또는 노드에 대응될 수 있다.
제2 신경망(630)은 가상 병변 영상(622), 정상 의료 영상(320), 제1 의료 영상(632), 및 판별부(660)의 판별 결과 값 중 적어도 하나 또는 이들의 조합을 학습데이터로 이용하여 학습될 수 있다. 학습(training) 동작은 프로세서(220)에 의해 수행될 수 있다. 제2 신경망(630)의 학습에는 다양한 학습 알고리즘이 사용될 수 있으며, 예를 들면, GAN 기술에서 이용되는 학습 알고리즘이 이용될 수 있다. 제2 신경망(630)은 판별부(660)에 의해 제1 의료 영상(632)이 실제 의료 영상인지 여부를 판별할 때, 목표 비율만큼 실제 의료 영상으로 판별되도록 학습될 수 있다. 예를 들면, 제2 신경망(630)은 판별부(660)에 의해 제1 의료 영상(632)이 실제 의료 영상으로 판별되는 비율이 99.9%에 수렴할 때까지 학습될 수 있다. 제2 신경망(630)의 학습은 판별 결과 값이 참으로 나오는 비율이 목표 비율에 수렴하면 종료될 수 있다.
제2 신경망(630)에서 출력된 제1 의료 영상(632)은 제1 샘플링 처리(640)에 의해 판별부(660)로 전달될 수 있다. 또한, 판별부(660)는 제2 샘플링 처리(652)에 의해 데이터베이스(650)로부터 적어도 하나의 비정상 의료 영상(654)을 입력 받을 수 있다. 제2 샘플링 처리(652)는 앞서 설명한 바와 같이 실시예에 따라 소정의 기준에 따라 비정상 의료 영상을 샘플링하거나, 랜덤으로 비정상 의료 영상을 샘플링할 수 있다.
판별부(662)는 제3 신경망(662)을 이용하여 적어도 하나의 비정상 의료 영상(654)에 기초하여 제1 의료 영상(632)이 실제 의료 영상인지 여부를 판단한다. 제3 신경망(662)은 제1 의료 영상(632)의 특성을 추출하는 처리, 제1 의료 영상(632)의 병변 영역의 특성을 추출하는 처리, 비정상 의료 영상(654)의 특성을 추출하는 처리, 비정상 의료 영상(654)의 병변 영역의 특성을 추출하는 처리, 또는 제1 의료 영상(632)이 실제 의료 영상인지 여부를 판별하는 처리 등을 수행할 수 있고, 각 처리는 제3 신경망(662)의 적어도 하나의 레이어 또는 적어도 하나의 노드에 대응될 수 있다. 또한, 제3 신경망(662)은 제1 의료 영상(632)이 실제 의료 영상인지 여부를 판단한 결과를 나타내는 판단 결과 값을 출력할 수 있다. 판단 결과 값은 예를 들면, 제1 의료 영상(632)이 실제 의료 영상일 확률, 참 또는 거짓을 나타내는 값에 대응될 수 있다.
일 실시예에 따르면, 판별부(662)는 제1 의료 영상(632)의 메타 데이터, 또는 비정상 의료 영상(654)의 메타 데이터 중 적어도 일부를 이용하여 제1 의료 영상(632)이 실제 의료 영상인지 여부를 판단할 수 있다. 제3 신경망(662)은 제1 의료 영상(632)의 메타 데이터, 또는 비정상 의료 영상(654)의 메타 데이터 중 적어도 일부를 입력 받을 수 있다. 예를 들면, 판별부(662)는 메타 데이터 중 환자의 연령, 성별, 신장, 체중, 또는 인종 중 적어도 하나 또는 이들의 조합을 이용할 수 있다.
제3 신경망(662)은 제1 의료 영상(632), 비정상 의료 영상(654), 또는 판별부(660)의 판단 결과 값 중 적어도 하나 또는 이들의 조합을 이용하여 학습된다. 또한, 일 실시예에 따르면, 제1 입력(602, 604), 정상 의료 영상(320), 정상 의료 영상(320)의 메타 데이터, 가상 병변 영상(622), 제1 의료 영상(632)의 메타 데이터, 또는 비정상 의료 영상(654)의 메타 데이터 중 적어도 하나 또는 이들의 조합이 제3 신경망(662)의 학습 데이터로 이용될 수 있다.
일 실시예에 따르면, 제3 신경망(662)의 구조 및 학습 동작은 GAN 기술의 판별부(discriminator)의 구조 및 학습 동작을 이용하여 구현될 수 있다.
일 실시예에 따르면, 프로세서(220)는 제2 신경망(630)과 제3 신경망(662)에 대해 판별 결과 값에 기초하여 학습을 수행하고, 제1 신경망(620)에 대해서는 학습을 수행하지 않을 수 있다. 따라서 제2 신경망(630)과 제3 신경망(662)이 판별 결과 값에 기초한 학습에 의해 수정(modify)되거나 업데이트(update)될 수 있다. 제1 신경망(620)은 미리 학습된 신경망에 대응되고, 판별 결과 값에 기초한 학습의 대상에서는 제외될 수 있다.
도 7은 일 실시예에 따른 프로세서(220) 및 신경망(230)의 구조를 나타낸 도면이다.
일 실시예에 따르면, 제1-1 처리(312)는 제1 신경망(620)을 이용하여 수행되고, 제1-2 처리(316)는 미리 정의된 로직을 수행하는 합성부(710)에 의해 수행되고, 제2 처리(330)는 제3 신경망(662)을 포함하는 판별부(660)에 의해 수행될 수 있다. 제1 신경망(620 및 제3 신경망(662)은 의료 영상 처리 장치(200)의 내부 또는 외부에 구비된 신경망(230)에 대응될 수 있다. 제1 신경망(620) 및 제3 신경망(662)은 서로 독립적인 신경망으로서, 적어도 하나의 레이어, 적어도 하나의 노드, 및 적어도 하나의 노드 간의 가중치가 정의된 신경망에 대응될 수 있다.
도 7에 대한 설명 중 도 6과 중복되는 부분에 대해서는 설명을 생략하고 차이점을 위주로 설명한다.
일 실시예에 따르면, 합성부(710)는 미리 정의된 로직에 의해 가상 병변 영상(622)과 정상 의료 영상(320)을 합성하여 제1 의료 영상(632)을 생성한다. 합성부(710)는 미리 결정된 기준에 의해 가상 병변 영상(622)과 정상 의료 영상(320)의 합성 조건을 결정할 수 있다. 일 실시예에 따르면, 합성부(710)는 입력부(미도시)를 통해 수신된 사용자 입력에 기초하여 합성 조건을 결정할 수 있다. 일 실시예에 따르면, 합성부(710)는 미리 저장된 다양한 합성 조건의 조합을 이용하거나, 다양한 합성 조건의 조합을 생성하여 가상 병변 영상(622)과 정상 의료 영상(320)으로부터 복수의 제1 의료 영상(632)을 생성할 수 있다. 이를 위해 다양한 합성 조건의 조합이 정의된 룩업 테이블 등이 이용될 수 있다.
합성부(710)는 가상 병변 영상(622)의 특성 검출, 정상 의료 영상(320)의 특성 검출, 가상 병변 영상(622)의 처리, 정상 의료 영상(320)의 처리, 합성 조건 결정, 영상 합성 동작 수행, 또는 합성 영상 후처리 중 적어도 하나 또는 이들의 조합을 수행할 수 있다. 합성부(710)는 각 동작을 수행하도록 정의된 적어도 하나의 인스트럭션을 실행하여 각 동작을 수행할 수 있다.
합성부(710)는 병변을 정상 의료 영상(320)에 합성할 때, 미리 정의된 영역 내에 병변을 합성하고, 병변이 합성된 위치에 대한 정보를 제1 의료 영상과 함께 출력할 수 있다. 예를 들면 합성부(710)는 폐암 병변을 폐 영역 내에 배치하고, 병변의 위치를 제1 의료 영상의 메타 데이터로 출력할 수 있다.
프로세서(220)는 판별부(660)의 판별 결과 값에 기초하여, 제1 신경망(620) 및 제3 신경망(662)을 학습시킬 수 있다. 일 실시예에 따르면, 합성부(710)는 신경망을 포함하지 않고, 학습의 대상에서 제외될 수 있다. 제1 신경망(620)과 제3 신경망(662)은 판별 결과 값에 기초한 학습에 의해 수정(modify)되거나 업데이트(update)될 수 있다. 일 실시예에 따르면, 제1 신경망(620)은 병변의 형태만 학습함에 의해, 제1 신경망(620)의 학습의 난이도가 낮아질 수 있다.
도 8은 일 실시예에 따른 제1 입력의 형태를 나타낸 도면이다.
제1 입력은 도 8에 도시된 바와 같은 병변 패치 영상(802, 804)에 대응될 수 있다. 병변 패치 영상(802, 804)은 병변의 종류, 병변의 크기, 병변의 형태, 또는 병변 영역 내의 픽셀 값 등이 정의된 영상이다. 병변 패치 영상(802, 804)은 실제 의료 영상에서 추출될 수 있다. 일 실시예에 따르면, 병변 패치 영상(802, 804)은 소정의 병변 영상 생성 처리에 의해 생성될 수 있다.
일 실시예에 따르면, 복수의 병변 패치 영상(802, 804)을 포함하는 병변 패치 영상의 세트(800) 내의 병변 패치 영상(802, 804)이 순차적으로 제1 처리의 제1 입력으로 입력되거나, 병변 패치 영상의 세트(800)가 제1 처리의 제1 입력으로 입력될 수 있다.
도 9는 일 실시예에 따라 제1 의료 영상을 생성하는 과정을 나타낸 도면이다.
일 실시예에 따르면, 하나의 제1 입력 및 하나의 정상 의료 영상(320)으로부터 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)을 생성할 수 있다.
제1-1 처리(312)는 제1 입력으로부터 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e)를 생성한다. 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e)의 개수는 실시예에 따라 다양하게 결정될 수 있다. 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e)의 병변의 형태, 크기, 병변 영역의 내부 픽셀 값은 실시예에 따라 다양하게 결정될 수 있다. 제1-1 처리(312)는 미리 설정된 조건에 기초하여 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e)의 개수, 병변의 형태, 크기 등을 결정할 수 있다.
일 실시예에 따르면, 제1-1 처리(312)의 제1 신경망은 제1 입력에 기초하여 생성되는 가상 병변 영상의 개수, 병변의 형태, 크기를 결정할 수 있다. 제1 신경망은 가상 병변 영상의 개수, 병변의 형태, 또는 병변의 크기를 결정하는 처리에 대응되는 적어도 하나의 레이어 또는 노드를 포함할 수 있다. 예를 들면, 제1 입력에 기초하여 종양에 대응하는 가상 병변 영상을 생성하는 경우, 제1 신경망은 암의 진행 정도에 따른 복수의 가상 병변 영상을 생성할 수 있다. 다른 예로서, 제1 신경망은 제1 입력에 기초하여 기흉에 대응하는 가상 병변 영상을 생성하는 경우, 흉벽 손상 형태, 손상 크기 등이 다르게 적용된 복수의 가상 병변 영상을 생성할 수 있다.
제1-2 처리(316)는 제1-1 처리(312)에 의해 생성된 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e)을 정상 의료 영상(320)과 합성하여 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)을 생성할 수 있다. 제1-2 처리(316)는 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e) 각각에 대해 서로 다른 합성 조건을 적용할 수 있다. 또한, 제1-2 처리(316)는 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e) 중 하나에 대해 결정된 합성 조건을 참고하여 다른 가상 병변 영상에 대한 합성 조건을 결정할 수 있다. 예를 들면, 제1-2 처리(316)는 제1 가상 병변 영상(910a)에 대해 결정된 합성 위치, 합성 처리 방식 등에 기초하여 제2 가상 병변 영상(910b)에 대한 합성 조건을 결정할 수 있다.
일 실시예에 따르면, 제1-2 처리(316)는 복수의 가상 병변 영상(910a, 910b, 910c, 910d, 910e) 및 복수의 정상 의료 영상(320)을 입력 받아, 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)을 생성할 수 있다. 예를 들면, 제1-2 처리(316)는 N(N은 자연수)개의 가상 병변 영상 및 M(M은 자연수)개의 정상 의료 영상을 입력 받아, N*M 개의 제1 의료 영상을 생성할 수 있다.
일 실시예에 따르면, 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)은 질병의 진행 과정에 따른 의료 영상에 대응될 수 있다. 예를 들면, 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)은 폐암 1기, 2기, 3기, 4기 등 폐암의 진행 과정을 나타낸 의료 영상에 대응될 수 있다.
일 실시예에 따르면, 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)은 질병의 크기, 위치 등이 다르게 설정된 의료 영상에 대응될 수 있다. 예를 들면, 복수의 제1 의료 영상(920a, 920b, 920c, 920d, 및 920e)은 폐암이 좌측 폐, 우측 폐 등에 배치된 의료 영상에 대응될 수 있다.
도 9의 실시예에 따르면, 동시에 다양한 제1 의료 영상을 생성함에 의해, 학습 데이터 생성 효율 및 속도를 현저하게 증가시킬 수 있는 효과가 있다.
도 10은 일 실시예에 따른 학습 장치 및 의료 영상 장치를 나타낸 도면이다.
일 실시예에 따르면, 판별 결과 값에서 제1 의료 영상이 실제 의료 영상으로 나오는 비율이 목표 비율에 도달하여 도 2, 도 3, 도 6, 및 도 7에서 설명된 신경망(230)의 학습이 종료되면, 앞서 설명된 의료 영상 처리 장치(200)를 이용하여 병변을 포함하는 의료 영상에 대응하는 다수의 학습 데이터를 생성할 수 있다. 의료 영상 처리 장치(200)는 다수의 제1 입력 및 다수의 정상 의료 영상을 이용하여 다수의 학습 데이터를 생성할 수 있다. 의료 영상 처리 장치(200)에 의해 생성된 학습 데이터, 즉 다수의 제1 의료 영상은 학습 DB(1010)에 저장된다. 학습 데이터는 제1 의료 영상의 영상 데이터, 병변의 위치, 병변의 종류, 또는 병변의 형태 등을 포함할 수 있다. 학습 장치(1020)는 학습 DB(1010)에 저장된 학습 데이터를 이용하여, 의료 영상으로부터 병변 또는 질병에 대한 정보를 식별(identify)하는 진단 보조 장치(1030)에 이용되는 제4 신경망(1032)을 학습시킬 수 있다.
진단 보조 장치(1030)는 실제 의료 영상(1040)을 입력 받아, 실제 의료 영상(1040)으로부터 질병 또는 병변을 검출하여, 질병 또는 병변에 대한 정보를 나타낸 진단 보조 영상(1050)을 생성한다. 진단 보조 장치(1030)는 예를 들면, CAD(Computer-Aided Detection or Diagnosis) 시스템에 대응될 수 있다. 진단 보조 장치(1030)는 실제 의료 영상(1040)으로부터 질병 또는 병변의 위치, 크기, 형태, 질병의 심각도, 병변에 대응할 확률 등의 정보를 생성하고 표시하기 위해 제4 신경망(1032)을 이용할 수 있다. 제4 신경망(1032)은 진단 보조 장치(1030)의 내부에 포함되거나, 서버 등의 외부 장치에 배치될 수 있다.
학습 장치(1020)는 학습 DB(1010)의 학습 데이터를 이용하여 제4 신경망(1032)을 학습시킬 수 있다. 학습 장치(1020)는 학습 데이터를 획득하여, 전처리하고, 학습 데이터를 선택하여, 제4 신경망(1032)을 학습시키고, 학습된 제4 신경망(1032)을 평가하여 제4 신경망(1032)을 업데이트 또는 수정하는 동작을 수행할 수 있다. 학습 장치(1020)는 제4 신경망(1032)의 레이어, 각 레이어의 노드 구조, 노드 개수, 노드의 속성, 노드 사이의 가중치, 노드 사이의 관계 등을 결정하여, 제4 신경망(1032)을 학습시킬 수 있다.
제4 신경망(1032)은 입력된 의료 영상의 적어도 하나의 특징 추출, 질병 또는 병변 검출, 질병 또는 병변 영역 결정, 또는 질병 또는 병변에 대응할 확률 추출 등의 처리를 수행할 수 있으며, 각 처리는 적어도 하나의 레이어 또는 적어도 하나의 노드에 대응될 수 있다.
도 11은 일 실시예에 따른 의료 영상 장치(1110a)를 나타낸 블록도이다.
일 실시예에 따르면, 앞서 설명된 진단 보조 장치(1030)가 의료 영상 장치(1110a)에 포함될 수 있다. 의료 영상 장치(1110a)는 진단 보조 장치(1030)의 진단 보조 동작을 구현한 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있다. 의료 영상 장치(1110a)는 앞서 설명한 학습된 제4 신경망(1150)을 이용할 수 있다.
의료 영상 장치(1110a)는 엑스선 영상 장치, CT 시스템, MRI 시스템, 또는 초음파 시스템 등 다양한 모달리티의 의료 영상 장치에 대응될 수 있다. 의료 영상 장치(1110a)는 데이터 획득부(1120), 프로세서(1130), 및 디스플레이(1140)를 포함할 수 있다.
데이터 획득부(1120)는 의료 영상의 로 데이터를 획득한다. 일 실시예에 따르면, 데이터 획득부(1120)는 외부 장치로부터 로 데이터를 수신하는 통신부에 대응한다. 다른 실시예에 따르면, 데이터 획득부(1120)는 엑스선 영상 장치의 엑스선 조사부(110) 및 엑스선 디텍터(195)에 대응될 수 있다. 다른 실시예에 따르면, 데이터 획득부(1120)는 CT 시스템, MRI 시스템에서 대상체를 스캔하여 로 데이터를 획득하는 스캔부에 대응될 수 있다. 다른 실시예에 따르면, 데이터 획득부(1120)는 초음파 시스템의 초음파 프로브에 대응될 수 있다.
프로세서(1130)는 데이터 획득부(1120)에서 획득된 로 데이터로부터 의료 영상을 생성한다. 일 실시예에 따르면, 프로세서(1130)는 생성된 의료 영상에 대해 진단 보조 동작을 수행하여, 의료 영상으로부터 질병 또는 병변에 대한 정보를 검출한다. 프로세서(1130)는 진단 보조 동작을 수행하기 위해 학습된 제4 신경망(1150)을 이용할 수 있다. 제4 신경망(1150)은 프로세서(1130)로부터 의료 영상을 입력 받아, 질병 또는 병변에 대한 정보를 식별하여 프로세서(1130)로 출력할 수 있다. 프로세서(1130)는 질병 또는 병변에 대한 정보가 표시된 진단 보조 영상(1050)을 생성하고 디스플레이(1140)에 표시한다.
도 12는 일 실시예에 따른 의료 영상 장치(1110b)를 나타낸 블록도이다.
일 실시예에 따르면, 의료 영상 장치(1110b)는 학습된 제4 신경망(1150)을 포함할 수 있다. 의료 영상 장치(1110b)의 프로세서(1130)는 의료 영상으로부터 제4 신경망(1150)을 이용하여 진단 보조 영상(1050)을 생성하고, 진단 보조 영상(1050)을 디스플레이(1140)에 표시한다.
한편, 개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 단층 영상 처리 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 의료 영상 처리 장치 또는 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 단층 영상 처리 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예로, 엑스선 영상 시스템)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 엑스선 영상 시스템을 원격 제어하여, 엑스선 영상 시스템이 X선을 대상체로 조사하고, 대상체를 통과하여 엑스레이 검출부에서 검출된 방사선 정보에 기초하여 대상체 내부의 부위에 대한 영상을 생성하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 보조 장치로부터 입력된 값에 기초하여 개시된 실시예에 따른 방법을 직접 수행할 수도 있다. 구체적인 예로, 보조 장치가 X선을 대상체로 조사하고, 대상체를 통과하여 검출된 방사선 정보를 획득할 수 있다. 제3 장치는 보조 장치로부터 검출된 방사선 정보를 입력 받고, 입력된 방사선 정보에 기초하여 대상체 내부의 부위에 대한 영상을 생성할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
Claims (20)
- 적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 데이터 획득부; 및
신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리, 및 상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 하나 이상의 프로세서를 포함하고,
상기 제1 처리는, 제1 입력으로부터 가상 병변 영상을 생성하고, 상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하고,
상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 적어도 하나의 제1 입력은 랜덤 변수 입력인, 의료 영상 처리 장치. - 제1항에 있어서,
상기 적어도 하나의 제1 입력은 병변 패치 영상인, 의료 영상 처리 장치. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여, 상기 가상 병변 영상과 상기 정상 의료 영상을 합성하여 상기 제1 의료 영상을 생성하는 제2 신경망을 학습시키는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 제2 처리의 결과에 기초하여, 상기 제1 입력으로부터 상기 가상 병변 영상을 생성하는 제1 신경망을 학습시키는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 정상 의료 영상 및 상기 비정상 의료 영상은 흉부 엑스선 영상인, 의료 영상 처리 장치. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 제3 신경망을 이용하여 상기 제2 처리를 수행하고, 상기 제2 처리의 결과에 기초하여, 상기 제3 신경망을 학습시키는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 제1 처리는, 상기 제1 입력으로부터 질병의 진행 상태에 따른 복수의 가상 병변 영상을 생성하고, 상기 복수의 가상 병변 영상 각각을 상기 정상 의료 영상과 합성하여, 서로 다른 질병의 진행 상태에 대응하는 복수의 제1 의료 영상을 생성하는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 제1 처리는, 상기 적어도 하나의 가상 병변 영상 중 하나를 서로 다른 복수의 정상 의료 영상과 각각 합성하여, 복수의 제1 의료 영상을 생성하는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 제2 처리는 상기 적어도 하나의 비정상 의료 영상과 상기 제1 의료 영상의 병변 영역에 관련된 특징에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 제1 처리에서 생성된 상기 제1 의료 영상에 대한 정보에 기초하여 상기 제2 처리에서 이용될 상기 적어도 하나의 비정상 의료 영상을 선택하는, 의료 영상 처리 장치. - 제1항에 있어서,
상기 가상 병변 영상의 해상도는 상기 적어도 하나의 비정상 의료 영상의 해상도 및 상기 제1 의료 영상의 해상도보다 작은, 의료 영상 처리 장치. - 제1항에 있어서,
상기 적어도 하나의 정상 의료 영상 및 상기 적어도 하나의 비정상 의료 영상은, 엑스선 영상, CT 영상, MRI 영상, 및 초음파 영상 중 적어도 하나인, 의료 영상 처리 장치. - 제1항에 따른 의료 영상 처리 장치를 이용하여 생성된 상기 적어도 하나의 제1 의료 영상을 이용하여, 병변의 위치, 병변의 종류, 및 병변에 해당할 확률 중 적어도 하나를 나타내는 진단 보조 영상을 생성하는 제4 신경망을 학습시키는 학습 장치.
- 제14항에 따른 학습 장치에 의해 학습된 제4 신경망을 이용하여 생성된 진단 보조 영상을 디스플레이하는 의료 영상 장치.
- 적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 단계;
신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리를 수행하는 단계;
상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 단계; 및
상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는 단계를 포함하고,
상기 제1 처리를 수행하는 단계는,
제1 입력으로부터 가상 병변 영상을 생성하는 단계;
상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하는 단계를 포함하는, 의료 영상 처리 방법. - 제16항에 있어서,
상기 적어도 하나의 제1 입력은 랜덤 변수 입력인, 의료 영상 처리 방법. - 제16항에 있어서,
상기 적어도 하나의 제1 입력은 병변 패치 영상인, 의료 영상 처리 방법. - 제16항에 있어서,
상기 제2 처리의 결과에 기초하여, 상기 가상 병변 영상과 상기 정상 의료 영상을 합성하여 상기 제1 의료 영상을 생성하는 제2 신경망을 학습시키는 단계를 더 포함하는 의료 영상 처리 방법. - 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 수행되었을 때 의료 영상 처리 방법을 수행하는 적어도 하나의 인스트럭션을 포함하고, 상기 의료 영상 처리 방법은,
적어도 하나의 정상 의료 영상, 및 적어도 하나의 비정상 의료 영상을 획득하는 단계;
신경망(neural network)을 이용하여 적어도 하나의 제1 의료 영상을 생성하는 제1 처리를 수행하는 단계;
상기 적어도 하나의 비정상 의료 영상에 기초하여 상기 적어도 하나의 제1 의료 영상이 실제 영상인지 여부를 판별하는 제2 처리를 수행하는 단계; 및
상기 제2 처리의 결과에 기초하여 상기 제1 처리에 이용되는 상기 신경망을 학습(training)시키는 단계를 포함하고,
상기 제1 처리를 수행하는 단계는,
제1 입력으로부터 가상 병변 영상을 생성하는 단계;
상기 가상 병변 영상과 상기 적어도 하나의 정상 의료 영상을 합성하여 제1 의료 영상을 생성하는 단계를 포함하는, 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190005857A KR20200089146A (ko) | 2019-01-16 | 2019-01-16 | 의료 영상 처리 장치 및 방법 |
| US16/739,885 US20200226752A1 (en) | 2019-01-16 | 2020-01-10 | Apparatus and method for processing medical image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190005857A KR20200089146A (ko) | 2019-01-16 | 2019-01-16 | 의료 영상 처리 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200089146A true KR20200089146A (ko) | 2020-07-24 |
Family
ID=71516739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190005857A KR20200089146A (ko) | 2019-01-16 | 2019-01-16 | 의료 영상 처리 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200226752A1 (ko) |
| KR (1) | KR20200089146A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022025477A1 (ko) * | 2020-07-27 | 2022-02-03 | 재단법인 아산사회복지재단 | 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치 |
| WO2022173232A3 (ko) * | 2021-02-09 | 2022-10-06 | 주식회사 루닛 | 병변의 발생 위험성을 예측하는 방법 및 시스템 |
| WO2022232741A1 (en) * | 2021-04-26 | 2022-11-03 | Wisconsin Alumni Research Foundation | System and method for monitoring multiple lesions |
| KR102564738B1 (ko) * | 2022-05-25 | 2023-08-10 | 주식회사 래디센 | X-ray 이미지에 존재하는 결절을 검출하는 검출모델의 학습을 위한 학습데이터 생성방법 및 이를 위한 컴퓨팅 장치 |
| WO2023177225A1 (ko) * | 2022-03-16 | 2023-09-21 | 고려대학교 산학협력단 | 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법 |
| WO2023234652A1 (ko) * | 2022-06-03 | 2023-12-07 | 한국과학기술원 | 프로브 적응형 정량적 초음파 이미징 방법 및 장치 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11019087B1 (en) * | 2019-11-19 | 2021-05-25 | Ehsan Adeli | Computer vision-based intelligent anomaly detection using synthetic and simulated data-system and method |
| JPWO2022049901A1 (ko) * | 2020-09-07 | 2022-03-10 | ||
| WO2022065061A1 (ja) * | 2020-09-28 | 2022-03-31 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
| JPWO2022176813A1 (ko) * | 2021-02-17 | 2022-08-25 | ||
| CN112819808A (zh) * | 2021-02-23 | 2021-05-18 | 上海商汤智能科技有限公司 | 医学图像检测方法及相关装置、设备、存储介质 |
| JP2023076287A (ja) * | 2021-11-22 | 2023-06-01 | キヤノン株式会社 | 情報処理装置とその制御方法、及びプログラム |
-
2019
- 2019-01-16 KR KR1020190005857A patent/KR20200089146A/ko unknown
-
2020
- 2020-01-10 US US16/739,885 patent/US20200226752A1/en not_active Abandoned
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022025477A1 (ko) * | 2020-07-27 | 2022-02-03 | 재단법인 아산사회복지재단 | 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치 |
| KR20220013817A (ko) * | 2020-07-27 | 2022-02-04 | 재단법인 아산사회복지재단 | 인공 신경망을 이용하여 질병에 대한 치료 반응을 예측하는 방법 및 상기 방법을 수행하는 치료 반응 예측 장치 |
| WO2022173232A3 (ko) * | 2021-02-09 | 2022-10-06 | 주식회사 루닛 | 병변의 발생 위험성을 예측하는 방법 및 시스템 |
| WO2022232741A1 (en) * | 2021-04-26 | 2022-11-03 | Wisconsin Alumni Research Foundation | System and method for monitoring multiple lesions |
| WO2023177225A1 (ko) * | 2022-03-16 | 2023-09-21 | 고려대학교 산학협력단 | 3차원 무기폐 모델에 기반한 흉강경 시뮬레이션 장치 및 방법 |
| KR102564738B1 (ko) * | 2022-05-25 | 2023-08-10 | 주식회사 래디센 | X-ray 이미지에 존재하는 결절을 검출하는 검출모델의 학습을 위한 학습데이터 생성방법 및 이를 위한 컴퓨팅 장치 |
| WO2023234652A1 (ko) * | 2022-06-03 | 2023-12-07 | 한국과학기술원 | 프로브 적응형 정량적 초음파 이미징 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200226752A1 (en) | 2020-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200089146A (ko) | 의료 영상 처리 장치 및 방법 | |
| KR102094737B1 (ko) | 의료 영상 처리 장치, 의료 영상 처리 방법, 컴퓨터 판독가능한 의료 영상 처리 프로그램, 이동 대상물 추적 장치 및 방사선 치료 시스템 | |
| KR102665022B1 (ko) | 엑스선 장치 및 이의 의료 영상 획득 | |
| KR102022667B1 (ko) | 환자를 모니터링하는 방법 및 장치 | |
| US10849585B1 (en) | Anomaly detection using parametrized X-ray images | |
| US20180247154A1 (en) | Image classification apparatus, method, and program | |
| JP2021531141A (ja) | 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法 | |
| EP3804624B1 (en) | Synthetic parameterized computed tomography from surface data in medical imaging | |
| US9504852B2 (en) | Medical image processing apparatus and radiation treatment apparatus | |
| US20140241606A1 (en) | Apparatus and method for lesion segmentation in medical image | |
| US10290097B2 (en) | Medical imaging device and method of operating the same | |
| US9886755B2 (en) | Image processing device, imaging system, and image processing program | |
| US20160225181A1 (en) | Method and apparatus for displaying medical image | |
| US20150223901A1 (en) | Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures | |
| US20190125306A1 (en) | Method of transmitting a medical image, and a medical imaging apparatus performing the method | |
| CN115311191A (zh) | 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图 | |
| US11423554B2 (en) | Registering a two-dimensional image with a three-dimensional image | |
| KR20190049524A (ko) | 의료 영상 전송 방법 및 그에 따른 의료 영상 장치 | |
| CN109350059A (zh) | 用于肘部自动对准的组合的转向引擎和界标引擎 | |
| US11645767B2 (en) | Capturing a misalignment | |
| US11837352B2 (en) | Body representations | |
| US11657519B2 (en) | Method for deformation correction | |
| CN116583223A (zh) | 解剖结构的3d表示的引导式采集 | |
| KR20210056884A (ko) | 의료 영상 출력 장치 및 이를 이용한 의료 영상 출력 방법 | |
| CN114648536A (zh) | 血管壁的提取方法及装置 |