KR102243644B1 - 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델 - Google Patents

의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델 Download PDF

Info

Publication number
KR102243644B1
KR102243644B1 KR1020180157455A KR20180157455A KR102243644B1 KR 102243644 B1 KR102243644 B1 KR 102243644B1 KR 1020180157455 A KR1020180157455 A KR 1020180157455A KR 20180157455 A KR20180157455 A KR 20180157455A KR 102243644 B1 KR102243644 B1 KR 102243644B1
Authority
KR
South Korea
Prior art keywords
medical image
learning model
deep learning
training
training data
Prior art date
Application number
KR1020180157455A
Other languages
English (en)
Other versions
KR20200075074A (ko
Inventor
이정우
한승엽
김영모
하석현
Original Assignee
서울대학교 산학협력단
호두에이아이랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교 산학협력단, 호두에이아이랩 주식회사 filed Critical 서울대학교 산학협력단
Priority to KR1020180157455A priority Critical patent/KR102243644B1/ko
Priority to US16/706,663 priority patent/US11321589B2/en
Publication of KR20200075074A publication Critical patent/KR20200075074A/ko
Application granted granted Critical
Publication of KR102243644B1 publication Critical patent/KR102243644B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 의료 영상 분획 딥러닝 모델 생성 장치로, 주어진 한장의 의료 영상을 원래 의료 영상 분획 딥러닝 모델에 입력하여 획득한 분획 결과값을 통해 훈련 데이터 셋을 생성하는 훈련 데이터 생성/할당부와, 1차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 1차 학습 수행에 따른 출력 데이터를 이용하여 각각의 임시 가중치들을 획득한 후, 2차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 2차 학습 수행에 따른 출력 데이터를 이용하여 획득된 각각의 가중치들을 이용하여 획득한 그래디언트를 더하여 가중치를 업데이트하는 학습 제어부를 포함하되, 1차 학습 및 2차 학습은 반복된다.

Description

의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델{Apparatus and Method for Generating Medical Image Segmentation Deep-Learning Model, Medical Image Segmentation Deep-Learning Model Generated Therefrom}
본 발명은 의료 영상 분류 기술에 관한 것으로, 특히 딥 러닝 기반으로 의료 영상을 분류하는 기술에 관한 것이다.
딥러닝 기술의 발전으로 자동 영상 분획 기술이 고도화되어 의료 영상 자동 분획 기술에도 적용할 수 있게 되었다. 의료영상 자동 분획 기술은 최근 MRI 및 의료 영상 기술이 발전하고 뇌종양과 같이 치료에 있어 조기진단이 질병 치료에 중요해지면서 의사들이 수많은 양의 의료영상을 판독해야 하는 부담을 크게 줄이는 데 도움을 줄 수 있다. 하지만 인공지능을 통한 의료 영상 분획의 경우 각 영상에 대한 종양, 부종, 괴사, 정상 병변에 대한 분획 정답 정보가 필요한데, 해당 질병에 대한 의료 영상 자체를 모으는 것도 힘들 뿐더러, 의사들을 통해 제작하는 데 상당한 비용과 시간이 소모된다.
그리고, 예컨대, 뇌종양의 경우, 원발암과 전이암 등 종류가 다양한데, 각 암들 마다 영상 속에서 나타나는 구조적인 모습이 다르기 때문에 한 종류의 암을 기준으로 학습된 인공신경망이 다른 종류의 암 의료 영상을 잘 분획하지 못한다. 뇌종양에 있어 원발암과 전이암의 경우 MR 영상 속에서 나타나는 패턴이 거의 같으나 각 암 특성에 의한 작은 차이가 존재하는 데 이 차이 대문에 자동 분획 인공신경망에서는 다르게 인식되어 원발암 기준으로 학습된 인공신경망이 전이암 영상 속 암을 잘 분획해내지 못한다.
이 문제를 극복하기 위한 기존의 fine-tuning 방법으로 전이암 분획도 잘 하게 만들기 위해서는 원발암 데이터의 양 만큼 새롭게 전이암 영상 및 정답 정보가 필요하다. 따라서 처음부터 전이암 데이터를 만들어 새로 학습하는 거에 비해 이렇게 확장하는 방법이 데이터 측면에서 이득이 없다. 뇌 원발암의 경우 BRaTs DATASET이라는 150명 이상 환자에 대한 MRI 영상 및 정답 데이터셋이 존재하나 전이암의 경우 신뢰도있는 데이터셋이 존재하지 않는다. 따라서 기존의 인공신경망을 통한 자동 영상 분획 기술은 모든 질병에 대한 자동화 기술로 확장하는 것이 사실상 불가능하다고 알려져 있었다.
Finn C 등, "Model-agnostic meta-learning for fast adaptation of deep networks" ICML 2017, https://arxiv.org/abs/1703.03400, (2017.03.09.)
본 발명은 기존의 원발암 분획 인공신경망에서 전이암 분획 인공신경망으로 확장할 때 몇 개의 신뢰할 수 있는 데이터만 확보 가능하면 확장할 수 있는 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델을 제안한다.
또한, 본 발명은 현재 잘 분획해낼 수 있는 패턴에 대한 능력을 잃어버리지 않으면서 새로운 패턴에 대한 분획도 동시에 누적되게 잘 할 수 있도록 하는 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델을 제안한다.
본 발명은 의료 영상 분획 딥러닝 모델 생성 장치로, 주어진 한장의 의료 영상을 원래 의료 영상 분획 딥러닝 모델에 입력하여 획득한 분획 결과값을 통해 훈련 데이터 셋을 생성하는 훈련 데이터 생성/할당부와, 1차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 1차 학습 수행에 따른 출력 데이터를 이용하여 각각의 임시 가중치들을 획득한 후, 2차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 2차 학습 수행에 따른 출력 데이터를 이용하여 획득된 각각의 가중치들을 이용하여 획득한 그래디언트를 더하여 가중치를 업데이트하는 학습 제어부를 포함하되, 1차 학습 및 2차 학습은 반복된다.
본 발명은 의료 영상 분획 딥러닝 모델 생성 방법으로, 주어진 한장의 의료 영상을 원래 의료 영상 분획 딥러닝 모델에 입력하여 획득한 분획 결과값을 통해 훈련 데이터 셋을 생성하는 단계와, 1차 학습용 훈련 데이터 셋들로부터 Good Task 데이터 및 Bad Task 데이터를 샘플링하는 단계와, 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 1차 학습 수행에 따른 출력 데이터를 이용하여 각각의 임시 가중치들을 획득하는 단계와, 2차 학습용 훈련 데이터 셋들로부터 Good Task 데이터 및 Bad Task 데이터를 샘플링하는 단계와, 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 2차 학습 수행에 따른 출력 데이터를 이용하여 획득된 각각의 가중치들을 이용하여 획득한 그래디언트를 더하여 가중치를 업데이트하는 단계를 포함하되, 샘플링하는 단계에서 업데이트하는 단계는 순차적으로 반복된다.
본 발명에 따라 기존의 원발암 분획 인공신경망에서 전이암 분획 인공신경망으로 확장할 때 몇 개의 신뢰할 수 있는 데이터만 확보 가능하면 확장할 수 있다.
또한, 본 발명에 따라 원발암 분획 인공신경망을 전이암 분획도 같이 할 수 있는 인공신경망으로 확장하는데 한 환자의 영상 정보만 가지고 fine-tuning할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 의료 영상 분획 딥러닝 모델 생성 장치의 블록 구성도이이다.
도 2는 정답 분획 이미지의 일 예를 도시한 도면이다.
도 3은 본 발명에 따른 Passive meta-tune method을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 Active meta-tune method를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 의료 영상 분획 딥러닝 모델 생성 방법을 설명하기 위한 순서도이다.
도 6은 본 발명에 따른 분획 결과 성능을 비교하기 위한 예시도이다.
이하 첨부된 도면을 참조하여, 바람직한 실시 예에 따른 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
본 발명에서는 메타 러닝과 액티브 러닝 기술을 기반으로 한 의료 영상 속 학습되지 않은 특성을 빠르고 정확하게 학습하여 새로운 영상 환경과, 관련 질병에 대한 분획 성능을 높일 수 있는 기술을 제안한다. 이하, 도면 및 그에 대한 설명에서는 의료 영상으로 뇌종양 MRI 영상을 예를 들어 설명하기로 한다. 그러나, 이는 본 발명의 이해를 돕기 위한 일 예일 뿐, 본 발명은 이에 한정되지 않는다. 즉, 의료 영상은 컴퓨터 방사선(CR:Computed Radiography) 영상, 컴퓨터 단층 촬영(CT: Computed Tomography) 영상, 초음파 영상 및 자기공명영상(MRI: Magnetic Resonance Image) 등을 포함하는 다양한 종류의 의료 영상 중 하나일 수 있다. 또한, 도시된 의료 영상에는 대상체(object)가 뇌로 도시되어 있지만, 이는 일 예일 뿐 본 발명은 이에 한정되지 않는다. 즉, 대상체(object)는 신체 또는 동물의 일부로, 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈액을 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 의료 영상 분획 딥러닝 모델 생성 장치의 블록 구성도이고, 도 2는 정답 분획 이미지의 일 예를 도시한 도면이다.
도 1을 참조하면, 의료 영상 분획 딥러닝 모델 생성 장치(이하 '장치'라 기재함)는 크게 의료 영상 분획 딥러닝 모델(10), 훈련 데이터 생성/할당부(20), DB(30) 및 학습 제어부(100)을 포함한다.
의료 영상 분획 딥러닝 모델(이하 '모델'로 기재함)(10)은 원발암을 분획하는 인공 신경망에서 전이암을 분획하는 인공 신경망으로 확장 대상이 되는 모델이다. 즉, 학습 제어부(100)에 의해 학습이 진행되지 이전에는 전이암을 잘 분획하지 못하는 원래 모델이 학습이 진행된 이후에는 전이암도 잘 분획할 수 있는 모델로 확장되는 것이다. 즉, 현재 잘 분획해낼 수 있는 패턴에 대한 능력을 잃어버리지 않으면서 새로운 패턴에 대한 분획도 동시에 잘 할 수 있도록 확장된다.
이러한 모델(10)에 분획 기술을 학습시킬 때 분획 대상 영상과 분획 결과 정답 영상이 필요하다. 이는 모델 확장을 위한 학습 이전 모델에 입력한 의료 영상에 대한 분획 결과 이미지와 정답 분획 이미지의 각 픽셀들 기준으로 결과에 대한 차이를 줄여주는 방식으로 학습이 진행되기 때문이다. 즉, 도 2에 도시된 바와 같이 주어진 각 픽셀마다 해당 픽셀은 부종, 암, 정상, 괴사에 대한 정답 레이블이 존재하고 이 레이블들을 모아 하나의 정답 분획 이미지로 만들어 놓은 것이다. 이미지 상에서는 레이블 마다 색깔이 다른데, 갈색은 종양, 노란색은 부종, 초록색은 괴사, 하늘색은 정상에 해당하는 픽셀들의 영역이다.
종래에는 Good Task와 Bad Task는 주어진 MRI 이미지 한 장에서 정답과 똑같이 예측한 부분은 Good Task로 마스크를 떠서 하나를 만들고, 정답과 다르게 예측한 픽셀들을 모아 Bad Task 마스크를 만들어 맞추어야 했던 정답을 각 픽셀에 할당하여 Bad Task를 생성한다.
즉, 훈련 데이터 생성/할당부(20)는 도 1에 도시된 바와 같이 주어진 한장의 MRI 이미지를 확장되기 이전의 모델(10)에 입력하여 분획 결과값을 획득한다. 그런 후, 정답과 동일한 예측 값을 가진 픽셀은 Good Task pixel로 할당하고, 오답을 예측한 픽셀은 Bad Task pixel로 할당한다. 그리고, 훈련 데이터 생성/할당부(20)는 Good Task에는 MRI 이미지와 Good Task pixel 정답 픽셀에 원래 정답을 채워넣어 새로운 Good Task용 정답 이미지를 생성한다. 이는 모델(10)이 잘하던 것은 다시 해도 다시 잘하게 만들기 위해서이다. 한편, 훈련 데이터 생성/할당부(20)는 Bad Task에서는 MRI 이미지와, Bad Task pixel들에 제대로 했어야 하는 결과인 원래 주어진 이미지에 대한 정답을 채워 Bad Task 정답 이미지를 생성한다. 이는 모델(10)이 못하던 것을 다음 번에는 잘하게 하기 위해서이다. 따라서, 주어진 MRI 이미지 한 장과 정답 쌍이 Good Task 이미지와 정답, Bad Task 이미지와 정답인 두 쌍의 훈련 데이터로 변경된다. 여기서, 주어진 MRI 이미지 한 장은 모두 동일한데, 이는 본 발명이 동일한 하나의 이미지에 대한 더 좋은 결과를 획득하는데 목적이 있기 때문이다. 또한, 훈련 데이터 생성/할당부(20)는 Good Task 훈련 데이터 및 Bad Task 훈련 데이터를 각각 1차 학습용 데이터 및 2차 학습용 데이터로 분배하여 DB(30)에 저장해둔다.
그러면, 학습 제어부(100)는 원 의료 영상 분획 딥 러닝 모델(10)을 확장하기 전에 마련하여 DB(30)에 저장해둔 훈련 데이터들로 의료 영상 분획 딥 러닝 모델(10)을 학습시키되, 액티브 러닝(Active learning)을 기반으로 하는 모델 모델 불구속 메타 러닝(model agnostic meta learning)을 적용하여 의료 영상 분획 딥 러닝 모델(10)을 fine-tuning 한다.
학습 제어부(100)는 상세하게는 1차 학습 처리부(110), 2차 학습 처리부(120)를 포함한다.
1차 학습 처리부(110)는 임시 학습 처리하는 것으로, DB(30)에 저장된 1차 학습용 데이터들로부터 샘플링된 훈련 데이터들을 의료 영상 분획 딥 러닝 모델(10)에 입력시킨 후, 출력 데이터를 이용하여 임시 가중치(
Figure 112018123090873-pat00001
)를 획득한다. 이때, Good Task 처리부(110a) 및 Bad Task 처리부(110a)는 각각 Good Task 샘플링 데이터 및 Bad Task 샘플링 데이터를 이용하여 각각의 임시 가중치(
Figure 112018123090873-pat00002
) 두 개를 획득한다.
그런 후, 2차 학습 처리부(120)는 DB(30)에 저장된 2차 학습용 데이터들로부터 샘플링된 훈련 데이터들을 임시 가중치(
Figure 112018123090873-pat00003
)에 의해 업데이트된 의료 영상 분획 딥 러닝 모델(10)에 입력시킨 후, 출력 데이터를 이용하여 가중치(
Figure 112018123090873-pat00004
)를 업데이트한다. 이때, Good Task 처리부(120a) 및 Bad Task 처리부(120a)는 각각 Good Task 샘플링 데이터 및 Bad Task 샘플링 데이터를 이용하여 획득된 각각의 가중치(
Figure 112018123090873-pat00005
)들을 이용하여 획득한 그래디언트를 더하여 가중치(
Figure 112018123090873-pat00006
)를 업데이트한다.
1차 학습 처리부(110) 및 2차 학습 처리부(120)는 마지막 순번의 훈련 데이터들이 다 학습될 때까지 동작을 반복한다. 예컨대, 10개의 훈련 데이터 (
Figure 112018123090873-pat00007
, x는 훈련 대상 이미지를 의미하고, y는 정답을 의미함)가 주어졌을 때, 이를 Good Task 훈련 데이터와 Bad Task 훈련 데이터로 나누어 2배인 20개로 나눌 수 있다. 또한, 이 데이터를 각각 하나씩 1차 학습용 및 2차 학습용으로 10개씩 분배하면, 1차 학습 처리부(110) 및 2차 학습 처리부(120)는 각각 10회의 가중치 업데이트를 수행하게 되는 것이다.
이로써, 인공신경망이 이미 잘 분획하는 패턴과 아직 잘 분획하지 못하는 패턴을 나눈 다음 잘 분획하는 패턴과 잘 나누지 못하는 패턴 각각 하나씩을 샘플링하여 학습한 다음, 다시 각각에 대한 재 샘플링한 데이터를 이용하여 균형있게 학습하여 잘하는 부분도 잊어버리지 않고, 새로 학습하는 부분도 잘 할 수 있는 균형 학습 파라미터에 도달할 수 있다.
한편, 학습 제어부(100)는 샘플링 처리부(130)를 더 포함하는데, 이는 액티브(Active) 모듈(131) 및 액티브(Active) 모듈(131) 중 적어도 하나를 포함할 수 있다.
액티브(Active) 모듈(131)은 DB(30)로부터 훈련 데이터를 샘플링할 때, 샘플링 순서를 성능 기준 오름차순으로 한다. 이를 본 발명에서와 같이 (meta-learning)에 적용한 기법을 일명 "Active meta-tune method" 로 부를 수 있는데, 학습 제어부(100)가 이러한 "Active meta-tune method" 로 학습을 진행하게 되면, 학습 결과가 가장 나쁜 학습 샘플부터 메타 러닝(meta-learning)을 진행하여 균형 학습 파라미터에 빠르고 정확하게 수렴할 수 있다.
한편, 패시브(Passive) 모듈(132)은 DB(30)로부터 훈련 데이터를 샘플링할 때, 샘플링 순서를 임의 추출하게 된다. 이를 본 발명에서와 같이 메타 러닝(meta-learning)에 적용한 기법을 일명 "Passive meta-tune method"로 부를 수 있는데, 학습 제어부(100)가 이러한 "Passive meta-tune method" 로 학습을 진행하게 되면, 학습 결과 성능이 안정적이지 못할 수 있으나, 반복 횟수가 클수록 매우 양호한 성능을 보일 수 있다.
도 3은 본 발명에 따른 Passive meta-tune method을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 Active meta-tune method를 설명하기 위한 도면이다.
도 3 및 도 4에서
Figure 112018123090873-pat00008
는 학습 제어부(100)가 동작되기 이전에 모델(10)의 가중치 값으로 미리 훈련된 파라미터로, 미리 훈련된 Good Task의 최적 가중치
Figure 112018123090873-pat00009
의 sub-optimal region에 존재한다. 목표 가중치
Figure 112018123090873-pat00010
에 도달하기 위해서 각각 Passive meta-tune method 및 Active meta-tune method에 의해 훈련 데이터를 샘플링하게 된다.
도 3을 참조하면, 샘플링된 Good Task 및 Bad Task 각각에 대한 파라미터
Figure 112018123090873-pat00011
Figure 112018123090873-pat00012
는 각각의 가중치 공간에서의 원(circle)에 위치하게 되는데, 업데이트는 최적 파라미터
Figure 112018123090873-pat00013
Figure 112018123090873-pat00014
의 combination에 의존하므로, 일정한 방향으로 업데이트되지 않는다.
반면, 도 4를 참조하면, Good Task 및 Bad Task 각각에 대해 샘플링되는 최최 입력값이 가중치 공간 상에서 파라미터
Figure 112018123090873-pat00015
,
Figure 112018123090873-pat00016
를 중심으로
Figure 112018123090873-pat00017
에서 가장 먼 파라미터
Figure 112018123090873-pat00018
Figure 112018123090873-pat00019
가 샘플링되므로, 업데이트 방향이
Figure 112018123090873-pat00020
로 향하게 된다.
도 5는 본 발명의 일 실시 예에 따른 의료 영상 분획 딥러닝 모델 생성 방법을 설명하기 위한 순서도이다.
도 5을 참조하면, 장치의 훈련 데이터 생성/할당부(20)는 훈련 데이터를 생성 및 할당하여 의료 영상 분획 딥 러닝 모델(10)을 확장하기 위한 훈련 데이터를 마련한다(S210).
다음으로, 장치의 학습 제어부(100)는 원 의료 영상 분획 딥 러닝 모델(10)의 파라미터들을 초기화한다(S220).
그런 후, 학습 제어부(100)는 1차 학습용 데이터들로부터 "Active meta-tune method" 또는 "Passive meta-tune method"에 의해 샘플링된 훈련 데이터들을 의료 영상 분획 딥 러닝 모델(10)에 입력시킨 후, 출력 데이터를 이용하여 임시 가중치(
Figure 112018123090873-pat00021
)를 획득한다(S230~S240). 이때, 각각 Good Task 샘플링 데이터 및 Bad Task 샘플링 데이터를 이용하여 각각의 임시 가중치(
Figure 112018123090873-pat00022
) 두 개를 획득한다.
그런 후, 학습 제어부(100)는 2차 학습용 데이터들로부터 "Active meta-tune method" 또는 "Passive meta-tune method" 로 샘플링한다(S260). 학습 제어부(100)는 마지막 순번의 훈련 데이터들이 다 학습될 때까지 동작을 반복한다(S260~S270).
그런 후, 훈련 데이터들을 임시 가중치(
Figure 112018123090873-pat00023
)에 의해 업데이트된 의료 영상 분획 딥 러닝 모델(10)에 입력시킨 후, 출력 데이터를 이용하여 가중치(
Figure 112018123090873-pat00024
)를 업데이트한다(S280). 이때, 각각 Good Task 샘플링 데이터 및 Bad Task 샘플링 데이터를 이용하여 획득된 각각의 가중치(
Figure 112018123090873-pat00025
)들을 이용하여 획득한 그래디언트를 더하여 가중치(
Figure 112018123090873-pat00026
)를 업데이트한다.
도 6은 본 발명에 따른 분획 결과 성능을 비교하기 위한 예시도이다.
도 6을 참조하면, 기존 알고리즘의 경우 다른 질병으로 분획 인공신경망을 확장하는 기술이 현실성이 없는 기술이었지만 본 발명에 따라 한 환자에 대한 신뢰할 수 있는 데이터만 확보하면 뇌전이암 전체 분획으로 확대할 수 있는 기술이다. 따라서 의료영상 분획에 있어 fine-tuning 기술을 실질적으로 구현했다고 할 수 있다.

Claims (7)

  1. 주어진 한장의 의료 영상을 원래 의료 영상 분획 딥러닝 모델에 입력하여 획득한 분획 결과값을 통해 훈련 데이터 셋을 생성하여 1차 학습용 훈련 데이터 셋 및 2차 학습용 훈련 데이터 셋으로 분배하여 저장하는 훈련 데이터 생성/할당부와,
    1차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥러닝 모델에 입력시켜 1차 학습 수행에 따른 출력 데이터를 이용하여 의료 영상 분획 딥 러닝 모델의 업데이트된 각각의 임시 가중치들을 획득한 후, 2차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 상기 획득한 임시 가중치에 의해 업데이트된 의료 영상 분획 딥 러닝 모델에 입력시켜 2차 학습 수행에 따른 출력 데이터를 이용하여 획득된 각각의 가중치들을 이용하여 획득한 그래디언트를 더하여 원래 의료 영상 분획 딥러닝 모델의 가중치를 업데이트하는 학습 제어부를 포함하되,
    1차 학습 및 2차 학습은 반복되는 의료 영상 분획 딥러닝 모델 생성 장치.
  2. 제 1항에 있어서, 학습 제어부는
    훈련 데이터 셋들로부터 임의의 순서로 샘플링하는 의료 영상 분획 딥러닝 모델 생성 장치.
  3. 제 1항에 있어서, 학습 제어부는
    훈련 데이터 셋들로부터 성능 기준 오름차순으로 샘플링하는 의료 영상 분획 딥러닝 모델 생성 장치.
  4. 주어진 한장의 의료 영상을 원래 의료 영상 분획 딥러닝 모델에 입력하여 획득한 분획 결과값을 통해 훈련 데이터 셋을 생성하여 1차 학습용 훈련 데이터 셋 및 2차 학습용 훈련 데이터 셋으로 분배하여 저장하는 단계와,
    1차 학습용 훈련 데이터 셋들로부터 Good Task 데이터 및 Bad Task 데이터를 1차 샘플링하는 단계와,
    1차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 의료 영상 분획 딥 러닝 모델에 입력시켜 1차 학습 수행에 따른 출력 데이터를 이용하여 의료 영상 분획 딥 러닝 모델의 업데이트된 각각의 임시 가중치들을 획득하는 단계와,
    2차 학습용 훈련 데이터 셋들로부터 Good Task 데이터 및 Bad Task 데이터를 2차 샘플링하는 단계와,
    2차 학습용 훈련 데이터 셋들로부터 샘플링된 Good Task 데이터 및 Bad Task 데이터를 상기 획득한 임시 가중치에 의해 업데이트된 의료 영상 분획 딥 러닝 모델에 입력시켜 2차 학습 수행에 따른 출력 데이터를 이용하여 획득된 각각의 가중치들을 이용하여 획득한 그래디언트를 더하여 원래 의료 영상 분획 딥러닝 모델의 가중치를 업데이트하는 단계를 포함하되,
    1차 샘플링하는 단계, 임시 가중치들을 획득하는 단계 및 2차 샘플링하는 단계는 순차적으로 반복되는 의료 영상 분획 딥러닝 모델 생성 방법.
  5. 제 4항에 있어서, 1차 샘플링하는 단계와 2차 샘플링하는 단계는
    각각의 훈련 데이터 셋들로부터 임의의 순서로 샘플링하는 의료 영상 분획 딥러닝 모델 생성 방법.
  6. 제 4항에 있어서, 1차 샘플링하는 단계와 2차 샘플링하는 단계는
    각각의 훈련 데이터 셋들로부터 성능 기준 오름차순으로 샘플링하는 의료 영상 분획 딥러닝 모델 생성 방법.
  7. 삭제
KR1020180157455A 2018-12-07 2018-12-07 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델 KR102243644B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180157455A KR102243644B1 (ko) 2018-12-07 2018-12-07 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델
US16/706,663 US11321589B2 (en) 2018-12-07 2019-12-06 Apparatus and method for generating medical image segmentation deep-learning model, and medical image segmentation deep-learning model generated therefrom

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180157455A KR102243644B1 (ko) 2018-12-07 2018-12-07 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델

Publications (2)

Publication Number Publication Date
KR20200075074A KR20200075074A (ko) 2020-06-26
KR102243644B1 true KR102243644B1 (ko) 2021-04-23

Family

ID=70970516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157455A KR102243644B1 (ko) 2018-12-07 2018-12-07 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델

Country Status (2)

Country Link
US (1) US11321589B2 (ko)
KR (1) KR102243644B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
CN112115993B (zh) * 2020-09-11 2023-04-07 昆明理工大学 一种基于元学习的零样本和小样本证件照异常检测方法
KR102481112B1 (ko) * 2020-11-02 2022-12-26 사회복지법인 삼성생명공익재단 심층 학습을 이용한 성인 신장 예측 방법 및 그 시스템
CN112489794A (zh) * 2020-12-18 2021-03-12 推想医疗科技股份有限公司 一种模型的训练方法、装置、电子终端及存储介质
CN112861995B (zh) * 2021-03-15 2023-03-31 中山大学 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质
CN113077445A (zh) * 2021-04-01 2021-07-06 中科院成都信息技术股份有限公司 数据处理方法及装置、电子设备、可读存储介质
CN114468977B (zh) * 2022-01-21 2023-03-28 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
KR20230149141A (ko) * 2022-04-19 2023-10-26 포항공과대학교 산학협력단 저항성 소자를 이용한 인공지능 엣지 디바이스 구현을 위한 학습 장치 및 방법과 이를 이용한 분석 장치 및 방법
CN115222945B (zh) * 2022-09-15 2022-12-06 深圳市软盟技术服务有限公司 基于多尺度自适应课程学习的深度语义分割网络训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101828503B1 (ko) 2017-08-23 2018-03-29 주식회사 에이젠글로벌 앙상블 모델 생성 장치 및 방법
US20180144244A1 (en) 2016-11-23 2018-05-24 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
KR101864412B1 (ko) 2017-12-28 2018-06-04 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134615B1 (ko) * 2010-06-22 2012-04-09 한국과학기술원 사용자 적응형 이미지 관리 시스템 및 사용자 적응형 이미지 관리 방법
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
US11200483B2 (en) 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
KR102250164B1 (ko) * 2018-09-05 2021-05-10 에이아이메딕(주) 기계 학습 및 영상 처리 알고리즘을 이용하여 의료 영상의 혈관들을 자동으로 영역화하는 방법 및 시스템
EP4095797B1 (en) * 2018-11-08 2024-01-24 Augmedics Inc. Autonomous segmentation of three-dimensional nervous system structures from medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144244A1 (en) 2016-11-23 2018-05-24 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
KR101828503B1 (ko) 2017-08-23 2018-03-29 주식회사 에이젠글로벌 앙상블 모델 생성 장치 및 방법
KR101864412B1 (ko) 2017-12-28 2018-06-04 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR20200075074A (ko) 2020-06-26
US11321589B2 (en) 2022-05-03
US20200184274A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102243644B1 (ko) 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델
JP7030050B2 (ja) 組織パラメータ推定を用いたmrデータからの疑似ct生成
CN112508965B (zh) 医学影像中正常器官的轮廓线自动勾画系统
US9811906B1 (en) Method and data processing unit for segmenting an object in a medical image
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和系统
CN107194912B (zh) 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法
Lin et al. Fully automated segmentation of brain tumor from multiparametric MRI using 3D context deep supervised U‐Net
Roy et al. A deep learning framework for brain extraction in humans and animals with traumatic brain injury
US20060093197A1 (en) Semi-local active contour for a faint region detection in knee CT images
CN113674330A (zh) 一种基于生成对抗网络的伪ct影像生成系统
Zeng et al. Liver segmentation in magnetic resonance imaging via mean shape fitting with fully convolutional neural networks
Roy et al. Synthesizing CT from ultrashort echo-time MR images via convolutional neural networks
JP2020170408A (ja) 画像処理装置、画像処理方法、プログラム
JP2024500938A (ja) 医用画像における状態特徴の自動注釈付け
CN111127487B (zh) 一种实时多组织医学图像的分割方法
Maillard et al. A deep residual learning implementation of metamorphosis
Carmo et al. Extended 2D consensus hippocampus segmentation
US11682110B2 (en) Modularized adaptive processing neural network (MAP-NN) for low-dose CT
KR102586483B1 (ko) 인공지능에 의한 의료영상 변환방법 및 그 장치
CN116844734A (zh) 剂量预测模型的生成方法、装置、电子设备及存储介质
KR102574757B1 (ko) 주파수 영역에서 인공지능에 의한 의료영상 변환방법 및 그 장치
Puonti et al. Fast, sequence adaptive parcellation of brain MR using parametric models
US20220301289A1 (en) Method for providing a trainable function for determination of synthetic image data
Carmo et al. Extended 2d volumetric consensus hippocampus segmentation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant