KR20210042432A - 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법 - Google Patents

방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법 Download PDF

Info

Publication number
KR20210042432A
KR20210042432A KR1020190124823A KR20190124823A KR20210042432A KR 20210042432 A KR20210042432 A KR 20210042432A KR 1020190124823 A KR1020190124823 A KR 1020190124823A KR 20190124823 A KR20190124823 A KR 20190124823A KR 20210042432 A KR20210042432 A KR 20210042432A
Authority
KR
South Korea
Prior art keywords
data
generating
image
artificial intelligence
region
Prior art date
Application number
KR1020190124823A
Other languages
English (en)
Other versions
KR102347496B1 (ko
Inventor
김희정
이지민
조형주
예성준
Original Assignee
사회복지법인 삼성생명공익재단
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단, 서울대학교산학협력단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020190124823A priority Critical patent/KR102347496B1/ko
Priority to US16/946,480 priority patent/US11302094B2/en
Publication of KR20210042432A publication Critical patent/KR20210042432A/ko
Priority to KR1020210194308A priority patent/KR20220023323A/ko
Application granted granted Critical
Publication of KR102347496B1 publication Critical patent/KR102347496B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1031—Treatment planning systems using a specific method of dose optimization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)

Abstract

본 발명은 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법에 관한 것으로서, 본 발명의 일 실시 예에 따른 시스템은, 환자의 CT 영상 및 방사선 치료를 위한 관심 영역의 윤곽 정보가 포함된 RT-Structure 파일을 수집하는 데이터 수집부, RT-Structure 파일로부터 윤곽 정보를 추출하고, 추출된 윤곽 정보를 기초로 바이너리 이미지를 생성하는 전처리부 및 바이너리 이미지를 기초로 관심 영역을 나타내는 분할 맵을 생성하기 위한 파라미터를 딥러닝 알고리즘을 이용하여 학습하고, 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 데이터 학습부를 포함할 수 있다.

Description

방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법{AUTOMATIC MULTI-ORGAN AND TUMOR CONTOURING SYSTEM BASED ON ARTIFICIAL INTELLIGENCE FOR RADIATION TREATMENT PLANNING}
본 발명은 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법에 관한 것으로, 더욱 상세하게는 방사선 치료 계획을 수립할 때 필요한 장기 및 종양 이미지를 분할하는 작업을 인공지능 모델로부터 학습을 통해 최적화되어 추출된 고차원의 특징들을 이용하여 자동화하는 시스템 및 방법에 관한 것이다.
일반적으로 방사선 노출로 인한 부작용을 줄이고 치료의 정확도를 높이기 위해서 환자에 대한 실질적인 방사선 치료가 이루어지기 이전에 방사선 치료 계획을 수립하는 과정이 수행된다. 예를 들어, 방사선 치료 계획을 수립하는 과정에서는 환자의 치료 부위를 촬영한 영상 또는 이미지를 기초로 방사선 치료의 타겟이 되는 장기 또는 종양의 부위를 선별하는 작업이 수행된다.
장기 또는 종양의 부위를 선별하는 작업은 환자의 치료 부위를 촬영한 영상 또는 이미지에서 타겟이 되는 영역을 분할하는 작업으로서, 임상의의 경험적인 판단에 의해 수행되는 경우가 대부분이다. 즉, 장기 또는 종양의 부위를 선별하는 작업은 임상의의 숙달 정도에 영향을 받을 수 밖에 없고 일정한 규칙 또는 기준을 마련하는 것 자체가 쉽지 않기 때문에 완료되기까지 상당한 시간이 소요될 수 밖에 없다.
방사선 치료 계획 수립의 속도 향상 및 자동화를 위해서 이전의 치료계획 데이터들을 기반으로 한 장기 분할 연구가 활발히 이루어지고는 있으나, 종래의 연구들은 대부분 인간의 규정한 규칙을 기초로 영상 또는 이미지에서 타겟이 되는 장기 또는 종양의 부위를 분할하는 방식을 이용하고 있다. 전술하였듯이 장기 또는 종양 부위를 선별하기 위한 일정한 규칙 또는 기준을 마련하는 것 자체가 쉽지 않으므로, 종래의 연구들은 임상의의 경험적인 판단에 의해 수행되는 기존 작업에 비해 오히려 정확도가 현저히 떨어지는 한계가 있다.
대한민국 공개특허공보 제10-2015-0094080호 (2015.08.19)
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 방사선 치료 계획 수립을 위해서 환자의 CT(computerized tomography) 영상의 관심 영역을 일정한 규칙 또는 인간의 경험적 판단에 의해 분할하는 것이 아닌 딥러닝 알고리즘을 통해 학습된 고차원의 특징들을 이용하여 관심 영역을 분할함으로써, 자동화된 관심 영역의 분할 과정을 최적화한 시스템 및 방법을 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템은, 환자의 CT(computerized tomography) 영상 및 방사선 치료를 위한 관심 영역의 윤곽(contour) 정보가 포함된 RT-Structure(radiotherapy structure) 파일을 수집하는 데이터 수집부, RT-Structure 파일로부터 윤곽 정보를 추출하고, 추출된 윤곽 정보를 기초로 바이너리(binary) 이미지를 생성하는 전처리부 및 바이너리 이미지를 기초로 관심 영역을 나타내는 분할 맵(segmentation map)을 생성하기 위한 파라미터(parameter)를 딥러닝 알고리즘을 이용하여 학습하고, 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 데이터 학습부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 윤곽 정보는 관심 영역의 윤곽을 이루는 점들의 위치 정보이며, 전처리부는, 점들의 위치 정보를 기초로 다각형의 윤곽선을 생성하고, 점들이 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 바이너리 이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부는, 학습을 위한 데이터의 양을 증가시키기 위해 데이터 변조(data augmentation) 알고리즘을 이용할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부는, CT 영상 및 바이너리 이미지를 학습 데이터 또는 유효성 평가 데이터로 분류하고, 학습 데이터를 기초로 생성된 복수개의 판단 모델들에 유효성 평가 데이터를 입력하여 판단 모델들을 검증할 수 있다.
본 발명의 일 실시 예에 따른 복수개의 CT 영상들이 데이터 수집부를 통해 입력되면, 판단 모델을 이용하여 입력된 CT 영상들에 대한 분할 맵을 생성하는 데이터 추론부 및 데이터 추론부를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 변환된 RT-Structure 파일을 방사선 치료 계획 시스템으로 전송하는 데이터 변환부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 데이터 추론부는, 복수개의 CT 영상들에 대해 판단 모델을 이용하여 N개(N은 자연수)의 데이터 간격으로 관심 영역을 추정하고, 관심 영역을 추정하지 않는 나머지 CT 영상들에 대해 근사값 추정을 위한 보간(interpolation)을 수행할 수 있다.
본 발명의 일 실시 예에 따른 데이터 추론부는, 분할 맵을 구성하는 관심 영역에 대한 오판단, 관심 영역의 크기 및 관심 영역의 윤곽선에 대한 보정을 수행할 수 있다.
본 발명의 일 실시 예에 따른 데이터 추론부는, 분할 맵에서 소정의 크기 이하의 관심 영역 또는 관심 영역이 아님에도 관심 영역으로 판단된 영역을 제거하고, 분할 맵의 윤곽선을 평활화(smoothing)하며, 상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 비교한 결과를 기초로 보간을 수행할 수 있다.
본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 방법은, 데이터 수집부가 환자의 CT 영상 및 방사선 치료를 위한 관심 영역의 윤곽 정보가 포함된 RT-Structure 파일을 수집하는 단계, 전처리부가 RT-Structure 파일로부터 윤곽 정보를 추출하고, 추출된 윤곽 정보를 기초로 바이너리이미지를 생성하는 단계, 데이터 학습부가 바이너리 이미지를 기초로 임의의 CT 영상에 대한 분할 맵을 생성하기 위한 파라미터를 딥러닝 알고리즘을 이용하여 학습하는 단계 및 데이터 학습부가 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 윤곽 정보는 관심 영역의 윤곽을 이루는 점들의 위치 정보이며, 바이너리 이미지를 생성하는 단계는, 전처리부가 점들의 위치 정보를 기초로 다각형의 윤곽선을 생성하는 단계 및 점들이 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 바이너리 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 판단 모델을 생성하는 단계는, CT 영상 및 바이너리 이미지를 학습 데이터 또는 유효성 평가 데이터로 분류하는 단계 및 학습 데이터를 기초로 생성된 복수개의 판단 모델들에 유효성 평가 데이터를 입력하여 판단 모델들을 검증하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 복수개의 CT 영상들이 데이터 수집부를 통해 입력되면, 데이터 추론부가 판단 모델을 이용하여 입력된 CT 영상들에 대한 분할 맵을 생성하는 단계 및 데이터 변환부가 데이터 추론부를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 변환된 RT-Structure 파일을 방사선 치료 계획 시스템으로 전송하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 분할 맵을 생성하는 단계는, 분할 맵에서 소정의 크기 이하의 관심 영역 또는 관심 영역이 아님에도 관심 영역으로 판단된 영역을 제거하는 단계, 분할 맵의 윤곽선을 평활화하는 단계 및 상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 비교한 결과를 기초로 보간을 수행하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 장기 및 종양 이미지 분할 시스템에 따르면, 인간이 임의로 규정한 규칙 기반의 알고리즘을 이용하지 않고 의료영상에 대한 타겟 영역의 선별에 최적화된 인공지능 모델을 이용하므로, 종래 대비 매우 빠른 속도로 자동화된 장기 및 종양 부위의 선별이 가능할 뿐만 아니라 정확도가 향상된 장기 및 종양 부위의 선별이 가능하다.
도 1은 본 발명의 제 1 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 학습을 위한 전처리 과정을 나타낸 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 판단 모델을 나타낸 구조도이다.
도 4는 본 발명의 일 실시 예에 따른 GCN(global convolutional network) 알고리즘을 나타낸 구조도이다.
도 5는 본 발명의 제 2 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템을 나타낸 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템의 학습 과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 학습을 위한 전처리 과정을 나타낸 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 판단 모델의 결정 과정을 나타낸 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템의 추론 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 출력을 위한 후처리 과정을 나타낸 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 제 1 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템(100)을 나타낸 블록도, 도 2는 본 발명의 일 실시 예에 따른 학습을 위한 전처리 과정을 나타낸 개념도이다.
또한, 도 3은 본 발명의 일 실시 예에 따른 판단 모델을 나타낸 구조도, 도 4는 본 발명의 일 실시 예에 따른 GCN(global convolutional network) 알고리즘을 나타낸 구조도이다.
도 1을 참조하면, 본 발명의 제 1 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템(100)은, 환자의 CT(computerized tomography) 영상 및 방사선 치료를 위한 관심 영역의 윤곽(contour) 정보가 포함된 RT-Structure(radiotherapy structure) 파일을 수집하는 데이터 수집부(110), RT-Structure 파일로부터 윤곽 정보를 추출하고, 추출된 윤곽 정보를 기초로 바이너리(binary) 이미지를 생성하는 전처리부(120) 및 바이너리 이미지를 기초로 관심 영역을 나타내는 분할 맵(segmentation map)을 생성하기 위한 파라미터(parameter)를 딥러닝 알고리즘을 이용하여 학습하고, 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 데이터 학습부(130)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 CT 영상은 방사선 치료 계획을 수립하기 위한 시스템(100)의 학습 및 추론 과정에서 필요한 기초 데이터로서, DICOM(digital imaging and communications in medicine) 형식으로 저장된 데이터를 말한다. 예를 들어, CT 영상에 대한 정보는 DICOM 파일 안에 "Pixel Data" 라는 헤더(header)의 하위 카테고리에 포함될 수 있다. 따라서, 데이터 수집부(110)는 DICOM 파일을 수집하고, 수집된 DICOM 파일의 전술한 하위 카테고리를 로딩(loading)하여 CT 영상을 획득할 수 있다.
본 발명의 일 실시 예에 따른 RT-Structure 파일은 방사선 치료 계획을 수립하기 위해 분할하고자 하는 주요 장기들(i.e. 방사선 치료의 타겟이 되는 관심 장기들)의 윤곽 정보를 획득하기 위해 필요한 기초 데이터를 말한다. 이때, 윤곽 정보는 방사선 치료를 위해 임상의의 판단으로 그려진 관심 영역의 윤곽선에 관한 정보를 말한다. 즉, 본 발명의 일 실시 예에 따른 시스템(100)은, 환자의 CT 영상에서 방사선 치료가 되어야 하는 관심 영역을 학습하기 위해서 기존의 임상의의 경험적 판단에 의해 그려진 관심 영역의 윤곽선에 대한 정보를 이용할 수 있다.
본 발명의 일 실시 예에 따른 전처리부(120)는, RT-Structure 파일로부터 윤곽 정보를 출할 수 있다. 이때, 윤곽 정보는 관심 영역의 윤곽을 이루는 점들의 위치 정보를 말한다. 예를 들어, RT-Structure 파일은 CT 영상과 동일하게 DICOM 형식으로 저장될 수 있는데, 전처리부(120)는 RT-Structure 파일 안에 "ROI Contour Sequence" 라는 헤더의 하위 카테고리에 포함된 관심 영역의 윤곽 정보를 슬라이스(slice) 별로 추출할 수 있다. 이때, 각 슬라이스 별 윤곽 정보는 X, Y 및 Z 좌표값으로 표현되는 점들의 조합으로 저장되어 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 전처리부(120)는, 윤곽 정보를 기초로 다각형의 윤곽선을 생성하고, 윤곽을 이루는 점들이 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 바이너리 이미지를 생성할 수 있다. 예를 들어, 도 2와 같이 RT-Structure 파일로부터 6개의 점들의 위치 정보에 해당하는 윤곽 정보가 추출되면, 전처리부(120)는 6개의 점들의 위치 정보를 이용하여 육각형의 윤곽선을 생성할 수 있다. 육각형의 윤곽선이 생성되면, 전처리부(120)는 육각형의 윤곽선 내부에 위치한 점에는 1의 값, 윤곽선 외부에 위치한 점에는 0의 값을 할당하여 윤곽 정보를 바이너리 이미지로 변환할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부(130)는, 환자의 CT 영상의 관심 영역이 최대한 바이너리 이미지에 가깝게 분할되도록 하기 위한 판단 모델의 파라미터를 학습할 수 있다. 예를 들어, 데이터 학습부(130)는 입력 값인 CT 영상과 정답 값에 해당하는 바이너리 이미지 사이의 차이를 최소화하기 위해 이진 교차 엔트로피(binary cross entropy, BCE) 손실 함수(loss function)를 사용하여 파라미터를 학습할 수 있다. 또한, 데이터 학습부(130)는 파라미터의 학습 속도 향상을 위해 한번에 얼마나 학습할지를 나타내는 학습 비율(learning rate) 및 어떤 방향으로 학습할지를 나타내는 그라디언트(gradient)를 모두 고려하는 아담 옵티마이저(ADAM optimizer)를 이용할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부(130)는, 파라미터 학습을 위한 데이터의 양을 증가시키기 위해 데이터 변조(data augmentation) 알고리즘을 이용할 수 있다. 데이터 변조 알고리즘은 컨볼루션 신경망(convolutional neural network: CNN)의 성능을 높이기 위해 이용되는 알고리즘으로서, 이미지의 레이블을 변경하지 않고 픽셀을 변화시키는 방법이다. 예를 들어, 데이터 학습부(130)는 하나의 바이너리 이미지에 대해 좌우 반전(horizontal flip), 회전(rotation), 랜덤 자르기(random crop) 등의 변조 알고리즘을 수행할 수 있다. 전술한 변조가 수행된 이미지들은 서로 다른 데이터로 인식되므로, 파라미터 학습을 위해 사용되는 바이너리 이미지의 수 자체를 늘릴 수 있다. 이와 같이 변조되는 바이너리 이미지의 수는 학습의 진행에 따라 사용자에 의해 조절될 수 있다.
한편, 본 발명의 일 실시 예에 따른 데이터 변조 알고리즘에는 이미지 픽셀의 구조를 변형시키는 엘라스틱 변형(elastic deformation) 알고리즘이 포함될 수 있다. 좌우 반전, 회전, 랜덤 자르기 등과 같은 데이터 변조 알고리즘과는 달리 엘라스틱 변형 알고리즘은 이미지를 구성하는 픽셀 각각의 외형을 랜덤하게 변형시키는 방법이다. 이와 같은 엘라스틱 변형 알고리즘은 전술한 예시와 같은 다른 데이터 변조 알고리즘에 비해 의료 데이터에 적합한 변조 방식이다. 따라서, 데이터 학습부(130)는 엘라스틱 변형 알고리즘을 이용하여 학습을 위해 수집된 데이터의 수 자체가 제한적이더라도 판단의 정확도가 높은 효율적인 학습을 수행할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부(130)는, 전술한 과정을 통해 학습된 파라미터를 이용하여 판단 모델을 생성할 수 있다. 예를 들어, 판단 모델은 도 3과 같이 구성될 수 있다. 도 3을 참조하면, 판단 모델은 글로벌 컨볼루션 네트워크(global convolutional network: GCN) 및 인코더-디코더 구조를 기반으로 한 SSC(short skip connections)와 같은 고유의 구성 요소를 가질 수 있다. 판단 모델은 특징 추출 단계(i.e. 인코더 부분)과 공간 해상도 복구 단계(i.e. 디코더 부분)으로 구분될 수 있다. 이때, 특징 추출 단계에는 총 4개의 다운 모듈이 있으며, 공간 해상도 복구 단계에는 총 4개의 업 모듈이 있다. 다운 모듈과 업 모듈의 수는 데이터 특성에 맞게 변화될 수 있다.
도 3을 참조하면, 하나의 다운 모듈은 3Х3 필터를 갖는 2세트의 컨볼루션 레이어를 포함하는 컨볼루션 블록을 가지며, 배치 정규화(batch normalization) 및 활성 함수(e.g. ReLU: rectified linear unit)를 통한 활성화 기능을 수행할 수 있다. 컨볼루션 블록 이후의 GCN(global convolutional network) 계층은 축을 따라 서로 다른 특성을 갖는 특징들을 추출할 수 있다. 또한, GCN 계층 이후의 특징 맵(feature map)은 GCN 계층 이전의 특징 맵과 결합될 수 있다. 이러한 프로세스를 SSC(short skip connection)이라고 한다. 다운 모듈의 마지막 부분에는 2Х2 최대 풀링 레이어(max-pooling layer)가 있어 특징 맵의 크기를 절반(i.e. NХN에서 N/2ХN/2)으로 줄일 수 있다.
도 3을 참조하면, 4개의 다운 모듈 다음에는 컨볼루션 블록이 하나뿐인 브리지 부분이 있으며, 4개의 업 모듈이 이어질 수 있다. 하나의 업 모듈에는 4Х4 필터가 있는 업컨볼루션(Transposed Convolution) 레이어가 있어 특징 맵의 크기를 늘릴 수 있다(i.e. NХN에서 2NХ2N). 업 샘플링된 특징 맵은 업 모듈과 동일한 레벨의 특징 맵에 연결될 수 있으며, 이것은 레벨 전체에서 공간 정보를 전송하기 위한 LSC(long skip connection)이다. 변환 블록이 LSC를 다시 수행하고 나면, 최종적인 분할 맵은 4 개의 업 모듈 이후 1x1 컨볼루션 및 시그모이드 함수(sigmoid function)를 통해 출력될 수 있다. 이와 같은(i.e. 도 3과 같은) 판단 모델의 구조는 하나의 예시일 뿐이며, 본 발명의 판단 모델은 전술한 예시를 포함하여 변형 가능한 여러 컨볼루션 신경망 구조로 형성될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 GCN(global convolutional network) 알고리즘을 나타낸 구조도이다.
GCN 알고리즘은 기존 컨볼루션 연산에서 추출되는 특징들과 더불어 더 다양하고 깊은 특징(feature)들을 추출하기 위한 연산 과정이다. 도 4를 참조하면, GCN 알고리즘은 하나의 입력에 대해 1xN, Nx1(e.g. N=7)의 필터가 동시에 연산을 수행하여 특징을 추출하고, 그 이후 Nx1, 1xN의 연산을 수행할 수 있다. 이와 같은 과정을 통해 추출된 2개의 특징 맵이 픽셀(pixel) 단위로 합쳐지는 연산(summation)을 통해 고차원 특징 추출이 완료될 수 있다. 도 4와 같은 GCN 알고리즘의 구조는 전체 네트워크 구조의 중간 중간에 배치될 수 있으며, 컨볼루션 연산과 더불어 더 다양한 특징 추출에 효과적인 역할을 수행할 수 있다.
본 발명의 일 실시 예에 따른 데이터 학습부(130)는, 제한된 데이터의 양으로도최적의 판단 모델을 생성하기 위해서 학습 과정에서 복수개의 모델들을 생성하고 검증하는 작업을 수행할 수 있다. 예를 들어, 데이터 학습부(130)는 데이터 수집부(110)를 통해 수집된 CT 영상 및 전처리부(120)를 통해 생성된 바이너리 이미지를 학습 데이터와 유효성 평가 데이터로 분류할 수 있다. 이때, 학습 데이터로 분류된 CT 영상 및 바이너리 이미지는 판단 모델의 내부 파라미터를 학습하기 위해 사용된다. 또한, 유효성 평가 데이터는 모델의 학습(i.e. 내부 파라미터의 업데이트 등)에는 사용되지 않고, 일정 시점까지 학습된 모델의 성능을 평가하기 위해 사용된다.
즉, 데이터 학습부(130)는 전술한 학습 데이터를 이용하여 복수개의 판단 모델들을 생성하거나 업데이트하고, 복수개의 판단 모델들에 유효성 평가 데이터를 입력하여 판단 모델들을 검증할 수 있다. 이와 같은 검증을 통해 각 모델들의 최종 성능이 확인되면, 데이터 학습부(130)는 가장 좋은 성능의 판단 모델(i.e. 관심 영역의 분할의 정확도가 가장 높은 판단 모델)을 최종 판단 모델로 결정할 수 있다.
도 5는 본 발명의 제 2 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템(100)을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 제 2 실시 예에 따른 복수개의 CT 영상들이 데이터 수집부(110)를 통해 입력되면, 판단 모델을 이용하여 입력된 CT 영상들에 대한 분할 맵을 생성하는 데이터 추론부(140) 및 데이터 추론부(140)를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 변환된 RT-Structure 파일을 방사선 치료 계획 시스템(200)으로 전송하는 데이터 변환부(150)를 더 포함할 수 있다. 전술한 도 1의 제 1 실시 예는 판단 모델의 생성(i.e. 학습)을 위한 시스템(100)의 구성을 나타낸 것이라면, 도 5의 제 2 실시 예는 관심 영역의 자동 분할(i.e. 추론)을 위한 시스템(100)의 구성을 나타낸다.
즉, 본 발명의 제 2 실시 예에 따라 방사선 치료 계획 수립을 위한 새로운 CT 영상이 외부 단말(ex. 의료 데이터베이스 등)로부터 데이터 수집부(110)를 통해 입력되면, 데이터 추론부(140)는 데이터 학습부(130)를 통해 최종 결정된 학습 모델을 이용하여 새로운 CT 영상에 대한 분할 영상을 생성할 수 있다. 데이터 변환부(150)는 데이터 추론부(140)를 통해 생성된 분할 영상을 RT-Structure 파일로 변환하고, 본 시스템(100)과 연동된 방사선 치료 계획 시스템(200)으로 변환된 파일을 전송할 수 있다.
본 발명의 일 실시 예에 따른 데이터 추론부(140)는, 복수개의 CT 영상들에 대해 판단 모델을 이용하여 N개(N은 자연수)의 데이터 간격으로 관심 영역을 추정하고, 관심 영역을 추정하지 않는 나머지 CT 영상들에 대해 근사값 추정을 위한 보간(interpolation)을 수행할 수 있다. 보간은 통계적 예측 방법으로서 확인된 데이터 값을 이용하여 확인되지 않은 데이터 값을 추정하는 방식을 말한다.
예를 들어, 총 30장의 CT 영상들로부터 종양을 분할하고자 한다면, N=2일 경우, 데이터 추론부(140)는 2장의 영상 간격(i.e. 총 15장)으로 추론을 수행한 후 나머지 영상들(i.e. 30장 중 나머지 15장)에 대해서는 보간을 수행할 수 있다. N=1일 경우, 학습된 모델이 모든 영상들을 추론하게 되므로, 별도의 보간을 수행하지는 않는다. N은 사용 목적에 따라 사용자에 의해 변경될 수 있는 값이며, N이 커질수록 데이터 추론부(140)의 처리 속도는 향상되나 보간을 많이 수행하게 되므로 분할의 정확도가 떨어질 수 있다. 이는 2차원 딥러닝 모델에 한해 적용되며, 3차원 모델을 사용할 경우에는 이 단계에서 별도의 보간은 진행되지 않는다.
본 발명의 일 실시 예에 따른 데이터 추론부(140)는, 방사선 치료의 타겟이 되는 장기 또는 종양의 이미지 영역을 CT 영상에서 분할한 결과를 RT-Structure 파일로 변환하기 이전에 후처리하는 작업을 수행할 수 있다. 이러한 후처리 작업은 데이터 추론부(140)가 분할 맵을 구성하는 관심 영역에 대한 오판단, 관심 영역의 크기 및 관심 영역의 윤곽선에 대한 보정을 수행하는 것을 말한다.
예를 들어, 데이터 추론부(140)는 판단 모델을 통해 생성된 분할 맵에서 소정의 크기 이하의 관심 영역 또는 관심 영역이 아님에도 관심 영역으로 판단된 영역을 제거할 수 있다. 이때, 소정의 크기는 사용자에 의해 설정 또는 변경될 수 있다. 즉, 분할 맵에서 관심 영역은 1의 값, 비관심 영역은 0의 값이 할당되므로, 데이터 추론부(140)는 하나의 CT 영상에 대한 분할 맵에서 일정한 크기 이하의 영역을 자동으로 0의 값을 할당할 수 있다. 또한, 데이터 추론부(140)는 비관심 영역에 1의 값이 할당되어 있는지를 판단하고, 비관심 영역에 1의 값이 할당되어 있는 경우에 그 영역을 0의 값으로 수정할 수 있다.
앞선 1차 보정이 완료되면, 데이터 추론부(140)는 분할 맵의 윤곽선(바람직하게는 관심 영역의 윤곽선)을 평활화(smoothing)할 수 있다. 평활화란 노이즈 또는 기타 미세 스케일의 구조 및 급격한 변화 등을 제거하여 데이터의 중요한 패턴을 캡쳐하기 위한 근사 함수를 만드는 과정을 말한다. 즉, 데이터 추론부(140)는 방사선 치료 계획 시스템(200)에서 분할된 관심 영역을 원활하게 분석할 수 있도록 윤곽선을 부드럽게 처리하는 평활화를 수행할 수 있다. 이때, 평활화를 위한 보정값은 사용자에 의해 설정 또는 변경될 수 있다.
전술한 2차 보정이 완료되면, 데이터 추론부(140)는 최종적으로 상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 비교한 결과를 기초로 보간을 수행할 수 있다. 데이터 추론부(140)는 일정한 축(ex. z축) 상의 영상 슬라이스 별로 관심 영역의 크기를 비교하여 특정 슬라이스가 다른 인접한 슬라이스들에 비해 관심 영역의 크기가 소정의 기준값 이하인지 여부를 판단할 수 있다. 특정 슬라이스가 다른 인접한 슬라이스들에 비해 관심 영역의 크기가 소정의 기준값 이하인 경우, 데이터 추론부(140)는 특정 슬라이스의 관심 영역을 0의 값으로 치환하고, 특정 슬라이스에 인접한 슬라이스들의 관심 영역을 기준으로 특정 슬라이스의 관심 영역을 추정하는 보간을 수행할 수 있다. 이와 같은 3단계의 보정을 통해 판단 모델에 의해 생성된 분할 맵의 오차를 효과적으로 보정하고, 추론의 정확도를 향상시킬 수 있다.
도 6은 본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템(100)의 학습 과정을 나타낸 순서도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 방법은, 데이터 수집부(110)가 환자의 CT 영상 및 방사선 치료를 위한 관심 영역의 윤곽 정보가 포함된 RT-Structure 파일을 수집하는 단계(S110), 전처리부(120)가 RT-Structure 파일로부터 윤곽 정보를 추출하고, 추출된 윤곽 정보를 기초로 바이너리 이미지를 생성하는 단계(S120), 데이터 학습부(130)가 바이너리 이미지를 기초로 임의의 CT 영상에 대한 분할 맵을 생성하기 위한 파라미터를 딥러닝 알고리즘을 이용하여 학습하는 단계(S130) 및 데이터 학습부(130)가 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 단계(S140)를 포함할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 학습을 위한 전처리 과정을 나타낸 순서도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 바이너리 이미지를 생성하는 단계(S120)는, 전처리부(120)가 점들의 위치 정보를 기초로 다각형의 윤곽선을 생성하는 단계(S210) 및 점들이 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 바이너리 이미지를 생성하는 단계(S220)를 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 판단 모델의 결정 과정을 나타낸 순서도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 판단 모델을 생성하는 단계(S140)는, CT 영상 및 바이너리 이미지를 학습 데이터 또는 유효성 평가 데이터로 분류하는 단계(S310), 학습 데이터를 기초로 생성된 복수개의 판단 모델들에 유효성 평가 데이터를 입력하여 판단 모델들을 검증하는 단계(S320) 및 판단 모델들에 대한 검증 결과를 기초로 분할 맵을 생성하기 위한 최종 판단 모델을 결정하는 단계(S330)를 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템(100)의 추론 과정을 나타낸 순서도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 복수개의 CT 영상들이 데이터 수집부(110)를 통해 입력되면, 데이터 추론부(140)가 판단 모델을 이용하여 입력된 CT 영상들에 대한 분할 맵을 생성하는 단계(S410) 및 데이터 변환부(150)가 데이터 추론부(140)를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 변환된 RT-Structure 파일을 방사선 치료 계획 시스템(200)으로 전송하는 단계(S420)를 더 포함할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 출력을 위한 후처리 과정을 나타낸 순서도이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 분할 맵을 생성하는 단계(S410)는, 분할 맵에서 소정의 크기 이하의 관심 영역 또는 관심 영역이 아님에도 관심 영역으로 판단된 영역을 제거하는 단계(S510), 분할 맵의 윤곽선을 평활화하는 단계(S520) 및 상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 비교한 결과를 기초로 보간을 수행하는 단계(S530)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 방법과 관련하여서는 전술한 시스템(100)에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템(100)에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 인공지능 기반의 장기 및 종양 이미지 분할 시스템
110: 데이터 수집부
120: 전처리부
130: 데이터 학습부
140: 데이터 추론부
150: 데이터 변환부
200: 방사선 치료 계획 시스템

Claims (14)

  1. 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템에 있어서,
    환자의 CT(computerized tomography) 영상 및 방사선 치료를 위한 관심 영역의 윤곽(contour) 정보가 포함된 RT-Structure(radiotherapy structure) 파일을 수집하는 데이터 수집부;
    상기 RT-Structure 파일로부터 상기 윤곽 정보를 추출하고, 상기 추출된 윤곽 정보를 기초로 바이너리(binary) 이미지를 생성하는 전처리부; 및
    상기 바이너리 이미지를 기초로 상기 관심 영역을 나타내는 분할 맵(segmentation map)을 생성하기 위한 파라미터(parameter)를 딥러닝 알고리즘을 이용하여 학습하고, 상기 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 데이터 학습부를 포함하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  2. 제 1 항에 있어서,
    상기 윤곽 정보는 상기 관심 영역의 윤곽을 이루는 점들의 위치 정보이며,
    상기 전처리부는,
    상기 점들의 위치 정보를 기초로 다각형의 윤곽선을 생성하고, 상기 점들이 상기 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 상기 바이너리 이미지를 생성하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  3. 제 1 항에 있어서,
    상기 데이터 학습부는,
    상기 학습을 위한 데이터의 양을 증가시키기 위해 데이터 변조(data augmentation) 알고리즘을 이용하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  4. 제 1 항에 있어서,
    상기 데이터 학습부는,
    상기 CT 영상 및 바이너리 이미지를 학습 데이터 또는 유효성 평가 데이터로 분류하고, 상기 학습 데이터를 기초로 생성된 복수개의 판단 모델들에 상기 유효성 평가 데이터를 입력하여 상기 판단 모델들을 검증하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  5. 제 1 항에 있어서,
    복수개의 CT 영상들이 상기 데이터 수집부를 통해 입력되면, 상기 판단 모델을 이용하여 상기 입력된 CT 영상들에 대한 분할 맵을 생성하는 데이터 추론부; 및
    상기 데이터 추론부를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 상기 변환된 RT-Structure 파일을 방사선 치료 계획 시스템으로 전송하는 데이터 변환부를 더 포함하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  6. 제 5 항에 있어서,
    상기 데이터 추론부는,
    상기 복수개의 CT 영상들에 대해 상기 판단 모델을 이용하여 N개(N은 자연수)의 데이터 간격으로 상기 관심 영역을 추정하고, 상기 관심 영역을 추정하지 않는 나머지 CT 영상들에 대해 근사값 추정을 위한 보간(interpolation)을 수행하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  7. 제 5 항에 있어서,
    상기 데이터 추론부는,
    상기 분할 맵을 구성하는 관심 영역에 대한 오판단, 상기 관심 영역의 크기 및 상기 관심 영역의 윤곽선에 대한 보정을 수행하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  8. 제 7 항에 있어서,
    상기 데이터 추론부는,
    상기 분할 맵에서 소정의 크기 이하의 관심 영역 또는 상기 관심 영역이 아님에도 상기 관심 영역으로 판단된 영역을 제거하고, 상기 분할 맵의 윤곽선을 평활화(smoothing)하며, 상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 상기 비교한 결과를 기초로 보간을 수행하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 시스템.
  9. 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 방법에 있어서,
    데이터 수집부가 환자의 CT(computerized tomography) 영상 및 방사선 치료를 위한 관심 영역의 윤곽(contour) 정보가 포함된 RT-Structure(radiotherapy structure) 파일을 수집하는 단계;
    전처리부가 상기 RT-Structure 파일로부터 상기 윤곽 정보를 추출하고, 상기 추출된 윤곽 정보를 기초로 바이너리(binary) 이미지를 생성하는 단계;
    데이터 학습부가 상기 바이너리 이미지를 기초로 임의의 CT 영상에 대한 분할 맵(segmentation map)을 생성하기 위한 파라미터(parameter)를 딥러닝 알고리즘을 이용하여 학습하는 단계; 및
    상기 데이터 학습부가 상기 학습된 파라미터를 기반으로 하는 판단 모델을 생성하는 단계를 포함하는 인공지능 기반의 장기 및 종양 이미지 분할 방법.
  10. 제 9 항에 있어서,
    상기 RT-Structure 파일로부터 추출된 윤곽 정보는 상기 관심 영역의 윤곽을 이루는 점들의 위치 정보이며,
    상기 바이너리 이미지를 생성하는 단계는,
    상기 전처리부가 상기 점들의 위치 정보를 기초로 다각형의 윤곽선을 생성하는 단계 및 상기 점들이 상기 다각형의 윤곽선의 내부 또는 외부에 위치하는지 여부를 기준으로 바이너리 값을 부여함으로써 상기 바이너리 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 방법.
  11. 제 9 항에 있어서,
    상기 판단 모델을 생성하는 단계는,
    상기 CT 영상 및 바이너리 이미지를 학습 데이터 또는 유효성 평가 데이터로 분류하는 단계 및 상기 학습 데이터를 기초로 생성된 복수개의 판단 모델들에 상기 유효성 평가 데이터를 입력하여 상기 판단 모델들을 검증하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 방법.
  12. 제 9 항에 있어서,
    복수개의 CT 영상들이 상기 데이터 수집부를 통해 입력되면, 데이터 추론부가 상기 판단 모델을 이용하여 상기 입력된 CT 영상들에 대한 분할 맵을 생성하는 단계; 및
    데이터 변환부가 상기 데이터 추론부를 통해 생성된 분할 맵을 RT-Structure 파일로 변환하고, 상기 변환된 RT-Structure 파일을 방사선 치료 계획 시스템으로 전송하는 단계를 더 포함하는 인공지능 기반의 장기 및 종양 이미지 분할 방법.
  13. 제 12 항에 있어서,
    상기 분할 맵을 생성하는 단계는,
    상기 분할 맵에서 소정의 크기 이하의 관심 영역 또는 상기 관심 영역이 아님에도 상기 관심 영역으로 판단된 영역을 제거하는 단계;
    상기 분할 맵의 윤곽선을 평활화(smoothing)하는 단계; 및
    상호 인접한 CT 영상들의 분할 맵들 간의 크기를 비교하고, 상기 비교한 결과를 기초로 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 장기 및 종양 이미지 분할 방법.
  14. 제 9 항 내지 제 13 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020190124823A 2019-10-08 2019-10-08 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법 KR102347496B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190124823A KR102347496B1 (ko) 2019-10-08 2019-10-08 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
US16/946,480 US11302094B2 (en) 2019-10-08 2020-06-24 System and method for segmenting normal organ and/or tumor structure based on artificial intelligence for radiation treatment planning
KR1020210194308A KR20220023323A (ko) 2019-10-08 2021-12-31 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190124823A KR102347496B1 (ko) 2019-10-08 2019-10-08 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210194308A Division KR20220023323A (ko) 2019-10-08 2021-12-31 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210042432A true KR20210042432A (ko) 2021-04-20
KR102347496B1 KR102347496B1 (ko) 2022-01-10

Family

ID=75273652

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190124823A KR102347496B1 (ko) 2019-10-08 2019-10-08 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
KR1020210194308A KR20220023323A (ko) 2019-10-08 2021-12-31 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210194308A KR20220023323A (ko) 2019-10-08 2021-12-31 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법

Country Status (2)

Country Link
US (1) US11302094B2 (ko)
KR (2) KR102347496B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220148597A (ko) * 2021-04-29 2022-11-07 서울대학교산학협력단 Bnct장비를 위한 치료 계획 제공 장치 및 방법
KR102536808B1 (ko) * 2022-11-10 2023-05-26 주식회사 리빌더에이아이 멀티뷰 이미지 기반 관심 물체 인식 방법, 서버 및 컴퓨터 프로그램
WO2024049208A1 (ko) * 2022-09-02 2024-03-07 아주대학교 산학협력단 복부 내 공기 분포를 측정하는 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129327B (zh) * 2021-04-13 2023-05-02 中国科学院近代物理研究所 一种基于神经网络模型生成内大体靶区的方法和系统
KR102579826B1 (ko) * 2022-12-09 2023-09-18 (주) 브이픽스메디칼 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952817B1 (ko) * 2008-11-28 2010-04-14 서울대학교산학협력단 반자동 의료 영상 분할 방법 및 그 장치
KR20120007862A (ko) * 2010-07-15 2012-01-25 울산대학교 산학협력단 Ｍｒ 영상을 이용한 자동 간 분할 방법
KR20150094080A (ko) 2014-02-10 2015-08-19 동명대학교산학협력단 의료용 영상 진단 장치
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208558B2 (en) * 1999-08-11 2015-12-08 Osteoplastics Llc Methods and systems for producing an implant
US10575875B2 (en) * 2007-12-18 2020-03-03 Howmedica Osteonics Corporation Systems and methods for surgical planning of arthroplasty procedures
US10687856B2 (en) * 2007-12-18 2020-06-23 Howmedica Osteonics Corporation System and method for image segmentation, bone model generation and modification, and surgical planning
KR102205898B1 (ko) * 2013-09-04 2021-01-21 삼성전자주식회사 의료영상들을 정합하는 방법 및 장치
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100952817B1 (ko) * 2008-11-28 2010-04-14 서울대학교산학협력단 반자동 의료 영상 분할 방법 및 그 장치
KR20120007862A (ko) * 2010-07-15 2012-01-25 울산대학교 산학협력단 Ｍｒ 영상을 이용한 자동 간 분할 방법
KR20150094080A (ko) 2014-02-10 2015-08-19 동명대학교산학협력단 의료용 영상 진단 장치
KR101760287B1 (ko) * 2016-02-05 2017-07-25 한국광기술원 의료영상 분할 장치 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220148597A (ko) * 2021-04-29 2022-11-07 서울대학교산학협력단 Bnct장비를 위한 치료 계획 제공 장치 및 방법
WO2024049208A1 (ko) * 2022-09-02 2024-03-07 아주대학교 산학협력단 복부 내 공기 분포를 측정하는 장치 및 방법
KR102536808B1 (ko) * 2022-11-10 2023-05-26 주식회사 리빌더에이아이 멀티뷰 이미지 기반 관심 물체 인식 방법, 서버 및 컴퓨터 프로그램
KR102546588B1 (ko) * 2022-11-10 2023-06-22 주식회사 리빌더에이아이 멀티뷰 이미지 기반 관심 물체 영역 구성 방법, 서버 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20210103756A1 (en) 2021-04-08
US11302094B2 (en) 2022-04-12
KR102347496B1 (ko) 2022-01-10
KR20220023323A (ko) 2022-03-02

Similar Documents

Publication Publication Date Title
KR102347496B1 (ko) 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
CN110458844B (zh) 一种低光照场景的语义分割方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN115147891A (zh) 用于生成合成深度数据的系统、方法和存储介质
CN112257766A (zh) 一种基于频域滤波处理的自然场景下阴影识别检测方法
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
JP7353803B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112734887B (zh) 基于深度学习的人脸混合-变形生成方法和装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN110866455A (zh) 一种路面水体检测方法
CN113159236A (zh) 基于多尺度变换的多聚焦图像融合方法及装置
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN115358952B (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
Goncalves et al. Guidednet: Single image dehazing using an end-to-end convolutional neural network
US20230325982A1 (en) Methods, systems and computer programs for processing image data for generating a filter
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
Gharehchopogh et al. A novel approach for edge detection in images based on cellular learning automata
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN114519865A (zh) 一种融合集成注意力的2d人体姿态估计方法
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
JP7316771B2 (ja) 学習装置、パラメータの作成方法、ニューラルネットワーク及びこれを用いた情報処理装置
JP2023535144A (ja) 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム
CN112419169A (zh) 基于噪声先验的cnn医学ct图像去噪方法
CN112652059B (zh) 基于Mesh R-CNN模型改进的目标检测与三维重构方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right