KR20220137215A - 인공지능 기반의 의료 영상 변환 장치 및 방법 - Google Patents

인공지능 기반의 의료 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR20220137215A
KR20220137215A KR1020210042870A KR20210042870A KR20220137215A KR 20220137215 A KR20220137215 A KR 20220137215A KR 1020210042870 A KR1020210042870 A KR 1020210042870A KR 20210042870 A KR20210042870 A KR 20210042870A KR 20220137215 A KR20220137215 A KR 20220137215A
Authority
KR
South Korea
Prior art keywords
image
learning
type
artificial intelligence
medical
Prior art date
Application number
KR1020210042870A
Other languages
English (en)
Inventor
강창호
조용원
홍기택
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020210042870A priority Critical patent/KR20220137215A/ko
Publication of KR20220137215A publication Critical patent/KR20220137215A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)

Abstract

인공지능 기반의 의료 영상 변환 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법은, 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 상기 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집하는 단계, 상기 학습 데이터에 기초하여, 상기 제1유형에 해당하는 대상 영상이 입력되면, 상기 대상 영상에 기초하여 상기 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시키는 단계, 상기 대상 영상을 수신하는 단계 및 상기 인공지능 모델에 기초하여 상기 변환 영상을 생성하는 단계를 포함할 수 있다.

Description

인공지능 기반의 의료 영상 변환 장치 및 방법{APPARATUS AND METHOD FOR CONVERSION OF MEDICAL IMAGE BASED ON ARTIFICIAL INTELLIGENCE}
본원은 인공지능 기반의 의료 영상 변환 장치 및 방법에 관한 것이다. 예를 들면, 본원은 척추관 협착증 자동 판독을 위하여 인공지능에 기반하여 컴퓨터 단층촬영(Computed Tomography, CT) 영상을 가상의 자기공명영상(Magnetic Resonance Imaging)으로 변환하는 기법에 관한 것이다.
척추관(spinal canal)은 앞으로는 척추뼈의 앞부분인 추체, 추간판(디스크), 뒤로는 척추뼈의 뒷부분인 추궁판으로 둘러싸여 있는 공간을 말한다. 이러한 척추관은 뇌에서부터 나와 경추(목뼈), 흉추(등뼈)를 통과하여 요추부(허리)에서 하지(엉덩이, 다리, 발)로 가는 신경의 통로에 해당한다.
한편, 척추관 협착증(spinal stenosis)은 신경이 지나가는 통로인 척추관이 좁아진 상태로, 추간판이 손상되면 척추간 협착증이 유발될 수 있다. 구체적으로 추간판은 척추의 추골 사이에 끼어있는 연골의 원판으로서, 탄력성이 있어 등뼈에 유연성을 주고 충격을 흡수하는 역할을 한다. 허리에 무리한 충격이 가해지면 추간판이 으깨져 비어져 나오는 경우가 있는데, 노령이 되어 탄력성이 없어지면 특히 발병하기 쉽다. 또한, 추간판이 탈출하거나 파열된 상태를 척추 디스크라고 하는데, 추간판이 중추신경인 척수를 압박해 통증이나 마비 또는 몸 전체에 기능 장애를 일으킬 수 있다.
척추관 협착증 증상은 요통, 신경이성 간헐적 파행, 하지방사통, 하지감각 이상, 경부통, 상지 동통, 팔 운동 및 감각이상, 척수병증 등의 증상을 보이게 된다. 이러한 척추관 협착증 증상을 진단하기 위해 척추의 자기공명영상(MRI: magnetic resonance imaging)을 분석하는 방법이 주로 사용되고 있다. 이러한, 척추의 자기공명 영상은 척추관 협착증 환자를 진단하는 데 있어 근간이 되는 진단도구로서, 현재 척추관 협착증 진단에 폭넓게 사용되고 있다.
그러나, 자기공명영상(MRI)은 고가의 특수의료장비에 의해 획득되므로, 자기공명영상을 획득하기 위한 계측 장비가 구비되지 못한 의료 기관에서는 자기공명영상 이외의 분석 수단을 활용하여 척추관 협착증을 판단할 수 있는 방안이 필요하며, MRI 촬영 비용 역시 대상자에게 큰 부담으로 작용하고 있다.
따라서, 자기공명영상(MRI) 외의 이종 유형의 의료 영상을 바탕으로 척추관 협착증을 자동으로 진단하고 정량화하기 위하여 척추관의 해부학적 특성을 인공지능 기법을 통해 실제 자기공명영상(MRI)처럼 모사하여 분석에 활용할 수 있는 기법의 개발이 요구된다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1392132호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 동일 대상자에 대하여 촬영된 제1유형의 의료 영상 및 제2유형의 의료 영상을 포함하는 영상 세트를 학습 데이터로 활용하여 제1유형의 대상 영상이 입력되면, 이에 대응하는 제2유형에 부합하도록 가상으로 모사되는 변환 영상을 제공하는 인공지능 기반의 의료 영상 변환 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법은, 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 상기 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집하는 단계, 상기 학습 데이터에 기초하여, 상기 제1유형에 해당하는 대상 영상이 입력되면, 상기 대상 영상에 기초하여 상기 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시키는 단계, 상기 대상 영상을 수신하는 단계 및 상기 인공지능 모델에 기초하여 상기 변환 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 제1유형은 컴퓨터 단층촬영(Computed Tomography, CT) 영상일 수 있다.
또한, 상기 제2유형은 자기공명영상(Magnetic Resonance Imaging)일 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시킬 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 상기 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 상기 제2유형 변환 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별하는 단계 및 상기 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 상기 제1유형 변환 영상의 진위 여부를 상기 제1학습 영상에 기초하여 판별하는 단계를 포함할 수 있다.
또한, 상기 제1학습 영상, 상기 제2학습 영상 및 상기 대상 영상은 척추 부위를 촬영한 의료 영상일 수 있다.
또한, 상기 학습 데이터를 수집하는 단계는, 상기 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 상기 제1학습 영상 및 상기 제2학습 영상 내에 마킹하는 단계를 포함할 수 있다.
또한, 상기 학습시키는 단계는, 상기 마킹된 학습 데이터에 기초하여 상기 대상 영상 내에 상기 주요 영역을 설정하는 상기 인공지능 모델을 학습시킬 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법은, 상기 대상 영상을 수신하는 단계 이후에, 상기 인공지능 모델에 기초하여 상기 대상 영상에 대한 상기 주요 영역을 설정하는 단계, 상기 주요 영역에 대한 부분 영상을 상기 대상 영상으로부터 추출하는 단계 및 상기 부분 영상에 기초하여 상기 병변과 연계된 진단 정보를 도출하는 단계를 포함할 수 있다.
또한, 상기 마킹하는 단계는, 상기 병변과 연계된 레벨 정보에 기초하여 상기 마킹을 구분하여 표시할 수 있다.
또한, 상기 진단 정보를 도출하는 단계는, 상기 부분 영상에 기초하여 상기 대상 영상의 대상자의 상기 레벨 정보를 예측할 수 있다.
또한, 상기 병변은 척추관 협착증일 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치는, 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 상기 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집하는 수집부, 상기 학습 데이터에 기초하여, 상기 제1유형에 해당하는 대상 영상이 입력되면, 상기 대상 영상에 기초하여 상기 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시키는 학습부 및 상기 대상 영상을 수신하고, 상기 인공지능 모델에 기초하여 상기 변환 영상을 생성하는 변환부를 포함할 수 있다.
또한, 상기 학습부는, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시킬 수 있다.
또한, 상기 학습부는, 상기 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 상기 제2유형 변환 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별하는 순방향 학습부 및 상기 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 상기 제1유형 변환 영상의 진위 여부를 상기 제1학습 영상에 기초하여 판별하는 역방향 학습부를 포함할 수 있다.
또한, 상기 수집부는, 상기 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 상기 제1학습 영상 및 상기 제2학습 영상 내에 마킹할 수 있다.
또한, 상기 학습부는, 상기 마킹된 학습 데이터에 기초하여 상기 대상 영상 내에 상기 주요 영역을 설정하는 상기 인공지능 모델을 학습시킬 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치는, 상기 인공지능 모델에 기초하여 상기 대상 영상에 대한 상기 주요 영역을 설정하고, 상기 주요 영역에 대한 부분 영상을 상기 대상 영상으로부터 추출하여 상기 부분 영상에 기초하여 상기 병변과 연계된 진단 정보를 도출하는 분석부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 동일 대상자에 대하여 촬영된 제1유형의 의료 영상 및 제2유형의 의료 영상을 포함하는 영상 세트를 학습 데이터로 활용하여 제1유형의 대상 영상이 입력되면, 이에 대응하는 제2유형에 부합하도록 가상으로 모사되는 변환 영상을 제공하는 인공지능 기반의 의료 영상 변환 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 컴퓨터 단층촬영(Computed Tomography, CT) 영상을 가상의 자기공명영상(Magnetic Resonance Imaging)으로 변환하여 의료진의 영상 진단을 보조할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 척추 부위를 촬영한 의료 영상을 학습 데이터로 활용하여 이종의 의료 영상으로의 영상 변환(모사)을 수행하는 인공지능 모델을 학습시킴으로써 척추관의 해부학적 특성을 반영하여 실제 자기공명영상(Magnetic Resonance Imaging)과 같은 가상의 변환 영상을 생성할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 자기공명영상(Magnetic Resonance Imaging)을 촬영하지 않고도 컴퓨터 단층촬영(Computed Tomography, CT) 영상만으로 척추관 협착증과 연계된 진단을 수행할 수 있어 자기공명영상(Magnetic Resonance Imaging)의 과잉 처방을 줄일 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 실제 촬영된 의료 영상을 이종 유형의 의료 영상으로 가상 변환하여 제시함으로써 척추 전공의, 영상의학 전문의 등의 의료진의 진단 및 치료 계획 수립 프로세스를 효율적으로 지원할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치를 포함하는 의료 영상 제공 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치에 의해 수행되는 의료 영상의 이종 변환 기법의 전체 프로세스를 개략적으로 나타낸 개념도이다.
도 3은 입력된 대상 영상을 가상의 이종 유형의 의료 영상인 변환 영상으로 변환하는 인공지능 모델을 학습시키는 과정을 설명하기 위한 개념도이다.
도 4는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치의 개략적인 구성도이다.
도 5는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법에 대한 동작 흐름도이다.
도 6은 변환 영상으로부터 소정의 병변과 연계된 진단 정보를 도출하는 프로세스에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능 기반의 의료 영상 변환 장치 및 방법에 관한 것이다. 예를 들면, 본원은 척추관 협착증 자동 판독을 위하여 인공지능에 기반하여 컴퓨터 단층촬영(Computed Tomography, CT) 영상을 가상의 자기공명영상(Magnetic Resonance Imaging)으로 변환하는 기법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치를 포함하는 의료 영상 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 의료 영상 제공 시스템(10)은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치(100)(이하, '변환 장치(100)'라 한다.), 학습 DB(200), 의료 영상 촬영 장치(300) 및 사용자 단말(400)을 포함할 수 있다.
한편, 의료 영상 제공 시스템(10)은 병원, 의료기관 등과 연계하여 구축되는 의료 영상 저장/전송 시스템(Picture Archiving and Communication System, PACS)을 지칭하는 것일 수 있으며, 변환 장치(100)는 의료 영상 제공 시스템(10)에 포함되는 의료 영상 촬영 장치(300)에 의해 촬영된 의료 영상을 의료 영상 촬영 장치(300)로부터 대상 영상으로서 획득하여, 대상 영상에 대응하는 가상의 변환 영상을 출력하는 별도의 디바이스로 구현되거나 의료 영상 촬영 장치(300)에 탑재되는 형태(예를 들면, 의료 영상 촬영 장치(300)에 설치되는 소프트웨어, 프로그램 형태 등)로 구현되는 것일 수 있다.
변환 장치(100), 학습 DB(200), 의료 영상 촬영 장치(300) 및 사용자 단말(400) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
학습 DB(200)는 이하에서 상세히 후술하는 변환 장치(100)의 인공지능 모델을 생성하는 훈련(Training) 과정에서 활용되는 학습 데이터를 저장하는 데이터베이스, 서버 등일 수 있다. 보다 구체적으로, 학습 DB(200)는 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 해당 대상자(동일 대상자)에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 저장할 수 있다. 또한, 학습 DB(200)는 복수의 대상자 각각에 대한 제1학습 영상 및 제2학습 영상을 포함하는 학습 데이터 셋을 보유하는 것일 수 있다.
의료 영상 촬영 장치(300)는 변환 장치(100)에 의해 이종 유형의 가상의 의료 영상(변환 영상)으로 변환될 대상 영상을 촬영하는 디바이스일 수 있다. 달리 말해, 의료 영상 촬영 장치(300)에 의해 촬영된 대상 영상은 변환 장치(100)로 전달되어 가상의 이종 의료 영상으로 변환되는 것일 수 있다.
본원의 일 실시예에 따르면, 의료 영상 촬영 장치(300)는 컴퓨터 단층촬영(Computerized Tomography, CT) 스캐너일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 의료 영상 촬영 장치(300)는 X-선 촬영 장치, 자기공명영상(Magnetic Resonance Imaging, MRI) 스캐너, 초음파 영상 촬영 장치 등일 수 있다. 또한, 의료 영상 촬영 장치(300)의 유형에 따라 변환 장치(100)로 제공되는 의료 영상(달리 말해, 후술하는 대상 영상 등)은 컴퓨터 단층촬영(Computed Tomography, CT) 영상(CT 이미지), X-선 영상, 자기공명영상(MRI) 영상, 초음파 영상 등에 해당할 수 있다.
구체적으로, 본원의 일 실시예에 따르면, 의료 영상 촬영 장치(300)에 의해 획득되는 대상 영상, 후술하는 인공지능 모델의 구축을 위한 학습 데이터 셋으로 활용되는 제1학습 영상 및 제2학습 영상은 DICOM(Digital Imaging and Communications in Medicine) 이미지일 수 있다.
사용자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 예를 들어, 사용자 단말(400)은 대상 영상 및 대상 영상으로부터 변환된 가상의 이종 의료 영상인 변환 영상 중 적어도 하나를 출력하는 디바이스일 수 있다.
이하에서는, 도 2 및 도 3을 참조하여 변환 장치(100)의 구체적인 기능 및 동작에 대해 상세히 설명하도록 한다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치에 의해 수행되는 의료 영상의 이종 변환 기법의 전체 프로세스를 개략적으로 나타낸 개념도이다.
도 2를 참조하면, 변환 장치(100)는 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 해당 대상자(동일 대상자)에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집할 수 있다. 구체적으로, 변환 장치(100)는 동일 대상자에 대한 한 쌍의(Paired) 제1학습 영상 및 제2학습 영상을 학습 데이터로서 수집할 수 있다.
또한, 변환 장치(100)는 복수의 대상자 각각에 대하여 제1유형의 의료 영상인 제1학습 영상 및 제2유형의 의료 영상인 제2학습 영상을 함께 수집하여 후술하는 인공지능 모델의 학습을 위한 데이터 셋으로 활용할 수 있다.
또한, 본원의 일 실시예에 따르면, 변환 장치(100)는 대상 영상 및 대상 영상으로부터 도출되는 가상의 변환 영상을 통해 진단(분석)하고자 하는 병변의 특성을 고려하여, 해당 병변의 진행도/수준 등을 나타내는 복수의 레벨에 대응하여 학습 데이터를 구분하여 수집하는 것일 수 있다.
예시적으로, 학습 데이터, 대상 영상 등이 대상자의 척추 부위를 촬영한 의료 영상이고, 대상 영상 및 가상의 변환 영상을 통해 진단(분석)하고자 하는 병변이 척추관 협착증인 경우를 예로 들면, 변환 장치(100)는 중증 척추관 협착증에 해당하는 환자군에 대하여 수집된 학습 데이터(제1학습 영상 및 제2학습 영상), 경증 척추관 협착증에 해당하는 환자군에 대하여 수집된 학습 데이터(제1학습 영상 및 제2학습 영상) 및 척추관 협착증에 해당하지 않는 대상자군에 대하여 수집된 학습 데이터(제1학습 영상 및 제2학습 영상)를 각각 구분하여 수집하는 것일 수 있다.
한편, 전술한 예시에서 정상/경증/중증으로 구분되는 병변과 연계된 수준(레벨, Grade)은 본원의 구현예에 따라 셋 이상의 복수의 레벨로 구분되는 것일 수 있다.
이와 관련하여, 변환 장치(100)는 대상 부위(예를 들면, 척추 부위)의 소정의 병변(척추관 협착증)에 대한 진단과 연계된 주요 영역을 학습 데이터(제1학습 영상 및 제2학습 영상) 내에 표시(마킹)하되, 병변과 연계된 레벨 정보에 기초하여 마킹을 구분하여 표시하는 것일 수 있다.
또한, 변환 장치(100)는 의료 영상 촬영 장치(300)에 의해 촬영된 의료 영상을 학습 영상으로서 의료 영상 촬영 장치(300)로부터 수집하는 것일 수 있으나, 이에만 한정되는 것은 아니며, 의료 영상 제공 시스템(10) 내의 의료 영상 촬영 장치(300) 외의 별도의 경로(예를 들면, 외부 저장 장치, 외부 서버, 기 구축된 학습 DB(200) 등)로 학습 영상을 수집하는 것일 수 있다.
보다 구체적으로, 본원의 일 실시예에 따르면, 제1유형의 영상이란 컴퓨터 단층촬영(Computed Tomography, CT) 영상(이하, 'CT 이미지'라 함.)을 의미하고, 제2유형의 영상이란 자기공명영상(Magnetic Resonance Imaging, 이하, 'MRI 이미지'라 함.)을 의미하는 것일 수 있다. 이와 관련하여, CT 이미지에 해당하는 대상 영상으로부터 변환되어 변환 장치(100)에 의해 재구성(도출)되는 본원에서의 '변환 영상'은 가상의 MRI 이미지를 의미할 수 있다. 다만, 전술한 의료 영상에 대한 제1유형 및 제2유형의 구분은 예시적인 것으로 이해되는 것이 바람직하며, 본원의 구현예에 따라 제1유형 및 제2유형의 의료 영상은 엑스레이 영상, 초음파 영상 등으로 다양하게 구분되는 것일 수 있다. 또 다른 예로, 본원의 구현예에 따라 제1유형 및 제2유형의 의료 영상은 동일한 촬영 방식을 통해 획득되는 의료 영상이되, 2차원(평면) 영상과 3차원(입체) 영상으로 구분되는 것일 수 있다.
또한, 변환 장치(100)는 수집된 학습 데이터(제1학습 영상 및 제2학습 영상)에 대한 전처리(Pre-processing)를 수행할 수 있다. 본원의 일 실시예에 따르면, 변환 장치(100)는 CT 이미지인 제1학습 영상 및 MRI 이미지인 제2학습 영상 각각에 대하여 영상(이미지) 정규화(image normalization)를 수행할 수 있다. 예를 들어 변환 장치(100)는 제1학습 영상 및 제2학습 영상 각각의 밝기 정보 범위(Range)가 표준화(정규화)되지 않을 수 있는 점을 고려하여 이를 통일적으로 처리하기 위하여, 수집된 학습 영상 각각의 DICOM 이미지 헤더 정보를 기초로, 최소 밝기 및 최대 밝기를 결정함으로써 학습 영상에 대한 밝기 정보 범위(Range)를 표준화(정규화)하는 전처리를 수행할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 변환 장치(100)는 수집된 학습 데이터에 기초하여, 제1유형에 해당하는 대상 영상(예를 들면, CT 이미지)이 입력되면, 입력된 대상 영상에 기초하여 제2유형에 해당하는 가상의 의료 영상인 변환 영상(예를 들면, 가상의 MRI 이미지)을 생성하는 인공지능 모델을 학습시킬 수 있다.
구체적으로, 변환 장치(100)는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 변환 영상 재구성을 위한 인공지능 모델을 학습시킬 수 있다.
여기서, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘은, 생성기(Generator)와 판별기(Discriminator)가 경쟁하면서 학습이 이루어져 실제와 흡사한 결과물(예를 들면, 이미지, 동영상, 음성 등)을 자동으로 만들어 내도록 하는 기계학습(Machine Learning) 방식의 하나로, 본원의 일 실시예에 따르면, 변환 장치(100)는 수집된 학습 영상을 기초로 가상의 모사 영상(이미지)을 만드는 생성기(Generator)와 생성된 모사 영상(이미지)의 진위를 가리는 판별기(Discriminator)를 포함하고, 이러한 생성기(Generator)와 판별기(Discriminator)가 반복적으로 경쟁하도록 하여 학습이 진행된 후의 생성기(Generator)가 판별기(Discriminator)에 의해 진위를 가리기 힘든 수준까지 잘 모사된 영상을 생성하도록 학습되는 것일 수 있다.
즉, 본원의 일 실시예에 따르면, 변환 장치(100)는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여, 생성기(Generator)가 제1유형의 의료 영상인 제1학습 영상에 기초하여 제2유형의 의료 영상으로 모사되는 가상의 변환 영상을 생성하고, 판별기(Discriminator)가 생성된 변환 영상의 진위 여부를 제2학습 영상에 기초하여 판별하는 과정을 반복 수행하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 변환 장치(100)는 순방향(Forward) 사이클 및 역방향(Backward) 사이클을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 인공지능 모델을 학습시키는 것일 수 있다. 여기서, 순방향(Forward) 사이클 및 역방향(Backward) 사이클을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘은 CycleGAN 등으로 달리 지칭될 수 있다.
이와 관련하여, 변환 장치(100)는 제1유형의 의료 영상인 제1학습 영상에 기초하여 제2유형에 해당하는 가상의 의료 영상인 제2유형 변환 영상을 생성하는 제1생성기(미도시) 및 생성된 제2유형 변환 영상의 진위 여부를 판단하는 제1판별기(미도시)를 통한 순방향(Forward) 학습을 수행할 수 있다.
또한, 이와 대응되게 변환 장치(100)는 제2유형의 의료 영상인 제2학습 영상에 기초하여 제1유형에 해당하는 가상의 의료 영상인 제1유형 변환 영상을 생성하는 제2생성기(미도시) 및 생성된 제1유형 변환 영상의 진위 여부를 판단하는 제2판별기(미도시)를 통한 역방향(Backward) 학습을 수행할 수 있다.
구체적으로, 순방향 학습을 위한 제1판별기는 제1생성기에 의해 생성된 모사 영상인 제2유형 변환 영상의 진위 여부를 실제로 촬영된 제2유형의 의료 영상인 제2학습 영상 중 적어도 일부에 기초하여 판별하는 것일 수 있다.
마찬가지로, 역방향 학습을 위한 제2판별기는 제2생성기에 의해 생성된 모사 영상인 제1유형 변환 영상의 진위 여부를 실제로 촬영된 제1유형의 의료 영상인 제1학습 영상 중 적어도 일부에 기초하여 판별하는 것일 수 있다.
종합하면, 변환 장치(100)는 입력된 제1유형의 의료 영상을 기초로 제2유형에 대응하도록 모사되는 가상의 변환 영상을 반복하여 생성(재구성)하는 과정과, 생성된 변환 영상의 진위 여부를 반복하여 판별하는 과정의 경쟁적인 반복 수행을 통해 대상 영상에 대한 재구성(변환) 프로세스를 보다 정밀하게 수행하도록 하는 순방향 학습(Forward Cycle) 및 입력된 제2유형의 의료 영상을 기초로 제1유형에 대응하도록 모사되는 가상의 변환 영상을 반복하여 생성(재구성)하는 과정과, 생성된 변환 영상의 진위 여부를 반복하여 판별하는 과정의 경쟁적인 반복 수행을 통해 제2유형의 의료 영상에 대하여 적용되는 재구성 프로세스의 정확도(정밀도)를 향상시키는 역방향 학습(Backward Cycle)을 순환하여 수행할 수 있다.
상술한 바와 같이 각기 반대되는 방향으로의 영상 재구성을 위한 두 가지의 구분되는 학습 사이클이 반복되는 생성적 대립 신경망(예를 들면, CycleGAN) 기반의 인공지능 모델의 학습을 통해 학습이 완료된 본원에서의 인공지능 모델은 대상자의 제1유형의 의료 영상(예를 들면, CT 이미지)을 해당 대상자의 신체의 대상 부위를 제2유형에 기초하여 촬영한 것처럼 모사되는 이종 유형(제2유형)의 가상의 변환 영상(예를 들면, MRI 이미지)으로 변환하는 동작과 이와 반대되게 제2유형의 의료 영상(예를 들면, MRI 이미지)을 이에 대응되는 이종 유형(제1유형)의 가상의 변환 영상(예를 들면, CT 이미지)으로 변환하는 동작을 모두 수행할 수 있다.
이렇듯, 변환 장치(100)를 통해 구축(학습)되는 인공지능 모델은 대상자의 신체 중 대상 영상에 반영된 소정의 부위와 연계된 형태학적(morphological) 특징 및 텍스처(texture) 특징의 변화를 반영하여 3차원 볼륨(Volume) 데이터를 예측(추론)하고, 대상 영상에 대응하는 이종 유형의 변환 영상(모사 영상)을 생성할 수 있게 된다.
이와 관련하여, 변환 장치(100)가 제1학습 영상과 제2학습 영상을 모두 활용한 양방향 변환(예를 들면, 합성 및 복구)이 모두 가능한 인공지능 모델을 구축함으로써, 단방향(예를 들면, CT 이미지를 MRI 이미지로 재구성하는 단일 방향)으로의 변환만을 수행하도록 하는 학습만을 진행하는 경우, 생성기(Generator)가 오직 판별기(Discriminator)를 속이기 위하여 소정의 부위의 대상자의 자세에 따른 형태학적 특징 변화를 고려하지 못하는 낮은 수준의 모사 영상을 출력하게 되는 문제를 방지할 수 있다.
또한, 본원의 일 실시예에 따르면, 변환 장치(100)는 수집된 학습 영상과 생성기(Generator)에 의해 생성되는 모사 영상 사이의 변화 정보 및 촬영 대상 영역인 소정의 부위의 기하학적(Geometric) 정보를 고려하여 전술한 인공지능 모델의 학습을 수행할 수 있다.
달리 말해, 변환 장치(100)는 제1학습 영상과 가상의 제2유형 변환 영상 사이의 변화 정보 및 소정의 부위의 기하학적 정보를 고려하여 순방향 학습을 수행하고, 제2학습 영상과 가상의 제1유형 변환 영상 사이의 변화 정보 및 소정의 부위의 기하학적 정보를 고려하여 역방향 학습을 수행하는 것일 수 있다.
도 3은 입력된 대상 영상을 가상의 이종 유형의 의료 영상인 변환 영상으로 변환하는 인공지능 모델을 학습시키는 과정을 설명하기 위한 개념도이다.
도 3을 참조하면, 변환 장치(100)는 인코더(Encoder) 측의 다운 샘플링(Down Sampling) 결과에 기초하여 도출되는 활성화맵(Activation map)을 활용하여 입력된 학습 영상(Source)으로부터 출력된 가상의 모사 영상(Destination) 사이의 변화량을 파악하고(Weighted Activation Map), 이를 인공지능 모델 학습에서의 손실(Loss) 함수에 반영함으로써, 학습 영상과 모사 영상 사이의 변화 정보를 고려한 학습을 수행할 수 있다.
본원의 일 실시예에 따르면, 활성화맵(Activation map)은 Grad-CAM(gradient-class activation map)을 의미하는 것일 수 있다. 또한, 활성화맵(Activation map)은 입력된 제1유형의 대상 영상에 기초하여 가상의 제2유형 변환 영상을 생성하는 과정에서 주요하게 변환된 영역인 근거 영역을 도출하도록 활용되는 것일 수 있다.
전술한 과정을 통해 인공지능 모델의 학습(훈련)이 완료되면, 변환 장치(100)는 대상 영상을 수신할 수 있다. 예시적으로, 변환 장치(100)는 의료 영상 촬영 장치(300)로부터 제2유형의 의료 영상으로 재구성(변환)할 대상 영상을 수신할 수 있다.
또한, 변환 장치(100)는 수신된 대상 영상을 앞서 학습(구축)된 인공지능 모델에 기초하여 변환(재구성)함으로써 변환 영상을 생성할 수 있다. 보다 구체적으로, 변환 장치(100)는 학습 데이터에 반영된 다수의 대상자에 대한 제1유형의 의료 영상(예를 들면, CT 이미지)과 동일한 대상자의 제2유형의 의료 영상(예를 들면, MRI 이미지)의 형태학적 특징(morphological)을 학습함으로써, 새로이 제1유형의 의료 영상인 대상 영상이 인가되면, 제1학습 영상과 제2학습 영상 간의 기하학적 변화(geometric change)를 고려하여 해당 대상자의 가상의 3차원 입체 볼륨을 생성함으로써 가상의 제2유형 변환 영상(Synthetic MRI)을 생성하는 것일 수 있다.
한편, 도 2를 참조하면, 변환 장치(100)에 의해 생성되는 인공지능 모델은 입력된 대상 영상(CT 이미지)을 가상의 제2유형 변환 영상(모사된 MRI 이미지, Synthetic MRI)으로 재구성하는 동작과 함께, 대상 영상으로부터 소정의 병변에 대한 진단과 연계된 주요 영역을 설정하고, 설정된 주요 영역을 선택적으로 표출하는 부분(Crop) 영상을 도출하는 동작 및 도출된 부분(Crop) 영상에 대한 영상 분석을 통해 병변과 연계된 진단 정보를 도출하는 동작을 수행하도록 구축될 수 있다.
이와 관련하여, 제1학습 영상, 제2학습 영상 및 대상 영상은 대상자의 척추 부위를 촬영한 의료 영상이고, 변환 장치(100)는 학습 데이터를 수집하는 과정에서 제1학습 영상 및 제2학습 영상 내의 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 마킹할 수 있다. 또한, 척추 부위의 소정의 병변이란 척추관 협착증을 의미하는 것일 수 있다.
또한, 변환 장치(100)는 마킹된 학습 데이터에 기초하여 대상 영상 내에 병변(척추관 협착증)의 진단을 위한 주요 영역을 설정하는 인공지능 모델을 학습시킬 수 있다. 예시적으로, 대상 영상으로부터 병변 진단을 위한 주요 영역을 설정하도록 학습되는 인공지능 모델은 앞서 설명한 대상 영상을 가상의 제2유형의 변환 영상으로 재구성하는 동작을 수행하는 인공지능 모델과 별개로 학습되는 것일 수 있으나, 이에만 한정되는 것은 아니다.
구체적으로, 변환 장치(100)의 인공지능 모델은 대상 영상으로부터 척추뼈 등의 골조직, 근육, 신경, 인대, 힘줄 등의 연부 조직, 추간판(디스크), 신경 조직, 척추관 등의 해부학적 구조물을 식별하고 식별된 해부학적 구조물의 배치 정보 등을 고려하여 척추관 협착증 등의 병변을 진단하기 위한 주요 영역을 대상 영상 내부에 설정하도록 동작할 수 있으며, 이러한 인공지능 모델이 설정하는 주요 영역은 학습 데이터의 수집 단계에서 척추 전공의, 영상의학 전문의 등에 의해 삽입된 마킹 데이터가 반영된 결과물일 수 있다.
보다 구체적으로, 변환 장치(100)는 진단하려는 병변(예를 들면, 척추관 협착증)과 연계된 레벨 정보(중증, 경증, 정상 등의 병변 진행 정도(수준) 등)에 기초하여 구분하여 수집된 학습 데이터에 기초하여 병변과 연계된 레벨이 상이한 학습 데이터 간에 해부학적 특징이 명확하게 구분되는 영역을 마킹된 학습 데이터에 기초하여 학습함으로써, 실제 대상 영상이 입력되면 해부학적 특징이 병변과 연계된 레벨에 따라 명확히 구분되는 영역을 탐색함으로써 대상 영상 내에 주요 영역을 설정하는 것일 수 있다.
이를 테면, 본원의 일 실시예에 따른 인공지능 모델은 척추관 협착증이 발생한 환자군에 대하여 촬영되어 마킹이 표시된 학습 데이터와 척추관 협착증이 미발생한 대상자군에 대하여 촬영되어 마킹이 미부여된 정상 데이터의 차이를 학습함으로써, 입력된 대상 영상으로부터 학습된 정상 데이터의 특성에 부합하지 않는 소정의 특성이 도출되는 경우, 척추관 협착증이 의심되는 것으로 판단하여 정상 데이터의 특성과 가장 상이한 국부적인 특성을 보이는 것으로 판단되는 영역을 주요 영역으로 도출하도록 동작하는 것일 수 있다.
또한, 변환 장치(100)는 학습된 인공지능 모델에 기초하여 병변에 진단을 위한 주요 영역이 설정되면, 주요 영역이 시각적으로 식별되도록 대상 영상 및 변환 영상 중 적어도 하나를 사용자 단말(400)을 통해 표출할 수 있다. 달리 말해, 변환 장치(100)는 대상 영상 및 변환 영상 내에서 병변(척추관 협착증)의 진단을 위한 주요 영역을 특정하고, 특정된 부분(영역)에 대한 국부적인 크롭(Crop) 영상과 대상 영상 및 변환 영상을 활용하여 척추관 협착증의 발생 유무에 대한 진단 및 척추관 협착증에 대한 대상자의 진행도(레벨, Grade) 예측 평가를 수행할 수 있으며, 나아가 주요 영역을 표시하는 동작 및 병변의 유형을 분류하는 동작 등 병변 진단과 연계된 다양한 기능을 수행할 수 있다(도 3의 Automatic spinal stenosis detection & grading).
도 4는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 장치의 개략적인 구성도이다.
도 4를 참조하면, 변환 장치(100)는 수집부(110), 학습부(120), 변환부(130), 분석부(140) 및 표시부(150)를 포함할 수 있다. 또한, 도 4를 참조하면, 학습부(120)는 순방향 학습부(121) 및 역방향 학습부(122)를 포함할 수 있다.
수집부(110)는 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 해당 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집할 수 있다.
또한, 본원의 일 실시예에 따르면, 수집부(110)는 척추 부위를 촬영한 제1학습 영상 및 제2학습 영상에 대하여 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 제1학습 영상 및 제2학습 영상 내에 마킹할 수 있다.
학습부(120)는 수집된 학습 데이터에 기초하여, 제1유형에 해당하는 대상 영상이 입력되면, 입력된 대상 영상에 기초하여 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시킬 수 있다.
구체적으로, 순방향 학습부(121)는 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 생성된 제2유형 변환 영상의 진위 여부를 제2학습 영상에 기초하여 판별할 수 있다.
또한, 역방향 학습부(122)는 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 생성된 제1유형 변환 영상의 진위 여부를 제1학습 영상에 기초하여 판별할 수 있다.
또한, 본원의 일 실시예에 따르면, 학습부(120)는 마킹된 학습 데이터에 기초하여 대상 영상 내에 병변의 진단과 연계된 주요 영역을 설정하는 인공지능 모델을 학습시킬 수 있다.
변환부(130)는 제1유형의 대상 영상을 수신하고, 인공지능 모델에 기초하여 수신된 대상 영상에 대응하는 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성할 수 있다.
분석부(140)는 학습된 인공지능 모델에 기초하여 대상 영상에 대하여 병변의 진단과 연계된 주요 영역을 설정하고, 설정된 주요 영역에 대한 부분(Crop) 영상을 대상 영상으로부터 추출하여 부분 영상에 기초하여 병변과 연계된 진단 정보를 도출할 수 있다. 예를 들어, 대상 영상은 대상자의 척추 부위를 촬영한 의료 영상이고, 진단의 대상이 되는 소정의 병변은 척추관 협착증을 의미하는 것일 수 있다.
표시부(150)는 주요 영역이 시각적으로 식별되도록 변환 영상을 표출할 수 있다. 예를 들면, 표시부(150)는 사용자 단말(400)을 통해 대상 영상 및 대상 영상으로부터 생성된 변환 영상 중 적어도 하나를 표출(출력)하되, 인공지능 모델에 의해 설정된 주요 영역이 대상 영상 또는 변환 영상 내부에서 색상, 형상, 마커 등을 통해 구분되게 표시되도록 하거나 주요 영역을 포함하는 부분(Crop) 영상을 선택적으로 확대하여 표시할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 5는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법에 대한 동작 흐름도이다.
도 5에 도시된 인공지능 기반의 의료 영상 변환 방법은 앞서 설명된 변환 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 변환 장치(100)에 대하여 설명된 내용은 인공지능 기반의 의료 영상 변환 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 5를 참조하면, 단계 S11에서 수집부(110)는 대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 해당 대상자(동일 대상자)에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집할 수 있다. 예를 들면, 단계 S11에서 수집부(110)는 학습 DB(200)로부터 복수의 대상자 각각에 대한 학습 데이터를 수집하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 단계 S11에서 수집부(110)는 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 제1학습 영상 및 제2학습 영상 내에 마킹할 수 있다.
다음으로, 단계 S12에서 학습부(120)는 단계 S11에서 수집된 학습 데이터에 기초하여, 제1유형에 해당하는 대상 영상이 입력되면, 입력된 대상 영상에 기초하여 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시킬 수 있다.
또한, 본원의 일 실시예에 따르면, 단계 S12에서 학습부(120)는 마킹된 학습 데이터에 기초하여 대상 영상 내에 병변의 진단과 연계된 주요 영역을 설정하는 인공지능 모델을 학습시킬 수 있다.
이와 관련하여, 단계 S12에서 학습부(120)는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 인공지능 모델을 학습시킬 수 있다.
구체적으로, 본원의 일 실시예에 따르면, 단계 S12에서 순방향 학습부(121)는 수집된 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 생성된 제2유형 변환 영상의 진위 여부를 제2학습 영상에 기초하여 판별하는 순방향(Forward) 학습을 수행할 수 있다.
또한, 단계 S12에서 역방향 학습부(122)는 수집된 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 생성된 제1유형 변환 영상의 진위 여부를 제1학습 영상에 기초하여 판별하는 역방향(Backward) 학습을 수행할 수 있다.
한편, 단계 S12에서 순방향(Forward) 학습 및 역방향(Backward) 학습은 미리 설정된 소정의 반복 횟수만큼 반복 수행되는 것이거나 학습 결과 생성된 인공지능 모델의 성능이 미리 설정된 소정의 수준에 도달하도록 반복 수행되는 것일 수 있다.
다음으로, 단계 S13에서 변환부(130)는 대상 영상을 수신할 수 있다. 예시적으로, 단계 S13에서 변환부(130)는 의료 영상 촬영 장치(300)로부터 제2유형에 해당하는 변환 영상을 생성할 제1유형의 의료 영상인 대상 영상을 수신하는 것일 수 있다.
다음으로, 단계 S14에서 변환부(130)는 단계 S12에서 학습된 인공지능 모델에 기초하여 수신된 대상 영상에 대응하는 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성할 수 있다.
상술한 설명에서, 단계 S11 내지 S14는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 6은 변환 영상으로부터 소정의 병변과 연계된 진단 정보를 도출하는 프로세스에 대한 동작 흐름도이다.
도 6에 도시된 변환 영상으로부터 소정의 병변과 연계된 진단 정보를 도출하는 프로세스는 앞서 설명된 변환 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 변환 장치(100)에 대하여 설명된 내용은 도 6에 대한 설명에도 동일하게 적용될 수 있다.
도 6을 참조하면, 단계 S15에서 분석부(140)는 학습된 인공지능 모델에 기초하여 입력된 대상 영상에 대한 주요 영역을 설정할 수 있다.
다음으로, 단계 S16에서 분석부(140)는 설정된 주요 영역에 대한 부분(Crop) 영상을 대상 영상으로부터 추출할 수 있다.
다음으로, 단계 S17에서 분석부(140)는 추출된 부분 영상에 기초하여 병변과 연계된 진단 정보를 도출할 수 있다. 보다 구체적으로 본원의 일 실시예에 따르면, 단계 S17에서 분석부(140)는 추출된 부분 영상에 기초하여 대상 영상의 대상자의 소정의 병변과 연계된 레벨 정보를 예측할 수 있다.
상술한 설명에서, 단계 S15 내지 S17은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 인공지능 기반의 의료 영상 변환 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능 기반의 의료 영상 변환 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 의료 영상 제공 시스템
100: 인공지능 기반의 의료 영상 변환 장치
110: 수집부
120: 학습부
121: 순방향 학습부
122: 역방향 학습부
130: 변환부
140: 분석부
150: 표시부
200: 학습 DB
300: 의료 영상 촬영 장치
400: 사용자 단말
20: 네트워크

Claims (15)

  1. 인공지능 기반의 의료 영상 변환 방법에 있어서,
    대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 상기 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집하는 단계;
    상기 학습 데이터에 기초하여, 상기 제1유형에 해당하는 대상 영상이 입력되면, 상기 대상 영상에 기초하여 상기 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시키는 단계;
    상기 대상 영상을 수신하는 단계; 및
    상기 인공지능 모델에 기초하여 상기 변환 영상을 생성하는 단계,
    를 포함하는, 변환 방법.
  2. 제1항에 있어서,
    상기 제1유형은 컴퓨터 단층촬영(Computed Tomography, CT) 영상이고, 상기 제2유형은 자기공명영상(Magnetic Resonance Imaging)인 것을 특징으로 하는, 변환 방법.
  3. 제2항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시키는 것인, 변환 방법.
  4. 제3항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 상기 제2유형 변환 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별하는 단계; 및
    상기 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 상기 제1유형 변환 영상의 진위 여부를 상기 제1학습 영상에 기초하여 판별하는 단계,
    를 포함하는 것인, 변환 방법.
  5. 제1항에 있어서,
    상기 제1학습 영상, 상기 제2학습 영상 및 상기 대상 영상은 척추 부위를 촬영한 의료 영상이고,
    상기 학습 데이터를 수집하는 단계는,
    상기 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 상기 제1학습 영상 및 상기 제2학습 영상 내에 마킹하는 단계,
    를 포함하고,
    상기 학습시키는 단계는,
    상기 마킹된 학습 데이터에 기초하여 상기 대상 영상 내에 상기 주요 영역을 설정하는 상기 인공지능 모델을 학습시키는 것인, 변환 방법.
  6. 제5항에 있어서,
    상기 대상 영상을 수신하는 단계 이후에,
    상기 인공지능 모델에 기초하여 상기 대상 영상에 대한 상기 주요 영역을 설정하는 단계;
    상기 주요 영역에 대한 부분 영상을 상기 대상 영상으로부터 추출하는 단계; 및
    상기 부분 영상에 기초하여 상기 병변과 연계된 진단 정보를 도출하는 단계,
    를 더 포함하는 것인, 변환 방법.
  7. 제6항에 있어서,
    상기 마킹하는 단계는,
    상기 병변과 연계된 레벨 정보에 기초하여 상기 마킹을 구분하여 표시하고,
    상기 진단 정보를 도출하는 단계는,
    상기 부분 영상에 기초하여 상기 대상 영상의 대상자의 상기 레벨 정보를 예측하는 것인, 변환 방법.
  8. 제5항에 있어서,
    상기 병변은 척추관 협착증인 것을 특징으로 하는, 변환 방법.
  9. 인공지능 기반의 의료 영상 변환 장치에 있어서,
    대상자에 대하여 촬영된 제1유형의 의료 영상인 제1학습 영상 및 상기 대상자에 대하여 촬영된 제2유형의 의료 영상인 제2학습 영상을 포함하는 학습 데이터를 수집하는 수집부;
    상기 학습 데이터에 기초하여, 상기 제1유형에 해당하는 대상 영상이 입력되면, 상기 대상 영상에 기초하여 상기 제2유형에 해당하는 가상의 의료 영상인 변환 영상을 생성하는 인공지능 모델을 학습시키는 학습부; 및
    상기 대상 영상을 수신하고, 상기 인공지능 모델에 기초하여 상기 변환 영상을 생성하는 변환부,
    를 포함하는, 변환 장치.
  10. 제9항에 있어서,
    상기 제1유형은 컴퓨터 단층촬영(Computed Tomography, CT) 영상이고, 상기 제2유형은 자기공명영상(Magnetic Resonance Imaging)인 것을 특징으로 하는, 변환 장치.
  11. 제10항에 있어서,
    상기 학습부는,
    생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시키는 것인, 변환 장치.
  12. 제11항에 있어서,
    상기 학습부는,
    상기 제1학습 영상에 기초하여 가상의 제2유형 변환 영상을 생성하고, 상기 제2유형 변환 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별하는 순방향 학습부; 및
    상기 제2학습 영상에 기초하여 가상의 제1유형 변환 영상을 생성하고, 상기 제1유형 변환 영상의 진위 여부를 상기 제1학습 영상에 기초하여 판별하는 역방향 학습부,
    를 포함하는 것인, 변환 장치.
  13. 제9항에 있어서,
    상기 제1학습 영상, 상기 제2학습 영상 및 상기 대상 영상은 척추 부위를 촬영한 의료 영상이고,
    상기 수집부는,
    상기 척추 부위의 소정의 병변에 대한 진단과 연계된 주요 영역을 상기 제1학습 영상 및 상기 제2학습 영상 내에 마킹하고,
    상기 학습부는,
    상기 마킹된 학습 데이터에 기초하여 상기 대상 영상 내에 상기 주요 영역을 설정하는 상기 인공지능 모델을 학습시키는 것인, 변환 장치.
  14. 제13항에 있어서,
    상기 인공지능 모델에 기초하여 상기 대상 영상에 대한 상기 주요 영역을 설정하고, 상기 주요 영역에 대한 부분 영상을 상기 대상 영상으로부터 추출하여 상기 부분 영상에 기초하여 상기 병변과 연계된 진단 정보를 도출하는 분석부,
    를 더 포함하는 것인, 변환 장치.
  15. 제13항에 있어서,
    상기 병변은 척추관 협착증인 것을 특징으로 하는, 변환 장치.
KR1020210042870A 2021-04-01 2021-04-01 인공지능 기반의 의료 영상 변환 장치 및 방법 KR20220137215A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210042870A KR20220137215A (ko) 2021-04-01 2021-04-01 인공지능 기반의 의료 영상 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210042870A KR20220137215A (ko) 2021-04-01 2021-04-01 인공지능 기반의 의료 영상 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220137215A true KR20220137215A (ko) 2022-10-12

Family

ID=83598176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210042870A KR20220137215A (ko) 2021-04-01 2021-04-01 인공지능 기반의 의료 영상 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220137215A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096611A1 (ko) * 2022-11-03 2024-05-10 서강대학교산학협력단 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치
WO2024111913A1 (ko) * 2022-11-23 2024-05-30 폴스타헬스케어(주) 인공지능에 의한 의료영상 변환방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096611A1 (ko) * 2022-11-03 2024-05-10 서강대학교산학협력단 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치
WO2024111913A1 (ko) * 2022-11-23 2024-05-30 폴스타헬스케어(주) 인공지능에 의한 의료영상 변환방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR102243830B1 (ko) 통합 의료 진단 서비스 제공 시스템 및 그 방법
US10997466B2 (en) Method and system for image segmentation and identification
US20030023156A1 (en) Animation technology
Cavaro-Ménard et al. Diagnostic quality assessment of medical images: Challenges and trends
KR102456467B1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
KR20220137215A (ko) 인공지능 기반의 의료 영상 변환 장치 및 방법
US11969265B2 (en) Neural network classification of osteolysis and synovitis near metal implants
KR20220137220A (ko) 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법
CN110400617A (zh) 医学成像中的成像和报告的结合
US20210225491A1 (en) Diagnostic image converting apparatus, diagnostic image converting module generating apparatus, diagnostic image recording apparatus, diagnostic image converting method, diagnostic image converting module generating method, diagnostic image recording method, and computer recordable recording medium
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
CN116258726A (zh) 基于深度学习的颞下颌关节mri图像重要结构分割方法
US20210201487A1 (en) Reference image guided object detection in medical image processing
AU2020223750B2 (en) Method and System for Image Annotation
JP2004130090A (ja) コンピュータ援用患者診断決定支援システム
CN105578958B (zh) 用于背景感知成像的系统和方法
KR20230030810A (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
KR102672010B1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
CN110568471A (zh) 确定能带的阈值的方法、计算单元和医学成像设备
CN111369635A (zh) 预测截断图像的系统和方法、准备数据的方法及其介质
Amara et al. Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation
WO2021206157A1 (ja) 医用情報処理装置及び医用情報処理方法
KR20200057463A (ko) 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
KR20220095401A (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
CN113379616B (zh) 一种生成钆造影剂增强磁共振图像的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal