KR20220124643A - 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법 - Google Patents

합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220124643A
KR20220124643A KR1020220026537A KR20220026537A KR20220124643A KR 20220124643 A KR20220124643 A KR 20220124643A KR 1020220026537 A KR1020220026537 A KR 1020220026537A KR 20220026537 A KR20220026537 A KR 20220026537A KR 20220124643 A KR20220124643 A KR 20220124643A
Authority
KR
South Korea
Prior art keywords
image
format
petra
tof
determination result
Prior art date
Application number
KR1020220026537A
Other languages
English (en)
Inventor
김병준
조용원
유성혜
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20220124643A publication Critical patent/KR20220124643A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4848Monitoring or testing the effects of treatment, e.g. of medication
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/563Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
    • G01R33/5635Angiography, e.g. contrast-enhanced angiography [CE-MRA] or time-of-flight angiography [TOF-MRA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Vascular Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Electroplating And Plating Baths Therefor (AREA)

Abstract

본 발명의 일 실시예에 따른 GAN 알고리즘 기반의 이미지 변환 시스템에 있어서, 입력 받은 제1 형식의 실제 이미지를 기반으로 이미지 형식의 변환을 수행하여 제2 형식의 가상 이미지를 출력하도록 구성된 이미지 변환 모듈을 포함하고, 상기 이미지 변환 모듈은: 제1 형식의 실제 이미지와 제2 형식의 가상 이미지를 입력 받은 후 이들 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지에 관한 판단 결과를 출력하도록 구성되는 판단 모델; 및 상기 판단 결과를 기반으로 학습을 수행함으로써 상기 판단 모델로부터 동일 영역에 대한 MRI 영상인 것으로 상기 판단 결과가 출력될 때까지 상기 제2 형식의 가상 이미지를 생성하도록 구성되는 생성 모델을 포함한다.

Description

합성곱 신경망을 기반으로 한 PETRA 이미지와 TOF 이미지 간 이미지 변환 시스템 및 그 방법{IMAGE TRANSLATION SYSTEM BETWEEN PETRA IMAGE AND TOF IMAGE USING CONVOLUTION NEURAL NETWORK AND METHOD THEREOF}
본 발명은 합성곱 신경망을 기반으로 한 PETRA 이미지와 TOF 이미지 간 이미지 변환 시스템 및 그 방법에 관한 것이다.
MRI 장비로 촬영한 PETRA 이미지와 TOF 이미지는 뇌혈관 분석 등의 다양한 진단 과정에서 사용되고 있다. 하지만 이러한 MRI 이미지 획득은 높은 비용과 많은 시간이 소요되는 실정이다.
예를 들어, 뇌 혈관 분석 과정에서는 주로 PETRA 이미지가 사용되나 PETRA 이미지로 표현되지 못한 정보를 추가적으로 확보하기 위해 추가 MRI 촬영을 통한 TOF 이미지 획득 과정 역시 함께 수행되고 있다.
하지만 상술한 바와 같이 MRI 이미지 획득 과정에서 발생하는 높은 비용과 많은 시간의 소요 문제가 발생하고 있으며, 이에 따라 MRI 장비를 이용한 촬영 횟수를 늘리지 않고 MRI 이미지를 추가적으로 확보하고자 하는 노력이 이루어지고 있다.
대한민국 등록특허공보 10-1992057 대한민국 등록특허공보 10-2125127 대한민국 등록특허공보 10-2021515
본 발명의 일 실시예는 합성곱 신경망(CNN, Convolution Neural Network)를 포함하는 GAN(Generative Adversarial Network) 알고리즘을 통해 PETRA 이미지를 기반으로 TOF 이미지를 생성하거나 TOF 이미지를 기반으로 PETRA 이미지를 생성할 수 있는, 다시 말해 PETRA 이미지와 TOF 이미지 간의 변환을 수행할 수 있는 이미지 변환 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 GAN 알고리즘 기반의 이미지 변환 시스템에 있어서, 입력 받은 제1 형식의 실제 이미지를 기반으로 이미지 형식의 변환을 수행하여 제2 형식의 가상 이미지를 출력하도록 구성된 이미지 변환 모듈을 포함하고, 상기 이미지 변환 모듈은: 제1 형식의 실제 이미지와 제2 형식의 가상 이미지를 입력 받은 후 이들 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지에 관한 판단 결과를 출력하도록 구성되는 판단 모델; 및 상기 판단 결과를 기반으로 학습을 수행함으로써 상기 판단 모델로부터 동일 영역에 대한 MRI 영상인 것으로 상기 판단 결과가 출력될 때까지 상기 제2 형식의 가상 이미지를 생성하도록 구성되는 생성 모델을 포함한다.
학습용 PETRA 이미지 및 학습용 TOF 이미지를 입력 받아 블러링(blurring)을 수행하고, 상기 판단 모델을 학습시키기 위해 상기 블러링 된 이미지들을 상기 판단 모델에 입력하도록 구성되는 전처리 모듈을 더 포함할 수 있다.
상기 판단 모델은: 상기 전처리 모듈을 통해 블러링 된 학습용 PETRA 이미지 및 학습용 TOF 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 식별할 수 있도록 학습될 수 있다.
상기 판단 모델은: 상기 블러링 된 이미지들에 SRM(style based recalibration module) 알고리즘을 적용하여 상기 판단 결과 출력 과정에서 스타일의 가중치를 조정하도록 구성되는 SRM 레이어를 더 포함하도록 구성될 수 있다.
상기 생성 모델을 통한 상기 제2 형식의 가상 이미지 생성 결과를 디스플레이 하도록 구성되는 디스플레이 모듈을 더 포함할 수 있다.
상기 제1 형식이 PETRA 형식인 경우 상기 제2 형식은 TOF 형식이고, 상기 제1 형식이 TOF 형식인 경우 상기 제2 형식은 PETRA 형식일 수 있다.
본 발명의 일 실시예에 따른 GAN 알고리즘 기반의 이미지 변환 방법에 있어서, a) 판단 모델을 통해 제1 형식의 실제 이미지와 제2 형식의 가상 이미지를 입력 받은 후 이들 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지에 관한 판단 결과를 출력하는 단계; 및 b) 생성 모델을 통해 상기 판단 결과를 기반으로 학습을 수행함으로써 상기 판단 모델로부터 동일 영역에 대한 MRI 영상인 것으로 상기 판단 결과가 출력될 때까지 상기 제2 형식의 가상 이미지를 생성하는 단계를 포함한다.
상기 a) 단계 이전에 수행되는 c) 단계를 더 포함하고, 상기 c) 단계는: c-1) 전처리 모듈을 통해 학습용 PETRA 이미지 및 학습용 TOF 이미지를 입력 받아 블러링을 수행하는 단계; 및 c-2) 판단 모델을 통해 블러링 된 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 식별할 수 있도록 학습하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 변환 시스템 및 그 방법은 합성곱 신경망(CNN, Convolution Neural Network)를 포함하는 GAN(Generative Adversarial Network) 알고리즘을 통해 PETRA 이미지를 기반으로 TOF 이미지를 생성하거나 TOF 이미지를 기반으로 PETRA 이미지를 생성할 수 있는, 다시 말해 PETRA 이미지와 TOF 이미지 간의 변환을 수행할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 변환 시스템(10)을 개략적으로 나타낸 도면이다.
도 2은 이미지 변환 시스템(10)을 통해 제1 형식의 실제 이미지를 제2 형식의 가상 이미지로 변환하는 과정을 나타낸 흐름도이다.
도 3은 판단 모델(210)을 통한 학습 과정을 나타낸 흐름도이다.
도 4는 디스플레이 모듈(300)을 통해 제1 형식의 실제 이미지가 제2 형식의 가상 이미지로 변환된 모습을 나타낸 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다.
일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다.
그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서의 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 변환 시스템(10)을 개략적으로 나타낸 도면이고, 도 2은 이미지 변환 시스템(10)을 통해 제1 형식의 실제 이미지를 제2 형식의 가상 이미지로 변환하는 과정을 나타낸 흐름도이다.
도 1 및 도 2를 참조하면, 이미지 변환 시스템(10)은 전처리 모듈(100), 이미지 변환 모듈(200) 및 디스플레이 모듈(300)을 포함할 수 있다.
의료 현장에서 사용되는 MRI(magnetic resonance imaging) 이미지 또는 MRA(magnetic resonance angiography) 이미지(이하에서는 MRI 이미지만을 예로 들어 설명하도록 한다)는 그 형식에 따라 PETRA(pointwise encoding time reduction with radial acquisition) 이미지와 TOF(time of flight) 이미지로 구분될 수 있다.
예를 들어, 영상 의학과 내에서 뇌 혈관과 관련된 MRI 이미지를 기반으로 환자의 상태를 파악하고자 하는 경우, PETRA 이미지를 활용하여 환자의 상태를 분석하되 PETRA 이미지 만으로 파악할 수 없는 정보들이 있으므로 PETRA 이미지와 더불어 TOF 이미지 촬영을 추가적으로 진행하여 이를 보조적인 진단에 활용하고 있다. 또한, 경우에 따라 TOF 이미지를 활용하여 환자의 상태를 분석하되 PETRA 이미지를 보조적으로 활용하는 경우도 있을 수 있다.
따라서, 제1 형식의 이미지(예를 들어, PETRA 이미지)만으로 파악할 수 없는 환자의 정보를 파악하기 위해 제2 형식이 이미지(예를 들어, TOF 이미지)가 요구되는데, 두 가지 형식의 이미지를 모두 획득하기 위해 MRI 촬영을 2차례 이상 실행할 경우 추가적인 비용과 시간의 소모가 있을 수 있다.
본 발명의 이미지 변환 시스템(10)은 위와 같은 문제를 극복하기 위해 제1 형식의 실제 이미지(예를 들어, 실제 PETRA 이미지)를 입력 받은 경우, MRI 촬영을 추가적으로 진행하지 않고도 가상의 제2 형식의 이미지(예를 들어, 가상의 TOF 이미지)를 생성하여 보조 진단에 활용할 수 있도록 한다.
이미지 변환 시스템(10)에 포함된 이미지 변환 모듈(200)은 상술한 제1 형식의 실제 이미지(실제 PETRA 이미지)를 사용자로부터 입력 받은 경우, 이를 기반으로 이미지 형식의 변환을 수행함으로써 제2 형식의 가상의 이미지(가상의 TOF 이미지를 출력할 수 있다.
또한, 반대로 제1 형식의 실제 이미지(실제 TOF 이미지)를 사용자로부터 입력 받은 경우, 이를 기반으로 이미지 형식의 변환을 수행함으로써 제2 형식의 가상의 이미지(가상의 PETRA 이미지를 출력하는 것 역시 가능하다.
상기 이미지 변환 모듈(200)은 GAN(Generative Adversarial Network) 알고리즘을 활용하여 입력 받은 제1 형식의 실제 이미지를 제2 형식의 가상 이미지로 변환한다.
이미지 변환 모듈(200)은 판단 모델(210) 및 생성 모델(220)을 포함할 수 있으며, 각 모델을 통한 이미지 변환 과정은 다음과 같다.
판단 모델(210)은 제1 형식의 이미지와 제2 형식의 이미지를 입력 받은 후, CNN(convolution neural network) 알고리즘을 활용하여 이들 간의 특징을 비교함으로써 두 형식의 이미지가 동일 영역에 대한 MRI 영상인지를 판단하여 판단 결과를 출력할 수 있다.
생성 모델(220)은 판단 모델(210)에서의 판단 결과를 기반으로 추가적인 학습을 계속하여 수행함으로써 판단 모델(210)로부터 동일 영역에 대한 MRI 영상인 것으로 판단 결과가 출력될 때까지 제2 형식의 가상 이미지를 생성할 수 있다.
즉, 판단 모델(210)은 이미지 형식의 변환을 위해 사용자로부터 실제로 입력 받은 이미지인 제1 형식의 실제 이미지와 생성 모델(220)에서 생성된 제2 형식의 가상 이미지를 비교하여 두 이미지가 동일한 인물의 동일 영역에 대한 MRI 영상인지를 판단한 후 판단 결과를 출력하게 되며, 생성 모델(220)은 판단 모델(210)이 동일한 인물의 동일 영역에 대한 MRI 영상으로 판단할 때까지 계속해서 제2 형식의 가상 이미지를 출력하게 된다.
상술한 판단을 수행하기 위해 판단 모델(210)은 선행 학습이 요구된다.
도 3은 판단 모델(210)을 통한 학습 과정을 나타낸 흐름도이다.
도 1 및 도 3을 참조하면, 판단 모델(210)의 선행 학습은 사용자로부터 별도로 입력 받은 학습용 PETRA 이미지와 학습용 TOF 이미지를 기반으로 수행될 수 있다.
이미지 변환 시스템(10)은 전처리 모듈(100)을 포함할 수 있는데, 전처리 모듈(100)은 학습용 PETRA 이미지와 학습용 TOF 이미지에 노이즈를 입히는 블러링(blurring)을 수행할 수 있으며, 블러링 된 이미지들을 판단 모델(210)에 입력하여 판단 모델(210)의 선행 학습이 수행될 수 있도록 한다.
판단 모델(210)은 전처리 모듈(100)을 통해 블러링 된 학습용 PETRA 이미지와 학습용 TOF 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 식별할 수 있도록 선행 학습을 수행한다.
예를 들어, 판단 모델(210)은 동일 환자의 동일 뇌 영역에 대한 학습용 PETRA 이미지와 학습용 TOF 이미지를 입력 받은 후 이들 간의 특징을 비교하여 이들이 동일 환자의 동일 뇌 영역임을 사전 학습하게 된다.
따라서, 사전 학습이 완료되고 나면 PETRA 이미지와 TOF 이미지를 입력 받은 판단 모델(210)은 이들 각각의 이미지가 동일 환자의 동일 영역에 대한 MRI 이미지인지 여부를 판단할 수 있게 된다.
판단 모델(210)을 통해 수행되는 CNN(convolution neural network) 알고리즘은 일반적으로 컨볼루션 레이어(convolution layer, 212)와 풀링 레이어(pooling layer, 213)를 포함한다.
일반적인 CNN 알고리즘과 다른 점은 본 발명의 판단 모델(210)은 SRM(style based recalibration module)의 역할을 수행할 수 있는 SRM 레이어(211)를 추가적으로 포함한다는 점이다.
SRM은 입력된 데이터들의 스타일(style, 질감)을 고려하는 인공지능 알고리즘으로써, 입력 데이터에서 스타일 특징을 추출하고 이를 기반으로 스타일 가중치를 생성할 수 있다.
이후, 입력 데이터와 스타일 가중치를 컨볼루션 함으로써 입력 데이터를 보정(recalibration)하여 불필요한 스타일 특징을 억제하고 보다 중요한 스타일 특징을 강조할 수 있다.
본 발명의 SRM 레이어(211)는 인공지능 분야에서 활용되고 있는 SRM과 동일한 역할을 수행하며, 따라서 이에 대한 보다 자세한 설명은 생략하도록 한다.
정리하면, 판단 모델(210)은 제1 형식의 이미지와 제2 형식의 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 판단하는 과정에서 SRM 레이어(211)를 통한 스타일 정보를 추가적으로 활용함으로써 판단의 정확도를 보다 향상시킬 수 있다.
다시 도 1 및 도 2를 참조하면, 판단 모델(210)로부터 출력된 판단 결과는 다시 판단 모델(210)로 재입력되어 판단 모델(210)의 추가적인 학습에 사용되며, 이와 동시에 판단 결과는 생성 모델(220)에도 입력된다.
판단 결과를 입력 받은 생성 모델(220)은 이를 기반으로 제2 형식의 가상 이미지를 재생성 하게 되며, 재생성 된 제2 형식의 가상 이미지는 다시 판단 모델(210)에 입력되어 판단 결과 출력에 사용된다.
즉, 생성 모델(220)을 통해 제2 형식의 가상 이미지를 생성하는 과정과 판단 모델(210)을 통해 제1 형식의 실제 이미지와 제2 형식의 가상 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 판단하는 과정이 반복적으로 수행된다.
위와 같은 반복 수행의 결과 비록 가상으로 만들어진 제2 형식의 이미지(TOF 이미지)이기는 하나, 실제 MRI 촬영을 통해 획득된 TOF 이미지와 차이가 없는 TOF 이미지가 생성되며, 이는 제1 형식의 실제 이미지(실제 PETRA 이미지)가 TOF 이미지로 변환되었음을 의미한다.
도 4는 디스플레이 모듈(300)을 통해 제1 형식의 실제 이미지가 제2 형식의 가상 이미지로 변환된 모습을 나타낸 도면이다.
도 4를 참조하면, 이미지 변환 시스템(10)은 디스플레이 모듈(300)을 포함할 수 있으며, 디스플레이 모듈(300)은 생성 모델(220)에서 생성된 제2 형식의 가상 이미지를 사용자에게 출력할 수 있다.
이상에서 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것으로 이에 한정되지 않는다. 통상의 기술자는 전술한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.
10 이미지 변환 시스템
100 전처리 모듈
200 이미지 변환 모듈
210 판단 모델
211 SRM 레이어
212 컨볼루션 레이어
213 풀링 레이어
220 생성 모델
300 디스플레이 모듈

Claims (9)

  1. GAN 알고리즘 기반의 이미지 변환 시스템에 있어서,
    입력 받은 제1 형식의 실제 이미지를 기반으로 이미지 형식의 변환을 수행하여 제2 형식의 가상 이미지를 출력하도록 구성된 이미지 변환 모듈을 포함하고,
    상기 이미지 변환 모듈은:
    제1 형식의 실제 이미지와 제2 형식의 가상 이미지를 입력 받은 후 이들 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지에 관한 판단 결과를 출력하도록 구성되는 판단 모델; 및
    상기 판단 결과를 기반으로 학습을 수행함으로써 상기 판단 모델로부터 동일 영역에 대한 MRI 영상인 것으로 상기 판단 결과가 출력될 때까지 상기 제2 형식의 가상 이미지를 생성하도록 구성되는 생성 모델을 포함하는, 이미지 변환 시스템.
  2. 제1항에 있어서,
    학습용 PETRA 이미지 및 학습용 TOF 이미지를 입력 받아 블러링(blurring)을 수행하고, 상기 판단 모델을 학습시키기 위해 상기 블러링 된 이미지들을 상기 판단 모델에 입력하도록 구성되는 전처리 모듈을 더 포함하는, 이미지 변환 시스템.
  3. 제2항에 있어서,
    상기 판단 모델은:
    상기 전처리 모듈을 통해 블러링 된 학습용 PETRA 이미지 및 학습용 TOF 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 식별할 수 있도록 학습된, 이미지 변환 시스템.
  4. 제3항에 있어서,
    상기 판단 모델은:
    상기 블러링 된 이미지들에 SRM(style based recalibration module) 알고리즘을 적용하여 상기 판단 결과 출력 과정에서 스타일의 가중치를 조정하도록 구성되는 SRM 레이어를 더 포함하도록 구성되는, 이미지 변환 시스템.
  5. 제4항에 있어서,
    상기 생성 모델을 통한 상기 제2 형식의 가상 이미지 생성 결과를 디스플레이 하도록 구성되는 디스플레이 모듈을 더 포함하는, 이미지 변환 시스템.
  6. 제5항에 있어서,
    상기 제1 형식이 PETRA 형식인 경우 상기 제2 형식은 TOF 형식이고,
    상기 제1 형식이 TOF 형식인 경우 상기 제2 형식은 PETRA 형식인, 이미지 변환 시스템.
  7. GAN 알고리즘 기반의 이미지 변환 방법에 있어서,
    a) 판단 모델을 통해 제1 형식의 실제 이미지와 제2 형식의 가상 이미지를 입력 받은 후 이들 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지에 관한 판단 결과를 출력하는 단계; 및
    b) 생성 모델을 통해 상기 판단 결과를 기반으로 학습을 수행함으로써 상기 판단 모델로부터 동일 영역에 대한 MRI 영상인 것으로 상기 판단 결과가 출력될 때까지 상기 제2 형식의 가상 이미지를 생성하는 단계를 포함하는, 이미지 변환 방법.
  8. 제7항에 있어서,
    상기 a) 단계 이전에 수행되는 c) 단계를 더 포함하고,
    상기 c) 단계는:
    c-1) 전처리 모듈을 통해 학습용 PETRA 이미지 및 학습용 TOF 이미지를 입력 받아 블러링을 수행하는 단계; 및
    c-2) 판단 모델을 통해 블러링 된 이미지 간의 특징을 비교하여 동일 영역에 대한 MRI 영상인지 여부를 식별할 수 있도록 학습하는 단계를 더 포함하는, 이미지 변환 방법.
  9. 제7항 또는 제8항의 이미지 변환 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램.
KR1020220026537A 2021-03-02 2022-03-02 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법 KR20220124643A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210027121 2021-03-02
KR20210027121 2021-03-02

Publications (1)

Publication Number Publication Date
KR20220124643A true KR20220124643A (ko) 2022-09-14

Family

ID=83279122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220026537A KR20220124643A (ko) 2021-03-02 2022-03-02 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220124643A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101992057B1 (ko) 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
KR102021515B1 (ko) 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
KR102125127B1 (ko) 2018-03-05 2020-06-19 고려대학교 산학협력단 딥러닝 기반 뇌 질환 진단 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125127B1 (ko) 2018-03-05 2020-06-19 고려대학교 산학협력단 딥러닝 기반 뇌 질환 진단 방법
KR101992057B1 (ko) 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
KR102021515B1 (ko) 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Similar Documents

Publication Publication Date Title
US10346974B2 (en) Apparatus and method for medical image processing
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN112085677A (zh) 一种图像处理方法、系统和计算机存储介质
CN111833300B (zh) 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN112150469A (zh) 一种基于无监督领域自适应的激光散斑衬比图像分割方法
WO2019224140A1 (en) Medical image conversion
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
CN113850804B (zh) 基于生成对抗网络的视网膜图像生成系统及方法
CN116503506B (zh) 一种图像重建方法、系统、装置及存储介质
KR102357350B1 (ko) 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템
US11199602B2 (en) Methods and devices for generating sampling masks related to imaging
KR20220124643A (ko) 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법
US11408954B2 (en) Systems and methods of reducing noise and artifacts in magnetic resonance imaging
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
KR102526487B1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
US11508048B2 (en) Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法
CN114764766A (zh) 一种基于FC-VoVNet和WGAN的B超图像去噪方法
Mirza et al. Skip connections for medical image synthesis with generative adversarial networks
CN110264537A (zh) Pet图像重建方法、系统、可读存储介质和设备
CN110866888A (zh) 基于潜在信息表征gan的多模态mri合成方法
Anaya et al. Automatic Generation of MR-based Attenuation Map using Conditional Generative Adversarial Network for Attenuation Correction in PET/MR
US20230019733A1 (en) Motion artifact correction using artificial neural networks