KR20240026856A - 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 - Google Patents

융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 Download PDF

Info

Publication number
KR20240026856A
KR20240026856A KR1020230104092A KR20230104092A KR20240026856A KR 20240026856 A KR20240026856 A KR 20240026856A KR 1020230104092 A KR1020230104092 A KR 1020230104092A KR 20230104092 A KR20230104092 A KR 20230104092A KR 20240026856 A KR20240026856 A KR 20240026856A
Authority
KR
South Korea
Prior art keywords
image
fusion
fusion image
actual
generating device
Prior art date
Application number
KR1020230104092A
Other languages
English (en)
Inventor
송인석
조용원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to PCT/KR2023/011914 priority Critical patent/WO2024043591A1/ko
Publication of KR20240026856A publication Critical patent/KR20240026856A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

융합 영상 생성 방법 및 융합 영상 생성 장치가 개시된다. CT 영상 및 MR 영상이 융합된 융합 영상 생성 방법은 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계, 인코딩된 실제 CT 영상에 기초하여 특징 맵을 생성하는 단계, 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계 및 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계를 포함할 수 있다.

Description

융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치{METHOD AND APPARATUS FOR DIAGNOSING JAW JOINT DISEASES AND HEAD AND NECK DISEAES USING FUSION IMAGE}
아래 실시예들은 의료 영상을 이용하여 융합 영상을 생성하는 기술 및 융합 영상을 이용하여 턱관절 질환 및 두경부 질환을 진단하는 기술에 관한 것이다.
턱 관절 또는 두경부에 발생한 질환의 정확한 원인을 파악하기 위해서는 CT 영상과 MRI 영상을 융합하여 경조직(치아, 뼈 등)와 연조직(근육, 디스크 등)을 활용한 진단이 이루어져야 한다. 그러나, MRI 촬영은 환자에게 금전적으로 큰 부담이 될 수 있다. 종래의 기술 중 MRI 영상에 기초하여 CT 영상을 합성하여 생성하는 기술이 있다. 이 기술은 환자가 MRI 촬영 및 CT 촬영을 모두 해야 하는 번거로움을 방지해준다는 이점을 가진다. 그러나, 이 방법은 환자에게 금전적으로 크게 부담이 되지 않는 CT 촬영만을 대체할 수 있고, 환자에게 금전적인 부담을 안기는 MRI 촬영을 대체할 수는 없다는 점에서 한계가 있다.
일 실시예에 따른 CT(computer tomography) 영상 및 MR(magnetic resonance) 영상이 융합된 융합 영상 생성 방법은, 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계; 상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하는 단계; 상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계; 및 상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계를 포함할 수 있다.
상기 합성 MRI 생성 모델은, 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다.
상기 생성적 대립 신경망은, 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다.
상기 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습될 수 있다.
상기 인코딩을 수행하는 단계는, 상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하는 단계; 상기 크롭된 실제 CT 영상에 대해 다운 샘플링(down sampling)을 수행하는 단계; 및 상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하는 단계를 포함할 수 있다.
상기 융합 영상 생성 모델은, 멀티패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다.
일 실시예에 따른 융합 영상 생성 방법은 상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하는 단계를 더 포함할 수 있다.
상기 결정하는 단계는, 상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하는 단계; 및 상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 융합 영상 생성 장치는 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 융합 영상 생성 장치가, 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하고, 상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하고, 상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고, 상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 합성 MRI 생성 모델은, 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다.
상기 생성적 대립 신경망은, 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다.
상기 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습될 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 상기 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고, 상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 융합 영상 생성 모델은, 멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고, 상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
일 실시예에 따르면 추가적인 MRI 촬영 없이도 CT 영상으로부터 MR 영상을 합성할 수 있다.
일 실시예에 따르면 MRI 촬영에 의한 환자의 금전적인 부담을 절감시킬 수 있고, 환자가 방사선에 노출되는 것을 방지할 수 있다.
일 실시예에 따르면 CT 영상만으로도 종래의 CT 영상에서는 나타나지 않는 연조직에 대한 진단을 수행할 수 있다.
일 실시예에 따르면 CT 영상만을 이용하여, 경조직과 연조직을 동시에 판독할 수 있는 융합 영상을 생성할 수 있다.
일 실시예에 따르면, CT 영상 및 MR 영상 간 딥러닝 알고리즘 기술을 통해 합성, 변환, 융합을 정확하게 수행하여 턱 관절 또는 두경부 질환의 오진율을 낮추고, 진단의 정확도 향상시키고, 진단에 소요되는 시간과 비용을 절감할 수 있다.
일 실시예에 따르면, MRI 촬영 없이 MR 영상을 생성함으로써, MR 영상 촬영에 필요한 시간과 비용에 대한 부담을 제거할 수 있고, 환자의 편의를 도모할 수 있다.
도 1은 일 실시예에 따른 융합 영상 생성 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 융합 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 CT 영상으로부터 융합 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 융합 영상 생성 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 융합 영상 생성 시스템의 개요를 도시하는 도면이다.
본 명세서에서 설명하는 융합 영상 생성 시스템은, 턱 관절 또는 두경부 질환의 진단 정확도를 향상시키고 대상자(또는 환자)의 금전적인 부담 및 번거로움을 절감시키기 위하여 실제 CT(computer tomography) 영상에 기초하여 합성 MR(magnetic resonance) 영상을 생성하고, 실제 CT 영상과 합성 MR 영상을 융합할 수 있다. 여기서 실제 CT 영상은 실제로 촬영된 CT 영상일 수 있고, 합성 MR 영상은 실제 CT 영상에 기초하여 생성된 MR 영상으로, 실제 MR 영상에 대응할 수 있다. 융합 영상 생성 시스템은 턱 관절 또는 두경부 질환의 진단을 위한 융합 영상을 생성할 수 있고, 실시예에 따라 융합 영상에 기초하여 턱 관절 또는 두경부 질환에 대한 진단을 수행할 수도 있다. 또한, 실시예에 따라 실제 CT 영상 대신 실제 CBCT(Cone beam computed tomography) 영상이 사용될 수도 있다.
도 1을 참조하면, 합성 MRI 생성 모델(120)은 실제 CT 영상(110)을 입력받을 수 있다. 합성 MRI 생성 모델(120)은 멀티 스케일의 실제 CT 영상(110)을 입력받을 수 있다. 합성 MRI 생성 모델(120)은 실제 CT 영상(110)에 기초하여 합성 MR 영상을 생성할 수 있다. 융합 영상 생성 모델(140)은 합성 MR 영상 및 실제 CT 영상(130)을 입력받을 수 있다. 융합 영상 생성 모델(140)은 입력받은 합성 MR 영상 및 실제 CT 영상(130)을 융합하여, 합성 MR 영상 및 실제 CT 영상(130)이 융합된 융합 영상(150)을 생성할 수 있다.
도 2는 일 실시예에 따른 융합 영상 생성 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 융합 영상 생성 장치는 입력된 멀티 스케일의 실제 CT 영상에 대해 인코더(encoder)를 이용하여 인코딩을 수행할 수 있다. 융합 영상 생성 장치는 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하며, 크롭되고 다운 샘플링된 실제 CT 영상을 인코더의 잔여 블록들(residual blocks)에 입력하여 인코딩을 수행할 수 있다. 여기서, 인코더의 잔여 블록들은 인코더에서 크롭을 수행하는 블록과 다운 샘플링을 수행한 블록을 제외한 나머지 블록들을 나타낸다. 잔여 블록들은 예를 들어 ResNet(residual neural network)에서 사용되고, 각 레이어별 정보를 잃지 않고 담을 수 있는 블록들일 수 있다. 잔여 블록들의 출력은 다음 레이어에 입력되고 그 이후의 레이어들 중에서 스킵 연결(skip connection)이 있는 레이어에도 입력될 수 있는 블록들일 수 있다.
단계(220)에서 융합 영상 생성 장치는 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성할 수 있다. 융합 영상 생성 장치는 각 특징 맵에 적응적 가중치(adaptive weighted)를 부여할 수 있다.
단계(230)에서 융합 영상 생성 장치는 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득할 수 있다. 합성 MR 영상은 실제 MR 영상에 대응하면서도 MRI 촬영 없이 실제 CT 영상에 기초하여 생성될 수 있다.
합성 MRI 생성 모델은 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다. 합성 MRI 생성 모델 또는 생성적 대립 신경망은 CT 영상에 대응하는 특징 맵을 적응적 잔여 블록들(adaptive residual blocks)에 입력하여 스타일 기반의 정규화(style based normalization)를 수행하고, 업 샘플링(up sampling)을 수행하여 합성 MR 영상을 생성할 수 있다. 스타일 기반의 정규화 및 업 샘플링을 통해 합성 MR 영상의 해상도와 정확도가 향상될 수 있다.
생성적 대립 신경망은 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다. 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 CT 영상의 단면 영상 및 MR 영상의 단면 영상을 학습 데이터로써 지도 학습될 수 있다. 즉, CT 영상 및 MR 영상은 슬라이스마다 슬라이스 번호가 부여될 수 있는데, 생성적 대립 신경망은, 대상자 단위로(또는 대상자 별로, 환자 단위로), 각각 동일한 슬라이스 단에 대응하는 CT 영상의 단면 영상 및 MR 영상의 단면 영상을 학습 데이터로써 지도 학습되어, CT 영상과 MR 영상간 격이 없도록 학습될 수 있다.
학습 데이터인 CT 영상의 단면 영상 및 MR 영상의 단면 영상은 다양한 해상도의 이미지를 포함하는 멀티 스케일 형태일 수 있다. 이를 통해 학습 과정에서 학습 데이터에 포함된 영상의 다양성을 확보할 수 있다. 대립 신경망은, 주요 영역의 왜곡을 방지하기 위하여, CT 영상 및 MR 영상의 영역 별 패치에 기초하여 적응적 가중치를 부여하는 방식으로 학습될 수 있다. 여기서 패치는 조각 또는 부분 중 적어도 하나를 지칭할 수 있다.
단계(240)에서 융합 영상 생성 장치는 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득할 수 있다. 여기서 융합 영상은 실제 CT 영상과 합성 MR 영상이 융합된 영상일 수 있다. 예를 들어, 실제 CT 영상은 경조직을 포함할 수 있지만 연조직을 포함하지 않을 수 있다. 반면에, 합성 MR 영상은 연조직을 포함할 수 있으며, 실제 CT 영상과 합성 MR 영상의 융합 영상은 경조직과 연조직을 모두 포함할 수 있다. 융합 영상 생성 모델은 멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다. 융합 영상 생성 모델은 레지스트레이션(registration)을 수행하여 합성 MR 영상에 포함된 연조직과 실제 CT 영상에 포함된 경조직이 적절한 위치에 대응되도록 할 수 있다. 레지스트레이션은 실제 CT 영상 및 합성 MR 영상을 수치적으로 병립하여 기하학적으로 일치시키는 과정으로, 융합 영상 생성 모델은 레지스트레이션을 통해 기준에 따라서 실제 CT 영상 및 합성 MR 영상을 융합하기 위한 정확한 기준 위치를 결정하거나 위치를 맞출 수 있다.
융합 영상 생성 장치는 CT 영상에 기초하여 합성 MR 영상을 획득하는 것에 의해 CT 영상으로부터 획득할 수 없는 정보를 추정할 수 있다. 또한, 융합 영상 생성 장치는 CT 영상 및 MR 영상을 융합한 융합 영상을 획득하는 것에 의해, 골변화 양상 뿐만 아니라 연조직의 변화 양상까지 모두 파악이 가능하도록 할 수 있다. 융합 영상을 이용함으로써 턱관절 질환의 진단의 정확성이 향상될 수 있다.
융합 영상 생성 장치는 실시예에 따라 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정할 수도 있다. 융합 영상 생성 장치가 융합 영상에 기초하여 대상자의 턱 관절에 대한 진단 결과를 결정하는 경우, 융합 영상 생성 장치는 턱 관절 질환 진단 장치로도 지칭될 수 있다. 또한, 융합 영상 생성 장치가 융합 영상에 기초하여 대상자의 두경부에 대한 진단 결과를 결정하는 경우, 융합 영상 생성 장치는 두경부 질환 진단 장치라고도 지칭될 수 있다. 융합 영상 생성 장치는 턱 관절 및 두경우 뿐만 아니라 다양한 부위에 대해서도 CT 영상으로부터 MR 영상을 획득할 수 있고, 융합 영상을 생성할 수 있으며, 질환의 진단을 수행할 수도 있다. 융합 영상 생성 장치는 딥러닝 알고리즘에 기반한 진단 모델에 융합 영상을 입력하여 진단 결과를 획득할 수 있다. 여기서 진단 결과는 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부와, 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 포함할 수 있다.
융합 영상 생성 장치 또는 진단 모델은 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정할 수 있다. 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 융합 영상 생성 장치는 턱 관절 또는 두경부의 질환명을 결정할 수 있다. 진단 모델은 융합 영상과 융합 영상에 대응하는 환자의 턱 관절 또는 두경부 질환 여부와 턱 관절 또는 두경부 질환명을 포함하는 학습 데이터에 기초하여 학습될 수 다.
도 3은 일 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면 실제 CT 영상(310)이 다양한 해상도로 멀티 스케일 방식을 통해 융합 영상 생성 장치에 입력될 수 있다. 실제 CT 영상(310)은 대상자(또는 환자)의 턱 관절에 대응하는 경조직이 촬영된 CT 영상일 수 있다. 일 실시예에서 턱 관절에 대응하는 경조직이 촬영된 CT 영상에 기초한 실시예가 설명되지만 이는 일 실시예일 뿐, 융합 영상 생성 방법에서 촬영된 대상자의 신체 일부는 본 명세서에서의 설명에 한정되지 않고 대상자의 다양한 부위가 될 수 있다. 경조직은 치아 및 뼈 등을 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(310)에 기초하여 합성 MR 영상(320)을 생성할 수 있다. 합성 MR 영상(320)은 실제 MRI 촬영을 통해 생성된 것은 아니지만 실제 MR 영상에 대응되는 MR 영상일 수 있다. 합성 MR 영상(320)은 대상자의 턱 관절에 대응하는 연조직을 포함할 수 있다. 연조직은 근육 및 디스크 중 적어도 하나를 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(310)과 합성 MR 영상(320)에 대해 레지스트레이션을 수행하여 각 부위의 위치가 적절하게 배치되어 융합된 융합 영상(330)을 생성할 수 있다.
도 4는 일 실시예에 따른 CT 영상으로부터 융합 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 융합 영상 생성 장치는 제1 해상도의 실제 CT 영상(410) 및 제2 해상도의 실제 CT 영상(420)을 입력받을 수 있다. 여기서 CT 영상(410) 및 CT 영상(420)의 해상도는 서로 다를 수 있다. 예를 들어, CT 영상(410)는 CT 영상(420)보다 고해상도의 CT 영상일 수 있다. 여기서 예시적으로 설명하기 위해 두 개의 해상도의 실제 CT 영상을 입력받는 것으로 설명하지만, 이에 한정되지 않고 융합 영상 생성 장치는 더 많거나 더 적은 수의 실제 CT 영상을 입력받을 수 있다. 예를 들어, 입력으로서 주어지는 CT 영상은 2개 이상일 수 있으며, 인코더(420, 425)의 개수는 CT 영상의 개수에 대응되게 설계될 수 있다. 입력으로서 주어지는 CT 영상들은 멀티 스케일의 CT 영상들을 구성할 수 있다.
입력된 제1 해상도의 실제 CT 영상(410)은 인코더(420)입력되어 인코딩될 수 있고, 인코딩의 결과로 특징 맵(430)이 생성될 수 있다. 일 실시예에서, 인코더(420)는 입력된 제1 해상도의 실제 CT 영상(410)에 대해 크롭(crop) 및/또는 다운 샘플링(down sampling)을 수행할 수 있고, 크롭 및/또는 다운 샘플링된 제1 해상도의 실제 CT 영상을 잔여 블록들에 입력시키는 것에 의해 잔여 블록들의 출력으로써 특징 맵(430)을 획득할 수 있다.
또한, 입력된 제2 해상도의 실제 CT 영상(415)는 인코더(425)에 입력되어 인코딩될 수 있고, 인코딩의 결과로 특징 맵(435)가 생성될 수 있다. 인코더(425)는 입력된 제2 해상도의 실제 CT 영상(415)에 대해 크롭 및/또는 다운 샘플링을 수행할 수 있고, 크롭 및/또는 다운 샘플링된 제2 해상도의 실제 CT 영상(415)을 잔여 블록들에 입력시키는 것에 의해 잔여 블록들의 출력으로써 특징 맵(435)를 생성할 수 있다.
생성된 특징 맵들(430 및 435)은 적응적 가중치가 부여된 적응적 가중 특징 맵일 수 있고, 적응적 가중 특징 맵은 제일 하단 부분에서부터 특징을 가중치 별로 누적 시킬 수 있다. 여기서, 가중치는 학습 데이터에 포함된 MR 영상의 단면 영상과 같은 목적 이미지 또는 목적 영상에 기초하여 결정될 수 있다.
생성된 특징 맵들(430 및 435)은 합성 MRI 생성 모델(440)에 입력될 수 있다. 합성 MRI 생성 모델(440)은 입력에 응답하여 합성 MR 영상을 생성할 수 있다. 합성 MRI 생성 모델(440)은 입력된 특징 맵들(430 및 435)을 적응적 잔여 블록(adaptive residual block)들에 입력하여 스타일 기반의 정규화를 수행할 수 있다. 합성 MRI 생성 모델(440)은 스타일 기반의 정규화가 수행된 적응적 잔여 블록들에 대해 업 샘플링을 수행하는 것에 의해 합성 MR 영상을 생성할 수 있다. 적응적 잔여 블록들은 잔여 블록들의 특징들이 적응적으로 적용되는 블록들일 수 있다. 스타일 기반의 정규화는 합성 MR 영상을 생성하기 위해, 학습 데이터에 포함된 MR 영상의 단면 영상과 같은 목적 이미지 또는 목적 영상의 스타일, 즉 형태(shape) 및 텍스처(texture) 중 적어도 하나를 유사하게 맞추는 정규화 과정을 나타낼 수 있다.
융합 영상 생성 장치는 실제 CT 영상(420)을 콘볼루션 신경망(460)에 입력하고, 합성 MR 영상(450)을 콘볼루션 신경망(470)에 입력하여, 실제 CT 영상(410)과 합성 MR 영상(450)이 융합된 융합 영상(480)을 생성할 수 있다. 실시예에 따라 콘볼루션 신경망(460) 및 콘볼루션 신경망(470)은 상이한 신경망일 수 있고 동일한 신경망일 수도 있다.
합성 MRI 생성 모델(440)의 학습 과정에서는, 입력으로서 제1 해상도의 학습 CT 영상 및 제2 해상도의 학습 CT 영상과 목적으로 하는 합성 MR 영상이 주어진다. 목적으로 하는 합성 MR 영상은 제1 해상도의 학습 CT 영상 및 제2 해상도의 학습 CT 영상에 기반하여 합성 MRI 생성 모델(440)이 생성해야 하는 바람직한 합성 MR 영상에 대응할 수 있다. 제1 해상도의 학습 CT 영상은 인코더(420)에 입력되고, 인코더(420)는 제1 해상도의 학습 CT 영상에 대응하는 특징 맵을 출력할 수 있다. 제2 해상도의 학습 CT 영상은 인코더(425)에 입력되고, 인코더(425)는 제2 해상도의 학습 CT 영상에 대응하는 특징 맵을 출력할 수 있다. 인코더(420) 및 인코더(425)에서 출력된 특징 맵들은 합성 MRI 생성 모델(440)에 입력되고, 합성 MRI 생성 모델(440)은 입력된 특징 맵들에 기초하여 합성 MR 영상을 출력할 수 있다. 일 실시예에서, 학습 장치는 크로스 엔트로피와 같은 손실 함수를 이용하여 합성 MRI 생성 모델(440)이 출력한 합성 MR 영상과 미리 주어진 목적으로 하는 합성 MR 영상 간의 차이를 나타내는 손실을 정의하고, 오류 역전파 알고리즘을 이용하여 손실이 줄어드는 방향으로 합성 MRI 생성 모델(440)의 파라미터(예: 뉴럴 네트워크의 가중치)를 업데이트할 수 있다. 또한, 학습 장치는 목적으로 하는 합성 MR 영상을 콘볼루션 신경망(70)에 입력시키고, 제1 해상도의 학습 CT 영상을 콘볼루션 신경망(460)에 입력시킨 결과를 융합하여 융합 영상을 획득할 수 있다. 학습 장치는 획득된 융합 영상과 미리 주어진 바람직한 융합 영상 간의 차이에 대응하는 손실을 크로스 엔트로피와 같은 손실 함수를 이용하여 계산하고, 오류 역전파 알고리즘을 이용하여 손실이 줄어드는 방향으로 콘볼루션 신경망(460) 및 콘볼루션 신경망(470)의 파라미터(예: 뉴럴 네트워크의 가중치)를 업데이트할 수 있다. 학습 장치는 많은 수의 학습 CT 영상들에 대해 위 학습 과정을 반복적으로 수행하는 것에 의해 합성 MRI 생성 모델(440), 콘볼루션 신경망(460) 및/또는 콘볼루션 신경망(470)을 점차 바람직한 방향으로 변경시킬 수 있다.
도 5는 다른 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5을 참조하면 실제 CT 영상(510)이 다양한 해상도로 멀티 스케일 방식을 통해 융합 영상 생성 장치에 입력될 수 있다. 실제 CT 영상(510)은 대상자(또는 환자)의 경두부에 대응하는 경조직이 촬영된 CT 영상일 수 있다. 이 실시예에서 경두부에 대응하는 경조직이 촬영된 CT 영상에 기초한 실시예가 설명되지만 실시예 중 하나일 뿐, 융합 영상 생성 방법에서 촬영된 대상자의 신체 일부는 본 명세서에서의 설명에 한정되지 않고 대상자의 다양한 부위가 될 수 있다. 경조직은 치아 및 뼈 등을 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(510)에 기초하여 합성 MR 영상(520)을 생성할 수 있다. 합성 MR 영상(520)은 실제 MRI 촬영을 통해 생성된 것은 아니지만 실제 MR 영상에 대응되는 MR 영상일 수 있다. 합성 MR 영상(520)은 대상자의 경두부에 대응하는 연조직을 포함할 수 있다. 연조직은 근육 및 디스크 중 적어도 하나를 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(510)과 합성 MR 영상(520)에 대해 레지스트레이션을 수행하여 각 부위의 위치가 적절하게 배치되어 융합된 융합 영상을 생성할 수 있다.
도 6은 일 실시예에 따른 융합 영상 생성 장치의 구성을 도시하는 도면이다.
도 6을 참조하면, 융합 영상 생성 장치(600)는 본 명세서에서 설명된 융합 영상 생성 장치에 대응할 수 있다. 융합 영상 생성 장치(600)는 프로세서(610), 메모리(620) 및 통신기(630)를 포함할 수 있다.
메모리(620)는 프로세서(610)에 연결되고, 프로세서(610)에 의해 실행가능한 인스트럭션들, 프로세서(610)가 연산할 데이터 또는 프로세서(610)에 의해 처리된 데이터를 저장할 수 있다. 메모리(620)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신기(630)는 외부 장치(예를 들어, 병원 데이터베이스 또는 CT 영상 촬영 장치)와 통신하기 위한 인터페이스를 제공한다.
프로세서(610)는 융합 영상 생성 장치(600)의 동작과 관련된 하나 이상의 동작을 융합 영상 생성 장치(600)가 수행할 수 있도록 융합 영상 생성 장치(600)를 제어할 수 있다.
예를 들어, 프로세서(610)는 융합 영상 생성 장치(600)가 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하도록 융합 영상 생성 장치(600)를 제어할 수 있다. 프로세서(610)는 융합 영상 생성 장치(600)가 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고, 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들에 입력하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
프로세서(610)는 융합 영상 생성 장치(600)는 인코딩된 실제 CT 영상에 기초하여 특징 맵을 생성하고, 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고, 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
프로세서(610)는 융합 영상 생성 장치(600)가 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 융합 영상 생성 장치(600)를 제어할 수 있다. 프로세서(610)는 융합 영상 생성 장치(600) 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고, 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 또는 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
120, 440: 합성 MRI 생성 모델 140: 융합 영상 생성 모델
420, 425: 인코더 460, 470: 콘볼루션 신경망
600: 융합 영상 생성 장치 610: 프로세서
620: 메모리 630: 통신기

Claims (17)

  1. CT(computer tomography) 영상 및 MR(magnetic resonance) 영상이 융합된 융합 영상 생성 방법에 있어서,
    입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계;
    상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하는 단계;
    상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계; 및
    상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  2. 제1항에 있어서,
    상기 합성 MRI 생성 모델은,
    생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함하는,
    융합 영상 생성 방법.
  3. 제2항에 있어서,
    상기 생성적 대립 신경망은,
    학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)되는,
    융합 영상 생성 방법.
  4. 제3항에 있어서,
    상기 생성적 대립 신경망은,
    각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습되는,
    융합 영상 생성 방법.
  5. 제1항에 있어서,
    상기 인코딩을 수행하는 단계는,
    상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하는 단계;
    상기 크롭된 실제 CT 영상에 대해 다운 샘플링(down sampling)을 수행하는 단계; 및
    상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  6. 제1항에 있어서,
    상기 융합 영상 생성 모델은,
    멀티패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함하는,
    융합 영상 생성 방법.
  7. 제1항에 있어서,
    상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하는 단계
    를 더 포함하는,
    융합 영상 생성 방법.
  8. 제7항에 있어서,
    상기 결정하는 단계는,
    상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하는 단계; 및
    상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  9. 하드웨어와 결합되어 제1항 내지 제8항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  10. 융합 영상 생성 장치에 있어서,
    메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 융합 영상 생성 장치가,
    입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하고,
    상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하고,
    상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고,
    상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  11. 제10항에 있어서,
    상기 합성 MRI 생성 모델은,
    생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함하는,
    융합 영상 생성 장치.
  12. 제11항에 있어서,
    상기 생성적 대립 신경망은,
    학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)되는,
    융합 영상 생성 장치.
  13. 제12항에 있어서,
    상기 생성적 대립 신경망은,
    각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습되는,
    융합 영상 생성 장치.
  14. 제10항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고,
    상기 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고,
    상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  15. 제10항에 있어서,
    상기 융합 영상 생성 모델은,
    멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함하는,
    융합 영상 생성 장치.
  16. 제10항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  17. 제16항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고,
    상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
KR1020230104092A 2022-08-22 2023-08-09 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 KR20240026856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/011914 WO2024043591A1 (ko) 2022-08-22 2023-08-11 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220105060 2022-08-22
KR1020220105060 2022-08-22

Publications (1)

Publication Number Publication Date
KR20240026856A true KR20240026856A (ko) 2024-02-29

Family

ID=90041477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230104092A KR20240026856A (ko) 2022-08-22 2023-08-09 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240026856A (ko)

Similar Documents

Publication Publication Date Title
EP3470006B1 (en) Automated segmentation of three dimensional bony structure images
EP4095797B1 (en) Autonomous segmentation of three-dimensional nervous system structures from medical images
CN110047128B (zh) 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统
JP7125700B2 (ja) Ｘ線透視装置およびｘ線透視方法
EP3586787B1 (en) Image matching device and image matching method
JP7138631B2 (ja) 撮像システムのための収集パラメータを選択すること
RU2541887C2 (ru) Автоматизированное оконтуривание анатомии для планирования терапии с управлением по изображениям
US7873403B2 (en) Method and device for determining a three-dimensional form of a body from two-dimensional projection images
KR102233427B1 (ko) 의료 영상 정합 방법 및 장치
US11410374B2 (en) Synthetic parameterized computed tomography from surface data in medical imaging
US20150260819A1 (en) Transfer of validated cad training data to amended mr contrast levels
US10929989B2 (en) Determining a transformation between coordinate frames of sets of image data
EP3370616B1 (en) Device for imaging an object
KR20240026856A (ko) 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7038752B2 (ja) イメージング方法及びイメージング装置
JP7019745B2 (ja) トランケーション部分の予測画像を取得する方法及び装置
WO2024043591A1 (ko) 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치
CN111369635A (zh) 预测截断图像的系统和方法、准备数据的方法及其介质
CN113614788A (zh) 计算机辅助读取和分析的深度强化学习
CN114066947B (zh) 图像配准方法和图像配准装置
KR102373370B1 (ko) Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
EP4375922A1 (en) Apparatus and method for vertebral body recognition in medical images
US20220230319A1 (en) System and method for training a machine learning model and for providing an estimated interior image of a patient
CN117557759A (zh) 训练数据集的生成方法、装置、设备及存储介质