WO2024096611A1 - 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치 - Google Patents

변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치 Download PDF

Info

Publication number
WO2024096611A1
WO2024096611A1 PCT/KR2023/017369 KR2023017369W WO2024096611A1 WO 2024096611 A1 WO2024096611 A1 WO 2024096611A1 KR 2023017369 W KR2023017369 W KR 2023017369W WO 2024096611 A1 WO2024096611 A1 WO 2024096611A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
type
generation module
conversion
learning
Prior art date
Application number
PCT/KR2023/017369
Other languages
English (en)
French (fr)
Inventor
최용
이상원
정진호
석은영
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Publication of WO2024096611A1 publication Critical patent/WO2024096611A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10092—Diffusion tensor magnetic resonance imaging [DTI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image

Definitions

  • the present invention relates to a technology for converting the type of image, and to an image conversion device for converting a first type of image into a second type.
  • the present invention builds a conversion model learned to convert the first type of image into the second type by using the first type of first training data and the second type of second training data.
  • the technical task is to provide a device that does this.
  • the present invention aims to provide an image conversion device that converts a first image of a first type into a second image of a second type using a conversion model.
  • a conversion model building device includes a memory storing a conversion model building program; and a processor that executes the transformation model building program, wherein the transformation model building program converts a first training image of a first type into a first transformation image of a second type through a first generation module, and The first conversion image and the second learning image of the second type are applied to the determination module to update the first generation module so that the first conversion image is determined to be real, and the first conversion image is generated through the second generation module. Converting the first type to a second converted image, comparing the second converted image and the first learning image to update the first generation module to learn the conversion model, wherein the conversion model includes the first training image.
  • It includes a first generation module, the second generation module, and the first discrimination module, wherein the first generation module processes the image of the first type into the second type, and the second generation module includes the Processing a second type of image into the first type, the first determination module judges at least one input image as real or fake according to set conditions, and the first type is a positron emission fault This is an image type taken by PET (Positron Emission Tomography) or CT (Computerized Tomography), and the second type is an image type taken by Magnetic Resonance Imaging (MRI). .
  • PET Positron Emission Tomography
  • CT Computerized Tomography
  • MRI Magnetic Resonance Imaging
  • an image conversion device includes a memory storing an image conversion program; and a processor executing the image conversion program, wherein the image conversion program generates a second image of a second type by applying a first image of a first type to a conversion model, and the conversion model includes: Machine learning is performed through first and second generation modules and first and second determination modules to convert the first type of image into the second type, and the first generation module converts the first type of image into the second type. processing the image into a second type, and the second generation module processes the image of the second type into the first type, and the first and second determination modules are set for at least one input image. Real and fake are judged according to conditions, and the first type is an image type taken with Positron Emission Tomography (PET) or Computerized Tomography (CT), and the second type is is a type of image taken with magnetic resonance imaging (MRI).
  • PET Positron Emission Tomography
  • CT Computerized Tomography
  • anatomical image information can be obtained by converting the PET or CT images of patients who require MRI imaging during nuclear medicine examination, such as dementia patients or cancer patients, into MRI images. It can reduce the financial burden on patients.
  • FIG. 1 is a conceptual diagram of a transformation model building device according to an embodiment of the present invention.
  • Figures 2 to 4 are exemplary diagrams for explaining the operation of a conversion model building program.
  • Figure 5 is a conceptual diagram schematically showing an image conversion device according to an embodiment of the present invention.
  • FIG. 6 is a block diagram schematically showing the configuration of the image conversion device shown in FIG. 5.
  • first, second, etc. used in this specification are used only for the purpose of distinguishing one component from another component and do not limit the order or relationship of the components.
  • a first component of the present invention may be named a second component, and similarly, the second component may also be named a first component.
  • Figure 1 is a block diagram schematically showing a transformation model building device according to an embodiment of the present invention.
  • the conversion model building device 100 builds a conversion model that converts the first type of image into the second type.
  • the first type is an image type taken with Positron Emission Tomography (PET) or Computerized Tomography (CT)
  • CT Computerized Tomography
  • MRI Magnetic Resonance Imaging
  • the conversion model building device 100 includes a memory 110 and a processor 120.
  • the memory 110 stores a conversion model building program.
  • the memory 110 refers to a non-volatile storage device that continues to maintain stored information even when power is not supplied and a volatile storage device that requires power to maintain the stored information. It should be interpreted as doing so.
  • the memory 110 may perform the function of temporarily or permanently storing data processed by the processor 120.
  • the memory 110 may include magnetic storage media or flash storage media in addition to volatile storage devices that require power to maintain stored information, but the scope of the present invention is not limited thereto. no.
  • the processor 120 builds a conversion model by executing the conversion model building program stored in the memory 110.
  • the processor 120 is a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), or an FPGA. (field programmable gate array), etc., but the scope of the present invention is not limited thereto.
  • Figures 2 to 4 are exemplary diagrams for explaining the operation of a conversion model building program. Referring to FIGS. 2 to 4, the process by which the conversion module building program builds the conversion module will be described in detail.
  • the transformation model is machine learned through deep learning using a first type of first learning image (1) and a second type of second learning image (2). It includes a first generation module 10, a first discrimination module 20, a second generation module 30, and a second discrimination module 40.
  • the first generation module 10 processes the first type of image into the second type
  • the second generation module 30 processes the second type of image into the first type
  • the determination module 40 determines at least one input image as real or fake according to set conditions.
  • the first learning image (1) and the second learning image (2) are images of the same object, and the first learning image (1) is an image of the object using Positron Emission Tomography (PET). , It is an image taken by computerized tomography (CT), and the second learning image (2) is an image of the object taken by magnetic resonance imaging (MRI).
  • PET Positron Emission Tomography
  • CT computerized tomography
  • MRI magnetic resonance imaging
  • Construction of the transformation model can be divided into a process of updating the first generation module 10 and a process of updating the second generation module 30.
  • the transformation model building program applies the first learning image 1 of the first type to the first generation module 10 Convert to a first converted image (3) of the second type, and apply the first converted image (3) and the second learning image (2) of the second type to the first discrimination module 20 to create a first converted image ( 3) Updates the first generation module 10 so that it is determined to be genuine.
  • the first determination module 20 is set to determine the second learning image 2 as real and the first learning image 1 as fake.
  • the conversion model building program applies the first conversion image 3 to the second generation module 20 to convert it into a second conversion image 4 of the first type, and the second conversion image 4 and the first
  • the first generation module 10 is updated by comparing the learning image 1.
  • the conversion model building program updates the first generation module 10 by comparing the difference value between the first learning image 1 and the second conversion image 4.
  • the difference value is a value calculated by calculating the degree of loss between the actual image and the predicted image.
  • the conversion model building program additionally updates the first generation module 10 by comparing the difference value between the second learning image 2 and the first conversion image 4.
  • the conversion model building program is a process of comparing the first learning image (1) and the second conversion image (4) until the first conversion image (3) is recognized as real by the first determination module (20) and the second learning image
  • the first generation module 10 is updated by repeating the process of comparing (2) with the first converted image (3).
  • the transformation model building program applies the second learning image of the second type to the second generation module 30 to create the first type of image.
  • 3 Convert to the converted image 5, and apply the third converted image 5 and the first training image 1 to the second determination module 40 to generate a second conversion so that the third converted image 5 is determined to be real.
  • Update module 30 the second determination module 40 is set to determine the first learning image 1 as real and the third converted image 5 as fake.
  • the transformation model building program applies the third transformation image 5 to the first generation module 10 to convert it into a fourth transformation image 6 of the second type, and the fourth transformation image 6 and the second
  • the second generation module 30 is updated by comparing the learning image 2.
  • the conversion model building program updates the second generation module 30 by comparing the difference value between the second learning image 2 and the fourth conversion image 6.
  • the conversion model building program additionally updates the second generation module 30 by comparing the difference value between the first learning image 1 and the third conversion image 5.
  • the conversion model building program is a process of comparing the second learning image (2) and the fourth conversion image (6) until the third conversion image (5) is recognized as real by the second determination module (40) and the first learning image
  • the second generation module 10 is updated by repeating the process of comparing (1) with the third converted image (5).
  • the conversion model is built through the process of updating the first generation module 10 and the process of updating the second generation module 30 described above.
  • the transformation model building program updates the first generation module 10.
  • the process and the process of updating the second generation module 30 can be performed simultaneously or sequentially to build a conversion model.
  • the constructed conversion model may convert the first type of image into a second type through the first generation module 10 and the second generation module 30, and convert the second type of image into a first type of image. It can also be converted to . That is, an image taken with PET or CT can be converted into an image taken with MRI, and an image taken with MRI can be converted into an image taken with PET or CT.
  • the communication module 130 may include a device that includes hardware and software necessary to perform data communication with an external device and transmit and receive signals such as control signals or data signals through wired or wireless connections with other network devices.
  • the database 140 may store various data for learning or operating a transformation model. For example, training images for learning a transformation model may be stored.
  • the conversion model building device 100 may operate in the form of a server that receives a first learning image and a second learning image from an external computing device and builds a conversion model based on them. You can.
  • FIG. 5 is a conceptual diagram schematically showing an image conversion device according to an embodiment of the present invention
  • FIG. 6 is a block diagram schematically showing the configuration of the image conversion device shown in FIG. 5.
  • the image conversion device 200 converts a first type of image into a second type of image.
  • the image conversion device 200 includes a memory 210 and a processor 220.
  • the first type is an image type taken with Positron Emission Tomography (PET) or Computerized Tomography (CT)
  • CT Computerized Tomography
  • MRI Magnetic Resonance Imaging
  • the memory 210 stores an image conversion program.
  • Memory 210 should be interpreted as a general term for non-volatile storage devices that continue to retain stored information even when power is not supplied and volatile storage devices that require power to maintain stored information.
  • the memory 210 may perform the function of temporarily or permanently storing data processed by the processor 220.
  • the memory 210 may include magnetic storage media or flash storage media in addition to volatile storage devices that require power to maintain stored information, but the scope of the present invention is not limited thereto. no.
  • the processor 220 executes the image conversion program stored in the memory 110 to convert the first type of image into a second type of image.
  • the image conversion program converts a first image 7 of a first type into a second image 8 of a second type by applying a conversion model.
  • the first type is an image type taken with Positron Emission Tomography (PET) or Computerized Tomography (CT)
  • CT Computerized Tomography
  • MRI Magnetic Resonance Imaging
  • the conversion model is machine-learned through the first generation module, first determination module, second generation module, and second determination module to convert the first type of image into the second type.
  • the first generation module processes the first type of image into the second type
  • the second generation module processes the second type of image into the first type.
  • the first determination module and the second determination module determine whether at least one input image is real or fake according to set conditions.
  • the conversion model may convert the first type to the second type or the second type to the first type by the first generation module and the second generation module.
  • the processor 220 is a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), or an FPGA. (field programmable gate array), etc., but the scope of the present invention is not limited thereto.
  • the communication module 230 may include a device including hardware and software required to transmit and receive signals such as control signals or data signals through a wired or wireless connection with other network devices in order to perform data communication for signal data with an external device. You can.
  • the database 240 may store various data for operating an image conversion program.
  • the image conversion device 200 is a server that receives image data from an external device and inputs it into a conversion model to convert the first image 7 of the first type into the second image 8 of the second type. It can also operate in any form.
  • the present invention may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명에 따른 이미지의 유형을 변환하는 변환 모듈을 구축하는 변환 모델 구축 장치는, 변환 모델 구축 프로그램이 저장된 메모리; 및 상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고, 상기 변환 모델 구축 프로그램은, 제1 생성 모듈을 통해 제1 유형의 제1 학습 이미지를 제2 유형의 제1 변환 이미지로 변환하고, 제1 판별 모듈에 상기 제1 변환 이미지와 제2 유형의 제2 학습 이미지를 적용하여 상기 제1 변환 이미지가 진짜로 판별되도록 상기 제1 생성 모듈을 업데이트하며, 제2 생성 모듈을 통해 상기 제1 변환 이미지를 상기 제1 유형의 제2 변환 이미지로 변환하고, 상기 제2 변환 이미지와 상기 제1 학습 이미지를 비교하여 상기 제1 생성 모듈을 업데이트해 상기 변환 모델을 학습시키는 것이며, 상기 변환 모델은, 상기 제1 생성 모듈, 상기 제2 생성 모듈, 상기 제1 판별 모듈을 포함하고, 상기 제1 생성 모듈은, 상기 제1 유형의 이미지를 상기 제2 유형으로 가공하는 것이며, 상기 제2 생성 모듈은, 상기 제2 유형의 이미지를 상기 제1 유형으로 가공하는 것이고, 상기 제1 판별 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜 또는 가짜로 판단하는 것이며, 상기 제1 유형은 양전자방사단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 상기 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형이다.

Description

변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치
본 발명은 이미지의 유형을 변환하는 기술에 관한 것으로, 제1 유형의 이미지를 제2 유형으로 변환하는 이미지 변환 장치에 관한 것이다.
치매 및 암 조기발견을 위해 인체의 기능적인 영상 촬영이 가능한 핵 의학 영상기기에 대한 관심이 높아지고 있다. 하지만, 정확한 진단을 위해서 영상의학 검사와 핵 의학검사를 모두 수행해야 하는 문제가 있다. 이로 인해 환자의 불편함과 경제적 부담을 일으키며 추가적인 방사선 피폭이 생길 수 있다.
최근, 방사선을 이용한 의료촬영기기의 촬영시간을 줄이기 위해서 딥러닝 기술을 이용하여 저선량 의료영상을 통해 고선량 의료영상을 만들어내는 등의 기술이 개발되었지만, 여전히 영상의학검사와 핵 의학검사를 환자가 모두 수행해야 한다는 문제를 해결하지 못했다.
따라서, 이러한 문제점들을 극복할 수 있는 기술이 요구된다.
본 발명은 전술한 문제점을 해결하기 위하여, 제1 유형의 제1 학습 데이터 및 제2 유형의 제2 학습 데이터를 이용하여, 제1 유형의 이미지를 제2 유형으로 변환하도록 학습된 변환 모델을 구축하는 장치를 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 전술한 문제점을 해결하기 위해, 변환 모델을 이용하여 제1 유형의 제1 이미지를 제2 유형의 제2 이미지로 변환하는 이미지 변환 장치를 제공하는 것을 기술적 과제로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 변환 모델 구축 장치는, 변환 모델 구축 프로그램이 저장된 메모리; 및 상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고, 상기 변환 모델 구축 프로그램은, 제1 생성 모듈을 통해 제1 유형의 제1 학습 이미지를 제2 유형의 제1 변환 이미지로 변환하고, 제1 판별 모듈에 상기 제1 변환 이미지와 제2 유형의 제2 학습 이미지를 적용하여 상기 제1 변환 이미지가 진짜로 판별되도록 상기 제1 생성 모듈을 업데이트하며, 제2 생성 모듈을 통해 상기 제1 변환 이미지를 상기 제1 유형의 제2 변환 이미지로 변환하고, 상기 제2 변환 이미지와 상기 제1 학습 이미지를 비교하여 상기 제1 생성 모듈을 업데이트해 상기 변환 모델을 학습시키는 것이며, 상기 변환 모델은, 상기 제1 생성 모듈, 상기 제2 생성 모듈, 상기 제1 판별 모듈을 포함하고, 상기 제1 생성 모듈은, 상기 제1 유형의 이미지를 상기 제2 유형으로 가공하는 것이며, 상기 제2 생성 모듈은, 상기 제2 유형의 이미지를 상기 제1 유형으로 가공하는 것이고, 상기 제1 판별 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜 또는 가짜로 판단하는 것이며, 상기 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 상기 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형이다.
또한, 본 발명의 다른 실시예에 따른 이미지 변환 장치는, 이미지 변환 프로그램이 저장된 메모리; 및 상기 이미지 변환 프로그램을 실행하는 프로세서를 포함하되, 상기 이미지 변환 프로그램은, 제1 유형의 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하는 것이며, 상기 변환 모델은, 제1 및 제2 생성 모듈, 제1 및 제2 판별 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며, 상기 제1 생성 모듈은, 상기 제1 유형의 이미지를 상기 제2 유형으로 가공하는 것이고, 상기 제2 생성 모듈은, 상기 제2 유형의 이미지를 상기 제1 유형으로 가공하는 것이며, 상기 제1 및 제2 판별 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이고, 상기 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나 컴퓨터 단층촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 상기 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형이다.
전술한 본 발명의 과제 해결 수단에 따르면, 치매환자 또는 암환자와 같이 핵 의학 검사 중 MRI의 촬영이 요구되는 환자의 PET 또는 CT 이미지를 이용해 MRI 이미지로 변환하여 해부학적 영상 정보를 획득할 수 있어 환자의 경제적 부담을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 변환 모델 구축 장치의 개념도이다.
도 2 내지 도 4는 변환 모델 구축 프로그램의 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 일실시예에 따른 이미지 변환 장치를 개략적으로 나타낸 개념도이다.
도 6은 도 5에 도시된 이미지 변환 장치의 구성을 개략적으로 나타낸 블럭도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부" 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 변환 모델 구축 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하여 본 발명의 일 실시예에 따른 변환 모델 구축 장치(100) 에 대해 설명한다. 변환 모델 구축 장치(100)는 제1 유형의 이미지를 제2 유형으로 변환하는 변환 모델을 구축한다. 여기서, 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형이다. 이를 수행하기 위해 변환 모델 구축 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)는 변환 모델 구축 프로그램이 저장되는데, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 메모리(110)는 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(110)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
그리고, 프로세서(120)는 메모리(110)에 저장된 변환 모델 구축 프로그램을 실행하여 변환 모델을 구축한다. 본 실시예에서, 프로세서(120)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2 내지 도 4는 변환 모델 구축 프로그램의 동작을 설명하기 위한 예시도이다. 도 2 내지 도 4를 참조하여 변환 모듈 구축 프로그램이 변환 모듈을 구축하는 과정을 구체적으로 설명한다.
먼저, 도 2를 참조하면, 변환 모델은 제1 유형의 제1 학습 이미지(1)와 제2 유형의 제2 학습 이미지(2)를 이용하여 딥러닝(Deep Learning)을 통해 기계 학습되며, 제1 생성 모듈(10), 제1 판별 모듈(20), 제2 생성 모듈(30) 및 제2 판별 모듈(40)을 포함한다. 제1 생성 모듈(10)은 제1 유형의 이미지를 제2 유형으로 가공하는 것이고, 제2 생성 모듈(30)은 제2 유형의 이미지를 제1 유형으로 가공하는 것이며, 제1 판별 모듈 및 제2 판별 모듈(40)은 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜 또는 가짜로 판단한다.
여기서, 제1 학습 이미지(1)와 제2 학습 이미지(2)는 동일한 대상체를 촬영한 이미지로, 제1 학습 이미지(1)는 대상체를 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영하거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영한 이미지이고, 제2 학습 이미지(2)는 대상체를 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영한 이미지이다.
변환 모델의 구축은 제1 생성 모듈(10)을 업데이트하는 과정과, 제2 생성 모듈(30)을 업데이트하는 과정으로 나눌 수 있다.
이후, 도 3 및 도 4를 참조하여 제1 생성 모듈(10)과 제2 생성 모듈(30)을 업데이트 하는 과정에 대해 설명한다.
먼저, 도 3을 참조하여 제1 생성 모듈(10)을 업데이트하는 과정에 대해서 설명하면, 변환 모델 구축 프로그램은 제1 유형의 제1 학습 이미지(1)를 제1 생성 모듈(10)에 적용하여 제2 유형의 제1 변환 이미지(3)로 변환하고, 제1 판별 모듈(20)에 제1 변환 이미지(3)와 제2 유형의 제2 학습 이미지(2)를 적용하여 제1 변환 이미지(3)가 진짜로 판별되도록 제1 생성 모듈(10)을 업데이트한다. 여기서, 제1 판별 모듈(20)은 제2 학습 이미지(2)를 진짜로 판별하고, 제1 학습 이미지(1)를 가짜로 판별하도록 설정된다.
그리고, 변환 모델 구축 프로그램은 제1 변환 이미지(3)를 제2 생성 모듈(20)에 적용하여 제1 유형의 제2 변환 이미지(4)로 변환하고, 제2 변환 이미지(4)와 제1 학습 이미지(1)를 비교하여 제1 생성 모듈(10)을 업데이트한다. 여기서, 변환 모델 구축 프로그램은 제1 학습 이미지(1)와 제2 변환 이미지(4) 사이의 차이값을 비교하여 제1 생성 모듈(10)을 업데이트한다. 차이값은 실제 이미지와 예측 이미지 사이의 손실 정도를 계산한 값이다.
또한, 변환 모델 구축 프로그램은 제2 학습 이미지(2)와 제1 변환 이미지(4) 사이의 차이값을 비교하여 제1 생성 모듈(10)을 추가적으로 업데이트한다.
변환 모델 구축 프로그램은 제1 변환 이미지(3)가 제1 판별 모듈(20)에서 진짜로 인식될 때까지 제1 학습 이미지(1)와 제2 변환 이미지(4)를 비교하는 과정과 제2 학습 이미지(2)와 제1 변환 이미지(3)를 비교하는 과정을 반복하여 제1 생성 모듈(10)을 업데이트한다.
도 4를 참조하여 제2 생성 모듈(20)을 업데이트하는 과정에 대해서 설명하면, 변환 모델 구축 프로그램은 제2 유형의 제2 학습 이미지를 제2 생성 모듈(30)에 적용하여 제1 유형의 제3 변환 이미지(5)로 변환하고, 제2 판별 모듈(40)에 제3 변환 이미지(5)와 제1 학습 이미지(1)를 적용하여 제3 변환 이미지(5)가 진짜로 판별되도록 제2 생성 모듈(30)을 업데이트한다. 여기서, 제2 판별 모듈(40)은 제1 학습 이미지(1)를 진짜로 판별하고, 제3 변환 이미지(5)를 가짜로 판별하도록 설정된다.
그리고, 변환 모델 구축 프로그램은 제3 변환 이미지(5)를 제1 생성 모듈(10)에 적용하여 제2 유형의 제4 변환 이미지(6)로 변환하고, 제4 변환 이미지(6)와 제2 학습 이미지(2)를 비교하여 제2 생성 모듈(30)을 업데이트한다. 여기서, 변환 모델 구축 프로그램은 제2 학습 이미지(2)와 제4 변환 이미지(6) 사이의 차이값을 비교하여 제2 생성 모듈(30)을 업데이트한다.
또한, 변환 모델 구축 프로그램은 제1 학습 이미지(1)와 제3 변환 이미지(5) 사이의 차이값을 비교하여 제2 생성 모듈(30)을 추가적으로 업데이트한다.
변환 모델 구축 프로그램은 제3 변환 이미지(5)가 제2 판별 모듈(40)에서 진짜로 인식될 때까지 제2 학습 이미지(2)와 제4 변환 이미지(6)를 비교하는 과정과 제1 학습 이미지(1)와 제3 변환 이미지(5)를 비교하는 과정을 반복하여 제2 생성 모듈(10)을 업데이트한다.
이렇게, 변환 모델은 앞서 설명한 제1 생성 모듈(10)을 업데이트하는 과정과 제2 생성 모듈(30)을 업데이트하는 과정을 통해 구축되는데, 변환 모델 구축 프로그램은 제1 생성 모듈(10)을 업데이트하는 과정과 제2 생성 모듈(30)을 업데이트하는 과정을 동시에 수행하거나, 순차적으로 수행하여 변환 모델을 구축할 수 있다.
그리고, 구축된 변환 모델은 제1 생성 모듈(10) 및 제2 생성 모듈(30)을 통해 제1 유형의 이미지를 제2 유형으로 변환할 수도 있고, 제2 유형의 이미지를 제1 유형의 이미지로 변환할 수도 있다. 즉, PET 또는CT로 촬영된 이미지를 MRI로 촬영된 이미지로 변환할 수도 있고, MRI로 촬영된 이미지를 PET 또는 CT로 촬영된 이미지로 변환할 수도 있다.
통신 모듈(130)은 외부 장치와 데이터 통신을 수행하도록 하고, 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다.
데이터베이스(140)는 변환 모델을 학습하거나, 동작하기 위한 다양한 데이터가 저장될 수 있다. 예를 들면, 변환 모델을 학습하기 위한 학습 이미지가 저장될 수 있다.
한편, 본 발명의 일실시예에 따른 변환 모델 구축 장치(100)는 외부 컴퓨팅 장치로부터 제1 학습 이미지 및 제2 학습 이미지를 수신하고, 이를 기반으로 변환 모델을 구축하는 서버의 형태로도 동작할 수 있다.
도 5는 본 발명의 일실시예에 따른 이미지 변환 장치를 개략적으로 나타낸 개념도이고, 도 6은 도 5에 도시된 이미지 변환 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 5 및 도 6을 참조하여 본 발명의 일 실시예에 따른 이미지 변환 장치(200)에 대해 설명한다. 이미지 변환 장치(200)는 제1 유형의 이미지를 제2 유형의 이미지로 변환한다. 이를 수행하기 위해 이미치 변환 장치(200)는 메모리(210) 및 프로세서(220)를 포함한다. 여기서, 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형이다.
메모리(210)는 이미지 변환 프로그램이 저장된다. 메모리(210)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 메모리(210)는 프로세서(220)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(210)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
그리고, 프로세서(220)는 메모리(110)에 저장된 이미지 변환 프로그램을 실행하여 제1 유형의 이미지를 제2 유형의 이미지로 변환한다. 도 5를 참조하여 이미지 매칭 프로그램의 동작에 대해 설명하면, 이미지 변환 프로그램은 제1 유형의 제1 이미지(7)를 변환 모델에 적용하여 제2 유형의 제2 이미지(8)로 변환하는 것이다. 여기서, 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영하거나, 컴퓨터단층 촬영법(CT: Computerized Tomography)으로 촬영한 이미지 유형이고, 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영한 이미지 유형이다.
여기서, 변환 모델은 제1 생성 모듈, 제1 판별 모듈, 제2 생성 모듈 및 제2 판별 모듈을 통해 기계학습 되어 제1 유형의 이미지를 제2 유형으로 변환하는 것이다. 제1 생성 모듈은 제1 유형의 이미지를 제2 유형으로 가공하는 것이고, 제2 생성 모듈은 제2 유형의 이미지를 제1 유형으로 가공하는 것이다. 그리고, 제1 판별 모듈 및 제2 판별 모듈은 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜 또는 가짜로 판단하는 것이다. 여기서, 변환 모델은 제1 생성 모듈과 제2 생성 모듈에 의해 제1 유형을 제2 유형으로 변환할 수도 있고, 제2 유형을 제1 유형으로 변환할 수도 있다.
본 실시예에서, 프로세서(220)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
통신 모듈(230)은 외부 장치와 신호 데이터 대한 데이터 통신을 수행하기 위해, 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하는데 요구되는 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다.
데이터베이스(240)는 이미지 변환 프로그램이 동작하기 위한 다양한 데이터가 저장될 수 있다.
한편, 이미지 변환 장치(200)는 외부 장치로부터 이미지 데이터를 수신하고, 이를 변환 모델에 입력하여 제1 유형의 제1 이미지(7)를 제2 유형의 제2 이미지(8)로 변환하는 서버의 형태로도 동작할 수 있다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 이미지의 유형을 변환하는 변환 모듈을 구축하는 변환 모델 구축 장치에 있어서,
    변환 모델 구축 프로그램이 저장된 메모리; 및
    상기 변환 모델 구축 프로그램을 실행하는 프로세서를 포함하고,
    상기 변환 모델 구축 프로그램은,
    제1 생성 모듈을 통해 제1 유형의 제1 학습 이미지를 제2 유형의 제1 변환 이미지로 변환하고, 제1 판별 모듈에 상기 제1 변환 이미지와 제2 유형의 제2 학습 이미지를 적용하여 상기 제1 변환 이미지가 진짜로 판별되도록 상기 제1 생성 모듈을 업데이트하며, 제2 생성 모듈을 통해 상기 제1 변환 이미지를 상기 제1 유형의 제2 변환 이미지로 변환하고, 상기 제2 변환 이미지와 상기 제1 학습 이미지를 비교하여 상기 제1 생성 모듈을 업데이트해 상기 변환 모델을 학습시키는 것이며,
    상기 변환 모델은, 상기 제1 생성 모듈, 상기 제2 생성 모듈, 상기 제1 판별 모듈을 포함하고,
    상기 제1 생성 모듈은, 상기 제1 유형의 이미지를 상기 제2 유형으로 가공하는 것이며, 상기 제2 생성 모듈은, 상기 제2 유형의 이미지를 상기 제1 유형으로 가공하는 것이고,
    상기 제1 판별 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜 또는 가짜로 판단하는 것이며,
    상기 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나, 컴퓨터 단층촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 상기 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형인 것인, 변환 모델 구축 장치.
  2. 제1항에 있어서,
    상기 변환 모델 구축 프로그램은,
    상기 제1 학습 이미지와 상기 제2 변환 이미지 사이의 차이값을 비교하여 상기 제1 생성 모듈을 업데이트하고,
    상기 차이값은, 학습 이미지에 대한 변환 이미지의 손실 정도를 수치로 나타낸 값인, 변환 모델 구축 장치.
  3. 제1항에 있어서,
    상기 변환 모델 구축 프로그램은,
    상기 제2 학습 이미지와 상기 제1 변환 이미지 사이의 차이값을 비교하여 상기 제1 생성 모듈을 업데이트하고,
    상기 차이값은, 학습 이미지에 대한 변환 이미지의 손실 정도를 수치로 나타낸 값인, 변환 모델 구축 장치.
  4. 제1항에 있어서,
    상기 변환 모델은 제2 판별 모듈을 더 포함하고,
    상기 변환 모델 구축 프로그램은,
    상기 제2 생성 모듈을 통해 상기 제2 학습 이미지를 제1 유형의 제3 변환 이미지로 변환하고, 상기 제2 판별 모듈에 상기 제1 학습 이미지와 상기 제3 변환 이미지를 적용하여 상기 제3 변환 이미지가 진짜로 판별되도록 상기 제2 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
  5. 제3항에 있어서,
    상기 변환 모델 구축 프로그램은,
    상기 제1 생성 모듈을 통해 상기 제3 변환 이미지를 상기 제2 유형의 제4 변환 이미지로 변환하고, 상기 제2 학습 이미지와 상기 제4 변환 이미지 사이의 차이값을 비교하여 상기 제2 생성 모듈을 업데이트하고,
    상기 차이값은, 학습 이미지에 대한 변환 이미지의 손실 정도를 수치로 나타낸 값인, 변환 모델 구축 장치.
  6. 제1항에 있어서,
    상기 제1 판별 모듈은,
    상기 제1 변환 이미지를 가짜로, 상기 제2 학습 이미지를 진짜로 판별하도록 설정되고,
    상기 변환 모델 구축 프로그램은,
    상기 제1 판별 모듈에서 상기 제1 변환 이미지가 진짜로 판별될 때까지 상기 제1 변환 이미지를 상기 제1 생성 모듈에 반복 적용하여 상기 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
  7. 제3항에 있어서,
    상기 제2 판별 모듈은,
    상기 제3 변환 이미지를 가짜로, 상기 제1 학습 이미지를 진짜로 판별하도록 설정되고,
    상기 변환 모델 구축 프로그램은,
    상기 제2 판별 모듈에서 상기 제3 변환 이미지가 진짜로 판별될 때까지 상기 제3 변환 이미지를 상기 제2 생성 모듈에 반복 적용하여 상기 제2 생성 모듈을 업데이트하는 것인, 변환 모델 구축 장치.
  8. 제1항에 있어서,
    상기 제1 생성 모듈 및 제2 생성 모듈은 Resnet(Residual neural network) 기반 아키텍처로 구성된 것인, 변환 모델 구축 장치.
  9. 제1 유형의 이미지를 제2 유형으로 변환하는 이미지 변환 장치에 있어서,
    이미지 변환 프로그램이 저장된 메모리; 및
    상기 이미지 변환 프로그램을 실행하는 프로세서를 포함하되,
    상기 이미지 변환 프로그램은,
    제1 유형의 제1 이미지를 변환 모델에 적용하여 제2 유형의 제2 이미지를 생성하는 것이며,
    상기 변환 모델은,
    제1 및 제2 생성 모듈, 제1 및 제2 판별 모듈을 통해 기계 학습되어 상기 제1 유형의 이미지를 상기 제2 유형으로 변환하는 것이며,
    상기 제1 생성 모듈은, 상기 제1 유형의 이미지를 상기 제2 유형으로 가공하는 것이고, 상기 제2 생성 모듈은, 상기 제2 유형의 이미지를 상기 제1 유형으로 가공하는 것이며,
    상기 제1 및 제2 판별 모듈은, 적어도 하나 이상의 입력되는 이미지에 대하여 설정된 조건에 따라 진짜와 가짜를 판단하는 것이고,
    상기 제1 유형은 양전자방출단층촬영법(PET: Positron Emission Tomography)으로 촬영되거나 컴퓨터 단층촬영법(CT: Computerized Tomography)으로 촬영된 이미지 유형이고, 상기 제2 유형은 자기공명영상법(MRI: Magnetic Resonance Imaging)로 촬영된 이미지 유형인, 이미지 변환 장치.
  10. 제9항에 있어서,
    상기 변환 모델은,
    상기 제1 생성 모듈을 통해 제1 유형의 제1 학습 이미지를 제2 유형의 제1 변환 이미지로 변환하고, 상기 제1 판별 모듈에 상기 제1 변환 이미지와 제2 유형의 제2 학습 이미지를 적용하여 상기 제1 변환 이미지가 진짜로 판별되도록 상기 제1 생성 모듈을 업데이트하고,
    상기 제2 생성 모듈을 통해 상기 제1 변환 이미지를 상기 제1 유형의 제2 변환 이미지로 변환하고, 상기 제2 변환 이미지와 상기 제1 학습 이미지를 비교해 상기 제1 생성 모듈을 업데이트하며,
    상기 제2 학습 이미지와 상기 제1 변환 이미지를 비교해 상기 제1 생성 모듈을 업데이트하여 학습되는 것인, 이미지 변환 장치.
  11. 제10항에 있어서,
    상기 변환 모델은,
    상기 제2 생성 모듈을 통해 상기 제2 학습 이미지를 제1 유형의 제3 변환 이미지로 변환하고, 상기 제2 판별 모듈에 상기 제1 학습 이미지와 상기 제3 변환 이미지를 적용하여 상기 제3 변환 이미지가 진짜로 판별되도록 상기 제2 생성 모듈을 업데이트하여 학습되는 것인, 이미지 변환 장치.
  12. 제11항에 있어서,
    상기 변환 모델은,
    상기 제1 생성 모듈을 통해 상기 제3 변환이미지를 상기 제2 유형의 제4 변환 이미지로 변환하고, 상기 제2 학습 이미지와 상기 제4 변환 이미지를 비교해 상기 제2 생성 모듈을 업데이트하여 학습되는 것인, 이미지 변환 장치.
  13. 제11항에 있어서,
    상기 변환 모델은,
    상기 제1 판별 모듈이 상기 제1 변환 이미지를 가짜로, 상기 제2 학습 이미지를 진짜로 판별하도록 설정되고,
    상기 제1 판별 모듈에서 상기 제1 변환 이미지가 진짜로 판별될 때까지 상기 제1 변환 이미지를 상기 제1 생성 모듈에 반복 적용해 상기 제1 생성 모듈을 업데이트하여 학습되는 것인, 이미지 변환 장치.
  14. 제11항에 있어서,
    상기 변환 모델은,
    상기 제2 판별 모듈이, 상기 제3 변환 이미지를 가짜로, 상기 제1 학습 이미지를 진짜로 판별하도록 설정되고,
    상기 제2 판별 모듈에서 상기 제3 변환 이미지가 진짜로 판별될 때까지 상기 제3 변환 이미지를 상기 제2 생성 모듈에 반복 적용해 상기 제2 생성 모듈을 업데이트하여 학습되는 것인, 이미지 변환 장치.
  15. 제11항에 있어서,
    상기 변환 모델은,
    학습 이미지와 변환 이미지 사이의 차이값을 비교해 상기 제1 생성 모듈 또는 상기 제2 생성 모듈을 업데이트하여 학습되는 것이고,
    상기 차이값은, 학습 이미지에 대한 변환 이미지의 손실 정도를 수치로 나타낸 값인, 이미지 변환 장치.
PCT/KR2023/017369 2022-11-03 2023-11-02 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치 WO2024096611A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0144947 2022-11-03
KR1020220144947A KR20240063376A (ko) 2022-11-03 2022-11-03 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치

Publications (1)

Publication Number Publication Date
WO2024096611A1 true WO2024096611A1 (ko) 2024-05-10

Family

ID=90931167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/017369 WO2024096611A1 (ko) 2022-11-03 2023-11-02 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치

Country Status (2)

Country Link
KR (1) KR20240063376A (ko)
WO (1) WO2024096611A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131388A (ja) * 2008-12-02 2010-06-17 Medison Co Ltd 映像整合を行うシステムおよび方法
KR20190137283A (ko) * 2018-06-01 2019-12-11 연세대학교 산학협력단 의료 영상 생성 방법 및 디바이스
KR20220128505A (ko) * 2021-03-11 2022-09-21 한국과학기술연구원 인공지능 기반 mri-ct 영상 변환 방법 및 이를 이용한 초음파 치료 장치
KR20220137215A (ko) * 2021-04-01 2022-10-12 고려대학교 산학협력단 인공지능 기반의 의료 영상 변환 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131388A (ja) * 2008-12-02 2010-06-17 Medison Co Ltd 映像整合を行うシステムおよび方法
KR20190137283A (ko) * 2018-06-01 2019-12-11 연세대학교 산학협력단 의료 영상 생성 방법 및 디바이스
KR20220128505A (ko) * 2021-03-11 2022-09-21 한국과학기술연구원 인공지능 기반 mri-ct 영상 변환 방법 및 이를 이용한 초음파 치료 장치
KR20220137215A (ko) * 2021-04-01 2022-10-12 고려대학교 산학협력단 인공지능 기반의 의료 영상 변환 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Thesis", 15 June 2022, SOGANG UNIVERSITY GRADUATE SCHOOL, KR, article SEOK, EUNYEONG: "Cross-Modality Image Translation from Brain PET/CT to FLAIR Image with GAN", pages: 1 - 36, XP009554909 *

Also Published As

Publication number Publication date
KR20240063376A (ko) 2024-05-10

Similar Documents

Publication Publication Date Title
Kim et al. Prospects of deep learning for medical imaging
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2019143120A1 (ko) 지능형 자동 방사선 치료계획 수립방법 및 시스템
WO2024096611A1 (ko) 변환 모델 구축 장치 및 이를 이용한 이미지 변환 장치
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
US20230238094A1 (en) Machine learning based on radiology report
Nagaoka et al. A deep learning system to diagnose COVID-19 pneumonia using masked lung CT images to avoid AI-generated COVID-19 diagnoses that include data outside the lungs
WO2023008849A1 (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2022177044A1 (ko) 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 x선 영상 생성 장치 및 방법
Giger Medical imaging of COVID-19
Rashidi Ranjbar et al. Autonomous dental treatment planning on panoramic x-ray using deep learning based object detection algorithm
CN114299183A (zh) 一种医疗图像处理方法和系统
WO2017043680A1 (ko) 의료 데이터의 개인 정보 보호를 위한 인공 신경망의 분산 학습 시스템 및 방법
WO2019168310A1 (ko) 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2023176992A1 (ko) 비지도 학습 기반 의료 데이터 분석 장치 및 방법
Zhou et al. A novel approach to form Normal Distribution of Medical Image Segmentation based on multiple doctors’ annotations
WO2024106799A1 (ko) 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2021137371A1 (ko) 딥러닝을 이용한 방사성의약품 분포영상 생성 시스템 및 방법
Nikolov et al. COVID-19 detection with X-Ray input data
WO2023033392A1 (ko) 기계학습 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23886306

Country of ref document: EP

Kind code of ref document: A1