WO2022075641A1 - 인공지능 기반의 의료 영상 합성 장치 및 방법 - Google Patents

인공지능 기반의 의료 영상 합성 장치 및 방법 Download PDF

Info

Publication number
WO2022075641A1
WO2022075641A1 PCT/KR2021/013046 KR2021013046W WO2022075641A1 WO 2022075641 A1 WO2022075641 A1 WO 2022075641A1 KR 2021013046 W KR2021013046 W KR 2021013046W WO 2022075641 A1 WO2022075641 A1 WO 2022075641A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
posture
artificial intelligence
simulated
Prior art date
Application number
PCT/KR2021/013046
Other languages
English (en)
French (fr)
Inventor
안경식
조용원
강창호
박시영
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2022075641A1 publication Critical patent/WO2022075641A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Definitions

  • the present application relates to an apparatus and method for synthesizing a medical image based on artificial intelligence.
  • the present application relates to an artificial intelligence-based magnetic resonance imaging (MRI) synthesis technique for simulating various dynamic postures of the spine.
  • MRI magnetic resonance imaging
  • a magnetic resonance imaging (MRI) device is a device that acquires a tomographic image of a specific part of a subject by using a resonance phenomenon caused by the supply of electromagnetic energy, and has no radiation exposure compared to imaging devices such as X-rays or CT.
  • imaging devices such as X-rays or CT.
  • the MRI apparatus is widely used for accurate disease diagnosis because it three-dimensionally shows not only anatomical structures in the body but also various functional information from a desired angle.
  • MRI magnetic resonance imaging
  • MRI magnetic resonance imaging
  • magnetic resonance imaging (MRI) in various dynamic postures, such as standing can be obtained from magnetic resonance images (MRI) taken in a supine position. technique is required.
  • the present application is intended to solve the problems of the prior art described above, and it is possible to convert a medical image taken limitedly in a specific posture into a virtual synthetic image that is simulated as if taken in various dynamic postures in consideration of the subject's posture or movement.
  • An object of the present invention is to provide an artificial intelligence-based medical image synthesis apparatus and method.
  • the artificial intelligence-based medical image synthesis method is a first learning method in which a predetermined part of the subject is photographed while the subject is in a first posture. Collecting an image, based on the first learning image, when a target image captured based on the first posture is input, based on the target image, in a state where the subject takes a second posture different from the first posture Learning an artificial intelligence model to generate a virtual synthetic image that is simulated as if taken, receiving the target image photographed based on the first posture, and corresponding to the target image based on the artificial intelligence model It may include generating the composite image.
  • the learning of the artificial intelligence model may include learning the artificial intelligence model based on a generative adversarial network algorithm.
  • the artificial intelligence-based medical image synthesis method may include collecting a second learning image obtained by photographing the predetermined part while the subject is in the second posture.
  • the training of the artificial intelligence model may include applying the generative adversarial network algorithm based on the first learning image and the second learning image.
  • the step of learning the artificial intelligence model may include generating the synthesized image corresponding to the second posture based on the first learning image, and determining whether the synthesized image is authentic or not based on the second learning image. can do.
  • the step of training the artificial intelligence model includes a first generator for generating a first simulated image corresponding to the first posture based on the second learning image and a first generator for determining whether the first simulated image is authentic or not. Performing forward learning through a first discriminator and a second generator generating a second simulated image corresponding to the second posture based on the first learning image and determining whether the second simulated image is authentic and performing backward learning through a second discriminator.
  • the performing of the forward learning may be performed in consideration of change information between the second learning image and the first simulated image and geometric information of the predetermined region.
  • the performing of the backward learning may be performed in consideration of the geometric information and change information between the first learning image and the second simulated image.
  • the predetermined region may include a spinal region.
  • the geometric information may include at least one of a degree of lordosis, a height of vertebrae, an angle between vertebrae, and a disk shape.
  • first learning image, the second learning image, and the target image may be magnetic resonance images.
  • the first posture may include a lying posture
  • the second posture may include an upright posture
  • the artificial intelligence-based medical image synthesis method may include displaying at least one of the target image and the synthesized image through a user terminal.
  • the artificial intelligence-based medical image synthesizing apparatus includes a collection unit that collects a first learning image obtained by photographing a predetermined part of the subject in a state in which the subject is in a first posture, the first Based on the learning image, when a target image photographed based on the first posture is input, a virtual composite image simulated as if the subject was photographed in a state where the subject took a second posture different from the first posture based on the target image Receives the target image photographed based on the first posture and a learning unit for learning an artificial intelligence model to generate a generative adversarial network algorithm based on the algorithm, and based on the and a synthesizer for generating the synthesized image corresponding to the image.
  • the collecting unit may collect a second learning image obtained by photographing the predetermined part in a state in which the subject takes the second posture.
  • the learning unit on the basis of the second learning image, a forward direction ( Forward) a forward learning unit for learning, a second generator for generating a second simulated image corresponding to the second posture based on the first learning image, and a second determination for determining whether the second simulated image is authentic It may include a reverse learning unit that performs backward learning through the machine.
  • the predetermined region includes a spine region
  • the learning unit performs the forward learning and the reverse direction in consideration of geometric information including at least one of a lordosis degree, a height of vertebrae, an angle between vertebrae, and a disk shape. learning can be done.
  • an artificial intelligence-based medical image that is limitedly taken in a specific posture can be converted into a virtual synthetic image that is simulated as if taken in various dynamic postures in consideration of the subject's posture or movement.
  • An apparatus and method for synthesizing a medical image may be provided.
  • a virtual composite image obtained by converting a medical image taken in a normal posture to correspond to a dynamic posture without a separate special equipment for obtaining a medical image photographed based on various dynamic postures By providing this, the efficiency and accuracy of diagnosis can be improved.
  • FIG. 1 is a schematic configuration diagram of a medical imaging system including an artificial intelligence-based medical image synthesizing apparatus according to an embodiment of the present application.
  • FIG. 2 is a conceptual diagram for explaining a pre-processing process for a learning image performed by an artificial intelligence-based medical image synthesizing apparatus according to an embodiment of the present application.
  • FIG. 3 is a conceptual diagram for explaining an artificial intelligence model learning process performed by an artificial intelligence-based medical image synthesis apparatus according to an embodiment of the present application.
  • FIG. 4 is a conceptual diagram for explaining an artificial intelligence model learning process based on a generative adversarial network algorithm including forward learning and backward learning.
  • FIG. 5 is a conceptual diagram for explaining a process of learning an artificial intelligence model in consideration of change information between an input training image and an output simulated image.
  • 6 and 7 are diagrams for explaining geometric information of a spinal region considered for learning an artificial intelligence model.
  • FIG. 8 is an operation flowchart of an artificial intelligence-based medical image synthesis method according to an embodiment of the present application.
  • the present application relates to an apparatus and method for synthesizing a medical image based on artificial intelligence.
  • the present application relates to an artificial intelligence-based magnetic resonance imaging (MRI) synthesis technique for simulating various dynamic postures of the spine.
  • MRI magnetic resonance imaging
  • FIG. 1 is a schematic configuration diagram of a medical imaging system including an artificial intelligence-based medical image synthesizing apparatus according to an embodiment of the present application.
  • a medical imaging system 1000 is an artificial intelligence-based medical image synthesizing apparatus 100 (hereinafter, 'medical image synthesizing apparatus 100) according to an embodiment of the present application. '), the medical imaging apparatus 200 and the user terminal 300 may be included.
  • the medical image synthesis apparatus 100 , the medical image photographing apparatus 200 , and the user terminal 300 may communicate with each other through the network 20 .
  • the network 20 refers to a connection structure in which information exchange is possible between each node, such as terminals and servers, and an example of such a network 20 includes a 3rd Generation Partnership Project (3GPP) network, a long-term LTE (LTE) network.
  • 3GPP 3rd Generation Partnership Project
  • LTE long-term LTE
  • Term Evolution Long Term Evolution
  • 5G Fifth Generation
  • WIMAX Worldwide Interoperability for Microwave Access
  • Internet Internet
  • LAN Local Area Network
  • Wireless LAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • wifi network a wireless network
  • Bluetooth a satellite broadcasting network
  • an analog broadcasting network a Digital Multimedia Broadcasting (DMB) network, etc.
  • DMB Digital Multimedia Broadcasting
  • the user terminal 300 is, for example, a smart phone, a smart pad, a tablet PC, and the like and a PCS (Personal Communication System), GSM (Global System for Mobile communication), PDC (Personal Digital Cellular), PHS ( Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminals The same may be any type of wireless communication device.
  • PCS Personal Communication System
  • GSM Global System for Mobile communication
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • the medical imaging apparatus 200 may be a magnetic resonance imaging (MRI) scanner, but is not limited thereto.
  • the medical imaging apparatus 200 may be a computerized tomography (CT) scanner, an X-ray imaging apparatus, an ultrasound imaging apparatus, or the like.
  • CT computerized tomography
  • a medical image (in other words, a target image to be described later) provided to the medical image synthesizing apparatus 100 may include a magnetic resonance imaging (MRI) image, a CT image, an ultrasound image, It may correspond to an X-ray image and the like.
  • a target image 1 obtained by the medical imaging apparatus 200, a first learning image 11 used as a learning data set for building an artificial intelligence model to be described later and the second learning image 12 may be a magnetic resonance imaging (MRI) image.
  • the target image 1 , the first learning image 11 , and the second learning image 12 may be a Digital Imaging and Communications in Medicine (DICOM) image.
  • DICOM Digital Imaging and Communications in Medicine
  • the medical imaging system 1000 may refer to a picture archiving and communication system (PACS) built in connection with a hospital, a medical institution, etc.
  • the medical image synthesizing apparatus 100 is a medical imaging system.
  • a medical image captured by the medical imaging apparatus 100 included in 1000 is acquired as a target image 1 from the medical imaging apparatus 100, and a composite image 2 corresponding to the target image 1 is obtained.
  • the medical image synthesis apparatus 100 may include a collection unit 110 , a learning unit 120 , a synthesis unit 130 , and an output unit 140 .
  • the collection unit 110 may collect a first learning image 11 obtained by photographing a predetermined part of the subject while the subject is in the first posture. Also, the collection unit 110 may collect the second learning image 12 in which a predetermined part is photographed in a state in which the subject takes a second posture different from the first posture. According to an embodiment of the present application, the collection unit 110 collects the first learning image based on the first posture and the second learning image 12 based on the second posture for each of a plurality of subjects, and artificial intelligence to be described later. It can be used as a data set for model training.
  • the collection unit 110 may collect the medical image captured by the medical imaging apparatus 200 as a learning image from the medical imaging apparatus 200 , but is not limited thereto, and the medical imaging system ( 100) may be collecting the learning image through a separate path (eg, an external storage device, an external server, etc.) other than the medical image capturing apparatus 200 in the device.
  • a separate path eg, an external storage device, an external server, etc.
  • the first posture may include a lying posture
  • the second posture may include an upright posture
  • the first posture or the second posture may include a sitting posture, an oblique standing posture, a forward bent posture, a backward bent posture, etc. in addition to a lying posture or an upright posture.
  • the second posture may include various postures other than a lying posture, such as an upright posture, a sitting posture, an oblique standing posture, and a prone posture so that a virtual synthetic image based on the dynamic posture can be generated.
  • the first posture may include a lying posture (Supine) or an oblique posture (Prone), and the second posture may be divided to include an upright posture (Stand).
  • a predetermined region that is a region in which a medical image is captured may include a spine region of the subject, but is not limited thereto.
  • the second learning image 12 for the subject is a medical image in a state in which the subject to be photographed of the first learning image 11 is in a second posture other than the first posture. It may be taken (acquired) based on a separate device other than the medical imaging device 200 provided to perform the imaging (eg, in a state in which the subject wears the aforementioned separate device).
  • FIG. 2 is a conceptual diagram for explaining a pre-processing process for a learning image performed by an artificial intelligence-based medical image synthesizing apparatus according to an embodiment of the present application.
  • the collection unit 110 may perform pre-processing based on brightness information on the collected first and second learning images 11 and 12 .
  • the collection unit 110 may not standardize (normalize) the brightness information range of each of the learning images collected as the first learning image 11 or the second learning image 12, so it can be unified
  • the DICOM image header information may include window width information and window center information.
  • the window width information is (0028, 1051), and the window center information is (0028). , 1050) and the like.
  • the collection unit 110 may calculate a minimum pixel value and a maximum pixel value of each of the training images based on the following equations [1-1] and [1-2].
  • P l may be the minimum pixel value
  • P h may be the maximum pixel value
  • P c may be the central brightness of the input pixel
  • P w may be the width brightness of the input pixel.
  • the collection unit 110 selects or generates a template image for histogram matching from among the training images based on the histogram and brightness information (pixel value) of the collected training images in consideration of the distribution of the histogram of each of the collected training images.
  • the template image may be selected by Equation 2 below, and the collection unit 110 may perform histogram matching based on the selected template image.
  • FIG. 3 is a conceptual diagram for explaining an artificial intelligence model learning process performed by an artificial intelligence-based medical image synthesis apparatus according to an embodiment of the present application.
  • the learning unit 120 includes a first learning image (refer to FIG. 3 , 'MRI-Supine/Prone', 11 ) and a second learning image (refer to FIG. 3 , 'MRI-Stand'). , 12) based on at least one of, when a target image 1 taken based on a first posture is input, based on the target image 1 It is possible to train an artificial intelligence model that generates a virtual synthetic image 2 that is simulated as if it were.
  • the learning unit 120 generates a second posture-based virtual composite image 2 from the input first posture-based target image 1 based on a generative adversarial network algorithm.
  • AI models can be trained.
  • the learning unit 120 generates a virtual simulated image (image) based on the collected learning image and the generated A discriminator is included to determine the authenticity of the simulated image (image), and the generator and discriminator are repeatedly competed so that the generator after learning is sent to the discriminator. It may be learned to generate well-replicated images to a level where it is difficult to determine the authenticity of the image.
  • the learning unit 120 is based on a generative adversarial network algorithm, and the generator is a first learning image 11 captured based on a first posture. generates a synthesized image 2 corresponding to the second posture based on the It may be to repeat the process.
  • the learning unit 120 is to learn the artificial intelligence model based on a generative adversarial network algorithm including a forward cycle and a backward cycle.
  • a generative adversarial network algorithm including a forward cycle and a backward cycle may be otherwise referred to as CycleGAN or the like.
  • FIG. 4 is a conceptual diagram for explaining an artificial intelligence model learning process based on a generative adversarial network algorithm including forward learning and backward learning.
  • the learning unit 120 includes a first generator 1211 that generates a first simulated image 31 corresponding to a first posture based on the second learning image 12 and the generated first simulated image. Based on the first learning image 11 and the forward learning unit 121 that performs forward learning through the first discriminator 1212 that determines whether the image 31 is authentic or not, corresponding to the second posture A reverse learning unit that performs backward learning through the second generator 1221 that generates the second simulated image 32 and the second determiner 1222 that determines whether the second simulated image 32 is authentic or not. (122).
  • the first determiner 1212 of the forward learning unit 121 actually determines whether the first simulated image 31 corresponding to the first posture generated by the first generator 1211 is authentic or not in the first posture. Authenticity is determined based on the actual image taken based on (refer to FIG. 4, corresponding to 'real image (Supine/Prone)'), but the actual image used for authenticity determination is obtained in advance It may mean at least a part of the first learning image 11 .
  • the second discriminator 1222 of the reverse learning unit 122 actually determines the authenticity of the second simulated image 32 corresponding to the second posture generated by the second generator 1221 based on the second posture. Authenticity is determined based on the captured real image (refer to FIG. 4, which corresponds to the 'real image (Stand)'), but the actual image used for authenticity determination is the second learning method secured in advance. It may mean at least a part of the image 12 .
  • the learning unit 120 repeats a process of repeatedly generating a simulated virtual composite image as if it was photographed in a state taking the first posture based on the input second posture-based image, and the authenticity of the generated synthetic image.
  • Forward learning and the input first cycle to more precisely perform the virtual synthesis process from the second posture-based image to the first posture-based image through competitive repetition of the process of repeatedly determining whether or not Competitive iteration of the process of repeatedly generating a simulated virtual composite image as if taken in the second posture based on the posture-based image and the process of repeatedly determining the authenticity of the generated synthetic image
  • the artificial intelligence model in the present application converts a medical image taken while the subject in the first posture to a virtual synthetic image that is simulated as if the subject was taken in the second posture, and vice versa. All operations of converting a medical image captured in the second posture to a virtual synthetic image that is simulated as if the subject was captured in the first posture may be performed.
  • the artificial intelligence model built through the learning unit 120 reflects the change in morphological characteristics associated with a predetermined part as the subject takes the first posture or the second posture in various dynamic postures. It becomes possible to convert (generate) a virtual synthetic image (replica image).
  • the learning unit 120 builds an AI model capable of both bidirectional conversion (eg, synthesis and recovery) between the first posture-based image and the second posture-based image, so that one-way (eg, For example, when only learning to perform conversion of a first posture-based medical image to a second posture-based medical image in a single direction) is performed, the Generator only deceives the Discriminator It is possible to prevent the problem of outputting a low-level simulated image that does not take into account changes in morphological characteristics according to the subject's posture in a predetermined area.
  • the Generator only deceives the Discriminator It is possible to prevent the problem of outputting a low-level simulated image that does not take into account changes in morphological characteristics according to the subject's posture in a predetermined area.
  • the learning unit 120 includes information on changes between the learning image collected by the collection unit 110 and the simulated image generated by the generator, and a predetermined region that is a region to be photographed. Learning of the aforementioned artificial intelligence model can be performed in consideration of the geometric information of
  • the forward learning unit 121 performs forward learning in consideration of change information between the second learning image 12 and the first simulated image 31 and geometric information of a predetermined region
  • the reverse learning unit 122 may perform reverse learning in consideration of change information between the first learning image 11 and the second simulated image 32 and geometric information of a predetermined region.
  • FIG. 5 is a conceptual diagram for explaining a process of learning an artificial intelligence model in consideration of change information between an input training image and an output simulated image.
  • the learning unit 120 utilizes a plurality of types of activation maps derived based on a down sampling result of the encoder side (or a plurality of types of attention maps) (Utilizing attention map) to determine the amount of change between the input training image (Source) and the output virtual simulation image (Destination) (Multi-Class Activation Map) By reflecting in the function, it is possible to perform learning in consideration of change information between the learning image and the simulated image.
  • a plurality of types of activation map may include a gradient-class activation map (Grad-CAM) and Score-CAM, such a multi-class activation map (Multi-Class Activation Map) ) and the associated multi-attention map (M-attentionMap) can be derived through Equation 3 below.
  • Grad-CAM gradient-class activation map
  • Score-CAM Score-CAM
  • M-attentionMap multi-attention map
  • such a multi-class activation map may be utilized to derive an evidence region, which is a main transformed region in the process of generating a virtual simulated image based on an input medical image.
  • 6 and 7 are diagrams for explaining geometric information of a spinal region considered for learning an artificial intelligence model.
  • FIG. 6 shows a change in geometrical information of a predetermined region according to a subject's posture, etc., which is identified through a medical image for each subject's posture corresponding to the sagittal plane
  • FIG. 7 is a medical image for each subject's posture corresponding to the axial plane. It shows the change of geometrical information of a predetermined part according to the posture of the subject, etc.
  • a predetermined region on which a medical image is captured may include a spine region of a subject.
  • geometrical information on the spinal region which is a predetermined region, includes the degree of lumbar lordosis, the degree of segmental lordosis, the height of vertebrae (such as lumbar vertebrae) (h 1 and h 2 in FIG. 6 ), and the angle between the vertebrae ( FIG. 6 of ⁇ 1 and ⁇ 2 ) and at least one of a disk shape.
  • geometric information on a spinal region which is a predetermined region, may include a change in the width of a neural foramen for each level according to a change in the subject's posture, a change in the degree of disc prolapse, and the like.
  • geometric information of a predetermined region eg, spine region
  • loss function of a predetermined region in artificial intelligence model learning.
  • a term (L Geometry ) corresponding to a partial change of geometric information of a specific region is included.
  • the partial change of geometric information is measured (evaluated) differently based on the subject's gender, body type information (eg, BMI information, etc.), the degree of pressure applied to a predetermined part for each posture, etc. ) may be
  • the synthesizer 130 may receive the target image 1 captured based on the first posture. For example, the synthesizer 130 may receive the target image 1 from the medical imaging apparatus 200 .
  • the synthesizer 130 may generate the synthesized image 2 based on the second posture corresponding to the received target image 1 based on the artificial intelligence model built by the learning unit 120 . Also, if necessary, when the received target image 1 is a medical image based on the second posture, the synthesizing unit 130 virtual synthesizes the target image 1 based on the first posture based on the artificial intelligence model. It can operate to convert to image (2).
  • the output unit 140 may output at least one of the target image 1 and the synthesized image 2 generated by the synthesizer 130 .
  • the output unit 140 may display at least one of the target image 1 and the synthesized image 2 through a display provided in the medical image synthesizing apparatus 100 or network with the medical image synthesizing apparatus 100 . It is transmitted to the user terminal 300 connected (interlocked) through ( 20 ), and at least one of the target image 1 and the composite image 2 can be displayed through the user terminal 300 .
  • the output unit 140 generates a partial image (crop image) corresponding to a local diagnosis area among regions of a predetermined region reflected in the target image 1 and the composite image 2 . and output the generated partial image (Crop image).
  • the output unit 140 provides a multi-class activation map for the target image 1 and the synthesized image 2 derived based on the artificial intelligence model. It may be to select a region to output a partial image (crop image) based on the shape, position, and the like of . In other words, the output unit 140 determines a diagnosis region inside a predetermined region where a partial image (crop image) is to be generated based on the evidence region derived based on the above-described multi-class activation map. can
  • FIG. 8 is an operation flowchart of an artificial intelligence-based medical image synthesis method according to an embodiment of the present application.
  • the artificial intelligence-based medical image synthesizing method illustrated in FIG. 8 may be performed by the medical image synthesizing apparatus 100 described above. Therefore, even if omitted below, the description of the medical image synthesizing apparatus 100 may be equally applied to the description of the artificial intelligence-based medical image synthesizing method.
  • the collection unit 110 may collect a first learning image 11 obtained by photographing a predetermined part of the subject while the subject is in the first posture.
  • the collection unit 110 may collect the second learning image 12 in which a predetermined part is photographed in a state in which the subject takes a second posture different from the first posture.
  • the collection unit 110 may perform pre-processing based on brightness information on the collected first and second learning images 11 and 12 .
  • step S14 the learning unit 120 receives the target image 1 captured based on the first posture based on at least one of the first learning image 11 and the second learning image 12 . Then, based on the target image (1), it is possible to train an artificial intelligence model that generates a virtual synthetic image (2) that is simulated as if the subject was photographed in a state in which the subject took a second posture different from the first posture.
  • step S14 the learning unit 120 learns the artificial intelligence model based on a generative adversarial network algorithm, and synthesizes corresponding to the second posture based on the first learning image 11 .
  • An artificial intelligence model can be trained by repeatedly performing a process of generating an image (simulated image) and determining the authenticity of the generated synthetic image (simulated image) based on the second learning image 12 .
  • step S14 the learning unit 120, based on the second learning image 12, the first generator 1211 and the first simulated image ( 31) for generating a second simulated image 32 corresponding to the second posture based on the forward learning and the first learning image 11 through the first discriminator 1212 to determine the authenticity of
  • the AI model can be trained by cyclically performing backward learning through the second generator 1221 and the second discriminator 1222 that determines the authenticity of the second simulated image 32 .
  • step S14 the forward learning unit 121 considers the change information between the second learning image 12 and the first simulated image 31 generated for each repeated trial and the change of geometric information of a predetermined region. Forward learning can be performed.
  • the reverse learning unit 122 considers the change information between the first learning image 11 and the second simulated image 32 generated for each repeated trial and the change of geometric information of a predetermined part. Backward learning can be performed.
  • step S15 the synthesizing unit 130 may receive the target image 1 photographed based on the first posture.
  • the synthesizing unit 130 may generate a synthesized image 2 corresponding to the received target image 1 based on the artificial intelligence model built in step S14 .
  • the synthesized image 2 generated in step S16 may be a virtual image generated by simulating the target image 1 as if it was photographed in the second posture.
  • step S17 the output unit 140 generates a partial image (crop image) corresponding to a localized diagnosis area among regions of a predetermined region based on at least one of the target image 1 and the generated synthesized image 2 . ) can be created.
  • a partial image crop image
  • the output unit 140 may display at least one of the target image 1 and the composite image 2 displayed so that a partial image (a crop image) corresponding to the diagnosis region can be identified.
  • steps S11 to S18 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application.
  • some steps may be omitted if necessary, and the order between steps may be changed.
  • the artificial intelligence-based medical image synthesis method may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the aforementioned artificial intelligence-based medical image synthesis method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

인공지능 기반의 의료 영상 합성 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법은, 대상자가 제1자세를 취한 상태에서 상기 대상자의 소정의 부위를 촬영한 제1학습 영상을 수집하는 단계, 상기 제1학습 영상에 기초하여, 상기 제1자세에 기반하여 촬영된 대상 영상이 입력되면 상기 대상 영상에 기초하여 대상자가 상기 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 생성하는 인공지능 모델을 학습시키는 단계, 상기 제1자세에 기반하여 촬영된 상기 대상 영상을 수신하는 단계 및 상기 인공지능 모델에 기초하여 상기 대상 영상에 대응하는 상기 합성 영상을 생성하는 단계를 포함할 수 있다.

Description

인공지능 기반의 의료 영상 합성 장치 및 방법
본원은 인공지능 기반의 의료 영상 합성 장치 및 방법에 관한 것이다. 예를 들면, 본원은 척추의 다양한 동적 자세들을 모사하기 위한 인공지능 기반의 자기공명영상(MRI) 합성 기법에 관한 것이다.
일반적으로, 자기공명영상(MRI) 장치는 전자파에너지의 공급에 따른 공명현상을 이용하여 대상자의 특정 부위에 대한 단층 이미지를 획득하는 장치로서, X선이나 CT와 같은 촬영 기기에 비해 방사선 피폭이 없고 단층 이미지를 비교적 용이하게 얻을 수 있다는 이점이 있다. 또한, MRI 기기는 몸 속의 해부학적 구조뿐만 아니라 다양한 기능적 정보 등을 원하는 각도에서 입체적으로 보여주기 때문에 정확한 질병 진단을 위해서 널리 이용되고 있다.
그러나, 일반적으로 척추 부위를 대상으로 촬영되는 자기공명영상(MRI)은 대상자가 누운 자세를 취한 상태에서 촬영되는 반면, 척추는 대상자의 실제 자세나 움직임에 따라 그 모양이 크게 변화하게 되기 때문에, 환자가 서있거나 앉아있을 때와 누운 자세일 때의 척추 내부의 형태에는 큰 차이가 존재하게 된다.
이와 관련하여, 누운 자세로만 촬영되는 자기공명영상(MRI)이 대상자의 자세나 움직임에 따른 척추의 동적 특성을 실질적으로 반영하지 못하는 한계로 인하여 척추 MRI 만으로 환자의 실제 증상을 설명하기 어려운 경우가 빈번하게 발생하게 된다.
따라서, 임상의와 영상의학과 전문의 등의 진단과 치료 계획 수립을 보조할 수 있도록 서있는 자세 등 다양한 동적 자세에서의 자기공명영상(MRI)을 누운 자세에서 촬영된 자기공명영상(MRI)으로부터 획득할 수 있는 기법이 요구된다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1929127호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 특정한 자세로 제한적으로 촬영되는 의료 영상을 대상자의 자세나 움직임을 고려하여 다양한 동적 자세에서 촬영된 것처럼 모사되는 가상의 합성 영상으로 변환할 수 있는 인공지능 기반의 의료 영상 합성 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법은, 대상자가 제1자세를 취한 상태에서 상기 대상자의 소정의 부위를 촬영한 제1학습 영상을 수집하는 단계, 상기 제1학습 영상에 기초하여, 상기 제1자세에 기반하여 촬영된 대상 영상이 입력되면 상기 대상 영상에 기초하여 대상자가 상기 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 생성하는 인공지능 모델을 학습시키는 단계, 상기 제1자세에 기반하여 촬영된 상기 대상 영상을 수신하는 단계 및 상기 인공지능 모델에 기초하여 상기 대상 영상에 대응하는 상기 합성 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시킬 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법은, 대상자가 상기 제2자세를 취한 상태에서 상기 소정의 부위를 촬영한 제2학습 영상을 수집하는 단계를 포함할 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 상기 제1학습 영상 및 상기 제2학습 영상에 기초하여 상기 생성적 대립 신경망(Generative Adversarial Network) 알고리즘을 적용할 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 상기 합성 영상을 생성하고, 상기 합성 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별할 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 상기 제2학습 영상에 기초하여 상기 제1자세에 대응하는 제1모사 영상을 생성하는 제1생성기 및 상기 제1모사 영상의 진위 여부를 판단하는 제1판별기를 통한 순방향(Forward) 학습을 수행하는 단계 및 상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 제2모사 영상을 생성하는 제2생성기 및 상기 제2모사 영상의 진위 여부를 판단하는 제2판별기를 통한 역방향(Backward) 학습을 수행하는 단계를 포함할 수 있다.
또한, 상기 순방향(Forward) 학습을 수행하는 단계는, 상기 제2학습 영상과 상기 제1모사 영상 사이의 변화 정보 및 상기 소정의 부위의 기하학적 정보를 고려하여 수행될 수 있다.
또한, 상기 역방향(Backward) 학습을 수행하는 단계는, 상기 제1학습 영상과 상기 제2모사 영상 사이의 변화 정보 및 상기 기하학적 정보를 고려하여 수행될 수 있다.
또한, 상기 소정의 부위는 척추 영역을 포함할 수 있다.
또한, 상기 기하학적 정보는, 전만 정도, 척추뼈의 높이, 척추뼈 사이의 각도 및 디스크 형상 중 적어도 하나를 포함할 수 있다.
또한, 상기 제1학습 영상, 상기 제2학습 영상 및 상기 대상 영상은 자기공명영상일 수 있다.
또한, 상기 제1자세는 누운 자세를 포함하고, 상기 제2자세는 바로 선 자세를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법은, 상기 대상 영상 및 상기 합성 영상 중 적어도 하나를 사용자 단말을 통해 표시하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치는, 대상자가 제1자세를 취한 상태에서 상기 대상자의 소정의 부위를 촬영한 제1학습 영상을 수집하는 수집부, 상기 제1학습 영상에 기초하여, 상기 제1자세에 기반하여 촬영된 대상 영상이 입력되면 상기 대상 영상에 기초하여 대상자가 상기 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 생성하는 인공지능 모델을 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 학습시키는 학습부 및 상기 제1자세에 기반하여 촬영된 상기 대상 영상을 수신하고, 상기 인공지능 모델에 기초하여 상기 대상 영상에 대응하는 상기 합성 영상을 생성하는 합성부를 포함할 수 있다.
또한, 상기 수집부는, 대상자가 상기 제2자세를 취한 상태에서 상기 소정의 부위를 촬영한 제2학습 영상을 수집할 수 있다.
또한, 상기 학습부는, 상기 제2학습 영상에 기초하여 상기 제1자세에 대응하는 제1모사 영상을 생성하는 제1생성기 및 상기 제1모사 영상의 진위 여부를 판단하는 제1판별기를 통한 순방향(Forward) 학습을 수행하는 순방향 학습부 및 상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 제2모사 영상을 생성하는 제2생성기 및 상기 제2모사 영상의 진위 여부를 판단하는 제2판별기를 통한 역방향(Backward) 학습을 수행하는 역방향 학습부를 포함할 수 있다.
또한, 상기 소정의 부위는 척추 영역을 포함하고, 상기 학습부는, 전만 정도, 척추뼈의 높이, 척추뼈 사이의 각도 및 디스크 형상 중 적어도 하나를 포함하는 기하학적 정보를 고려하여 상기 순방향 학습 및 상기 역방향 학습을 수행할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 특정한 자세로 제한적으로 촬영되는 의료 영상을 대상자의 자세나 움직임을 고려하여 다양한 동적 자세에서 촬영된 것처럼 모사되는 가상의 합성 영상으로 변환할 수 있는 인공지능 기반의 의료 영상 합성 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 다양한 동적 자세에 기반하여 촬영되는 의료 영상을 획득하기 위한 별도의 특수 장비 없이도, 통상적인 자세로 촬영되는 의료 영상을 동적 자세에 대응되도록 변환한 가상의 합성 영상을 제공함으로써 진단의 효율성과 정확성을 향상시킬 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 동적 자세 기반의 합성 영상을 임상의, 영상의학과 전문의 등의 의료진에게 풍부하게 제공함으로써 진단 및 치료 계획 수립 과정을 보조할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치를 포함하는 의료 영상 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치에 의해 수행되는 학습 영상에 대한 전처리 과정을 설명하기 위한 개념도이다.
도 3은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치에 의해 수행되는 인공지능 모델 학습 과정을 설명하기 위한 개념도이다.
도 4는 순방향(Forward) 학습 및 역방향(Backward) 학습을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘 기반의 인공지능 모델 학습 과정을 설명하기 위한 개념도이다.
도 5는 입력된 학습 영상과 출력되는 모사 영상 사이의 변화 정보를 고려하여 인공지능 모델을 학습시키는 과정을 설명하기 위한 개념도이다.
도 6 및 도 7은 인공지능 모델의 학습에 고려되는 척추 영역의 기하학적 정보를 설명하기 위한 도면이다.
도 8은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능 기반의 의료 영상 합성 장치 및 방법에 관한 것이다. 예를 들면, 본원은 척추의 다양한 동적 자세들을 모사하기 위한 인공지능 기반의 자기공명영상(MRI) 합성 기법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치를 포함하는 의료 영상 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 의료 영상 시스템(1000)은, 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치(100)(이하, '의료 영상 합성 장치(100)'라 한다.), 의료 영상 촬영 장치(200) 및 사용자 단말(300)을 포함할 수 있다.
의료 영상 합성 장치(100), 의료 영상 촬영 장치(200) 및 사용자 단말(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
본원의 일 실시예에 따르면, 의료 영상 촬영 장치(200)는 자기공명영상(Magnetic Resonance Imaging, MRI) 스캐너일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 의료 영상 촬영 장치(200)는 컴퓨터단층촬영(Computerized Tomography, CT) 스캐너, X-선 촬영 장치, 초음파 영상 촬영 장치 등일 수 있다. 또한, 의료 영상 촬영 장치(200)의 유형에 따라 의료 영상 합성 장치(100)로 제공되는 의료 영상(달리 말해, 후술하는 대상 영상 등)은 자기공명영상(MRI) 영상, CT 이미지, 초음파 영상, X-선 영상 등에 해당할 수 있다.
구체적으로, 본원의 일 실시예에 따르면, 의료 영상 촬영 장치(200)에 의해 획득되는 대상 영상(1), 후술하는 인공지능 모델의 구축을 위한 학습 데이터 셋으로 활용되는 제1학습 영상(11) 및 제2학습 영상(12)은 자기공명영상(MRI) 영상일 수 있다. 또한, 대상 영상(1), 제1학습 영상(11), 제2학습 영상(12) 등은 DICOM(Digital Imaging and Communications in Medicine) 이미지일 수 있다.
또한, 의료 영상 시스템(1000)은 병원, 의료기관 등과 연계하여 구축되는 의료 영상 저장/전송 시스템(Picture Archiving and Communication System, PACS)을 지칭하는 것일 수 있으며, 의료 영상 합성 장치(100)는 의료 영상 시스템(1000)에 포함되는 의료 영상 촬영 장치(100)에 의해 촬영된 의료 영상을 의료 영상 촬영 장치(100)로부터 대상 영상(1)으로서 획득하여, 대상 영상(1)에 대응하는 합성 영상(2)을 출력하는 별도의 디바이스로 구현되거나 의료 영상 촬영 장치(100)에 탑재되는 형태(예를 들면, 의료 영상 촬영 장치(100)에 설치되는 소프트웨어, 프로그램 형태 등)로 구현되는 것일 수 있다.
한편, 도 1을 참조하면, 의료 영상 합성 장치(100)는 수집부(110), 학습부(120), 합성부(130) 및 출력부(140)를 포함할 수 있다.
수집부(110)는 대상자가 제1자세를 취한 상태에서 대상자의 소정의 부위를 촬영한 제1학습 영상(11)을 수집할 수 있다. 또한, 수집부(110)는 대상자가 제1자세와 상이한 제2자세를 취한 상태에서 소정의 부위를 촬영한 제2학습 영상(12)을 수집할 수 있다. 본원의 일 실시예에 따르면, 수집부(110)는 복수의 대상자 각각에 대하여 제1자세 기반의 제1학습 영상 및 제2자세 기반의 제2학습 영상(12)을 함께 수집하여 후술하는 인공지능 모델의 학습을 위한 데이터 셋으로 활용할 수 있다. 또한, 수집부(110)는 의료 영상 촬영 장치(200)에 의해 촬영된 의료 영상을 학습 영상으로서 의료 영상 촬영 장치(200)로부터 수집하는 것일 수 있으나, 이에만 한정되는 것은 아니며, 의료 영상 시스템(100) 내의 의료 영상 촬영 장치(200) 외의 별도의 경로(예를 들면, 외부 저장 장치, 외부 서버 등)로 학습 영상을 수집하는 것일 수 있다.
본원의 실시예에 관한 설명에서, 제1자세는 누운 자세를 포함하고, 제2자세는 바로 선 자세를 포함할 수 있다. 또한, 본원의 구현예에 따라 제1자세 또는 제2자세는 누운 자세나 바로 선 자세 외에 앉은 자세, 비스듬히 선 자세, 앞으로 구부린 자세, 뒤로 구부린 자세 등을 포함할 수 있다. 예시적으로, 의료 영상 합성 장치(100)를 통해 대상자가 누운 자세를 취한 상태에서 주로 촬영되는 자기공명영상(MRI) 타입의 의료 영상 촬영 장치(100)의 촬영 환경 특성을 고려하여 누운 자세 이외의 동적 자세를 기반으로 한 가상의 합성 영상을 생성할 수 있도록 제2자세는 바로 선 자세, 앉은 자세, 비스듬히 서있는 자세, 엎드린 자세 등 누운 자세가 아닌 다양한 자세를 포함하는 것일 수 있다. 다른 예로, 본원의 구현예에 따라 제1자세가 누운 자세(Supine) 또는 비스듬한 자세(Prone)를 포함하고, 제2자세가 바로 선 자세(Stand)를 포함하도록 구분되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 의료 영상이 촬영되는 영역인 소정의 부위는 대상자의 척추 영역을 포함할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 대상자에 대한 제2학습 영상(12)은 제1학습 영상(11)의 촬영 대상인 대상자가 제1자세 외의 자세인 제2자세를 취한 상태에서 의료 영상을 촬영할 수 있도록 마련되는 의료 영상 촬영 장치(200) 외의 별도의 장치에 기반하여(예를 들면, 대상자가 전술한 별도의 장치를 착용한 상태에서) 촬영(획득)되는 것일 수 있다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치에 의해 수행되는 학습 영상에 대한 전처리 과정을 설명하기 위한 개념도이다.
도 2를 참조하면, 수집부(110)는 수집된 제1학습 영상(11) 및 제2학습 영상(12)에 대한 밝기 정보 기반의 전처리(Pre-processing)를 수행할 수 있다.
구체적으로, 수집부(110)는, 제1학습 영상(11) 또는 제2학습 영상(12)으로서 수집된 학습 영상 각각의 밝기 정보 범위(Range)가 표준화(정규화)되지 않을 수 있으므로, 이를 통일적으로 처리하기 위하여, 수집된 학습 영상 각각의 DICOM 이미지 헤더 정보를 기초로, 최소 밝기 및 최대 밝기를 결정함으로써 학습 영상에 대한 밝기 정보 범위(Range)를 표준화(정규화)할 수 있다. 예시적으로, DICOM 이미지 헤더 정보에는 윈도우 넓이(Window Width) 정보 및 윈도우 중심(Window Center) 정보가 포함될 수 있으며, 예시적으로, 윈도우 넓이 정보는 (0028, 1051)이고, 윈도우 중심 정보는 (0028, 1050) 등일 수 있다.
또한, 수집부(110)는 하기 식 [1-1] 및 [1-2]에 기초하여 학습 영상 각각의 최소 픽셀값 및 최대 픽셀값을 연산할 수 있다.
[식 1-1]
Figure PCTKR2021013046-appb-I000001
[식 1-2]
Figure PCTKR2021013046-appb-I000002
여기서, Pl은 최소 픽셀값이고, Ph는 최대 픽셀값이고, Pc는 입력 픽셀의 중심 밝기이고, Pw는 입력 픽셀의 너비 밝기일 수 있다.
또한, 수집부(110)는 수집된 학습 영상 각각의 히스토그램의 분포를 고려하여 수집된 학습 영상들의 히스토그램 및 밝기 정보(픽셀값)에 기초하여 히스토그램 매칭을 위한 템플릿 이미지를 학습 영상 중에서 선택하거나 생성할 수 있다. 구체적으로, 템플릿 이미지는 하기 식 2에 의해 선택될 수 있으며, 수집부(110)는 선택된 템플릿 이미지에 기초하여 히스토그램 매칭을 수행할 수 있다.
[식 2]
Figure PCTKR2021013046-appb-I000003
도 3은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 장치에 의해 수행되는 인공지능 모델 학습 과정을 설명하기 위한 개념도이다.
도 3을 참조하면, 학습부(120)는 제1학습 영상(도 3을 참조하면, 'MRI-Supine/Prone', 11) 및 제2학습 영상(도 3을 참조하면, 'MRI-Stand', 12) 중 적어도 하나에 기초하여, 제1자세에 기반하여 촬영된 대상 영상(1)이 입력되면 대상 영상(1)에 기초하여 대상자가 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상(2)을 생성하는 인공지능 모델을 학습시킬 수 있다.
구체적으로, 학습부(120)는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 입력된 제1자세 기반의 대상 영상(1)으로부터 제2자세 기반의 가상의 합성 영상(2)을 생성하는 인공지능 모델을 학습시킬 수 있다.
여기서, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘은, 생성기(Generator)와 판별기(Discriminator)가 경쟁하면서 학습이 이루어져 실제와 흡사한 결과물(예를 들면, 이미지, 동영상, 음성 등)을 자동으로 만들어 내도록 하는 기계학습(Machine Learning) 방식의 하나로, 본원의 일 실시예에 따르면, 학습부(120)는 수집된 학습 영상을 기초로 가상의 모사 영상(이미지)을 만드는 생성기(Generator)와 생성된 모사 영상(이미지)의 진위를 가리는 판별기(Discriminator)를 포함하고, 이러한 생성기(Generator)와 판별기(Discriminator)가 반복적으로 경쟁하도록 하여 학습이 진행된 후의 생성기(Generator)가 판별기(Discriminator)에 의해 진위를 가리기 힘든 수준까지 잘 모사된 영상을 생성하도록 학습되는 것일 수 있다.
즉, 본원의 일 실시예에 따르면, 학습부(120)는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여, 생성기(Generator)가 제1자세에 기반하여 촬영된 제1학습 영상(11)에 기초하여 제2자세에 대응하는 합성 영상(2)을 생성하고, 판별기(Discriminator)가 제2자세에 대응하는 합성 영상(2)의 진위 여부를 제2학습 영상(12)에 기초하여 판별하는 과정을 반복 수행하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 학습부(120)는 순방향(Forward) 사이클 및 역방향(Backward) 사이클을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 인공지능 모델을 학습시키는 것일 수 있다. 여기서, 순방향(Forward) 사이클 및 역방향(Backward) 사이클을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘은 CycleGAN 등으로 달리 지칭될 수 있다.
도 4는 순방향(Forward) 학습 및 역방향(Backward) 학습을 포함하는 생성적 대립 신경망(Generative Adversarial Network) 알고리즘 기반의 인공지능 모델 학습 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, 학습부(120)는 제2학습 영상(12)에 기초하여 제1자세에 대응하는 제1모사 영상(31)을 생성하는 제1생성기(1211) 및 생성된 제1모사 영상(31)의 진위 여부를 판단하는 제1판별기(1212)를 통한 순방향(Forward) 학습을 수행하는 순방향 학습부(121) 및 제1학습 영상(11)에 기초하여 제2자세에 대응하는 제2모사 영상(32)을 생성하는 제2생성기(1221) 및 제2모사 영상(32)의 진위 여부를 판단하는 제2판별기(1222)를 통한 역방향(Backward) 학습을 수행하는 역방향 학습부(122)를 포함할 수 있다.
구체적으로, 순방향 학습부(121)의 제1판별기(1212)는 제1생성기(1211)에 의해 생성된 제1자세에 대응하는 제1모사 영상(31)의 진위 여부를 실제로 제1자세에 기반하여 촬영된 실제 영상(도 4를 참조하면, '실제 영상(Supine/Prone)'에 대응된다.)에 기초하여 진위 여부의 판별을 수행하되, 여기서 진위 판별에 활용되는 실제 영상은 미리 확보된 제1학습 영상(11) 중 적어도 일부를 의미하는 것일 수 있다.
마찬가지로, 역방향 학습부(122)의 제2판별기(1222)는 제2생성기(1221)에 의해 생성된 제2자세에 대응하는 제2모사 영상(32)의 진위 여부를 실제로 제2자세에 기반하여 촬영된 실제 영상(도 4를 참조하면, '실제 영상(Stand)'에 대응된다.)에 기초하여 진위 여부의 판별을 수행하되, 여기서 진위 판별에 활용되는 실제 영상은 미리 확보된 제2학습 영상(12) 중 적어도 일부를 의미하는 것일 수 있다.
종합하면, 학습부(120)는 입력된 제2자세 기반의 영상을 기초로 제1자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 반복하여 생성하는 과정과, 생성된 합성 영상의 진위 여부를 반복하여 판별하는 과정의 경쟁적인 반복 수행을 통해 제2자세 기반의 영상의 제1자세 기반의 영상으로의 가상 합성 프로세스를 보다 정밀하게 수행하도록 하는 순방향 학습(Forward Cycle) 및 입력된 제1자세 기반의 영상을 기초로 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 반복하여 생성하는 과정과, 생성된 합성 영상의 진위 여부를 반복하여 판별하는 과정의 경쟁적인 반복 수행을 통해 제1자세 기반의 영상의 제2자세 기반의 영상으로의 가상 합성 프로세스를 보다 정밀하게 수행하도록 하는 역방향 학습(Backward Cycle)을 순환하여 수행할 수 있다.
상술한 바와 같이 각기 반대되는 방향으로의 영상 변환(합성)을 위한 두 가지의 구분되는 학습 사이클이 반복되는 생성적 대립 신경망(예를 들면, CycleGAN) 기반의 인공지능 모델의 학습을 통해 학습이 완료된 본원에서의 인공지능 모델은 대상자가 제1자세를 취한 상태에서 촬영된 의료 영상을 해당 대상자가 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상으로 변환하는 동작과 이와 반대되게 대상자가 제2자세를 취한 상태에서 촬영된 의료 영상을 해당 대상자가 제1자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상으로 변환하는 동작을 모두 수행할 수 있다.
이렇듯, 학습부(120)를 통해 구축되는 인공지능 모델은 대상자가 제1자세 또는 제2자세를 취함에 따라 소정의 부위와 연계된 형태학적(morphological) 특징의 변화를 반영하여 다양한 동적 자세에서의 가상의 합성 영상(모사 영상)을 변환(생성)할 수 있게 된다. 이와 관련하여, 학습부(120)가 제1자세 기반의 영상과 제2자세 기반의 영상 사이의 양방향 변환(예를 들면, 합성 및 복구)이 모두 가능한 인공지능 모델을 구축함으로써, 단방향(예를 들면, 제1자세 기반의 의료 영상을 제2자세 기반의 의료 영상으로 변환하는 단일 방향)으로의 변환만을 수행하도록 하는 학습만을 진행하는 경우, 생성기(Generator)가 오직 판별기(Discriminator)를 속이기 위하여 소정의 부위의 대상자의 자세에 따른 형태학적 특징 변화를 고려하지 못하는 낮은 수준의 모사 영상을 출력하게 되는 문제를 방지할 수 있다.
또한, 본원의 일 실시예에 따르면, 학습부(120)는 수집부(110)에 의해 수집된 학습 영상과 생성기(Generator)에 의해 생성되는 모사 영상 사이의 변화 정보 및 촬영 대상 영역인 소정의 부위의 기하학적(Geometric) 정보를 고려하여 전술한 인공지능 모델의 학습을 수행할 수 있다.
달리 말해, 순방향 학습부(121)는 제2학습 영상(12)과 제1모사 영상(31) 사이의 변화 정보 및 소정의 부위의 기하학적 정보를 고려하여 순방향 학습을 수행하고, 역방향 학습부(122)는 제1학습 영상(11)과 제2모사 영상(32) 사이의 변화 정보 및 소정의 부위의 기하학적 정보를 고려하여 역방향 학습을 수행할 수 있다.
도 5는 입력된 학습 영상과 출력되는 모사 영상 사이의 변화 정보를 고려하여 인공지능 모델을 학습시키는 과정을 설명하기 위한 개념도이다.
도 5를 참조하면, 학습부(120)는 인코더(Encoder) 측의 다운 샘플링(Down Sampling) 결과에 기초하여 도출되는 복수의 유형의 활성화맵(Activation map)을 활용(또는 복수의 유형의 주의맵(Attention map)을 활용)하여 입력된 학습 영상(Source)으로부터 출력된 가상의 모사 영상(Destination) 사이의 변화량을 파악하고(Multi-Class Activation Map), 이를 인공지능 모델 학습에서의 손실(Loss) 함수에 반영함으로써, 학습 영상과 모사 영상 사이의 변화 정보를 고려한 학습을 수행할 수 있다.
본원의 일 실시예에 따르면, 복수의 유형의 활성화맵(Activation map)은 Grad-CAM(gradient-class activation map) 및 Score-CAM을 포함할 수 있고, 이러한 다중 클래스 활성화맵(Multi-Class Activation Map)과 연계된 다중 주의맵(M-attentionMap)은 하기 식 3을 통해 도출될 수 있다.
[식 3]
Figure PCTKR2021013046-appb-I000004
또한, 이러한 다중 클래스 활성화맵(Multi-Class Activation Map)은 입력된 의료 영상에 기초하여 가상의 모사 영상을 생성하는 과정에서 주요하게 변환된 영역인 근거 영역을 도출하도록 활용되는 것일 수 있다.
이하에서는, 도 6 및 도 7을 참조하여, 학습부(120)에 의한 인공지능 모델의 구축시 고려되는 소정의 부위의 기하학적(Geometric) 정보를 구체적으로 설명하도록 한다.
도 6 및 도 7은 인공지능 모델의 학습에 고려되는 척추 영역의 기하학적 정보를 설명하기 위한 도면이다.
구체적으로, 도 6은 시상면에 대응하는 대상자 자세별 의료 영상을 통해 파악되는 대상자의 자세 등에 따른 소정의 부위의 기하학적 정보의 변화를 나타내고, 도 7은 축상면에 대응하는 대상자 자세별 의료 영상을 통해 파악되는 대상자의 자세 등에 따른 소정의 부위의 기하학적 정보의 변화를 나타낸 것이다.
본원의 일 실시예에 따르면, 의료 영상이 촬영되는 소정의 부위는 대상자의 척추 영역을 포함할 수 있다. 또한, 이에 따라, 소정의 부위인 척추 영역에 대한 기하학적 정보는 요추전만 정도, 분절전만 정도, 척추뼈(요추 등)의 높이(도 6의 h1 및 h2), 척추뼈 사이의 각도(도 6의 α1및 α2) 및 디스크 형상 중 적어도 하나를 포함할 수 있다.
또한, 도 7을 참조하면, 소정의 부위인 척추 영역에 대한 기하학적 정보는 대상자의 자세 변화에 따른 레벨별 신경공(Neural foramen)의 넓이 변화, 디스크 탈출 정도의 변화 등을 포함할 수 있다.
또한, 인공지능 모델을 구축하기 위한 학습 과정에서 소정의 부위(예를 들면, 척추 영역)의 기하학적 정보가 고려된다는 것은, 구체적으로, 인공지능 모델 학습에서의 손실(Loss) 함수에 소정의 부위의 특정 지역의 기하학적 정보의 부분적인 변화에 대응하는 텀(LGeometry)을 포함되는 것으로 이해될 수 있다. 또한, 본원의 일 실시예에 따르면, 기하학적 정보의 부분적인 변화는 대상자의 성별, 체형 정보 (예를 들면, BMI 정보 등), 자세 별로 소정의 부위에 가해지는 압력 정도 등에 기초하여 달리 측정(평가)되는 것일 수 있다.
합성부(130)는 제1자세에 기반하여 촬영된 대상 영상(1)을 수신할 수 있다. 예시적으로, 합성부(130)는 의료 영상 촬영 장치(200)로부터 대상 영상(1)을 수신하는 것일 수 있다.
또한, 합성부(130)는 학습부(120)에 의해 구축된 인공지능 모델에 기초하여 수신된 대상 영상(1)에 대응하는 제2자세 기반의 합성 영상(2)을 생성할 수 있다. 또한, 합성부(130)는 필요에 따라서는 수신된 대상 영상(1)이 제2자세에 기반한 의료 영상인 경우, 인공지능 모델에 기초하여 대상 영상(1)을 제1자세에 기반한 가상의 합성 영상(2)으로 변환하도록 동작할 수 있다.
또한, 출력부(140)는 대상 영상(1) 및 합성부(130)에 의해 생성된 합성 영상(2) 중 적어도 하나를 출력할 수 있다. 예를 들어, 출력부(140)는 대상 영상(1) 및 합성 영상(2) 중 적어도 하나를 의료 영상 합성 장치(100)에 자체적으로 마련된 디스플레이를 통해 표시하거나 의료 영상 합성 장치(100)와 네트워크(20)를 통해 접속(연동)된 사용자 단말(300)로 전송하여 사용자 단말(300)을 통해 대상 영상(1) 및 합성 영상(2) 중 적어도 하나가 표출되도록 할 수 있다.
또한, 본원의 일 실시예에 따르면, 출력부(140)는 대상 영상(1) 및 합성 영상(2)에 반영된 소정의 부위의 영역 중 국부적인 진단 영역에 대응하는 부분 영상(Crop 영상)을 생성하고, 생성된 부분 영상(Crop 영상)을 출력할 수 있다.
이와 관련하여, 본원의 일 실시예에 따르면, 출력부(140)는 인공지능 모델에 기초하여 도출되는 대상 영상(1) 및 합성 영상(2)에 대한 다중 클래스 활성화맵(Multi-Class Activation Map)의 형상, 위치 등에 기초하여 부분 영상(Crop 영상)을 출력할 영역을 선별하는 것일 수 있다. 달리 말해, 출력부(140)는 전술한 다중 클래스 활성화맵(Multi-Class Activation Map)에 기반하여 도출되는 근거 영역에 기초하여 부분 영상(Crop 영상)이 생성될 소정의 부위 내부의 진단 영역을 결정할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법에 대한 동작 흐름도이다.
도 8에 도시된 인공지능 기반의 의료 영상 합성 방법은 앞서 설명된 의료 영상 합성 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 의료 영상 합성 장치(100)에 대하여 설명된 내용은 인공지능 기반의 의료 영상 합성 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S11에서 수집부(110)는, 대상자가 제1자세를 취한 상태에서 대상자의 소정의 부위를 촬영한 제1학습 영상(11)을 수집할 수 있다.
다음으로, 단계 S12에서 수집부(110)는, 대상자가 제1자세와 상이한 제2자세를 취한 상태에서 소정의 부위를 촬영한 제2학습 영상(12)을 수집할 수 있다.
다음으로, 단계 S13에서 수집부(110)는, 수집된 제1학습 영상(11) 및 제2학습 영상(12)에 대한 밝기 정보 기반의 전처리(Pre-processing)를 수행할 수 있다.
다음으로, 단계 S14에서 학습부(120)는, 제1학습 영상(11) 및 제2학습 영상(12) 중 적어도 하나에 기초하여, 제1자세에 기반하여 촬영된 대상 영상(1)이 입력되면 대상 영상(1)에 기초하여 대상자가 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상(2)을 생성하는 인공지능 모델을 학습시킬 수 있다.
구체적으로, 단계 S14에서 학습부(120)는, 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 인공지능 모델을 학습시키되, 제1학습 영상(11)에 기초하여 제2자세에 대응하는 합성 영상(모사 영상)을 생성하고, 생성된 합성 영상(모사 영상)의 진위 여부를 제2학습 영상(12)에 기초하여 판별하는 과정을 반복적으로 수행함으로써 인공지능 모델을 학습시킬 수 있다.
또한, 단계 S14에서 학습부(120)는, 제2학습 영상(12)에 기초하여 제1자세에 대응하는 제1모사 영상(31)을 생성하는 제1생성기(1211) 및 제1모사 영상(31)의 진위 여부를 판단하는 제1판별기(1212)를 통한 순방향(Forward) 학습과 제1학습 영상(11)에 기초하여 제2자세에 대응하는 제2모사 영상(32)을 생성하는 제2생성기(1221) 및 제2모사 영상(32)의 진위 여부를 판단하는 제2판별기(1222)를 통한 역방향(Backward) 학습을 순환하여 반복 수행함으로써 인공지능 모델을 학습시킬 수 있다.
또한, 단계 S14에서 순방향 학습부(121)는 제2학습 영상(12)과 각각의 반복 시행마다 생성되는 제1모사 영상(31) 사이의 변화 정보 및 소정의 부위의 기하학적 정보의 변화를 고려하여 순방향(Forward) 학습을 수행할 수 있다. 또한, 단계 S14에서 역방향 학습부(122)는 제1학습 영상(11)과 각각의 반복 시행마다 생성되는 제2모사 영상(32) 사이의 변화 정보 및 소정의 부위의 기하학적 정보의 변화를 고려하여 역방향(Backward) 학습을 수행할 수 있다.
다음으로, 단계 S15에서 합성부(130)는, 제1자세에 기반하여 촬영된 대상 영상(1)을 수신할 수 있다.
다음으로, 단계 S16에서 합성부(130)는, 단계 S14를 통해 구축된 인공지능 모델에 기초하여 수신된 대상 영상(1)에 대응하는 합성 영상(2)을 생성할 수 있다. 특히, 단계 S16을 통해 생성되는 합성 영상(2)은 제2자세를 취한 상태에서 촬영된 것처럼 대상 영상(1)으로부터 모사되어 생성되는 가상의 영상일 수 있다.
다음으로, 단계 S17에서 출력부(140)는, 대상 영상(1) 및 생성된 합성 영상(2) 중 적어도 하나에 기초하여 소정의 부위의 영역 중 국부적인 진단 영역에 대응하는 부분 영상(Crop 영상)을 생성할 수 있다.
다음으로, 단계 S18에서 출력부(140)는, 진단 영역에 대응하는 부분 영상(Crop 영상)이 식별 가능하도록 표시된 대상 영상(1) 및 합성 영상(2) 중 적어도 하나를 표시할 수 있다.
상술한 설명에서, 단계 S11 내지 S18은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 인공지능 기반의 의료 영상 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능 기반의 의료 영상 합성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 인공지능 기반의 의료 영상 합성 방법에 있어서,
    대상자가 제1자세를 취한 상태에서 상기 대상자의 소정의 부위를 촬영한 제1학습 영상을 수집하는 단계;
    상기 제1학습 영상에 기초하여, 상기 제1자세에 기반하여 촬영된 대상 영상이 입력되면 상기 대상 영상에 기초하여 대상자가 상기 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 생성하는 인공지능 모델을 학습시키는 단계;
    상기 제1자세에 기반하여 촬영된 상기 대상 영상을 수신하는 단계; 및
    상기 인공지능 모델에 기초하여 상기 대상 영상에 대응하는 상기 합성 영상을 생성하는 단계,
    를 포함하는, 의료 영상 합성 방법.
  2. 제1항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 상기 인공지능 모델을 학습시키는 것인, 의료 영상 합성 방법.
  3. 제2항에 있어서,
    대상자가 상기 제2자세를 취한 상태에서 상기 소정의 부위를 촬영한 제2학습 영상을 수집하는 단계,
    를 더 포함하고,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 제1학습 영상 및 상기 제2학습 영상에 기초하여 상기 생성적 대립 신경망(Generative Adversarial Network) 알고리즘을 적용하는 것인, 의료 영상 합성 방법.
  4. 제3항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 상기 합성 영상을 생성하고, 상기 합성 영상의 진위 여부를 상기 제2학습 영상에 기초하여 판별하는 것인, 의료 영상 합성 방법.
  5. 제3항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 제2학습 영상에 기초하여 상기 제1자세에 대응하는 제1모사 영상을 생성하는 제1생성기 및 상기 제1모사 영상의 진위 여부를 판단하는 제1판별기를 통한 순방향(Forward) 학습을 수행하는 단계; 및
    상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 제2모사 영상을 생성하는 제2생성기 및 상기 제2모사 영상의 진위 여부를 판단하는 제2판별기를 통한 역방향(Backward) 학습을 수행하는 단계,
    를 포함하는 것인, 의료 영상 합성 방법.
  6. 제5항에 있어서,
    상기 순방향(Forward) 학습을 수행하는 단계는,
    상기 제2학습 영상과 상기 제1모사 영상 사이의 변화 정보 및 상기 소정의 부위의 기하학적 정보를 고려하여 수행되고,
    상기 역방향(Backward) 학습을 수행하는 단계는,
    상기 제1학습 영상과 상기 제2모사 영상 사이의 변화 정보 및 상기 기하학적 정보를 고려하여 수행되는 것인, 의료 영상 합성 방법.
  7. 제6항에 있어서,
    상기 소정의 부위는 척추 영역을 포함하고,
    상기 기하학적 정보는, 전만 정도, 척추뼈의 높이, 척추뼈 사이의 각도 및 디스크 형상 중 적어도 하나를 포함하는 것인, 의료 영상 합성 방법.
  8. 제3항에 있어서,
    상기 제1학습 영상, 상기 제2학습 영상 및 상기 대상 영상은 자기공명영상인 것인, 의료 영상 합성 방법.
  9. 제8항에 있어서,
    상기 제1자세는 누운 자세를 포함하고, 상기 제2자세는 바로 선 자세를 포함하는 것인, 의료 영상 합성 방법.
  10. 제9항에 있어서,
    상기 대상 영상 및 상기 합성 영상 중 적어도 하나를 사용자 단말을 통해 표시하는 단계,
    를 더 포함하는 것인, 의료 영상 합성 방법.
  11. 인공지능 기반의 의료 영상 합성 장치에 있어서,
    대상자가 제1자세를 취한 상태에서 상기 대상자의 소정의 부위를 촬영한 제1학습 영상을 수집하는 수집부;
    상기 제1학습 영상에 기초하여, 상기 제1자세에 기반하여 촬영된 대상 영상이 입력되면 상기 대상 영상에 기초하여 대상자가 상기 제1자세와 상이한 제2자세를 취한 상태에서 촬영된 것처럼 모사되는 가상의 합성 영상을 생성하는 인공지능 모델을 생성적 대립 신경망(Generative Adversarial Network) 알고리즘에 기초하여 학습시키는 학습부; 및
    상기 제1자세에 기반하여 촬영된 상기 대상 영상을 수신하고, 상기 인공지능 모델에 기초하여 상기 대상 영상에 대응하는 상기 합성 영상을 생성하는 합성부,
    를 포함하는, 의료 영상 합성 장치.
  12. 제11항에 있어서,
    상기 수집부는,
    대상자가 상기 제2자세를 취한 상태에서 상기 소정의 부위를 촬영한 제2학습 영상을 더 수집하고,
    상기 학습부는,
    상기 제2학습 영상에 기초하여 상기 제1자세에 대응하는 제1모사 영상을 생성하는 제1생성기 및 상기 제1모사 영상의 진위 여부를 판단하는 제1판별기를 통한 순방향(Forward) 학습을 수행하는 순방향 학습부; 및
    상기 제1학습 영상에 기초하여 상기 제2자세에 대응하는 제2모사 영상을 생성하는 제2생성기 및 상기 제2모사 영상의 진위 여부를 판단하는 제2판별기를 통한 역방향(Backward) 학습을 수행하는 역방향 학습부,
    를 포함하는 것인, 의료 영상 합성 장치.
  13. 제12항에 있어서,
    상기 소정의 부위는 척추 영역을 포함하고,
    상기 학습부는,
    전만 정도, 척추뼈의 높이, 척추뼈 사이의 각도 및 디스크 형상 중 적어도 하나를 포함하는 기하학적 정보를 고려하여 상기 순방향 학습 및 상기 역방향 학습을 수행하는 것인, 의료 영상 합성 장치.
PCT/KR2021/013046 2020-10-05 2021-09-24 인공지능 기반의 의료 영상 합성 장치 및 방법 WO2022075641A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0128003 2020-10-05
KR1020200128003A KR102456467B1 (ko) 2020-10-05 2020-10-05 인공지능 기반의 의료 영상 합성 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022075641A1 true WO2022075641A1 (ko) 2022-04-14

Family

ID=81125857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013046 WO2022075641A1 (ko) 2020-10-05 2021-09-24 인공지능 기반의 의료 영상 합성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102456467B1 (ko)
WO (1) WO2022075641A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102658413B1 (ko) * 2022-05-24 2024-04-17 고려대학교 산학협력단 Ct 영상을 이용한 인공지능 기반의 담도 영상 추출 장치 및 방법
WO2024043591A1 (ko) * 2022-08-22 2024-02-29 고려대학교 산학협력단 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190139781A (ko) * 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
KR102094320B1 (ko) * 2018-09-20 2020-03-30 (주)헤르스 강화 학습을 이용한 이미지 개선 방법
KR20200058295A (ko) * 2018-11-19 2020-05-27 고려대학교 산학협력단 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190139781A (ko) * 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
KR102094320B1 (ko) * 2018-09-20 2020-03-30 (주)헤르스 강화 학습을 이용한 이미지 개선 방법
KR20200058295A (ko) * 2018-11-19 2020-05-27 고려대학교 산학협력단 딥러닝 기반 고자기장 자기공명영상 합성 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE JUNG HWAN, HAN IN HO, KIM DONG HWAN, YU SEUNGHAN, LEE IN SOOK, SONG YOU SEON, JOO SEONGSU, JIN CHENG-BIN, KIM HAKIL: "Spine Computed Tomography to Magnetic Resonance Image Synthesis Using Generative Adversarial Networks : A Preliminary Study", JOURNAL OF KOREAN NEUROSURGICAL SOCIETY, vol. 63, no. 3, 1 May 2020 (2020-05-01), pages 386 - 396, XP055918951, ISSN: 2005-3711, DOI: 10.3340/jkns.2019.0084 *
LI WEN, LI YAFEN, QIN WENJIAN, LIANG XIAOKUN, XU JIANYANG, XIONG JING, XIE YAOQIN: "Magnetic resonance image (MRI) synthesis from brain computed tomography (CT) images based on deep learning methods for magnetic resonance (MR)-guided radiotherapy", QUANTITATIVE IMAGING IN MEDICINE AND SURGERY, vol. 10, no. 6, 1 June 2020 (2020-06-01), pages 1223 - 1236, XP055918953, ISSN: 2223-4292, DOI: 10.21037/qims-19-885 *

Also Published As

Publication number Publication date
KR20220045366A (ko) 2022-04-12
KR102456467B1 (ko) 2022-10-18
KR102456467B9 (ko) 2022-12-05

Similar Documents

Publication Publication Date Title
WO2022075641A1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
US8165361B2 (en) System and method for image based multiple-modality cardiac image alignment
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN108492862B (zh) 基于分布式ct终端机的医学影像云成像与判读方法及系统
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
KR20220137220A (ko) 인공지능 기반의 의료 영상 3차원 변환 장치 및 방법
WO2022191575A1 (ko) 안면 이미지 매칭 기반의 시뮬레이션 장치 및 방법
JP6808254B1 (ja) 個人装置により手骨骨年齢の即時判読を行うシステム及び方法
CN110270015B (zh) 一种基于多序列MRI的sCT生成方法
Lou et al. Full-field direct digital telemammography: technical components, study protocols, and preliminary results
Souid et al. Xception-ResNet autoencoder for pneumothorax segmentation
WO2014069712A1 (ko) 소수의 저선량 씨티 영상을 이용하여 피이티 영상을 움직임 보상 및 감쇠 보정하는 방법
KR20220137215A (ko) 인공지능 기반의 의료 영상 변환 장치 및 방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2022177044A1 (ko) 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 x선 영상 생성 장치 및 방법
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
CN107680670A (zh) 一种无地域限制的医学图像辨识与诊断系统及方法
CN107320123A (zh) 基于扫描前端与成像后端分离的ct影像链重组方法
WO2016006932A1 (ko) 태아 조형물 프린팅 서비스 시스템 및 방법
JP2005012248A (ja) 画像読影支援方法及び装置
KR102672010B1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
WO2021118068A1 (ko) 의료 영상 생성 방법 및 이를 이용한 장치
WO2023058837A1 (ko) 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치
CN102542044A (zh) 一种基于医学教学专用dicom课件归档方法
WO2024043591A1 (ko) 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877893

Country of ref document: EP

Kind code of ref document: A1