WO2022025477A1 - 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치 - Google Patents

질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치 Download PDF

Info

Publication number
WO2022025477A1
WO2022025477A1 PCT/KR2021/008788 KR2021008788W WO2022025477A1 WO 2022025477 A1 WO2022025477 A1 WO 2022025477A1 KR 2021008788 W KR2021008788 W KR 2021008788W WO 2022025477 A1 WO2022025477 A1 WO 2022025477A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
treatment
pair
treatment response
fake
Prior art date
Application number
PCT/KR2021/008788
Other languages
English (en)
French (fr)
Inventor
김남국
배현진
홍길선
Original Assignee
재단법인 아산사회복지재단
프로메디우스 주식회사
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 프로메디우스 주식회사, 울산대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Publication of WO2022025477A1 publication Critical patent/WO2022025477A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a method for predicting a treatment response to a disease using an artificial neural network and a treatment response prediction apparatus for performing the method.
  • CT computer tomography
  • MRI magnetic resonance imaging
  • An object of the present invention is to provide a method of predicting a treatment response to a disease from an input medical image, in order to solve the above problem.
  • a method for predicting a treatment response to a disease may include: receiving a medical image obtained by photographing a human body of a first patient whose disease is detected; and a fake image in which the body organ in which the disease is detected is displayed and a treatment response predicted when performing a first treatment on the body organ of the first patient by using the first artificial neural network learned in advance outputting a pair of one prediction image, wherein the first artificial neural network performs the treatment predicted when the first treatment is performed on the human body displayed on the fake image for learning and the fake image for learning from noise It may be pre-learned to generate a pair of the first prediction image for learning in which a response is displayed, and to determine the authenticity of the generated pair of the fake image for learning and the first prediction image for learning.
  • the method may include: determining whether a difference between the fake image and the medical image is less than or equal to a preset reference value; and when the difference is greater than the reference value, re-outputting the pair of the fake image and the predicted image to reduce the difference.
  • the first artificial neural network further generates, from the noise, each pair of the fake image for learning and the predicted image for learning in which a treatment response predicted when a second treatment is performed on a human body displayed on the fake image for learning is displayed, , pre-learned to further determine the authenticity of the pair of the fake image for learning and the second predicted image for learning, and the outputting step is a treatment predicted when the second treatment is performed on the fake image and the human body
  • a pair of second prediction images in which the response is displayed may be further output.
  • the method includes a second artificial neural network that displays a fake image of the human body in which the disease is detected and a treatment response predicted when performing a second treatment on the human body, using a previously learned second artificial neural network.
  • the method further comprises outputting a pair of prediction images, wherein the second artificial neural network predicts when the second treatment is performed on the human body displayed on the fake image for learning and the fake image for learning from the noise. It may be pre-learned to generate a pair of a second prediction image for learning in which the treatment response is displayed, and to determine the authenticity of a pair of the generated fake image for learning and the second prediction image for learning.
  • the outputting may include a reference image previously stored by photographing the human body of a second patient and a pair of progress images in which the treatment response after performing the first treatment on the human body of the second patient is displayed.
  • a pair of the fake image and the first prediction image may be generated from the medical image by using the latent space obtained by learning the distribution of the included feature.
  • a treatment response prediction apparatus for predicting a treatment response to a disease includes: a memory for storing a treatment response prediction model for predicting a treatment response to a disease; and by executing the treatment response prediction model, receiving a medical image of a human organ of a first patient in which a disease is detected, and displaying the human organ in which the disease is detected by using the previously learned first artificial neural network a processor for outputting a pair of a fake image and a first prediction image in which a treatment response predicted when performing a first treatment on a human organ of the first patient is displayed, wherein the first artificial neural network is , a fake image for learning, and a pair of first prediction images for learning in which a treatment response predicted when the first treatment is performed on the human body displayed on the fake image for learning, is generated, and the generated fake image for learning; It may be pre-learned to determine the authenticity of the pair of the first prediction image for learning.
  • a higher quality medical service can be provided to a patient by predicting a treatment response after a predetermined treatment for a patient from a current medical image using an artificial neural network.
  • FIG. 1 is a block diagram illustrating an apparatus for predicting treatment response according to an embodiment of the present invention.
  • FIG. 2 is a block diagram conceptually illustrating a function of a treatment response prediction model according to an embodiment of the present invention.
  • FIG 3 shows a method of training an artificial neural network included in a treatment response prediction model according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of predicting a therapeutic response of a human organ using a therapeutic response prediction model according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an apparatus for predicting treatment response according to an embodiment of the present invention.
  • the treatment response prediction apparatus 100 may include a processor 110 , an input/output device 120 , and a memory 130 .
  • the processor 110 may control the overall operation of the treatment response prediction apparatus 100 .
  • the processor 110 may receive a medical image obtained by photographing a human body by using the input/output device 120 .
  • the treatment response prediction apparatus 100 may include a transceiver (not shown), and the treatment response prediction apparatus 100 may receive a medical image using the transceiver (not shown), The medical image may be generated in the treatment response prediction apparatus 100 .
  • the human organ may be an organ of the human body, such as the lung, liver, or kidney, or may be an organ other than the organ of the human body, such as the brain. That is, the human organ in the present specification may be any one of organs (parts) of the human body that can be imaged through computer tomography (CT), magnetic resonance imaging (MRI), or the like.
  • CT computer tomography
  • MRI magnetic resonance imaging
  • the processor 110 may use the input/output device 120 to output a predicted image that predicts a treatment response of a human body according to a treatment performed after the point in time when the medical image is captured as a medical image is input. .
  • the prediction image may indicate a treatment response according to a treatment performed before the time of capturing the medical image.
  • the prediction image may indicate the progress of the state of the human body according to the treatment performed on the human body before the time of capturing the medical image.
  • treatment in the present specification includes not only all clinical treatment actions to improve disease, such as administration of medicines and surgery, but also non-treatment actions according to situations in which it is impossible to treat the patient, situations in which it is best not to perform treatment actions, etc. It may also include.
  • the input/output device 120 may include one or more input devices and/or one or more output devices.
  • the input device may include a microphone, a keyboard, a mouse, a touch screen, and the like
  • the output device may include a display, a speaker, and the like.
  • the memory 130 may store the treatment response prediction model 200 and information necessary for the execution of the treatment response prediction model 200 .
  • the processor 110 may load the treatment response prediction model 200 and information necessary for the execution of the treatment response prediction model 200 from the memory 130 to execute the treatment response prediction model 200 .
  • the processor 110 may execute the treatment response prediction model 200 to output a prediction image for the received medical image.
  • the function and/or operation of the treatment response prediction model 200 will be described in detail with reference to FIG. 2 .
  • FIG. 2 is a block diagram conceptually illustrating a function of a treatment response prediction model according to an embodiment of the present invention.
  • the treatment response prediction model 200 may include a pre-trained artificial neural network 210 .
  • the artificial neural network 210 may include a generative adversarial network (GAN). A method of learning the artificial neural network 210 will be described with reference to FIG. 3 .
  • GAN generative adversarial network
  • a model may mean a computer program composed of instructions capable of performing functions and operations according to respective names described in this specification. That is, the treatment response prediction model 200 may be a type of computer program (application software) executed by a processor and stored in a memory.
  • the treatment response prediction model 200 corresponds to the input medical image MI when a medical image MI actually photographed using the medical imaging apparatus is input by using the pre-trained artificial neural network 210 .
  • a fake image FI and a prediction image EI for the fake image FI may be generated.
  • the prediction image EI is an image representing a treatment response of a human body according to the performed treatment, when it is assumed that a predetermined treatment is performed on a human organ displayed on the fake image FI, and the input medical image MI ) can be used to predict the treatment response, assuming that the predetermined treatment is performed.
  • the treatment response prediction model 200 learns the distribution (eg, feature distribution) of the reference image and the progress image with respect to the reference image using representation learning, and a low-dimensional latent space generated from the learned distribution.
  • a pair of a fake image FI and a prediction image EI may be generated from the medical image MI by using (latent space).
  • the reference image refers to an image previously stored by actually photographing a human body using an imaging device, and the progress image is performed when a predetermined treatment is actually performed on a human body displayed on the reference image RI. It may be an image showing the progress of a human organ according to one treatment.
  • the treatment response prediction model 200 may compare the medical image MI with the generated fake image FI, and input the comparison result back to the artificial neural network 210 as feedback FB.
  • the treatment response prediction model 200 may compare the medical image MI and the fake image FI using a loss function (eg, mean squared error, MSE (Mean Squared Error)). . As a result of comparison, the treatment response prediction model 200 generates a feedback FB indicating the difference between the medical image MI and the sham image FI, and the difference between the medical image MI and the sham image FI is The feedback FB may be input to the artificial neural network 210 to be reduced.
  • a loss function eg, mean squared error, MSE (Mean Squared Error)
  • the treatment response prediction model 200 may repeat the above process until the difference between the medical image MI and the sham image FI is less than or equal to a preset reference value. A pair of the substantially identical fake image FI and the prediction image EI used to predict a treatment response to the medical image MI may be generated.
  • the artificial neural network 210 included in the treatment response prediction model 200 converts one prediction image EI indicating the progress of performing one treatment method preset on the fake image FI to the fake image FI. ) has been described as a neural network trained to output with, but is not limited thereto.
  • the artificial neural network 210 included in the treatment response prediction model 200 includes two or more prediction images (EI) indicating the progress of performing two or more different treatment methods preset on the fake image (FI).
  • EI prediction images
  • the treatment response prediction model 200 includes one false image (FI) corresponding to the input and two or more prediction images ( EI) can be output.
  • the treatment response prediction model 200 is trained to output two or more prediction images EI together with the fake image FI as a result of performing different treatment methods on the fake image FI. It may include two or more artificial neural networks 210 . Accordingly, in this case, when the treatment response prediction model 200 receives one medical image MI, the treatment response prediction model 200 generates a plurality of fake images ( FI) and a plurality of prediction images EI may be output.
  • FIG. 3 is a diagram according to an embodiment of the present invention. A method for training an artificial neural network included in a treatment response prediction model is shown.
  • the artificial neural network 210 included in the treatment response prediction model 200 may include a generator 211 and a discriminator 213 .
  • the generator 211 may generate a pair PG of a training fake image L_FI similar to the medical image MI and a training prediction image L_EI with respect to the training fake image L_FI by using the noise N. .
  • the discriminator 213 includes a pair PG of a fake image for learning (L_FI) and a prediction image for learning (L_EI) generated by the generator 211, a pre-stored reference image (RIn, where n is a natural number) and a reference image (RIn) It is possible to determine the authenticity of the pair PSn of the progress image PIn for , and output the determination result.
  • the determination result is whether the pair of images determined by the discriminator 213 is a pair (PG) of a fake image for learning (L_FI) and a prediction image for learning (L_EI) generated by the generator 211 or a pre-stored reference image (RIn) and As a result of determining whether a pair of the progress images PIn is PSn, the determination result may be expressed as a probability value between 0 and 1 according to an embodiment.
  • the discriminator 213 determines that the discriminant image pair PSn is a fake image (ie, the fake image L_FI for learning generated by the generator 211). ) and the prediction image L_EI for learning (PG)). Conversely, as the probability value is closer to 1 (that is, more than 0.5), the discriminator 213 determines that the discriminant image pair is a real image (ie, a pre-stored reference image RIn and a pair of progress images PIn) PG))).
  • the generator 211 may receive the determination result of the discriminator 213 as feedback.
  • the generator 211 further uses the discrimination result received from the discriminator 213 to generate a pair PG of a fake image FI and a predicted image EI substantially identical to the medical image MI from the noise N. can create
  • the discriminator 213 determines whether the discriminating result and the correct value of the discriminating image pair (whether the discriminating image pair is a pair of a learning fake image (L_FI) and a learning prediction image (L_EI) or a pre-stored reference image (RIn) and Whether the pair of progress images PIn match) (that is, whether the discriminator 213 properly determines whether the image is authentic or not) may be input as feedback.
  • the discriminator 213 may further discriminate whether the image pair determined by further using the feedback is authentic or not.
  • the generator 211 is continuously learned using the determination result of the discriminator 213 as a feedback, and the discriminator 213 is continuously learned using the correct answer of the discrimination result as a feedback, so that the artificial neural network ( 210) can be learned more precisely.
  • FIG. 4 is a flowchart illustrating a method of predicting a therapeutic response of a human organ using a therapeutic response prediction model according to an embodiment of the present invention.
  • the treatment response prediction model 200 generates a fake image (FI) and a prediction image (EI) for the fake image (FI) using the pre-trained artificial neural network 210 . It can be done (S400).
  • the treatment response prediction model 200 calculates a difference between the medical image MI and the sham image FI ( S410 ), and when the difference between the medical image MI and the sham image FI is less than or equal to a preset reference value (Yes in S420), it may be determined that a pair of a fake image FI substantially identical to the medical image MI and a prediction image EI to be used for predicting a treatment response to the medical image MI has been generated ( S430).
  • the treatment response prediction model 200 sets the medical image MI and the sham image FI. ) as the feedback FB, it is possible to generate a fake image FI and a predicted image EI again.
  • Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or
  • Each step of the flowchart creates a means for performing the functions described.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart.
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and in each step of the flowchart.
  • each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
  • MeDIA Development of innovative medical technology through medical big data, Internet of Things, and artificial intelligence platform construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명의 일 실시예에 따른 질병에 대한 치료 반응을 예측하는 방법은, 질병이 감지된 환자의 인체 기관을 촬영한 의료 영상을 입력받는 단계; 및 기 학습된 인공 신경망을 이용하여, 상기 질병이 감지된 상기 인체 기관이 디스플레이된 가짜 영상과, 상기 환자의 인체 기관에 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 예측 영상의 쌍을 출력하는 단계를 포함하고, 상기 인공 신경망은, 노이즈로부터, 학습용 가짜 영상, 및 상기 학습용 가짜 영상에 디스플레이된 상기 인체 기관에 상기 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 학습용 예측 영상의 쌍을 생성하고, 생성한 상기 학습용 가짜 영상과 상기 학습용 예측 영상의 쌍의 진위 여부를 판별하도록 기 학습된 것일 수 있다.

Description

질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치
본 발명은 인공 신경망을 이용하여 질병에 대한 치료 반응을 예측하는 방법 및 상기 방법을 수행하는 치료 반응 예측 장치에 관한 것이다.
의료 분야에 있어서, 환자의 신체 내부의 이상을 진단하기 위해, 컴퓨터 토모그래피(Computer Tomography, CT), 자기 공명 영상(Magnetic Resonance Imaging, MRI) 을 통해 촬영한 의료 영상을 이용한다.
이러한 의료 영상을 통해 특정 질병을 진단한 경우, 질병의 치료 여부 또는 치료 방향을 결정하기 위하여, 진단된 질병의 진행 방향이나, 특정 질병에 대한 치료 반응을 의사가 예측할 필요가 있는데, 현재로서는 의사들 개개의 경험적 판단에 의존하고 있는 실정이다.
본 발명이 해결하고자 하는 과제는, 전술한 문제를 해결하기 위하여, 입력받은 의료 영상으로부터 질병에 대한 치료 반응을 예측하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 질병에 대한 치료 반응을 예측하는 방법은, 질병이 감지된 제1 환자의 인체 기관을 촬영한 의료 영상을 입력받는 단계; 및 기 학습된 제1 인공 신경망을 이용하여, 상기 질병이 감지된 상기 인체 기관이 디스플레이된 가짜 영상과, 상기 제1 환자의 인체 기관에 제1 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 제1 예측 영상의 쌍을 출력하는 단계를 포함하고, 상기 제1 인공 신경망은, 노이즈로부터, 학습용 가짜 영상, 및 상기 학습용 가짜 영상에 디스플레이된 상기 인체 기관에 상기 제1 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 제1 학습용 예측 영상의 쌍을 생성하고, 생성한 상기 학습용 가짜 영상과 상기 제1 학습용 예측 영상의 쌍의 진위 여부를 판별하도록 기 학습된 것일 수 있다.
상기 방법은, 상기 가짜 영상과 상기 의료 영상의 차이가 기 설정된 기준 값 이하인지 여부를 결정하는 단계; 및 상기 차이가 상기 기준 값보다 큰 경우, 상기 차이를 줄이도록 상기 가짜 영상과 상기 예측 영상의 쌍을 재출력하는 단계를 포함할 수 있다.
상기 제1 인공 신경망은 상기 노이즈로부터, 상기 학습용 가짜 영상과, 상기 학습용 가짜 영상에 디스플레이된 인체 기관에 제2 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 학습용 예측 영상 각각의 쌍을 더 생성하고, 상기 학습용 가짜 영상과 상기 제2 학습용 예측 영상의 쌍의 진위 여부를 더 판별하도록 기 학습되고, 상기 출력하는 단계는, 상기 가짜 영상과 상기 인체 기관에 상기 제2 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 제2 예측 영상의 쌍을 더 출력할 수 있다.
상기 방법은, 기 학습된 제2 인공 신경망을 이용하여, 상기 질병이 감지된 상기 인체 기관이 디스플레이된 가짜 영상과, 상기 인체 기관에 제2 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 제2 예측 영상의 쌍을 출력하는 단계를 더 포함하고, 상기 제2 인공 신경망은, 상기 노이즈로부터, 상기 학습용 가짜 영상, 및 상기 학습용 가짜 영상에 디스플레이된 상기 인체 기관에 상기 제2 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 제2 학습용 예측 영상의 쌍을 생성하고, 생성한 상기 학습용 가짜 영상과 상기 제2 학습용 예측 영상의 쌍의 진위 여부를 판별하도록 기 학습된 것일 수 있다.
상기 출력하는 단계는, 제2 환자의 상기 인체 기관을 촬영하여 기 저장한 참조 영상과, 상기 제2 환자의 인체 기관에 상기 제1 치료를 수행한 이후의 치료 반응이 디스플레이된 경과 영상의 쌍에 포함된 특징의 분포를 학습하여 획득한 잠재 공간을 이용하여 상기 의료 영상으로부터 상기 가짜 영상과 상기 제1 예측 영상의 쌍을 생성할 수 있다.
본 발명의 다른 실시예에 따른 질병에 대한 치료 반응을 예측하는 치료 반응 예측 장치는, 질병에 대한 치료 반응을 예측하는 치료 반응 예측 모델을 저장하는 메모리; 및 상기 치료 반응 예측 모델을 실행하여, 질병이 감지된 제1 환자의 인체 기관을 촬영한 의료 영상을 입력받고, 기 학습된 제1 인공 신경망을 이용하여, 상기 질병이 감지된 상기 인체 기관이 디스플레이된 가짜 영상과, 상기 제1 환자의 인체 기관에 제1 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 제1 예측 영상의 쌍을 출력하는 프로세서를 포함하고, 상기 제1 인공 신경망은, 노이즈로부터, 학습용 가짜 영상, 및 상기 학습용 가짜 영상에 디스플레이된 상기 인체 기관에 상기 제1 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 제1 학습용 예측 영상의 쌍을 생성하고, 생성한 상기 학습용 가짜 영상과 상기 제1 학습용 예측 영상의 쌍의 진위 여부를 판별하도록 기 학습된 것일 수 있다.
본 발명의 실시예에 의하면, 인공 신경망을 이용하여 현재의 의료 영상으로부터 환자에게 소정의 치료한 이후의 치료 반응을 예측함으로써, 환자에게 보다 질 높은 의료 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 치료 반응 예측 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 치료 반응 예측 모델의 기능을 개념적으로 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따라 치료 반응 예측 모델에 포함된 인공 신경망을 학습시키는 방법을 나타낸다.
도 4는 본 발명의 실시예에 따른 치료 반응 예측 모델을 이용하여 인체 기관의 치료 반응을 예측하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 치료 반응 예측 장치를 나타내는 블록도이다.
도 1을 참조하면, 치료 반응 예측 장치(100)는 프로세서(110), 입출력 장치(120) 및 메모리(130)를 포함할 수 있다.
프로세서(110)는 치료 반응 예측 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 입출력 장치(120)를 이용하여, 인체 기관을 촬영한 의료 영상을 입력 받을 수 있다.
본 발명에서는, 인체 기관을 촬영한 의료 영상이 입출력 장치(120)를 통해 입력되는 것으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 치료 반응 예측 장치(100)는 송수신기(미도시)를 포함할 수 있고, 치료 반응 예측 장치(100)는 송수신기(미도시)를 이용하여 의료 영상을 수신할 수도 있으며, 의료 영상은 치료 반응 예측 장치(100) 내에서 생성될 수도 있다.
여기서, 인체 기관은 폐, 간, 신장 등 인체의 장기일 수도 있으며, 뇌 등 인체의 장기가 아닌 다른 기관일 수도 있다. 즉, 본 명세서에서의 인체 기관은 컴퓨터 단층 촬영(Computer tomography, CT), 자기 공명 영상 진단(Magnetic Resonance Imaging, MRI) 등을 통해서 촬영 가능한 인체의 기관(부위) 중 어느 하나일 수 있다.
프로세서(110)는, 입출력 장치(120)를 이용하여, 의료 영상이 입력됨에 따라, 의료 영상을 촬영한 시점 이후에 수행한 치료에 따른 인체 기관의 치료 반응을 예측한 예측 영상을 출력할 수 있다.
실시예에 따라, 예측 영상은 의료 영상을 촬영한 시점 이전에 수행한 치료에 따른 치료 반응을 나타낼 수도 있다. 이와 같은 경우, 상기 예측 영상은 의료 영상을 촬영한 시점 이전에 인체 기관에 수행한 치료에 따른 인체 기관의 상태의 경과를 나타낼 수 있다.
또한, 본 명세서에서의 치료는 의약품의 투여, 수술 등 질병을 호전시키기 위한 모든 임상학적 치료 행위 뿐만 아니라, 환자에 치료 행위가 불가능한 상황, 치료 행위를 수행하지 않는 것이 최선인 상황 등에 따른 무치료 행위 또한 포함할 수 있다.
입출력 장치(120)는 하나 이상의 입력 장치 및/또는 하나 이상의 출력 장치를 포함할 수 있다. 예컨대, 입력 장치는 마이크, 키보드, 마우스, 터치 스크린 등을 포함하고, 출력 장치는 디스플레이, 스피커 등을 포함할 수 있다.
메모리(130)는 치료 반응 예측 모델(200) 및 치료 반응 예측 모델(200)의 실행에 필요한 정보를 저장할 수 있다.
프로세서(110)는 치료 반응 예측 모델(200)을 실행하기 위하여 메모리(130)에서 치료 반응 예측 모델(200) 및 치료 반응 예측 모델(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 치료 반응 예측 모델(200)을 실행하여, 입력받은 의료 영상에 대한 예측 영상을 출력할 수 있다. 치료 반응 예측 모델(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 치료 반응 예측 모델의 기능을 개념적으로 나타내는 블록도이다.
도 2를 참조하면, 치료 반응 예측 모델(200)은 기 학습된 인공 신경망(210)을 포함할 수 있다. 실시예에 따라, 인공 신경망(210)은 생성적 적대 신경망(Generative Adversarial Networks, GAN)을 포함할 수 있다. 인공 신경망(210)을 학습시키는 방법은 도 3에서 살펴보기로 한다.
본 명세서에서 모델이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 명령어들로 구성된 컴퓨터 프로그램을 의미할 수 있다. 즉, 치료 반응 예측 모델(200)은, 프로세서에 의해 실행되고, 메모리에 저장되는 컴퓨터 프로그램(애플리케이션 소프트웨어)의 일종일 수 있다.
치료 반응 예측 모델(200)은, 기 학습된 인공 신경망(210)을 이용하여, 의료 영상 촬영 장치를 이용하여 실제로 촬영한 의료 영상(MI)이 입력되는 경우, 입력된 의료 영상(MI)에 대응되는 가짜 영상(FI) 및 가짜 영상(FI)에 대한 예측 영상(EI)을 생성할 수 있다.
여기서, 예측 영상(EI)은 가짜 영상(FI)에 디스플레이된 인체 기관에 소정의 치료를 수행한다고 가정할 경우, 수행한 치료에 따른 인체 기관의 치료 반응을 나타내는 영상으로서, 입력된 의료 영상(MI)에 상기 소정의 치료를 수행한다고 가정할 경우, 치료 반응을 예측하는데 이용될 수 있다.
치료 반응 예측 모델(200)은 표현 학습(representation learning)을 이용하여 참조 영상과 참조 영상에 대한 경과 영상의 분포(예컨대, 특징의 분포)를 학습하고, 학습된 분포로부터 생성된 저차원의 잠재 공간(latent space)을 이용하여, 의료 영상(MI)으로부터 가짜 영상(FI) 및 예측 영상(EI)의 쌍을 생성할 수 있다.
여기서, 참조 영상은 영상 촬영 장치를 이용하여 실제로 인체 기관을 촬영하여 기 저장되어 있는 영상을 의미하고, 경과 영상은 참조 영상(RI)에 디스플레이된 인체 기관에 실제로 소정의 치료를 수행했을 때, 수행한 치료에 따른 인체 기관의 경과를 나타내는 영상일 수 있다.
치료 반응 예측 모델(200)은 의료 영상(MI)과 생성된 가짜 영상(FI)을 비교하고, 비교한 결과를 피드백(FB)으로서 다시 인공 신경망(210)에 입력할 수 있다.
보다 자세하게는, 치료 반응 예측 모델(200)은 손실 함수(Loss Function)(예컨대, 평균 제곱 오차, MSE(Mean Squared Error))를 이용하여 의료 영상(MI)과 가짜 영상(FI)을 비교할 수 있다. 비교 결과, 치료 반응 예측 모델(200)은 의료 영상(MI)과 가짜 영상(FI) 사이의 차이를 나타내는 피드백(FB)을 생성하고, 의료 영상(MI)과 가짜 영상(FI) 사이의 차이가 적어지도록 피드백(FB)을 인공 신경망(210)에 입력할 수 있다.
치료 반응 예측 모델(200)은 의료 영상(MI)과 가짜 영상(FI) 사이의 차이가 기 설정된 기준 값 이하가 될 때까지 위의 과정을 반복할 수 있고, 반복 결과, 의료 영상(MI)과 실질적으로 동일한 가짜 영상(FI), 및 의료 영상(MI)에 대한 치료 반응을 예측하는데 이용되는 예측 영상(EI)의 쌍을 생성할 수 있다.
본 명세서에서, 치료 반응 예측 모델(200)에 포함된 인공 신경망(210)은 가짜 영상(FI)에 기 설정된 하나의 치료 방법을 수행한 경과를 나타내는 하나의 예측 영상(EI)을 가짜 영상(FI)과 함께 출력하도록 학습된 신경망으로 설명하였지만, 이에 한정되지 않는다.
즉, 실시예에 따라, 치료 반응 예측 모델(200)에 포함된 인공 신경망(210)은 가짜 영상(FI)에 기 설정된 둘 이상의 서로 다른 치료 방법을 수행한 경과를 나타내는 둘 이상의 예측 영상(EI)을 가짜 영상(FI)과 함께 출력하도록 학습된 신경망일 수 있다. 따라서, 이와 같은 경우, 치료 반응 예측 모델(200)은 하나의 의료 영상(MI)을 입력받을 경우, 그에 대응되는 하나의 가짜 영상(FI) 및 둘 이상의 서로 다른 치료 반응을 나타내는 둘 이상의 예측 영상(EI)을 출력할 수 있다.
또한, 다른 실시예에 따라, 치료 반응 예측 모델(200)은 가짜 영상(FI)에 서로 다른 치료 방법을 수행한 결과로서 둘 이상의 예측 영상(EI)을 가짜 영상(FI)과 함께 출력하도록 학습된 둘 이상의 인공 신경망(210)을 포함할 수도 있다. 따라서, 이와 같은 경우, 치료 반응 예측 모델(200)이 하나의 의료 영상(MI)을 입력 받을 경우, 치료 반응 예측 모델(200)은 복수의 인공 신경망(210) 각각에서 생성한 복수의 가짜 영상(FI) 및 복수의 예측 영상(EI)을 출력할 수 있다.
도 3은 본 발명의 실시예에 따라 치료 반응 예측 모델에 포함된 인공 신경망을 학습시키는 방법을 나타낸다.
도 3을 참조하면, 치료 반응 예측 모델(200)에 포함된 인공 신경망(210)은 생성기(Generator)(211) 및 판별기(Discriminator)(213)를 포함할 수 있다.
생성기(211)는 노이즈(N)를 이용하여 의료 영상(MI)과 유사한 학습용 가짜 영상(L_FI) 및 학습용 가짜 영상(L_FI)에 대한 학습용 예측 영상(L_EI)의 쌍(PG)을 생성할 수 있다.
판별기(213)는 생성기(211)에서 생성한 학습용 가짜 영상(L_FI)과 학습용 예측 영상(L_EI)의 쌍(PG)과 기 저장된 참조 영상(RIn, 여기서 n은 자연수) 및 참조 영상(RIn)에 대한 경과 영상(PIn)의 쌍(PSn)의 진위 여부를 판별하고, 판별 결과를 출력할 수 있다.
상기 판별 결과는 판별기(213)가 판별하는 영상의 쌍이 생성기(211)가 생성한 학습용 가짜 영상(L_FI)과 학습용 예측 영상(L_EI)의 쌍(PG)인지 또는 기 저장된 참조 영상(RIn) 및 경과 영상(PIn)의 쌍(PSn)인지 여부를 판별한 결과를 나타내는 것으로서, 실시예에 따라, 상기 판별 결과는 0과 1 사이의 확률 값으로 나타내어질 수 있다.
즉, 상기 확률 값이 0에 가까울수록(즉, 0.5 이하이면), 판별기(213)는 판별하는 영상의 쌍(PSn)이 가짜 이미지(즉, 생성기(211)가 생성한 학습용 가짜 영상(L_FI)과 학습용 예측 영상(L_EI)의 쌍(PG))라고 판단하였음을 나타낼 수 있다. 반대로, 상기 확률 값이 1에 가까울수록(즉, 0.5 초과이면), 판별기(213)는 판별하는 영상의 쌍이 실제 이미지(즉, 기 저장된 참조 영상(RIn) 및 경과 영상(PIn)의 쌍(PG))라고 판단하였음을 나타낼 수 있다.
생성기(211)는 판별기(213)의 판별 결과를 피드백으로서 수신할 수 있다. 생성기(211)는 판별기(213)로부터 수신한 판별 결과를 더 이용하여 노이즈(N)로부터 의료 영상(MI)과 실질적으로 동일한 가짜 영상(FI) 및 예측 영상(EI)의 쌍(PG)을 생성할 수 있다.
또한, 판별기(213)는 판별 결과와 판별하는 영상의 쌍의 정답 값(판별하는 영상의 쌍이 학습용 가짜 영상(L_FI)과 학습용 예측 영상(L_EI)의 쌍인지 또는 기 저장된 참조 영상(RIn) 및 경과 영상(PIn)의 쌍인지)이 일치하는지 여부(즉, 판별기(213)가 진위 여부를 제대로 판별했는지 여부)를 피드백으로서 입력 받을 수 있다. 판별기(213)는 피드백을 더 이용하여 판별하는 영상의 쌍의 진위 여부를 더 판별할 수 있다.
이와 같이, 생성기(211)는 판별기(213)의 판별 결과를 피드백으로 이용하여 계속적으로 학습되고, 판별기(213)는 판별 결과의 정답 여부를 피드백으로 이용여 계속적으로 학습됨으로써, 인공 신경망(210)은 보다 정교하게 학습될 수 있다.
도 4는 본 발명의 실시예에 따른 치료 반응 예측 모델을 이용하여 인체 기관의 치료 반응을 예측하는 방법을 나타내는 흐름도이다.
도 2 및 도 4를 참조하면, 치료 반응 예측 모델(200)은, 기 학습된 인공 신경망(210)을 이용하여, 가짜 영상(FI) 및 가짜 영상(FI)에 대한 예측 영상(EI)을 생성할 수 있다(S400).
치료 반응 예측 모델(200)은 의료 영상(MI)과 가짜 영상(FI) 사이의 차이를 계산하고(S410), 의료 영상(MI)과 가짜 영상(FI) 사이의 차이가 기 설정된 기준 값 이하인 경우(S420의 '예'), 의료 영상(MI)과 실질적으로 동일한 가짜 영상(FI) 및 의료 영상(MI)에 대한 치료 반응을 예측하는데 이용될 예측 영상(EI)의 쌍이 생성되었다고 결정할 수 있다(S430).
반면, 의료 영상(MI)과 가짜 영상(FI) 사이의 차이가 기 설정된 기준 값보다 큰 경우(S420의 '예'), 치료 반응 예측 모델(200)은 의료 영상(MI)과 가짜 영상(FI)의 차이를 피드백(FB)으로 입력받아 다시 가짜 영상(FI) 및 예측 영상(EI)을 생성할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
(이 발명을 지원한 국가연구개발사업)
(과제고유번호) 1465033986
(과제세부번호) HI21C1148030021
(부처명) 보건복지부
(과제관리(전문)기관명) 전문기관: 한국보건산업진흥원
(연구사업명) 치의학의료기술연구개발(R&D)
(연구과제명) 합성 응급영상 생성을 위한 AI 모델 개발 및 합성영상 품질 평가 기술 개발
(과제수행기관명) 프로메디우스주식회사
(당해년도 과제기간) 2021.04.01 ~ 2021.12.31
(과제고유번호) 1465033979
(과제세부번호) HI21C1148010021
(부처명) 보건복지부
(과제관리(전문)기관명) 전문기관: 한국보건산업진흥원
(연구사업명) 치의학의료기술연구개발(R&D)
(연구과제명) 합성 응급영상 생성 및 응급환자 선별분류용 AI 적용 연구
(과제수행기관명) 서울아산병원
(당해년도 과제기간) 2021.04.01 ~ 2021.12.31
(과제고유번호) 1465031690
(과제세부번호) HR20C0026020020
(부처명) 보건복지부
(과제관리(전문)기관명) 전문기관: 한국보건산업진흥원
(연구사업명) 연구중심병원육성(R&D)
(연구과제명) MeDIA: 의료 빅데이터, 사물인터넷, 인공지능 플랫폼 구축을 통한 혁신형 의료기술 개발
(과제수행기관명) 서울아산병원
(당해년도 과제기간) 2020.07.16 ~ 2020.12.31

Claims (9)

  1. 생성기 및 판별기를 포함하고, 질병에 대한 치료 반응을 예측하는 인공 신경망을 학습시키는 방법에 있어서,
    입력받은 노이즈로부터, 인체 기관이 디스플레이된 제1 가짜 영상과, 상기 인체 기관에 제1 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제1 예측 영상의 쌍을 생성하도록 상기 생성기를 학습시키는 단계; 및
    상기 인체 기관을 촬영한 제1 의료 영상 및 상기 제1 의료 영상 내의 상기 인체 기관에 상기 제1 치료를 수행한 결과로서의 치료 반응이 디스플레이된 제1 경과 영상의 쌍을 입력 받아, 상기 제1 가짜 영상과 상기 제1 예측 영상의 쌍의 진위 여부를 판별하도록 상기 판별기를 학습시키는 단계를 포함하는
    질병에 대한 치료 반응을 예측하는 신경망을 학습시키는 방법.
  2. 제1 항에 있어서,
    상기 생성기는, 상기 판별기에서 상기 제1 가짜 영상과 상기 제1 예측 영상의 쌍의 진위 여부를 판별한 제1 판별 값을 더 입력받아 더 학습되는
    질병에 대한 치료 반응을 예측하는 신경망을 학습시키는 방법.
  3. 제1 항에 있어서,
    상기 판별기는, 상기 제1 가짜 영상과 상기 제1 예측 영상의 쌍의 진위 여부를 판별한 제1 판별 값과, 상기 제1 가짜 영상과 상기 제1 예측 영상의 쌍의 진위 여부에 대한 제1 정답 값을 비교한 제1 비교 값을 더 입력받아 더 학습되는
    질병에 대한 치료 반응을 예측하는 신경망을 학습시키는 방법.
  4. 제1 항에 있어서,
    상기 노이즈로부터, 제2 가짜 영상, 및 상기 제2 가짜 영상에 디스플레이된 상기 인체 기관에 제2 치료를 수행했을 때 예측되는 치료 반응이 디스플레이된 제2 예측 영상의 쌍을 생성하도록 상기 생성기를 더 학습시키는 단계; 및
    상기 인체 기관을 촬영한 제2 의료 영상 및 상기 제2 의료 영상 내의 상기 인체 기관에 상기 제2 치료를 수행한 결과로서 치료 반응이 디스플레이된 제2 경과 영상의 쌍을 입력 받아, 상기 제2 가짜 영상과 상기 제2 예측 영상의 쌍의 진위 여부를 판별하도록 상기 판별기를 더 학습시키는 단계를 포함하는
    질병에 대한 치료 반응을 예측하는 신경망을 학습시키는 방법.
  5. 질병에 대한 치료 반응을 예측하도록 기 학습된 제1 인공 신경망을 포함하는 치료 반응 예측 모델을 저장하는 메모리; 및
    질병이 감지된 제1 환자의 인체 기관을 촬영한 의료 영상을 입력받고, 상기 인공 신경망을 이용하여, 입력받은 노이즈로부터, 상기 인체 기관이 디스플레이된 제1 가짜 영상과, 상기 인체 기관에 제1 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제1 예측 영상의 쌍을 출력하는 프로세서를 포함하고,
    상기 제1 인공 신경망은 제1 생성기 및 제1 판별기를 포함하고,
    상기 제1 생성기는,
    상기 노이즈로부터, 상기 인체 기관이 디스플레이된 제1 학습용 가짜 영상과, 상기 인체 기관에 상기 제1 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제1 학습용 예측 영상의 쌍을 생성하도록 기 학습되고,
    상기 제1 판별기는,
    상기 인체 기관을 촬영한 학습용 의료 영상 및 상기 학습용 의료 영상 내의 상기 인체 기관에 상기 제1 치료를 수행한 결과로서의 치료 반응이 디스플레이된 학습용 경과 영상의 쌍을 입력 받아, 상기 제1 학습용 가짜 영상과 상기 제1 학습용 예측 영상의 쌍의 진위 여부를 판별하도록 기 학습된
    치료 반응 예측 장치.
  6. 제5 항에 있어서, 상기 프로세서는,
    상기 제1 가짜 영상과 상기 의료 영상의 차이가 기 설정된 기준 값 이하인지 여부를 결정하고, 상기 차이가 상기 기준 값보다 큰 경우, 상기 차이를 줄이기 위한 피드백을 생성하며,
    상기 피드백을 상기 제1 인공 신경망에 입력하여 상기 제1 가짜 영상과 상기 제1 예측 영상의 쌍을 재출력하는 것을 특징으로 하는,
    치료 반응 예측 장치.
  7. 제5 항에 있어서,
    상기 제1 생성기는,
    상기 노이즈로부터, 상기 인체 기관이 디스플레이된 제2 학습용 가짜 영상과, 상기 인체 기관에 제2 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제2 학습용 예측 영상의 쌍을 더 생성하도록 기 학습되고,
    상기 제1 판별기는,
    상기 제2 학습용 가짜 영상과 상기 제2 학습용 예측 영상의 쌍의 진위 여부를 더 판별하도록 기 학습되고,
    상기 프로세서는,
    상기 제1 가짜 영상과, 상기 인체 기관에 상기 제2 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제2 예측 영상의 쌍을 더 출력하는 것을 특징으로 하는,
    치료 반응 예측 장치.
  8. 제5 항에 있어서,
    상기 프로세서는,
    기 학습된 제2 인공 신경망을 이용하여, 상기 인체 기관이 디스플레이된 제2 가짜 영상과, 상기 인체 기관에 제2 치료를 수행할 때 예측되는 치료 반응이 디스플레이된 제2 예측 영상의 쌍을 출력하고,
    상기 제2 인공 신경망은 제2 생성기 및 제2 판별기를 포함하고,
    상기 제2 생성기는,
    상기 노이즈로부터, 상기 인체 기관이 디스플레이된 제2 학습용 가짜 영상과, 상기 인체 기관에 제2 치료를 수행하는 경우 예측되는 치료 반응이 디스플레이된 제2 학습용 예측 영상의 쌍을 더 생성하도록 기 학습되고,
    상기 제2 판별기는,
    상기 제2 학습용 가짜 영상과 상기 제2 학습용 예측 영상의 쌍의 진위 여부를 더 판별하도록 기 학습된 것을 특징으로 하는,
    치료 반응 예측 장치.
  9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제1 항 내지 제4 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
PCT/KR2021/008788 2020-07-27 2021-07-09 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치 WO2022025477A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0093259 2020-07-27
KR1020200093259A KR102561318B1 (ko) 2020-07-27 2020-07-27 인공 신경망을 이용하여 질병에 대한 치료 반응을 예측하는 방법 및 상기 방법을 수행하는 치료 반응 예측 장치

Publications (1)

Publication Number Publication Date
WO2022025477A1 true WO2022025477A1 (ko) 2022-02-03

Family

ID=80035679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008788 WO2022025477A1 (ko) 2020-07-27 2021-07-09 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치

Country Status (2)

Country Link
KR (1) KR102561318B1 (ko)
WO (1) WO2022025477A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042684A (ja) * 2012-08-28 2014-03-13 Dainippon Printing Co Ltd 医用画像処理装置、およびプログラム
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
KR20200089146A (ko) * 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106403A (ko) 2018-03-09 2019-09-18 연세대학교 산학협력단 질환 예측 방법 및 이를 이용한 질환 예측 디바이스
KR102225894B1 (ko) 2018-04-24 2021-03-11 네이버 주식회사 딥 어텐션 네트워크를 이용하여 환자 의료 기록으로부터 질병 예후를 예측하는 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042684A (ja) * 2012-08-28 2014-03-13 Dainippon Printing Co Ltd 医用画像処理装置、およびプログラム
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
KR20200089146A (ko) * 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20220013817A (ko) 2022-02-04
KR102561318B1 (ko) 2023-07-31

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2017051943A1 (ko) 영상 생성 방법 및 장치, 및 영상 분석 방법
WO2021060700A1 (ko) 비디오투시 연하검사 판독 장치 및 방법
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2019031794A1 (ko) 피검체의 치명적 증상의 발생을 조기에 예측하기 위한 예측 결과를 생성하는 방법 및 이를 이용한 장치
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2020231007A2 (ko) 의료기계 학습 시스템
WO2021006472A1 (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2021040327A1 (ko) 심혈관 질환 위험 인자 예측 장치 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2013077558A1 (ko) 뇌전도를 이용한 로봇기반 자폐진단 장치 및 그 방법
WO2022025477A1 (ko) 질병에 대한 치료반응을 예측하는 인공 신경망을 학습시키는 방법 및 치료 반응 예측 장치
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2018147653A1 (ko) 생존율 예측 모델 생성 방법, 장치 및 컴퓨터 프로그램
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2023068732A1 (ko) 신경 심리 검사에 대한 점수를 획득하는 방법 및 이를 수행하는 신경 심리 검사 장치 및 컴퓨터 판독 가능한 기록매체
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2021015490A2 (ko) 이미지의 특이 영역 분석 방법 및 장치
WO2023008849A1 (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2022158654A1 (ko) 의료영상을 이용한 인체성분 분석 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21849262

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21849262

Country of ref document: EP

Kind code of ref document: A1