WO2021167344A1 - 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램 - Google Patents

기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2021167344A1
WO2021167344A1 PCT/KR2021/002024 KR2021002024W WO2021167344A1 WO 2021167344 A1 WO2021167344 A1 WO 2021167344A1 KR 2021002024 W KR2021002024 W KR 2021002024W WO 2021167344 A1 WO2021167344 A1 WO 2021167344A1
Authority
WO
WIPO (PCT)
Prior art keywords
causal
result
reinforcement learning
causality
subject
Prior art date
Application number
PCT/KR2021/002024
Other languages
English (en)
French (fr)
Inventor
서성욱
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Publication of WO2021167344A1 publication Critical patent/WO2021167344A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Definitions

  • Embodiments of the present invention relate to a reinforcement learning method, apparatus and program for identifying causal or causal influence in recorded data.
  • a randomized clinical trial may be used to discover a causal relationship between treatment and outcome, but clinical trials involve ethical issues, high costs, and effectiveness issues. . Therefore, a new analysis method is required for inferring causality.
  • the conventional data driven decision model learns only one potential outcome from one individual, there is a problem that the trained model may be biased. .
  • such a model may have a problem of deriving results with bias depending on the individual.
  • an agent creates a sequence of actions that maximizes a reward, and since the reward can be determined artificially, the learning model can be artificially induced. Therefore, the learning model according to the prior art may not have objectivity and may be difficult to use scientifically.
  • the present invention has been devised to improve the above problems, and an object of the present invention is to provide a reinforcement learning method, apparatus and program for identifying causality in recorded data.
  • problems are exemplary, and the scope of the present invention is not limited thereto.
  • a reinforcement learning method for identifying causality includes: acquiring recorded data about patients; sampling, from the recorded data, subjects included in the non-treated relative group to estimate causality of treatment and outcome for any subject subject; generating a causal reward by comparing the result of the target entity with the result of the sampled entity; It may include; performing reinforcement learning using the causal reward.
  • the difference between the result of the target entity and the result of the sampled entity is determined by determining a factual result of the target entity and a counterfactual of the target entity.
  • the method may include transforming a difference between the result of the target entity and the result of the sampled entity to correspond to the difference in the result.
  • the generating of the causal reward may include a difference in results between the i-th sampled entity and the target entity. and generating the causal compensation by multiplying the i-th sampled entity and a weight based on a covariates distance of the target entity.
  • the generating of the causal reward comprises a difference between the result of the i-th sampled entity and the result of multiplying the result of the target entity by the reciprocal of a propensity score, the result difference It may further include the step of using as
  • performing the reinforcement learning may include applying the causal reward to a Deep Q Neural Network (DQN).
  • DQN Deep Q Neural Network
  • the step of obtaining recorded data about the patients comprises: each patient's age, sex, primary site of tumor, tumor size, histologic subtype, SEER stage, surgical treatment, and obtaining one or more of parameters indicative of radiation therapy.
  • Reinforcement learning apparatus for identifying causality includes: a data acquisition unit for acquiring recorded data about patients; a sampling unit configured to sample, from the recorded data, subjects included in the relative group that did not receive the treatment, in order to estimate the causality of treatment and results for a given subject; a causal compensation generating unit for generating a causal compensation by comparing the result of the target entity with the result of the sampled entity; and a reinforcement learning unit that performs reinforcement learning using the causal reward.
  • a non-transitory computer-readable storage medium for identifying causality in accordance with an embodiment of the present invention comprises an operation for obtaining recorded data about patients. and sampling, from the recorded data, subjects included in the non-treated relative group to estimate causality of treatment and outcome for any subject subject;
  • One or more programs may be stored for executing an operation of generating a causal reward by comparing the results of the entity and an operation of performing reinforcement learning using the causal reward.
  • the bias can be eliminated by performing reinforcement learning using a causal reward using the difference between the results of the subject and the pseudo-counterfactual object, and the performance of reinforcement learning can be greatly improved.
  • FIG. 1 shows a reinforcement learning method for identifying causality according to an embodiment of the present invention.
  • FIG. 2 schematically shows the configuration of a reinforcement learning apparatus for identifying causality according to an embodiment of the present invention.
  • reinforcement learning is learning which action is optimal to take in a current state. Whenever an action is taken, a reward is given from the external environment, and learning can proceed in the direction of maximizing this reward.
  • reinforcement learning is an algorithm in which an agent recognizes the current state in an environment and finds an action or action sequence (policy) that maximizes a reward among selectable actions.
  • Agents can decide actions based on policies.
  • a policy can be a rule of probability for taking a specific action in a specific situation, and can be learned through learning.
  • the goal of reinforcement learning may be to maximize the cumulative reward.
  • causal effect of treatment T on outcome Y of individual X from observational data , CE can be estimated.
  • variable X represents an individual characteristic, and may represent, for example, individual patients.
  • X is the observed baseline characteristics or baseline information of patients given as covariates.
  • Outcome Y represents the outcome of a treated or untreated individual (ie, patient), and may represent, for example, survival or survival rate.
  • the result Y can be represented, for example, in terms of time and survival at that time.
  • the present invention is not limited thereto.
  • the effect of the treatment T on the outcome Y that is, the causality (CE) of the treatment T and the outcome Y Reinforcement learning to identify (identify) can be performed.
  • an individual causal effect (ICE) calculated for the individual X can be used to predict an individual's treatment effect and support decision-making on the individual's treatment.
  • the result Y in the case of not receiving (T ⁇ t) is denoted.
  • the result Y may be expressed as, for example, survival period or survival rate.
  • treatment in subject X through comparison with simulated-reflection results sampled from non-treated (T 0) relative patients
  • the agent searches the action space using the causal reward in the reinforcement learning system and learns the optimal policy to maximize the causal reward of individual X.
  • a group of individuals sampled to represent the pseudo-counterfactual may be referred to as, for example, a pseudo-counterfactual group X'.
  • X i ' may be the i-th sampled entity. Since X i ' is an individual sampled from recorded data regarding untreated relative patients, it may also be referred to as a 'comparative population'.
  • a causal effect in order to identify a causal effect (CE), an estimate of the treated and untreated outcomes of subject X is required.
  • subject X sampled from untreated relative patients By comparing the result of i ' and the result of the treated individual X, the simulated-causal reward can be estimated, and reinforcement learning can be performed to approximate actual causality using the simulated-causal reward.
  • Identifying causal, causal effect, or causal effect may mean identifying the causal effect of an action (e.g. treatment) on an individual outcome.
  • 'identifying' may include estimating, approximating, or predicting.
  • obtaining recorded data about patients (S10) in order to estimate the causality of treatment and results for an arbitrary subject.
  • sampling an individual included in the counterpart that has not received the treatment (S20) comparing the result of the subject with the result of the sampled individual to generate a causal compensation It may include a step (S30) and a step (S40) of performing reinforcement learning using the causal reward.
  • a step S10 of obtaining logged data about patients is performed.
  • the recorded data about the patients may include the values of X i , T , Y i for each patient i.
  • X i representing baseline information of patients may be collected from the recorded data.
  • X i is the age, sex, primary site of the tumor (eg, axial or distal) of the subject (eg patient) i, tumor size (eg above or below the reference size), and histologic subtype (eg, spindle cell type, biphasic type, or not otherwise specified [NOS]), SEER stage (eg, localized, regional, or distant), surgical treatment, or radiation therapy.
  • the present invention is not limited thereto, and X i may include various other variables.
  • X i can use all available clinical information depending on the characteristics of the patient population being observed. For example, X i can be selected in various ways depending on which treatment T causality is to be estimated.
  • X i may include variables representing blood pressure, diabetes, smoking, body mass index, HDL index, LDL index, and family history of individual i.
  • X i may include image data of the entity i.
  • X i is the image data, and is data of a medical image such as an X-ray image, a computed tomography (CT) image, a positron emission tomography (PET) image, an ultrasound image, or magnetic resonance imaging (MRI), or a predetermined process to the data. may contain a single value.
  • CT computed tomography
  • PET positron emission tomography
  • MRI magnetic resonance imaging
  • X i may be in the form of, for example, a vector including a plurality of variables as described above.
  • treatment T may be chemotherapy, but this is only an example and the present invention may be applied to various treatments.
  • the result Y i of each entity i may be collected from the recorded data.
  • Y i may represent the outcome regarding the survival of individual i, and may include time and event (ie, death or survival).
  • Y i may be expressed as a variable representing time and whether or not survival occurs at that time.
  • the relative subject (T ⁇ t) to represent the simulated-reflection facts for the subject (T t, X).
  • X i ') is sampled (S20) is performed.
  • the relative population (T ⁇ t, X i ') is sampled from the untreated relative patient, among the recorded data.
  • causal compensation may refer to discounted causal reweard.
  • covariance matching may be performed to compare results between the individuals through propensity score reweighting or covariate adjustment.
  • Equation 1 E may represent an expected value.
  • Equation 2 the simulated-reflection chamber group X' It can be estimated using an entity X i ' sampled from .
  • X i ' is the relative population, sampled from recorded data for relative patients who did not receive treatment (T ⁇ t).
  • Equation 2 In calculating , if one-to-one matching is performed with X i ', a bias may increase due to a hidden confounder. Also, in case of one-to-one matching, there may be a problem in that important information between unmatched samples may be ignored.
  • N randomly selected relative group subjects T ⁇ t, X i '
  • the randomly sampled relative subject X i ' is not the same individual as the factual individual (i.e., the individual representing the treated patient), it corresponds to a simulated-reflex chamber and is used to reflect the actual reflex chamber. transformation is needed
  • the above variant is the difference in outcome if the sampled entity X i ' is in fact similar to entity X.
  • the larger the weight on the less the sampled object X i ' is in fact similar to the object X, the greater the difference in results. It may include a calculation for reducing the weight in .
  • the weight may refer to a kind of discounted weight that has a smaller weight as the degree of similarity of an individual decreases (that is, as the distance between patients to be compared increases) (discounted factor: ).
  • the result difference can be transformed.
  • the covariance difference between X and X i ' weighted according to can give
  • the difference between the results of X and X i ' weighted on expected value applied can be used to approximate causality or causality.
  • IPS inverse propensity score
  • Equation 5 shows the definition of the propensity score
  • Equation 6 shows the difference between the reweighted result of the inverse of the propensity score for the target entity X and the sampled entity X i '.
  • the difference between the results of Equation 6 is the covariates difference between the target object X and the sampled object X i ' may be discounted by
  • Equation 7 is an expression representing the covariate distance.
  • the discount rate ⁇ It is expressed by multiplying it by
  • T is the annealing temperature
  • the weight is gradually decreased each time sampling is repeated. That is, gradually lowering the “temperature” over time to lower the rate of exploration (or the rate of reflection of values explored).
  • the discount factor ⁇ is satisfied, and the smaller the value, the more emphasis is placed on immediate reward.
  • Equation 8 represents the discounted result difference, which may be used as a reward in the reinforcement learning system according to an embodiment of the present invention.
  • a reward used for reinforcement learning to identify causality may be referred to as a (discounted) individual causal reward R ICE.
  • R ICE may be equal to Equation (8) according to an embodiment.
  • the present invention is not limited thereto, and causal compensation according to various embodiments of the present invention may be expressed as Equations 2, 3, 4, and 6. In common, causal compensation can be generated by comparing the results of the target entity with the results of the sampled entity.
  • step S30 of generating a discounted individual causal reward may be performed.
  • causal compensation may be generated in various ways in various embodiments, as described above. In common, causal compensation can be generated by comparing the results of the target entity with the results of the sampled entity.
  • the reinforcement learning method for identifying causality may generate and use a difference between a result of randomly sampled subjects from a counterpart group and a result of a target entity as a causal reward. For example, it can be used as a causal compensation by comparing the survival outcomes of untreated patients (ie, relative patients) with those of treated patients.
  • the reinforcement learning method for identifying causality may generate and use a discounted reward as a causal reward according to the variance of a covariate between a sampled relative and a target entity.
  • a compensation obtained by weighting the result difference between a sampled relative group object and a target object as an inverse propensity score is generated as a causal reward.
  • IPS inverse propensity score
  • the difference in the result of a value obtained by multiplying the result of the sampled individual and the target object by the reciprocal of the propensity score may be used as a causal compensation.
  • the reinforcement learning method for identifying causality may generate and use a discounted reward as a causal reward according to cross entropy between the sampled relative group and the target entity.
  • a step (S40) of performing reinforcement learning using the generated causal reward may be performed.
  • the step of performing reinforcement learning (S40) includes applying the generated causal reward to Q-learning.
  • the agent may learn an optimal policy for maximizing the expected value of the infinite or finite sum of the causal reward. Agents can also learn the expected values of individual causal rewards.
  • the Bellman equation represents the regression of the expected reward in a Markov decision process (MDP).
  • MDP Markov decision process
  • R ICE (X) may be applied as a reward for the action t in the state X t.
  • the Bellman equation and the optimal Bellman equation can be expressed as in Equation 9 below.
  • Equation 10 the optimal Bellman equation
  • T' represents the behavior of the next state.
  • the reinforcement learning method according to the present invention is as follows: by measuring can be estimated.
  • step S40 of performing reinforcement learning is not limited thereto, and may be applied to various algorithms other than DQN.
  • Causal compensation R ICE (X) according to an embodiment of the present invention can be used when determining compensation for medical data in various types of reinforcement learning algorithms.
  • FIG. 2 schematically shows the configuration of a reinforcement learning apparatus for identifying causality according to an embodiment of the present invention.
  • the reinforcement learning apparatus 10 for identifying causality shown in FIG. 2 shows only the components related to the present embodiment in order to prevent the features of the present embodiment from being blurred. Accordingly, it can be understood by those of ordinary skill in the art related to the present embodiment that other general-purpose components may be further included in addition to the components shown in FIG. 2 .
  • the reinforcement learning apparatus 10 for identifying causality may correspond to at least one processor or include at least one processor. Accordingly, the reinforcement learning apparatus 10 for identifying causality may be driven in a form included in other hardware devices such as a microprocessor or a general-purpose computer system.
  • the present invention may be represented in functional block configurations and various processing steps. These functional blocks may be implemented in any number of hardware and/or software configurations that perform specific functions.
  • the present invention provides integrated circuit configurations, such as memory, processing, logic, look-up tables, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. can be hired Similar to how components of the present invention may be implemented as software programming or software elements, the present invention includes various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors.
  • the present invention may employ prior art techniques for electronic configuration, signal processing, and/or data processing, and the like.
  • Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly, and the components of the present invention are not limited to mechanical and physical configurations.
  • the term may include the meaning of a series of routines of software in association with a processor or the like.
  • the reinforcement learning apparatus 10 for identifying causality includes a data acquiring unit 11 , a sampling unit 12 , a causal compensation generating unit 13 , and a reinforcement learning unit 14 .
  • the data acquisition unit 11 may acquire logged data about the patients.
  • the recorded data includes X i representing the baseline information for each patient i , T representing the treatment option, and Y i representing the outcome.
  • X i may include one or more of variables indicative of patient i's age, sex, primary site of tumor, tumor size, histologic subtype, SEER stage, surgical treatment, and radiotherapy.
  • X i may be in the form of, for example, a vector containing one or more variables as described above.
  • the outcome Y i of each individual represented by X i may represent the outcome regarding the survival of the individual X i , and may include time and event (eg, death or survival).
  • Y i may be expressed as a variable representing time and whether or not survival occurs at that time.
  • the recorded data is, for example, can be expressed as
  • the sampling unit 12 is configured to estimate, from the recorded data, a subject (or a relative group) included in the counterpart not receiving the treatment, in order to estimate the causality of the treatment and the result for any subject X. object) can be sampled.
  • the relative group is an individual representing the relative group patient who has not experienced the treatment option (T ⁇ t), and may be denoted by X i '.
  • the sampling unit 12 does not consider the covariates of the relative group X i ' (or does not compare with the covariates of the target individual X), in the set of recorded data. You can randomly select N opposing groups X i '
  • Causal compensation generating unit 13 is the result of the target object and the result of the sampled object By comparing , it is possible to generate a causal reward to be used in reinforcement learning.
  • the causal compensation generating unit 13 is a result of the individual X i ' randomly sampled from the relative group patients (T ⁇ t, X'). and the result of the target object The difference between and can be generated and used as a causal compensation. For example, it can be used as a causal compensation by comparing the survival outcomes of untreated patients (ie, relative patients) with those of treated patients.
  • the causal compensation generating unit 13 is configured to generate a variance of the covariate between the sampled relative group entity X i ' and the target entity X. Accordingly, discounted rewards can be created and used as causal rewards.
  • the causal compensation generating unit 13 may generate a difference ( ), the covariate distance ( ) gets smaller as the distance increases ( ) can be multiplied to generate causal compensation.
  • the causal compensation may be equal to Equation (8).
  • the causal compensation generating unit 13 calculates the difference between the sampled relative group individual result and the target individual result multiplied by the inverse of the propensity score (IPS), respectively, between the relative group individual and the target object.
  • the difference between the results of the object ( ) can be used as
  • the causal reward generating unit 13 may generate a causal reward by using a difference between the result of the opponent group and the result of multiplying the result of the target entity by the reciprocal of the propensity score (IPS).
  • the causal compensation generating unit 13 may generate and use a discounted compensation as a causal compensation according to cross entropy between the sampled relative group and the target entity.
  • the reinforcement learning unit 14 may perform reinforcement learning using the causal reward generated by the causal reward generating unit 13 .
  • the reinforcement learning unit 14 may apply the generated causal reward to a Deep Q Neural Network (DQN).
  • the reinforcement learning unit 14 may apply the generated causal reward to Q-learning.
  • the reinforcement learning unit 14 may learn an optimal policy for maximizing an expected value of an infinite sum or a finite sum of the causal reward.
  • the reinforcement learning method for identifying causality can be written as a program that can be executed on a computer, and is a general-purpose method for operating the program using a computer-readable recording medium. It may be implemented in a digital computer.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은, 환자들에 관한 기록된 데이터를 획득하는 단계와, 임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 단계와, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 단계와, 상기 인과보상을 사용한 강화학습을 수행하는 단계를 포함하는, 인과성을 식별하는 강화학습 방법을 제공한다.

Description

기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램
본 발명의 실시 예들은, 기록된 데이터에서 인과성 또는 인과적 영향을 식별하는 강화학습 방법, 장치 및 프로그램에 관한 것이다.
의료 분야 및 헬스케어 분야에서 빅데이터를 사용할 수 있게 됨에 따라, 관찰 데이터(observational data)로부터 개별적 수준의 인과성 또는 인과 영향(causal effect)을 식별하는 기술의 개발에 대한 관심이 집중되고 있다. 예를 들면 인과 영향을 예측하여 어떤 행동(예: 치료)을 할 것인지에 관한 의사결정 모델을 수립하는 기술의 개발이 시도될 수 있다.
이러한 기술의 개발을 위해, 예를 들면 무작위적 임상 시험(randomized clinical trial, RCT)을 통해 치료와 결과의 인과관계를 발견할 수 있겠지만, 임상 시험은 윤리적 문제, 높은 비용, 및 유효성 문제를 수반한다. 따라서 인과관계 추론을 위해 새로운 분석방법이 요구된다.
한편, 종래의 데이터 기반의 의사결정(data driven decision) 모델은, 한 개체(individual)로부터 하나의 잠재적 결과(outcome)만을 학습하기 때문에, 학습된 모델이 편향(bias)될 수 있는 문제점이 존재한다. 예를 들면 이러한 모델은, 개체에 따라 편견을 가지고 결과를 도출하는 문제점이 존재할 수 있다.
또한 강화학습에서 에이전트(agent)는 보상을 최대화하는 행동(action)의 시퀀스를 생성하는데, 보상이 인위로 정해질 수 있기 때문에 학습 모델이 인위로 유도될 수 있다. 따라서 종래 기술에 따른 학습 모델은 객관성을 갖지 못할 수 있으며, 과학적으로 사용되기 어려울 수 있다.
본 발명은, 상기와 같은 문제점을 개선하기 위해 안출된 것으로, 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법은, 환자들에 관한 기록된 데이터를 획득하는 단계; 임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 단계; 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 단계; 상기 인과보상을 사용한 강화학습을 수행하는 단계;를 포함할 수 있다.
일 실시예에 따르면, 상기 인과보상을 생성하는 단계는, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과의 차이가, 상기 대상 개체의 사실(factual) 결과와 상기 대상 개체의 반사실(counterfactual) 결과의 차이에 상응하도록, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과의 차이를 변형하는 과정을 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 인과보상을 생성하는 단계는, i번째 샘플링된 개체와 상기 대상 개체의 결과 차이
Figure PCTKR2021002024-appb-I000001
에, 상기 i번째 샘플링된 개체와 상기 대상 개체의 공변량 거리(covariates distance)에 기초한 가중치를 곱하여 상기 인과보상으로 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 인과보상을 생성하는 단계는, 상기 i번째 샘플링된 개체의 결과와 상기 대상 개체의 결과에 각각 성향점수(propensity score)의 역수를 곱한 결과의 차이를, 상기 결과 차이
Figure PCTKR2021002024-appb-I000002
로 사용하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 강화학습을 수행하는 단계는, 상기 인과보상을 DQN (Deep Q Neural Network)에 적용하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 환자들에 관한 기록된 데이터를 획득하는 단계는, 각 환자의 연령, 성별, 종양의 1차 부위, 종양 크기, 조직학적 유형(histologic subtype), SEER 단계, 외과 치료, 및 방사선 치료를 나타내는 변수 중 하나 이상을 획득하는 단계를 포함할 수 다.
본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 장치는, 환자들에 관한 기록된 데이터를 획득하는 데이터 획득부; 임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 샘플링부; 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 인과보상 생성부; 상기 인과보상을 사용한 강화학습을 수행하는 강화학습부;를 포함할 수 있다.
본 발명의 일 실시예에 따른 인과성을 식별하는 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)는, 환자들에 관한 기록된 데이터를 획득하는 동작과, 임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 동작과, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 동작과, 상기 인과보상을 사용한 강화학습을 수행하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
상술한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 기록된 데이터로부터 반사실(counterfactual) 결과를 추정할 수 있어, 기록된 데이터로부터 인과성을 식별 또는 예측할 수 있는 강화학습 모델을 생성할 수 있다.
따라서 무작위적 임상 시험(RCT)을 수행하지 않아도, 강화학습을 통해 개별적 환자에 대하여 치료의 결과에 대한 인과성을 식별, 예측할 수 있다.
또한 대상 개체(subject)와 모사-반사실(pseudo-counterfactual) 개체의 결과의 차이를 이용한 인과보상(causal reward)을 사용하여 강화학습을 수행함으로써 편향(bias)을 없앨 수 있고, 강화학습의 성능을 크게 향상시킬 수 있다.
물론 이러한 효과들에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 장치의 구성을 개략적으로 나타낸다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
이하의 실시예에서, 구성 요소, 부, 블록 등이 연결되었다고 할 때, 구성 요소, 부, 블록들이 직접적으로 연결된 경우뿐만 아니라 구성 요소, 부, 블록들 중간에 다른 구성 요소, 부, 블록들이 개재되어 간접적으로 연결된 경우도 포함한다.
이하의 실시예에서, 강화학습(reinforcement learning)은, 현재의 상태(state)에서 어떤 행동(action)을 취하는 것이 최적인지를 학습하는 것이다. 행동을 취할 때마다 외부 환경에서 보상(reward)이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습이 진행될 수 있다.
다시 말하면 강화학습은, 어떤 환경 안에서 에이전트(agent)가 현재의 상태(state)를 인식하여, 선택 가능한 행동(action)들 중 보상(reward)을 최대화하는 행동 혹은 행동 순서(정책)를 찾아가는 알고리즘이다. 에이전트는 정책(policy)을 근거로 행동을 결정할 수 있다. 정책이란 특정 상황에서 특정 행동을 할 확률 규칙일 수 있으며, 학습을 통해 알아낼 수 있다. 강화학습의 목표는 누적 보상을 최대로 하는 것일 수 있다.
본 발명의 실시예에 따른 인과성을 식별하는 강화학습 방법, 장치 및 프로그램에 따르면, 관찰 데이터(observational data)로부터 개체(individual) X의 결과(outcome) Y에 대한 치료 T의 인과적 영향(causal effect, CE)을 추정할 수 있다.
변수 X는 개체(individual)의 특성을 나타내며, 예를 들면 개별 환자들을 나타낼 수 있다. X는 환자들의 관찰된 기저 특성 또는 기저 정보(baseline information)가 공변량(covariates)으로 주어진 것이다. 결과 Y는 치료 받거나 또는 치료 받지 않은 개체(즉, 환자)의 결과를 나타내며, 예를 들면 생존 기간이나 생존율을 나타낼 수 있다. 결과 Y는 예를 들면 시간 및 그 시간에서의 생존 여부로 나타낼 수 있다. 하지만 이에 한정되지 않는다.
본 발명의 실시예에 따른 방법, 장치 및 프로그램에 따르면, 치료 받은(T=t) 개체 X의 결과 Y에 대하여, 치료 T가 결과 Y에 미친 영향, 즉 치료 T와 결과 Y의 인과성(CE)을 식별(identify)하는 강화학습을 수행할 수 있다. 또한 상기 강화학습을 이용하면, 개체 X에 대하여 산출된 개별 인과 영향(individual causal effect, ICE)을 이용하여 개인의 치료 효과를 예측하고, 개인의 치료에 대한 의사결정을 지원할 수 있다.
기록된 정책(logged policy) t를 갖는 배치(batch) 데이터 또는 관찰 데이터로부터 개체 X의 결과 Y에 대한 치료 T의 인과적 영향(CE)을 추정하기 위해서는, 실제 데이터로부터 실제 결과를 나타내는 사실 결과(factual outcome) E[Y|X, T=t] 및, 동일한 개체에 대한 가상의 예상 결과를 나타내는 반사실 결과(counterfactual outcome) E[Y|X, T≠t]를 정의한다.
사실 결과 E[Y|X, T=t]는, 개체 X가 치료 받은 경우(T = t)의 결과 Y를 나타내며, 반사실 결과 E[Y|X, T≠t]는, 개체 X가 치료 받지 않은 경우(T≠t)의 결과 Y를 나타낸다. 결과 Y는 일 예를 들면, 생존 기간 또는 생존율로 나타낼 수 있다. 한편, 치료 T에 관한 행동(action)이 이분형(binary)인 경우, T=0 or T=1로 나타낼 수 있으며, 예를 들면, 치료 받은 경우를 T=1, 치료 받지 않은 경우를 T=0으로 나타낼 수 있다.
여기서, 개체 X에 대한 T와 Y 사이의 인과관계는, 상기 사실 결과와 반사실 결과의 차이, 즉 YT=1(X) - YT=0(X)를 통해 추론될 수 있다.
하지만, 동일한 개체 X에 대하여 치료 받은 결과와 치료받지 않은 결과를 동시에 관찰하는 것은 불가능하다. 즉, 치료 받은 개체 X에 대하여, 치료 받지 않은 반사실 결과는 실제로 존재하지 않으므로, 관찰할 수 없는 데이터이다.
따라서, 개체 X에 대하여 치료 T와 결과 Y의 인과관계를 추정하기 위해서는, 기록된 데이터(logged data)를 가지고 반사실 결과를 추정하는 새로운 알고리즘이 요구된다. 구체적으로, 치료 받은 개체 X에 대한 반사실 결과(즉, 치료 받지 않은 결과)는 기록된 데이터로부터 얻을 수 없기 때문에, 치료 받지 않은(T=0) 상대군(counterpart) 환자들에 관한 기록된 데이터로부터의 샘플링을 통해 모사-반사실(pseudo-counterfactual)을 나타내는 방안이 요구된다.
본 발명의 실시예에 따른 인과성을 식별하는 강화학습 방법, 장치 및 프로그램에 따르면, 치료 받지 않은(T=0) 상대군 환자들로부터 샘플링된 모사-반사실 결과와의 비교를 통해 개체 X에서 치료 T=1의 인과보상을 추정하고, 상기 인과보상을 사용하여 강화학습을 수행할 수 있다. 인과보상을 사용하여 강화학습을 수행하는 것은, 강화학습 체제에서 에이전트가 상기 인과보상을 이용하여 행동 공간(action space)을 탐색하고, 개인 X의 인과보상을 최대화하는 최적의 정책을 학습하는 것이다.
한편 본 발명의 실시예에 따르면, 상기 모사-반사실(pseudo-counterfactual)을 나타내기 위해 샘플링된 개체들의 군을 예를 들면 모사-반사실 군 X'으로 지칭할 수 있다. 또한 상기 모사-반사실을 나타내기 위해 샘플링된 개체를 Xi'로 표기할 수 있다(Xi' ∈ X'). 예를 들면 Xi' 는 i번째 샘플링된 개체일 수 있다. Xi'는 치료 받지 않은 상대군 환자들에 관한 기록된 데이터로부터 샘플링된 개체이므로, '상대군 개체'로 지칭될 수도 있다.
정리하면, 인과 영향(CE)을 식별하기 위해, 개체 X의 치료 받은 결과 및 치료 받지 않은 결과의 추정(estimate)이 요구되는데, 본 발명에 따르면, 치료 받지 않은 상대군 환자들로부터 샘플링된 개체 Xi'의 결과와 치료 받은 개체 X의 결과를 비교하여 모사-인과보상을 추정하고, 상기 모사-인과보상을 이용하여 실제 인과성을 근사(approximate)하는 강화학습을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법을 나타낸다. 인과성, 인과 영향, 또는 인과 효과(causal effect, CE)을 식별하는 것은, 개체(individual)의 결과에 대하여, 어떤 행동(예: 치료)이 결과에 미친 인과적 영향을 식별하는 것을 의미할 수 있다. 또한 '식별'은, 추정, 근사, 또는 예측하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법은, 환자들에 관한 기록된 데이터를 획득하는 단계(S10), 임의의 대상 개체(subject)에 대한 치료와 결과의 인과성을 추정하기 위하여, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군(counterpart)에 포함된 개체를 샘플링하는 단계(S20), 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 단계(S30), 상기 인과보상을 사용한 강화학습을 수행하는 단계(S40)를 포함할 수 있다.
도 1을 참조하면, 먼저 환자들에 관한 기록된 데이터(logged data)를 획득하는 단계(S10)가 수행된다. 환자들에 관한 기록된 데이터는, 각각의 환자 i에 대한 Xi, T, Yi의 값을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 기록된 데이터로부터 환자들의 기저 정보(baseline information)를 나타내는 Xi를 수집할 수 있다.
Xi는 개체(예: 환자) i의 연령, 성별, 종양의 원발부(primary site)(예: 축상 또는 말단), 종양 크기(예: 기준 크기 이상 또는 이하), 조직학적 유형(histologic subtype)(예: spindle cell type, biphasic type, or not otherwise specified [NOS]), SEER 단계(예: localized, regional, or distant), 외과 치료, 방사선 치료 중 하나 이상을 포함할 수 있다. 본 발명은 이에 한정되지 않으며, Xi는 이 외에도 다양한 변수를 포함할 수 있다. Xi는 관찰하는 환자 집단의 특성에 따라 가능한 모든 임상 정보를 사용할 수 있다. 예를 들면 Xi는 어떤 치료 T의 인과성을 추정하려 하는지에 따라 다양하게 선택될 수 있다. 예를 들면, Xi는 개체 i의 혈압, 당뇨, 흡연, 체질량지수, HDL 지수, LDL 지수, 가족력을 나타내는 변수를 포함할 수 있다. 예를 들면, Xi는 개체 i의 영상 데이터를 포함할 수 있다. Xi는 상기 영상 데이터로써, X-ray 영상, CT(Computed Tomography) 영상, PET(Positron Emission Tomography) 영상, 초음파 영상, MRI(Magnetic Resonance Imaging)과 같은 의료 영상의 데이터 또는 상기 데이터에 소정의 처리를 한 값을 포함할 수 있다. Xi는 상술한 바와 같은 복수의 변수를 포함하는, 예를 들면 벡터의 형태일 수 있다.
본 발명의 일 실시예에 따르면, 기록된 데이터로부터 각 개체 i의 치료 T 여부를 수집할 수 있다. 예를 들면 치료 T는 화학 요법(chemotherapy)일 수 있으나 이는 일 예시일 뿐이며 본 발명은 다양한 치료에 대하여 적용될 수 있다.
본 발명의 일 실시예에 따르면, 기록된 데이터로부터 각 개체 i의 결과 Yi를 수집할 수 있다. Yi는 개체 i의 생존에 관한 결과를 나타낼 수 있으며, 시간 및 이벤트(즉, 사망 또는 생존)를 포함할 수 있다. 예를 들면 Yi는 시간 및 그 시간에서의 생존 여부를 나타내는 변수로 나타낼 수 있다.
다음으로, 임의의 대상 개체(subject)에 대한 치료 T와 결과의 인과성을 추정하기 위하여, 상기 대상 개체(T=t, X)에 대한 모사-반사실을 나타내기 위한 상대군 개체(T≠t, Xi')를 샘플링하는 단계(S20)가 수행된다. 상대군 개체(T≠t, Xi')는, 상기 기록된 데이터 중에서, 치료 받지 않은 상대군 환자로부터 샘플링된다. 반대로, 사실 데이터에서 개체가 치료를 받지 않은 경우(T≠t, X) 모사-반사실 상대군은 치료를 받은 개체(T=t, Xi')일 수 있다.
다음으로, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과의 비교를 이용하여, 인과보상을 생성하는 단계(S30)가 수행된다. 본 발명에 따른 인과보상은, 할인된 인과보상(discounted causal reweard)을 지칭할 수 있다.
일 실시예에 따르면, 대상 개체(T=t, X)와 샘플링된 개체(T≠t, Xi'∈X')의 결과의 비교에 있어서, 유사한 공변량을 가지는 유사한 개체들(X
Figure PCTKR2021002024-appb-I000003
X') 간에 성향점수 재가중(propensity score reweighting) 또는 공변량 조정(covariate adjustment)을 통하여 상기 개체들 간의 결과를 비교하는 공변성 매칭(covariance matching)이 수행될 수 있다. 이하에서, 인과보상을 생성하는 동작에 관한 상세한 설명이 서술된다.
대상 개체(T=t, X)의 개별 인과 영향
Figure PCTKR2021002024-appb-I000004
은, 대상 개체 X와 매치된 상대군 개체(T≠t, Xi'∈X')의 결과의 차이
Figure PCTKR2021002024-appb-I000005
로 나타내어질 수 있다.
구체적으로, 개별 인과 영향(ICE)은 이상적으로 하기 수학식 1로부터 추론될 수 있다. E는 기대값을 나타낼 수 있다.
[수학식 1]
Figure PCTKR2021002024-appb-I000006
하지만, 대상 개체 X의 치료 받지 않은 경우(T≠t)의 결과인 Y(T≠t)|X는 실제로 관찰할 수 없는 반사실 결과이므로, 하기 수학식 2와 같이 모사-반사실 군 X'으로부터 샘플링된 개체 Xi'를 이용하여 추정될 수 있다. Xi'는 치료를 받지 않은(T≠t) 상대군 환자들에 관한 기록된 데이터로부터 샘플링된, 상대군 개체이다.
[수학식 2]
Figure PCTKR2021002024-appb-I000007
Figure PCTKR2021002024-appb-I000008
Figure PCTKR2021002024-appb-I000009
는 X와 Xi'의 결과의 차이를 나타낼 수 있으며, E는 기대값을 나타낼 수 있다. 한편, 수학식 2에서
Figure PCTKR2021002024-appb-I000010
를 산출함에 있어서, Xi'와 일대일 매칭을 하는 경우, 숨겨진 교란변수(hidden confounder)에 의해 바이어스(bias)가 증가할 수 있다. 또한 일대일 매칭을 하는 경우, 매칭되지 않은 샘플들 사이의 중요한 정보가 무시될 수 있는 문제가 발생할 수 있다
따라서 본 발명의 일 실시예에 따른 방법, 장치 및 프로그램은, 상기 샘플링 단계(S20)에서, 공변량(covariates)을 고려하지 않고, 기록된 데이터 집합에서 무작위로 N 개의 상대군 개체(T≠t, Xi')를 선택할 수 있다.
한편, 무작위로 샘플링된 상대군 개체 Xi'는 사실 개체(factual individual)(즉, 치료 받은 환자를 나타내는 개체)와 동일한 개체가 아니기 때문에, 모사-반사실에 해당하며 실제 반사실을 반영하기 위해 변형이 필요하다. 상기 변형은 샘플링된 개체 Xi'가 사실 개체 X와 유사하면 결과 차이
Figure PCTKR2021002024-appb-I000011
에 가중치(weight)를 크게 하고 샘플링된 개체 Xi'가 사실 개체 X와 유사하지 않을수록 결과 차이
Figure PCTKR2021002024-appb-I000012
에 가중치(weight)를 작게 하는 계산을 포함할 수 있다. 본 발명에서 가중치는 개체의 유사도가 작을 수록 (즉, 비교 대상 환자간의 거리가 멀 수록) 작은 가중치를 가지게 되는 일종의 할인된 가중치(discounted weight)를 지칭할 수 있다(discounted factor:
Figure PCTKR2021002024-appb-I000013
).
즉, 대상 개체 X와 샘플링된 개체 Xi'의 결과 차이
Figure PCTKR2021002024-appb-I000014
가 대상 개체의 사실 결과와 반사실 결과의 차이에 상응하도록, 상기 결과 차이
Figure PCTKR2021002024-appb-I000015
를 변형할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 방법, 장치 및 프로그램은, X와 Xi'간의 공분산 차이(covariance difference)
Figure PCTKR2021002024-appb-I000016
에 따라 가중치
Figure PCTKR2021002024-appb-I000017
를 줄 수 있다.
[수학식 3]
Figure PCTKR2021002024-appb-I000018
Figure PCTKR2021002024-appb-I000019
수학식 3을 참조하면, X와 Xi'의 결과 차이
Figure PCTKR2021002024-appb-I000020
에 가중치
Figure PCTKR2021002024-appb-I000021
를 적용한 기대값
Figure PCTKR2021002024-appb-I000022
을 이용하여 인과관계 또는 인과성을 근사하여 나타낼 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 대상 개체 X와 샘플링된 개체 Xi'∈X'와의 결과 차이
Figure PCTKR2021002024-appb-I000023
를 나타냄에 있어서, 각각의 결과(Y, Yi)를 성향점수(
Figure PCTKR2021002024-appb-I000024
)의 역수(inverse propensity score, IPS)로 재가중(reweight)하여 상기 결과 차이를 나타낼 수도 있다.
[수학식 4]
Figure PCTKR2021002024-appb-I000025
Figure PCTKR2021002024-appb-I000026
Figure PCTKR2021002024-appb-I000027
성향점수
Figure PCTKR2021002024-appb-I000028
는, 치료를 배정 받을 확률 P(T = t|X)로, 환자에 대해서 측정된 공변량들(X)이 주어졌을 때, 환자가 치료를 받을 조건부확률로 정의될 수 있다.
[수학식 5]
Figure PCTKR2021002024-appb-I000029
= P(T = t|X)
[수학식 6]
Figure PCTKR2021002024-appb-I000030
수학식 5는 성향점수의 정의를 나타내며, 수학식 6은 대상 개체 X와 샘플링된 개체 Xi'에 대한, 성향점수의 역수로 재가중된(reweighted) 결과의 차이를 나타낸다.
본 발명의 일 실시예에 따르면, 상기 수학식 6의 결과 차이
Figure PCTKR2021002024-appb-I000031
는, 대상 개체 X와 샘플링된 개체 Xi'의 공변량 거리(covariates difference)
Figure PCTKR2021002024-appb-I000032
에 의해 할인될(discounted) 수 있다.
[수학식 7]
Figure PCTKR2021002024-appb-I000033
수학식 7은 공변량 거리를 나타내는 식이다.
한편, 본 발명의 일 실시예에 따른 가중치(discounted weight)는, 할인율 γ를
Figure PCTKR2021002024-appb-I000034
만큼 거듭제곱 하여 나타낸다. 여기서 T는 annealing temperature로, 샘플링을 반복할 때마다 상기 가중치를 점진적으로 감소시키도록 한다. 즉, 시간이 지남에 따라 점진적으로 "온도"를 낮춰서 탐험 비율(또는 탐험된 값의 반영 비율)을 낮추도록 한다. 할인율(discount factor) γ는
Figure PCTKR2021002024-appb-I000035
를 만족하며, 작은 값일수록 즉각적인 보상에 강조를 두게 한다.
i번째 샘플링에 대하여 할인된 가중치(discounted weight)를 적용한 결과 차이는,
Figure PCTKR2021002024-appb-I000036
와 같이 나타낼 수 있다.
또한, 상기 할인된 결과 차이의 합
Figure PCTKR2021002024-appb-I000037
은 수학식 8과 같이 정규화될 수 있다.
[수학식 8]
Figure PCTKR2021002024-appb-I000038
수학식 8은, 할인된 결과 차이를 나타내며, 이는 본 발명의 일 실시예에 따른 강화학습 체제에서 보상(reward)으로 사용될 수 있다.
본 발명의 다양한 실시예들에서, 인과성을 식별하는 강화학습을 위해 사용되는 보상을 (할인된) 인과보상(discounted individual causal reward) RICE으로 지칭할 수 있다. RICE는 일 실시예에 따르면 수학식 8과 같을 수 있다. 다만 본 발명은 이에 한정되지 않으며, 본 발명의 다양한 실시예들에 따른 인과보상은 수학식 2, 3, 4, 6과 같이 나타낼 수도 있다. 공통적으로 인과보상은, 대상 개체의 결과와 샘플링된 개체의 결과의 비교를 통해 생성될 수 있다.
이상에서 전술한 바와 같은 방식으로, 인과보상(discounted individual causal reward)을 생성하는 단계(S30)가 수행될 수 있다.
인과보상은 전술한 바와 같이, 다양한 실시예에서 다양한 방식으로 생성될 수 있다. 공통적으로 인과보상은, 대상 개체의 결과와 샘플링된 개체의 결과의 비교를 통해 생성될 수 있다.
일 실시예에 따르면, 인과성을 식별하는 강화학습 방법은, 상대군 환자들로부터 랜덤하게 샘플링된 개체들의 결과와 대상 개체의 결과와의 차이를 인과보상으로 생성 및 사용할 수 있다. 예를 들면, 치료 받지 않은 환자(즉, 상대군 환자)와 치료 받은 환자의 생존 결과를 비교하여 인과보상으로 사용할 수 있다.
다른 일 실시예에 따르면, 인과성을 식별하는 강화학습 방법은, 샘플링된 상대군 개체와 대상 개체 간의 공변량의 분산에 따라 할인된(discounted) 보상을 인과보상으로 생성 및 사용할 수 있다.
또 다른 일 실시예에 따르면, 인과성을 식별하는 강화학습 방법은, 샘플링된 상대군 개체와 대상 개체 간의 결과 차이에 성향점수의 역수(inverse propensity score, IPS)로 가중치를 적용한 보상을 인과보상으로 생성 및 사용할 수 있다. 예를 들면, 샘플링된 개체와 대상 개체의 결과에 성향점수의 역수가 곱해진 값의 결과 차이를 인과보상으로 사용할 수 있다.
또 다른 일 실시예에 따르면, 인과성을 식별하는 강화학습 방법은, 샘플링된 상대군 개체와 대상 개체 간의 교차 엔트로피(cross entropy)에 따라 할인된(discounted) 보상을 인과보상으로 생성 및 사용할 수 있다.
마지막으로, 생성된 인과보상을 사용한 강화학습을 수행하는 단계(S40)가 수행될 수 있다. 강화학습을 수행하는 단계(S40)는, 생성된 인과보상을 Q-learning에 적용하는 것을 포함한다.
구체적으로, 에이전트는 상기 인과보상의 무한합 또는 유한합의 기대값을 최대화하는 최적의 정책(policy)을 학습할 수 있다. 또한 에이전트는 개별 인과보상(individual causal reward)의 기대값을 학습할 수도 있다.
벨만 방정식(Bellman equation)은, 마르코프 결정 과정(MDP)에서 기대 보상의 회귀를 나타낸다. 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법은, 강화학습을 수행하는 단계(S40)에서, 상태 Xt에서의 행동 t에 대한 보상으로 RICE(X)를 적용할 수 있다. 벨만 방정식과 최적 벨만 방정식(optimal Bellman equation)은 하기의 수학식 9와 같이 나타낼 수 있다.
[수학식 9]
Figure PCTKR2021002024-appb-I000039
Figure PCTKR2021002024-appb-I000040
Q-learning 설정에서, 최적 벨만 방정식은 하기의 수학식 10와 같이 나타낼 수 있다.
[수학식 10]
Figure PCTKR2021002024-appb-I000041
Figure PCTKR2021002024-appb-I000042
Figure PCTKR2021002024-appb-I000043
Figure PCTKR2021002024-appb-I000044
수학식 10에서, T'는, 다음 상태의 행동을 나타낸다. Q-learning에서, 에이전트는 Q(Xt, T=1) 및 Q(Xt, T=0)를 모두 서치(search)하여
Figure PCTKR2021002024-appb-I000045
및 Q(Xt, T)의 최대값을 근사할 수 있다(off-policy 방식).
치료 T의 개별 인과 영향(individual causal effect)을 추정하기 위해서, 본 발명에 따른 강화학습 방법은, 하기의 수학식 11과 같이
Figure PCTKR2021002024-appb-I000046
를 측정함으로써
Figure PCTKR2021002024-appb-I000047
를 추정할 수 있다.
[수학식 11]
Figure PCTKR2021002024-appb-I000048
Figure PCTKR2021002024-appb-I000049
상술한 바와 같이 생성된 인과보상 RICE를 DQN (Deep Q Neural Network) 알고리즘에 적용한 후 강화학습의 성능이 크게 향상된 것을 확인할 수 있었다.
한편, 강화학습을 수행하는 단계(S40)는 이에 국한되지 않으며, DQN 이외의 다양한 알고리즘에 적용될 수 있다. 본 발명의 실시예에 따른 인과보상 RICE(X)은, 다양한 종류의 강화학습 알고리즘에서 의학데이터의 보상을 결정할 때 사용 가능하다.
도 2는 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 장치의 구성을 개략적으로 나타낸다.
도 2에 도시된 인과성을 식별하는 강화학습 장치(10)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 장치(10)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 인과성을 식별하는 강화학습 장치(10)는 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서의 제어 또는 다른 제어 장치에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "메커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 본 발명의 구성요소들이 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 2를 참조하면, 인과성을 식별하는 강화학습 장치(10)는 데이터 획득부(11), 샘플링부(12), 인과보상 생성부(13) 및 강화학습부(14)를 포함한다.
데이터 획득부(11)는 환자들에 관한 기록된 데이터(logged data)를 획득할 수 있다. 기록된 데이터는, 각각의 환자 i에 대한 기저 정보를 나타내는 Xi, 치료 옵션을 나타내는 T, 결과를 나타내는 Yi를 포함한다.
Xi는 환자 i의 연령, 성별, 종양의 1차 부위, 종양 크기, 조직학적 유형(histologic subtype), SEER 단계, 외과 치료, 및 방사선 치료를 나타내는 변수 중 하나 이상을 포함할 수 있다. Xi는 상술한 바와 같은 하나 이상의 변수를 포함하는, 예를 들면 벡터의 형태일 수 있다.
Xi로 나타내어지는 각 개체의 결과 Yi는, 개체 Xi의 생존에 관한 결과를 나타낼 수 있으며, 시간 및 이벤트(예: 사망 또는 생존)를 포함할 수 있다. 예를 들면 Yi는 시간 및 그 시간에서의 생존 여부를 나타내는 변수로 나타낼 수 있다.
기록된 데이터는, 예를 들면,
Figure PCTKR2021002024-appb-I000050
와 같이 나타낼 수 있다.
샘플링부(12)는 임의의 대상 개체(subject) X에 대한 치료와 결과의 인과성을 추정하기 위하여, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군(counterpart)에 포함된 개체(또는 상대군 개체)를 샘플링할 수 있다.
상대군 개체는, 상기 치료 옵션을 경험하지 않은(T≠t) 상대군 환자를 나타내는 개체로, Xi'로 표기될 수 있다. 상대군 개체는, 상기 대상 개체(T=t, X)에 대한 모사-반사실(pseudo-counterfactual)을 나타내기 위해 샘플링된다.
본 발명의 일 실시예에 따르면, 샘플링부(12)는, 상대군 개체 Xi'의 공변량(covariates)을 고려하지 않고(또는 대상 개체 X의 공변량과 비교하지 않고), 기록된 데이터의 집합에서 랜덤하게 N개의 상대군 개체 Xi'를 선택할 수 있다
인과보상 생성부(13)는 상기 대상 개체의 결과
Figure PCTKR2021002024-appb-I000051
와 상기 샘플링된 개체의 결과
Figure PCTKR2021002024-appb-I000052
를 비교하여, 강화학습에 사용될 인과보상을 생성할 수 있다.
일 실시예에 따르면 인과보상 생성부(13)는, 상대군 환자들(T≠t, X')로부터 랜덤하게 샘플링된 개체 Xi'의 결과
Figure PCTKR2021002024-appb-I000053
와 대상 개체의 결과
Figure PCTKR2021002024-appb-I000054
와의 차이를 인과보상으로 생성 및 사용할 수 있다. 예를 들면, 치료 받지 않은 환자(즉, 상대군 환자)와 치료 받은 환자의 생존 결과를 비교하여 인과보상으로 사용할 수 있다.
다른 일 실시예에 따르면 인과보상 생성부(13)는, 샘플링된 상대군 개체 Xi'와 대상 개체 X 간의 공변량의 분산
Figure PCTKR2021002024-appb-I000055
에 따라 할인된(discounted) 보상을 인과보상으로 생성 및 사용할 수 있다.
예를 들면 인과보상 생성부(13)는, i번째 샘플링된 상대군 개체와 대상 개체의 결과 차이(
Figure PCTKR2021002024-appb-I000056
)에, 상기 i번째 상대군 개체와 대상 개체의 공변량 거리(
Figure PCTKR2021002024-appb-I000057
)가 멀수록 작아지는 가중치(
Figure PCTKR2021002024-appb-I000058
)를 곱하여 인과보상으로 생성할 수 있다. 이 경우 인과보상은 수학식 8과 같을 수 있다.
또 다른 일 실시예에 따르면 인과보상 생성부(13)는, 샘플링된 상대군 개체의 결과와 대상 개체의 결과에 각각 성향점수의 역수(IPS)를 곱한 결과의 차이를, 상기 상대군 개체와 대상 개체의 결과 차이(
Figure PCTKR2021002024-appb-I000059
)로 사용할 수 있다. 예를 들면 인과보상 생성부(13)는, 상대군 개체의 결과와 대상 개체의 결과에 각각 성향점수의 역수(IPS)를 곱한 결과의 차이를 이용하여 인과보상을 생성할 수 있다.
또 다른 일 실시예에 따르면 인과보상 생성부(13)는, 샘플링된 상대군 개체와 대상 개체 간의 교차 엔트로피(cross entropy)에 따라 할인된(discounted) 보상을 인과보상으로 생성 및 사용할 수 있다.
강화학습부(14)는, 인과보상 생성부(13)에서 생성된 인과보상을 사용하여 강화학습을 수행할 수 있다. 강화학습부(14)는, 생성된 인과보상을 DQN (Deep Q Neural Network)에 적용할 수 있다. 강화학습부(14)는, 생성된 인과보상을 Q-learning에 적용할 수 있다. 강화학습부(14)는, 상기 인과보상의 무한합 또는 유한합의 기대값을 최대화하는 최적의 정책(policy)을 학습할 수 있다.
한편, 도 1에 도시된 본 발명의 일 실시예에 따른 인과성을 식별하는 강화학습 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성할 수 있고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 발명은 도면에 도시된 일 실시예를 참고로 하여 설명하였으나, 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (9)

  1. 환자들에 관한 기록된 데이터를 획득하는 단계;
    임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 단계;
    상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 단계;
    상기 인과보상을 사용한 강화학습을 수행하는 단계;를 포함하는,
    인과성을 식별하는 강화학습 방법.
  2. 제1항에 있어서,
    상기 인과보상을 생성하는 단계는,
    상기 대상 개체의 결과와 상기 샘플링된 개체의 결과의 차이가, 상기 대상 개체의 사실(factual) 결과와 상기 대상 개체의 반사실(counterfactual) 결과의 차이에 상응하도록, 상기 대상 개체의 결과와 상기 샘플링된 개체의 결과의 차이를 변형하는 과정을 단계를 포함하는,
    인과성을 식별하는 강화학습 방법.
  3. 제1항에 있어서,
    상기 인과보상을 생성하는 단계는,
    i번째 샘플링된 개체와 상기 대상 개체의 결과 차이
    Figure PCTKR2021002024-appb-I000060
    에, 상기 i번째 샘플링된 개체와 상기 대상 개체의 공변량 거리(covariates distance)에 기초한 가중치를 곱하여 상기 인과보상으로 생성하는 단계를 포함하는,
    인과성을 식별하는 강화학습 방법.
  4. 제3항에 있어서,
    상기 인과보상을 생성하는 단계는,
    상기 i번째 샘플링된 개체의 결과와 상기 대상 개체의 결과에 각각 성향점수(propensity score)의 역수를 곱한 결과의 차이를, 상기 결과 차이
    Figure PCTKR2021002024-appb-I000061
    로 사용하는 단계를 더 포함하는,
    인과성을 식별하는 강화학습 방법.
  5. 제1항에 있어서,
    상기 강화학습을 수행하는 단계는,
    상기 인과보상을 DQN (Deep Q Neural Network)에 적용하는 단계를 포함하는,
    인과성을 식별하는 강화학습 방법.
  6. 제1항에 있어서,
    상기 환자들에 관한 기록된 데이터를 획득하는 단계는,
    각 환자의 연령, 성별, 종양의 1차 부위, 종양 크기, 조직학적 유형(histologic subtype), SEER 단계, 외과 치료, 및 방사선 치료, 의료 영상 데이터, 혈압, 당뇨, 흡연, 체질량지수 중 하나 이상을 포함하는 임상 정보를 나타내는 변수를 획득하는 단계를 포함하는,
    인과성을 식별하는 강화학습 방법.
  7. 제1항에 있어서,
    상기 샘플링된 개체의 결과는,
    상기 샘플링된 개체의 생존 기간을 포함하는,
    인과성을 식별하는 강화학습 방법.
  8. 환자들에 관한 기록된 데이터를 획득하는 데이터 획득부;
    임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 샘플링부;
    상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 인과보상 생성부;
    상기 인과보상을 사용한 강화학습을 수행하는 강화학습부;를 포함하는,
    인과성을 식별하는 강화학습 장치.
  9. 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)에 있어서,
    환자들에 관한 기록된 데이터를 획득하는 동작과,
    임의의 대상 개체에 대한 치료와 결과의 인과성을 추정하기 위해, 상기 기록된 데이터로부터, 상기 치료를 받지 않은 상대군에 포함된 개체를 샘플링하는 동작과
    상기 대상 개체의 결과와 상기 샘플링된 개체의 결과를 비교하여, 인과보상을 생성하는 동작과,
    상기 인과보상을 사용한 강화학습을 수행하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 비-일시적 컴퓨터-판독 가능 저장 매체.
PCT/KR2021/002024 2020-02-19 2021-02-17 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램 WO2021167344A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200020549A KR102440817B1 (ko) 2020-02-19 2020-02-19 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램
KR10-2020-0020549 2020-02-19

Publications (1)

Publication Number Publication Date
WO2021167344A1 true WO2021167344A1 (ko) 2021-08-26

Family

ID=77391099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002024 WO2021167344A1 (ko) 2020-02-19 2021-02-17 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램

Country Status (2)

Country Link
KR (1) KR102440817B1 (ko)
WO (1) WO2021167344A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593036B1 (ko) * 2021-11-24 2023-10-23 고려대학교 산학협력단 알츠하이머병 진단 모델의 결정을 추론하고 강화하는 방법 및 장치
KR102518825B1 (ko) * 2022-11-25 2023-04-06 이정수 자기 개발을 위한 강화 학습 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046773A1 (en) * 2016-08-11 2018-02-15 Htc Corporation Medical system and method for providing medical prediction
KR20180105905A (ko) * 2017-03-16 2018-10-01 사회복지법인 삼성생명공익재단 인공신경망을 이용한 활액막 육종의 예후 예측 방법, 장치 및 프로그램
KR20190009166A (ko) * 2017-07-18 2019-01-28 사회복지법인 삼성생명공익재단 기계 학습을 이용한 난소암의 예후 예측 방법, 장치 및 프로그램
KR20190048004A (ko) * 2017-10-30 2019-05-09 삼성에스디에스 주식회사 기계 학습 기반의 이상 행위 탐지 방법 및 그 장치
KR20190069582A (ko) * 2016-11-04 2019-06-19 딥마인드 테크놀로지스 리미티드 보조 작업들을 통한 강화 학습

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046773A1 (en) * 2016-08-11 2018-02-15 Htc Corporation Medical system and method for providing medical prediction
KR20190069582A (ko) * 2016-11-04 2019-06-19 딥마인드 테크놀로지스 리미티드 보조 작업들을 통한 강화 학습
KR20180105905A (ko) * 2017-03-16 2018-10-01 사회복지법인 삼성생명공익재단 인공신경망을 이용한 활액막 육종의 예후 예측 방법, 장치 및 프로그램
KR20190009166A (ko) * 2017-07-18 2019-01-28 사회복지법인 삼성생명공익재단 기계 학습을 이용한 난소암의 예후 예측 방법, 장치 및 프로그램
KR20190048004A (ko) * 2017-10-30 2019-05-09 삼성에스디에스 주식회사 기계 학습 기반의 이상 행위 탐지 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FREDRIK D. JOHANSSON; URI SHALIT; DAVID SONTAG: "Learning Representations for Counterfactual Inference", ARXIV.ORG, 12 May 2016 (2016-05-12), XP081355168 *

Also Published As

Publication number Publication date
KR102440817B1 (ko) 2022-09-06
KR20210105724A (ko) 2021-08-27

Similar Documents

Publication Publication Date Title
WO2021167344A1 (ko) 기록된 데이터에서 인과성을 식별하는 강화학습 방법, 장치 및 프로그램
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2016140432A2 (ko) 생체나이를 이용한 잔여 수명 예측방법
WO2019132614A1 (ko) 수술영상 분할방법 및 장치
WO2022019402A1 (ko) 시계열 생체 신호 기반의 인공신경망 모델 학습 컴퓨터 프로그램 및 방법
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
US12040080B2 (en) Deep learning system for differential diagnosis of skin diseases
WO2018174507A1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2024039120A1 (ko) 센서를 구비한 휴대용 비대면 진단 장치
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2023282405A1 (ko) 인공지능 모델을 활용한 최적의 자극 위치 산출 방법, 전극 모델 시뮬레이션 방법, 서버 및 컴퓨터프로그램
JP4886186B2 (ja) 医用機器及び医用データアクセス制御方法
WO2022260467A1 (en) Method and system for weighted knowledge distillation between neural network models
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2022225363A1 (en) Self-sampling management electronic device, self-sampling management method, and computer readable medium storing program to perform the method
WO2021162490A2 (ko) 칼슘 스코어 및 질환을 예측하는 방법
WO2021162488A2 (ko) 질환을 예측하는 방법 및 이를 수행하는 장치
WO2022019514A1 (ko) 병원의 의사결정 장치, 방법 및 컴퓨터 판독 가능한 기록매체
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
WO2022119347A1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
WO2021177771A1 (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
JP2011123574A (ja) 推論装置、推論方法、及びプログラム
WO2024058319A1 (ko) 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757489

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757489

Country of ref document: EP

Kind code of ref document: A1