KR102559641B1 - Artificial intelligence-based abnormal reaction monitoring method and system therefor - Google Patents

Artificial intelligence-based abnormal reaction monitoring method and system therefor Download PDF

Info

Publication number
KR102559641B1
KR102559641B1 KR1020200150536A KR20200150536A KR102559641B1 KR 102559641 B1 KR102559641 B1 KR 102559641B1 KR 1020200150536 A KR1020200150536 A KR 1020200150536A KR 20200150536 A KR20200150536 A KR 20200150536A KR 102559641 B1 KR102559641 B1 KR 102559641B1
Authority
KR
South Korea
Prior art keywords
data
specific
interval
machine learning
learning model
Prior art date
Application number
KR1020200150536A
Other languages
Korean (ko)
Other versions
KR20220064243A (en
Inventor
윤덕용
장종환
김유정
박남기
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200150536A priority Critical patent/KR102559641B1/en
Publication of KR20220064243A publication Critical patent/KR20220064243A/en
Application granted granted Critical
Publication of KR102559641B1 publication Critical patent/KR102559641B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 명세서는 인공지능 기반의 이상 반응 감시 방법 및 이에 대한 장치에 관한 것이다.
보다 구체적으로, 본 명세서에서 개시되는 이상 반응 감시 방법은, 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base)로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하는 단계; 상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시키는 단계, 상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된 상기 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산되고; 및 상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하는 단계를 포함한다.The present specification relates to an artificial intelligence-based abnormal reaction monitoring method and an apparatus therefor.
More specifically, the method for monitoring an adverse event disclosed in the present specification includes extracting input data for learning a machine learning model from a database storing medical data related to patients' medical records based on the medical data; inputting the extracted input data into a machine learning model, and learning the machine learning model so that a feature importance is assigned to each of all elements included in the input data, wherein the feature importance is calculated based on the degree of correlation between the abnormal reaction determined through learning of the machine learning model and a specific element, respectively; and determining at least one suspect factor related to inducing an abnormal reaction from among the total factors based on the feature importance.

Description

인공지능 기반의 이상 반응 감시 방법 및 이에 대한 시스템{Artificial intelligence-based abnormal reaction monitoring method and system therefor}Artificial intelligence-based abnormal reaction monitoring method and system therefor}

본 발명은 인공 지능 기반의 이상 반응 감시 방법 및 이에 대한 시스템에 관한 것으로써, 보다 구체적으로 머신러닝 모델 학습 과정에서 획득된 특징 중요도에 기반하여 이상 반응을 감시하는 방법 및 이에 대한 시스템에 관한 것이다.The present invention relates to an artificial intelligence-based abnormal reaction monitoring method and system therefor, and more particularly, to a method and system for monitoring an abnormal reaction based on feature importance obtained in a machine learning model learning process.

최근 약물 이상 반응 감시에 대한 관심이 증가하고 그 중요성이 강조되고 있는 가운데 식품의약품안정청, 약물의 처방 및 제조가 이루어지는 의료기관, 의약품을 생산하는 제약 회사 등에서 약물 이상 반응을 선제적으로 감시하여 대응하기 위한 노력이 이루어지고 있다.Recently, as interest in adverse drug reaction monitoring has increased and its importance has been emphasized, the Food and Drug Administration, medical institutions that prescribe and manufacture drugs, and pharmaceutical companies that produce drugs are making efforts to preemptively monitor and respond to adverse drug reactions.

현재 통계 모델링을 통한 이상반응 능동감시가 주를 이루고 있고, 세계 유명 학회지 등에 따르면 통계 모델링은 모집단에 대한 추론을 도출하는데 특화되어 있으며, 머신러닝은 일반화 가능한 패턴을 찾는 것에 특화되어 있는 것으로 밝혀졌다. 보다 구체적으로, 트리 스캔 기반 분석(Tree scan based statistic)이라는 데이터 마이닝 기법이 이상반응 능동 감시에 함께 활용되어왔다. 상기 트리 스캔 기반 분석에서는, 계층 구조를 갖는 분석 대상에 대해서만 분석이 이루어질 수 있고, 진단 혹은 처방 유무만이 분석에 활용될 뿐, 진단 혹은 처방 횟수와 같은 정량적 정보가 반영되지 못한다는 점에서 분석 능력의 한계를 가진다. 또한, 상기 트리 스캔 기반 분석에서는, 다른 계층의 약물 간의 상호작용이 고려되지 못하는 점에서 분석 능력의 한계를 가진다. Currently, active monitoring of adverse reactions through statistical modeling is the main focus, and according to world-renowned academic journals, statistical modeling is specialized in deriving inferences about the population, and machine learning is specialized in finding patterns that can be generalized. More specifically, a data mining technique called tree scan based statistic has been used for active monitoring of adverse reactions. In the tree-scan-based analysis, analysis can be performed only on an analysis target having a hierarchical structure, only diagnosis or prescription is used for analysis, and quantitative information such as diagnosis or prescription frequency is not reflected. In addition, the tree-scan-based analysis has a limitation in analysis ability in that interactions between drugs of different classes cannot be considered.

상기 트리 스캔 기반의 분석 외에, 또 다른 머신러닝 기반의 이상반응 연구로는 자연어처리에 기반한 분석이 있다. 자연어처리에 기반한 분석에서는, 문헌조사를 활용하여 간접적으로 이상 반응을 찾아낼 수 있다. 그러나, 상기 자연어처리 기반 분석을 통해 유추된 이상반응은 자연어처리가 부정확성을 갖는다는 점, 유추된 이상반응은 처방 및 진단 데이터를 직접 연구한 것에 기반한 것이 아닌 점에서 한계를 가진다. 또한, 기존 통계 모델링을 통한 연구에서는 테라바이트 단위의 데이터를 closed form 형태로 최적해를 찾는 방식이 사용되는데, 테라바이트 단위의 데이터에 대하여 closed form 형태로 최적해를 찾기 위해서는 소요되는 컴퓨팅 파워와 연산량이 매우 커서 빅데이터 적용이 쉽지 않은 문제점이 존재한다.In addition to the tree scan-based analysis, another machine learning-based adverse reaction study is an analysis based on natural language processing. In the analysis based on natural language processing, abnormal reactions can be found indirectly by utilizing literature search. However, the adverse reactions inferred through the natural language processing-based analysis have limitations in that natural language processing has inaccuracies and that the inferred adverse reactions are not based on direct research on prescription and diagnostic data. In addition, in studies using existing statistical modeling, a method of finding an optimal solution in closed form for terabyte data is used. However, in order to find an optimal solution in closed form for terabyte data, the amount of computing power and computation required is very large, so it is not easy to apply big data.

본 명세서는 인공지능 기반의 이상 반응 감시 방법 및 이에 대한 시스템 을 제공함에 그 목적이 있다.The purpose of the present specification is to provide an artificial intelligence-based abnormal reaction monitoring method and system therefor.

또한, 본 명세서는 머신러닝 모델의 특징 중요도를 활용하여 이상반응을 유발하는 의심 요소를 감지하는 방법 및 이에 대한 시스템을 제공함에 그 목적이 있다.In addition, an object of the present specification is to provide a method and system for detecting a suspicious factor causing an adverse reaction by utilizing feature importance of a machine learning model.

본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in this specification are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

본 명세서는 인공지능 기반의 이상 반응 감시 방법 및 이에 대한 시스템 을 제공한다. The present specification provides an artificial intelligence-based abnormal reaction monitoring method and system therefor.

보다 구체적으로, 본 명세서는, 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base)로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하는 단계; 상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시키는 단계, 상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된 상기 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산되고; 및 상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하는 단계를 포함하는 것을 특징으로 한다.More specifically, the present specification includes extracting input data for learning a machine learning model from a database storing medical data related to patients' medical records based on the medical data; inputting the extracted input data into a machine learning model, and learning the machine learning model so that a feature importance is assigned to each of all elements included in the input data, wherein the feature importance is calculated based on the degree of correlation between the abnormal reaction determined through learning of the machine learning model and a specific element, respectively; and determining at least one suspect factor related to inducing an abnormal reaction from among the total factors based on the feature importance.

또한, 본 명세서는, 상기 입력 데이터를 추출하는 단계는, 상기 이상 반응이 상기 환자들에게 발생한 시점과 관련된 이상 반응 발생 시점 데이터를 환자 별로 각각 추출하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, in the present specification, the step of extracting the input data may further include extracting data of occurrence time of the adverse event related to the time of occurrence of the adverse event for each patient, respectively.

또한, 본 명세서는, 상기 입력 데이터를 추출하는 단계는, 상기 환자 별로 각각 추출된 이상 반응 발생 데이터에 기초하여, 상기 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 이벤트(event) 구간 데이터를 추출하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, in the present specification, the step of extracting the input data may further include the step of extracting event section data related to the medical record of the specific patient for a specific period before the time when the adverse event occurred in the specific patient, based on the adverse event occurrence data extracted for each patient.

또한, 본 명세서는, 상기 입력 데이터를 추출하는 단계는, 상기 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 제어(control) 구간 데이터를 추출하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, in the present specification, the step of extracting the input data is related to the medical record of the specific patient during the specific period before any time other than the time when the adverse event occurred in the specific patient. It may be characterized by further comprising the step of extracting control interval data.

또한, 본 명세서는, 상기 환자들에 대한 상기 이벤트 구간 데이터 및 상기 제어 구간 데이터 각각에 포함된 의료 기록은 특정 증상에 대한 진단과 관련된 기록, 약물 처방과 관련된 기록 또는 백신 접종과 관련된 기록 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.In addition, in the present specification, the medical records included in each of the event interval data and the control interval data for the patients include at least one of a record related to diagnosis of a specific symptom, a record related to drug prescription, or a record related to vaccination.

또한, 본 명세서는, 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간의 사이에는 특정 간격의 시간 구간이 삽입되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that a time interval of a specific interval is inserted between the time interval from which the event interval data is extracted and the time interval from which the control interval data is extracted.

또한, 본 명세서는, 상기 삽입된 특정 간격의 시간 구간에 기초하여 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간은 중첩없이 시간적으로 이격되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that the time interval in which the event interval data is extracted and the time interval in which the control interval data are extracted are temporally separated based on the inserted time interval of the specific interval without overlapping.

또한, 본 명세서는, 상기 머신러닝 모델은 상기 전체 요소들 각각에 대하여 상기 특징 중요도를 부여하여, 상기 이벤트 구간 데이터와 상기 제어 구간 데이터를 구분하도록 학습되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that the machine learning model is trained to distinguish the event interval data and the control interval data by assigning the feature importance to each of the entire elements.

또한, 본 명세서는, 상기 머신러닝 모델 학습이 완료된 상기 머신러닝 모델에 상기 이벤트 구간 데이터 또는 상기 제어 구간 데이터 중 하나인 특정 입력 데이터를 입력하여 상기 이상 반응의 발생 여부를 판단하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, the present specification further includes determining whether or not the abnormal reaction occurs by inputting specific input data, which is one of the event section data and the control section data, to the machine learning model for which the machine learning model learning is completed.

또한, 본 명세서는, 상기 특징 중요도는 상기 상관 관계의 정도가 상대적으로 큰 것으로 판단된 요소에 대하여 높은 값으로 부여되는 것을 특징으로 할 수 있다.In addition, in the present specification, the feature importance may be characterized in that a high value is assigned to an element determined to have a relatively high degree of correlation.

또한, 본 명세서는, 상기 적어도 하나의 의심 요소는 상기 전체 요소들 중에서 상기 특징 중요도가 특정한 임계값보다 큰 요소들로 구성되는 것을 특징으로 할 수 있다.In addition, in the present specification, the at least one suspicious element may be characterized in that it is composed of elements whose feature importance is greater than a specific threshold among all elements.

또한, 본 명세서는, 상기 특정한 임계값은 상기 전체 요소들에 각각 부여된 상기 특징 중요도의 전체 평균 값의 2배인 값으로 설정되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that the specific threshold is set to a value that is twice the overall average value of the feature importance assigned to all of the elements.

또한, 본 명세서에서 제공되는 이상 반응 감시 시스템은, 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base); 머신러닝 모델(machine learning model); 및 제어부;를 포함하고, 상기 제어부는, 상기 데이터 베이스로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하고, 상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시키고, 상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된 상기 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산되고, 상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하는 것을 특징으로 한다.In addition, the adverse reaction monitoring system provided in the present specification includes a database for storing medical data related to patients' medical records; machine learning model; and a control unit, wherein the control unit extracts input data for learning a machine learning model from the database based on the medical data, inputs the extracted input data to a machine learning model, and trains the machine learning model so that a feature importance is assigned to each of all elements included in the input data, the feature importance is calculated based on a degree of correlation between the abnormal reaction determined through learning of the machine learning model and a specific element, and based on the feature importance, the least or more of the entire elements and determining at least one suspect factor associated with inducing the reaction.

또한, 본 명세서는, 상기 제어부는, 상기 입력 데이터를 추출하기 위해, 상기 이상 반응이 상기 환자들에게 발생한 시점과 관련된 이상 반응 발생 시점 데이터를 환자 별로 각각 추출하는 것을 특징으로 할 수 있다.In addition, in the present specification, in order to extract the input data, the control unit may be characterized in that each patient extracts the data of the time of occurrence of the adverse reaction related to the time of occurrence of the abnormal reaction in the patients.

또한, 본 명세서는, 상기 제어부는, 상기 입력 데이터를 추출하기 위해, 상기 환자 별로 각각 추출된 이상 반응 발생 데이터에 기초하여, 상기 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 이벤트(event) 구간 데이터를 추출하는 것을 특징으로 할 수 있다.In addition, in the present specification, in order to extract the input data, the control unit extracts event section data related to the medical record of the specific patient for a specific period before the time when the adverse event occurred in the specific patient based on the occurrence data of each extracted adverse event for each patient.

또한, 본 명세서는, 상기 제어부는, 상기 입력 데이터를 추출하기 위해, 상기 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 제어(control) 구간 데이터를 추출 하는 것을 특징으로 할 수 있다.In addition, in the present specification, in order to extract the input data, the control unit is related to the medical record of the specific patient during the specific period before any point in time other than the point in time when the adverse event occurred in the specific patient. It may be characterized in that it extracts control interval data.

또한, 본 명세서는, 상기 환자들에 대한 상기 이벤트 구간 데이터 및 상기 제어 구간 데이터 각각에 포함된 의료 기록은 특정 증상에 대한 진단과 관련된 기록, 약물 처방과 관련된 기록 또는 백신 접종과 관련된 기록 중 적어도 하나를 포함 하는 것을 특징으로 할 수 있다.In addition, in the present specification, the medical records included in each of the event interval data and the control interval data for the patients include at least one of a record related to diagnosis of a specific symptom, a record related to drug prescription, or a record related to vaccination.

또한, 본 명세서는, 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간의 사이에는 특정 간격의 시간 구간이 삽입되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that a time interval of a specific interval is inserted between the time interval from which the event interval data is extracted and the time interval from which the control interval data is extracted.

또한, 본 명세서는, 상기 삽입된 특정 간격의 시간 구간에 기초하여 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간은 중첩없이 시간적으로 이격되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that the time interval in which the event interval data is extracted and the time interval in which the control interval data are extracted are temporally separated based on the inserted time interval of the specific interval without overlapping.

또한, 본 명세서는, 상기 머신러닝 모델은 상기 전체 요소들 각각에 대하여 상기 특징 중요도를 부여하여, 상기 이벤트 구간 데이터와 상기 제어 구간 데이터를 구분하도록 학습되는 것을 특징으로 할 수 있다.In addition, the present specification may be characterized in that the machine learning model is trained to distinguish the event interval data and the control interval data by assigning the feature importance to each of the entire elements.

본 명세서는 인공지능에 기반하여 이상 반응 감시할 수 있는 효과가 있다.The present specification has the effect of monitoring abnormal reactions based on artificial intelligence.

또한, 본 명세서는 머신러닝 모델의 특징 중요도를 활용하여 이상반응을 유발하는 의심 요소를 감지할 수 있는 효과가 있다.In addition, the present specification has an effect of detecting a suspicious element causing an adverse reaction by utilizing feature importance of a machine learning model.

또한, 본 명세서는 이상반응을 유발하는 의심 요소를 감지하여 이상 반응 유발 검사 대상 물질의 수를 감소시킬 수 있는 효과가 있다. In addition, the present specification has an effect of reducing the number of substances to be tested for causing abnormal reactions by detecting suspicious elements causing abnormal reactions.

본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable in the present specification are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델 학습을 위한 입력 데이터를 추출하는 예시를 나타낸 도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델의 학습 과정의 이해를 돕기위한 예시를 나타낸 도이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델의 학습 과정의 이해를 돕기위한 예시를 나타낸 도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델 학습을 학습하는 과정의 예시를 나타낸 도이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에 기초하여 이상반응을 유발하는 의심 약물을 감시한 결과를 나타낸 도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법을 수행하기 위한 제어부에서 구현되는 동작의 일례를 나타낸 순서도이다.The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide examples of the present invention and describe technical features of the present invention together with the detailed description.
1 is a block diagram of an artificial intelligence-based abnormal reaction monitoring system according to an embodiment of the present invention.
2 is a flowchart of an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.
3 is a diagram illustrating an example of extracting input data for machine learning model learning in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.
4 is a diagram illustrating an example for helping understanding of a learning process of a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.
5 is a diagram illustrating an example for helping understanding of a learning process of a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.
6 is a diagram illustrating an example of a process of learning a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.
7 is a diagram showing the results of monitoring suspected drugs causing adverse reactions based on the artificial intelligence-based adverse reaction monitoring method according to an embodiment of the present invention.
8 is a flowchart illustrating an example of an operation implemented in a controller for performing an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.The accompanying drawings included as part of the detailed description to aid understanding of the present invention provide examples of the present invention, and describe the technical features of the present invention together with the detailed description. Like reference numerals designate essentially like elements throughout the specification. In addition, if it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

이하, 본 발명과 관련된 방법 및 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "유닛", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.Hereinafter, a method and apparatus related to the present invention will be described in more detail with reference to the drawings. In addition, general terms used in the present invention should be interpreted as defined in advance or according to context, and should not be interpreted in an excessively reduced sense. Also, singular expressions used in this specification include plural expressions unless the context clearly indicates otherwise. In this application, the terms "consisting of" or "comprising" should not be construed as necessarily including all of the various components or steps described in the specification, and some components or some steps of which may not be included, or may further include additional components or steps. The suffixes "unit", "module", and "unit" for the components used in the following description are given or used interchangeably in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves. Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 시스템의 블록도이고, 도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법의 순서도이다.1 is a block diagram of an artificial intelligence-based abnormal reaction monitoring system according to an embodiment of the present invention, and FIG. 2 is a flowchart of an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예는 제어부(130)가 데이터 베이스(110)로부터 머신러닝 모델(machin learning model)을 학습시키기 위한 데이터를 추출할 수 있다(S210). 보다 구체적으로, 제어부(130)는, 데이터 베이스(110)로부터, 머신러닝 모델(120) 학습을 위한 데이터 추출에 사용되는 데이터를 먼저 추출하고, 상기 먼저 추출된 데이터에 기초하여 상기 머신러닝 모델 학습을 위한 데이터를 추출할 수 있다. 제어부(130)가 상기 먼저 추출된 데이터에 기초하여 상기 머신러닝 모델 학습을 위한 데이터를 추출하는 과정은 ‘데이터 전처리(preprocessing)’ 과정으로 호칭될 수 있다. 여기서, 데이터 베이스(110)는 환자들의 의료 기록과 관련된 의료 데이터를 저장할 수 있다.Referring to FIGS. 1 and 2 , in one embodiment of the present invention, the control unit 130 may extract data for learning a machine learning model from the database 110 (S210). More specifically, the controller 130 first extracts data used for data extraction for learning the machine learning model 120 from the database 110, and based on the previously extracted data, the data for learning the machine learning model. A process in which the control unit 130 extracts data for learning the machine learning model based on the previously extracted data may be referred to as a 'data preprocessing' process. Here, the database 110 may store medical data related to patients' medical records.

이후, 제어부(130)는 S210 단계에서 추출된 머신러닝 모델 학습을 위한 데이터 사용하여 머신러닝 모델(120)을 학습시킬 수 있다(S220). 보다 구체적으로, 상기 추출된 머신러닝 모델 학습을 위한 데이터들은 특정한 입력 값과(X) 상기 특정한 입력 값(X)에 대한 출력 값(Y)의 형태로 구성 될 수 있다. 여기서, 머신러닝 모델(120)을 학습시키는 과정은 임의의 입력 값(X)과 상기 임의의 입력 값(X)에 대한 출력 값(Y) 사이의 관계를 추론하는 과정으로 이해될 수 있다. 즉, 학습이 완료된 머신러닝 모델(120)은 입력 값과 출력 값 사이의 관계를 알 수 있고, 학습이 완료된 머신러닝 모델(120)에 임의의 입력 값(X)를 입력하면 머신러닝 모델(120)은 추론된 상관 관계에 기초하여 출력 값(Y)를 출력할 수 있게 된다. 본 발명에서, 입력 값(X)은 의심 약물, 백신 접종 등일 수 있고, 출력 값(Y)은 이상 반응 발생 여부 일 수 있다. 이하, 본 명세서에서 머신러닝 모델(120)을 학습시킨다는 것의 의미는 상술한 내용을 바탕으로 이해될 수 있다. Thereafter, the controller 130 may train the machine learning model 120 using the data for learning the machine learning model extracted in step S210 (S220). More specifically, the extracted data for learning the machine learning model may be configured in the form of a specific input value (X) and an output value (Y) for the specific input value (X). Here, the process of learning the machine learning model 120 may be understood as a process of inferring a relationship between an arbitrary input value (X) and an output value (Y) for the arbitrary input value (X). That is, the machine learning model 120 that has been trained can know the relationship between the input value and the output value, and if an arbitrary input value (X) is input to the machine learning model 120 that has been trained, the machine learning model 120 can output an output value (Y) based on the inferred correlation. In the present invention, the input value (X) may be a suspected drug or vaccination, and the output value (Y) may be whether or not an adverse reaction occurs. Hereinafter, the meaning of learning the machine learning model 120 in this specification can be understood based on the above information.

다음, 제어부(130)는 머신러닝 모델(120)을 학습시킨 결과에 기초하여 이상 반응을 유발한 의심 요소를 결정할 수 있다(S230). 보다 구체적으로, 본 발명에서 머신러닝 모델(120)을 학습시킨 결과에 기초하여 의심요소를 결정한다는 것은, 학습한 결과 머신러닝 모델(120)이 추론한 입력 값(X)과 출력 값(Y)의 관계 자체를 사용하는 것으로 이해될 수 있다. 즉, 본 발명에서는 이상 반응을 유발한 의심 요소를 결정하기 위해, 특정한 입력 값(X)을 입력하면 추론된 입력 값과 출력 값 사이의 관계를 사용하여 특정한 입력 값에 대응되는 출력 값(Y)을 얻는 머신러닝 모델(120)의 능력을 사용하는 것이 아니라, 추론된 입력 값과 출력 값 사이의 관계 자체를 이용하여 이상 반응을 유발한 의심 요소를 결정할 수 있다.Next, the control unit 130 may determine a suspected factor causing the abnormal reaction based on the result of learning the machine learning model 120 (S230). More specifically, in the present invention, determining the suspicious factor based on the result of learning the machine learning model 120 means that the relationship between the input value (X) and the output value (Y) inferred by the machine learning model 120 as a result of learning can be understood as using the relationship itself. That is, in the present invention, when a specific input value (X) is input in order to determine the suspicious element causing the abnormal reaction, the relationship between the inferred input value and the output value is used to obtain an output value (Y) corresponding to the specific input value. Instead of using the ability of the machine learning model 120 to obtain, the suspicious factor causing the abnormal reaction can be determined using the relationship between the inferred input value and the output value itself.

이하에서, 상술한 S210 단계 내지 S230 단계 각각에 대해서 보다 구체적으로 살펴보도록 한다.Hereinafter, each of the aforementioned steps S210 to S230 will be described in more detail.

머신러닝 모델 학습을 위한 입력 데이터 추출 방법How to extract input data for training machine learning models

도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델 학습을 위한 입력 데이터를 추출하는 예시를 나타낸 도이다. 3 is a diagram illustrating an example of extracting input data for machine learning model learning in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

이하에서, 도 3을 참조하여 제어부(130)가 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(110)로부터 머신러닝 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하는 방법에 대해서 구체적으로 살펴보도록 한다. Hereinafter, with reference to FIG. 3, a method in which the control unit 130 extracts input data for machine learning learning from the database 110 storing medical data related to patients' medical records based on the medical data will be described in detail.

도 3을 참조하면, 먼저, 제어부(130)는 데이터 베이스(110)로부터 환자들의 의료 기록과 관련된 의료 데이터를 추출할 수 있다. 상기 의료 데이터는 환자별로 각각 추출될 수 있다(301 내지 303).상기 의료 데이터 추출 과정은 제어부(130) 및 데이터 베이스(110) 각각의 통신부를 통하여 상호간에 수행될 수 있다. Referring to FIG. 3 , first, the controller 130 may extract medical data related to patients' medical records from the database 110 . The medical data may be extracted for each patient (301 to 303). The process of extracting the medical data may be mutually performed through communication units of the controller 130 and the database 110, respectively.

다시 도 3을 참조하면, 제어부(130)는, 상기 머신러닝 학습을 위한 입력 데이터를 추출하기 위해, 추출된 의료 데이터를 분석하고, 이상 반응이 환자들에게 발생한 시점과 관련된 데이터를 환자 별로 각각 추출할 수 있다(도 310 내지 330). 여기서, 상기 이상 반응이 환자들에게 발생한 시점과 관련된 데이터는 이상 반응 발생 시점 데이터로 호칭될 수 있으며, 이와 동일 유사하게 해석되는 범위에서 다양하게 표현될 수 있음은 물론이다. 도 3에서, 환자 A 및 환자 C(310 및 330)는 이상 반응이 발생하였지만, 환자 B(120)는 이상 반응이 발생하지 않은 것을 알 수 있다.Referring back to FIG. 3 , in order to extract the input data for the machine learning learning, the controller 130 analyzes the extracted medical data and extracts data related to the point in time when an adverse event occurred in the patients for each patient (FIGS. 310 to 330). Here, the data related to the time of occurrence of the adverse event in patients may be referred to as the data of the time of occurrence of the adverse event, and may be expressed in various ways within the same or similar interpretation range. In FIG. 3 , it can be seen that abnormal reactions occurred in patients A and C (310 and 330), but no adverse reaction occurred in patient B (120).

다시 도 3을 참조하면, 제어부(130)는, 상기 머신러닝 학습을 위한 입력 데이터를 추출하기 위해, 환자 별로 각각 추출된 이상 반응 발생 데이터에 기초하여, 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 데이터를 추출할 수 있다(312, 331, 및 333). 여기서, 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 데이터는 이벤트(event) 구간 데이터로 호칭될 수 있으며, 이와 동일 유사하게 해석되는 범위에서 다양하게 표현될 수 있음은 물론이다. 상기 특정 기간은 이상 반응이 발생한 시점을 포함하여 설정될 수 있다. 또한, 상기 이벤트 구간 데이터가 추출되는 특정 기간의 길이는 타겟 이상반응의 특성에 따라서 유동적으로 설정될 수 있다. 예를 들어, 타겟 이상 반응이 상기 타겟 이상 반응과 관련된 의심 요소(즉, 약물 처방, 백신 접종 등)가 있었던 시점으로부터 짧은 기간 후에 발생하는 것인 경우, 상기 특정 기간은 짧게 설정될 수 있다. 반대로, 타겟 이상 반응이 상기 타겟 이상 반응과 관련된 의심 요소(즉, 약물 처방, 백신 접종 등)가 있었던 시점으로부터 장기간 후에 발생하는 것인 경우, 상기 특정 기간은 길게 설정될 수 있다. Referring back to FIG. 3 , in order to extract the input data for the machine learning learning, the control unit 130 may extract data related to the medical record of the specific patient for a specific period prior to the time when the adverse event occurred in the specific patient, based on the adverse event generation data extracted for each patient (312, 331, and 333). Here, the data related to the medical record of the specific patient for a specific period before the time when the adverse event occurred in the specific patient may be referred to as event interval data, and may be expressed in various ways within the same or similarly interpreted range. Of course. The specific period may be set including the time when the adverse reaction occurs. In addition, the length of a specific period from which the event section data is extracted may be flexibly set according to the characteristics of the target adverse reaction. For example, when a target adverse reaction occurs after a short period from the time when a suspicious factor related to the target adverse reaction (ie, drug prescription, vaccination, etc.) exists, the specific period may be set short. Conversely, when the target adverse event occurs after a long period of time from the time when a suspicious factor related to the target adverse event (ie, drug prescription, vaccination, etc.) existed, the specific period may be set long.

다시 도 3을 참조하면, 제어부(130)는, 상기 머신러닝 학습을 위한 입력 데이터를 추출하기 위해, 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 데이터를 추출할 수 있다(311, 313, 321, 322, 323 및 332). 상기 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 데이터는 제어(control) 구간 데이터로 호칭될 수 있으며, 이와 동일 유사하게 해석되는 범위에서 다양하게 표현될 수 있음은 물론이다.Referring back to FIG. 3 , in order to extract the input data for the machine learning learning, the control unit 130 may extract data related to the medical record of the specific patient during the specific period prior to an arbitrary point in time other than when an adverse event occurred in the specific patient (311, 313, 321, 322, 323, and 332). Data related to the medical record of the specific patient during the specific period prior to any point in time other than the time the adverse event occurred in the specific patient may be referred to as control interval data, and may be expressed in various ways within the same or similarly interpreted range.

추출된 각각의 이벤트 구간 데이터 및 제어 구간 데이터는 환자들의 진단, 약물 처방, 백신 접종 등의 정보를 포함할 수 있다. 또한, 상기 진단, 상기 약물 처방, 상기 백신 접종 등은 각각 서로 다른 종류의 복수의 진단, 약물 처방, 백신 접종 등의 정보일 수 있다. 추가적으로, 추출된 각각의 이벤트 구간 데이터 및 제어 구간 데이터는 환자들의 성별, 나이 등의 환자 정보를 더 포함할 수 있다. 단, 본 명세서에서, 추출된 각각의 이벤트 구간 데이터 및 제어 구간 데이터에 포함된 정보들 중, 약물 처방, 백신 접종과 관련된 정보가 이상반응을 유발하는 의심 요소를 감시하기 위해서 보다 바람직하게 사용될 수 있다. Each of the extracted event section data and control section data may include information on patients' diagnosis, drug prescription, vaccination, and the like. In addition, the diagnosis, the drug prescription, and the vaccination may be information on a plurality of different types of diagnosis, drug prescription, and vaccination, respectively. Additionally, each of the extracted event section data and control section data may further include patient information such as sex and age of the patients. However, in the present specification, among the information included in each of the extracted event interval data and control interval data, information related to drug prescription and vaccination may be more preferably used to monitor suspected factors causing adverse reactions.

추가적으로, 추출된 전체 이벤트 구간 데이터의 수와 전체 제어 구간 데이터의 수는 일정한 비율로 구성될 수 있다. 일 예로, 상기 비율은 전체 이벤트 구간 데이터의 수:전체 제어 구간 데이터의 수 = 1:2의 비율로 구성될 수 있다.Additionally, the number of extracted total event interval data and the total number of control interval data may be configured in a constant ratio. For example, the ratio may consist of a ratio of the number of all event section data: the number of all control section data = 1:2.

다시 도 3을 참조하면, 제어부(130)는, 상기 머신러닝 학습을 위한 입력 데이터를 추출하기 위해, 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간의 사이에는 특정 간격의 시간 구간이 삽입할 수 있다. 상기 특정 간격의 시간 구간은 wash out 구간으로도 표현될 수 있으며, 이와 동일 유사하게 해석되는 범위에서 다양하게 표현될 수 있음은 물론이다. 삽입된 특정 간격의 시간 구간에 기초하여 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간은 중첩없이 시간적으로 이격될 수 있다. 이벤트 구간 데이터와 제어 구간 데이터가 이격되지 않아 중첩되는 경우, 입력 데이터에 기초한 머신러닝 모델(120)의 학습이 부정확하게 수행될 수 있다. 따라서, 이벤트 구간 데이터가 추출되는 시간 구간과 제어 구간 데이터가 추출되는 시간 구간 사이에 중첩이 없도록 구성함으로써, 이벤트 구간 데이터들과 제어 구간 데이터들이 서로에 간에 미치는 영향을 제거할 수 있고, 머신 러닝 모델(120)의 학습이 정확하게 수행될 수 있다.Referring back to FIG. 3, in order to extract the input data for the machine learning learning, the controller 130 may insert a time interval of a specific interval between a time interval in which the event interval data is extracted and a time interval in which the control interval data is extracted. The time section of the specific interval may also be expressed as a wash out section, and may be expressed in various ways within the same or similarly interpreted range. Based on the inserted time interval of the specific interval, the time interval in which the event interval data is extracted and the time interval in which the control interval data are extracted may be temporally separated without overlapping. When the event interval data and the control interval data are not spaced apart and overlap each other, learning of the machine learning model 120 based on the input data may be performed incorrectly. Therefore, by configuring so that there is no overlap between the time interval in which the event interval data is extracted and the time interval in which the control interval data is extracted, the influence of the event interval data and the control interval data on each other can be removed, and the learning of the machine learning model 120 can be performed accurately.

본 방법에서는, 입력 데이터가 단순히 처방 유무, 백신 접종 등의 유무만을 고려하여 구성되는 것이 아니라, 약물 처방 , 백신 접종 등의 횟수와 같은 정량적인 정보가 고려될 수 있는 효과가 있다. 또한, 정량적인 정보가 고려될 수 있으므로, 서로 다른 의심 요소들 간의 상호 작용이 고려된 머신 러닝 모델(120)의 학습 결과를 얻을 수 있는 효과가 있다.In this method, there is an effect that quantitative information such as the number of drug prescriptions and vaccinations can be considered, rather than simply configuring the input data in consideration of whether or not there is a prescription or vaccination. In addition, since quantitative information can be considered, there is an effect of obtaining a learning result of the machine learning model 120 in which interactions between different suspect factors are considered.

머신러닝 모델 학습 방법How to train a machine learning model

이하에서, 제어부(130)가 상기 추출된 입력 데이터를 머신러닝 모델(120)에 입력하여, 머신러닝 모델을 학습시키는 방법에 대해서 구체적으로 살펴보도록 한다. 상기 입력 데이터는 학습 데이터 등으로도 호칭될 수 있으며, 이와 동일 유사하게 해석될 수 있는 범위에서 다양하게 표현될 수 있음은 물론이다. Hereinafter, a method in which the controller 130 inputs the extracted input data to the machine learning model 120 to learn the machine learning model will be described in detail. The input data may also be referred to as learning data, etc., and may be expressed in various ways within a range that can be interpreted in the same or similar manner.

입력 데이터는 제어부(130)가 데이터 베이스로부터 환자별로 추출한 전체 이벤트 구간 데이터 및 제어 구간 데이터 중에서 특정 개수의 데이터를 무작위적으로 특정 횟수로 샘플링하여 얻은 샘플 데이터들로 구성될 수 있다. 예를 들어, 제어부(130)가 서로 다른 환자 10명의 환자(환자 1 내지 환자 10) 각각에 대한 이벤트 구간 데이터 및 제어 구간 데이터를 추출하였고, 환자 각각에 대하여 하나의 이벤트 구간 데이터 및 두 개의 제어 구간 데이터가 존재하는 경우, 입력 데이터는 전체 이벤트 구간 데이터 및 제어 구간(또는, 대조 구간) 데이터로부터(이벤트 구간 데이터 10개 및 제어 구간 데이터 20개) 특정 개수의 데이터를 무작위적으로 복수 회 샘플링하여 얻은 복수 개의 샘플링 데이터로 구성될 수 있다. 즉, 전체 이벤트 구간 데이터 및 제어 구간 데이터로부터(이벤트 구간 데이터 10개 및 제어 구간 데이터 20개) 5개의 데이터를 무작위적으로 10회 샘플링한다면, 5개의 이벤트 구간 데이터 및/또는 제어 구간 데이터로 구성된 10개의 샘플 데이터가 입력 데이터를 구성할 수 있다. 단, 이와 같이 입력 데이터를 구성하는 것은 하나의 예시에 불과할 뿐, 본 발명이 이에 제한되는 것은 아니다.The input data may include sample data obtained by randomly sampling a specific number of data from among all event interval data and control interval data extracted by the controller 130 for each patient from the database. For example, if the controller 130 extracts event interval data and control interval data for each of 10 different patients (Patients 1 to 10), and there is one event interval data and two control interval data for each patient, the input data may consist of a plurality of sampling data obtained by randomly sampling a specific number of data multiple times from all event interval data and control interval (or control interval) data (10 event interval data and 20 control interval data). That is, if five pieces of data are randomly sampled 10 times from all event interval data and control interval data (10 event interval data and 20 control interval data), 5 event interval data and/or control interval data. 10 sample data can constitute input data. However, configuring the input data in this way is only an example, and the present invention is not limited thereto.

상술한 바와 같이, 제어부(130)가 데이터 베이스로부터 환자별로 추출한 각각의 이벤트 구간 데이터 및 제어 구간 데이터는 환자들의 특정 증상에 대한 진단, 약물 처방, 백신 접종 등의 정보를 포함할 수 있다. 추가적으로, 추출된 각각의 이벤트 구간 데이터 및 제어 구간 데이터는 환자들의 성별, 나이 등의 환자 정보를 더 포함할 수 있다. 여기서, 입력 데이터에 포함된 환자들의 특정 증상에 대한 진단, 약물 처방, 백신 접종 등의 정보들은 ‘전체 요소’로 통칭될 수 있다. 즉, 제어부(130)가 데이터 베이스로부터 환자별로 추출한 전체 이벤트 구간 데이터 및 제어 구간 데이터를 분석한 결과, 약물 A,B,C 및 백신 1,2,3가 전체 이벤트 구간 데이터 및 제어 구간 데이터에 포함되어 있었다면, 약물 A,B,C 및 백신 1,2,3가 ‘전체 요소’가 될 수 있다.As described above, each of the event section data and control section data extracted by the controller 130 for each patient from the database may include information on diagnosis, drug prescription, vaccination, and the like for specific symptoms of patients. Additionally, each of the extracted event section data and control section data may further include patient information such as sex and age of the patients. Here, information such as diagnosis of specific symptoms of patients included in the input data, drug prescription, vaccination, etc. can be collectively referred to as 'total elements'. In other words, as a result of the analysis of the entire event section data and control section data extracted for each patient by the controller 130 from the database, if drugs A, B, C and vaccines 1, 2, and 3 are included in the entire event section data and control section data, drugs A, B, C and vaccines 1, 2, and 3 may be 'total elements'.

본 방법에서, 제어부(130)는 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 머신러닝 모델(120)을 학습시킬 수 있다. 즉, 위와 같이, 제어부(130)가 데이터 베이스로부터 환자별로 추출한 전체 이벤트 구간 데이터 및 제어 구간 데이터를 분석한 결과, 약물 A,B,C 및 백신 1,2,3가 전체 이벤트 구간 데이터 및 제어 구간 데이터에 포함되어 있었다면, 머신러닝 모델(120)이 학습이 완료된 경우, 약물 A,B,C 및 백신 1,2,3 각각에 대하여 특징 중요도가 부여될 수 있다. 이 때, 상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산될 수 있다. 즉, 상기 특징 중요도는 입력 데이터에 포함된 전체 요소들 중 상관 관계의 정도가 상대적으로 큰 것으로 판단된 요소에 대하여 높은 값으로 부여(또는, 할당)될 수 있다. 보다 구체적으로, 머신러닝 모델(120)의 학습 결과, 전체 요소에 포함된 특정한 요소가 이상 반응 발생과의 인과성이 큰 것으로 판단된 경우, 상기 특정한 요소에는 상대적으로 높은 값의 특징 중요도 값이 부여될 수 있다. 반대로, 머신러닝 모델(120)의 학습 결과, 전체 요소에 포함된 특정한 요소가 이상 반응 발생과의 인과성이 작은 것으로 판단된 경우, 상기 특정한 요소에는 상대적으로 낮은 값의 특징 중요도 값이 부여될 수 있다. 상기 특징 중요도는 전체 요소들 각각에 대하여 부여될 수 있다. 상기 특징 중요도는 특성 중요도 등으로도 호칭될 수 있으며, 이와 동일 유사하게 해석될 수 있는 범위에서 다양하게 표현될 수 있음은 물론이다. In this method, the controller 130 may train the machine learning model 120 so that feature importance is assigned to each of all elements included in the input data. That is, as described above, as a result of analyzing the entire event interval data and control interval data extracted for each patient by the controller 130 from the database, if drugs A, B, C and vaccines 1, 2, and 3 are included in the entire event interval data and control interval data, when the learning of the machine learning model 120 is completed, feature importance may be assigned to drugs A, B, C and vaccines 1, 2, and 3, respectively. In this case, the feature importance may be calculated based on the degree of correlation between the abnormal reaction determined through learning of the machine learning model and a specific element. That is, the feature importance may be assigned (or assigned) a high value to an element determined to have a relatively high degree of correlation among all elements included in the input data. More specifically, as a result of the learning of the machine learning model 120, when it is determined that a specific element included in all elements has a high causality with the occurrence of an abnormal reaction, a relatively high value of feature importance may be assigned to the specific element. Conversely, as a result of the learning of the machine learning model 120, when it is determined that a specific element included in all elements has a small causality with the occurrence of an adverse event, a relatively low value of feature importance may be assigned to the specific element. The feature importance may be assigned to each of the entire elements. The feature importance may also be referred to as feature importance, etc., and may be expressed in various ways within a range that can be interpreted in the same or similar manner.

이하에서, 도 4 및 도 5를 참조하여, 특징 중요도가 계산되어 입력 데이터에 포함된 전체 요소 각각에 대해서 부여되는 과정을 보다 구체적으로 설명하도록 한다. Hereinafter, with reference to FIGS. 4 and 5, a process in which feature importance is calculated and assigned to each of all elements included in the input data will be described in more detail.

도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델의 학습 과정의 이해를 돕기위한 예시를 나타낸 도이다. 4 is a diagram illustrating an example for helping understanding of a learning process of a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

보다 구체적으로, 도 4는 트리 스캔 방식에 기초한 이상 반응 감시 방법의 문제점을 설명하기 위한 일 예를 나타낸 도이다. 트리 스캔 방식에 기초한 이상 반응 감시 방법은 계층 구조를 가지는 분석 대상 데이터에 대해서 수행될 수 있다. 여기서, 상기 분석 대상 데이터는 복수의 샘플 데이터를 포함할 수 있다. 도 4를 참조하면, 410(계층 1), 421 및 422(계층 2) 및 431, 432, 433 및 434(계층3)와 같이 분석 대상 데이터(또는, 원본 데이터)가 계층적인 구조를 이루고 있음을 알 수 있다. 보다 구체적으로, 계층 2는 계층 1의 분석 대상 데이터가 분기하여 구성되고, 계층 3은 계층 2의 데이터들이 각각 분기하여 구성될 수 있다.More specifically, FIG. 4 is a diagram illustrating an example for explaining problems of the abnormal reaction monitoring method based on the tree scan method. The abnormal reaction monitoring method based on the tree scan method may be performed on data to be analyzed having a hierarchical structure. Here, the data to be analyzed may include a plurality of sample data. Referring to FIG. 4 , it can be seen that data to be analyzed (or original data) have a hierarchical structure, such as 410 (layer 1), 421 and 422 (layer 2), and 431, 432, 433, and 434 (layer 3). More specifically, layer 2 may be configured by diverging analysis target data of layer 1, and layer 3 may be configured by diverging data of layer 2, respectively.

도 4의 계층 1을 참조하면, 원본 데이터(410)는 이상 반응이 발생한 샘플 데이터 4개와 이상 반응이 발생하지 않은 샘플 데이터 8개로 구성되어 있으며, 이 때 원본 데이터(410)의 표본 집단 발생률은 33(4/12 * 100)%가 된다. Referring to layer 1 of FIG. 4, the original data 410 is composed of 4 sample data with an abnormal reaction and 8 sample data with no abnormal reaction, and in this case, the sample group incidence rate of the original data 410 is 33 (4/12 * 100)%.

다음, 도 4의 계층 2를 참조하면, 계층 1의 원본 데이터는 A를 처방 받은 경우에 대한 데이터(421)와 B를 처방 받은 경우에 대한 데이터(422)로 분할될 수 있다. 여기서, A를 처방 받은 경우에 대한 데이터(421)는 이상 반응이 발생한 샘플 데이터 3개와 이상 반응이 발생하지 않은 샘플 데이터 6개로 구성되어 있으며, 이 때 A를 처방 받은 경우에 대한 데이터(421)의 표본 집단 발생률을 33(3/9 * 100)%가 된다. 또한, B를 처방 받은 경우에 대한 데이터(422)는 이상 반응이 발생한 샘플 데이터 2개와 이상 반응이 발생하지 않은 샘플 데이터 4개로 구성되어 있으며, 이 때 A를 처방 받은 경우에 대한 데이터(421)의 표본 집단 발생률을 33(2/6 * 100)%가 된다. 이 때, 원본 데이터(410)에 포함된 샘플 데이터는 A와 B를 모두 처방 받은 경우에 해당하는 샘플 데이를 포함할 수 있으므로, 계층 2의 A를 처방 받은 경우에 대한 데이터에 포함된 샘플 데이터의 개수와 B를 처방 받은 경우에 대한 데이터에 포함된 샘플 데이터의 개수의 합은 원본 데이터에 포함된 샘플 데이터의 개수보다 클 수 있다. 여기서, A와 B 각각은 약물 그룹 단위일 수 있다. 결과적으로, A를 처방 받은 경우에 대한 데이터(421)와 B를 처방 받은 경우에 대한 데이터(422) 각각에서의 표본 집단 발생률이 동일하므로, 이와 같은 경우, 계층 2에서 얻은 데이터들은 이상 반응의 발생과 관련된 의심 요소를 결정하기 위한 유의미한 결과로 볼 수 없다.Next, referring to layer 2 of FIG. 4 , original data of layer 1 may be divided into data 421 for the case of prescription A and data 422 for the case of prescription B. Here, the data 421 for the case of prescription A is composed of 3 sample data with an adverse reaction and 6 sample data without an adverse reaction. In addition, the data 422 for the case of prescription B is composed of 2 sample data with an adverse reaction and 4 sample data without an adverse reaction. At this time, the sample data included in the original data 410 may include a sample day corresponding to the case where both A and B are prescribed, so the sum of the number of sample data included in the data for the case of prescription A of layer 2 and the number of sample data included in the data for the case of B may be greater than the number of sample data included in the original data. Here, each of A and B may be a drug group unit. As a result, since the incidence rates of the sample groups in each of the data 421 for the case of prescription A and the data 422 for case B were prescribed are the same, in this case, the data obtained in Tier 2 can not be regarded as a meaningful result for determining suspicious factors related to the occurrence of adverse events.

다음, 도 4의 계층 3를 참조하면, 계층 2의 A를 처방 받은 경우에 대한 데이터(421)는 A01을 처방 받은 경우에 대한 데이터(431) 및 A02를 처방 받은 경우에 대한 데이터(432)로 분할될 수 있다. 또한, B를 처방 받은 경우에 대한 데이터(422)는 B01을 처방 받은 경우에 대한 데이터(433) 및 B02를 처방 받은 경우에 대한 데이터(434)로 분할될 수 있다. 여기서, A01을 처방 받은 경우에 대한 데이터(431)는 이상 반응이 발생한 샘플 데이터 2개와 이상 반응이 발생하지 않은 샘플 데이터 4개로 구성되어 있으며, 이 때 A01을 처방 받은 경우에 대한 데이터(431)의 표본 집단 발생률을 33(2/6 * 100)%가 된다. 또한, A02을 처방 받은 경우에 대한 데이터(431)는 이상 반응이 발생한 샘플 데이터 1개와 이상 반응이 발생하지 않은 샘플 데이터 2개로 구성되어 있으며, 이 때 A01을 처방 받은 경우에 대한 데이터(431)의 표본 집단 발생률을 33(1/3 * 100)%가 된다.Next, referring to layer 3 of FIG. 4 , data 421 on the case of prescription A of layer 2 can be divided into data 431 on the case of prescription of A01 and data 432 on the case of prescription of A02. In addition, data 422 on the case of prescription of B may be divided into data 433 of the case of prescription of B01 and data 434 of the case of prescription of B02. Here, the data 431 for the case of prescription of A01 is composed of 2 sample data with an adverse reaction and 4 sample data without an adverse reaction. In addition, the data 431 for the case of prescription of A02 is composed of one sample data with an adverse reaction and two sample data without an adverse reaction.

B01을 처방 받은 경우에 대한 데이터(433)는 이상 반응이 발생한 샘플 데이터 1개와 이상 반응이 발생하지 않은 샘플 데이터 2개로 구성되어 있으며, 이 때 B01을 처방 받은 경우에 대한 데이터(433)의 표본 집단 발생률을 33(1/2 * 100)%가 된다. 또한, B02을 처방 받은 경우에 대한 데이터(434)는 이상 반응이 발생한 샘플 데이터 1개와 이상 반응이 발생하지 않은 샘플 데이터 2개로 구성되어 있으며, 이 때 A01을 처방 받은 경우에 대한 데이터(434)의 표본 집단 발생률을 33(1/3 * 100)%가 된다.The data 433 for the case of prescription of B01 is composed of one sample data with an adverse reaction and two sample data without an adverse reaction. In addition, the data 434 for the case of prescription of B02 consists of one sample data with an adverse reaction and two sample data without an adverse reaction.

여기서, A01과 A02 A 약물 그룹에 속하는 세부 약물일 수 있고, B01과 B02 각각은 B 약물 그룹에 속하는 세부 약물 수 있다. 결과적으로, A01을 처방 받은 경우에 대한 데이터(431), A02를 처방 받은 경우에 대한 데이터(432), B01을 처방 받은 경우에 대한 데이터(433) 및 B02를 처방 받은 경우에 대한 데이터(434) 각각에서의 표본 집단 발생률이 모두 동일하므로, 이와 같은 경우, 계층 3에서 얻은 데이터들은 이상 반응의 발생과 관련된 의심 요소를 결정하기 위한 유의미한 결과로 볼 수 없다.Here, A01 and A02 may be sub-drugs belonging to drug group A, and each of B01 and B02 may be sub-drugs belonging to drug group B. As a result, since the sample group incidence rates in each of the data for prescriptions for A01 (431), data for prescriptions for A02 (432), data for cases for prescriptions for B01 (433), and data for cases with B02 prescription (434) are all the same, in this case, the data obtained in Tier 3 cannot be considered as meaningful results for determining suspicious factors related to the occurrence of adverse reactions.

이와 같이, 트리 스캔 방식에 기초한 이상 반응 감시 방법의 경우, 계층 내에서만 분석이 수행되므로, 분석 대상 데이터에 포함된 샘플 데이터의 구성에 따라서 이상 반응의 발생과 관련된 의심 요소가 검출 될 수 없는 경우가 존재한다. 즉, 본 방법은 서로 다른 계층의 약물 간의 상호작용(즉, B 처방을 전제로 A 처방 유무에 대한 분석)이 고려하지 못하는 한계를 가질 수 있다.As described above, in the case of the abnormal reaction monitoring method based on the tree scan method, since the analysis is performed only within the layer, there are cases in which suspicious elements related to the occurrence of the abnormal reaction cannot be detected depending on the configuration of sample data included in the analysis target data. That is, the present method may have a limitation in not taking into account the interaction between drugs of different classes (ie, analysis of the presence or absence of prescription A on the premise of prescription B).

도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델의 학습 과정의 이해를 돕기위한 예시를 나타낸 도이다. 보다 구체적으로, 도 5는 랜덤 포레스트(random forest) 방식에 기초한 특징 중요도 계산의 이해를 돕기 위한 도이다.5 is a diagram illustrating an example for helping understanding of a learning process of a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention. More specifically, FIG. 5 is a diagram for helping understanding of feature importance calculation based on a random forest method.

랜덤 포레스트 방식에 기초한 머신러닝 모델 학습을 위한 입력 데이터는 환자별로 추출된 전체 이벤트 구간 데이터 및 제어 구간 데이터 중에서 특정 개수의 데이터를 무작위적으로 샘플링한 샘플 데이터들로 구성될 수 있다.Input data for machine learning model learning based on the random forest method may be composed of sample data obtained by randomly sampling a specific number of data from among total event interval data and control interval data extracted for each patient.

랜덤 포레스트 방식에서는, 머신 러닝 모델 학습을 위한 입력 데이터에 포함된 전체 요소들 각각의 특징 중요도를 계산하기 위해서 불순도라는 개념을 사용하고, 불순도에 기초해서 상기 전체 요소들 각각의 중요도 이득(impotance gain: IG)를 계산하며, 상기 전체 요소들 각각의 중요도 이득에 기초하여 특징 중요도가 계산될 수 있다. 위와 같은 과정은 입력 데이터에 포함된 샘플 데이터들에 대해서 각각 수행될 수 있다.In the random forest method, the concept of impurity is used to calculate the feature importance of each of the entire elements included in the input data for machine learning model learning, and the importance gain (IG) of each of the entire elements is calculated based on the impurity, and the feature importance can be calculated based on the importance gain of each of the entire elements. The above process may be performed for each sample data included in the input data.

도 5를 참조하여 하나의 샘플 데이터에서 불순도, 중요도 이득에 기초하여 특징 중요도가 계산되는 과정을 보다 구체적으로 설명하도록 한다. Referring to FIG. 5, a process of calculating feature importance based on impurity and importance gain in one sample data will be described in more detail.

도 5는, 제어부(130)가 데이터 베이스(110)로부터 환자별로 각각 추출한 전체 이벤트 구간 데이터 및 제어 구간 데이터를 분석한 결과, 전체 요소는 약물 A 및 B로 판단된 경우를 가정하며, 도 5에서 사용된 샘플링 데이터는 4개의 이벤트 구간 데이터(이상 반응 발생) 및 6개의 제어 구간 데이터(이상 반응 발생 하지 않음)로 구성된다. 상기 샘플링 데이터는 제어부(130)가 데이터 베이스(110)로부터 환자별로 각각 추출한 전체 이벤트 구간 데이터 및 제어 구간 데이터로부터 샘플링된 것일 수 있다.FIG. 5 assumes that, as a result of the analysis of the entire event section data and control section data extracted by the controller 130 for each patient from the database 110, all elements are determined to be drugs A and B. The sampling data used in FIG. 5 consists of 4 event section data (adverse reaction occurrence) and 6 control section data (no adverse reaction occurrence). The sampling data may be sampled from entire event section data and control section data extracted by the controller 130 for each patient from the database 110 .

먼저, 약물 B의 중요도 이득을 계산하는 과정을 설명한다. 약물 B의 중요도 이득을 계산하기 위해서는, 먼저 전체 데이터로부터 샘플링 된 원본 데이터(510)의 불순도를 계산한다. 상기, 불순도는 전체 1-(이상 반응이 발생한 샘플 데이터의 수/전체 샘플 데이터의 수)^2 - (이상 반응이 발생하지 않은 샘플 데이터의 수/전체 샘플 데이터의 수)^2와 같이 계산될 수 있다. 따라서, 원본 데이터(510)의 불순도는 1-(4/12)^2 - (8/12)^2 = 4/9가 된다. First, the process of calculating the importance gain of drug B is described. In order to calculate the importance gain of drug B, the impurity of original data 510 sampled from the entire data is first calculated. The impurity may be calculated as total 1-(number of sample data with an adverse reaction/number of total sample data)^2-(number of sample data without an adverse reaction/number of total sample data)^2. Accordingly, the impurity of the original data 510 is 1-(4/12)^2 - (8/12)^2 = 4/9.

다음, B의 불순도를 계산한다. 원본 데이터(510)는 약물 B를 처방 받지 않은 경우에 대한 데이터(521)와 약물 B를 처방 받은 경우에 대한 데이터(522)로 분할되는데, 약물 B를 처방 받지 않은 경우에 대한 데이터(521)과 약물 B를 처방 받은 경우에 대한 데이터(522) 각각에 대한 불순도를 먼저 계산한다. 상기 불순도를 구하는 방식에 의하여, 약물 B를 처방 받지 않은 경우에 대한 데이터(521)의 불순도는 1-(2/6)^2 - (4/6)^2 = 4/9가 된다. 또한, 약물 B를 처방 받은 경우에 대한 데이터(522)의 불순도는 1-(2/6)^2 - (4/6)^2 = 4/9가 된다. 다음, 약물 B를 처방 받지 않은 경우에 대한 데이터(521)와 약물 B를 처방 받은 경우에 대한 데이터(522) 각각의 가중치를 고려하여 약물 B의 전체 불순도를 계산한다. 이 때, 가중치는 원본 데이터로부터 분할된 데이터 각각에 포함된 샘플 데이터 수의 비율에 기초하여 결정될 수 있다. 즉, 도 5에서 원본 데이터(510)에 포함된 샘플 데이터의 수는 12였고, 약물 B를 처방 받지 않은 경우에 대한 데이터(521)와 약물 B를 처방 받은 경우에 대한 데이터(522) 각각이 6개의 샘플 데이터를 포함하므로, 약물 B를 처방 받지 않은 경우에 대한 데이터(521)와 약물 B를 처방 받은 경우에 대한 데이터(522) 각각의 가중치는 6/12 , 6/12 로 각각 계산될 수 있다. 계산된 가중치에 기초하여 약물 B의 전체 불순도를 계산하면 1/2*4/9 + 1/2* 4/9 = 4/9로 계산될 수 있다.Next, calculate the impurity of B. The original data 510 is divided into data 521 for the case in which drug B is not prescribed and data 522 for the case in which drug B is prescribed. Impurities for each of the data 521 for the case in which drug B is not prescribed and the data 522 for the case in which drug B is prescribed are first calculated. According to the method for obtaining the impurity, the impurity of the data 521 for the case where drug B is not prescribed becomes 1-(2/6)^2 - (4/6)^2 = 4/9. In addition, the impurity of the data 522 for the case where drug B is prescribed is 1-(2/6)^2 - (4/6)^2 = 4/9. Next, the total impurity of drug B is calculated in consideration of weights of data 521 for the case in which drug B is not prescribed and data 522 for the case in which drug B is prescribed, respectively. In this case, the weight may be determined based on a ratio of the number of sample data included in each piece of data divided from the original data. That is, since the number of sample data included in the original data 510 in FIG. 5 is 12, and each of the data 521 for the case in which drug B is not prescribed and the data 522 for the case in which drug B is prescribed includes six sample data, the weights of the data 521 for the case in which drug B is not prescribed and the data 522 for the case in which drug B is prescribed can be calculated as 6/12 and 6/12, respectively. Calculating the total impurity of drug B based on the calculated weights can be calculated as 1/2*4/9 + 1/2* 4/9 = 4/9.

최종적으로, 계산된 약물 B의 전체 불순도에 기초하여 약물 B의 중요도 이득을 계산한다. 중요도 이득 = (원본 데이터의 불순도) - (분할된 데이터의 전체 불순도) 와 같이 계산될 수 있다. 따라서, 약물 B의 (전체) 중요도 이득 = (4/9) - (4/9) = 0이 된다. 이와 같은 결과는, 약물 B는 이상 반응 발생과의 상관 관계가 없다는 것을 의미할 수 있다. Finally, calculate the importance gain of drug B based on the calculated total impurity of drug B. Importance gain = (impurity of original data) - (total impurity of segmented data) can be calculated as follows. Thus, the (overall) importance gain of drug B = (4/9) - (4/9) = 0. Such a result may mean that drug B has no correlation with the occurrence of adverse events.

다음, 약물 A의 중요도 이득도 상술한 방법과 동일한 과정을 통하여 계산될 수 있다. 도 5에는 B를 처방 받은 경우에 대한 데이터(522)가 A를 처방 받은 경우에 대한 데이터(531) 및 A를 처방 받지 않은 경우에 대한 데이터(532)로 분할되는 것만을 나타내었지만, B를 처방 받지 않은 경우에 대한 데이터(521) 역시 A를 처방 받은 경우에 대한 데이터 및 A를 처방 받지 않은 경우에 대한 데이터로 분할될 수 있다. 이 때, B를 처방 받은 경우에 대한 데이터(522) 및 B를 처방 받지 않은 경우에 대한 데이터(521) 각각이 A를 처방 받은 경우 및 처방 받지 않은 경우에 대해서 분할된 데이터 각각에 대한 원본 데이터가 될 수 있다. 이와 같은 경우, 약물 A의 중요도 이득 계산 과정은 (i) 도 5에 도시되지 않은 B를 처방 받지 않은 경우에 대한 데이터(521)로부터 약물 A 처방 여부에 기초하여 분할된 데이터 및 (ii) B를 처방 받은 경우에 대한 데이터(522)로부터 약물 A 처방 여부에 기초하여 분할된 데이터(531 및 532) 각각에 대하여 중요도 이득을 계산하고, 계산된 중요도 이득의 평균 값이 약물 A의 전체 중요도 이득으로 계산된다. Next, the importance gain of drug A may be calculated through the same process as the above method. Although FIG. 5 shows that only the data 522 for the case where B is prescribed is divided into data 531 for the case where A is prescribed and data 532 for the case where A is not prescribed, the data 521 for the case where B is not prescribed can also be divided into data for the case where A is prescribed and data for the case where A is not prescribed. At this time, the data 522 for the case where B is prescribed and the data 521 for the case where B is not prescribed may be original data for each divided data for the case where A is prescribed and the case where it is not prescribed, respectively. In this case, in the process of calculating the importance gain of drug A, importance gains are calculated for (i) data divided based on whether drug A was prescribed from data 521 for cases in which B was not prescribed (not shown in FIG. 5) and (ii) data 531 and 532 divided based on drug A prescription from data 522 for cases where B was prescribed, respectively, and the average value of the calculated importance gains is calculated as the total importance gain for drug A.

마지막으로, 도 5의 샘플 데이터에 기초한 약물 A 및 약물 B의 특징 중요도를 계산한다. 약물 A의 특징 중요도 = 약물 A의 전체 중요도 이득/(약물 A의 전체 중요도 이득 + 약물 B의 전체 중요도 이득)으로 계산될 수 있다. 또한, 약물 B의 특징 중요도 = 약물 B의 전체 중요도 이득/(약물 A의 전체 중요도 이득 + 약물 B의 전체 중요도 이득)으로 계산될 수 있다.Finally, the feature importance of Drug A and Drug B based on the sample data in FIG. 5 is calculated. Feature importance of drug A = total importance gain of drug A/(total importance gain of drug A + total importance gain of drug B). Also, feature importance of drug B = total importance gain of drug B/(total importance gain of drug A + total importance gain of drug B) may be calculated.

상술한 과정에 의해서, 전체 데이터로부터 샘플링된 특정 샘플 데이터에 대한 특징 중요도가 계산될 수 있다. Through the above process, feature importance for specific sample data sampled from all data may be calculated.

특정한 샘플 데이터에서 특정한 분할(또는, 분기) 방법으로 분할하고, 분할이 마무리된 데이터는 하나의 데이터 트리(tree)로 이해될 수 있다. 즉, 하나의 샘플 데이터에서도 분할 방법에 따라서 복수 개의 데이터 트리가 구성될 수 있다. 결론적으로, 전체 요소들에 대한 최종적인 특징 중요도를 계산하는 과정은, 데이터 샘플 및 분할 방법에 기초해서 구성되는 복수의 데이터 트리 각각에서 전체 요소에 대한 특징 중요도를 각각 계산하고, 복수의 데이터 트리 각각에서 계산된 특징 중요도의 평균값을 취하는 과정으로 수행될 수 있다. 이 때, 하나의 데이터 트리에서 분할이 일어나는 횟수, 즉 계층의 수는 전체 요소의 수에 따라서 적절하게 설정될 수 있다. 또한, 샘플 데이터에 포함된 데이터의 개수 및 데이터 샘플링 횟수는 머신러닝 모델(120) 사용자에 의해 적절하게 설정될 수 있다. Data obtained by dividing specific sample data by a specific division (or branching) method and the division of data may be understood as a single data tree. That is, even in one sample data, a plurality of data trees may be configured according to the division method. In conclusion, the process of calculating the final feature importance for all elements may be performed by calculating the feature importance for all elements in each of a plurality of data trees constructed based on the data sample and the segmentation method, and taking the average value of the feature importance calculated in each of the plurality of data trees. In this case, the number of divisions in one data tree, that is, the number of layers, may be appropriately set according to the total number of elements. Also, the number of data included in the sample data and the number of data sampling may be appropriately set by a user of the machine learning model 120 .

앞서 설명한 랜덤 포레스트 방법에 기초한 특징 중요도가 계산 방법은 특징 중요도 계산 과정에 대한 이해를 돕기위한 일 예시에 해당할 뿐이며, 본 발명의 특징 중요도 계산 방법이 이에 제한되는 것은 아니다. 랜덤 포레스트 외에도, SVM 모델 등이 특징 중요도 계산에 사용될 수 있다. 특히, SVM 모델의 경우, 특정 평면 상에 전체 요소들 각각의 특징 중요도 결정을 위한 기준선을 설정하고, 상기 특정 평면 상에서의 전체 요소들 각각의 위치를 특정한 방법에 의하여 설정하며, 상기 기준 선과 설정된 전체 요소들 각각의 위치 사이 간격(margin)의 넓고/좁음에 기초하여 전체 요소들 각각의 특징 중요도가 결정될 수 있다. 보다 구체적으로, 간격이 넓을수록 높은 특징 중요도를 갖는 것일 수 있다.The feature importance calculation method based on the random forest method described above is only an example for helping understanding of the feature importance calculation process, and the feature importance calculation method of the present invention is not limited thereto. In addition to random forests, SVM models and the like can be used for calculating feature importance. In particular, in the case of the SVM model, a reference line for determining the feature importance of each of the entire elements is set on a specific plane, the position of each of the elements on the specific plane is set by a specific method, and the feature importance of each of the entire elements can be determined based on the width/narrowness of the margin between the reference line and the position of each of the set elements. More specifically, the wider the interval, the higher the feature importance.

도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에서, 머신러닝 모델 학습을 학습하는 과정의 예시를 나타낸 도이다. 6 is a diagram illustrating an example of a process of learning a machine learning model in an artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

본 방법에서, 제어부(130)는 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 머신러닝 모델(120)을 학습시킨다는 것의 의미는, 머신러닝 모델(120)이 이벤트 구간 데이터와 제어 구간 데이터를 구분할 수 있도록 학습된다는 것과 동일/유사한 의미일 수 있다. 따라서, 이하에서 설명되는, 제어부(130)가 전체 요소들 각각에 부여된 특징 중요도에 기초하여 이상 반응 유발과 관련된 의심 요소를 결정하는 동작과는 별개로, 학습이 완료된 머신러닝 모델(120)은 학습 결과에 기초하여 이벤트 구간 데이터와 제어 구간 데이터를 구분할 수 있게 된다. 즉, 학습이 완료된 머신 러닝 모델(120)은 입력 데이터로 입력되는 특정 데이터에 포함된 요소(약물 처방, 백신 접종 등)들 각각의 특징 중요도를 추출하고, 추출된 요소들 각각의 특징 중요도에 기초하여 입력 데이터가 이벤트 구간 데이터인지 또는 제어 구간 데이터인지 여부를 판단할 수 있다. 추가적으로, 머신 러닝 모델(120)은 특정한 입력 데이터가 이벤트 구간 데이터인지 또는 제어 구간 데이터인지 판단한 결과에 따라, 이상 반응의 발생 여부를 판단할 수 있다. 예를 들어, 입력된 특정 데이터가 이벤트 구간 데이터로 판단된 경우, 입력된 특정 데이터에 반영된 요소들의 패턴은 이상 반응을 발생시킬 수 있는 것으로 판단할 수 있다. 반대로, 입력된 특정 데이터가 제어 구간 데이터로 판단된 경우, 입력된 특정 데이터에 반영된 요소들의 패턴은 이상 반응을 발생시키지 않는 것으로 판단할 수 있다.In this method, the meaning of that the control unit 130 trains the machine learning model 120 so that feature importance is assigned to each of all elements included in the input data means that the machine learning model 120 is event interval data. It may be the same / similar to learning to distinguish data from control interval data. Therefore, apart from the operation in which the control unit 130 determines suspicious factors related to inducing an abnormal reaction based on the feature importance assigned to each of the entire elements, which will be described below, the machine learning model 120 that has been trained can distinguish event section data and control section data based on the learning result. That is, the learned machine learning model 120 extracts the feature importance of each of the elements (drug prescription, vaccination, etc.) included in specific data input as input data, and determines whether the input data is event section data or control section data based on the feature importance of each of the extracted elements. Additionally, the machine learning model 120 may determine whether an abnormal reaction has occurred according to a result of determining whether specific input data is event section data or control section data. For example, when the input specific data is determined to be event section data, it may be determined that a pattern of elements reflected in the input specific data may cause an abnormal reaction. Conversely, when the input specific data is determined to be control section data, it may be determined that the pattern of elements reflected in the input specific data does not cause an abnormal reaction.

의심 요소 결정 방법Suspicious factor determination method

이하에서, 제어부(130)가 특징 중요도에 기초하여 입력 데이터에 포함된 전체 요소들 중에서 이상 반응의 유발과 관련된 의심 요소를 결정하는 방법에 대해서 구체적으로 살펴보도록 한다. 본 방법에서 이상 반응의 유발과 관련된 의심 요소는 적어도 하나 이상일 수 있다. 또한, 상기 적어도 하나의 의심 요소는 각각은 특정한 약물군으로 구성될 수 있다. Hereinafter, a method of determining, by the controller 130, a suspicious element related to causing an abnormal reaction from among all elements included in the input data based on feature importance will be described in detail. In the present method, at least one suspect factor related to induction of an adverse reaction may be present. In addition, each of the at least one suspicious factor may be composed of a specific drug group.

본 방법에서, 제어부(130)는 특징 중요도에 기초하여 전체 요소들 중 이상 반응의 유발과 관련된 의심 요소를 결정하는데, 여기서 의심 요소인 것으로 결정된 요소들의 특징 중요도는 사전 설정된 특정한 임계값보다 큰 값을 가질 수 있다. 일 예로, 상기 특정한 임계 값은 상기 전체 요소들에 각각 부여된 특징 중요도의 전체 평균 값의 2배인 값으로 설정될 수 있다. 이는 설명을 돕기위한 예시에 불과할 뿐, 본 발명이 이에 제한되는 것은 아니다. 또 다른 일 예로, 제어부(130)는 전체 요소들 중 특징 중요도 값이 큰 상위 특정 개의 요소들을 의심 요소로 결정할 수도 있다. In this method, the control unit 130 determines a suspicious element related to causing an abnormal reaction among all elements based on feature importance, wherein the feature importance of elements determined to be suspicious elements may have a value greater than a predetermined specific threshold value. For example, the specific threshold value may be set to a value that is twice the overall average value of feature importance assigned to all of the elements. This is only an example to help explanation, and the present invention is not limited thereto. As another example, the controller 130 may determine a specific number of top elements having a large feature importance value among all elements as suspect elements.

앞서 도 1 및 도 2를 참조하여 설명한 것과 같이, 본 발명에서 머신러닝 모델(120)을 학습시킨 결과에 기초하여 의심요소를 결정한다는 것은, 학습한 결과 머신러닝 모델(120)이 추론한 입력 값(X)과 출력 값(Y)의 관계 자체를 사용하는 것으로 이해될 수 있다. 즉, 본 발명에서는 이상 반응을 유발한 의심 요소를 결정하기 위해, 특정한 입력 값(특정 입력 데이터)을 입력하면 추론된 입력 값과 출력 값 사이의 관계(전체 요소들에 대하여 부여된 각각의 특징 중요도)를 사용하여 특정한 입력 값에 대응되는 출력 값(이상 반응 발생 여부)을 얻는 머신러닝 모델(120)의 능력을 사용하는 것이 아니라, 추론된 입력 값과 출력 값 사이의 관계(특징 중요도) 자체를 이용하여 특정 임계값 이상의 특징 중요도를 갖는 요소들을 이상 반응을 유발한 의심 요소로 결정할 수 있다.As described above with reference to FIGS. 1 and 2, determining the suspicious factor based on the result of learning the machine learning model 120 in the present invention is an input value inferred by the machine learning model 120 as a result of learning. It can be understood as using the relationship between X and output values (Y) itself. That is, in the present invention, in order to determine the suspicious element that caused an abnormal reaction, when a specific input value (specific input data) is input, elements with feature importance greater than a specific threshold value are used to determine the abnormal reaction, rather than using the ability of the machine learning model 120 to obtain an output value corresponding to a specific input value (whether or not an adverse reaction has occurred) using the relationship between the inferred input value and the output value (each feature importance assigned to all elements) by using the relationship between the inferred input value and output value (feature importance) itself. It can be determined by the suspicious factor that caused it.

도 7은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법에 기초하여 이상반응을 유발하는 의심 약물을 감시한 결과를 나타낸 도이다. 도 7에서의 이상 반응은 아나필락시스일 수 있다. 보다 구체적으로, 도 7은 이상 반응 발생의 의심 요소로서 상위 20개의 약물 그룹을 결정한 경우에 해당한다. 분석 결과, M09 약물 그룹을 제외한 나머지 95%의 약물 그룹은 약물 부작용 데이터 베이스에 등록되어 있는 그룹임을 확인하였다. 또한, 약물 부작용 데이터 베이스에 등록되어 있지 않은 M09그룹을 조사한 결과, M09 약물 그룹이 이상반응을 유발할 수 있다는 문헌이 확인되었다. 상기 약물 부작용 데이터 베이스는 SIDER(Protect collaborative and the Side Effect Resouce)일 수 있다.7 is a diagram showing the results of monitoring suspected drugs causing adverse reactions based on the artificial intelligence-based adverse reaction monitoring method according to an embodiment of the present invention. The adverse reaction in FIG. 7 may be anaphylaxis. More specifically, FIG. 7 corresponds to the case where the top 20 drug groups are determined as suspected factors of occurrence of adverse reactions. As a result of the analysis, it was confirmed that the remaining 95% of drug groups except for the M09 drug group were registered in the adverse drug database. In addition, as a result of examining the M09 group, which was not registered in the adverse drug database, it was confirmed that the M09 drug group could cause adverse reactions. The side effect drug database may be SIDER (Protect Collaborative and the Side Effect Resource).

도 8은 본 발명의 일 실시예에 따른 인공지능 기반의 이상 반응 감시 방법을 수행하기 위한 제어부(130)에서 구현되는 동작의 일례를 나타낸 순서도이다.8 is a flowchart illustrating an example of an operation implemented in the controller 130 for performing the artificial intelligence-based abnormal reaction monitoring method according to an embodiment of the present invention.

보다 구체적으로, 제어부(130)는 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base)로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출한다(S810).More specifically, the controller 130 extracts input data for learning a machine learning model based on the medical data from a database storing medical data related to patients' medical records (S810).

다음, 제어부(130)는 상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시킨다(S820). 여기서, 상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된 상기 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산된다.Next, the control unit 130 inputs the extracted input data to a machine learning model, and trains the machine learning model so that feature importance is assigned to each of all elements included in the input data (S820). Here, the feature importance is calculated based on the degree of correlation between the abnormal reaction determined through learning of the machine learning model and a specific element.

마지막으로, 제어부(130)는 상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정한다(S830).Finally, the controller 130 determines at least one suspicious factor related to the occurrence of the abnormal reaction from among the total factors based on the feature importance (S830).

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the essential characteristics of the present invention. Accordingly, the foregoing detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 본 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.The embodiments described above are those in which elements and features of the present invention are combined in a predetermined form. Each component or feature should be considered optional unless explicitly stated otherwise. Each component or feature may be implemented in a form not combined with other components or features. In addition, it is also possible to configure an embodiment of the present invention by combining some components and/or features. The order of operations described in the embodiments of the present invention may be changed. Some components or features of one embodiment may be included in another embodiment, or may be replaced with corresponding components or features of another embodiment. It is obvious that claims that do not have an explicit citation relationship in the claims can be combined to form an embodiment or can be included as new claims by amendment after filing.

본 발명에 따른 실시 예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.An embodiment according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of hardware implementation, an embodiment of the present invention may be implemented by one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, an embodiment of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. The software code can be stored in memory and run by a processor. The memory may be located inside or outside the processor and exchange data with the processor by various means known in the art.

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the essential characteristics of the present invention. Accordingly, the foregoing detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

100: 이상반응 감시 시스템
110: 데이터 베이스
120: 머신러닝 모델
130: 제어부100: Adverse reaction monitoring system
110: database
120: machine learning model
130: control unit

Claims (20)

환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base)로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하는 단계;
상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시키는 단계,
상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된, 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산되고; 및
상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하는 단계를 포함하는 이상 반응 감시 방법.
상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하는 단계를 포함하되,
상기 입력 데이터를 추출하는 단계는,
상기 이상 반응이 상기 환자들에게 발생한 시점과 관련된 이상 반응 발생 시점 데이터를 환자 별로 각각 추출하는 단계;
상기 환자 별로 각각 추출된 이상 반응 발생 데이터에 기초하여, 상기 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 이벤트(event) 구간 데이터를 추출하는 단계;
상기 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 제어(control) 구간 데이터를 추출하는 단계를 포함하고,
상기 특정 기간의 길이는 상기 이상 반응의 종류에 기초하여 다르게 설정되고,
상기 머신러닝 모델은 상기 전체 요소들 각각에 대하여 상기 특징 중요도를 부여하여, 상기 이벤트 구간 데이터와 상기 제어 구간 데이터를 구분하도록 학습되는 이상 반응 감시 방법.
extracting input data for learning a machine learning model from a database storing medical data related to medical records of patients based on the medical data;
Inputting the extracted input data to a machine learning model and learning the machine learning model so that feature importance is assigned to each of all elements included in the input data;
The feature importance is calculated based on the degree of correlation between the abnormal reaction and a specific element, which is determined through learning of the machine learning model; and
and determining at least one suspicious factor related to induction of an adverse reaction from among the total factors based on the feature importance.
Determining at least one suspicious factor related to induction of an abnormal reaction from among the total factors based on the feature importance,
Extracting the input data,
extracting data of occurrence time of the adverse event related to the time of occurrence of the adverse event for each patient;
extracting event section data related to a medical record of the specific patient for a specific period before the time when the adverse event occurred in the specific patient, based on the occurrence data of each extracted adverse event for each patient;
Extracting control interval data related to the medical record of the specific patient during the specific period before an arbitrary point in time other than the time when the adverse event occurred in the specific patient,
The length of the specific period is set differently based on the type of the adverse reaction,
The machine learning model is learned to distinguish the event section data from the control section data by assigning the feature importance to each of the entire elements.
 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 환자들에 대한 상기 이벤트 구간 데이터 및 상기 제어 구간 데이터 각각에 포함된 의료 기록은 특정 증상에 대한 진단과 관련된 기록, 약물 처방과 관련된 기록 또는 백신 접종과 관련된 기록 중 적어도 하나를 포함하는 이상 반응 감시 방법.According to claim 1,
The medical record included in each of the event interval data and the control interval data for the patients includes at least one of a record related to diagnosis of a specific symptom, a record related to drug prescription, or a record related to vaccination. 제 1 항에 있어서,
상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간의 사이에는 특정 간격의 시간 구간이 삽입되는 이상 반응 감시 방법.According to claim 1,
A time interval of a specific interval is inserted between a time interval in which the event interval data is extracted and a time interval in which the control interval data is extracted. 제 6 항에 있어서,
상기 삽입된 특정 간격의 시간 구간에 기초하여 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간은 중첩없이 시간적으로 이격되는 이상 반응 감시 방법.According to claim 6,
Based on the inserted time interval of the specific interval, the time interval in which the event interval data is extracted and the time interval in which the control interval data are extracted are temporally separated without overlapping. 삭제delete 제 1 항에 있어서,
상기 머신러닝 모델 학습이 완료된 상기 머신러닝 모델에 상기 이벤트 구간 데이터 또는 상기 제어 구간 데이터 중 하나인 특정 입력 데이터를 입력하여 상기 이상 반응의 발생 여부를 판단하는 단계를 더 포함하는 이상 반응 감시 방법.According to claim 1,
and determining whether the abnormal reaction occurs by inputting specific input data, which is one of the event section data and the control section data, to the machine learning model for which the learning of the machine learning model is completed. 제 1 항에 있어서,
상기 특징 중요도는 상기 상관 관계의 정도가 상대적으로 큰 것으로 판단된 요소에 대하여 높은 값으로 부여되는 이상 반응 감시 방법.According to claim 1,
The feature importance is assigned a high value to an element determined to have a relatively high degree of correlation. 제 10 항에 있어서,
상기 적어도 하나의 의심 요소는 상기 전체 요소들 중에서 상기 특징 중요도가 특정한 임계값보다 큰 요소들로 구성되는 이상 반응 감시 방법.According to claim 10,
The abnormal reaction monitoring method of claim 1, wherein the at least one suspicious element is composed of elements having the feature importance greater than a specific threshold value among the total elements. 제 11 항에 있어서,
상기 특정한 임계값은 상기 전체 요소들에 각각 부여된 상기 특징 중요도의 전체 평균 값의 2배인 값으로 설정되는 이상 반응 감시 방법.According to claim 11,
The specific threshold value is set to a value that is twice the total average value of the feature importance assigned to each of the total factors. 환자들의 의료 기록과 관련된 의료 데이터를 저장하는 데이터 베이스(data base);
머신러닝 모델(machine learning model); 및
제어부;를 포함하고,
상기 제어부는,
상기 데이터 베이스로부터 머신러닝 모델(machine learning model) 학습을 위한 입력 데이터를 상기 의료 데이터에 기초하여 추출하고,
상기 추출된 입력 데이터를 머신러닝 모델에 입력하여, 상기 입력 데이터에 포함된 전체 요소들 각각에 대하여 특징 중요도가 부여되도록 상기 머신러닝 모델을 학습시키고,
상기 특징 중요도는 상기 머신러닝 모델 학습을 통하여 판단된, 이상 반응과 특정 요소 간의 상관 관계의 정도에 기초하여 각각 계산되고,
상기 특징 중요도에 기초하여 상기 전체 요소들 중에서 이상 반응의 유발과 관련된 적어도 하나의 의심 요소를 결정하되,
상기 제어부는, 상기 입력 데이터를 추출하기 위해,
상기 이상 반응이 상기 환자들에게 발생한 시점과 관련된 이상 반응 발생 시점 데이터를 환자 별로 각각 추출하고,
상기 환자 별로 각각 추출된 이상 반응 발생 데이터에 기초하여, 상기 이상 반응이 특정 환자에게 발생한 시점 이전 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 이벤트(event) 구간 데이터를 추출하고,
상기 이상 반응이 특정 환자에게 발생한 시점 외의 임의의 시점 이전 상기 특정 기간 동안의 상기 특정 환자의 의료 기록과 관련된 제어(control) 구간 데이터를 추출 하고,
상기 특정 기간의 길이는 상기 이상 반응의 종류에 기초하여 다르게 설정되고,
상기 머신러닝 모델은 상기 전체 요소들 각각에 대하여 상기 특징 중요도를 부여하여, 상기 이벤트 구간 데이터와 상기 제어 구간 데이터를 구분하도록 학습되는 이상 반응 감시 시스템.
a database for storing medical data related to patients' medical records;
machine learning model; and
Including; control unit;
The control unit,
Extracting input data for learning a machine learning model from the database based on the medical data;
Inputting the extracted input data to a machine learning model, and learning the machine learning model so that feature importance is assigned to each of all elements included in the input data;
The feature importance is calculated based on the degree of correlation between the abnormal reaction and a specific element, determined through learning of the machine learning model,
Based on the feature importance, determining at least one suspicious factor related to the induction of an abnormal reaction among the total factors,
The controller, in order to extract the input data,
Extracting data on the time of occurrence of the adverse event related to the time when the adverse event occurred in the patients for each patient,
Extracting event section data related to the medical record of the specific patient for a specific period before the time when the adverse event occurred in the specific patient, based on the occurrence data of each extracted adverse event for each patient;
Extracting control interval data related to the medical record of the specific patient during the specific period before any point in time other than the time when the adverse event occurred in the specific patient,
The length of the specific period is set differently based on the type of the adverse reaction,
The machine learning model is learned to distinguish the event section data and the control section data by assigning the feature importance to each of the entire elements.
 삭제delete 삭제delete 삭제delete 제 13 항에 있어서,
상기 환자들에 대한 상기 이벤트 구간 데이터 및 상기 제어 구간 데이터 각각에 포함된 의료 기록은 특정 증상에 대한 진단과 관련된 기록, 약물 처방과 관련된 기록 또는 백신 접종과 관련된 기록 중 적어도 하나를 포함 하는 이상 반응 감시 시스템.According to claim 13,
The medical records included in each of the event interval data and the control interval data for the patients include at least one of a record related to a diagnosis of a specific symptom, a record related to drug prescription, or a record related to vaccination. System. 제 13 항에 있어서,
상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간의 사이에는 특정 간격의 시간 구간이 삽입되는 이상 반응 감시 시스템.According to claim 13,
An abnormal reaction monitoring system in which a time interval of a specific interval is inserted between a time interval in which the event interval data is extracted and a time interval in which the control interval data is extracted. 제 18 항에 있어서,
상기 삽입된 특정 간격의 시간 구간에 기초하여 상기 이벤트 구간 데이터가 추출되는 시간 구간 및 상기 제어 구간 데이터가 추출되는 시간 구간은 중첩없이 시간적으로 이격되는 이상 반응 감시 시스템.According to claim 18,
Based on the inserted time interval of the specific interval, the time interval in which the event interval data is extracted and the time interval in which the control interval data are extracted are temporally separated without overlapping. 삭제delete
KR1020200150536A 2020-11-11 2020-11-11 Artificial intelligence-based abnormal reaction monitoring method and system therefor KR102559641B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200150536A KR102559641B1 (en) 2020-11-11 2020-11-11 Artificial intelligence-based abnormal reaction monitoring method and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150536A KR102559641B1 (en) 2020-11-11 2020-11-11 Artificial intelligence-based abnormal reaction monitoring method and system therefor

Publications (2)

Publication Number Publication Date
KR20220064243A KR20220064243A (en) 2022-05-18
KR102559641B1 true KR102559641B1 (en) 2023-07-26

Family

ID=81804218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150536A KR102559641B1 (en) 2020-11-11 2020-11-11 Artificial intelligence-based abnormal reaction monitoring method and system therefor

Country Status (1)

Country Link
KR (1) KR102559641B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456205B1 (en) * 2022-06-03 2022-10-19 주식회사 원스글로벌 Method for predicting medicine side effect and apparatus for performing the method
CN116628577B (en) * 2023-07-26 2023-10-31 安徽通灵仿生科技有限公司 Adverse event detection method and device for ventricular assist device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277855A1 (en) * 2016-03-24 2017-09-28 Fujitsu Limited System and a method for assessing patient risk using open data and clinician input

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061800B1 (en) * 2017-07-18 2020-02-11 사회복지법인 삼성생명공익재단 Method, Apparatus and Program for Predicting Prognosis of Ovarian Cancer Using Machine Learning
KR20200023689A (en) * 2018-08-20 2020-03-06 아주대학교산학협력단 The method of artificial intelligence(AI)-based adverse drug reactions detection and the system thereof
KR102158197B1 (en) * 2018-08-27 2020-09-21 주식회사 셀바스헬스케어 Computing device for providing prediction information for bone density

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277855A1 (en) * 2016-03-24 2017-09-28 Fujitsu Limited System and a method for assessing patient risk using open data and clinician input

Also Published As

Publication number Publication date
KR20220064243A (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US10872131B2 (en) Progression analytics system
Jerlin Rubini et al. Efficient classification of chronic kidney disease by using multi‐kernel support vector machine and fruit fly optimization algorithm
WO2021180242A1 (en) Method and apparatus for detecting anomaly in diagnostic data, and computer device and storage medium
WO2020140678A1 (en) Abnormal application detection method and apparatus, and computer device and storage medium
KR102559641B1 (en) Artificial intelligence-based abnormal reaction monitoring method and system therefor
Seccia et al. Considering patient clinical history impacts performance of machine learning models in predicting course of multiple sclerosis
KR20200023689A (en) The method of artificial intelligence(AI)-based adverse drug reactions detection and the system thereof
CN109920540A (en) Construction method, device and the computer equipment of assisting in diagnosis and treatment decision system
JP7462684B2 (en) Automatically validating and enforcing semantic relationships between medical entities for drug discovery
US20200020062A1 (en) Systems and methods for entity network analytics
Hinz et al. A natural language processing algorithm to define a venous thromboembolism phenotype
CN112017745B (en) Decision information recommendation and drug information recommendation methods, devices, equipment and media
JP2016505973A (en) User interface for predictive model generation
US20210090747A1 (en) Systems and methods for model-assisted event prediction
Chen et al. Using explainable boosting machines (ebms) to detect common flaws in data
Yang et al. Scalable fact-checking with human-in-the-loop
Florez et al. Deep learning for identification of adverse drug reaction relations
Wei et al. Spark-mca: Large-scale, exhaustive formal concept analysis for evaluating the semantic completeness of snomed ct
Ebada et al. Applying cloud based machine learning on biosensors streaming data for health status prediction
Liu et al. Scalp EEG-based automatic detection of epileptiform events via graph convolutional network and bi-directional LSTM co-embedded broad learning system
Page et al. Discovering interactions using covariate informed random partition models
CN113990489A (en) Intelligent data processing and analyzing and mining system for clinical syndrome diagnosis and treatment of traditional Chinese medicine
Pandit et al. A comprehensive review on Adverse Drug Reactions (ADRs) Detection and Prediction Models
Fan et al. Clinical decision support systems for comorbidity: Architecture, algorithms, and applications
Zabezhailo et al. On the reliability of medical diagnosis based on empirical data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right