KR102366206B1 - Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof - Google Patents

Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof Download PDF

Info

Publication number
KR102366206B1
KR102366206B1 KR1020200030902A KR20200030902A KR102366206B1 KR 102366206 B1 KR102366206 B1 KR 102366206B1 KR 1020200030902 A KR1020200030902 A KR 1020200030902A KR 20200030902 A KR20200030902 A KR 20200030902A KR 102366206 B1 KR102366206 B1 KR 102366206B1
Authority
KR
South Korea
Prior art keywords
reading
time
examination
reading time
predicting
Prior art date
Application number
KR1020200030902A
Other languages
Korean (ko)
Other versions
KR20210115318A (en
Inventor
김여주
이로운
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200030902A priority Critical patent/KR102366206B1/en
Publication of KR20210115318A publication Critical patent/KR20210115318A/en
Application granted granted Critical
Publication of KR102366206B1 publication Critical patent/KR102366206B1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 임상 상황에서 영상의학 검사의 판독소요시간(RTAT; Report Turnaround Time)을 예측하기 위한 장치에 있어서, 예측 대상이 되는 영상의학 검사의 종류를 선택받는 입력부와, 병원 의료 정보 시스템으로부터 상기 선택된 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 추출하는 데이터 수집부와, 상기 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간을 예측하는 예측부, 및 상기 예측된 판독소요시간을 사용자 단말을 통해 출력하는 출력부를 포함하는 판독소요시간 예측 장치를 제공한다.
본 발명에 따르면, 병원의 현재 임상 상황을 고려하여 영상의학 검사의 판독에 소요될 것으로 예상되는 판독소요시간(RTAT)을 학습 모델을 기반으로 효과적으로 예측하여 제공할 수 있다.
The present invention relates to an apparatus and method for estimating the reading time of an imaging examination in a clinical situation. According to the present invention, there is provided an apparatus for predicting a report turnaround time (RTAT) of a radiology examination in a clinical situation, comprising: an input unit for selecting a type of a radiological examination to be predicted; and a hospital medical information system. A data collection unit for extracting data on a plurality of independent variables necessary for predicting the reading time required for the selected type of radiology examination, and applying the extracted data on the plurality of independent variables to a pre-established machine learning model There is provided an apparatus for predicting required reading time, comprising: a prediction unit for predicting a required reading time for a type of examination; and an output unit for outputting the predicted required reading time through a user terminal.
According to the present invention, it is possible to effectively predict and provide the required reading time (RTAT), which is expected to be required to read the radiology examination, based on the learning model in consideration of the current clinical situation of the hospital.

Description

임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치 및 그 방법{Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof}Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof

본 발명은 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 현재 임상 상황에서 영상의학 검사의 판독에 필요한 시간인 판독소요시간(RTAT; Report Turnaround Time)을 학습 모델을 통해 예측하여 제공할 수 있는 영상의학 검사의 판독소요시간 예측 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for estimating the required reading time of an imaging examination in a clinical situation, and more particularly, to a report turnaround time (RTAT), which is a time required for reading an imaging examination in a current clinical situation. Time) to be predicted and provided through a learning model, and to an apparatus and method for estimating the required reading time of a radiology examination.

임상 상황에서 영상의학과 의사에 의하여 작성되는 판독소견서는 의학적 지식과 영상의학적 소견을 바탕으로 만들어지는 영상의학과의 결정체이다. 이러한 판독 소견서를 작성할 수 있는 영상의학과 전문의를 양성하기 위한 영상의학과 전공의의 수련과정은 매우 전문적이며, 타 학과와 차별화 되는 체계를 갖추고 있다. The reading report prepared by the radiology doctor in a clinical situation is the crystallization of the radiology department, which is made based on medical knowledge and radiology findings. The training course of radiology majors to train radiologists who can write such readings is very professional and has a system that is differentiated from other departments.

영상의학검사에 대한 판독소견서의 작성 능력은 이러한 전문적이고도 체계적인 수련 과정이 만들어낼 수 있는 결과물이며, 검사를 의뢰한 임상 의사에게 정보를 전달하고 의견을 교환할 수 있는 중요한 매개체이다. The ability to write a report on radiology examination is a result of such a professional and systematic training process, and is an important medium for communicating information and exchanging opinions with the clinician who requested the examination.

이 과정에서 영상의학 검사의 판독소요시간(RTAT)은 매우 중요한 요소로, 임상의에게 환자의 상태에 대한 영상의학적 소견을 제시하고 신속한 치료 계획의 수립과 빠르고 적합한 치료과정의 수행을 위해 필수적인 요소라고 할 수 있다. In this process, RTAT is a very important factor, and it is said that it is an essential element for presenting the radiological findings on the patient's condition to the clinician, establishing a rapid treatment plan, and performing a fast and appropriate treatment process. can do.

의료 기술이 발전하고, CT/MRI, 초음파 등 영상의학 검사의 수준이 급격히 상승하면서 임상적 진단에 있어서 영상 의학 검사 결과는 지대한 영향을 미치고 있고, 이는 환자의 치료 계획 및 예후를 판단하는 데에 있어서 매우 중요한 자료라고 할 수 있다. With the development of medical technology and the sharp rise in the level of imaging tests such as CT/MRI and ultrasound, the results of imaging tests have a great influence on clinical diagnosis, which is important in determining the treatment plan and prognosis of patients. It can be said to be a very important data.

신속하고 적절한 판독소요시간은 임상의 및 환자 모두에게 최상의 치료 경험을 제공할 수 있으나, 판독소요시간 지연 및 미판독이 발생할 경우 환자의 진단 및 치료 계획 결정에 차질을 주게 되고, 심지어 환자의 불필요한 내원 등을 초래하여 민원, 법적 분쟁의 소지를 야기할 수 있다.Prompt and appropriate reading time can provide the best treatment experience for both clinicians and patients, but if the reading time delay or non-reading occurs, it can hinder the diagnosis and treatment plan decision of the patient, and even cause unnecessary patient visits. This may lead to civil complaints and legal disputes.

미국방사선의 학회(American College of Radiology)에서는 영상의학과의 영상검사소견의 소통과 판독소견서 작성 및 판독 소요 시간 준수를 위한 실천지침(ACR practice guideline)을 발간하고 있으며 지속적으로 갱신하고 있다. The American College of Radiology publishes and continuously updates ACR practice guidelines for communication of imaging findings with radiology departments, preparation of reading reports, and observance of reading time.

현재 국내에서는 영상의학 검사의 판독소요시간에 대해 국가나 학회 수준의 확정된 지침은 없는 상태이나, 진료의 질 향상 및 환자 만족도 증진을 위해 각 병원이 개별적으로 판독소요시간의 한계를 설정하여 이를 준수하기 위해 노력 중이며, 이는 각종 병원 평가 및 인증 척도에도 일부 반영되어 있는 실정이다.Currently, there are no national or academic guidelines for the reading time of radiology examinations in Korea, but each hospital individually sets and adheres to the limits of the reading time required to improve the quality of care and patient satisfaction. Efforts are being made to do so, and this is partially reflected in various hospital evaluation and accreditation scales.

영상의학 검사의 판독소요시간은 법이나 규정으로 정례화되어 있지는 않으나, 통상적으로 상급종합병원에서 응급실 및 병동 검사의 경우 검사 시점을 기준으로 24시간 이내, 외래의 경우 7일 이내 또는 외래 방문 전으로 판단하고 있으며, 이는 각 병원의 자체 병원 평가 및 병원 인증 평가 등에서 평가 척도 및 참고 자료로 활용되고 있다.Although the time required to read radiology examinations is not routinely regulated by law or regulations, it is usually judged within 24 hours from the time of examination in the case of emergency room and ward examinations at tertiary hospitals, and within 7 days in case of outpatient visits or before outpatient visits. This is being used as an evaluation scale and reference material in each hospital's own hospital evaluation and hospital accreditation evaluation.

하지만, 영상의학 검사의 판독소요시간은 현재 대기 중인 해당 검사 건수, 병원 내 전문의들의 인력 현황, 검사 종류, 난이도 등에 따라 달라질 수 있기 때문에 현재 병원에서 수집 가능한 다양한 변수들을 종합적으로 고려하여 유연하게 결정될 필요성이 있다.However, since the reading time of a radiology examination can vary depending on the number of waiting tests, the current status of personnel in the hospital, the type of examination, the difficulty, etc., it is necessary to flexibly determine the various variables that can be collected at the current hospital comprehensively. There is this.

본 발명의 배경이 되는 기술은 한국공개특허 제2020-0003407호(2020.01.09 공개)에 개시되어 있다.The technology that is the background of the present invention is disclosed in Korean Patent Application Laid-Open No. 2020-0003407 (published on January 09, 2020).

본 발명은 현재의 임상 상황에서 영상의학 검사의 영상 판독에 소요될 것으로 예상되는 판독소요시간(RTAT)을 학습 모델을 기반으로 예측하고 예측 결과를 제공할 수 있는 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치 및 그 방법을 제공하는데 목적이 있다.The present invention predicts the required reading time (RTAT) that is expected to be required for image reading of a radiology test in the current clinical situation based on a learning model and provides a predictive result. An object of the present invention is to provide an apparatus and method for predicting .

본 발명은, 임상 상황에서 영상의학 검사의 판독소요시간(RTAT; Report Turnaround Time)을 예측하기 위한 장치에 있어서, 예측 대상이 되는 영상의학 검사의 종류를 선택받는 입력부와, 병원 의료 정보 시스템으로부터 상기 선택된 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 추출하는 데이터 수집부와, 상기 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간을 예측하는 예측부, 및 상기 예측된 판독소요시간을 사용자 단말을 통해 출력하는 출력부를 포함하는 판독소요시간 예측 장치를 제공한다.The present invention provides an apparatus for predicting a report turnaround time (RTAT) of a radiological examination in a clinical situation, comprising: an input unit for selecting a type of a radiological examination to be predicted; A data collection unit for extracting data on a plurality of independent variables necessary for predicting the reading time required for a selected type of radiology examination, and applying the extracted data on the plurality of independent variables to a pre-established machine learning model to apply the corresponding type There is provided an apparatus for predicting required reading time, comprising: a prediction unit for predicting a required reading time related to the examination of

또한, 상기 병원 의료 정보 시스템은, 전자의무기록시스템(EMR), 처방전달시스템(OCS), 의료영상저장전송시스템(PACS)이 연계된 정보 시스템일 수 있다.In addition, the hospital medical information system may be an information system in which an electronic medical record system (EMR), a prescription delivery system (OCS), and a medical image storage and transmission system (PACS) are linked.

또한, 상기 복수의 독립 변수는, 상기 해당 검사의 종류, 판독 난이도, 현재 미판독된 잔여 대기 건수, 최근 설정 기간 이내의 해당 검사의 판독 소요시간 평균, 현재 가용 전문인력의 수, 가용 전문인력들에 대한 종합적인 판독역량지수 중 선택된 복수의 인자를 포함할 수 있다.In addition, the plurality of independent variables include the type of the corresponding test, the reading difficulty, the number of currently unread remaining waiting cases, the average reading time required for the corresponding test within the latest set period, the number of currently available specialists, and available specialists It may include a plurality of factors selected from the comprehensive reading competency index for

또한, 상기 판독소요시간 예측 장치는, 과거 동종의 검사에 대응하여 수집된 복수의 독립 변수와 해당 검사의 실제 판독 소요 시간에 관한 데이터를 기반으로 상기 머신 러닝 모델을 학습하는 학습부를 더 포함할 수 있다.In addition, the reading required time prediction apparatus may further include a learning unit for learning the machine learning model based on a plurality of independent variables collected in response to the same type of examination in the past and data on the actual reading required time of the corresponding examination. there is.

또한, 상기 학습부는, 과거 동종의 검사에 대응하여 수집된 복수의 독립 변수(Xi)와 그에 대응하여 예측되는 판독소요시간(Y) 간의 관계를 머신 러닝 분석하여 아래 수학식의 각 회귀 계수(βi)를 추정할 수 있다.In addition, the learning unit performs machine learning analysis of the relationship between a plurality of independent variables (X i ) collected in response to the same type of test in the past and the required reading time (Y) predicted corresponding thereto by machine learning analysis of each regression coefficient ( β i ) can be estimated.

Figure 112020026404350-pat00001
Figure 112020026404350-pat00001

여기서, i는 독립 변수의 인덱스, βi는 i번째 독립 변수에 적용되는 i번째 회귀 계수, ε는 예측된 판독 소요 시간(Y)과 상기 실제 판독 소요 시간 간의 오차 보정 계수를 나타낸다.Here, i is the index of the independent variable, β i is the i-th regression coefficient applied to the i-th independent variable, and ε is the error correction coefficient between the predicted reading time Y and the actual reading required time.

또한, 상기 판독소요시간 예측 장치는, 상기 선택된 영상의학 검사의 종류, 그에 대응하여 추출된 복수의 독립 변수 및 상기 예측된 판독소요시간을 상호 매칭하여 저장하는 저장부를 더 포함할 수 있다.In addition, the apparatus for predicting the required reading time may further include a storage unit for storing the type of the selected radiology examination, a plurality of independent variables extracted corresponding thereto, and the predicted reading required time by matching with each other.

그리고, 본 발명은, 임상 상황에서 영상의학 검사의 판독소요시간(RTAT; Report Turnaround Time)을 예측하는 장치를 이용한 판독소요시간 예측 방법에 있어서, 예측 대상이 되는 영상의학 검사의 종류를 선택받는 단계와, 병원 의료 정보 시스템으로부터 상기 선택된 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 추출하는 단계와, 상기 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간을 예측하는 단계, 및 상기 예측된 판독소요시간을 사용자 단말을 통해 출력하는 단계를 포함하는 판독소요시간 예측 방법을 제공한다.In addition, the present invention provides a method for predicting a reading turnaround time using a device for predicting a report turnaround time (RTAT) of a radiology test in a clinical situation, the step of receiving a selection of the type of the radiology test to be predicted and extracting data on a plurality of independent variables necessary for predicting the reading time required for the selected type of radiology examination from a hospital medical information system; There is provided a method for estimating the required reading time by applying the model to predicting the required reading time for a corresponding type of examination, and outputting the predicted reading required time through a user terminal.

또한, 상기 판독소요시간 예측 방법은, 과거 동종의 검사에 대응하여 수집된 복수의 독립 변수와 해당 검사의 실제 판독 소요 시간에 관한 데이터를 기반으로 상기 머신 러닝 모델을 학습하는 단계를 더 포함할 수 있다.In addition, the method of predicting the required reading time may further include learning the machine learning model based on a plurality of independent variables collected in response to the same type of examination in the past and data on the actual reading time of the corresponding examination. there is.

또한, 상기 판독소요시간 예측 방법은, 상기 선택된 영상의학 검사의 종류, 그에 대응하여 추출된 복수의 독립 변수 및 상기 예측된 판독소요시간을 상호 매칭하여 저장하는 단계를 더 포함할 수 있다.In addition, the method of predicting the required reading time may further include the step of matching the type of the selected radiology examination, a plurality of independent variables extracted corresponding thereto, and the predicted reading required time to each other and storing the matching.

본 발명에 따르면, 병원의 현재 임상 상황을 고려하여 영상의학 검사의 판독에 소요될 것으로 예상되는 판독소요시간(RTAT)을 학습 모델을 기반으로 예측하여 제공할 수 있다. According to the present invention, it is possible to predict and provide the required reading time (RTAT), which is expected to be required to read the radiology examination, based on the learning model in consideration of the current clinical situation of the hospital.

특히, 본 발명은 다중 선형 회귀에 기반하는 머신 러닝 알고리즘을 통하여 최종적으로 현재 임상 상황에서 가장 실제에 근접할 것으로 생각되는 판독 소요시간을 상황에 맞게 유연하게 도출해 낼 수 있다. In particular, the present invention can flexibly derive the reading required time that is considered to be the closest to the actual reading in the current clinical situation through a machine learning algorithm based on multiple linear regression.

아울러, 이와 같이 예측된 판독소요시간을 기반으로 의료진으로 하여금 해당 환자에 대한 향후의 진단 및 치료 계획(외래 진료일 선택, 진료 예약, 수술/시술 계획 등)을 보다 효율적으로 수립할 수 있게 한다.In addition, it enables medical staff to more efficiently establish future diagnosis and treatment plans for the patient (outpatient treatment date selection, treatment reservation, surgery/procedure plan, etc.) based on the predicted reading time.

도 1는 본 발명의 실시예에 따른 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 각 부의 기능과 데이터 흐름을 간략히 설명한 도면이다.
도 3은 본 발명의 실시예에 따른 영상의학 검사 판독소요시간 예측 결과를 EMR/OCR 연계 화면 상에 제공하는 모습을 예시한 도면이다.
도 4는 도 1의 장치를 이용한 영상의학 검사의 판독소요시간 예측 방법을 설명하는 도면이다.
1 is a diagram showing the configuration of an apparatus for predicting a reading required time of a radiology examination in a clinical situation according to an embodiment of the present invention.
FIG. 2 is a diagram briefly explaining the function and data flow of each part of FIG. 1 .
3 is a diagram illustrating a state in which the prediction result of the radiology examination reading required time is provided on the EMR/OCR linkage screen according to an embodiment of the present invention.
FIG. 4 is a view for explaining a method of predicting a reading required time of an imaging examination using the apparatus of FIG. 1 .

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Then, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them.

본 발명은 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치 및 방법으로, 현재의 임상 상황에서 영상의학 검사의 영상 판독에 소요될 것으로 예상되는 판독소요시간(RTAT; Report Turnaround Time)을 학습 모델을 기반으로 효과적으로 예측하기 위한 기법을 제안한다.The present invention is an apparatus and method for estimating the required reading time of a radiology examination in a clinical situation, and learning the report turnaround time (RTAT) expected to be required for reading an image of a radiology examination in the current clinical situation We propose a technique for effectively predicting based on the model.

도 1는 본 발명의 실시예에 따른 임상 상황에서 영상의학 검사의 판독소요시간을 예측하기 위한 장치의 구성을 나타낸 도면이고, 도 2는 도 1의 각 부의 기능과 데이터 흐름을 간략히 설명한 도면이다.1 is a diagram showing the configuration of an apparatus for predicting the reading required time of a radiology examination in a clinical situation according to an embodiment of the present invention, and FIG. 2 is a diagram briefly explaining the function and data flow of each part of FIG. 1 .

도 1 및 도 2을 참조하면, 본 발명의 실시예에 따른 영상의학 검사의 판독소요시간 예측 장치(100)(이하, 예측 장치)는 입력부(110), 데이터 수집부(120), 예측부(130), 출력부(140), 학습부(150), 저장부(160)를 포함한다.1 and 2, the apparatus 100 (hereinafter, the prediction apparatus) for estimating the reading required time of a radiology examination according to an embodiment of the present invention includes an input unit 110, a data collection unit 120, and a prediction unit ( 130 ), an output unit 140 , a learning unit 150 , and a storage unit 160 .

예측 장치(100)는 사용자 단말(200)의 화면을 통해 제공된 영상의학 검사 전체 목록 중에서 예측을 원하는 검사 항목을 사용자로부터 선택받아 해당 검사에 대한 판독소요시간(RTAT)을 예측하고 예측한 판독소요시간(RTAT)을 화면 상에 표출하여 제공한다.The prediction device 100 receives a selection from the user of a test item to be predicted from the entire list of radiology tests provided through the screen of the user terminal 200, predicts the required reading time (RTAT) for the corresponding test, and predicts the predicted reading required time (RTAT) is displayed on the screen and provided.

예측 장치(100)는 시스템 화면 상에 나열된 영상 의학 검사의 리스트(목록) 중 하나를 사용자로부터 선택받고 선택된 검사 항목에 대한 판독소요 시간을 예측하여 화면 상에 출력 제공할 수 있다. The prediction apparatus 100 may select one of a list (list) of imaging examinations listed on the system screen, predict the reading required for the selected examination item, and output the output on the screen.

사용자 단말(200)에는 병원 의료 정보 시스템(응용 프로그램)이 설치 및 실행될 수 있다. 병원 의료 정보 시스템은 별도 서버로부터 관리 및 운용될 수 있다. 여기서, 예측 장치(100)는 병원 의료 정보 시스템과 연동할 수도 있고 병원 의료 정보 시스템(응용 프로그램) 내부에 소프트웨어적으로 구현되어 해당 응용 프로그램에 대한 부가 기능으로 제공될 수도 있다. A hospital medical information system (application program) may be installed and executed in the user terminal 200 . The hospital medical information system may be managed and operated from a separate server. Here, the prediction device 100 may be linked with the hospital medical information system, or may be implemented as software inside the hospital medical information system (application program) and provided as an additional function to the corresponding application program.

사용자 단말(200)은 병원 관계자(의사, 간호사, 직원 등) 측의 단말에 해당할 수 있으며, PC, 데스크탑(DESKTOP), 태블릿(Tablet), 노트북(Notebook) 등과 같이 네트워크에 접속하여 정보를 주고받을 수 있는 기기를 포함할 수 있다. 물론 사용자 단말(200)은 서버에 네트워크 접속되어 전산 조회가 가능한 모바일 기기 즉, 스마트 폰(Smart Phone), 패드(Pad) 등을 더 포함할 수 있다. 이때 무선 기능을 내장한 기기(스마트폰, 노트북, 패드 등)의 경우 병원 의료 정보 시스템의 자체 기능과 본 발명에 의한 예측 기능을 모바일 어플케이션의 형태로 제공할 수도 있다.The user terminal 200 may correspond to a terminal on the side of hospital personnel (doctors, nurses, staff, etc.) It may include receiving devices. Of course, the user terminal 200 may further include a mobile device, that is, a smart phone, a pad, and the like, which is network-connected to the server and capable of computational inquiry. In this case, in the case of a device with a built-in wireless function (smartphone, laptop, pad, etc.), the function of the hospital medical information system itself and the prediction function according to the present invention may be provided in the form of a mobile application.

병원 의료 정보 시스템은 전자의무기록(20)(Electronic Medical Record; 이하 EMR), 처방전달시스템(20)(Order Communication System; 이하 OCS), 의료영상저장전송시스템(30)(Picture Archiving Communication System; 이하 PACS)이 상호 연계된 시스템에 해당할 수 있고, EMR(10), OCS(20), PACS(30)을 포함할 수 있다.The hospital medical information system includes an electronic medical record 20 (Electronic Medical Record; hereinafter EMR), a prescription delivery system 20 (Order Communication System; hereinafter OCS), and a medical image storage and transmission system 30 (Picture Archiving Communication System; hereinafter). PACS) may correspond to an interconnected system, and may include an EMR 10 , an OCS 20 , and a PACS 30 .

병원 의료 정보 시스템은 EMR(10), OCS(20), PACS(30)와 각각 연동하여 각종 정보를 수집 및 통합 관리할 수 있으며 각 환자 별로 관련 정보를 매칭하여 관리할 수 있으며, 정보 입력, 조회, 수정 및 관리 등을 위한 유저 인터페이스를 제공할 수 있다.The hospital medical information system can collect and manage various types of information by interworking with the EMR (10), OCS (20), and PACS (30), and match and manage related information for each patient, and input and search information. , and may provide a user interface for modification and management.

이하에서는 본 발명의 실시예에 따른 영상의학 검사의 판독소요시간 예측 장치의 구성에 관하여 더욱 상세히 설명한다.Hereinafter, the configuration of the apparatus for predicting the required reading time of a radiology examination according to an embodiment of the present invention will be described in more detail.

도 1 및 도 2을 참조하면, 입력부(110)는 예측 대상이 되는 영상의학 검사의 종류(예: CT, MRI, 초음파 등)를 사용자로부터 선택받는다. 이때, 입력부(110)는 사용자 단말(200)의 화면을 통해 제공된 전체 검사 목록(리스트) 중에서 원하는 검사 항목을 마우스, 터치 디스플레이 등의 입력 수단을 통하여 사용자 단말(200)로부터 선택 및 입력받을 수 있다.Referring to FIGS. 1 and 2 , the input unit 110 receives a selection (eg, CT, MRI, ultrasound, etc.) of a type of imaging examination to be predicted from a user. In this case, the input unit 110 may select and receive a desired examination item from the user terminal 200 through an input means such as a mouse or a touch display from among the entire examination list (list) provided through the screen of the user terminal 200 . .

데이터 수집부(120)는 선택한 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 병원 의료 정보 시스템으로부터 추출하고 수집한다. 이때, 데이터 수집부(120)는 수집한 데이터들을 저장부(160)에 전달하며, 저장부(160)는 수집한 데이터들을 독립 변수 별로 통합 정렬하여 저장할 수있다.The data collection unit 120 extracts and collects, from the hospital medical information system, data on a plurality of independent variables necessary for predicting the reading required for the selected type of radiology examination. In this case, the data collection unit 120 transmits the collected data to the storage unit 160 , and the storage unit 160 may store the collected data by integrating and sorting the collected data for each independent variable.

데이터 수집부(120)는 EMR(10), OCS(20), PACS(30)로부터 해당 검사에 대응한 복수의 독립 변수들을 추출한다. 여기서, 데이터 수집부(120)는 EMR(10), OCS(20), PACS(30) 각각으로부터 해당 검사의 종류에 대응한 여러가지 인자(factor)들을 검출한다.The data collection unit 120 extracts a plurality of independent variables corresponding to the corresponding examination from the EMR 10 , the OCS 20 , and the PACS 30 . Here, the data collection unit 120 detects various factors corresponding to the type of the corresponding examination from each of the EMR 10 , the OCS 20 , and the PACS 30 .

구체적으로, 복수의 독립 변수로는, 해당 검사의 종류(A), 판독 난이도(B), 현재 미판독된 잔여 대기 건수(C), 최근 설정 기간 이내의 해당 검사의 판독 소요시간 평균(D), 현재 가용 전문인력(전문의)의 수(E), 가용 전문인력(전문의)들의 종합적인 판독역량지수(F) 등을 포함할 수 있다. Specifically, the plurality of independent variables include the type of test (A), the reading difficulty (B), the number of currently unread remaining waiting cases (C), and the average reading time required for the test within the latest set period (D). , the number of currently available specialists (specialists) (E), and the comprehensive reading competency index (F) of available specialists (specialists) may be included.

여기서, 변수 'A'는 OCS(20)로부터 수집되고, 변수 'B', 'C'는 PACS(30)로부터 수집되며, 변수 'D', 'E', 'F'는 EMR(10)로부터 각 수집될 수 있다. 각 변수에 대해 구체적으로 설명하면 다음과 같다.Here, the variables 'A' are collected from the OCS 20, the variables 'B' and 'C' are collected from the PACS 30, and the variables 'D', 'E' and 'F' are collected from the EMR 10 . Each can be collected. Each variable is described in detail as follows.

우선, 해당 검사의 종류(A)란 영상의학 검사의 종류를 의미하는데, CT, MRI, 초음파 등에 해당할 수 있다. 물론, CT 검사 및 MRI 검사, 초음파 검사 각각은 다시 보다 세부적인 검사 항목으로 분류되므로, 본 발명의 실시예에서 영상의학 검사의 종류란 각 검사 군 내에서도 세부 검사 항목을 의미할 수도 있다.First, the type of the examination (A) refers to the type of radiology examination, and may correspond to CT, MRI, ultrasound, or the like. Of course, since each of the CT scan, the MRI scan, and the ultrasound scan is again classified as a more detailed test item, in an embodiment of the present invention, the type of radiology test may mean a detailed test item within each test group.

다음, 해당 검사의 판독 난이도(B)는 복수의 레벨(점수)로 구분 가능하다. 간단한 예로 '쉬움'(easy)은 1, '보통'(moderate)은 2, '어려움'(hard)은 3으로 구분될 수 있다.Next, the reading difficulty (B) of the test can be divided into a plurality of levels (scores). As a simple example, 'easy' may be divided into 1, 'moderate' may be divided into 2, and 'hard' may be divided into 3.

그리고, 해당 검사의 현재 미판독된 잔여 대기 건수(C)는 해당 검사(modality)에 대응한 세부 분야의 잔여 미 판독 검사 수를 의미할 수 있다. In addition, the number of currently unread remaining waiting cases C of the corresponding examination may mean the number of remaining unread examinations in a sub-field corresponding to the corresponding examination (modality).

판독 소요시간 평균(D)은 해당 검사의 최근 판독 소요시간의 평균에 해당하며, 간단한 예로 최근 3개월, 1달, 2주일 또는 1주일 이내의 기간 동안 수행된 해당 종류의 검사에 대한 판독 소요시간을 모두 평균한 값을 나타낼 수 있다. The average reading time required (D) corresponds to the average of the most recent reading times of the test. can be expressed as the average value of all

가용 전문인력(전문의)들의 종합 판독역량지수(F)는 병원 내 해당 검사에 대응한 전문의들의 역량을 종합 환산한 것으로, 예를 들어, 전문인력(전문의) 개개인의 판독역량지수(performance)를 모두 합산한 값에 해당할 수 있다. 여기서 개개인의 판독역량지수는 최근(최근 동일 기간 내) 해당 전문의의 판독 실적(수), 전문의 연차, 직책, 오판 이력, 판독 누락 이력 등에 의해 결정될 수 있다.The comprehensive reading competency index (F) of available experts (specialists) is a comprehensive conversion of the capabilities of the specialists in response to the relevant examination in the hospital. may correspond to the sum of all Here, an individual's reading competency index can be determined by the recent (recently within the same period) reading performance (number) of the specialist, the year of the specialist, position, history of misjudgment, history of omission of reading, etc.

이러한 판독소요시간의 예측에 있어, 상술한 종류의 독립 변수들이 고려된 이유를 구체적으로 설명하면 다음과 같다.The reason why the above-mentioned kinds of independent variables are considered in the prediction of the required reading time will be described in detail as follows.

영상의학 검사의 판독 소요시간은 영상 촬영 이후로부터 영상의학과 의사가 실제 검사(modality)를 판독 시작하기 까지 걸리는 '판독 대기 시간'과, 실제 판독(영상 판독, 분석)에 소요되는 시간인 '판독 시간'의 합으로 구성된다. The reading time required for a radiology examination is the 'reading waiting time' from the time the image is taken until the radiologist starts reading the actual examination (modality), and the 'reading time', which is the time required for the actual reading (image reading and analysis). It is composed of the sum of '.

특정 검사(modality)가 시행되었다고 가정할 때, 이 검사는 영상의학과 내에서 검사에 해당하는 세부분야(복부, 흉부/심장, 신경두경부, 근골격 등)의 판독실로 분류되어 제출되고, 각 판독실에서는 검사의 우선 순위(병동/응급실검사, 우선 시행한 검사)를 판단하여 각개의 검사를 판독하게 된다. Assuming that a specific modality has been performed, this examination is classified and submitted to the reading room of the sub-area (abdomen, chest/heart, nerve head and neck, musculoskeletal, etc.) corresponding to the examination within the radiology department, and each reading room Each examination is read by judging the priority of examination (ward/emergency room examination, examination performed first).

이 과정에서 현재 해당 파트에 배정되어 대기하고 있는 검사의 수와 영상의학과 전문의의 수, 그리고 그 전문의들의 판독 역량이 '판독 대기 시간'이 감소하거나 증가하는데 영향을 주게 된다. In this process, the number of examinations currently assigned and waiting for the relevant part, the number of radiologists, and the reading competency of those specialists will affect the decrease or increase in the 'reading waiting time'.

판독 대기 시간을 거쳐 영상의학과 전문의가 특정 이미지를 선택하고 판독하기 시작하여, 최종 판독문을 제공하기까지의 시간은 '판독 시간'이다. 이는 해당 검사(modality)의 종류(예: CT, MRI)와 판독 난이도가 영향을 미치게 되며, 판독 난이도가 어려운 검사의 경우 다른 검사에 비해 좀 더 많은 판독 시간의 소요를 보이게 된다. After the reading waiting time, the radiologist selects a specific image and starts reading it, and the time until the final reading is provided is the 'reading time'. This has an effect on the type of modality (eg, CT, MRI) and the difficulty of reading, and exams with difficulty in reading require more reading time than other exams.

하지만 통상적으로 일반적인 난이도를 가정할 때, 특정 검사들은 어느 정도 예측 가능한 평균 판독 시간을 가지게 되고, 이 수치 또한 판독 시간 예측에 참고 자료가 될 수 있다. 이러한 근거에 따라 상술한 복수의 독립 변수들(A~E)은 영상의학 검사의 판독소요시간 예측에 있어 매우 중요한 영향을 미치는 인자라는 것을 알 수 있다.However, in general, assuming a general difficulty level, certain tests have an average reading time that is predictable to some extent, and this number can also be used as a reference for predicting the reading time. Based on this basis, it can be seen that the above-described plurality of independent variables (A to E) are factors that have a very important influence on the prediction of the reading time of the radiology examination.

또한, 이들 각각의 인자들은 상호 독립되는 변수에 해당하며, 해당 검사에 대한 판독소요 시간 예측은 이들 각각의 독립 변수들이 판독소요 시간에 미치는 정도에 따라 결정될 수 있으며, 각각의 독립 변수들이 차지하는 비중은 머신 러닝 모델의 학습에 사용되는 회귀 계수들과 각각 관련된다.In addition, each of these factors corresponds to a mutually independent variable, and the prediction of the reading time for the test can be determined according to the degree to which each of these independent variables affects the reading time, and the weight of each independent variable is Each is related to the regression coefficients used for training the machine learning model.

예측부(130)는 데이터 수집부(120)로부터 추출된 복수의 독립 변수에 관한 데이터를 미리 학습된 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간(RTAT)을 예측한다. The prediction unit 130 applies the data related to the plurality of independent variables extracted from the data collection unit 120 to the pre-trained machine learning model to predict the required reading time (RTAT) for the corresponding type of test.

이때 예측부(130)는 머신 러닝 모델의 다중 선형 회귀(Multi-Value Linear Regression) 분석을 기반으로 해당 검사에 대한 판독소요시간을 예측한다.At this time, the prediction unit 130 predicts the required reading time for the corresponding test based on the multi-value linear regression analysis of the machine learning model.

물론, 이와 같은 예측이 수행되기 위해서는 머신 러닝 모델을 사전 학습하는 과정이 수반된다. Of course, in order to perform such a prediction, a process of pre-training a machine learning model is involved.

이를 위해, 학습부(150)는 과거 동종(동일 종류)의 검사에 대응하여 기 수집된 복수의 독립 변수와 해당 검사의 실제 판독 소요 시간에 관한 데이터를 기반으로 머신 러닝 모델을 학습한다. To this end, the learning unit 150 learns a machine learning model based on a plurality of independent variables previously collected in response to a past same type (same type) examination and data regarding an actual reading time of the corresponding examination.

이때, 해당 검사의 실제 판독 소요시간이란, 해당 영상의학 검사가 실행된 시점으로부터 전문의를 통한 영상 판독이 나오기까지 실제로 소모(소요)된 시간을 의미한다. In this case, the actual reading time required for the corresponding examination means the time actually consumed (required) from the time when the corresponding radiology examination is executed until the image reading by a specialist comes out.

학습부(150)는 아래 수학식 1에 의한 머신 러닝 모델을 학습한다.The learning unit 150 learns the machine learning model according to Equation 1 below.

Figure 112020026404350-pat00002
Figure 112020026404350-pat00002

여기서, i는 독립 변수의 인덱스, p는 사용된 독립 변수의 종류(개수), βi는 i번째 독립 변수에 적용되는 i번째 회귀 계수, ε는 예측된 종속 변수인 판독 소요 시간(Y)과, 실제 임상상황에서의 판독소요시간(실제 판독 소요 시간) 간의 오차 보정 계수를 나타낸다. 이러한 ε는 오차/잔차(residual)로서, 예측된 종속 변수 Y와 실제 판독 소요 시간 간의 차이로 이를 보정하기 위한 보정치이다. where i is the index of the independent variable, p is the type (number) of the independent variable used, β i is the i-th regression coefficient applied to the i-th independent variable, ε is the reading required time (Y), the predicted dependent variable, and , represents the error correction coefficient between the reading time (actual reading time required) in an actual clinical situation. This ε is an error/residual, which is a correction value for correcting the difference between the predicted dependent variable Y and the actual reading required time.

학습부(150)는 과거 동종의 검사에 대응하여 수집된 복수의 독립 변수(Xi)와 그에 대응하여 예측되는 판독소요시간(Y) 간의 관계를 머신 러닝 분석하여 각 독립 변수에 대한 회귀 계수(βi)를 추정한다. The learning unit 150 performs machine learning analysis on the relationship between a plurality of independent variables (X i ) collected in response to the same type of test in the past and the required reading time (Y) predicted corresponding thereto, and performs a regression coefficient ( β i ) is estimated.

회귀 계수(βi)는 사전에 입력/저장된 독립 변수(Xi)와 영상의학 검사 판독소요시간(Y)과의 관계를 최소 자승법(Ordinary Least Sqare; OLS)과 동시 입력 방식(Enter)을 이용하여 머신 러닝에 기반하여 추정될 수 있다.The regression coefficient (β i ) uses the Ordinary Least Sqare (OLS) and simultaneous input method (Enter) to determine the relationship between the pre-input/stored independent variable (X i ) and the time taken to read the radiology examination (Y). Therefore, it can be estimated based on machine learning.

이와 같이, 학습부(150)는 과거 해당 검사에 대응하여 수집된 독립 변수와 그에 대응하는 실제 판독 소요 시간을 이용하여 수학식 1에 의한 머신 러닝 모델을 학습한다. 학습부(150)는 오차 ε가 설정 임계치 이하에 들어올 때까지 각각의 회귀 계수 값을 조정하고 반복 학습하여 회귀 계수 값을 최종 결정할 수 있다. In this way, the learning unit 150 learns the machine learning model according to Equation 1 by using the independent variable collected in response to the corresponding test in the past and the actual reading required time corresponding thereto. The learning unit 150 may finally determine a regression coefficient value by adjusting and repeatedly learning each regression coefficient value until the error ε is equal to or less than a set threshold.

그리고, 예측부(130)는 결정된 각각의 회귀 계수(βi)를 기반으로 수학식 1을 통하여 현재 예측 대상이 되는 영상의학 검사에 대한 판독소요시간(RTAT)을 쉽게 도출해낼 수 있다.In addition, the prediction unit 130 may easily derive the required reading time (RTAT) for the radiology test, which is the current prediction target, through Equation 1 based on each determined regression coefficient (β i ).

즉, 예측부(130)는 학습이 완료된 수학식 1에 현재 추출한 복수의 독립 변수에 관한 데이터(Xi)를 입력하는 것만으로 해당 영상의학 검사에 대한 판독소요시간(Y)을 빠르고 용이하게 도출해낼 수 있다. That is, the prediction unit 130 quickly and easily derives the required reading time (Y) for the corresponding radiology examination simply by inputting the data (X i ) on the plurality of independent variables currently extracted in Equation 1 on which the learning is completed. can do it

여기서, 수학식 1에서 도출되는 Y 값은 시간 데이터 형태일 수 있는데, 예를 들어, "○시간 ○분", "○일 ○시간 ○분" 등과 같은 형태로 도출될 수 있다.Here, the Y value derived from Equation 1 may be in the form of time data. For example, it may be derived in the form of “○hours ○minutes”, “○days ○hours ○minutes”, and the like.

출력부(140)는 도출된 판독소요시간(Y)을 사용자 단말(200) 상에 출력하여 제공하며, 후술하는 도 3과 같이 EMR/OCS 화면 상에 제공할 수 있다. 또한 이렇게 예측된 판독소요시간을 기반으로, 의사, 간호사 등은 검사 결과 확인 및 상담을 위한 환자의 외래진료일 안내(통보), 진료 예약, 수술/시술 일정, 치료 방법 등을 포함한 해당 환자의 진단/치료 계획을 보다 효과적으로 수립하고 통보할 수 있다.The output unit 140 outputs and provides the derived reading required time Y on the user terminal 200, and may provide it on the EMR/OCS screen as shown in FIG. 3 to be described later. Also, based on the predicted reading time, doctors, nurses, etc. provide information on the patient's outpatient treatment date (notification) for confirmation of test results and consultation, appointment of treatment, schedule for surgery/procedure, treatment method, etc. of the patient. It can establish and inform treatment plans more effectively.

이상과 같이, 본 발명은 영상의학 검사의 판독소요시간을 현재의 임상 상황에 따라 유연하게 예측하고 이를 기준으로 진료 및 치료계획을 수립할 수 있도록 하여, 부정확한 통보로 인한 불필요한 내원, 환자의 민원, 병원의 신뢰도 하락 등의 문제를 사전 예방할 수 있다.As described above, the present invention flexibly predicts the reading time of the radiology examination according to the current clinical situation and enables the establishment of treatment and treatment plans based on this, so that unnecessary visits due to inaccurate notification and complaints from patients , it is possible to prevent problems such as a decrease in the reliability of the hospital in advance.

한편, 저장부(160)는 해당 검사에 대응하여 수집한 복수의 독립 변수에 관한 데이터와 수집한 시간을 검사 종류 별로 구분하여 저장하고 통합 관리할 수 있다. 물론, 저장부(160)는 선택된 영상의학 검사의 종류, 그에 대응하여 수집된 독립 변수들의 데이터, 그리고 수학식 1에 의해 예측된 판독소요시간 결과를 상호 매칭하여 저장할 수 있고 이를 추가적인 학습 데이터로 활용할 수 있다.Meanwhile, the storage unit 160 may classify, store, and manage the data on a plurality of independent variables collected in response to the corresponding test and the collected time by test type. Of course, the storage unit 160 may match and store the type of the selected radiology examination, the data of independent variables collected corresponding to it, and the reading time result predicted by Equation 1, and utilize this as additional learning data. can

즉, 학습부(150)는 저장부(160)의 저장된 정보 중에서 현재 해당 검사에 대응하여 수학식 1에 의해 예측된 판독소요시간과, 추후 해당 검사에 대해 실제로 관측된 판독 소요시간을 추가적인 학습 데이터로 사용하여, 수학식 1의 각 회귀계수를 재조정하고 업데이트할 수 있다. 물론, 이를 위해, 입력부(110)는 해당 검사에 대해 실제로 관측된 판독소요시간을 사용자 단말(200)로부터 입력받고 저장부(160)는 이를 관련 정보와 매칭하여 저장할 수 있다. That is, the learning unit 150 calculates the reading required time predicted by Equation 1 in response to the current examination from among the information stored in the storage unit 160 and the reading required time actually observed for the corresponding examination later as additional learning data. can be used to readjust and update each regression coefficient in Equation (1). Of course, for this purpose, the input unit 110 may receive the reading required time actually observed for the test from the user terminal 200 , and the storage unit 160 may match it with related information and store it.

또한 학습부(150)는 동종의 검사끼리 학습을 진행함으로써 검사 종류 별로 서로 다른 예측식을 도출해낼 수 있는데, 이에 따라 검사 종류 별로 수학식 1의 예측식에 적용되는 회귀계수 값들이 달라질 수 있다In addition, the learning unit 150 may derive different prediction equations for each type of examination by learning between tests of the same type. Accordingly, the values of the regression coefficients applied to the prediction equation of Equation 1 may vary for each type of examination.

한편, 학습부(150)와 예측부(130)는 도 2와 같이 프로세서(Processor)에 포함 또는 내장될 수 있다. 여기서, 프로세서는 인공지능 알고리즘을 내장하고 머신러닝에 기반한 연산을 수행한다. 인공지능 알고리즘으로는 입력층(input layer), 은닉층(hidden layer), 및 출력층(output layer)을 포함한 구조의 인공 신경망을 사용할 수 있다. On the other hand, the learning unit 150 and the prediction unit 130 may be included or embedded in the processor as shown in FIG. 2 . Here, the processor embeds an artificial intelligence algorithm and performs an operation based on machine learning. As the artificial intelligence algorithm, an artificial neural network having a structure including an input layer, a hidden layer, and an output layer may be used.

프로세서는 알고리즘의 사전 학습에 있어 고도로 다층화된 인공 신경망(Artificial Neural Network)에 근거한 머신러닝 알고리즘을 사용할 수 있다. 이와 같이, 프로세서는 인공지능 알고리즘을 통하여 사전에 학습된 각 독립변수를 기반으로 현재 예측 대상이 되는 검사에 대한 실제에 가장 가까울 것으로 예상되는 판독 소요시간을 예측해 낼 수 있다. 예측된 데이터는 저장부(160)에 저장되어 해당 검사의 실제 판독 소요시간과 함께 판독 소요 시간 예측을 위한 학습 데이터로 다시 활용될 수 있고 오차/잔차(residual)에 대한 변수를 확보하는 근거로 활용될 수 있다. The processor may use a machine learning algorithm based on a highly multi-layered artificial neural network for prior learning of the algorithm. In this way, the processor may predict the reading required time that is expected to be closest to the actual test for the currently predicted test based on each independent variable learned in advance through the artificial intelligence algorithm. The predicted data is stored in the storage unit 160 and can be reused as learning data for predicting the reading duration together with the actual reading duration of the corresponding test, and used as a basis for securing variables for error/residual can be

이와 같은 본 발명에 따르면, 임상 상황에서 영상의학 검사 판독 소요시간을 예측하기 위한 인공지능 학습 모델을 기반으로, 전자의무기록(EMR), 처방전 전달시스템(OCS), 의료영상 저장전송시스템(PACS)으로부터 획득한 영상의학 검사 판독 소요시간에 영향을 주는 여러 가지 독립 변수들을 다중 선형 회귀에 기반하는 머신 러닝 알고리즘을 통해 분석하여 최종적으로 현재 임상 상황에서 가장 실제에 근접할 것으로 생각되는 판독 소요시간을 빠르고 용이하게 도출해 낼 수 있다. According to the present invention, electronic medical record (EMR), prescription delivery system (OCS), medical image storage and transmission system (PACS) Through a machine learning algorithm based on multiple linear regression based on multiple linear regression-based machine learning algorithms, various independent variables influencing the reading time of radiology examinations acquired from can be easily derived.

도 3은 본 발명의 실시예에 따른 영상의학 검사 판독소요시간 예측 결과를 EMR/OCR 연계 화면 상에 제공하는 모습을 예시한 도면이다.3 is a diagram illustrating a state in which a prediction result of a radiology examination reading required time is provided on an EMR/OCR linkage screen according to an embodiment of the present invention.

이러한 도 3의 경우 EMR과 OCR이 연계(결합)된 형태의 병원 의료 정보 시스템의 실행 화면을 예시한 것이다. 여기서, 화면 상에 나열된 영상의학 검사 목록 중 'Abdomen(kidney) MRI'를 사용자 단말(200)로부터 선택받으면, 예측 장치(100)는 해당 검사에 대한 판독소요시간(RTAT)을 예측하고 예측 결과('해당 검사의 판독소요시간(RTAT)은 26시간 16분[1일 2시간 16분] 입니다.')를 즉시 팝업 등으로 표출하여 직관적인 확인이 가능하게 한다.In the case of FIG. 3, the execution screen of the hospital medical information system in a form in which EMR and OCR are linked (combined) is exemplified. Here, when 'Abdomen (kidney) MRI' is selected from the user terminal 200 from the list of radiology examinations listed on the screen, the prediction apparatus 100 predicts the required reading time (RTAT) for the corresponding examination and predicts the result ( 'The required reading time (RTAT) for the test is 26 hours and 16 minutes [2 hours and 16 minutes per day].') is immediately displayed as a pop-up, enabling intuitive confirmation.

도 4는 도 1의 장치를 이용한 영상의학 검사의 판독소요시간 예측 방법을 설명하는 도면이다.FIG. 4 is a view for explaining a method of predicting a reading required time of an imaging examination using the apparatus of FIG. 1 .

먼저, 학습부(150)는 인공지능 알고리즘에 기반한 프로세서를 이용하여, 과거 해당 영상의학 검사에 대응하여 수집된 복수의 독립 변수에 관한 데이터 및 해당 영상의학 검사의 실제 판독소요시간을 학습 데이터 세트로 사용하여, 수학식 1에 의한 머신 러닝 모델을 학습한다(S410).First, the learning unit 150 uses a processor based on an artificial intelligence algorithm to convert data about a plurality of independent variables collected in response to the corresponding radiology examination in the past and the actual reading time of the corresponding radiology examination as a learning data set. Using, the machine learning model according to Equation 1 is learned (S410).

학습부(150)는 수학식 1에 대한 머신 러닝 과정을 통하여 각 독립변수에 적용되는 회귀계수를 각각 추정하며, 잔차가 오차범위 이내로 들어올 때까지 반복 학습하여 추정한다. 이때 사용된 과거 데이터가 많을수록 모델의 신뢰성이 높아진다. 이러한 학습부(150)는 영상의학 검사의 종류(CT, MRI, 초음파 등) 별로 개별적인 학습 모델을 구축할 수 있다. The learning unit 150 estimates each of the regression coefficients applied to each independent variable through the machine learning process for Equation 1, and repeatedly learns and estimates until the residual falls within an error range. In this case, the more historical data used, the higher the reliability of the model. The learning unit 150 may build an individual learning model for each type of imaging examination (CT, MRI, ultrasound, etc.).

학습이 완료된 이후부터는, 사용자로부터 지정받은 영상의학 검사의 종류에 대한 응답으로, 해당 종류의 영상의학 검사에 대한 판독소요시간 예측값을 피드백해줄 수 있다.After the learning is completed, in response to the type of radiology examination designated by the user, the prediction value of the required reading time for the type of imaging examination may be fed back.

구체적으로, 이를 위해 입력부(110)는 도 3와 같이 예측 대상이 되는 영상의학 검사의 종류를 사용자 단말(200)로부터 선택받는다(S420).Specifically, for this purpose, the input unit 110 receives a selection from the user terminal 200 of the type of imaging examination to be predicted as shown in FIG. 3 ( S420 ).

그러면, 데이터 수집부(120)는 EMR, OCW, PACS으로부터 해당 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 대한 데이터를 추출한다(S430). Then, the data collection unit 120 extracts data for a plurality of independent variables necessary for predicting the reading time of the corresponding type of radiology examination from the EMR, OCW, and PACS ( S430 ).

여기서, 독립 변수는 해당 검사의 종류, 판독 난이도, 현재 미판독된 잔여 대기 건수, 최근 설정 기간 이내의 해당 검사의 판독 소요시간 평균, 현재 가용 전문인력의 수, 가용 전문인력들에 대한 종합적인 판독역량지수 등을 포함할 수 있다.Here, the independent variables are the type of test, the reading difficulty, the number of currently unread remaining waiting cases, the average reading time of the test within the latest set period, the number of currently available experts, and comprehensive reading of available experts Competency index, etc. may be included.

예측부(130)는 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 수학식 1에 의한 머신 러닝 모델에 입력하고(S440), 그에 대응한 출력 값(Y)을 획득함으로써 해당 종류의 영상의학 검사에 관한 판독소요시간(Y)을 예측한다(S450). The prediction unit 130 inputs the extracted data on the plurality of independent variables to the machine learning model according to Equation 1 (S440), and obtains an output value (Y) corresponding thereto. The required reading time (Y) for the inspection is predicted (S450).

이후, 출력부(140)는 예측된 판독소요시간을 사용자 단말(200)을 통해 출력 제공한다(S460). 이때, 판독소요시간의 예측 결과를 도 3과 같이 메시지, 텍스트 등의 형태로 제공할 수 있고, 이미지 등의 형태로 제공할 수 있다.Thereafter, the output unit 140 outputs the predicted reading required time through the user terminal 200 (S460). In this case, the prediction result of the required reading time may be provided in the form of a message, text, or the like as shown in FIG. 3 , or may be provided in the form of an image or the like.

이와 같이, 본 발명에 따르면, 전자의무기록(EMR), 처방전달시스템(OCS), 의료영상저장전송시스템(PACS)과 연계하여 예측 대상이 되는 해당 영상의학 검사의 판독소요시간(RTAT) 예측을 위한 여러가지 독립 변수의 데이터를 추출하고 이를 미리 학습된 머신 러닝 모델에 적용함으로써 해당 영상의학 검사의 판독소요시간(RTAT)을 효과적으로 예측하여 제공할 수 있다.As described above, according to the present invention, it is possible to predict the reading time (RTAT) of the corresponding radiology examination to be predicted in connection with the electronic medical record (EMR), the prescription delivery system (OCS), and the medical image storage and transmission system (PACS). It is possible to effectively predict and provide the RTAT of the radiology examination by extracting the data of various independent variables for the purpose and applying it to a pre-trained machine learning model.

따라서, 본 발명은 병원의 현재 임상 상황을 고려하여 영상의학 검사의 판독에 소요될 것으로 예상되는 판독소요시간을 학습 모델을 기반으로 효과적으로 예측하여 제공할 수 있다. Therefore, the present invention can effectively predict and provide the reading required time that is expected to be required to read the radiology examination in consideration of the current clinical situation of the hospital based on the learning model.

또한, 다중 선형 회귀에 기반하는 머신 러닝 알고리즘을 통하여 최종적으로 현재 임상 상황에서 가장 실제에 근접할 것으로 생각되는 판독 소요시간을 현장 상황에 맞게 유연하게 도출해 낼 수 있다. In addition, through a machine learning algorithm based on multiple linear regression, it is possible to flexibly derive the reading required time that is considered to be the closest to the actual reading in the current clinical situation according to the field situation.

아울러, 이와 같이 예측된 판독소요시간을 기반으로 의료진으로 하여금 해당 환자에 대한 향후의 진단 및 치료 계획(외래 진료일 선택, 진료 예약, 수술/시술 계획 등)을 보다 효율적으로 수립할 수 있게 한다.In addition, it enables medical staff to more efficiently establish future diagnosis and treatment plans for the patient (outpatient treatment date selection, treatment reservation, surgery/procedure plan, etc.) based on the predicted reading time.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is only exemplary, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

10: EMR 20: OCS
30: PACS 100: 판독소요시간 예측 장치
110: 입력부 120: 데이터 수집부
130: 예측부 140: 출력부
150: 학습부 160: 저장부
200: 사용자 단말
10: EMR 20: OCS
30: PACS 100: Reading time prediction device
110: input unit 120: data collection unit
130: prediction unit 140: output unit
150: learning unit 160: storage unit
200: user terminal

Claims (12)

임상 상황에서 영상의학 검사의 판독소요시간(RTAT; Report Turnaround Time)을 예측하기 위한 장치에 있어서,
과거 동종의 검사에 대응하여 수집된 복수의 독립 변수와 해당 검사의 실제 판독 소요 시간에 관한 데이터를 이용하여 다중 선형 회귀 분석 기반의 머신 러닝 모델을 학습하는 학습부:
예측 대상이 되는 영상의학 검사의 종류를 선택받는 입력부;
병원 의료 정보 시스템으로부터 상기 선택된 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 추출하는 데이터 수집부;
상기 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 상기 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간을 예측하는 예측부; 및
상기 예측된 판독소요시간을 사용자 단말을 통해 출력하는 출력부를 포함하며,
상기 복수의 독립 변수는,
상기 해당 검사의 종류, 판독 난이도, 현재 미판독된 잔여 대기 건수, 최근 설정 기간 이내의 해당 검사의 판독 소요시간 평균, 현재 가용 전문인력의 수, 가용 전문인력들에 대한 종합적인 판독역량지수를 포함하는 판독소요시간 예측 장치.
An apparatus for predicting a report turnaround time (RTAT) of a radiology examination in a clinical situation, the apparatus comprising:
A learning unit that learns a machine learning model based on multiple linear regression analysis by using multiple independent variables collected in response to a similar test in the past and data on the actual reading time of the test:
an input unit for selecting a type of imaging examination to be predicted;
a data collection unit for extracting data on a plurality of independent variables necessary for predicting a reading required time of the selected type of radiology examination from a hospital medical information system;
a predictor for predicting a reading time required for a corresponding type of test by applying the extracted data on the plurality of independent variables to the previously built machine learning model; and
and an output unit for outputting the predicted required reading time through a user terminal,
The plurality of independent variables are
Includes the type of test, the difficulty of reading, the number of remaining unread cases, the average reading time required for the test within the latest set period, the number of currently available experts, and a comprehensive reading competency index for available experts reading time prediction device.
청구항 1에 있어서,
상기 병원 의료 정보 시스템은,
전자의무기록시스템(EMR), 처방전달시스템(OCS), 의료영상저장전송시스템(PACS)이 연계된 정보 시스템인 판독소요시간 예측 장치.
The method according to claim 1,
The hospital medical information system,
An electronic medical record system (EMR), a prescription delivery system (OCS), and a medical image storage and transmission system (PACS) are linked information systems to predict the reading time required.
삭제delete 삭제delete 청구항 1에 있어서,
상기 학습부는,
과거 동종의 검사에 대응하여 수집된 복수의 독립 변수(Xi)와 그에 대응하여 예측되는 판독소요시간(Y) 간의 관계를 머신 러닝 분석하여 아래 수학식의 각 회귀 계수(βi)를 추정하는 영상의학 검사의 판독소요시간 예측 장치.
Figure 112021120573814-pat00003

여기서, i는 독립 변수의 인덱스, βi는 i번째 독립 변수에 적용되는 i번째 회귀 계수, ε는 예측된 판독 소요 시간(Y)과 상기 실제 판독 소요 시간 간의 오차 보정 계수를 나타낸다.
The method according to claim 1,
The learning unit,
It is a method of estimating each regression coefficient (β i ) of the following equation by machine learning analysis of the relationship between a plurality of independent variables (X i ) collected in response to the same type of examination in the past and the correspondingly predicted reading time (Y). A device for predicting reading time for radiology examinations.
Figure 112021120573814-pat00003

Here, i is the index of the independent variable, β i is the i-th regression coefficient applied to the i-th independent variable, and ε is the error correction coefficient between the predicted reading time Y and the actual reading required time.
청구항 1에 있어서,
상기 선택된 영상의학 검사의 종류, 그에 대응하여 추출된 복수의 독립 변수 및 상기 예측된 판독소요시간을 상호 매칭하여 저장하는 저장부를 더 포함하는 영상의학 검사의 판독소요시간 예측 장치.
The method according to claim 1,
The apparatus for predicting the required reading time of a radiology examination further comprising a storage unit for storing the type of the selected radiology examination, a plurality of independent variables extracted corresponding thereto, and the predicted reading required time by matching with each other.
임상 상황에서 영상의학 검사의 판독소요시간(RTAT; Report Turnaround Time)을 예측하는 장치를 이용한 판독소요시간 예측 방법에 있어서,
과거 동종의 검사에 대응하여 수집된 복수의 독립 변수와 해당 검사의 실제 판독 소요 시간에 관한 데이터를 이용하여 다중 선형 회귀 분석 기반의 머신 러닝 모델을 학습하는 단계;
예측 대상이 되는 영상의학 검사의 종류를 선택받는 단계;
병원 의료 정보 시스템으로부터 상기 선택된 종류의 영상의학 검사의 판독소요시간 예측에 필요한 복수의 독립 변수에 관한 데이터를 추출하는 단계;
상기 추출된 복수의 독립 변수에 관한 데이터를 기 구축된 상기 머신 러닝 모델에 적용하여 해당 종류의 검사에 관한 판독소요시간을 예측하는 단계; 및
상기 예측된 판독소요시간을 사용자 단말을 통해 출력하는 단계를 포함하며,
상기 복수의 독립 변수는,
상기 해당 검사의 종류, 판독 난이도, 현재 미판독된 잔여 대기 건수, 최근 설정 기간 이내의 해당 검사의 판독 소요시간 평균, 현재 가용 전문인력의 수, 가용 전문인력들에 대한 종합적인 판독역량지수를 포함하는 판독소요시간 예측 방법.
In a method for predicting read turnaround time using a device for predicting report turnaround time (RTAT) of a radiology test in a clinical situation, the method comprising:
Learning a machine learning model based on multiple linear regression analysis by using a plurality of independent variables collected in response to a similar test in the past and data on an actual reading time of the test;
receiving a selection of a type of imaging examination to be predicted;
extracting data on a plurality of independent variables necessary for predicting a reading required for the selected type of radiology examination from a hospital medical information system;
estimating the required reading time for a corresponding type of test by applying the extracted data on the plurality of independent variables to the previously built machine learning model; and
outputting the predicted reading required time through a user terminal,
The plurality of independent variables are
Includes the type of test, the difficulty of reading, the number of currently unread remaining waiting cases, the average reading time required for the test within the latest set period, the number of currently available experts, and a comprehensive reading competency index for available experts A method of estimating the required reading time.
청구항 7에 있어서,
상기 병원 의료 정보 시스템은,
전자의무기록시스템(EMR), 처방전달시스템(OCS), 의료영상저장전송시스템(PACS)이 연계된 정보 시스템인 판독소요시간 예측 방법.
8. The method of claim 7,
The hospital medical information system,
An electronic medical record system (EMR), prescription delivery system (OCS), and a medical image storage and transmission system (PACS) are linked information system, a method of predicting the reading time required.
삭제delete 삭제delete 청구항 7에 있어서,
상기 학습하는 단계는,
과거 동종의 검사에 대응하여 수집된 복수의 독립 변수(Xi)와 그에 대응하여 예측되는 판독소요시간(Y) 간의 관계를 머신 러닝 분석하여 아래 수학식의 각 회귀 계수(βi)를 추정하는 판독소요시간 예측 방법:
Figure 112021120573814-pat00004

여기서, i는 독립 변수의 인덱스, βi는 i번째 독립 변수에 적용되는 i번째 회귀 계수, ε는 예측된 판독 소요 시간(Y)과 상기 실제 판독 소요 시간 간의 오차 보정 계수를 나타낸다.
8. The method of claim 7,
The learning step is
It is a method of estimating each regression coefficient (β i ) of the following equation by machine learning analysis of the relationship between a plurality of independent variables (X i ) collected in response to the same type of examination in the past and the correspondingly predicted reading time (Y). How to estimate the reading time:
Figure 112021120573814-pat00004

Here, i is the index of the independent variable, β i is the i-th regression coefficient applied to the i-th independent variable, and ε is the error correction coefficient between the predicted reading time Y and the actual reading required time.
청구항 7에 있어서,
상기 선택된 영상의학 검사의 종류, 그에 대응하여 추출된 복수의 독립 변수 및 상기 예측된 판독소요시간을 상호 매칭하여 저장하는 단계를 더 포함하는 판독소요시간 예측 방법.
8. The method of claim 7,
The method further comprising the step of matching and storing the type of the selected radiology examination, a plurality of independent variables extracted corresponding thereto, and the predicted reading required time.
KR1020200030902A 2020-03-12 2020-03-12 Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof KR102366206B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200030902A KR102366206B1 (en) 2020-03-12 2020-03-12 Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200030902A KR102366206B1 (en) 2020-03-12 2020-03-12 Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof

Publications (2)

Publication Number Publication Date
KR20210115318A KR20210115318A (en) 2021-09-27
KR102366206B1 true KR102366206B1 (en) 2022-02-22

Family

ID=77925459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200030902A KR102366206B1 (en) 2020-03-12 2020-03-12 Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof

Country Status (1)

Country Link
KR (1) KR102366206B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040218A1 (en) * 2022-08-18 2024-02-22 Quantivly Inc. Smart radiology imaging appointment scheduling

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Antonio M. Cruz 외, Building a New Predictor for Multiple Linear Regression Technique-based Corrective Maintenance Turnaround Time, Rev. salud publica., 2008.12.31., Vol.10, No.5, pp.808-817.
Samira Rathnayake 외, Effect of Radiology Study Flow on Report Turnaround Time, American Journal of Roentgenology, 2017.12.31., Vol.209, No.6, pp.1308-1311.
이종찬 외, 분류회귀나무를 이용한 의료서비스 적기처리 예측모형, 한국전기전자학회 논문지, 2016.03.31., Vol.20, Issue.1, pp16-25.*

Also Published As

Publication number Publication date
KR20210115318A (en) 2021-09-27

Similar Documents

Publication Publication Date Title
US10937164B2 (en) Medical evaluation machine learning workflows and processes
US20190005200A1 (en) Methods and systems for generating a patient digital twin
US8249892B2 (en) Method of data mining in medical applications
US8719046B2 (en) Systems and methods for interruption workflow management
US11380436B2 (en) Workflow predictive analytics engine
AU2012340272B2 (en) Graphical tool for managing a longitudinal patient episode
US20140358585A1 (en) Method and apparatus for data recording, tracking, and analysis in critical results medical communication
US20150081326A1 (en) Healthcare Process Management Using Context
US20210407694A1 (en) Healthcare network
US11061537B2 (en) Interactive human visual and timeline rotor apparatus and associated methods
US8762165B2 (en) Optimizing test procedures for a subject under test
CN103460213A (en) Image acquisition and/or image related parameter recommender
US11990231B2 (en) Workflow predictive analytics engine
KR20220038017A (en) Systems and methods for automating clinical workflow decisions and generating priority read indicators
Carroll Artificial intelligence, nurses and the quadruple aim
JP4696657B2 (en) Health business support system
KR102366206B1 (en) Apparatus for estimating radiologic report turnaround time on clinical setting and method thereof
EP3826029A1 (en) Workflow predictive analytics engine
US20230134426A1 (en) Scaling and provisioning professional expertise
US10755803B2 (en) Electronic health record system context API
US20240020740A1 (en) Real-time radiology report completeness check and feedback generation for billing purposes based on multi-modality deep learning
US20240021320A1 (en) Worklist prioritization using non-patient data for urgency estimation
US20230395241A1 (en) Methods and systems for patient discharge management
CN114787938A (en) System and method for recommending medical examinations

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant