WO2021096054A1 - 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 - Google Patents

자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 Download PDF

Info

Publication number
WO2021096054A1
WO2021096054A1 PCT/KR2020/012907 KR2020012907W WO2021096054A1 WO 2021096054 A1 WO2021096054 A1 WO 2021096054A1 KR 2020012907 W KR2020012907 W KR 2020012907W WO 2021096054 A1 WO2021096054 A1 WO 2021096054A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
medical
model
size
disease model
Prior art date
Application number
PCT/KR2020/012907
Other languages
English (en)
French (fr)
Inventor
최병관
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200047990A external-priority patent/KR102500378B1/ko
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Publication of WO2021096054A1 publication Critical patent/WO2021096054A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present invention relates to an automatic medical picture generation system and a medical picture generation using the same.
  • the system clarifies what the patient's condition is like in a picture. Therefore, compared to the medical records previously checked only with text, the medical staff can check them in more detail and more accurately, and the patient can understand the disease more easily and deeply.
  • Medical pictures represent the patient's condition in place of text. Medical pictures are simpler than text medical records, but can convey the location of symptoms, shape and size of tumors, etc. more accurately than text records. In addition, by accurately conveying the size and shape of the disease to general patients who are not familiar with medical terms, it motivates treatment and enables them to better cooperate in treatment.
  • an element of an added medical picture can be automatically added. According to this added picture, it is possible to examine the trend of the treatment process, such as worsening and alleviating patient symptoms, and these results can be shared with each hospital.
  • the present invention was devised to solve the above problems. It is an object of the present invention to convert medical information of drawings, which have been previously expressed in text or inaccurately, into quantified and detailed images or drawings. Through this, it is possible to provide an automatic medical picture generation system that avoids the disadvantages of existing data and delivers detailed and accurate information.
  • An information extracting unit 100 for extracting information from at least one of the text data 130 and the medical image 110 created during treatment
  • a display unit 600 that visualizes the basic model 210 and the disease model 220 expressed by the shape generation unit 200, but selectively presents differently depending on the viewer; includes,
  • the basic model 210 The basic model 210,
  • It may be a model representing the whole body or a part of the body, and it may be a model such as organs, blood vessels, brain, etc.
  • the disease model 220 is the disease model 220.
  • It may be a model having a shape such as a tumor or a lump, or a model having a range such as an inflammation, burn, or metastasized part of the cancer.
  • It can be an organ, or a model that has a shape similar to an organ,
  • the disease model 220 is the disease model 220.
  • the disease is prepared to be expressed in a different way at least one of the location, size, shape, color, transparency, and texture.
  • the present invention can automatically generate a medical picture, thereby saving time for the medical staff to draw the picture.
  • the present invention can save time for medical staff, including doctors, to grasp the patient's condition.
  • the present invention enables the creation of detailed and accurate medical pictures.
  • the present invention enables the patient to have more understanding of the disease and to actively cooperate with the treatment.
  • the present invention can input structured data in a short time, thereby improving work efficiency of medical staff and helping to increase data accuracy.
  • the present invention can accurately represent data in numerical form than before.
  • the present invention facilitates information sharing among other medical institutions through the sharing of quantified and standardized medical pictures.
  • FIG. 1 is a block diagram showing the configuration of an automatic medical picture generation system 1 according to the present invention.
  • FIG. 2 is an embodiment showing the generation of a disease model 220 in a two-dimensional basic model 210 by receiving text data 130 from an electronic medical record (EMR, 2).
  • EMR electronic medical record
  • liver disease model 220 can be inserted into the whole body basic model 210 by the shape generating unit 200.
  • FIG. 4 is an embodiment showing a basic model 210 by generating various disease models 220 in two dimensions and three dimensions.
  • FIG. 5 shows that, when medical information according to the time and situation of the same disease is mentioned differently over several times during treatment, the reliability application unit 500 selects a weight for the importance or reliability of the disease model 220 It is an example
  • FIG. 6 is a medical image 110 after correcting the position of the disease model in the basic model 210 by measuring the distance between a certain part of the body and the location of the lesion in the medical image 110 by the position calculation unit 300. ) Is converted into a medical picture.
  • FIG. 7 is an embodiment in which different medical pictures are presented to a doctor and a patient in the display unit 600 of the same extracted medical information for a spine fracture.
  • FIG. 8 is an embodiment showing the location and size of a disease by applying an automatic medical picture generation system 1 of the present invention and an automatic medical picture generation method using the same through machine learning.
  • 9 is an embodiment in which a part of the medical image 110 is used as a disease model 220.
  • FIG. 10 illustrates an example in which the display unit 600 provides a medical picture by interlocking an electronic medical system screen to a doctor's terminal.
  • FIG. 11 shows a round pattern (a), a thin diagonal pattern (b), a thick diagonal pattern (c) and a dotted line pattern (d), a heart pattern (e), and a pattern using letters (f) during the generation of the disease model 220. ), a logo (g), and a pattern (h) using a logo.
  • FIG. 12 is a photograph showing an embodiment in which an image directly extracted from a medical image, an anatomical pathology finding, a photograph of a skin disease, etc. can be used as a texture of the disease model 220.
  • FIG. 13 is a block diagram showing the configuration of an automatic medical picture generation method according to the present invention.
  • 14 is an embodiment showing that medical information treated at each medical institution is combined into one.
  • 15 is an embodiment showing medical information stored in a disease model through a GUI interface.
  • the present inventors automatic medical picture generation system includes an information extraction unit 100, a shape generation unit 200, a position calculation unit 300, a size calculation unit 400, a reliability application unit 500, It is composed of a display unit 600.
  • the information extracting unit 100 transmits/receives and extracts information from at least one of the text data 130 and the medical image 110 created during treatment. As shown in FIG. 1, the information extracting unit 100 receives data from an electronic medical record (EMR) 2 and a medical institution server 3.
  • EMR electronic medical record
  • the medical image 110 may be an X-ray, MRI, CT, ultrasound and nuclear medicine image, a positron emission tomography (PET) image, which is a nuclear medicine test including a picture taken in a medical office.
  • PET positron emission tomography
  • the medical information source to be extracted may be a clinical document delivered to each medical staff via USB or e-mail, or electronic chart data stored in a hospital. These data may be structured and classified into fields or columns, but may be stored in a simple document form or may be stored as structured data in a database.
  • the information extracting unit 100 also serves to extract data necessary to create a medical picture from the data written several times.
  • the information extracting unit 100 can also be used for data received from other medical institutions, data stored in servers outside the hospital, data stored in insurance companies, data stored in personal smartphones or personal medical devices, data transmitted from various medical devices, etc. Data can be extracted.
  • the electronic medical record computerizes and stores at least one medical information among the patient's personal information, medical history, medical records, and hospitalization and discharge records, and responds to a request from a medical institution to which the patient has agreed to provide the information. Accordingly, it may refer to a system that provides patient medical information in the form of an electronic chart to a server of a corresponding medical institution.
  • the text data 130 includes medical terms used in various health records, ie, progress records, surgical records, and discharge summary sheets, in addition to the electronic medical records (EMR, 2). can do.
  • EMR electronic medical records
  • it is data extracted from medical data displayed in a number of letters or numbers, such as disease name or diagnosis name, symptom, blood test result, reading paper, operation name, nursing record, nursing treatment, consent form, EMG, ECG, etc. It refers to textual data included in the category of medical data.
  • the text data 130 is not limited to a diagnosis name, and may represent an anatomical part, a procedure name, and a measured blood pressure value. Or, data created by the activities of not only medical personnel, but also rehabilitation therapists, medical assistants, and patients, or various text data indicating the patient's condition such as "critical", “light”, “large”, and “small” may be included. have.
  • the text data 130 may be letters (alphabets) of countries around the world such as'fat liver','ankle pain', and'heart failure', or'K76.0' which is a number or a combination of letters and numbers. It may be standardized data such as', '61515','N05', and'M51.0' or a medical term code.
  • the standardized medical terminology code refers to data presented by SNOMED-CT, ICD-9, ICD-10, ICD-11, LOINC, CPT, ATC, RxNorm, ICNP, NMDS, etc. for medical concepts.
  • the test result such as a hemoglobin level of 10.3 gram/deciliter, may be data expressed as a number.
  • the character data 130 may be a free-speech character string whose data structure is not specified separately or is not standardized. In this case, only necessary values can be extracted and used from the character data 130.
  • the information extracting unit 100 is configured to collect information from data scattered in several hospitals or distributed in external servers.
  • the information extracting unit 100 selects a menu related to an event, that is, a medical history inquiry, a prescription (prescription) by a user on the EMR treatment screen of a patient, or hospitalization, surgery, examination, etc.
  • a menu related to an event that is, a medical history inquiry, a prescription (prescription) by a user on the EMR treatment screen of a patient, or hospitalization, surgery, examination, etc.
  • the information extracting unit 100 may search the patient's medical record in the electronic medical record (EMR, 2), and retrieve all diseases (diseases) previously occurring in the patient based on the requested time point.
  • EMR electronic medical record
  • the information extracting unit 100 may search not only the medical institution currently visited by the patient, but also all medical records (including examination records) of other medical institutions (including examination institutions) visited in the past.
  • the information extracting unit 100 excludes diseases of low severity such as cold, abdominal pain, and headache from the patient's medical record, and treats diseases of high severity such as thyroid disease, heart disease, and lung disease. You can select and identify.
  • the information extracting unit 100 may select and identify a specific disease (eg,'cerebral hemorrhage') from the patient's medical record, and diseases that are related to each other (eg,'diabetes' and'diabetic kidney Diseases', etc.) can be selected and identified, diseases that have occurred in a specific body part (eg,'lungs','brain') designated by the user as an area of interest, or'after the time of delivery to the emergency room and administration of drugs' As such, it is also possible to select and identify diseases that occurred at a specific time point.
  • a specific disease eg,'cerebral hemorrhage'
  • diseases that are related to each other eg,'diabetes' and'diabetic kidney Diseases', etc.
  • the information extracting unit 100 includes the time of occurrence of the disease, the time of cure, the site of occurrence, size and shape, medications and surgery, hospitalization, various test results, nursing records, etc. Data on the course of treatment can also be identified.
  • the information extracting unit 100 may search for a patient's medical record from the electronic medical record (EMR, 2) at an arbitrary point in time to identify past diseases that have occurred in this patient. have.
  • EMR electronic medical record
  • the information extraction unit 100 retrieves the patient's medical record from the electronic medical record (EMR, 2) when patient information is registered, when a patient's outpatient treatment is requested, or at a specified time every day. It is also possible to identify past diseases that have occurred in patients.
  • EMR electronic medical record
  • the information extracting unit 100 You can also search medical records and identify past illnesses that have occurred in this patient.
  • the medical image 110 may be an X-ray, MRI, CT, ultrasound, nuclear medicine, or PET (positron emission tomography), or a general camera photograph of the skin or face in order to check the patient's condition in a dermatology or plastic surgery clinic ( camera picture) or an image of a slide made for pathological biopsy.
  • the text data 130 and the medical image 110 become a basic source of a medical picture.
  • the text data 130 alone has limitations in expressing the exact location of the symptoms and the range of the lesion, and the user may need to know which medical image is the source of the corresponding medical picture. Therefore, the text data 130 and the medical image 110 used as sources are stored together with the medical picture created by the user, and can be viewed if the user desires.
  • the shape generation unit 200 converts the type and state of the medical data extracted from the information extraction unit 100 into a suitable symbol and a picture symbolizing a disease, and the basic model 210 and the disease model 220 Is created.
  • the basic model 210 and the disease model 220 may be 2D or 3D data and may form an organ or part of an organ.
  • the basic model 210 is a model showing part or all of the body. As shown in Figs. 2 and 3, the basic model 210 may be the whole body of the human body, or only a partial system of the human body such as the digestive system or the respiratory system, or only a certain area of the body such as the left leg or the head. It may be expressing.
  • the disease model 220 can be created by taking a boundary of a shape where a disease has occurred, such as'lung cancer', and the appearance design, size, location, shape, and color according to the characteristics of medical information and the patient's condition. , Transparency, brightness, and texture may be a model in which one or more of these are different.
  • the disease model 220 may be a model representing the type and state of a disease, or medical information. As shown in FIG. 4, not only the organs that can confirm the disease, but also the procedure or surgery site, the nursing observation site, the nursing intervention site, the rehabilitation treatment area, the biopsy area, the imaging test, the organs and the patient's symptoms. This indicates the location where the is located, the location where the medical staff is interested, etc.
  • the disease model 220 can be extracted from the shape generating unit 200 and can be directly added or drawn by a user to be imaged.
  • the disease model 220 is a place where a patient or a medical staff directly draws the corresponding information, so that a spot with a spot, an itchy spot, a place where the blood pressure was measured, an organ that has undergone surgery, a body part that has received various nursing care, a body part that has received rehabilitation treatment, and an injection. You can express the right spot, etc.
  • EMR electronic medical record
  • a medical staff or a patient may select any one of the disease models 220 stored in advance to express the disease state.
  • the disease model 220 is displayed as a two-dimensional or three-dimensional image, and is provided to adjust one or more of a position, size, shape, color, transparency, and texture.
  • the disease model 220 may be implemented as an image representing the whole, part, and cross-section of the human body (eg, an image of a human body cut through CT or MRI).
  • the disease model 220 may be configured by editing one or more medical images taken of a patient.
  • the image may be generated by varying one or more of the location, shape, size, color, brightness or transparency, and pattern.
  • the color of the disease model 220 is selected or combined with one or more colors of red, green, and blue to reduce muscle strength (muscle strength) can be expressed.
  • the maximum value of the red channel is 255 (maximum value of the red channel)
  • the value of eGFR estimated glomerular filtration rate
  • the G value can be displayed as 0. That is, the patient's condition can be indicated by changing one or more attributes of an image such as color, brightness, transparency, and pattern by a function that takes the result of a blood test as a factor. Color can be determined not only by blood tests, but by any function that takes medical data as a factor. For example, if a tumor in the lungs is malignant, it may be marked in red, if it is benign, it may be marked in green, a disease that has been treated may be marked in gray, and an injured disease under treatment may be marked in red.
  • the disease model 220 may be completed by adding a texture in addition to general image features such as color, brightness, and transparency. That is, the disease model 220 uses the texture to express the type of disease, acute degree, chronic degree, severity, malignancy, frequency, and whether or not treatment has ended.
  • stenosis can be expressed as a round pattern (a)
  • squamous cell carcinoma it can be expressed as a thin diagonal pattern (b)
  • hemangioma ) Can be expressed as a thick diagonal pattern (c)
  • muscle paralysis can be expressed as a dotted diagonal pattern (d).
  • the patterns presented here are just a few examples, and the texture is not limited thereto and may be expressed in various ways.
  • a heart shape can be used to express a human-drawn figure or heart disease, and a letter can be added to a part of the pattern (f), and ischemic heart disease can be expressed.
  • Specially designed disease-expressing logos (g), icons, alphabets, numbers, or a combination of these (h) can create textures for a wide variety of disease models.
  • an image extracted from the medical image 110 a photograph or image showing an anatomical pathology finding, a skin disease photograph, or the like, is provided to be directly converted into the texture. That is, all medical images may be applied to the disease model 220 as a model or texture.
  • the microscopic pathological tissue findings in Fig. 12(a) can be used as the texture, and as shown in Fig. 9, only the outline of the cerebral hemorrhage seen in the cerebral hemorrhage can be selected along the hematoma shape and used as the outline of the disease model. .
  • it may be a compilation of typical pathological findings from a pathology textbook, or a compilation of a photograph of the patient.
  • FIG. 9 is a diagram showing a case in which a part of a CT image is taken to create a texture in a disease model of a patient with cerebral hemorrhage. By doing so, more various clinical data can be imaged.
  • the basic model 210 and the disease model 220 may be formed in two or three dimensions, and the disease model 220 is expressed in one or more of the basic model 210 to express the condition of patients with various diseases. I can.
  • the medical picture generation system is capable of machine learning.
  • This machine learning system can predict medical pictures when one or more of text data or medical images are input.
  • it may be trained to predict one or more of the location, shape, size, color, pattern, transparency, and pattern of the disease model of the disease model 220 in the medical picture.
  • the shape generation unit 200 may generate a disease model 220 representing a liver with the basic model 210.
  • the shape generating unit 200 may generate a medical picture by combining the various disease models 220 at a specific position of the basic model 210. .
  • the function of the shape generating unit 200 may be performed by machine learning, and the disease model 220 may be trained to be made according to the shape of an actual lesion.
  • a round-shaped disease model in a round shape can be generated (A)
  • a star-shaped disease model can be generated (B).
  • the location calculation unit 300 calculates the location of the disease model 220 by measuring the distance between the location of the organ and the disease lesion in the medical image 110 and calculating the relative distance in the medical picture. .
  • the location of the basic model 210 can also be confirmed by indicating a left sign value in the medical image 110.
  • the location calculation unit 300 may measure a distance between a part of an organ in an X-ray image of a patient and a disease location.
  • the position of the disease model 220 may be calculated by converting it to a relative distance.
  • the apex of the heart is set as a reference point (0, 0), and after the coordinates of the disease model 220 are extracted, the coordinates of the disease location ( x, y) is extracted, and the horizontal value (x1) of the distance between the edge of the right lung and the distance and the vertical value (y1) of the distance from the left heart attachment are calculated.
  • the same reference point is also set in the basic model 210, and a relative horizontal value (x2) and a relative vertical value (y1) are measured. ) Is calculated and the location value of the disease model 220 is generated as (x', y').
  • the reference point may be variously selected depending on the structure, such as a lung apex or a costophrenic angle.
  • the relative length using the distance measured in the image can be calculated by various functions using the distance. For example, when obtaining the distance between two or more structures, the distance may differ depending on the case of the measurement. In this case, it is also possible to select the location of the disease model by taking the average of several measurements.
  • the size calculation unit 400 uses one or more of the length, size, and volume of the lesion where the disease occurs in the medical image 110 to determine the relative size of the disease model 220 in the basic model 210. Calculate the size. For example, the size calculation unit 400 may calculate the relative size of the disease model in the basic model 210 by measuring a ratio between the size of an organ and the size of a diseased lesion in the medical image 110. In addition, at this time, there may be two or more organs selected to compare the size of the lesion, and when the ratios measured in two or more selected organs are different, the size of the disease model 220 may be determined by adopting an average of the ratios. Meanwhile, the position calculation unit 300 and the size calculation unit 400 can be performed by a machine learning system, similar to the shape generation unit 200.
  • the medical picture After learning by performing labeling of the lesion area of the disease image in the medical image, the medical picture can be automatically generated by machine learning. Through this, at least one of the location, size, and color of the disease model is learned so that the size and location of the disease model can be predicted when image data are input.
  • the reliability application unit 500 sets the reliability of the disease model.
  • Reliability is one of the attribute values of the disease model shown in the medical picture, for example, the accuracy of the disease model as a value from 0 to 1.
  • the reasons for setting the reliability are as follows.
  • the disease model 220 drawn on the basic model 210 may be medical data such as text, images, or images input to the system, and may be automatically extracted from medical pictures drawn by the user. However, since the picture is extracted by machine learning, there is a possibility that the picture is different from the actual picture, and since there is a possibility that the information on the location or size of the disease model 220 may not be accurate, it is necessary to set the reliability.
  • the source (SOURCE) that is the basis of the disease model 220 extracted by machine learning is also stored.
  • the stored source may be a medical code, a disease name, an X-RAY picture, a CT image, a picture drawn by the user through EMR, etc., and is not limited thereto, but all the basis for drawing a disease model by a machine. It could be medical information.
  • the stored reliability information or source can be displayed when a user clicks a picture using a GUI interface or the like.
  • reliability can be applied to the disease model 220 through this process.
  • a disease occurs repeatedly in the same region in the same patient, a similar disease model 220 has been formed several times, so that reliability can be applied.
  • the disease model 220 input by each hospital may have a difference in size or shape, and the disease models 220 may be overlapped to apply a weight.
  • the location and size of abdominal pain may change over time even during hospitalization. At this time, the entire abdomen hurts, only the lower abdomen hurts, and later, the process of localizing to the area where the appendix is located may be seen.
  • the symptoms may be expressed by multiple disease models 220, or the disease model 220 may be put into one, but a weight of higher reliability may be placed in the region that overlaps the most.
  • the reliability application unit 500 places the disease model 220 on the basic model 210 according to the occurrence and treatment process of the disease. It can be expressed by changing it.
  • the reliability application unit 500 sets the reliability of the disease model 220 according to the clinical importance of each area when an overlapped area is formed on the disease model 220. It is desirable to be able to set the reliability so that one or more of the attribute values of the disease model, such as brightness, color, transparency, and texture, can be expressed according to the importance or reliability. For example, the importance of the lightest area is expressed as 30, and the importance of the darkest area is expressed as 70, so that information on the importance of each area is visually provided to the medical staff.
  • the reliability application unit 500 may apply the reliability according to the time point of occurrence of the disease. For example, the more recent findings may be of greater importance. Or, conversely, the first symptom, the more important the symptom. In this case, it is preferable to generate the brightness or saturation of the disease model 220 differently in stages according to the importance. As an example, as shown in FIG. 5, when the location and size of symptoms change in the order of (a) to (c) over time (when the occurrence of the disease is generated), the location of the lesions overlap. By setting the brightness or saturation of the disease model 220 to be darker in stages according to the degree of overlap, the medical personnel can confirm the position considered to be more clinically important.
  • the reliability application unit 500 may indicate a change in the time point at which the disease progresses on the basic model 210 through a color or a pattern, as shown in FIG. 5.
  • FIG 14 is an embodiment showing that medical information treated at each medical institution can be combined into a single medical picture. For example, let's say that one patient had a stroke and was treated at Hospital A. Through this treatment, the stroke disease model 221 created in Hospital A is stored in the medical institution server 3-1 of Hospital A. This can be checked on the patient's personal terminal and can be shared with medical staff at other hospitals.
  • this patient develops nephritis and is treated at hospital B.
  • the patient's stroke was partially treated, but if the aftereffects remain, the brain part of the stroke disease model 221 may be displayed in yellow, and nephritis is a state that continues to be treated, so the nephritis disease model 222 ) Can be displayed in red light.
  • the nephritis disease model 222 is stored in the medical institution server 3-2 of hospital B.
  • the nephritis disease model 222 extracted from hospital B may represent a process that changes according to the trend of symptoms.
  • the color of the disease model is determined by determining the rgb transparency value by adding an algorithm that determines the color to the value converted by a function that takes the level of creatinine in the blood, which indicates kidney function, as a factor.
  • this patient has hepatitis and visits C hospital, and C hospital also receives patient's medical records from previous hospitals A and B.
  • the patient receives treatment at C hospital, and in this process, a hepatitis disease model 223 is created, and the hepatitis disease model 223 is stored in the medical institution server 3-3 of C hospital or a personal terminal.
  • Hospital D confirms that the nephritis of the patient who was treated at Hospital B has been cured and updates the information.
  • the nephritis disease model 222 which was marked in red for "treating" in the medical picture of the full-body basic model 210 of the terminal, disappears.
  • the left leg fracture disease model 224 that needs continuous observation may be displayed in green or the like.
  • the disease model and additional information related thereto namely, the name of the disease such as stroke and hepatitis, the course of treatment, the drug being treated, the blood test related to the disease, the results of various function tests, etc., are stored and can be observed at once.
  • Medical models may be collected and displayed in one or more medical institutions or servers existing in a network. By doing this, each hospital that has shared this can update the details of the treatment that occurred at the hospital or the trend of previous symptoms, so that the treatment or worsening of the disease can be examined.
  • this method of collecting data from multiple hospitals can also be applied to the stage in which medical information is extracted before the medical picture is created. It is a method of generating pictures by extracting the information necessary to create medical pictures from one or more hospitals.
  • medical information may exist in the network or may be extracted from one or more servers to generate a picture.
  • such information may be extracted from one or more personal devices in which data owned by the patient is stored, and a medical picture may be created.
  • the display unit 600 visualizes the basic model 210 and the disease model 220 expressed through the reliability application unit 500, but may selectively present the model according to the viewer.
  • This has the advantage of being able to differentiate the expertise of the transmitted information according to the degree of understanding of medical information of the person viewing the basic model 210 and the disease model 220.
  • a specific and direct image may be presented to a professional medical practitioner, and a patient may be presented with a simple yet relatively easy-to-understand disease and symptoms.
  • a spine fracture model in the display unit 600 may be presented differently to a doctor and a patient, respectively.
  • a bone that provides more anatomical information to the doctor was selected as the basic model 210, and the location of the fracture was also specifically expressed in the vertebral segment, whereas for the patient, the human back view was selected as the basic model 210. It was selected and the location of the fracture was also briefly expressed against the background of the skin.
  • the display unit 600 is
  • the viewpoint of the medical picture implemented by the display unit 600 may be switched through manipulation of the GUI interface according to the occurrence time of the disease. For example, depending on the operation of the GUI, you can check the disease state 1 or 5 years ago, and you can find the point of occurrence of a specific disease by operation of the GUI.
  • the GUI control provides the user with a means to select the viewpoint of the medical picture.
  • the display unit 600 may be output in the form of at least one of GUI elements such as a window window, an icon, and a scroll bar, and may include a human body image and a GUI menu (for example, a “scroll bar”).
  • the display unit 600 may further include a clock, a calendar, a date, a graph, coordinates, a progress bar, a viewpoint display column, and the like to indicate the time point indicated by the GUI control or the flow of time.
  • the GUI control is a part for recognizing a user's operation on the patient status inquiry screen, and is configured to be operated by inputting one or more combinations of, for example, a mouse, gravity, vibration, touch sensor, microphone, and camera. I can. Additionally, the display unit 600 may inform the user by expressing the passage of time or time point indicated by the GUI control in the form of a graph on the screen using length, angle, volume, number, or text.
  • the GUI control may be implemented in the form of a scroll bar that switches the viewpoint of a medical picture, and in addition, various buttons (play button, back button, fast forward button, setting button, radio button), check It may be implemented as a box, a drop-down menu, a slider, a progress bar, a screen area that recognizes at least one of a touch, a click, and a cursor movement.
  • the display unit 600 displays a speech balloon in association with the disease occurrence location, and the disease name, occurrence time, severity, and It is also possible to visualize information about the current state in text form.
  • the GUI event is an input event generated by a user clicking a mouse on the patient status inquiry screen, mouse over, mouse wheel, mouse leaving, GUI focusing, keyboard input, finger touch, sound recognition, human body motion recognition, etc. I can.
  • the display unit 600 outputs a speech balloon in association with an area where a user touches or a mouse cursor is located in the human body image, and a disease occurring in the corresponding area through the speech balloon You can visualize detailed information about the text in the form of text.
  • the display unit 600 displays the EMR (2) treatment screen driven by the terminal of the doctor requesting the display unit 600. You can switch. As such, the display unit 600 may provide a function of switching the EMR (2) treatment screen through the displayed screen without providing a separate context menu.
  • the medical picture is printed on a part of the examination screen of the electronic medical record (EMR, 2) in the terminal of the doctor who treats the patient via the medical institution server 3 or the electronic medical record (EMR) , 2) It can be output by replacing the treatment screen.
  • EMR electronic medical record
  • the first step (S100) is an information extraction step, and extracts information from one or more of the text data 130 created during treatment and the medical image 110.
  • data is received from the electronic medical record (EMR, 2) and the medical institution server (3).
  • the medical image 110 is an image extracted from positron emission tomography (PET), which is a nuclear medicine test including an X-ray, MRI, CT, ultrasound and nuclear medicine image, and a picture taken in a medical office.
  • PET positron emission tomography
  • the text data 130 refers to text data representing a patient's condition.
  • the second step (S200) is a shape generation step, in which the information extracted in the information extraction step is shaped into symbols or images to express the type and state of the disease, and the basic model 210 and the disease model 220 Is created.
  • the basic model 210 and the disease model 220 are generated as a two-dimensional or three-dimensional image.
  • the basic model 210 may be a whole body, a part of a body, an organ, a blood vessel, etc., and the disease model 220 is provided to be selected by varying one or more of a location, size, shape, color, transparency, and texture. do.
  • the third step (S300) is a position calculation step, by measuring the distance between the organ and the disease position in the medical image 110 to calculate the position of the disease model 220 in the basic model 210.
  • the position calculation in the basic model 210 may be expressed or calculated as a two-dimensional or three-dimensional left sign value in the medical image 110.
  • the fourth step (S400) is a size calculation step, in which the relative size in the basic model 210 is calculated using at least one of the length, size, and volume of the diseased lesion in the medical image 110. .
  • the fifth step (S500) is a reliability application step, and when the same disease is mentioned in the medical record several times during treatment and the disease model 220 is formed multiple times, the weight according to the reliability or frequency of occurrence of each disease model Apply.
  • a weight is set according to the reliability of the disease model 220 and the number of times the models are overlapped.
  • the brightness or saturation of the disease model 220 is differently generated in stages according to the time when the disease occurs.
  • the color of the disease occurrence location in the basic model 210 is changed, or the user adjusts one or more of the size, shape, brightness, transparency, and texture of the disease model to prevent the occurrence and treatment of the disease. You can visualize the changes in the organs that follow.
  • a sequence number (number, number) is assigned to a plurality of diseases that have occurred in the patient from the past to the present time according to the occurrence time of the disease, and the assigned sequence number is the occurrence of disease in the basic model 210.
  • the sixth step (S600) is a display step, which visualizes the basic model 210 and the disease model 220 expressed through the shape generation step and the reliability application step, but may be selectively presented differently depending on the viewer. I can.
  • the point of view of the medical picture implemented in the display step is switched according to the point of occurrence of the disease by manipulation such as GUI control.
  • the size or direction of the disease model 220 implemented in the display step may be changed by manipulation of GUI control or the like according to the occurrence time of the disease.
  • the automatic medical picture generation system 1 of the present invention and an automatic medical picture generation method using the same can be implemented by applying to machine learning (hereinafter referred to as machine learning).
  • machine learning includes algorithms that can be classified by conventional machine learning, such as a support vector machine, a convolutional neural network, a generative adversarial neural network, and a generative model.
  • the machine learning system can perform learning and prediction using at least one of the text data 130 and the medical image 110 as input data, and configure a system for predicting a medical picture.
  • the machine learning system may learn a disease model and predict one or more of shape, brightness, transparency, location and texture, and size.
  • one or more of the basic model 210 and the disease model 220 may be generated through machine learning.
  • the machine learning-based automatic medical picture generation system 1 has the same configuration as the automatic medical picture generation system 1.
  • the disease model 220 is predicted in the basic model 210 So that it can be expressed.
  • the disease model 220 is characterized in predicting one or more of a disease location, size, shape, color, transparency, texture, and size according to the characteristics of medical information, so that machine learning can perform one or more roles. Can be made.
  • the present invention can automatically generate a medical picture, thereby saving time for a doctor to draw a picture.
  • the present invention enables the creation of detailed and accurate medical pictures.
  • the present invention enables the patient to have more understanding of the disease and can actively cooperate in treatment.
  • the present invention can input structured data in a short time, thereby improving work efficiency of medical staff and helping to increase data accuracy.
  • the present invention can be integrated into a medical picture by quantifying data in numerical form.
  • the user checks and corrects the automatically generated medical image to increase the reliability of the medical picture.
  • the present invention increases the reliability of medical pictures representing patient symptoms by expressing weights in the case of symptoms treated several times.
  • the present invention improves the reliability of patient symptoms by allowing such disease images to be corrected and supplemented in various hospitals.
  • the present invention facilitates communication between hospitals about a patient's disease by allowing hospitals or medical staff to share such disease images.
  • EMR Electronic Medical Record
  • the disease model 220 is selected by selecting the location of the disease model 220 in the most overlapped area, and automatically extracted by the machine. Reliability application step in which the user checks and corrects the reliability of) and imposes reliability

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 자동 의료그림 생성시스템 및 이를 이용한 자동 의료그림 생성 방법에 관한 것이다. 이 시스템을 통해 환자의 상태를 구체적인 그림으로 생성하여, 텍스트만으로 확인했던 기존의 진료 기록에 비해 정확하고 상세하게 의료진이 확인할 수 있으며 환자는 질병에 대하여 더 깊이 이해할 수 있다. 또한, 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다. 또한 여러 번 진료된 증상의 경우 가중치를 두어 표현하고, 기계가 추출해낸 질병모형을 사용자가 확인 및 수정하여 환자 증상의 신뢰도를 높인다. 이러한 이미지를 여러 병원을 거치며 수정, 보완할 수도 있게 하여 신뢰도를 더하며 이를 병원 혹은 의료진끼리 공유할 수 있게 하여 환자의 질병에 대해 보다 정확한 소통을 가능하게 한다. 본 발명에 따른 자동 의료그림 생성 시스템은 진료 중 작성된 문자 데이터(130)와 및 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100); 상기 정보추출부(100)에서 추출된 정보를 질병의 종류와 상태를 표현하도록 기호 및 이미지로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200); 진료 중 동일한 질병에 대해 여러 번 언급되어 상기 모양생성부(200)에 의해 상기 질병모형(220)이 여러 번 형성된 경우, 가장 많이 중첩된 영역에 높은 신뢰도의 가중치를 적용하고, 시스템이 추출한 질병모형(220)을 사용자가 확인 및 수정하여 신뢰도를 책정하는 신뢰도적용부(500); 상기 모양생성부(200)와 신뢰도적용부(500)를 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시할 수 있는 디스플레이부(600)를 포함한다.

Description

자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
본 발명은 자동 의료그림 생성시스템과, 이를 이용한 의료그림 생성에 관한 것이다. 이 시스템은 환자의 상태가 어떠한지를 그림으로 구체화한다. 따라서 이전에는 텍스트만으로 확인했던 진료 기록에 비해 정확하고 상세하게 의료진이 확인할 수 있으며 환자는 질병에 대하여 더 쉽고 깊게 이해할 수 있다.
의료 그림은 텍스트를 대신해서 환자의 상태를 표현하는 것이다. 의료 그림은 텍스트 진료 기록에 비해 간략하지만 증상의 위치, 종양의 모양과 크기 등을 텍스트 기록보다 정확하게 전달할 수 있다. 또한, 의학 용어가 익숙하지 않은 일반 환자에게 질병의 크기나 모양을 정확하게 전달하여 치료에 대한 동기를 부여하고 진료에 더 잘 협조 할 수 있도록 한다.
종래의 의료 그림은 사람이 직접 그려서 만들었다. 전자차트가 사용되기 전에는 수술이 끝나면 외과의가 수술에 대한 간단한 그림을 그려서 수술과정을 기록하기도 했었고, 혹은 전신이 그려진 간단한 그림 위에 증상의 위치를 표시하기도 했다. 의료그림은 의사가 의료 활동을 위해 메모를 남기던 수단이기도 했지만 환자에게 설명을 하기 위한 수단이기도 하였다. 이 의료 그림이 현대에는 전자 차트 시스템에 그려진 기본 인체 그림을 배경으로 의료진이 직접 마우스로 표시를 하고, 색깔을 입히는 형태로 발전하였다. 그러나 종이와 펜이 아닌 마우스로 모니터에 그림을 그리는 것은 많은 시간이 필요하며 의료진이 환자를 상담함과 동시에 한정된 시간에 그려내야 했다. 따라서 의료 그림은 자세한 정보를 표시하기 힘들었으며, 부정확한 의료 그림이 만들어질 가능성이 높았다.
뿐만 아니라 의료 그림은 동일한 의료 정보에 대하여 의료진, 혹은 신체부위에 따라 다양한 모양으로 그려질 가능성이 크다. 그렇기 때문에 질병의 종류나 신체 부위를 표현하는 방법에 대한 원칙을 정할 수 있다면 그림을 다른 의료기관에 보내거나 환자에게 증상을 설명할 때, 의료인이 전달하고자 하는 정보의 정확성과 재활용성을 높이는데 도움이 될 수 있다.
또한, 혈액 검사나 호르몬 수치와 같이 환자의 상태를 알려 주는 여러 가지 지표(parameter)들도 그 수치를 색깔이나 밝기, 투명도 등의 속성값을 통해 정확하게 표현할 수 있다면 환자에 대한 이해에 큰 도움이 될 수 있다.
또한, 환자가 병원을 옮겨 진료할 때마다 추가된 의료 그림의 요소가 자동으로 추가될 수 있다. 이처럼 추가된 그림에 따라 환자 증상의 악화, 완화와 같이 치료과정의 추이를 살펴볼 수 있으며 이러한 결과를 각 병원끼리 공유할 수 있기도 하다.
한편, 의료 빅데이터 구축을 위해서 각국의 정부는 여러 기술과 법적인 정비를 서두르고 있다. 빅데이터 플랫폼을 구축하여 병원과 건강보험의 연계, 혹은 병원 간의 연계를 통해 데이터를 모으려 하고 있으며 특히 대형 병원들은 병원에서 만들어지는 데이터를 표준화하기 위해서 노력을 기울이고 있다. 따라서 의료기관 간 표준화된 의료 그림 데이터의 교환이 가능해진다면 의료 빅데이터 구축에 큰 도움이 될 것이다.
본 발명은 상기의 문제점을 해결하기 위해서 안출된 것이다. 본 발명의 목적은 이전까지 문자로 표현되거나 부정확하게 표현되던 그림 의료 정보를 정량화되고 구체화된 이미지(image) 혹은 그림(drawing)으로 바꾸는 것이다. 이를 통해 기존의 데이터가 가지는 단점을 피하고, 상세하고도 정확한 정보를 전달하는 자동 의료그림 생성 시스템을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명이 속하는 기술 분야에서 전문 지식을 가진 자에게 명확하게 이해될 것이다.
본 발명에 따른 자동 의료그림 생성 시스템은,
진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100);
상기 정보추출부(100)에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200);
모양생성부(200);에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이부(600);를 포함하되,
상기 기본모형(210)은,
전신이나 신체의 일부분을 나타낸 모형일 수 있으며, 장기, 혈관, 뇌 등과 같은 모형일 수 있으며,
상기 질병모형(220)은,
종양, 혹 등과 같이 형태를 가지는 모형이 될 수도 있으며, 염증이나 화상, 암이 전이된 부위 등과 같이 범위를 가지는 모형이 될 수도 있으며,
장기, 혹은 장기와 닮은 형태를 가지는 모형이 될 수도 있으며,
의료정보의 특성에 따라 질병의 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 중 어느 하나 이상을 표현할 수 있도록 마련되고,
상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산부(300); 및
상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산부(400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 한다.
또한, 본 발명에 따른 자동 의료그림 생성 방법은,
진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출단계(S100);
상기 정보추출단계에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화하여 질병모형(220)을 생성하는 모양생성단계(S200);
상기 모양생성단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계(S600);를 포함하되,
상기 질병모형(220)은,
의료정보의 특성에 따라 질병을 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 어느 하나 이상을 달리하여 표현 할 수 있도록 마련되고,
상기 모양생성단계(S200)는,
상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계(S300); 및
상기 의료영상(110)에서 장기의 크기와 질병이 발생한 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산단계(S400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 한다.
상기 과제의 해결 수단에 의해, 본 발명은 자동으로 의료 그림을 생성할 수 있어 의료진이 그림을 그리는 시간을 절약할 수 있다.
또한, 본 발명은 의사를 포함한 의료진이 환자의 상태를 파악함에 있어서 시간을 절약할 수 있다.
또한, 본 발명은 상세하고 정확한 의료 그림의 생성이 가능해진다.
또한, 본 발명은 환자가 질병에 대한 이해도를 더 가질 수 있게 되며 치료에 적극적으로 협조할 수 있게 한다.
또한, 본 발명은 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다.
또한, 본 발명은 수치 형태로 된 데이터를 이전보다 정확하게 표현할 수 있다.
또한, 본 발명은 정량화 및 표준화된 의료그림의 공유를 통해 다른 의료기관끼리의 정보 공유를 원활하게 한다.
도 1은 본 발명인 자동 의료그림 생성 시스템(1)의 구성을 나타낸 구성도이다.
도 2는 전자의무기록(EMR,2)에서 문자 데이터(130)를 수신하여 2차원의 기본모형(210)에 질병모형(220)을 생성하는 것을 나타낸 일실시예이다.
도 3은 모양생성부(200)에서 전신 기본모형(210)에 간 질병모형(220)을 삽입할 수 있음을 보여주는 일실시예이다.
도 4는 기본모형(210)에 다양한 질병모형(220)을 2차원 및 3차원으로 생성하여 나타낸 일실시예이다.
도 5는 진료 중 동일한 질병의 시기 및 상황에 따른 의료정보가 여러 번에 걸쳐서 다르게 언급된 경우, 신뢰도적용부(500)에 의해 질병모형(220)의 중요도 혹은 신뢰도에 대한 가중치를 선정하는 것을 나타낸 일실시예이다
도 6은 위치계산부(300)에 의해 의료영상(110)에서 신체의 어떤 부위와 병변의 위치 사이의 거리를 측정하여 기본모형(210)에서의 질병모형의 위치를 수정한 뒤 의료영상(110)을 의료그림으로 변환한 실시례이다.
도 7은 동일하게 추출된 척추골절(Spine fracture) 의료 정보가 디스플레이부(600)에서 의사와 환자에게 각각 다른 의료그림이 제시된 일실시예이다
도 8은 머신 러닝을 통해 본 발명인 자동 의료그림 생성 시스템(1) 및 이를 이용한 자동 의료그림 생성 방법을 적용하여 질병의 위치와 크기를 나타낸 일실시예이다.
도 9는 의료영상(110)의 일부를 질병모형(220)으로 활용한 일실시예이다.
도 10은 디스플레이부(600)가 의사 단말에 전자의무기록 시스템(Electronic Medical System) 화면을 연동하여 의료 그림을 제공하는 일례를 도시한 것이다.
도 11은 질병모형(220)의 생성 중 둥근무늬(a), 얇은사선무늬(b), 굵은사선무늬(c) 및 점선사선무늬(d), 하트무늬(e), 문자를 이용한 무늬(f), 로고(g), 로고를 이용한 무늬(h)를 나타낸 일실시예이다.
도 12는 의료 영상에서 직접 추출한 이미지, 해부병리 소견 및 피부병 사진 등을 질병모형(220)의 텍스쳐로 사용할 수 있는 일실시예를 나타낸 사진이다.
도 13는 본 발명인 자동 의료그림 생성 방법의 구성을 나타낸 구성도이다.
도 14는 각 의료기관에서 진료된 의료 정보가 하나로 조합되는 것을 나타내는 일실시예이다.
도 15는 질병모형에 저장된 의료정보를 GUI인터페이스를 통해 나타내는 실시예이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 사용할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.
도 1에 나타난 바와 같이, 본 발명인 자동 의료그림 생성시스템은 정보추출부(100), 모양생성부(200), 위치계산부(300), 크기계산부(400), 신뢰도적용부(500), 디스플레이부(600)로 구성된다.
먼저, 상기 정보추출부(100)는 진료 중 작성된 문자 데이터(130) 및 의료영상(110) 중, 하나 이상에서 정보를 송수신하고 추출한다. 상기 정보추출부(100)는 도 1에 나타난 바와 같이, 전자의무기록(EMR, 2) 및 의료기관서버(3)로부터 자료를 수신 받는다.
상기 의료영상(110)은 엑스레이, MRI, CT 및 초음파 촬영 및 핵의학 영상, 진료실에서 찍는 사진을 포함하는 핵의학 검사인 PET(positron emission tomography) 이미지 등이 될 수 있다.
또한, 추출이 되는 의료정보 소스(source)는 각 의료진들에게 USB나 메일로 전달 받은 임상문서나, 병원에 저장된 전자차트자료일 수 있다. 이러한 자료들은 구조화가 되어 필드나 칼럼 형태로 구분이 되어 있을 수 있으나, 단순 문서형태로 저장될 수 있으며 데이터베이스에 구조화 된 자료로 저장이 되어 있을 수도 있다.
한편, 환자가 여러 번 외래를 방문하거나 입원을 할 경우에는 의료 정보도 여러 번 작성된다. 상기 정보추출부(100)는 이처럼 여러 번 작성된 자료에 대해서 의료 그림을 만드는데 필요한 데이터를 추출하는 역할을 하기도 한다. 또한 상기 정보추출부(100)는 다른 의료기관에서 받은 자료, 혹은 병원 외부 서버에 저장된 자료, 보험회사에 저장된 자료, 개인의 스마트 폰이나 개인 의료 기기에 저장된 자료, 각종 의료기기에서 전달 받은 자료 등에서도 데이터를 추출할 수 있다.
여기서, 상기 전자의무기록(EMR, 2)은 환자의 인적사항, 병력, 진료 기록 및 입원 및 퇴원 기록 중 적어도 하나의 의료 정보를 전산화하여 저장하고, 환자가 정보 제공에 동의한 의료기관으로부터의 요청에 따라 환자의 의료 정보를 전자 차트 형태로 해당 의료기관의 서버에 제공하는 시스템을 지칭할 수도 있다.
상기 문자 데이터(130)는, 도 2에 나타난 바와 같이, 상기 전자의무기록(EMR, 2)외에도 다양한 건강기록 문서(health record), 즉 경과기록지, 수술기록지, 퇴원요약지 등에서 쓰이는 의료용어를 포함할 수 있다. 이외에도 수많은 문자형 혹은 숫자형으로 표시된 의료데이터 중에서 추출 된 데이터로, 병명 또는 진단명, 증상, 혈액 검사결과, 판독지, 수술명, 간호기록, 간호처치, 동의서, 근전도, 심전도 등의 각종 검사 기록과 같이 의료데이터라는 범주에 포함되는 문자형의 데이터를 말한다.
상기 문자 데이터(130)는 비단 진단명에 국한되지 않으며, 해부학적 부위, 시술명, 측정된 혈압수치를 나타낼 수도 있다. 혹은 의료인 뿐 아니라 재활치료사나 의료보조인, 환자 등의 활동에 의해 작성되는 데이터이거나, “위중하다”, “가볍다”, “크다”, “작다” 등의 환자의 상태를 나타내는 다양한 문자형 자료가 포함될 수 있다. 일례로, 상기 문자 데이터(130)는 ‘지방간’, ‘ankle pain’, ‘heart failure’과 같은 세계 각국의 문자(알파벳) 또는 영문과 같은 문자이거나, 숫자 혹은 문자와 숫자의 조합인 ‘K76.0’, ‘61515’, ‘N05’, ‘M51.0’과 같은 표준화된 데이터 혹은 의료 용어 코드일 수 있다. 상기 표준화된 의료 용어 코드는 의료개념을 SNOMED-CT, ICD-9, ICD-10, ICD-11, LOINC, CPT, ATC, RxNorm, ICNP, NMDS 등에서 제시하는 데이터를 말한다. 또한, 혈색소 수치 10.3 gram/deciliter와 같은 검사결과로, 숫자로 표현되는 데이터일 수 있다.
또한, 상기 문자 데이터(130)는 데이터의 구조가 별도로 지정되지 않거나 정형화되어 있지 않은 자유 진술형의 문자열일 수 있다. 이 경우에는 문자 데이터(130)에서 필요한 값만을 추출 해서 사용할 수 있다. 상기 정보추출부(100)는 여러 병원에 흩어져 있거나 외부 서버에 분산된 데이터로부터도 정보를 모을 수 있도록 구성된다.
일례로, 상기 정보추출부(100)는 어떤 환자의 EMR 진료 화면에서 사용자에 의한 어떤 이벤트(event) 즉, 병력 조회, 처방(처방전 작성)에 관한 메뉴가 선택되거나, 입원이나 수술, 검사 등의 조치(order)가 입력되거나, 여러 명의 환자 리스트에서 한 환자를 선택함으로써 진료를 개시하는 경우에, 시스템에서 상기 의료그림이 요청된 것으로 인지할 수 있다.
상기 정보추출부(100)는 상기 전자의무기록(EMR, 2)에 환자의 진료 기록을 검색하여, 요청된 시점을 기준으로 이전에 환자에게 발생된 모든 질환(질병)을 불러올 수 있다.
이 때, 상기 정보추출부(100)는 환자가 현재 방문한 의료기관 뿐만 아니라, 과거 방문한 타 의료기관(검진기관 포함)에서의 진료 기록(검진 기록 포함)을 모두 검색할 수 있다.
또 하나의 일례로, 상기 정보추출부(100)는 환자의 진료 기록으로부터, 감기, 복통, 두통 등과 같이 중증도가 낮은 질환을 제외하고, 갑상선 질환, 심장 질환, 폐 질환 등과 같이 중증도가 높은 질환을 선별해서 식별할 수 있다.
또한, 상기 정보추출부(100)는 환자의 진료 기록으로부터, 특정 질환(예, '뇌출혈')을 선별해서 식별할 수도 있고, 서로 연관 관계가 있는 질환(예, '당뇨병'과 '당뇨병성 신장질환' 등)들을 선별해서 식별할 수도 있고, 사용자가 관심 영역으로 지정한 특정 신체 부위(예, '폐', ‘뇌“)에서 발생한 질환을 식별하거나, '응급실에 실려 와서 약제 투여한 시점 이후'와 같이 특정 시점에 발생된 질환을 선별해서 식별할 수도 있다.
또한, 상기 정보추출부(100)는 환자의 진료 기록으로부터 의료데이터 식별 시, 질환의 발생 시점, 완치 시점, 발생 부위, 크기와 형상, 투여 약품과 수술, 입원, 각종 검사결과, 간호 기록 등의 치료 과정에 관한 데이터 또한 식별할 수 있다.
예를 들어, 도 10을 참조하면, 상기 정보추출부(100)는 임의의 시점에 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하여 이 환자에게 발생된 과거 질환들을 식별할 수 있다.
또한, 상기 정보추출부(100)는 환자 정보가 등록 되었을 때나 환자의 외래 진료가 신청이 되었을 때, 또는 매일 지정된 시점에 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하여 이 환자에게 발생된 과거 질환들을 식별할 수도 있다.
또한, 상기 정보추출부(100)는 환자를 진료하는 의사의 단말에서 출력되는 상기 전자의무기록(EMR, 2) 화면에서 '처방' 메뉴가 선택되면 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하고 이 환자에게 발생된 과거 질환들을 식별할 수도 있다.
한편, 상기 의료영상(110)은 엑스레이, MRI, CT, 초음파, 핵의학, PET(positron emission tomography)일 수 있고 혹은 피부과, 성형외과에서 환자 상태를 확인하기 위해 피부나 얼굴을 찍은 일반 카메라 사진(camera picture) 혹은 병리조직검사를 하기 위해서 만든 슬라이드를 촬영한 이미지일 수 있다.
상기 문자 데이터(130)와 의료영상(110)은 의료그림의 기본적인 소스(source)가 된다. 그러나 상기 문자 데이터(130)만으로는 증상의 정확한 위치, 병변의 범위 등을 표현함에 있어 한계가 있으며 어떠한 의료영상이 해당 의료그림의 소스가 되었는지를 사용자가 알 필요가 있을 수 있다. 따라서 소스로 쓰인 문자 데이터(130)와 의료영상(110)은 사용자가 만들어낸 의료그림과 함께 저장되며 사용자가 원할 경우 조회가 가능하다.
다음으로, 상기 모양생성부(200)는 상기 정보추출부(100)에서 추출된 의료데이터의 종류와 상태를 적합한 기호 및 질병을 상징하는 그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성한다. 상기 기본모형(210)과 질병모형(220)은 2D 또는 3D 데이터이면서 장기 혹은 장기의 일부를 형상화 한 것일 수 있다.
상기 기본모형(210)은 신체의 일부 또는 전체를 나타낸 모형이다. 도 2 및 도 3에 나타난 바와 같이, 상기 기본모형(210)은 인체의 전신이거나, 소화기계 혹은 호흡기계와 같은 인체의 일부 시스템만을 나타낸 것일 수도 있고, 좌측 다리 혹은 머리 등과 같이 신체의 일정 영역만을 표현 하는 것일 수도 있다.
상기 질병모형(220)은 예를 들어 ‘폐암’과 같은 질병이 발생한 모양의 윤곽(boundary)을 가져와서 만들어낼 수 있고 의료정보의 특징과 환자 상태에 따라 외형디자인이나 크기, 위치, 모양, 색깔, 투명도, 밝기, 텍스처 중 하나 이상이 달라지는 모형 일 수 있다.
또한, 상기 질병모형(220)은 질병의 종류와 상태, 혹은 의료정보를 표현하는 모형일 수 있다. 도 4에 나타난 바와 같이, 질병을 확인할 수 있는 장기 뿐만 아니라 시술 또는 수술부위, 간호 관찰 부위, 간호 중재 부위, 재활 치료를 받은 부위, 조직 검사를 시행 받은 부위, 영상 검사를 받은 장기 및 환자의 증상이 있는 위치, 의료진이 관심이 있는 위치 등을 나타낸다.
또한, 상기 질병모형(220)은 상기 모양생성부(200)에서 추출 할 수 있을 뿐만 아니라, 사용자가 직접 추가하거나 그려서 이미지화 할 수 있다. 상기 질병모형(220)은 환자나 의료진이 해당 정보를 직접 그려서 반점이 있는 자리, 가려운 자리, 혈압을 잰 자리, 수술을 받은 장기, 각종 간호를 받은 신체부위, 재활치료를 받은 신체부위 및 주사를 맞은 자리 등을 표현할 수 있다. 예를 들어, 환자가 지방간이 있을 때 의료진이 상기 전자의무기록(EMR, 2)에 기록을 하지 않고 직접 기본모형(210)을 배경으로 지방간의 모습을 그릴 수 있다. 또는 의료진이나 환자가 사전에 저장되어 있는 질병모형(220) 중 어느 하나를 선택하여 질병상태를 표현할 수 있다.
상기 질병모형(220)은 2차원 또는 3차원 이미지로 나타나고, 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 하나 이상을 조절할 수 있도록 마련된다.
상기 질병모형(220)은 인체의 전체, 일부 및 단면(예를 들어, CT 또는 MRI로 촬영한 인체 절단면 이미지)을 나타내는 이미지로 구현될 수 있다. 또한, 도9에 나타난 바와 같이, 상기 질병모형(220)은 환자를 촬영한 하나 이상의 의료 영상을 편집해서 구성될 수도 있다.
상기 모양생성부(200)에서 상기 질병모형(220)을 생성할 때, 질병의 이름, 질병의 중증도, 빈도, 급성 및 만성 정도 및 악성유무, 각종 임상검사, 혈액 검사 수치, 치료의 종결 유무, 질병의 빈도 등 의료정보에 따라 상기 이미지의 위치, 모양, 크기, 색깔, 밝기 또는 투명도, 무늬 중 하나 이상을 달리하여 생성할 수 있다. 일실시예로, 환자의 전경골근(tibialis anterior)의 마비가 왔을 때, 상기 질병모형(220)의 색깔을 붉은색, 초록색, 푸른색 중 어느 하나 이상의 색을 선택 혹은 조합하여 근육의 근력(muscle strength)을 표현할 수 있다.
예를 들어, 해당 근육의 근력(muscle strength)이 정상의 20%이고 근육의 힘을 표현하는 색깔을 붉은 색이라고 한다면, 붉은색 채널의 최댓값이 255일 경우 255(붉은 채널의 최댓값) X 0.2(근력) = 51(디스플레이부에 나타나는 붉은색의 정도)로 표현할 수 있다. 한편, 신장의 기능을 표현할 경우에는 혈액 검사의 하나인 eGFR(estimated glomerular filtration rate)의 수치를 녹색의 값을 나타내는 G값을 연동하여 표현할 수 있다. eGFR이 100인 경우 255(초록 채널의 최댓값) X 1(eGFR) =255(디스플레이부에 나타나는 초록색의 정도), eGFR이 50인 경우 255(초록 채널의 최댓값) X 0.5(eGFR) =255/2(디스플레이부에 나타나는 초록색의 정도), eGFR이 0인 경우 G값을 0으로 표시되게 할 수 있다. 즉 어떤 혈액 검사의 결과 값을 인자로 하는 함수에 의해서 색깔, 밝기, 투명도, 무늬와 같은 이미지의 속성을 하나 이상 변동하여 표현함으로써 환자의 상태를 나타낼 수 있다. 단지 혈액 검사뿐만 아니라 의료데이터를 인자로 하는 모든 함수에 의해 색깔을 정할 수 있다. 예를 들면, 폐에 보이는 종양이 악성인 경우는 빨간색을, 양성인 경우는 초록색으로 표시할 수 있고, 치료가 끝난 질병은 회색으로, 치료중인 상병은 붉은 색으로 표시할 수도 있다.
또한, 상기 질병모형(220)은 색깔, 밝기, 투명도와 같은 일반적인 이미지의 특징 외에 텍스쳐(texture)를 추가하여 완성할 수 있다. 즉, 상기 질병모형(220)은 질병의 종류, 급성도, 만성도, 위중도, 악성도, 빈도, 치료의 종료 유무 등을 표현하기 위해 상기 텍스쳐를 이용하는 것이다. 예를 들어, 도 11에 제시된 무늬들을 사용하여 협착증(stenosis)에 대해서는 둥근무늬(a)로 표현할 수 있고, 상피암(squamous cell carcinoma)에 대해서는 얇은사선무늬(b)로 표현할 수 있고, 혈관종(hemangioma)에 대해서는 굵은사선무늬(c)로 표현할 수 있으며, 근육마비(paralysis)에 대해서는 점선사선무늬(d)로 표현할 수 있다. 여기서 제시한 무늬는 단지 몇 가지 예를 제시한 것으로, 상기 텍스쳐는 여기에 한정되지 않고 다양하게 표현 될 수 있다. 또한 사람이 그린 그림(figure)이나 심장질환을 표현하기 위해 하트모양(e)을 이용할 수 있고 무늬의 일부에 문자를 넣어서 표현(f)할 수도 있으며, 허혈성 심장실환(ischemic heart disease)을 표현하기 특별히 디자인 된 질병을 표현하는 로고(logo)(g)나 아이콘(icon), 알파벳, 숫자 혹은 이들을 조합(h)하여 매우 다양한 질병 모형의 텍스쳐를 만들 수 있다.
추가로, 상기 의료영상(110)에서 추출한 이미지, 또는 해부병리 소견을 나타낸 사진이나 이미지, 피부병 사진 등과 같이 촬영하거나 추출된 이미지를 상기 텍스쳐로 바로 변환할 수 있도록 마련된다. 즉, 모든 의료 영상을 상기 질병모형(220)에 모형이나 텍스쳐로 적용할 수 있다. 예를 들어, 도 12(a)에서 현미경 병리조직 소견을 상기 텍스쳐로 사용할 수 있으며, 도 9에서와 같이 뇌출혈에서 보이는 뇌출혈의 형태를 혈종 모양을 따라 윤곽선만을 선택해서 질병 모형의 윤곽선으로 활용할 수 있다. 혹은 병리학 교과서에서 나오는 전형적인 병리 소견을 편집한 것이거나 해당 환자를 촬영한 사진을 편집한 것일 수 있다. 도 12(b)는 환자의 피부 병변을 직접 촬영한 이미지로, 상기 이미지를 해당 부위에 상기 텍스쳐로 활용할 수 있다. 도 12(c)는 MRI에서 촬영된 이미지의 일부이다. 또한, 도 9는 뇌출혈이 있던 환자의 질병 모형에서 텍스쳐를 만들기 위해 CT 이미지의 일부를 가져오는 경우를 보여주는 그림으로 이렇게 함으로써 더 다양한 임상 데이터를 이미지화 할 수 있다.
상기 기본모형(210)과 질병모형(220)은 2차원 또는 3차원으로 형성될 수 있고 상기 질병모형(220)은 상기 기본모형(210)에 하나 이상 표현되어 여러 질병을 가진 환자의 상태를 표현할 수 있다.
또한 의료그림 생성 시스템은 기계 학습(Machine learning)이 가능하다. 이 머신 러닝 시스템은 문자 데이터나 의료 이미지중 하나 이상이 입력되면 의료그림을 예측 할 수 있다. 또한 상기 의료그림에서의 그 질병모형(220)의 위치나 모양(shape), 크기, 색깔, 무늬, 투명도, 질병 모형의 무늬 중 하나 이상을 예측하도록 훈련될 수 있다.
도 3에 나타난 바와 같이, 상기 모양생성부(200)는 상기 기본모형(210)에 간(Liver)을 나타낸 질병모형(220)을 결합하여 생성 할 수 있다. 또한 도 4에 나타난 바와 같이, 다양한 의료정보를 표현하기 위해 상기 모양생성부(200)에서는 상기 기본모형(210)의 특정 위치에서 다양한 상기 질병모형(220)을 결합하여 의료 그림을 생성 할 수 있다.
한편 상기 모양생성부(200)의 기능은 머신 러닝으로 수행될 수도 있고, 상기 질병모형(220)이 실제 병변의 모양을 따라서 만들어지도록 훈련될 수 있다. 도 8에서 나타난 바와 같이, 환자의 종양 모양이 둥근 모양인 경우는 둥근 모양의 둥근 모양의 질병 모형이(A), 별 모양인 경우는 별모양의 질병 모형을 생성하도록 할 수 있다(B).
다음으로, 상기 위치계산부(300)는 상기 의료영상(110)에서 장기와 질병 병변의 위치 사이의 거리를 측정하고 의료그림에서의 상대적인 거리를 계산하여 상기 질병모형(220)의 위치를 계산한다. 상기 기본모형(210)의 위치는 상기 의료영상(110)에서 좌푯값으로 나타내어 확인할 수도 있다
도 6에 나타난 바와 같이, 상기 위치계산부(300)는 환자의 X-ray 사진의 장기 일부분과 질병 위치 사이의 거리를 측정할 수 있다. 이를 상기 기본모형(210)에서는 상대적인 거리로 변환하여 상기 질병모형(220)의 위치를 계산할 수 있다. 상기 위치계산부(300)의 도 6의 의료영상(110)에서는 심장의 첨부(apex)가 기준점 (0,0)으로 설정되고 상기 질병모형(220)의 좌표를 추출한 뒤, 질병 위치의 좌표 (x, y)를 추출하고, 우측 폐의 가장자리와 거리와의 거리 가로값(x1)과 좌측 심장 첨부에서 거리 세로값(y1)을 계산한다. 다음으로, 상기 의료영상(110)의 크기와 상기 기본모형(210)의 상대적인 이미지 크기를 측정한 뒤 상기 기본모형(210)에서도 동일한 기준점을 설정하고 상대적인 가로값(x2)와 상대적인 세로값(y1)을 계산한 뒤 상기 질병모형(220)의 위치값을 (x’, y’)로 생성한다. 이때 기준점은 구조에 따라 폐 첨부(lung apex)나, 늑골횡격막각(costophrenic angle) 등으로 다양하게 선택이 될 수 있다. 이렇게 영상에서 측정된 거리를 이용한 상대적인 길이는 거리를 이용한 다양한 함수에 의해서 산출이 가능하다. 예를 들어 둘 이상의 구조물과의 거리를 구할 때, 그 거리가 측정을 실시할 경우에 따라 다를 수 있다. 이때에는 여러 측정치의 평균치를 채택해 질병모델의 위치를 선정할 수도 있다.
다음으로, 상기 크기계산부(400)는 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용하여 상기 기본모형(210)에서의 상기 질병모형(220)의 상대적인 크기를 계산한다. 예를 들면 상기 크기계산부(400)는 상기 의료영상(110)에서 어떤 장기의 크기와 질병 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 질병모형의 상대적인 크기를 계산할 수 있다. 또한 이때 병변의 크기를 비교하기 위해 선택되는 장기는 둘 이상일 수 있으며 두 개 이상 선택된 장기에서 측정된 비율이 다를 경우 비율들의 평균을 채택해서 상기 질병모형(220)의 크기를 결정할 수 있다. 한편, 상기 위치계산부(300)와 크기계산부(400)는 상기 모양생성부(200)와 마찬가지로 머신 러닝 시스템에 의해 수행이 가능하다.
의료 영상에서 질병이미지의 병변부위에 대한 영역의 라벨링(labeling)을 시행하여 학습을 진행한 다음, 머신 러닝에 의해 의료 그림이 자동 생성되도록 할 수 있다. 이를 통해 질병 모형의 위치, 크기, 색깔 중 하나 이상이 학습되어서 영상 자료가 입력되었을 때 질병모형의 크기와 위치가 예측 되도록 할 수 있다.
다음으로, 상기 신뢰도적용부(500)는 질병모형의 신뢰도를 설정한다. 신뢰도란 의료그림에 나타난 질병모형의 속성값 중 하나로, 예를 들면, 질병모형의 정확도를 0부터 1까지의 수치로 나타낸 값이다. 신뢰도의 설정이 필요한 이유는 다음과 같다.
상기 기본모형(210) 위에 그려지는 상기 질병모형(220)은 시스템에 입력된 문자나 이미지, 영상 등과 같은 의료 데이터가 될 수 있으며 사용자가 임의로 그린 의료 그림에서 자동으로 추출될 수도 있다. 그러나 머신 러닝으로 추출하는 그림이기 때문에 그림이 실제와 다를 가능성이 있으며, 상기 질병모형(220)의 위치나 크기에 대한 정보가 정확하지 않을 가능성이 있기 때문에 신뢰도 설정이 필요하다.
또한 머신 러닝으로 추출한 상기 질병모형(220)의 근거가 되는 소스(SOURCE)도 함께 저장된다. 이때 저장되는 소스는 의료코드, 병명, X-RAY사진, CT영상, EMR을 통해 사용자가 직접 그린 그림 등이 될 수 있을 것이며, 이에 국한 되는 것이 아니라 기계가 질병모형을 그려내기 위한 근거가 되는 모든 의료 정보가 될 수 있다.
이렇게 저장된 신뢰도 정보나 소스는 사용자가 GUI인터페이스 등을 이용해 그림을 클릭하면 나타날 수 있다.
또한 이 과정을 통해 상기 질병모형(220)에 신뢰도를 적용할 수 있다. 같은 환자에게 동일한 부위에 질병이 반복하여 발생하는 경우, 비슷한 질병모형(220)이 여러 번 형성되었으므로 신뢰도를 적용할 수 있는 것이다.
예를 들어 환자가 동일한 불편 증상으로 인해 여러 병원에서 진료를 받아 자료가 축적되는 경우, 각 병원에서의 데이터를 기준으로 다수의(multiple) 의료 모형이 만들어질 것이다. 이 경우 각 병원에서 입력하는 질병모형(220)은 크기나 모양에 차이가 있을 수 있으며, 상기 질병모형(220)들이 중첩 되어 가중치가 적용될 수 있다. 또 다른 예로 환자가 맹장염으로 내원을 했을 경우, 입원 중에도 복통의 위치와 크기는 시간에 따라 변할 수 있다. 이 때 복부 전체가 아프다가, 아랫배만 아프다가, 나중에는 맹장이 있는 부위로 초점화(localizing)하는 경과를 보일 수 있다. 이와 같이 환자가 동일한 상병에 대해서 여러 가지의 질병모형(220)을 필요로 하는 경우에는 시점에 따른 변화를 표시할 필요가 있다. 이때에는 상기 질병모형(220) 여러 개로 증상들을 각각 표현하거나, 상기 질병모형(220)을 하나로 두되 가장 많이 중첩된 영역에 더 높은 신뢰도의 가중치를 둘 수 있다. 또한, 과거의 상태보다는 최근의 상태가 더 중요하다고 판단되는 질병정보에 대해서는 상기 신뢰도적용부(500)에서 상기 기본모형(210) 위에 상기 질병모형(220)을 해당 질환의 발생과 치료 과정에 따라 변화시켜 표현할 수 있다.
상기 신뢰도적용부(500)에서는 질병모형(220) 위에 중첩된 영역이 생길 때 각 영역에 대한 임상적 중요도 등에 따라 상기 질병모형(220)의 신뢰도가 설정된다. 그 중요도나 신뢰도 등에 따라 질병모형의 속성값인 밝기, 색깔, 투명도, 텍스쳐 등 하나 이상이 표현될 수 있도록 신뢰도를 설정할 수 있는 것이 바람직하다. 예를 들어 가장 연한 영역의 중요도는 30, 가장 진한 영역의 중요도는 70 으로 표현되어 의료진에게 각 영역의 중요도에 대한 정보를 시각적으로 제공한다.
상기 신뢰도적용부(500)는 질병의 발생 시점에 따라 신뢰도를 적용할 수 있다. 예를 들면 최근에 발생한 소견일수록 중요성이 더 클 수 있다. 혹은 반대로 최초의 증상일수록 증상이 더 중요할 수 있다. 이런 경우는, 중요도에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 다르게 생성하는 것이 바람직하다. 일례로, 도 5에 나타난 바와 같이, 시간에 따라 (a)에서 (c)순으로 증상의 위치와 크기가 변화된 경우(질병의 발생이 생성된 경우), 병변의 위치가 중첩된다. 이렇게 중첩되는 정도에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 진하게 설정함으로써 임상적으로 더 중요하다고 여겨지는 위치를 의료인이 확인할 수 있다.
또한, 상기 신뢰도적용부(500)에서는 도5와 같이 색이나 무늬 등을 통해 상기 기본모형(210) 위에 질환이 진행되는 시점의 변화를 나타낼 수 있다.
아래에는 본 발명인 의료그림 시스템을 일실시예를 통해 보다 자세하게 설명하고자 한다.
도 14는 각 의료기관에서 진료한 의료 정보가 하나의 의료그림으로 조합될 수 있음을 나타내는 일실시예이다. 예를 들어 환자 한 명이 뇌졸중을 앓아 A병원에서 치료를 받은 경험이 있다고 하자. 이 치료를 통해 A병원에서 만들어진 뇌졸중 질병모형(221)이 A병원의 의료기관서버(3-1)에 저장된다. 이는 환자의 개인단말기에서 확인할 수 있으며, 다른 병원의 의료진들과도 공유가 가능하다.
시간이 지나 이 환자는 신장염이 발생하여 B병원에서 치료를 받는다. 이 때 A병원에서 치료받았던 기록을 B병원에서 받아볼 수 있다. 기존 A병원에서 환자의 뇌졸중은 일부 치료되었지만, 후유증이 남은 상태라면 상기 뇌졸중 질병모형(221)의 뇌 부분이 노란색 등으로 표시될 수 있으며, 신장염은 치료를 계속 받고 있는 상태이므로 신장염 질병모형(222)이 빨간색 등으로 표시할 수 있다. 상기 신장염 질병모형(222)은 B병원의 의료기관서버(3-2)에 저장된다.
B병원에서 추출된 신장염 질병모형(222)은 증상의 추이에 따라 변화하는 과정을 나타낼 수 있다. 이 때, 혈액검사결과를 연동하여 색깔의 특성을 조정할 수도 있다. 예를 들면 신장 기능을 나타내는 혈중 크레아티닌(creatinnine) 수치를 인자로 하는 함수에 의해서 변환된 값에 색깔을 정하는 알고리즘을 추가하여 rgb 투명도 값을 결정함으로써 질병모형의 색깔을 결정하는 것이다.
다시 이 환자는 간염이 발생하여 C병원에 방문하게 되고, C병원 역시 이전의 A, B병원에서 환자의 진료 기록들을 전송받는다. 환자는 C병원에서 진료를 받으며 이 과정에서 간염 질병모형(223)이 만들어지고 상기 간염 질병모형(223)이 C병원의 의료기관서버(3-3), 혹은 개인 단말기에 저장된다.
이후, 환자는 좌측 다리의 골절 치료를 위해 D병원에서 입원 치료를 받은 뒤 퇴원하게 된다. D병원에서는 B병원에서 치료받던 환자의 신장염이 완치되었음을 확인하고 정보를 업데이트한다. 이로써 단말기의 전신 기본모형(210) 의료그림에서 ‘치료 중’이라는 뜻으로 빨갛게 표시되어있던 상기 신장염 질병모형(222)은 사라진다. 한편, 이제 지속적인 관찰이 필요할 좌측 다리 골절 질병모형(224)은 초록색 등으로 표시될 수 있다.
상기 실시예와 마찬 가지로 질병모형과 이와 관련된 추가적인 정보 즉, 뇌졸중, 간염 등과 같은 질병의 이름, 치료 경과, 치료 중인 약물, 해당 질병과 관련된 혈액검사, 각종 기능 검사 결과 등이 저장되어 한꺼번에 관찰할 수 있는데, 의료 모형들은 하나 이상의 의료 기관, 혹은 네트워크에 존재하는 서버에서 수집되어 디스플레이 될 수 있다. 이렇게 함으로써 이를 공유 받은 각 병원에서는 해당 병원에서 일어난 치료에 관한 사항이나 전에 있던 증상들의 추이 등을 업데이트하여 질병의 치료나 악화 등을 살펴볼 수 있다.
또한, 이렇게 여러 병원에서 데이터를 수집하는 방법은 진료그림이 만들어지기 전에 의료정보가 추출되는 단계에서도 적용될 수 있는데, 의료 그림을 생성하는데 필요한 정보를 하나 이상의 병원에서 추출해서 그림을 생성하는 방법이다. 또한 이러한 의료정보는 네트워크에 존재하는 되거나 하나 이상의 서버에서 추출되어 그림이 생성될 수 있다. 혹은 이러한 정보는 환자가 소유하고 있는 데이터가 저장된 하나 이상의 개인 기기에서도 추출되어 의료그림이 생성될 수 있다.
다음으로, 상기 디스플레이부(600)에서는 상기 신뢰도적용부(500)까지 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 모형을 제시 할 수 있다. 이는 상기 기본모형(210)과 질병모형(220)을 보는 사람의 의료정보 이해도에 따라서 전달되는 정보의 전문성을 다르게 할 수 있는 장점이 있다. 예를 들어 전문적인 의료인에게는 구체적이고도 직접적인 이미지가 제시될 수 있고, 환자에게는 간단하면서도 비교적 자신의 질환 및 증상이 알기 쉽게 제시될 수 있다. 예를 들어 도 7에 나타난 바와 같이, 상기 디스플레이부(600)에서 척추골절(Spine fracture)모형이 의사와 환자에게 각각 달리 제시될 수 있다. 즉, 의사에게는 해부학적인 정보를 더 제공하는 뼈가 기본모형(210)으로 선택되었고 골절의 위치도 척추의 분절(vertebral segment)에 구체적으로 표현된 반면 환자에게는 사람의 뒷모습이 기본모형(210)이 선택되었고 골절의 위치도 피부를 배경으로 간략하게만 표현되었다.
상기 디스플레이부(600)는
또한, 질병의 발생 시점에 따라 GUI 인터페이스의 조작을 통해 상기 디스플레이부(600)에서 구현하는 상기 의료그림의 시점을 전환 할 수 있다. 예를 들면 GUI의 조작에 따라 1년 전 혹은 5년 전의 질병상태를 확인할 수 있고 특정 질환의 발생 시점을 GUI의 조작에 의해 찾을 수도 있다. 여기서 GUI 컨트롤은 의료 그림의 시점을 선택할 수 있는 수단을 사용자에게 제공한다.
상기 디스플레이부(600)는 윈도우창, 아이콘, 스크롤바 등의 GUI요소 중 적어도 하나의 형태로 출력될 수 있고, 인체 이미지 및 GUI 메뉴(일례로 ‘스크롤 바’) 등을 포함하여 구성될 수 있다. 또한, 상기 디스플레이부(600)는 상기 GUI 컨트롤이 지시하는 시점이나 시간의 흐름을 나타내기 위한 시계, 달력, 날짜, 그래프, 좌표, 프로그레스 바, 시점 표시란 등을 더 포함할 수 있다.
여기서, 상기 GUI 컨트롤은 환자 상태 조회 화면에 대한 사용자의 조작을 인식하기 위한 부분으로서, 예를 들어 마우스, 중력, 진동, 터치 센서, 마이크, 카메라 중의 하나 이상의 조합을 입력시켜서 조작할 수 있게 구성될 수 있다. 추가적으로 상기 디스플레이부(600)는 상기 GUI 컨트롤이 지시하는 시간의 흐름이나 시점을 화면 내에 그래프의 형태로 길이, 각도, 부피, 숫자 혹은 텍스트를 이용해 표현하여 사용자에게 알려 줄 수 있다.
예를 들어, 상기 GUI 컨트롤은 의료그림의 시점을 전환하는 기능의 스크롤 바 형태로 구현될 수 있으며, 이 밖에도 각종 버튼(플레이 버튼, 뒤로 가기 버튼, 빨리 가기 버튼, 세팅 버튼, 라디오 버튼), 체크박스, 드롭다운 메뉴, 슬라이더, 프로그레스 바, 터치, 클릭 및 커서의 움직임 중 적어도 하나를 인식하는 화면 영역 등으로 구현될 수 있다.
또한, 상기 디스플레이부(600)는 상기 기본모형(210) 내 질환 발생 위치에서 GUI 인터페이스가 실행되었을 경우, 상기 질환 발생 위치와 연관시켜 말풍선을 표시하고, 말풍선을 통해 질환명, 발생시점, 중증도, 현재 상태 등에 관한 정보를 텍스트 형태로 시각화 할 수도 있다. 여기서 상기 GUI 이벤트는 사용자가 상기 환자 상태 조회 화면을 마우스 클릭, 마우스 오버, 마우스 휠, 마우스 떠남(leave), GUI 포커싱, 키보드 입력, 손가락 터치, 소리 인식, 인체 동작 인식 등에 의해 발생되는 입력 이벤트일 수 있다.
예를 들어, 상기 디스플레이부(600)는, 도 15에 나타난 바와 같이, 상기 인체 이미지에서 사용자가 터치하거나 마우스 커서가 위치하는 영역과 연관시켜 말풍선을 출력하고, 말풍선을 통해 해당 영역에서 발생된 질환에 관한 상세 정보를 텍스트 형태로 시각화 할 수 있다.
일례로, 상기 디스플레이부(600)는 인체 이미지 상에서 마우스 포커싱, 클릭, 터치 등과 같은 GUI 인터페이스의 실행이 발생할 경우, 상기 디스플레이부(600)를 요청한 의사의 단말에서 구동하는 EMR(2) 진료 화면을 전환할 수 있다. 이처럼, 상기 디스플레이부(600)는 별도의 컨텍스트 메뉴를 제공하지 않아도 표시되는 화면을 통해 EMR(2) 진료 화면을 전환하는 기능을 제공할 수 있다.
도 1에 나타난 바와 같이, 의료그림은 상기 의료기관서버(3)를 경유하여 해당 환자를 진료하는 의사의 단말 내 전자의무기록(EMR, 2) 진료 화면의 일부에 출력되도록 하거나 상기 전자의무기록(EMR, 2) 진료 화면을 대체하여 출력되도록 할 수 있다.
아래는, 도 13에 나타난 바와 같이, 본 발명인 자동 의료그림 생성시스템을 이용하여 자동 의료그림을 생성하는 방법을 설명하고자 한다.
먼저, 제1단계(S100)는 정보추출단계로 진료 중 작성된 문자 데이터(130), 및 의료영상(110) 중 하나 이상에서 정보를 추출한다. 상기 정보추출단계는, 도 13에 나타난 바와 같이, 전자의무기록(EMR, 2) 및 의료기관서버(3)로부터 자료를 수신 받는다.
상기 의료영상(110)은 엑스레이, MRI, CT 및 초음파 촬영 및 핵의학 영상, 진료실에서 찍는 사진을 포함하는 핵의학 검사인 PET(positron emission tomography) 등에서 추출된 이미지이다. 또한, 상기 문자 데이터(130)는 환자 상태를 나타내는 문자형 데이터를 말한다.
다음으로, 제2단계(S200)는 모양생성단계로 여기서는 상기 정보추출단계에서 추출된 정보가 질병의 종류와 상태를 표현하도록 기호나 이미지로 형상화하여 상기 기본모형(210)과 질병모형(220)을 생성한다. 상기 기본모형(210)과 질병모형(220)은 2차원 또는 3차원 이미지로 생성된다. 상기 기본모형(210)은 전신, 신체의 일부, 장기, 혈관 등이 될 수 있으며, 상기 질병모형(220)은 위치, 크기, 모양, 색깔 및 투명도, 텍스처 중 하나 이상을 달리하여 선택할 수 있도록 마련된다.
다음으로, 제3단계(S300)는 위치계산단계로 상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 질병모형(220)의 위치를 계산한다. 상기 기본모형(210)에서의 위치 계산은 상기 의료영상(110)에서 2차원 혹은 3차원의 좌푯값으로 표현되거나 계산 될 수 있다.
다음으로, 제4단계(S400)는 크기계산단계로 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 상대적인 크기를 계산한다.
다음으로, 제5단계(S500)는 신뢰도적용단계로 진료 중 동일한 질병이 여러 번 의료 기록에 언급되어 상기 질병모형(220)이 여러 번 형성된 경우, 각 질병모형의 신뢰도나 발생의 빈번함에 따라 가중치를 적용한다. 상기 신뢰도적용단계에서는 상기 질병모형(220)의 신뢰도와, 모형들이 중첩된 횟수에 따라 가중치가 설정된다. 상기 신뢰도적용단계는 질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성한다.
또한, 상기 신뢰도적용단계는 상기 기본모형(210) 내 질환 발생 위치의 색상을 변경하거나 질병모형의 크기, 모양, 밝기, 투명도, 텍스쳐 중 하나 이상을 사용자가 조절하여, 질환의 발생 및 치료 과정에 따른 장기의 변화 양상을 시각화할 수 있다.
또한, 상기 신뢰도적용단계는 과거부터 현시점까지 환자에게 발생된 복수의 질환에 대해, 질환의 발생 시점에 따라 순번(번호, 숫자)을 부여하고, 부여한 순번을 상기 기본모형(210) 내 질환의 발생 위치에 상기 발생 시점에 따라 순차적으로 시각화 하여, 각 질환의 발생과 발생 위치 및 발생 순서를 안내할 수 있다.
다음으로, 제6단계(S600)는 디스플레이단계로 상기 모양생성단계와 신뢰도적용단계를 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시할 수 있다. 질병의 발생 시점에 따라 GUI 컨트롤 등의 조작에 의해 상기 디스플레이단계에서 구현하는 상기 의료그림의 시점이 전환된다. 질병의 발생 시점에 따라 GUI 컨트롤 등의 조작에 의해, 상기 디스플레이단계에서 구현하는 상기 질병모형(220)의 크기 또는 방향이 전환 될 수 있다.
또한, 본 발명인 자동 의료그림 생성 시스템(1) 및 이를 이용한 자동 의료그림 생성 방법은 기계학습(machine learning-이하 머신 러닝)에 적용하여 실행될 수 있다. 이는 서포트 벡터 머신(Support vector machine), 합성곱 신경망(convolutional neural network), generative adversarial neural network, generative model 등 통상 머신 러닝으로 분류할 수 있는 알고리즘을 포함한다. 머신 러닝 시스템은 문자 데이터(130)와 의료영상(110) 중 하나 이상을 입력 데이터로 학습을 수행하고 예측을 할 수 있으며 의료그림을 예측하는 시스템을 구성할 수 있다. 상기 머신 러닝 시스템은 질병 모형을 학습하여 모양, 밝기, 투명도, 위치 및 텍스쳐, 크기중 하나 이상을 예측할 수 있다.
일례로, 도 8에 나타난 바와 같이, 머신 러닝을 통해 상기 기본모형(210) 및 질병모형(220) 중 하나 이상을 생성할 수 있다.
또한, 본 발명인 머신 러닝 기반의 자동 의료그림 생성 시스템(1)은 자동 의료그림 생성 시스템(1)과 동일한 구성이다. 진료 중 작성된 상기 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 상기 정보추출부(100)에 데이터가 입력되면 상기 기본모형(210)에 상기 질병모형(220)을 예측하여 표현 할 수 있도록 한다.
상기 질병모형(220)은 질병을 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 및 크기 중 어느 하나 이상을 의료정보의 특성에 따라 예측하는 것을 특징으로 하여 머신러닝이 하나 이상의 역할을 수행할 수 있도록 만들어질 수 있다.
상기 과제의 해결 수단에 의해, 본 발명은 자동으로 의료 그림을 생성할 수 있어 의사가 그림을 그리는 시간을 절약할 수 있다.
또한, 본 발명은 의사를 포함한 의료진이 텍스트로 된 진료 기록보다 환자의 상태 파악에 소요되는 시간을 절약할 수 있다.
또한, 본 발명은 상세하고 정확한 의료 그림의 생성이 가능해진다.
또한, 본 발명은 환자가 질병에 대한 이해도를 더 가질 수 있게 되고 치료에 적극적으로 협조할 수 있다.
또한, 본 발명은 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다.
또한, 본 발명은 수치 형태로 된 데이터를 정량화하여 의료그림에 통합적으로 표현할 수 있다.
또한, 본 발명은 자동생성된 의료이미지를 사용자가 확인하고 수정하여 의료그림의 신뢰도를 높인다.
또한, 본 발명은 여러 번 진료된 증상의 경우 가중치를 표현하여 환자 증상을 나타내는 의료그림의 신뢰도를 높인다.
또한, 본 발명은 이러한 질병 이미지를 여러 병원에서 수정, 보완할 수 있게 하여 환자 증상의 신뢰도를 높인다.
또한, 본 발명은 이러한 질병 이미지를 병원 혹은 의료진끼리 공유할 수 있게 하여 환자의 질병에 대한 병원 간의 의사소통을 원활하게 한다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 기술한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
[부호의 설명]
1. 자동 의료그림 생성 시스템
100. 정보추출부
110. 의료영상
130. 문자 데이터
200. 모양생성부
210. 기본모형
220. 질병모형
300. 위치계산부
400. 크기계산부
500. 신뢰도적용부
600. 디스플레이부
2. 전자의무기록(EMR)
3. 의료기관서버
S100. 진료 중 작성된 문자 데이터(130) 및 의료영상(110)에서 정보를 추출하는 정보추출단계
S200. 상기 정보추출단계에서 추출된 정보를 질병의 종류와 상태를 표현하도록 기호 및 이미지로 형상화하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성단계
S300. 상기 의료영상(110)에서 장기와 질병 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계
S400. 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 측정해서 상기 기본모형(210)에서의 상대적인 크기를 계산하는 크기계산단계
S500. 진료 중 동일한 질병에 대해 여러 번 언급되어 상기 질병모형(220)이 여러 번 형성된 경우, 가장 많이 중첩된 영역에 상기 질병모형(220)의 위치를 선정하고, 기계가 자동으로 추출해낸 질병모형(220)의 신뢰도를 사용자가 확인하고 수정하여 신뢰도를 부과하는 신뢰도적용단계
S600. 상기 신뢰도적용단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계

Claims (19)

  1. 진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100);
    상기 정보추출부(100)에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200);
    모양생성부(200);에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이부(600);를 포함하되,
    상기 기본모형(210)은,
    전신이나 신체의 일부분을 나타낸 모형일 수 있으며, 장기, 혈관, 뇌 등과 같은 모형일 수 있으며,
    상기 질병모형(220)은,
    종양, 혹 등과 같이 형태를 가지는 모형이 될 수도 있으며, 염증이나 화상, 암이 전이된 부위 등과 같이 범위를 가지는 모형이 될 수도 있으며,
    장기, 혹은 장기와 닮은 형태를 가지는 모형이 될 수도 있으며,
    의료정보의 특성에 따라 질병의 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 중 어느 하나 이상을 표현할 수 있도록 마련되고,
    상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산부(300); 및
    상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산부(400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  2. 제 1항에 있어서,
    진료 중 동일한 질병에 대해 여러 번 언급되어 상기 질병모형(220)이 여러 번 형성된 경우 가중치를 적용하는 신뢰도적용부(500);를 더 포함하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  3. 제 2항에 있어서,
    상기 신뢰도적용부(500)는,
    상기 질병모형(220)에 대해 질병의 중요도 혹은 신뢰도에 대한 가중치가 설정된 것을 특징으로 하는 자동 의료그림 생성시스템.
  4. 제 1항에 있어서,
    상기 위치계산부(300)에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 장기와 질병의 위치 사이의 거리의 비율을 측정하여 질병모형(220)의 위치를 계산하는 자동 의료그림 생성시스템.
  5. 제 1항에 있어서,
    상기 질병모형(220)은
    의료정보의 특징과 환자 상태에 따라 외형디자인이나 크기, 위치, 모양, 색깔, 투명도, 밝기, 텍스쳐 중 하나 이상이 달라지는 의료그림 생성시스템.
  6. 제 1항에 있어서,
    상기 질병모형(220)의 텍스쳐는
    실제 환자의 의료영상(110)의 일부를 그대로 혹은 편집해서 사용하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  7. 제 1항에 있어서,
    상기 위치계산부(300)에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 좌푯값으로 나타내는 것을 특징으로 하는 자동 의료그림 생성시스템.
  8. 제 1항에 있어서,
    상기 크기계산부(400)에서 상기 질병모형(220)은,
    상기 의료영상(110)에서 어떤 장기와 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상의 비율을 측정해서 상기 기본 모형(210)에서의 상대적인 크기를 계산하는 크기계산부(400)를 특징으로 하는 자동 의료그림 생성시스템.
  9. 제 2항에 있어서,
    상기 신뢰도적용부(500)는,
    질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  10. 제 1항에 있어서,
    질병의 발생 시점에 따라 GUI 컨트롤의 조작에 의해,
    상기 디스플레이부(600)에서 구현하는 상기 질병모형(220)의 크기 또는 방향이 전환되는 것을 특징으로 하는 자동 의료그림 생성시스템.
  11. 진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출단계;
    상기 정보추출단계에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성단계;
    상기 모양생성단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계;를 포함하되,
    상기 질병모형(220)은,
    의료정보의 특성에 따라 질병을 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 어느 하나 이상을 달리하여 표현 할 수 있도록 마련되고,
    상기 모양생성단계는,
    상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계; 및
    상기 의료영상(110)에서 장기의 크기와 질병이 발생한 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산단계;에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  12. 제 11항에 있어서,
    진료 중 동일한 질병에 대해 여러 번 언급되어 상기 모형조합단계에 의해 상기 질병모형(220)이 여러 번 형성된 경우 가중치를 적용하는 신뢰도적용단계;를 더 포함하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  13. 제 12항에 있어서,
    상기 신뢰도적용단계는,
    상기 질병모형(220)에 대해 질병의 중요도 혹은 신뢰도에 대한 가중치가 설정된 것을 특징으로 하는 자동 의료그림 생성 방법.
  14. 제 11항에 있어서,
    상기 위치계산단계에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 장기와 질병의 위치 사이의 거리의 비율을 측정하여 질병모형(220)의 위치를 계산하는 자동 의료그림 생성시스템.
  15. 제 11항에 있어서,
    상기 질병모형(220)의 텍스쳐는
    실제 환자의 의료영상(110)의 일부를 그대로 혹은 편집해서 사용하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  16. 제 11항에 있어서,
    상기 위치계산단계에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 좌푯값으로 나타내는 것을 특징으로 하는 자동 의료그림 생성시스템.
  17. 제 11항에 있어서,
    상기 크기계산단계에서 상기 질병모형(220)은,
    상기 의료영상(110)에서 어떤 장기와 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상의 비율을 측정해서 상기 기본 모형(210)에서의 상대적인 크기를 계산하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  18. 제 12항에 있어서,
    상기 신뢰도적용단계는,
    질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  19. 제 12항에 있어서,
    질병의 발생 시점에 따라 GUI 컨트롤의 조작에 의해,
    상기 디스플레이단계에서 구현하는 상기 의료그림의 시점을 전환하는 것을 특징으로 하는 자동 의료그림 생성 방법.
PCT/KR2020/012907 2019-11-13 2020-09-23 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 WO2021096054A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190144777 2019-11-13
KR10-2019-0144777 2019-11-13
KR1020200047990A KR102500378B1 (ko) 2019-11-13 2020-04-21 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
KR10-2020-0047990 2020-04-21

Publications (1)

Publication Number Publication Date
WO2021096054A1 true WO2021096054A1 (ko) 2021-05-20

Family

ID=75912727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012907 WO2021096054A1 (ko) 2019-11-13 2020-09-23 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템

Country Status (1)

Country Link
WO (1) WO2021096054A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541007A (zh) * 2023-07-04 2023-08-04 智慧中医科技(广东)有限公司 基于中医辨证论的体征可视化映射封装方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890498B1 (en) * 2001-11-26 2011-02-15 Koninklijke Philips Electronics N.V. User interface for a medical informatics system that incorporates an examination timeline
JP5355257B2 (ja) * 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法
KR101470411B1 (ko) * 2012-10-12 2014-12-08 주식회사 인피니트헬스케어 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
KR20160095426A (ko) * 2015-02-03 2016-08-11 부산대학교 산학협력단 의료정보 제공 장치 및 의료정보 제공 방법
KR101837952B1 (ko) * 2016-12-16 2018-03-13 (주)칼리스토 환자 맞춤형 수술치료 애니메이션 디스플레이 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890498B1 (en) * 2001-11-26 2011-02-15 Koninklijke Philips Electronics N.V. User interface for a medical informatics system that incorporates an examination timeline
JP5355257B2 (ja) * 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法
KR101470411B1 (ko) * 2012-10-12 2014-12-08 주식회사 인피니트헬스케어 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
KR20160095426A (ko) * 2015-02-03 2016-08-11 부산대학교 산학협력단 의료정보 제공 장치 및 의료정보 제공 방법
KR101837952B1 (ko) * 2016-12-16 2018-03-13 (주)칼리스토 환자 맞춤형 수술치료 애니메이션 디스플레이 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541007A (zh) * 2023-07-04 2023-08-04 智慧中医科技(广东)有限公司 基于中医辨证论的体征可视化映射封装方法及系统
CN116541007B (zh) * 2023-07-04 2023-10-03 智慧中医科技(广东)有限公司 基于中医辨证论的体征可视化映射封装方法及系统

Similar Documents

Publication Publication Date Title
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
KR102458587B1 (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
US9122773B2 (en) Medical information display apparatus and operation method and program
WO2018174419A1 (ko) 3차원 경혈 매핑 장치 및 방법
JP5309187B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
WO2016126056A1 (ko) 의료정보 제공 장치 및 의료정보 제공 방법
JP5628927B2 (ja) 医療情報表示装置および方法、並びにプログラム
JP2007252609A (ja) 読影レポート表示装置
WO2020231007A2 (ko) 의료기계 학습 시스템
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
US9412047B2 (en) Medical information processing apparatus
JP5958321B2 (ja) 医用情報処理装置及びプログラム
KR20190131281A (ko) 환자 상태 조회 화면 제공 방법 및 환자 상태 조회 화면 제공 시스템
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2021096054A1 (ko) 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
US20190148015A1 (en) Medical information processing device and program
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
JP6048107B2 (ja) 電子カルテ装置及びプログラム
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
JPWO2019102949A1 (ja) 診療支援装置とその作動方法および作動プログラム
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
KR102500378B1 (ko) 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
JP5958320B2 (ja) 電子カルテ装置及びプログラム
JP2004275601A (ja) 画像管理装置および画像表示装置
WO2019168372A1 (ko) 의료 영상 처리 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887737

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887737

Country of ref document: EP

Kind code of ref document: A1