WO2023058990A1 - 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체 - Google Patents

개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체 Download PDF

Info

Publication number
WO2023058990A1
WO2023058990A1 PCT/KR2022/014601 KR2022014601W WO2023058990A1 WO 2023058990 A1 WO2023058990 A1 WO 2023058990A1 KR 2022014601 W KR2022014601 W KR 2022014601W WO 2023058990 A1 WO2023058990 A1 WO 2023058990A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
personal health
image
unit
Prior art date
Application number
PCT/KR2022/014601
Other languages
English (en)
French (fr)
Inventor
박민현
최은경
김하연
김지예
김보라
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to US17/928,538 priority Critical patent/US20230307099A1/en
Publication of WO2023058990A1 publication Critical patent/WO2023058990A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Definitions

  • the present invention provides a server and method for integratedly managing personal health records of patients, for example, children with developmental disabilities by converting them into global big data, and a recording medium thereof.
  • PHR Personal Health Record
  • EMR electronic medical record system
  • One embodiment may provide a server and method for easily storing and managing existing examination records or prescriptions as personal health records, and a recording medium thereof.
  • Another embodiment provides a server, a method, and a recording medium for converting personal health information in various languages written in hospitals or development centers in various countries into global big data.
  • video data is input, one of video information and text information is recognized from the input video data, and one of the recognized video information and text information is in a predetermined data format regardless of the language of the recognized text information. It includes a device and method for controlling storage by dividing into patient information and clinical information and displaying, upon request, a personal health record including stored patient information and clinical information, and a recording medium thereof.
  • One embodiment provides a server that integrates and manages personal health records of patients, for example, children with developmental disabilities, into global big data.
  • This server communicates with other servers or terminals through a network, and includes a communication unit that receives image data from other servers or terminals, a storage unit that stores personal health records including patient information and clinical information, and an input unit that receives image data. Recognizes either image information or text information from the input image data, and regardless of the language of the recognized text information, either the recognized image information or text information is divided into patient information and clinical information in a pre-determined data format and stored. It includes a control unit for storing in the unit and an output unit for displaying the personal health record including patient information and clinical information stored in the storage unit upon request.
  • Another embodiment provides a method of integratedly managing personal health records including clinical information and treatment-related change trend information for children with developmental disabilities by converting them into global big data.
  • This method includes the steps of receiving image data, recognizing one of image information and text information from the input image data, and regardless of the language of the recognized text information, one of the recognized image information and text information in a predetermined data format. and controlling to store the patient information and clinical information separately, and displaying the personal health record including the stored patient information and clinical information upon request.
  • a server and method for integratedly managing personal health records by turning them into global big data can easily store and manage existing examination records or prescriptions as personal health records.
  • a server and method for integratedly managing personal health records by converting them into global big data can convert personal health information in various languages written in hospitals or development centers in various countries into global big data.
  • FIG. 1 is a view for explaining a system for integrated management by converting personal health records of children with developmental disabilities into global big data according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a server that integrates and manages personal health records of children with developmental disabilities included in the system of FIG. 1 as global big data.
  • FIG. 3 is a configuration diagram of a control unit of the server of FIG. 2 .
  • FIG. 5 is a diagram explaining a process of recognizing image information and text information from the image data of FIG. 4 by the image recognition unit and OCR unit of FIG. 3 and separately storing them in a predetermined data format.
  • 6A to 6C are examples of newly stored test results.
  • FIG. 7 is a flowchart of a method of integratedly managing personal health records of children with developmental disabilities according to another embodiment by converting them into global big data.
  • FIG. 8 is a diagram explaining the operation of the data conversion unit of FIG. 3 .
  • FIG. 9 is a diagram explaining the operation of the automatic translation unit of FIG. 3 .
  • step of (doing) or “step of” as used throughout the specification of the present invention does not mean “step for”.
  • a "unit” includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, and two or more units may be realized by one hardware.
  • a terminal, device, or device may be performed instead by a server connected to the terminal, device, or device.
  • some of the operations or functions described as being performed by the server may also be performed by a terminal, apparatus, or device connected to the server.
  • FIG. 1 is a diagram for explaining a system for integrated management of personal health records by converting them into global big data according to an embodiment of the present invention.
  • the system 100 for integrated management by converting personal health records into global big data includes a patient-side terminal 110 and a server 200 that converts personal health records for children with developmental disabilities into global big data and comprehensively manages them. ), the medical staff side terminal 120 may be included.
  • each component of FIG. 1 is generally connected through a network (network, 130).
  • the patient terminal 110 is a server 200 that integrates and manages personal health records of children with developmental disabilities through the network 130 by converting them into global big data.
  • the server 200 which integrates and manages the personal health records of children with developmental disabilities as global big data, can be connected to the patient terminal 110 and the medical staff terminal 120 through the network 130.
  • the medical staff side terminal 120 may be connected to the server 200 through the network 130 to integrate personal health records for children with developmental disabilities into global big data and manage them in an integrated manner.
  • the network means a connection structure capable of exchanging information between each node, such as a plurality of terminals and servers, and examples of such networks include RF, 3rd Generation Partnership Project (3GPP) network, Long Term LTE Evolution) network, 5GPP (5th Generation Partnership Project) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network) , PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • 5GPP Fifth Generation Partnership Project
  • WIMAX Worldwide Interoperability for Microwave Access
  • Internet Internet
  • LAN Local Area Network
  • Wireless LAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • Bluetooth Bluetooth
  • NFC satellite broadcasting network
  • the term at least one is defined as a term including singular and plural, and even if at least one term does not exist, each component may exist in singular or plural, and may mean singular or plural. It will be self-evident. In addition, the singular or plural number of each component may be changed according to embodiments.
  • the patient-side terminal 110 is a child or patient with developmental disabilities requesting treatment using a web page, app page, program, or application related to personal health records including clinical information about children with developmental disabilities and change trend information according to treatment, or It may be the guardian's terminal.
  • the patient-side terminal 110 converts the patient's medical record into global big data, including text, image, and video, as well as clinical information about children with developmental disabilities and change trend information according to treatment, and integrates them into big data. It may be a terminal that transmits to the server 200 that manages.
  • the patient-side terminal 110 may be a terminal that receives feedback on a diagnosis request from the server 200 that integrates personal health records of children with developmental disabilities into global big data and manages them in an integrated manner.
  • the patient-side terminal 110 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser.
  • at least one diagnosis requesting terminal 100 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • the patient-side terminal 110 is, for example, a wireless communication device that ensures portability and mobility, and includes navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Communication System) Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal, It may include all kinds of handheld-based wireless communication devices such as a smartphone, a smartpad, and a tablet PC.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Communication System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • the server 200 which integrates personal health records of children with developmental disabilities into global big data and manages them in an integrated manner, includes a web page related to personal health records, an app page, It may be a server that provides programs or applications.
  • the server 200 that integrates and manages the personal health records of children with developmental disabilities as global big data may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser.
  • the medical staff side terminal 120 is a medical staff side such as a diagnoser, doctor, play therapist, etc. using a web page, app page, program or application related to a personal health record including clinical information and treatment-related change trend information for children with developmental disabilities. may be a terminal.
  • the medical staff terminal 120 receives the medical record data received from the patient terminal 110 from the server 200 that integrates personal health records of children with developmental disabilities into global big data and manages them in an integrated manner, and receives the received medical care. It may be a terminal that transmits personal health records for children with developmental disabilities to the server 200, which comprehensively manages personal health records for children with developmental disabilities, such as opinions on record data.
  • the medical staff side terminal 120 receives the query results until the big data is learned by artificial intelligence from the server 200, which converts personal health records of children with developmental disabilities into global big data and manages them in an integrated manner, and returns errors.
  • it may be a terminal that feeds back personal health records for children with developmental disabilities to the server 200 that integrates and manages personal health records as global big data.
  • the medical staff side terminal 120 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a laptop, a desktop, a laptop, and the like equipped with a navigation system and a web browser.
  • the medical staff side terminal 120 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • the medical staff side terminal 120 is, for example, a wireless communication device that ensures portability and mobility, and includes navigation, PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS ( Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal , all kinds of handheld-based wireless communication devices such as a smartphone, a smart pad, a tablet PC, and the like.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • Another server (not shown) operating in conjunction with the server 200 that integrates and manages the personal health records of children with developmental disabilities as global big data is a patient-side terminal 110 and a medical staff-side terminal (120), when transmitting application, program, app page, web page, etc. related to clinical information and treatment-related change trend information for children with developmental disabilities, the patient-side terminal 110 and the medical staff-side terminal 120, It is possible to install applications, programs, app pages, web pages, etc. related to personal health records, including clinical information about children and change trend information according to treatment.
  • the service program may be driven in the patient-side terminal 110 and the medical staff-side terminal 120 by using a script executed in a web browser.
  • the web browser is a program that enables the use of web (WWW: world wide web) services and means a program that receives and displays hypertext described in HTML (hyper text mark-up language).
  • WWW world wide web
  • HTML hypertext mark-up language
  • an application means an application on a terminal, and includes, for example, an app running on a mobile terminal (smart phone).
  • the server 200 which converts personal health records into global big data and manages them in an integrated manner, applies electronic medical record system technology, data storage and integration technology, data exchange and sharing technology, and personal health information protection technology to build a personal health record platform.
  • Electronic medical record system technology is a technology that records and preserves all medical records as electronic documents as electronic medical records
  • data storage and integration technology is a technology that stores and integrates personal health record data to provide personal health information and services.
  • Data exchange and sharing technology is personal health record data to provide personal health information and services
  • personal health information protection technology is technology to protect personal health record data to provide personal health information and services.
  • the server 200 which converts personal health records into global big data and manages them in an integrated manner, will mainly explain that data storage and integration technology, data exchange and sharing technology, and personal health information protection technology are applied to build a personal health record platform.
  • the present invention is not limited thereto.
  • FIG. 2 is a block diagram of a server that integrates and manages personal health records of children with developmental disabilities included in the system of FIG. 1 as global big data.
  • a server 200 that integrates personal health records into global big data and manages them integrally includes a communication unit 210 that communicates with other servers or terminals through a network 130, and a storage unit that stores data ( 220), an input unit 230 for inputting data, an output unit 250 for displaying images or outputting display data to the outside, and a control unit 240 for controlling them.
  • the communication unit 210 may receive image data from another server or terminal.
  • Another server (not shown) may operate in conjunction with the server 200 that converts personal health records into global big data and manages them in an integrated manner according to an embodiment.
  • the terminal may be the patient-side terminal 110 and/or the medical staff-side terminal 120 described with reference to FIG. 1 , and a third terminal (not shown) separate from these terminals.
  • the storage unit 220 may be a general storage device.
  • the storage unit 220 may store personal health records including patient information, clinical information, and change trend information according to treatment.
  • the storage unit 220 may store patient information and personal health records including clinical information as well as change trend information according to treatment.
  • the personal health record may include test results from a hospital or developmental center.
  • a personal health record refers to any data or information related to personal health, such as an electronic health record (HER) or smart health data.
  • Personal health record may include patient information, daily management information (e.g., medication management information, side effect management information, treatment diary information), test report or test result in Table 1, questionnaire and psychological scale in Table 2, FAQ, etc. .
  • the personal health record may include information acquired by the operation of each component of the control unit 240 described below.
  • the examination report can be converted into terms that are easy for guardians with developmental disabilities to understand and provide detailed explanations.
  • Personal health records can be divided into personal health records for patients and personal health records for medical staff.
  • the patient's personal health record may be customized information for a guardian and customized treatment program recommendation information.
  • the personal health record for medical staff may include information for confirming medical treatment information through the participation of medical staff and a patient's life log.
  • the input unit 230 may be a general input device capable of inputting audio, video, or text, such as a keyboard, mouse, camera, recorder, wearable device, or various sensors, for example.
  • the input unit 230 may receive image data through, for example, a camera device.
  • the input unit 230 may input a personal health record including patient information and clinical information as digital data.
  • the controller 240 recognizes one of image information and text information from the input image data, and converts one of the recognized image information and text information into a predetermined data format, regardless of the language of the recognized text information, and patient information and clinical information. It can be divided into information, patient information, clinical information, and change trend information according to treatment and stored in the storage unit 220 .
  • the control unit 240 may build big data and form and improve a specific algorithm through matching between the database of the storage unit 220 and the Knowledge Base (interpretation by clinicians).
  • the output unit 250 may display personal health information including patient information stored in the storage unit 220, clinical information, and change trend information according to treatment upon request.
  • Image data may be classified into structured data, semi-structured data, and unstructured data according to the degree of standardization.
  • Unstructured data is items that are difficult to define due to irregular shapes, and generally include text and images. In the medical field, since most text data can be analyzed semi-structured, only video or image data can be considered unstructured. Unstructured data includes, for example, various types of video data such as CAG (Coronary Angiography) and various ultrasound images, and image data such as CT (Computed Tomography), MRI (Magnetic Resonance Imaging), EKG (Electrocardiogram; ECG), etc. do. Such unstructured data is also learned as keywords, tags, or meta data and classified and patterned, and then, when new unstructured data is required to be classified, the data can be processed into a record form and provided together with related data.
  • CAG Coronary Angiography
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • EKG Electrocardiogram
  • the image data may be one of image data of examination data, prescription image data, and a medical report written in a specific data format according to the type of information.
  • the control unit 240 may integrate and recognize test results between hospitals written in different units even though they are the same test. In particular, in the case of children with developmental disabilities, the controller 240 can recognize center test results in a compatible and integrated manner even when the same test is performed not only at hospitals but also at various development centers.
  • test results are described differently for each test institution even though the test is used worldwide.
  • test results can be described in such ways as percentile (%ile), high, medium, low, and excellent/poor.
  • the control unit 240 may recognize each test result and convert it into a specific expression method.
  • the control unit 240 may recognize each test result and convert the test result into a specific expression method, for example, percentile (%ile).
  • the output unit 250 recognizes and digitizes the test results by OCR, and outputs unified data by data-compatible test results of various hospitals and test institutions.
  • the output unit 250 may output conversion and detailed explanation in terms that are easy for guardians with developmental disabilities to understand.
  • FIG. 3 is a configuration diagram of a control unit of the server of FIG. 2 .
  • control unit 240 includes an image recognition unit 241 that recognizes image information from one of image data of examination data, prescription image data, and medical report, image data of examination data, prescription image data, and medical report. It may include an optical character recognition (OCR) unit 242 that recognizes text information from one of the reports.
  • OCR optical character recognition
  • the control unit 240 adjusts one of image information and text information recognized from one of test data written in a specific data format, prescription image data, and medical report to a pre-determined data format according to patient information, clinical information, and treatment. It can be divided into change trend information and stored in the storage unit 220 .
  • the image recognition unit 241 recognizes image information from one of test data image data, prescription image data, and medical reports, and divides and stores patient information, clinical information, and change trend information according to treatment according to a predetermined data format. It can be stored in unit 220.
  • the image recognition unit 241 recognizes image information from input image data using a general image recognition technology or a deep learning technology using an artificial neural network, identifies the meaning of the recognized image information, and determines the type of the recognized image information. It can be classified according to a predetermined data format 316 and stored in the storage unit 220 .
  • the OCR unit 242 performs binarization, word segmentation, and character segmentation on character images included in video data using, for example, optical character recognition technology. ) sequentially, then you can use a pipeline that recognizes individual characters (character recognition).
  • the OCR unit 242 may also use general character recognition technology, but recognizes text information from input image data using deep learning technology using an artificial neural network, grasps the meaning of the text information, and adjusts it to a predetermined data format.
  • Personal health records may be classified according to each type of information and stored in the storage unit 220 .
  • the storage unit 220 stores the data format of the personal health record.
  • the storage unit 220 stores image information recognized by the image recognition unit 241, text information recognized by the OCR unit 242, and personal health records classified according to the type of information in the data format. are doing
  • the storage unit 220 separately stores the data format of the personal health record, image information recognized by the image recognition unit 241, and text information recognized by the OCR unit 242, and outputs the personal health record through the output unit 250.
  • each piece of information may be output according to a data format.
  • FIG. 4 is an example of image data.
  • FIG. 5 is a diagram explaining a process of recognizing image information and text information from the image data of FIG. 4 by the image recognition unit and OCR unit of FIG. 3 and separately storing them in a predetermined data format.
  • 6A is an example of newly stored inspection results.
  • the image data is, for example, image data captured through an input device such as a camera, and evaluates test results of children with developmental disabilities, such as language understanding, perceptual reasoning, working memory, and processing speed. It may be the existing test data that qualitatively classified (level) them.
  • the OCR unit 242 also recognizes text information 310 from input image data (a) using a general character recognition technology or a deep learning technology using an artificial neural network, and converts the text information 310
  • the personal health record can be classified according to the type of each information according to the pre-determined data format 314 by grasping the meaning of .
  • the input image data (FIG. 5(a)) has language understanding, perceptual reasoning, working memory, and processing speed vertically aligned, and index scores, percentiles, 95% confidence intervals, and qualitative classification for each item.
  • (level) consists of a specific data format arranged horizontally.
  • the OCR unit 242 recognizes text information 310 from the input image data (FIG. 5(a)), grasps the meaning of the text information 310, understands language, performs perceptual reasoning, working memory, and processing. It can be stored in the storage unit 220 in a predetermined data format 314 in which the speed is aligned in the horizontal direction and the index score, percentile, 95% confidence interval, and qualitative classification (level) for each item are aligned in the vertical direction.
  • the image recognizing unit 241 recognizes image information 312 from input image data (FIG. 5(a)) using a general image recognition technology or a deep learning technology using an artificial neural network, and recognizes the meaning of the recognized image information. It can be identified and stored in the storage unit 220 by dividing it according to a data format 316 determined in advance according to the type of recognized image information.
  • control unit 240 controls data format items of personal health records stored in the storage unit 220 to be recognized by the image recognition unit 241 and the OCR unit 242.
  • a screen (for example, an item to add an opinion) on which the unlisted item 318 can be input through another server or terminal may be provided through the communication unit 210 or the output unit 250.
  • the control unit 240 displays a screen for confirming whether the image information and text information recognized by the image recognition unit 241 and the OCR unit 242 are accurate, as shown in FIG. 6A, to another server or terminal via the communication unit 210 or It can be provided through the output unit 250.
  • 6B and 6C illustrate processes of automatically classifying image information and text information recognized by the image recognition unit 241 and the OCR unit 242 into templates and storing them in the storage unit 220 for each field.
  • control unit 240 provides image information recognized by the image recognizing unit 241 and the OCR unit 242 after being created or input to various institutions or hospitals in different data input methods. And the reading area of text information can be automatically classified by field of the template and turned into data.
  • control unit 240 assigns subtests, standard tests, confidence intervals (90%), confidence intervals (95%), percentiles, descriptive ranges, etc. of sequential processing to each field. It is divided into names and contents of 01 to 07, automatically classified by field, and converted into data.
  • control unit 240 determines language transfer, language comprehension-conversion score sum, language comprehension-index score, language comprehension-percentile, language comprehension-confidence interval, language comprehension-classification category. etc. are divided into the names and contents of each field 01 to 06, and automatically classified by field to make data.
  • the output unit 250 outputs the template automatic classification result as shown in FIGS. 6B and 6C.
  • the output unit 250 includes the image recognition unit 241 among the items of the data format of the personal health record stored in the storage unit 220 by the control unit 240. ) and the content recognized by the OCR unit 242 can be displayed.
  • the server 200 can convert data entered into data of a unified template in compatibility with data input by different data input methods to various institutions or hospitals.
  • the server 200 which converts the aforementioned personal health records into global big data and manages them in an integrated manner, integrates and manages essential treatment records for children with developmental disabilities, such as physical therapy/sensory integration/cognitive therapy/language therapy, and allows individuals to manage them at the same time. It enables accurate information delivery to hospital staff.
  • the server 200 stores the patient's data as encrypted data by applying personal health information protection technology, so that only the patient can check the test record.
  • this server 200 judges the patient's condition from various angles by providing individual information, correlation, and trend of diagnosis data, drug compliance, and app usage information by tagging professional data including the patient's personal health record. Therefore, it can contribute to the improvement of sensitivity/specificity of diagnosis.
  • this server 200 can secure medical data including expert opinions of doctors in forming artificial intelligence algorithms, thereby greatly contributing to the development of medical artificial intelligence.
  • control unit 240 may further include a data conversion unit 243 and an automatic translation unit 244 .
  • FIG. 8 is a diagram explaining the operation of the data conversion unit of FIG. 3 .
  • the data conversion unit 243 can integrate and recognize test results between hospitals written in different units and expressions even though they are the same test.
  • the data conversion unit 243 can recognize test results compatible and integrated even when the same test is performed not only at hospitals but also at various development centers, especially in the case of children with developmental disabilities.
  • test results are described differently for each test institution. can be converted to That is, the data conversion unit 243 may recognize each test result and convert it into a specific expression method.
  • the data conversion unit 243 for example, IQ (Intelligence Quotient), T score, Z score, social quotient, language index (Language Quotient) can be converted into percentile (%ile) by referring to the conversion table (243a, PSYCHOMETRIC CONVERSION TABLE).
  • the OCR unit 242 recognizes the text information 310 from the input image data (FIG. 5(a)) and grasps the meaning of the text information 310. Meanwhile, the input unit 230 may input a personal health record including patient information and clinical information as digital data.
  • the data conversion unit 243 converts the personal health information recognized by the OCR unit 242 or input through the input unit 230, for example, each test result into a specific expression method, for example, percentile (%ile), top, middle, bottom , can be converted in the same way as good/poor.
  • FIG. 9 is a diagram explaining the operation of the automatic translation unit of FIG. 3 .
  • the automatic translation unit 244 may automatically translate personal health information in various languages into a specific language.
  • the automatic translation unit 244 may automatically translate personal health information in various languages into a specific language using, for example, the artificial intelligence learning model 244a.
  • the automatic translation unit 244 learns the artificial intelligence learning model 244a configured based on the artificial neural network and automatically translates personal health information from various languages into a specific language using the learned artificial intelligence learning model 244a. can proceed.
  • the automatic translation unit 244 automatically converts the information into a specific language, for example, Korean. can be translated
  • the output unit 250 may display the automatically translated content in a specific language, for example, only Korean, or in both Korean and the original language.
  • the automatic translation unit 244 may automatically translate the entire personal health information into Korean when the entire personal health information recognized by the OCR unit 242 or input through the input unit 230 is configured in a language other than Korean.
  • the output unit 250 may display all of the automatically translated personal health information in Korean, but may write both Korean and the original language for specific words or specific phrases.
  • the automatic translation unit 244 may automatically translate sentences, paragraphs, or words using an artificial intelligence learning model or a specific translation algorithm, for example, a Markov algorithm.
  • the control unit 240 automatically classifies the reading area of the image information and text information recognized by the image recognition unit 241 and the OCR unit 242 for each field of the template and turns it into data
  • the automatic translation unit ( 244) data can be automatically classified by field of the template by referring to the automatically translated contents.
  • the automatic translation unit 244 refers to the automatically translated content to convert the personal health information into a specific unit or specific expression method.
  • the server 200 which converts the personal health record into global big data and manages it in an integrated manner, converts the personal health information into a specific unit or specific expression method by the data conversion unit 243, or converts the personal health information into a specific expression method by the automatic translation unit 244. All or part of the information is automatically translated into various languages and automatically classified by field of the template to be data, so personal health information in various languages written in hospitals or development centers in various countries can be converted into global big data.
  • the server 200 transforms personal health information in various languages written in hospitals or development centers in various countries into global big data, when the image input unit 241 or the OCR unit 242 uses artificial intelligence, the amount of learning data is reduced. It can increase the learning performance of artificial intelligence.
  • a server that converts personal health records into global big data according to an embodiment and manages them in an integrated manner has been described with reference to FIGS. 1 to 6C.
  • a method of integratedly managing personal health records by turning them into global big data according to another embodiment will be described with reference to the drawings. This method may be performed by a server that converts personal health records according to the above-described embodiment into global big data and comprehensively manages them, but may also be performed by other servers or other terminals.
  • FIG. 7 is a flowchart of a method of integratedly managing personal health records of children with developmental disabilities according to another embodiment by converting them into global big data.
  • a method 400 of integratedly managing personal health records including clinical information and treatment-related change trend information for children with developmental disabilities by converting them into global big data includes receiving image data (S410); Recognizes either image information or text information from the input image data, and divides one of the recognized image information and text information into patient information, clinical information, and treatment-related change trend information in a pre-determined data format and controls to store them. Step (S420) and a step (S430) of displaying the personal health record including stored patient information, clinical information, and change trend information according to treatment upon request.
  • the image data may be one of image data of examination data written in a specific data format, prescription image data, and a medical report.
  • step (S420) i) recognizing image information from one of image data of examination data, prescription image data, and medical report, and ii) text information from one of image data of examination data, prescription image data, and medical report iii) Recognizes one of the image information and text information recognized from one of the image data of examination data, prescription image data, and medical report written in a specific data format according to a pre-determined data format for patient information, clinical information, and treatment It can be stored by dividing it into change trend information.
  • text information 310 is recognized from the input image data (a) using a general letter recognition technology or a deep learning technology using an artificial neural network, and , The meaning of the text information 310 can be grasped, and the personal health record can be classified according to the type of each information according to the data format 314 determined in advance.
  • text information 310 is recognized from the input image data (a), the meaning of the text information 310 is grasped, and language understanding, perceptual reasoning, working memory, and processing speed are in the horizontal direction. It can be stored in the storage unit 220 in a predetermined data format 314 in which index scores, percentiles, 95% confidence intervals, and qualitative classifications (levels) for each item are aligned in the vertical direction.
  • the image information 312 is recognized from the input image data (a) using a general image recognition technology or a deep learning technology using an artificial neural network, and the meaning of the recognized image information is grasped. Depending on the type of image information, it can be classified and stored according to a pre-determined data format 316 .
  • a screen for inputting an unrecognized item 318 among the items of the data format of the personal health record stored in the controlling step (S420) through another server or terminal is displayed.
  • a screen capable of confirming whether the recognized image information and text information is accurate may be provided to another server or terminal.
  • big data may be constructed through matching between the database and the knowledge base (interpretation of the clinician), and a specific algorithm may be formed and improved.
  • step of controlling it is possible to integrate and recognize test results between hospitals written in different units and expressions even though they are the same test.
  • the step of controlling especially in the case of children with developmental disabilities, even when the same test is performed not only in hospitals but also in multiple development centers, the center test results can be recognized as compatible and integrated.
  • 6B and 6C illustrate processes of automatically classifying image information and text information recognized by the image recognition unit 241 and the OCR unit 242 into templates and storing them for each field.
  • the reading area of image information and text information recognized after being written or inputted in different data input methods to various institutions or hospitals is set as a template. It can be automatically classified by field and converted into data.
  • the template automatic classification result is output.
  • each field 01 to 07 is divided into names and contents, automatically classified by field, and converted into data.
  • the template automatic classification result is output.
  • the image recognition unit 241 and Contents recognized by the OCR unit 242 can be displayed.
  • the method 400 of converting personal health records into global big data and managing them in an integrated manner can convert data entered into data of a unified template by compatible with different data input methods to various institutions or hospitals.
  • the method 400 of integrating management of personal health records by turning them into global big data integrates essential treatment records for children with developmental disabilities, such as physical therapy/sensory integration/cognitive therapy/language therapy, so that individuals can manage them, and at the same time It enables accurate information delivery to hospital staff.
  • this method 400 stores the patient's data as encrypted data by applying personal health information protection technology, so that only the patient can check the test record.
  • this method 400 determines the patient's condition from various angles by providing individual information, correlation, and trend of diagnosis data, drug compliance, and app usage information by tagging professional data including the child's personal health record. Therefore, it can contribute to the improvement of sensitivity/specificity of ⁇ diagnosis.
  • this server 200 can secure medical data including expert opinions of doctors in forming artificial intelligence algorithms, thereby greatly contributing to the development of medical artificial intelligence.
  • controlling step (S420) it is possible to integrate and recognize test results between hospitals written in different units and expressions even though they are the same test.
  • test results can be recognized as compatible and integrated.
  • each inspection result can be recognized and converted into a specific expression method.
  • the recognized or input personal health information for example, each test result
  • a specific expression method for example, percentile (%ile), high, medium, low, excellent/poor.
  • Personal health information can be written in various languages such as English, Chinese, and Japanese as well as Korean.
  • the controlling step (S420) an operation of automatically translating personal health information in various languages into a specific language may be performed.
  • the controlling step (S420) if there are contents written in different languages in the recognized or input personal health information, it can be automatically translated into a specific language, for example, Korean.
  • the automatically translated content may be displayed in a specific language, for example, Korean only, or Korean and the original language may be displayed together.
  • the entire personal health information may be automatically translated into Korean.
  • the entire automatically translated personal health information may be displayed in Korean, but Korean and the original language may be written together for specific words or specific phrases.
  • a sentence, paragraph, or word may be automatically translated by using an artificial intelligence algorithm or a specific translation algorithm, for example, a Markov algorithm.
  • the controlling step (S420) when the reading area of the recognized image information and text information is automatically classified by field of the template and converted into data, it is automatically classified by field of the template by referring to the automatically translated contents to be converted into data. can do.
  • the automatic translation when converting the personal health information into a specific unit or specific expression method, the automatic translation may be referred to to convert the personal health information into a specific unit or specific expression method.
  • the server 200 which converts the aforementioned personal health records into global big data and manages them in an integrated manner, converts the personal health information into a specific unit or specific expression method, or automatically translates all or part of the personal health information into various languages for each field of the template. Since it is automatically classified and converted into data, personal health information in various languages written in hospitals or development centers in various countries can be converted into global big data.
  • the method 400 of converting personal health records into global big data and managing them in an integrated way converts personal health information in various languages written in hospitals or development centers in various countries into global big data, so when artificial intelligence is used, learning data The amount can be increased, which can improve the learning performance of artificial intelligence.
  • Another embodiment provides a computer program stored in a computer recording medium, which performs a method of integratedly managing personal health records of children with developmental disabilities as global big data.
  • another embodiment provides a computer-readable recording medium recording a program for realizing a method of integratedly managing personal health records of children with developmental disabilities described above as global big data.
  • Programs recorded on recording media can be read, installed, and executed on a computer, thereby executing the above steps.
  • the above-described program is C, C++ that can be read by the computer's processor (CPU) through the computer's device interface.
  • JAVA may include a code coded in a computer language such as machine language.
  • These codes may include functional codes related to functions defining the above-described functions, and may include control codes related to execution procedures necessary for a processor of a computer to execute the above-described functions according to a predetermined procedure.
  • these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media necessary for the computer's processor to execute the above-mentioned functions. .
  • the code allows the computer processor to use the computer's communication module to communicate with any other remote computer or server.
  • Communication-related codes for how to communicate with other computers or servers, what information or media to transmit/receive during communication, and the like may be further included.
  • Recording media that can be read by a computer on which the program as described above is recorded are, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, etc., and also carrier wave (e.g. , Transmission through the Internet) may also include what is implemented in the form of.
  • carrier wave e.g. , Transmission through the Internet
  • the computer-readable recording medium is distributed in computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • a functional program for implementing the present invention codes and code segments related thereto, in consideration of the system environment of a computer that reads a recording medium and executes a program, etc., help programmers in the art to which the present invention belongs It may be easily inferred or changed by
  • Big data and artificial intelligence-based personal health records for children with developmental disabilities are global big data and integrated management method includes instructions executable by a computer, such as applications or program modules executed by a computer. It can also be implemented in the form of a recording medium.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the method for integrated management of personal health records for children with developmental disabilities according to one embodiment of the present invention described above by global big data, and the personal health records for children with developmental disabilities according to another embodiment are global big data and integrated
  • the management method may be executed by an application basically installed in the terminal (which may include a program included in a platform or operating system, etc., which is basically installed in the terminal), and may be executed by a user related to an application store server, an application, or a corresponding service. It may also be executed by an application (that is, a program) directly installed in the master terminal through an application providing server such as a web server.
  • the method for comprehensively managing personal health records for children with developmental disabilities according to an embodiment of the present invention by converting them into global big data is an application (i.e., a program) that is basically installed in a terminal or directly installed by a user. It can be implemented and recorded on a computer-readable recording medium such as a terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 명세서는, 영상 데이터를 입력받고, 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장하도록 제어하고, 저장된 환자정보와 임상정보를 포함하는 개인건강기록을 요청에 따라 표시하는 장치 및 방법, 그 기록매체를 포함한다.

Description

개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체
본 발명은 환자, 예를 들어 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체를 제공한다.
개인건강기록(PHR; Personal Health Record)은 건강 관리 기술로 생체신호 모니터링 기술, 재택건강관리/홈케어 서비스 기술, 모바일/유 헬스케어 서비스 기술, 환자관리 모니터링 기술이 있으며, 개인 건강기록 플랫폼 기술은 전자의무기록시스템(EMR) 기술, 데이터 저장 및 통합 기술, 데이터 교환 및 공유기술 개인건강 정보보호 기술로 구분된다.
종래 개인건강기록은 기존 검사기록이나 처방전등을 촬영하여 용이하게 디지털 데이터화할 수 없어 관리가 어려웠다. 특히, 여러 국가에서 다양한 언어로 작성되는 개인건강기록을 빅데이터화할 수 있는 방법이 없거나 한계가 많았다.
일 실시예는 기존 검사기록이나 처방전등을 용이하게 개인건강기록으로 저장 및 관리하는 서버 및 방법, 그 기록매체를 제공할 수 있다.
다른 실시예는 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화하는 서버 및 방법, 그 기록매체를 제공한다.
본 명세서는, 영상 데이터를 입력받고, 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보로 구분하여 저장하도록 제어하고, 저장된 환자정보와 임상정보를 포함하는 개인건강기록을 요청에 따라 표시하는 장치 및 방법, 그 기록매체를 포함한다.
일 실시예는, 환자, 예를 들어 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버를 제공한다.
이 서버는 네트워크를 통해 다른 서버 또는 단말과 통신하고, 다른 서버 또는 단말로부터 영상 데이터를 입력받는 통신부, 환자정보와 임상정보를 포함하는 개인건강기록을 저장하는 저장부, 영상 데이터를 입력받는 입력부. 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보로 구분하여 저장부에 저장하는 제어부 및 저장부에 저장된 환자정보와 임상정보를 포함하는 개인건강기록을 요청에 따라 표시하는 출력부를 포함한다.
다른 실시예는 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법을 제공한다. 이 방법은 영상 데이터를 입력받는 단계, 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보로 구분하여 저장하도록 제어하는 단계 및 저장된 환자정보와 임상정보를 포함하는 개인건강기록을 요청에 따라 표시하는 단계를 포함한다.
실시예들에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 방법, 그 기록매체는 기존 검사기록이나 처방전등을 용이하게 개인건강기록으로 저장 및 관리할 수 있다.
실시예들에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 방법, 그 기록매체는 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버의 블록도이다.
도 3은 도 2의 서버의 제어부의 구성도이다.
도 4는 영상 데이터의 일예이다.
도 5는 도 3의 영상 인식부와 OCR부에 의해 도 4의 영상 데이터에서 영상 정보와 텍스트 정보를 인식하여 미리 정한 데이터 포맷에 분리하여 저장하는 과정을 설명하는 도면이다.
도 6a 내지 도 6c는 새롭게 저장된 검사결과의 예들이다.
도 7은 다른 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법의 흐름도이다.
도 8은 도 3의 데이터 변환부의 동작을 설명한 도면이다.
도 9는 도 3의 자동번역부의 동작을 설명한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 시스템(100)은, 환자측 단말(110), 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200), 의료진측 단말(120)를 포함할 수 있다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 130)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 환자측 단말(110)은 네트워크(130)를 통하여, 예를 들어, 발달장애 아동에 대한, 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)와 연결될 수 있다. 그리고, 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는, 네트워크(130)를 통하여 환자측 단말(110), 의료진측 단말(120)와 연결될 수 있다. 또한, 의료진측 단말(120)은, 네트워크(130)를 통하여 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
환자측 단말(110)은, 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 치료를 요청하는 발달장애 아동 또는 환자 또는 그 보호자의 단말일 수 있다. 이때, 환자측 단말(110)은, 환자의 의료기록을 텍스트, 이미지, 및 동영상을 포함하여 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)로 전송하는 단말일 수 있다. 또한, 환자측 단말(110)은, 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)로부터 진단요청에 대한 피드백을 수신하는 단말일 수 있다.
여기서, 환자측 단말(110)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크 톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 진단 요청단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 환자측 단말(110)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는, 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다.
여기서, 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
의료진측 단말(120)은, 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 진단자 또는 의사, 놀이치료사 등 의료진측 단말일 수 있다. 그리고, 의료진측 단말(120)은, 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)로부터 환자측 단말(110)로부터 수신한 진료기록 데이터를 수신하고, 수신된 진료 기록 데이터에 대한 소견 등을 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)로 전송하는 단말일 수 있다. 또한, 의료진측 단말(120)은 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)에서 빅데이터가 인공지능으로 학습될 때까지 질의에 대한 결과를 수신하고, 오류를 다시 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)로 피드백해주는 단말일 수 있다.
여기서, 의료진측 단말(120)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 의료진측 단말(120)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 의료진측 단말(120)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)와 연동되어 동작하는 다른 서버(미도시)가 환자측 단말(110) 및 의료진측 단말(120)로 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보 관련 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 환자측 단말(110) 및 의료진측 단말(120)은, 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록 관련 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치할 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 환자측 단말(110) 및 의료진측 단말(120)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는 개인건강기록 플랫폼을 구축하기 위해 전자의무기록시스템 기술, 데이터 저장 및 통합 기술, 데이터 교환 및 공유 기술, 개인 건강 정보보호기술이 적용될 수 있다. 전자의무기록시스템 기술은 전자의무기록으로서 모든 의료기록을 전자문서로 기록 보존하는 기술이고, 데이터 저장 및 통합 기술은 개인 건강정보와 서비스를 제공하기 위해 개인건강기록 데이터를 저장하고 통합하는 기술이고, 데이터 교환 및 공유 기술은 개인 건강정보와 서비스를 제공하기 위해 개인건강기록 데이터이고, 개인 건강 정보보호기술은 개인 건강정보와 서비스를 제공하기 위해 개인건강기록 데이터를 보호하는 기술이다.
이하에서 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는 개인건강기록 플랫폼을 구축하기 위해 데이터 저장 및 통합 기술 및 데이터 교환 및 공유 기술, 개인 건강 정보보호기술이 적용된 것을 주로 설명하나 본 발명은 이에 제한되지 않는다.
도 2는 도 1의 시스템에 포함된 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버의 블록도이다.
도 2를 참조하면, 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는, 네트워크(130)를 통해 다른 서버 또는 단말과 통신하는 통신부(210)와, 데이터를 저장하는 저장부(220), 데이터를 입력하는 입력부(230), 영상을 표시하거나 표시하는 데이터를 외부로 출력하는 출력부(250), 이들을 제어하는 제어부(240)를 포함한다.
통신부(210)는 다른 서버 또는 단말로부터 영상 데이터를 입력받을 수 있다. 다른 서버(미도시)는 일 실시예에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)와 연동되어 동작할 수 있다. 단말은 도 1을 참조하여 설명한 환자측 단말(110) 및/또는 의료진측 단말(120), 이들과 별개의 제3의 단말(미도시)일 수 있다.
저장부(220)는 일반적인 저장장치일 수 있다. 특히, 저장부(220)는 환자정보와, 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 저장할 수 있다. 저장부(220)는 환자정보와, 임상정보와 함께 추가로 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 저장할 수 있다. 개인건강기록은 병원이나 발달 센터에서 검사한 검사결과를 포함할 수 있다.
이때, 개인건강기록(PHR; Personal Health Record)은 전자 건강 기록(HER; Electronic Health Record), 스마트 헬스데이터(Smart Health Data) 등 개인의 건강과 관련된 어떤 데이터나 정보를 의미한다.
개인건강기록은 환자정보, 일일관리 정보(예, 투약관리 정보, 부작용 관리 정보, 치료 일지 정보), 표 1의 검사보고서 또는 검사결과, 표 2의 설문지 및 심리척도, FAQ 등을 포함할 수 있다. 또한 개인건강기록은 아래에서 설명하는 제어부(240)의 각 구성요소들의 동작에 의해 취득된 정보를 포함할 수 있다.
검사보고서
A 대상 아동의 뇌자기공명영상
B 혈액 및 소변검사 결과
C 영유아 임상검사 결과
C 한국 웩슬러 유아지능검사 (K-WIPPISI : Korean Wechsler Preschool Primary Scale of Intelligence)
검사보고서는 발달장애 보호자들이 이해하기 쉬운 용어로 변환 및 상세 설명을 제공할 수 있다.
설문지 및 심리척도
양육자 관련 부모 스트레스 척도 (PSI, Parenting Stress Index-SF)
양육자 관련 벡 우울 척도 (K-BDI, Korean version of Beck Depression Index)
대상자의 문제행동 관련 한국아동발달검사 (K-CDI, Korean version of The Child Development Inventory)
대상자의 문제행동 관련 소아 우울 척도 (CDI, Kovacs' depression scale)
대상자의 문제행동 관련 소아 불안 척도 (RMCAS, Revised Children's Manifest Anxiety Scale)
대상자의 문제행동 관련 벡 불안 척도 (K-BAI, Korean version of Beck Anxiety Inventory)
대상자의 문제행동 관련 ADHD Rating Scale (K-ADHD-RS)
대상자의 문제행동 관련
개인건강기록은 환자용 개인건강기록과 의료진용 개인건강기록으로 구분할 수 있다. 환자용 개인건강기록은 보호자용 맞춤정보 및 맞춤 치료 프로그램 추천 정보 등일 수 있다. 의료진용 개인건강기록은 의료진 참여를 통한 진료정보와 환자의 라이프 로그(life log)를 확인하기 위한 정보 등일 수 있다.
입력부(230)는 예를 들어 키보드, 마우스, 카메라, 녹음기, 웨어러블 디바이스, 각종 센서 등 오디오나 영상, 텍스트를 입력할 수 있는 일반적인 입력장치일 수 있다. 입력부(230)는 예를 들어 카메라 장치를 통해 영상 데이터를 입력받을 수 있다. 입력부(230)는 환자 정보와 임상정보가 포함된 개인건강기록을 디지털 데이터로 입력할 수도 있다.
제어부(240)는 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보, 또는 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장부(220)에 저장할 수 있다.
제어부(240)는 저장부(220)의 데이터 베이스와 날리지 베이스(Knowledge Base, 임상가의 해석) 간의 매칭을 통해 빅 데이터를 구축하고 특정 알고리즘을 형성 및 향상시킬 수 있다.
출력부(250)는 저장부(220)에 저장된 환자정보와 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강정보를 요청에 따라 표시할 수 있다.
영상 데이터는, 정형화 정도에 따라 정형(structured) 데이터, 반정형(semi-structured) 데이터, 비정형 (unstructured) 데이터로 분류할 수 있다.
비정형 데이터는 형태가 불규칙하여 정의하기 어려운 항목들로서, 일반적으로 텍스트와 이미지 등이 해당한다. 의료 분야에서는 대부분의 텍스트 데이터는 반정형으로 분석할 수 있으므로, 영상이나 이미지 데이터만 비정형으로 고려할 수 있다. 비정형 데이터에는, 예를 들어, CAG(Coronary Angiography), 각종 초음파영상 등과 같은 다양한 종류의 동영상 데이터와 CT(Computed Tomography), MRI(Magnetic Resonance Imaging), EKG(Electrocardiogram; ECG) 등과 같은 이미지 데이터가 포함된다. 이와 같은 비정형 데이터도, 키워드, 태그 또는 메타 데이터로 학습되어 분류 및 패턴화되고, 이후 새로운 비정형 데이터의 분류가 요구되었을 때, 데이터를 레코드 형식으로 가공하고 연관 데이터와 함께 제공될 수 있다.
영상 데이터는 정보의 종류에 따라 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나일 수 있다.
제어부(240)는 같은 검사임에도 서로 다른 단위로 작성되어 있는 병원 간의 검사결과를 통합 인식할 수 있다. 제어부(240)는 특히 발달장애 아동의 경우 병원뿐 아니라 여러 발달 센터에서도 동일한 검사를 시행하는 경우에도 센터 검사 결과를 호환 및 통합 인식할 수 있다.
일반적으로, 전세계적으로 통용되는 검사임에도 검사 기관 별로 다르게 검사 결과를 기술한다. 예를 들어 검사 결과는 percentile(%ile), 상중하, 우수/저조와 같은 방식으로 기술될 수 있다. 제어부(240)는 각 검사 결과를 인식하고 특정 표현방식으로 변환할 수 있다. 전술한 예에서 제어부(240)는 각 검사 결과를 인식하고 특정 표현방식, 예를 들어 percentile(%ile)로 검사 결과를 변환할 수 있다. 이에 대응하여, 출력부(250)는 검사 결과에 대한 OCR 인식하여 디지털화하고, 여러 병원 및 검사 기관의 검사 결과를 데이터 호환하여 통일된 데이터를 출력한다.
검사 용어등이 난해하여 보호자가 결과지 만으로는 검사 내용을 적절히 판단하고 활용하는 것이 거의 불가능할 수 있다. 이에 대응하여, 출력부(250)는 발달장애 보호자들이 이해하기 쉬운 용어로 변환 및 상세 설명을 출력할 수 있다.
도 3은 도 2의 서버의 제어부의 구성도이다.
도 3을 참조하면, 제어부(240)는 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 영상 정보를 인식하는 영상 인식부(241)와, 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 텍스트 정보를 인식하는 OCR (optical character recognition)부(242)를 포함할 수 있다.
제어부(240)는 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장부(220)에 저장할 수 있다.
영상 인식부(241)는 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 영상 정보를 인식하고, 미리 정한 데이터 포맷에 맞추어 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장부(220)에 저장할 수 있다.
영상 인식부(241)는 일반적인 영상 인식 기술이나 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터로부터 영상 정보를 인식하고, 인식된 영상 정보의 의미를 파악하여 인식된 영상 정보의 종류에 따라 미리 정한 데이터 포맷(316)에 맞추어 구분하여 저장부(220)에 저장할 수 있다.
OCR부(242)는 예를 들어 글자 인식 (Optical Character Recognition) 기술을 이용하여 영상 데이터에 포함된 문자 이미지에 대하여 이진화(binarization), 단어 단위의 분리(word segmentation), 글자 단위의 분리(character segmentation)를 순차적으로 수행한 후 개별 글자(character recognition)를 인식하는 파이프라인을 사용할 수 있다.
OCR부(242)도 일반적인 글자 인식 기술을 이용할 수도 있지만, 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터로부터 텍스트 정보를 인식하고, 그 텍스트 정보의 의미를 파악하여 미리 정한 데이터 포맷에 맞추어 개인건강기록을 각 정보의 종류에 따라 구분하여 저장부(220)에 저장할 수 있다.
저장부(220)는 개인건강기록의 데이터 포맷을 저장하고 있다. 또한, 저장부(220)는 영상 인식부(241)에 의해 인식한 영상 정보와 OCR부(242)에 의해 인식된 텍스트 정보, 이들이 데이터 포맷에서 각 정보의 종류에 따라 구분된 개인건강기록을 저장하고 있다.
저장부(220)는 개인건강기록의 데이터 포맷과 영상 인식부(241)에 의해 인식한 영상 정보와 OCR부(242)에 의해 인식된 텍스트 정보를 별도로 저장하고 출력부(250)를 통해 개인건강기록을 출력할 때 데이터 포맷에 맞추어 각 정보를 출력할 수도 있다.
도 4는 영상 데이터의 일예이다. 도 5는 도 3의 영상 인식부와 OCR부에 의해 도 4의 영상 데이터에서 영상 정보와 텍스트 정보를 인식하여 미리 정한 데이터 포맷에 분리하여 저장하는 과정을 설명하는 도면이다. 도 6a은 새롭게 저장된 검사결과의 예이다.
도 4를 참조하면, 영상 데이터는 예를 들어 카메라와 같은 입력장치를 통해 촬영된 영상 데이터로, 발달장애 아동의 검사결과, 예를 들어 언어이해, 지각추론, 작업기억, 처리속도 등을 평가하고 이들을 질적분류(수준)한 기존 검사자료일 수 있다.
도 5를 참조하면, OCR부(242)도 일반적인 글자 인식 기술이나 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터(a)로부터 텍스트 정보(310)를 인식하고, 그 텍스트 정보(310)의 의미를 파악하여 미리 정한 데이터 포맷(314)에 맞추어 개인건강기록을 각 정보의 종류에 따라 구분할 수 있다.
구체적으로 입력된 영상 데이터(도 5의 (a))는 언어이해와 지각추론, 작업기억, 처리 속도가 세로 방향으로 정렬되어 있고, 각 항목에 대한 지표점수, 백분위, 95% 신뢰구간, 질적분류(수준)가 가로 방향으로 정렬된 특정 데이터 포맷을 구성되어 있다.
OCR부(242)는 입력된 영상 데이터(도 5의 (a))로부터 텍스트 정보(310)를 인식하고, 그 텍스트 정보(310)의 의미를 파악하고, 언어이해와 지각추론, 작업기억, 처리 속도가 가로 방향으로 정렬되고 각 항목에 대한 지표점수, 백분위, 95% 신뢰구간, 질적분류(수준)가 세로 방향으로 정렬된 이미 정해진 데이터 포맷(314)로 저장부(220)에 저장할 수 있다.
영상 인식부(241)는 일반적인 영상 인식 기술이나 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터(도 5의 (a))로부터 영상 정보(312)를 인식하고, 인식된 영상 정보의 의미를 파악하여 인식된 영상 정보의 종류에 따라 미리 정한 데이터 포맷(316)에 맞추어 구분하여 저장부(220)에 저장할 수 있다.
도 5의 (b)에 도시한 바와 같이, 제어부(240)는 저장부(220)에 저장된 개인건강기록의 데이터 포맷의 항목들 중 영상 인식부(241)와 OCR부(242)에 의해서 인식되는 않은 항목(318)을 다른 서버나 단말을 통해 입력할 수 있는 화면(예를 들어 의견추가 항목)을 통신부(210) 또는 출력부(250)을 통해 제공할 수 있다.
제어부(240)는 영상 인식부(241)와 OCR부(242)에 의해서 인식된 영상 정보와 텍스트 정보가 정확한지 확인할 수 있는 화면을 도 6a에 도시한 바와 같이 다른 서버나 단말에게 통신부(210) 또는 출력부(250)을 통해 제공할 수 있다.
도 6b 및 도 6c는 영상 인식부(241)와 OCR부(242)에 의해서 인식된 영상 정보와 텍스트 정보를 템플릿에 자동 분류해서 필드별로 저장부(220)에 저장하는 과정들을 도시하고 있다.
도 6b와 도 6c을 참조하면, 제어부(240)는 여러 기관들 또는 병원들에게 서로 다른 데이터 입력 방식으로 작성되거나 입력된 후 영상 인식부(241)와 OCR부(242)에 의해서 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화할 수 있다.
예를 들어, 제어부(240)는 도 6b에 도시한 바와 같이, 순차처리의 하위검사, 표준검사, 신뢰구간(90%), 신뢰구간 (95%), 백분위, 서술적 범위 등을 각각의 필드 01 내지 07의 이름과 내용으로 구분하여 필드별로 자동분류하여 데이터화한다.
다른 예를 들어, 제어부(240)는 도 6c에 도시한 바와 같이, 언어이행, 언어이해-환산점수 합, 언어이해-지표점수, 언어이해-백분위, 언어이해-신뢰구간, 언어이해-분류범주 등을 각각의 필드 01 내지 06의 이름과 내용으로 구분하여 필드별로 자동분류하여 데이터화한다.
전술한 바와 같이, 출력부(250)는 도 6b 및 도 6c에 도시한 바와 같이, 템플릿 자동 분류 결과를 출력한다. 또한 출력부(250)는 도 5의 (b) 및 도 6a에 도시한 바와 같이, 제어부(240)에 의해 저장부(220)에 저장된 개인건강기록의 데이터 포맷의 항목들 중 영상 인식부(241)와 OCR부(242)에 의해서 인식한 내용을 표시할 수 있다.
결과적으로 서버(200)는 여러 기관들 또는 병원들에게 서로 다른 데이터 입력 방식으로 입력된 데이터들을 호환하여 통일된 템플릿의 데이터로 데이터화할 수 있다.
전술한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는 물리치료/감각통합/인지치료/언어치료 등 발달장애 아동에게 꼭 필요한 치료기록을 통합하여 개인이 관리할 수 있게 하며 동시에 병원 의료진에게 정확한 정보전달을 가능하게 한다.
또한, 이 서버(200)는 개인 건강 정보보호기술을 적용하여 환자의 데이터를 암호화된 자료로 보관함으로써, 해당 환자에 의해서만 검사기록을 확인할 수 있도록 한다.
또한, 이 서버(200)는 환자의 개인건강기록을 포함한 전문데이터를 태깅함으로써, 진단 데이터, 약물 순응도, 앱 사용 정보의 각각의 개별 정보, 상관관계, 경향성을 제공하여 환자의 상태를 다각도로 판단하므로 진단의 민감도/특이도의 향상에 기여할 수 있다.
또한, 이 서버(200)는 인공지능 알고리즘을 형성하는데 있어서 의사의 전문의견이 포함된 의료데이터를 확보할 수 있어 의료 인공지능 영역의 발전에 크게 기여할 있다.
다시 도 3을 참조하면, 제어부(240)는 데이터 변환부(243)와 자동번역부(244)를 추가로 포함할 수 있다.
도 8은 도 3의 데이터 변환부의 동작을 설명한 도면이다.
도 3 및 도 8을 참조하면, 데이터 변환부(243)는, 같은 검사임에도 서로 다른 단위 및 표현방식으로 작성되어 있는 병원 간의 검사결과를 통합 인식할 수 있다. 데이터 변환부(243)는, 특히 발달장애 아동의 경우 병원뿐 아니라 여러 발달 센터에서도 동일한 검사를 시행하는 경우에도 검사 결과를 호환 및 통합 인식할 수 있다.
전술한 바와 같이, 전세계적으로 통용되는 검사임에도 검사 기관 별로 다르게 검사 결과를 기술하는데, 데이터 변환부(243)는, 예를 들어 검사 결과를 percentile(%ile), 상중하, 우수/저조와 같은 방식으로 변환할 수 있다. 즉, 데이터 변환부(243)는, 각 검사 결과를 인식하고 특정 표현방식으로 변환할 수 있다.
도 8에 도시한 바와 같이, 데이터 변환부(243)은 예를 들어, IQ(Intelligence Quotient), T 스코어(T Score), Z 스코어(Z Score), 사회 지수(Social Quotient), 언어 지수(Language Quotient) 등으로 작성된 검사 결과를 변환테이블(243a, PSYCHOMETRIC CONVERSION TABLE)을 참조하여 percentile(%ile)로 변환할 수 있다.
전술한 바와 같이, OCR부(242)는 입력된 영상 데이터(도 5의 (a))로부터 텍스트 정보(310)를 인식하고, 그 텍스트 정보(310)의 의미를 파악한다. 한편, 입력부(230)는 환자 정보와 임상정보가 포함된 개인건강기록을 디지털 데이터로 입력할 수도 있다.
데이터 변환부(243)는, OCR부(242)에 의해 인식하거나 입력부(230)를 통해 입력된 개인건강정보, 예를 들어 각 검사 결과를 특정 표현방식, 예를 들어 percentile(%ile), 상중하, 우수/저조와 같은 방식로 변환할 수 있다.
도 9는 도 3의 자동번역부의 동작을 설명한 도면이다.
도 3 및 도 9을 참조하면, 자동번역부(244)는 다양한 언어의 개인건강정보를 특정 언어로 자동번역하는 작업을 진행할 수 있다.
개인건강정보가 한국어(Korean)뿐만 아니라 영어(English), 중국어(Chinese), 일본어(Japanese), 이태리어(Italian), 독일어(German), 프랑스어(French) 등 다양한 언어들로 작성될 수 있다. 자동번역부(244)는 예를 들어 인공지능 학습모델(244a)을 이용하여 다양한 언어의 개인건강정보를 특정 언어로 자동번역하는 작업을 진행할 수 있다. 자동번역부(244)는 인공신경망을 기초로 구성된 인공지능 학습모델(244a)을 학습시킨 후 학습된 인공지능 학습모델(244a)를 이용하여 다양한 언어의 개인건강정보를 특정 언어로 자동번역하는 작업을 진행할 수 있다.
예를 들어, 자동번역부(244)는 OCR부(242)에 의해 인식하거나 입력부(230)를 통해 입력된 개인건강정보에 다른 언어들로 각각 작성된 내용이 있다면 특정 언어, 예를 들어 한국어로 자동번역할 수 있다. 출력부(250)는 자동번역된 내용을 특정 언어, 예를 들어 한국어만으로 표시하거나, 한국어와 원어를 병기하여 표시할 수 있다.
다른 예로, 자동번역부(244)는 OCR부(242)에 의해 인식하거나 입력부(230)를 통해 입력된 개인건강정보 전체가 한국어 이외에 다른 언어로 구성된 경우, 개인건강정보 전체를 한국어로 자동번역할 수 있다. 전술한 바와 같이, 출력부(250)는 자동번역된 개인건강정보 전체를 한국어로 표시할 수도 있지만, 특정 단어나 특정 문구에 대해서는 한국어와 원어를 병기할 수도 있다.
자동번역부(244)는 도 9를 참조하여 설명한 바와 같이 인공지능 학습모델을 이용하거나 특정 번역 알고리즘, 예를 들어 마르코프 알고리즘 등을 이용하여 문장이나 문단, 단어를 자동번역할 수 있다.
전술한 바와 같이, 제어부(240)는 영상 인식부(241)와 OCR부(242)에 의해서 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화할 때, 자동번역부(244)의 자동번역된 내용을 참조하여 템플릿의 필드별로 자동 분류하여 데이터화할 수 있다.
한편, 데이터 변환부(243)가 개인건강정보의 특정 단위나 특정 표현방식으로 변환할 때 자동번역부(244)의 자동번역된 내용을 참조하여 개인건강정보의 특정 단위나 특정 표현방식으로 변환할 수 있다.
전술한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는 데이터 변환부(243)에 의해 개인건강정보의 특정 단위나 특정 표현방식으로 변환하거나 자동변역부(244)에 의해 개인건강정보의 전부 또는 일부를 다양한 언어로 자동번역하여 템플릿의 필드별로 자동 분류하여 데이터화하므로, 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화할 수 있다.
이와 같이 서버(200)가 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화화므로, 영상 입력부(241)나 OCR부(242)가 인공지능을 이용할 경우 학습 데이터량을 증가시킬 수 있어 인공지능의 학습성능을 향상시킬 수 있다.
이상 도 1 내지 6c을 참조하여 일 실시예에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버에 대해 설명하였다. 이하, 다른 실시에에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법을 도면을 참조하여 설명한다. 이 방법은 전술한 일 실시예에 따른 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버에 의해 수행될 수도 있지만, 다른 서버나 다른 단말 등에 의해 수행될 수도 있다.
도 7은 다른 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법의 흐름도이다.
도 7을 참조하면, 발달장애 아동에 대한 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법(400)은 영상 데이터를 입력받는 단계(S410), 입력받은 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장하도록 제어하는 단계(S420) 및 저장된 환자정보와, 임상정보와 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 요청에 따라 표시하는 단계(S430)를 포함한다.
영상 데이터는 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나일 수 있다.
제어하는 단계(S420)는, i)검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 영상 정보를 인식하고, ii)검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 텍스트 정보를 인식하고, iii)특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 인식한 영상 정보와 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 환자 정보와 임상정보, 치료에 따른 변화추이 정보로 구분하여 저장할 수 있다.
도 4 및 도 5를 참조하여 설명한 바와 같이, 제어하는 단계(S420)에서 일반적인 글자 인식 기술이나 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터(a)로부터 텍스트 정보(310)를 인식하고, 그 텍스트 정보(310)의 의미를 파악하여 미리 정한 데이터 포맷(314)에 맞추어 개인건강기록을 각 정보의 종류에 따라 구분할 수 있다.
구체적으로 입력된 영상 데이터(a)는 언어이해와 지각추론, 작업기억, 처리 속도가 세로 방향으로 정렬되어 있고, 각 항목에 대한 지표점수, 백분위, 95% 신뢰구간, 질적분류(수준)가 가로 방향으로 정렬된 특정 데이터 포맷을 구성되어 있다.
제어하는 단계(S420)에서 입력된 영상 데이터(a)로부터 텍스트 정보(310)를 인식하고, 그 텍스트 정보(310)의 의미를 파악하고, 언어이해와 지각추론, 작업기억, 처리 속도가 가로 방향으로 정렬되고 각 항목에 대한 지표점수, 백분위, 95% 신뢰구간, 질적분류(수준)가 세로 방향으로 정렬된 이미 정해진 데이터 포맷(314)로 저장부(220)에 저장할 수 있다.
제어하는 단계(S420)에서 일반적인 영상 인식 기술이나 인공 신경망을 이용하는 딥러닝 기술을 이용하여 입력된 영상 데이터(a)로부터 영상 정보(312)를 인식하고, 인식된 영상 정보의 의미를 파악하여 인식된 영상 정보의 종류에 따라 미리 정한 데이터 포맷(316)에 맞추어 구분하여 저장할 수 있다.
도 5의 (b)에 도시한 바와 같이, 제어하는 단계(S420)에서 저장된 개인건강기록의 데이터 포맷의 항목들 중 인식되는 않은 항목(318)을 다른 서버나 단말을 통해 입력할 수 있는 화면을 제공할 수 있다.
제어하는 단계(S420)에서 인식된 영상 정보와 텍스트 정보가 정확한지 확인할 수 있는 화면을 다른 서버나 단말에게 제공할 수 있다.
제어하는 단계(S420)는 데이터 베이스와 날리지 베이스(Knowledge Base, 임상가의 해석) 간의 매칭을 통해 빅 데이터를 구축하고 특정 알고리즘을 형성 및 향상시킬 수 있다.
제어하는 단계(S420)는 같은 검사임에도 서로 다른 단위 및 표현방식으로 작성되어 있는 병원 간의 검사결과를 통합 인식할 수 있다. 제어하는 단계(S420)는 특히 발달장애 아동의 경우 병원뿐 아니라 여러 발달 센터에서도 동일한 검사를 시행 하는 경우에도 센터 검사 결과를 호환 및 통합 인식할 수 있다.
도 6b 및 도 6c는 영상 인식부(241)와 OCR부(242)에 의해서 인식된 영상 정보와 텍스트 정보를 템플릿에 자동 분류해서 필드별로 저장하는 과정들을 도시하고 있다.
도 6b와 도 6c을 참조하여 전술한 바와 같이, 제어하는 단계(S420)에서 여러 기관들 또는 병원들에게 서로 다른 데이터 입력 방식으로 작성되거나 입력된 후 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화할 수 있다.
전술한 바와 같이, 출력하는 단계(S430)에서, 템플릿 자동 분류 결과를 출력한다.
예를 들어, 제어하는 단계(S420)에서, 도 6b에 도시한 바와 같이, 순차처리의 하위검사, 표준검사, 신뢰구간(90%), 신뢰구간 (95%), 백분위, 서술적 범위 등을 각각의 필드 01 내지 07의 이름과 내용으로 구분하여 필드별로 자동분류하여 데이터화한다.
다른 예를 들어, 제어하는 단계(S420)에서, 도 6c에 도시한 바와 같이, 언어이행, 언어이해-환산점수 합, 언어이해-지표점수, 언어이해-백분위, 언어이해-신뢰구간, 언어이해-분류범주 등을 각각의 필드 01 내지 06의 이름과 내용으로 구분하여 필드별로 자동분류하여 데이터화한다.
전술한 바와 같이, 출력하는 단계(S430)에서, 도 6b 및 도 6c에 도시한 바와 같이, 템플릿 자동 분류 결과를 출력한다. 또한 출력하는 단계(S430)에서, 도 5의 (b) 및 도 6a에 도시한 바와 같이, 제어하는 단계(S420)에 의해 저장된 개인건강기록의 데이터 포맷의 항목들 중 영상 인식부(241)와 OCR부(242)에 의해서 인식한 내용을 표시할 수 있다.
이를 통해 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법(400)은 여러 기관들 또는 병원들에게 서로 다른 데이터 입력 방식으로 입력된 데이터드를 호환하여 통일된 템플릿의 데이터로 데이터화할 수 있다.
전술한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법(400)는 물리치료/감각통합/인지치료/언어치료 등 발달장애 아동에게 꼭 필요한 치료기록을 통합하여 개인이 관리할 수 있게 하며 동시에 병원 의료진에게 정확한 정보전달을 가능하게 한다.
또한, 이 방법(400)는 개인 건강 정보보호기술을 적용하여 환자의 데이터를 암호화된 자료로 보관함으로써, 해당 환자에 의해서만 검사기록을 확인할 수 있도록 한다.
또한, 이 방법(400)는 소아의 개인건강기록을 포함한 전문데이터를 태깅함으로써, 진단 데이터, 약물 순응도, 앱 사용 정보의 각각의 개별 정보, 상관관계, 경향성을 제공하여 환자의 상태를 다각도로 판단하므로 α진단의 민감도/특이도의 향상에 기여할 수 있다.
또한, 이 서버(200)는 인공지능 알고리즘을 형성하는데 있어서 의사의 전문의견이 포함된 의료데이터를 확보할 수 있어 의료 인공지능 영역의 발전에 크게 기여할 있다.
다시 도 7을 참조하면, 제어하는 단계(S420)에서, 같은 검사임에도 서로 다른 단위 및 표현방식으로 작성되어 있는 병원 간의 검사결과를 통합 인식할 수 있다. 제어하는 단계(S420)에서, 특히 발달장애 아동의 경우 병원뿐 아니라 여러 발달 센터에서도 동일한 검사를 시행하는 경우에도 검사 결과를 호환 및 통합 인식할 수 있다.
전술한 바와 같이, 전세계적으로 통용되는 검사임에도 검사 기관 별로 다르게 검사 결과를 기술하는데, 제어하는 단계(S420)에서, 예를 들어 검사 결과를 percentile(%ile), 상중하, 우수/저조와 같은 방식으로 변환할 수 있다. 즉, 제어하는 단계(S420)에서, 각 검사 결과를 인식하고 특정 표현방식으로 변환할 수 있다.
제어하는 단계(S420)에서, 인식되거나 입력된 개인건강정보, 예를 들어 각 검사 결과를 특정 표현방식, 예를 들어 percentile(%ile), 상중하, 우수/저조와 같은 방식로 변환할 수 있다.
개인건강정보가 한국어뿐만 아니라 영어, 중국어, 일본어 등 다양한 언어들로 작성될 수 있다. 제어하는 단계(S420)에서, 다양한 언어의 개인건강정보를 특정 언어로 자동번역하는 작업을 진행할 수 있다.
예를 들어, 제어하는 단계(S420)에서, 인식되거나 입력된 개인건강정보에 다른 언어들로 각각 작성된 내용이 있다면 특정 언어, 예를 들어 한국어로 자동번역할 수 있다. 출력하는 단계(S430)에서, 자동번역된 내용을 특정 언어, 예를 들어 한국어만으로 표시하거나, 한국어와 원어를 병기하여 표시할 수 있다.
다른 예로, 제어하는 단계(S420)에서, 인식되거나 입력된 개인건강정보 전체가 한국어 이외에 다른 언어로 구성된 경우, 개인건강정보 전체를 한국어로 자동번역할 수 있다. 전술한 바와 같이, 출력하는 단계(S430)에서, 자동번역된 개인건강정보 전체를 한국어로 표시할 수도 있지만, 특정 단어나 특정 문구에 대해서는 한국어와 원어를 병기할 수도 있다.
제어하는 단계(S420)에서, 인공지능 알고리즘을 이용하거나 특정 번역 알고리즘, 예를 들어 마르코프 알고리즘 등을 이용하여 문장이나 문단, 단어를 자동번역할 수 있다.
전술한 바와 같이, 제어하는 단계(S420)에서, 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화할 때, 자동번역된 내용을 참조하여 템플릿의 필드별로 자동 분류하여 데이터화할 수 있다.
한편, 제어하는 단계(S420)에서, 개인건강정보의 특정 단위나 특정 표현방식으로 변환할 때 자동번역된 내용을 참조하여 개인건강정보의 특정 단위나 특정 표현방식으로 변환할 수 있다.
전술한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버(200)는 개인건강정보의 특정 단위나 특정 표현방식으로 변환하거나 개인건강정보의 전부 또는 일부를 다양한 언어로 자동번역하여 템플릿의 필드별로 자동 분류하여 데이터화하므로, 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화할 수 있다.
이와 같이 전술한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법(400)은 다양한 국가의 병원이나 발달 센터에서 작성된 다양한 언어의 개인건강정보를 글로벌 빅데이터화화므로, 인공지능을 이용할 경우 학습 데이터량을 증가시킬 수 있어 인공지능의 학습성능을 향상시킬 수 있다.
또 다른 실시예는 전술한 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
전술한 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
일 실시예에 따른 빅데이터 및 인공지능 기반 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법 및 또 다른 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버로,
    네트워크를 통해 다른 서버 또는 단말과 통신하고, 상기 다른 서버 또는 상기 단말로부터 영상 데이터를 입력받는 통신부;
    환자정보와 상기 임상정보를 포함하는 개인건강기록을 저장하는 저장부;
    영상 데이터를 입력받는 입력부;
    입력받은 상기 영상 데이터로부터 영상 정보와 텍스트 정보 중 적어도 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 상기 영상 정보와 상기 텍스트 정보 중 적어도 하나를 미리 정한 데이터 포맷으로 상기 환자 정보와 상기 임상정보로 구분하여 상기 저장부에 저장하는 제어부; 및
    상기 저장부에 저장된 상기 환자정보와 상기 임상정보를 포함하는 상기 개인건강기록을 요청에 따라 표시하는 출력부를 포함하는 서버.
  2. 제 1 항에 있어서,
    상기 영상 데이터는 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나이고,
    상기 제어부는 상기 검사 자료의 영상 데이터, 상기 처방전 영상 데이터, 상기 의료 보고서 중 하나로부터 상기 영상 정보를 인식하는 영상 인식부와, 상기 검사 자료의 영상 데이터, 상기 처방전 영상 데이터, 상기 의료 보고서 중 하나로부터 상기 텍스트 정보를 인식하는 OCR (optical character recognition)부를 포함하고,
    상기 제어부는 인식한 상기 영상 정보와 상기 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 상기 환자 정보와 상기 임상정보로 구분하여 상기 저장부에 저장하는 서버.
  3. 제 2항에 있어서,
    상기 제어부는 인식한 상기 영상 정보와 상기 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 상기 환자 정보와 상기 임상정보, 상기 치료에 따른 변화추이 정보로 구분하여 상기 저장부에 저장하는 서버.
  4. 제 1 항에 있어서,
    상기 제어부는 서로 다른 데이터 입력 방식으로 작성되거나 입력된 후 상기 영상 인식부와 상기 OCR부에 의해서 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화하는 서버.
  5. 제 2 항에 있어서,
    상기 OCR부는, 상기 텍스트 정보를 인식할 때, 글자 인식 (Optical Character Recognition) 기술을 이용하여 영상 데이터에 포함된 문자 이미지에 대하여 이진화(binarization), 단어 단위의 분리(word segmentation), 글자 단위의 분리(character segmentation)를 순차적으로 수행한 후 개별 글자(character recognition)를 인식하는 서버.
  6. 제 5 항에 있어서,
    상기 제어부는, 같은 검사임에도 서로 다른 단위 및 표현방식으로 작성되어 있는 병원 간의 검사결과를 특정 단위 또는 특정 표현방식으로 변환하는 데이터 변환부를 추가로 포함하는 서버.
  7. 제 5 항에 있어서,
    상기 제어부는, 상기 OCR부에 의해 인식하거나 상기 입력부를 통해 입력된 개인건강정보 전부 또는 일부에 다른 언어들로 각각 작성된 내용을 특정 언어로 자동번역하는 자동번역부를 추가로 포함하는 서버.
  8. 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법으로,
    영상 데이터를 입력받는 단계;
    입력받은 상기 영상 데이터로부터 영상 정보와 텍스트 정보 중 하나를 인식하고, 인식한 텍스트 정보의 언어에 관계없이, 인식한 상기 영상 정보와 상기 텍스트 정보 중 하나를 미리 정한 데이터 포맷으로 상기 환자 정보와 상기 임상정보, 상기 치료에 따른 변화추이 정보로 구분하여 저장하도록 제어하는 단계; 및
    저장된 상기 환자정보와, 상기 임상정보와 상기 치료에 따른 변화 추이 정보를 포함하는 개인건강기록을 요청에 따라 표시하는 단계를 포함하는 방법.
  9. 제 7 항에 있어서,
    상기 영상 데이터는 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나이고,
    상기 제어하는 단계는, i)상기 검사 자료의 영상 데이터, 상기 처방전 영상 데이터, 상기 의료 보고서 중 하나로부터 상기 영상 정보를 인식하고, ii)상기 검사 자료의 영상 데이터, 상기 처방전 영상 데이터, 상기 의료 보고서 중 하나로부터 상기 텍스트 정보를 인식하고, iii)상기 특정 데이터 포맷으로 작성된 검사 자료의 영상 데이터, 처방전 영상 데이터, 의료 보고서 중 하나로부터 인식한 상기 영상 정보와 상기 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 상기 환자 정보와 상기 임상정보로 구분하여 저장하는 방법.
  10. 제 9 항에 있어서,
    상기 제어하는 단계에서, 인식한 상기 영상 정보와 상기 텍스트 정보 중 하나를 미리 정한 데이터 포맷에 맞추어 상기 환자 정보와 상기 임상정보, 상기 치료에 따른 변화추이 정보로 구분하여 저장하는 서버.
  11. 제 8 항에 있어서,
    상기 제어하는 단계에서, 서로 다른 데이터 입력 방식으로 작성되거나 입력된 후 인식된 영상 정보와 텍스트 정보의 판독영역을 템플릿의 필드별로 자동 분류하여 데이터화하는 방법.
  12. 제 11 항에 있어서,
    상기 제어하는 단계에서, 상기 텍스트 정보를 인식할 때, 글자 인식 (Optical Character Recognition) 기술을 이용하여 영상 데이터에 포함된 문자 이미지에 대하여 이진화(binarization), 단어 단위의 분리(word segmentation), 글자 단위의 분리(character segmentation)를 순차적으로 수행한 후 개별 글자(character recognition)를 인식하는 방법.
  13. 제 11 항에 있어서,
    상기 제어하는 단계에서, 같은 검사임에도 서로 다른 단위 및 표현방식으로 작성되어 있는 병원 간의 검사결과를 특정 단위 또는 특정 표현방식으로 변환하는 방법.
  14. 제 11 항에 있어서,
    상기 제어하는 단계에서, 상기 텍스트 정보를 인식하거나 개인건강정보 전부 또는 일부에 다른 언어들로 각각 작성된 내용을 특정 언어로 자동번역하는 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 한의 발달장애 아동에 대한 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/014601 2021-10-08 2022-09-28 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체 WO2023058990A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/928,538 US20230307099A1 (en) 2021-10-08 2022-09-28 Server and method for integrating and managing personal health records as global bigdata and recording medium thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0133664 2021-10-08
KR1020210133664A KR20230050595A (ko) 2021-10-08 2021-10-08 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체

Publications (1)

Publication Number Publication Date
WO2023058990A1 true WO2023058990A1 (ko) 2023-04-13

Family

ID=85804487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014601 WO2023058990A1 (ko) 2021-10-08 2022-09-28 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체

Country Status (3)

Country Link
US (1) US20230307099A1 (ko)
KR (1) KR20230050595A (ko)
WO (1) WO2023058990A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133822B1 (ko) * 2010-11-09 2012-04-06 김병일 무선통신단말을 이용한 발달성 장애치료 방법 및 이를 구현한 시스템
KR20130113288A (ko) * 2012-04-05 2013-10-15 주식회사 유코리아 휴대용 개인건강 기록 저장 장치
JP5426275B2 (ja) * 2009-08-19 2014-02-26 株式会社東芝 医用情報表示装置
KR101815455B1 (ko) * 2015-12-31 2018-01-05 (주)블루와이즈 개인 건강정보 기반의 건강 콘텐츠 생성 및 맞춤형 정보 제공시스템
KR20210056366A (ko) * 2018-09-05 2021-05-18 백스터 인터내셔널 인코포레이티드 환자 참여 및 치료 준수를 위한 모바일 플랫폼을 포함하는 의료용 유체 전달 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426275B2 (ja) * 2009-08-19 2014-02-26 株式会社東芝 医用情報表示装置
KR101133822B1 (ko) * 2010-11-09 2012-04-06 김병일 무선통신단말을 이용한 발달성 장애치료 방법 및 이를 구현한 시스템
KR20130113288A (ko) * 2012-04-05 2013-10-15 주식회사 유코리아 휴대용 개인건강 기록 저장 장치
KR101815455B1 (ko) * 2015-12-31 2018-01-05 (주)블루와이즈 개인 건강정보 기반의 건강 콘텐츠 생성 및 맞춤형 정보 제공시스템
KR20210056366A (ko) * 2018-09-05 2021-05-18 백스터 인터내셔널 인코포레이티드 환자 참여 및 치료 준수를 위한 모바일 플랫폼을 포함하는 의료용 유체 전달 시스템

Also Published As

Publication number Publication date
KR20230050595A (ko) 2023-04-17
US20230307099A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
WO2021215736A1 (ko) 인공지능 전염병 무인진단 서비스 제공 시스템
WO2022145782A2 (ko) 빅데이터 및 클라우드 시스템 기반 인공지능 응급의료 의사결정 및 응급환자 이송 시스템과 그 방법
WO2011069016A1 (en) Integrated electronic health record (ehr) system with transcription, speech recognition and automated data extraction
US20210327582A1 (en) Method and system for improving the health of users through engagement, monitoring, analytics, and care management
Chien et al. Identification of serious illness conversations in unstructured clinical notes using deep neural networks
WO2013009024A2 (ko) 건강 분류 정보를 이용한 응용 서비스 제공 방법 및 장치
Yamamoto et al. Challenges of electronic medical record implementation in the emergency department
Balasubramanian et al. Pandemic tele-smart: a contactless tele-health system for efficient monitoring of remotely located COVID-19 quarantine wards in India using near-field communication and natural language processing system
Day et al. Attitudes and concerns of doctors and nurses about using a translation application for in-hospital brief interactions with Korean patients
CN106557646A (zh) 记录介质、应用程序激活控制方法和信息处理设备
Gurupur et al. A brief analysis of challenges in implementing telehealth in a rural setting
Legler et al. Evaluation of an intrahospital telemedicine program for patients admitted with COVID-19: mixed methods study
WO2023058990A1 (ko) 개인건강기록을 글로벌 빅데이터화하여 통합적으로 관리하는 서버 및 그 방법, 그 기록매체
WO2022059864A1 (ko) 발달장애 아동에 대한 개인건강기록을 통합적으로 관리하는 서버 및 그 방법, 그 기록매체
Nair et al. Automated clinical concept-value pair extraction from discharge summary of pituitary adenoma patients
WO2016020935A2 (en) A one screen multi-fold gesture based, interactive time-line view based, relationship management system and method
CN110335649B (zh) 一种基于Filemaker数据库的临床药物试验数据平台
WO2022225122A1 (ko) 환자 맞춤형 전자 문진 시스템, 문진용 단말 및 이를 이용한 문진 방법
Merati-Fashi et al. Stroke Survivors and Their Family Caregivers’ Experiences of Health Information Seeking: A Qualitative Study
WO2022060179A1 (ko) 발달장애 아동에 대한 개인건강기록을 통합적으로 관리하는 서버 및 그 방법, 그 기록매체
Huang et al. Generating standardized clinical documents for medical information exchanges
Saini et al. Referrals to a consultation-liaison psychiatry service in a tertiary care COVID-19 hospital in Northern India: a comparison with global trends
US10165945B1 (en) Cognitively integrated indicating system
WO2020138924A2 (ko) 뇌전증 관련 정보 관리 시스템
WO2023008616A1 (ko) 라이프 시퀀스 기반 헬스데이터 플랫폼

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878811

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE