WO2021187826A1 - 골다공증 진단 장치 및 그 골다공증 진단 방법 - Google Patents

골다공증 진단 장치 및 그 골다공증 진단 방법 Download PDF

Info

Publication number
WO2021187826A1
WO2021187826A1 PCT/KR2021/003142 KR2021003142W WO2021187826A1 WO 2021187826 A1 WO2021187826 A1 WO 2021187826A1 KR 2021003142 W KR2021003142 W KR 2021003142W WO 2021187826 A1 WO2021187826 A1 WO 2021187826A1
Authority
WO
WIPO (PCT)
Prior art keywords
osteoporosis
data
medical image
patient
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/003142
Other languages
English (en)
French (fr)
Inventor
홍재택
김일섭
박용길
이종범
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugbookuniversity Hospital
Industry Academic Cooperation Foundation of Catholic University of Korea
Original Assignee
Chugbookuniversity Hospital
Industry Academic Cooperation Foundation of Catholic University of Korea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugbookuniversity Hospital, Industry Academic Cooperation Foundation of Catholic University of Korea filed Critical Chugbookuniversity Hospital
Publication of WO2021187826A1 publication Critical patent/WO2021187826A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A61B5/4509—Bone density determination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present invention provides an apparatus for diagnosing osteoporosis for diagnosing osteoporosis and a method for diagnosing the same.
  • CDSS AI-based clinical decision support system
  • CDSS was researched and developed so that the knowledge-centered architecture and the clinical decision-making application-centered architecture were mixed.
  • the application driver that drives the clinical decision support application
  • the interface repository that stores the electronic medical record schema for each hospital, respectively
  • the interface repository according to the operation of the application driver, referring to the clinician
  • the interface server for retrieving patient information for decision support the knowledge authoring unit that performs standards-based knowledge authoring for clinical decision support
  • the knowledge repository that stores the knowledge authored in the knowledge authoring unit
  • the knowledge repository that stores the knowledge authored in the knowledge authoring unit
  • the knowledge base which is the most essential element in CDSS, must ensure high reliability, accuracy, and integrity due to the characteristics of the medical field. Although it should be able to be maintained even in the maintenance stage, most medical expert systems, including the above-described system, do not accommodate changes in new knowledge found during the use of these systems, so that their utilization in actual hospital sites is not activated.
  • Embodiments provide an apparatus for diagnosing osteoporosis for accurate diagnosis of osteoporosis, and a method for diagnosing osteoporosis.
  • embodiments provide an apparatus for diagnosing osteoporosis that reduces work load by shortening diagnosis time, and a method for diagnosing osteoporosis.
  • the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
  • the present specification receives medical image data including human tissue and patient information, extracts an ROI of a medical image from the medical image data, normalizes the extracted medical image data and patient information of the ROI, and normalizes the Disclosed are an apparatus for diagnosing osteoporosis and a method for diagnosing osteoporosis by inputting medical image data and patient information into a learned deep learning model, estimating a patient's osteoporosis diagnosis result, and outputting the estimated patient's osteoporosis diagnosis result.
  • a pre-processing of receiving medical image data including human tissue and patient information, extracting an ROI of a medical image from the medical image data, and normalizing the extracted medical image data and the patient information of the ROI Includes an estimator for estimating the patient's osteoporosis diagnosis result by inputting the medical image data and patient information normalized by the preprocessor into the trained deep learning model, and an output unit for outputting the osteoporosis diagnosis result of the patient estimated by the estimator
  • An osteoporosis diagnostic device is provided.
  • Another embodiment includes a pre-processing step of receiving medical image data and patient information including human tissue, extracting an ROI of the medical image from the medical image data, and normalizing the extracted medical image data and the patient information of the ROI;
  • An osteoporosis diagnosis method comprising an estimation step of estimating a patient's osteoporosis diagnosis result by inputting normalized medical image data and patient information into a trained deep learning model, and an outputting step of outputting the osteoporosis diagnosis result of the patient estimated in the estimation step provides
  • the apparatus for diagnosing osteoporosis and the method for diagnosing osteoporosis it is possible to accurately diagnose osteoporosis.
  • the apparatus for diagnosing osteoporosis and the method for diagnosing the osteoporosis according to the embodiments it is possible to reduce the amount of work by shortening the diagnosis time.
  • FIG. 1 is a view for explaining a system for providing osteoporosis treatment service based on big data and artificial intelligence according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an osteoporosis treatment service providing server included in the system of FIG. 1 .
  • 3A, 3B and 3C are diagrams for explaining an embodiment in which a big data and artificial intelligence-based osteoporosis treatment service according to an embodiment of the present invention is implemented.
  • FIG. 4 is a diagram illustrating a process in which data is transmitted/received between components included in the big data and artificial intelligence-based osteoporosis treatment service providing system of FIG. 1 according to an embodiment of the present invention.
  • FIG. 5 is an operation flowchart illustrating a method of providing a big data and artificial intelligence-based osteoporosis treatment service according to an embodiment of the present invention.
  • FIG. 6 is a block diagram of an apparatus for diagnosing bone density according to another exemplary embodiment.
  • FIG. 7 shows a result of extracting a region of interest of the lumbar spine by the preprocessor of FIG. 6 .
  • FIG. 10 is a view for explaining characteristics of a femur included in medical image data in the preprocessor of FIG. 6 .
  • FIG. 11 shows the result of extracting the region of interest of the femur in the preprocessor of FIG. 6 .
  • FIG. 14 is a flowchart of a method for diagnosing osteoporosis according to another embodiment.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • FIG. 1 is a view for explaining a system for providing osteoporosis treatment service based on big data and artificial intelligence according to an embodiment of the present invention.
  • the big data and artificial intelligence-based osteoporosis treatment service providing system 1 includes at least one diagnosis request terminal 100 , an osteoporosis treatment service providing server 300 , at least one diagnosis terminal 400 , It may include at least one information providing server 500 .
  • the big data and artificial intelligence-based osteoporosis treatment service providing system 1 of FIG. 1 is only an embodiment of the present invention, the present invention is not limitedly interpreted through FIG. 1 .
  • each component of FIG. 1 is generally connected through a network 200 .
  • at least one diagnosis request terminal 100 may be connected to the osteoporosis treatment service providing server 300 through the network 200 .
  • the osteoporosis treatment service providing server 300 may be connected to at least one diagnosis request terminal 100 , at least one diagnosis terminal 400 , and at least one information providing server 500 through the network 200 .
  • the at least one diagnosis terminal 400 may be connected to the osteoporosis treatment service providing server 300 through the network 200 .
  • at least one information providing server 500 may be connected to the osteoporosis treatment service providing server 300 through the network 200 .
  • the network refers to a connection structure in which information exchange is possible between each node, such as a plurality of terminals and servers.
  • Examples of such networks include RF, 3rd Generation Partnership Project (3GPP) network, Long Term (LTE). Evolution) network, 5th Generation Partnership Project (5GPP) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network) , PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like are included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term
  • Evolution 5th Generation Partnership Project
  • WIMAX Worldwide Interoperability for Microwave Access
  • Internet Internet
  • LAN Local Area Network
  • Wireless LAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • the at least one diagnosis request terminal 100 may be a terminal of a requester who requests a diagnosis using a web page, an app page, a program, or an application related to a big data and artificial intelligence-based osteoporosis treatment service.
  • the at least one diagnosis request terminal 100 may be a terminal that transmits the patient's medical record including text, images, and videos to the osteoporosis treatment service providing server 300 .
  • the at least one diagnosis request terminal 100 may be a terminal that receives a feedback on a diagnosis request from the osteoporosis treatment service providing server 300 .
  • the at least one diagnosis request terminal 100 may be a terminal that transmits the result data of tracking and observing the prognosis after the treatment method of the patient is applied to the osteoporosis treatment service providing server 300 .
  • the at least one diagnosis request terminal 100 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a navigation system, a laptop equipped with a web browser (WEB Browser), a desktop computer, a laptop computer, and the like.
  • the at least one diagnosis request terminal 100 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • the at least one diagnosis request terminal 100 is, for example, a wireless communication device that guarantees portability and mobility, such as navigation, Personal Communication System (PCS), Global System for Mobile communications (GSM), and Personal Digital Cellular (PDC).
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • Wibro Wireless Broadband Internet
  • smart phones smart pads, tablet PCs, and the like may include all kinds of handheld-based wireless communication devices.
  • the osteoporosis treatment service providing server 300 may be a server that provides a big data and artificial intelligence-based osteoporosis treatment service web page, an app page, a program, or an application. And, when the osteoporosis treatment service providing server 300 receives medical advice request data such as a patient's medical record from the diagnosis request terminal 100, it parses and mines it to classify osteoporosis, risk factors and biochemical bone markers It may be a server that extracts an identifier including a test result. In addition, the osteoporosis treatment service providing server 300 may be a server that generates a query in order to extract similar diagnostic data mapped to and stored in the identifier using the extracted identifier. Then, the osteoporosis treatment service providing server 300 may be a server that transmits a question to big data using the generated query and extracts similar diagnostic data as an answer to the query.
  • the osteoporosis treatment service providing server 300 Based on the extracted diagnosis data, the osteoporosis treatment service providing server 300 generates the diagnosis data to correspond to the patient's record requested by the diagnosis request terminal 100 , and the diagnosis request terminal 100 and the diagnosis terminal 400 . It can be a server that returns a result as .
  • the osteoporosis treatment service providing server 300 is a server that performs artificial neural network deep learning to search for and learn an error pattern when error data is transmitted as feedback from the diagnosis request terminal 100 or the diagnosis terminal 400 . can be To this end, the osteoporosis treatment service providing server 300 builds big data using at least one information providing server 500 and pre-stored history log data, and classifies and analyzes big data through collection, pre-processing, and analysis. It may be a server that trains after clustering.
  • the osteoporosis treatment service providing server 300 performs data learning using a deep learning artificial neural network algorithm for tagging the identifier from the image data and the image data in order to extract the identifier from the image data or image data, which is atypical data. It can be a server that In addition, the osteoporosis treatment service providing server 300 may be a server for tagging or extracting identifiers from images, images, etc. input later according to the learning result. In addition, the osteoporosis treatment service providing server 300 may be a server that tracks and observes the patient's prognosis, updates the history log of the patient's medical record data, and designates this as an input value to big data again to re-learning big data. have.
  • the osteoporosis treatment service providing server 300 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a navigation device, a laptop computer equipped with a web browser, a desktop computer, and a laptop computer.
  • the at least one diagnosis terminal 400 may be a terminal of a diagnostician or a doctor using a web page, an app page, a program, or an application related to a big data and artificial intelligence-based osteoporosis treatment service.
  • the at least one diagnosis terminal 400 receives the medical record data received from the diagnosis request terminal 100 from the osteoporosis treatment service providing server 300 , and provides an opinion on the received medical record data, etc., for the osteoporosis treatment service. It may be a terminal that transmits to the providing server 300 .
  • the at least one diagnosis terminal 400 receives the result of the query until the big data is learned by artificial intelligence from the osteoporosis treatment service providing server 300 , and sends the error back to the osteoporosis treatment service providing server 300 .
  • It may be a terminal that provides feedback.
  • the at least one diagnosis terminal 400 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.
  • the at least one diagnosis terminal 400 may be implemented as a terminal capable of accessing a remote server or terminal through a network.
  • the at least one diagnostic terminal 400 is, for example, a wireless communication device that guarantees portability and mobility, including navigation, Personal Communication System (PCS), Global System for Mobile communications (GSM), Personal Digital Cellular (PDC), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) ) terminal, a smart phone, a smart pad, a tablet PC, etc. may include all kinds of handheld-based wireless communication devices.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA(W-Code Division Multiple Access) Wideband Internet
  • Wibro Wireless Broadband Internet
  • the at least one information providing server 500 maps medical records and diagnosis result data using big data and artificial intelligence-based osteoporosis treatment service related web pages, app pages, programs or applications to provide osteoporosis treatment service server 300 It can be a server that sends to
  • the at least one information providing server 500 may be implemented as a computer capable of accessing a remote server or terminal through a network.
  • the computer may include, for example, a navigation device, a laptop computer equipped with a web browser, a desktop computer, and a laptop computer.
  • FIG. 2 is a block diagram illustrating an osteoporosis treatment service providing server included in the system of FIG. 1, and FIG. 3 is an embodiment in which big data and artificial intelligence-based osteoporosis treatment service according to an embodiment of the present invention are implemented. It is a drawing for explaining.
  • the osteoporosis treatment service providing server 300 includes a receiving unit 310 , a storage unit 320 , a classification unit 330 , an extraction unit 340 , a transmission unit 350 , and a big data conversion unit 360 . ), a verification unit 370 , and a tracking and observation unit 380 may be included.
  • At least one diagnosis request terminal 100, at least one diagnosis terminal 400, and at least one When transmitting big data and artificial intelligence-based osteoporosis treatment service applications, programs, app pages, web pages, etc. to the information providing server 500 of the at least one diagnosis request terminal 100, at least one diagnosis terminal 400 , and at least one information providing server 500 may install or open big data and artificial intelligence-based osteoporosis treatment service applications, programs, app pages, web pages, and the like.
  • the service program may be driven in at least one diagnosis request terminal 100 , at least one diagnosis terminal 400 , and at least one information providing server 500 using a script executed in a web browser.
  • the web browser is a program that enables the use of a web (WWW: world wide web) service, and refers to a program that receives and displays hypertext written in HTML (hyper text mark-up language), for example, Netscape , Explorer, Chrome, and the like.
  • the application means an application on the terminal, for example, includes an app (app) executed in a mobile terminal (smartphone).
  • the receiving unit 310 may receive the patient's medical record data transmitted from the diagnosis request terminal 100 for diagnosis and treatment of osteoporosis.
  • the patient's medical record data can be classified into structured data, semi-structured data, and unstructured data according to the degree of standardization, and Table 1 below shows the This is an example of classification.
  • Structured data is data having a standard that has a fixed type and format, and includes two types of medical data.
  • the first is the type of data that is entered as a value in a fixed format (number, date, etc.) in a fixed field or selected as an item in the EMR system mainly used in medical institutions.
  • the second is metadata of various data. As information about all medical data of an individual patient, it must be provided to ensure the reliability of the data or to interpret the data. Basically, information about the patient (name, age, body information, etc.) and information related to data generation (creation organization, creator, creation date, etc.) may be included.
  • a medical image metadata standard based on DICOM Digital Imaging and Communication in Medicine
  • DICOM Digital Imaging and Communication in Medicine
  • Table 2 patient information, examination information, It includes video information and equipment information.
  • Text data is generally classified as unstructured data, but in many cases, items and contents included in the text are determined to some extent due to the specificity of the medical field. For example, in the reading report of a medical imaging test, a medical professional describes the procedure, brief information about the patient, and the test/diagnosis result in text form.
  • patient information includes information such as smoking status, chronic disease, and pain level, and the name of symptoms and severity of symptoms are briefly listed in the test/diagnosis results. Accordingly, it is possible to classify a family through symptoms, names, etc., classify parts, classify detailed disease names, and standardize semi-structured data.
  • Unstructured data are items that are difficult to define due to their irregular shape, and generally include text and images. In the medical field, since most text data can be analyzed in semi-structured form, only image or image data can be considered as unstructured.
  • the atypical data includes, for example, various types of moving image data such as CAG (Coronary Angiography) and various ultrasound images, and image data such as CT (Computed Tomography), MRI (Magnetic Resonance Imaging), and EKG (Electrocardiogram; ECG). do.
  • Such unstructured data may also be learned as keywords, tags, or metadata, classified and patterned, and then, when new unstructured data classification is requested, the data may be processed into a record format and provided together with related data.
  • the storage unit 320 may recognize, extract, and store numeric data included in at least one bone mineral density test item among the received medical record data.
  • quantitative bone densitometry includes radiographic absorptiometry (RA), dual energy Xray absorptiometry (DXA), quantitative ultrasound (QUS), and quantitative computed tomography (CT). computed tomography (QCT) and peripheral quantitative computed tomography (pQCT).
  • the measurement principle and measurement site are different.
  • DXA and QCT are used for the lumbar spine and femur
  • DXA and pQCT for the radius
  • RA for the hand
  • QUS for the hand
  • pQCT for the calcaneus.
  • Whole body bone density and body fat analysis can be measured with DXA.
  • the lumbar spine and femur are the most commonly measured standard sites, and clinically, osteoporotic fractures are common. Diagnosis is based on the lower of the bone density measured in these two areas. When it is impossible to test the lumbar spine and femur bone density, and in hyperparathyroidism with severe cortical bone loss, measure the distal 1/3 of the radius.
  • pQCT, micro-MRI, micro-CT, Xtreme CT, pDXA (peripheral/portable DXA), Central DXA, etc. can be used to evaluate the structure of bone. can help explain.
  • the numerical data for example, assuming that the lumbar bone density is measured, is data for diagnosis based on the average value from L1 to L4. In normal condition, bone density increases from L1 to L4. If this trend is reversed or the T-value shows a difference of 1 standard deviation or more from the surrounding lumbar spine, it is highly likely that the site is not suitable for determination such as degenerative changes.
  • the same region of interest (ROI) must be selected to increase the accuracy of the examination. It is possible to diagnose osteoporosis using the average value.
  • Bone density can be interpreted by comparing it with normal average values between age, gender, and race.
  • the T-value is a value compared with the bone density of the younger age group with the highest bone mass in order to represent the absolute risk for fracture as (measured value of the patient - the average value of the young group) / standard deviation. Therefore, even if the measurement unit or absolute value is different depending on the bone density meter, comparison is possible.
  • the Z-value (measured value of the patient - the average value of the same age group) / standard deviation is a value compared with the average bone density of the same age group.
  • T-value ⁇ -10 normal, -10 > T-value > -25: osteopenia or low bone mass, T-value ⁇ -25: Osteoporosis, T-value ⁇ -25 + osteoporotic fracture: It can be classified as severe osteoporosis.
  • the Z-value is -20 or less, additional tests may be required to differentiate metabolic bone disease. do. And, when the Z value is -20 or less, it is defined as below the expected range for age.
  • the above-described numerical values, definitions, rules, etc. may be changed according to an analysis method or a measuring machine, and it will be obvious that the above-mentioned values are not limited thereto.
  • the classification unit 330 may classify the type of osteoporosis based on the stored numerical data based on the pre-stored osteoporosis classification table.
  • osteoporosis is classified into primary and secondary osteoporosis.
  • Primary osteoporosis or primary osteoporosis is classified into type 1 osteoporosis due to menopause and type 2 osteoporosis due to aging for convenience, but it is difficult to accurately classify it because they are merged and progressed at about the same time.
  • Secondary osteoporosis occurs when the formation of maximum bone mass is impaired or bone loss is increased due to a specific disease, surgery, or drug use. There are many causes of secondary osteoporosis, and secondary osteoporosis often does not have clinically distinct characteristics. Therefore, the overall study such as the severity, mechanism, and characteristics of the disease and the method of determining risk factors for osteoporosis for each disease can be analyzed using big data.
  • a classification table may be generated through learning, and accordingly, the classification unit 330 may classify the type of osteoporosis.
  • glucocorticoid-induced osteoporosis and various other systemic diseases and drugs are known as causes of secondary osteoporosis, examples of which are shown in Table 3 below.
  • hypogonadism In men, the three most common causes are hypogonadism, glucocorticoid use, and excessive drinking, and in premenopausal women, hypogonadism and glucocorticoid use. Therefore, after learning by collecting known data at the beginning, and then re-learning with error verification and deep learning performed by the verification unit 370, secondary osteoporosis can be diagnosed with an artificial intelligence big data algorithm. do.
  • the extraction unit 340 may extract risk factors including genetic factors, lifestyle and nutrition, diseases and drugs based on clinical test results and examination results among the patient's medical record data.
  • risk factors including genetic factors, lifestyle and nutrition, diseases and drugs based on clinical test results and examination results among the patient's medical record data.
  • two important risk factors for osteoporosis are the low peak bone mass formed in adolescence and rapid bone loss due to aging and menopause. Therefore, in order to prevent osteoporosis, not only efforts should be made to prevent bone loss as much as possible in the elderly after menopause, when bone loss begins to increase, but also efforts should be made to form the highest possible maximum bone mass from the prenatal period when bone formation begins. It is a disease that requires lifelong management. The formation of maximum bone mass is largely determined by genetic and environmental factors.
  • osteoporosis has a strong genetic predisposition. For example, if a mother has weak bones, weak bones are also observed in their daughters, and there is a report that identical twins have similar bone density after growth than fraternal twins.
  • the extraction unit 340 may extract at least one marker included in the biochemical bone marker test. At this time, bone replacement in which old bone is removed by bone resorption and new bone is generated by bone formation is continuously performed in the skeleton.
  • Biochemical markers of bone turnover are almost the only non-invasive method that can evaluate bone quality as an indicator that reflects the rate of bone turnover. While bone density is a static indicator of bone metabolism, biochemical bone markers are dynamic indicators.
  • bone markers are enzymes secreted from osteoclasts and osteoblasts, or matrix components released during bone resorption or bone formation, measured in blood or urine, and can be conceptually divided into bone resorption markers and bone formation markers.
  • As bone resorption markers there is a method of measuring pyridinoline (PYR) and deoxypyridinoline (DPD), which are collagen cross-links, which are the main matrix components of bone. .
  • cross-linking of PYR and DPD occurs at the amino and carboxy terminus of collagen fibers, and the amino-terminal telopeptide (N-telopeptide of collagen cross-links, NTX) and carboxy-terminal telopeptide (C-telopeptide) measure these sites. of collagen cross-links, CTX).
  • osteogenesis proteins such as bone specific alkaline phosphatase (BSALP) and osteocalcin (OC) produced and secreted by osteoblasts are measured, or procollagen produced during the synthesis of type 1 collagen.
  • BSALP bone specific alkaline phosphatase
  • OC osteocalcin
  • procollagen produced during the synthesis of type 1 collagen.
  • the extension peptides of PICP (carboxyterminal propeptide of type I procollagen) and PINP (aminoterminal propeptide of type I procollagen) are measured.
  • BSALP and OC as osteogenic markers. A table summarizing these is shown in Table 5 below.
  • Bone marker values can be affected in various ways by individual characteristics and the measurement method itself.
  • Personal characteristics include factors such as the patient's age, gender, race, physical activity, diet, drug use, pregnancy, lactation, kidney disease, liver disease, and fracture. precision and accuracy, standardization, cross-reactivity with other substances, and variability between laboratories.
  • bone markers generally have a daily rhythm, if the sample collection time and method cannot be set consistently, this may be included as an error pattern and then big data learning may need to be carried out.
  • the amount of creatinine excretion in urine is measured together, and the learning can be carried out in a way that is divided and corrected.
  • each bone marker differs according to age, gender, race, health status, etc. during learning, a reference value (range; mean ⁇ 196 standard deviation) can be established accordingly.
  • the transmission unit 350 inputs the classified type of osteoporosis, risk factors, and at least one marker as input data into a pre-established artificial intelligence big data algorithm, and extracts a fracture risk diagnosis and treatment method, and the diagnosis request terminal 100 can be sent to
  • the transmitter 350 generates the classified osteoporosis type, risk factor, and at least one marker as query data, and based on the generated query data, determines a preset similarity from the established big data. It is possible to extract reference data and extract a method for diagnosing and treating fracture risk that has been previously mapped to and stored in the extracted reference data.
  • the big data conversion unit 360 before receiving the patient's medical record data transmitted from the diagnosis request terminal 100 for the diagnosis and treatment of osteoporosis in the receiving unit 310, at least one of the at least one diagnosis request terminal 100 Information data including diagnosis data in response to a diagnosis request for one diagnosis terminal 400 and medical guideline data collected from at least one information providing server may be collected.
  • the big data conversion unit 360 may store raw data including diagnostic data and information data in parallel and distributedly, and may include unstructured data, structured data and Semi-structured data can be refined and pre-processing including classification can be performed with metadata.
  • the big dataization unit 360 may perform an analysis including data mining on the preprocessed data, and may generate an artificial intelligence big data algorithm by learning the analyzed data by machine learning. have.
  • the medical guideline data is managed and operated by various government agencies and medical institutions such as the Ministry of Health and Welfare, the Ministry of Food and Drug Safety, the National Health Insurance Corporation, and the Health Insurance Review and Assessment Service. have.
  • a personal health record (PHR), an electronic health record (HER), smart health data, and the like may be further collected.
  • PHR personal health record
  • HER electronic health record
  • smart health data and the like may be further collected.
  • machine learning includes deep-learning machine learning
  • machine learning includes supervised learning, semi-supervised learning, unsupervised learning, and reinforcement. It may be made of any one or a combination of at least one of reinforcement learning.
  • deep learning is a machine learning technique that hierarchically structures features by learning deep neural networks, and deep learning tends to improve performance in proportion to the amount of data.
  • the deep learning-based approach shows a characteristic of steadily improving performance as data is supplied. This is a very important and practical advantage compared to the existing method at the present time when data is abundant.
  • deep learning shows good performance in image recognition.
  • the layer below the deep neural network that processes images is composed and trained with neurons that respond to simple patterns such as directional edges, but sequentially corners, parts of objects, and objects It consists of neurons that respond to complex patterns, such as the overall shape of In this way, the feature of deep learning is also called representation learning, emphasizing how to learn how to express the features of an image well.
  • words are expressed as vectors of hundreds of dimensions (word embedding), and these vector values reflect the meaning of words.
  • supervised learning is a method of learning the input/output relationship through an example of an input and an output that should come out when the input is entered. For example, if a machine learning algorithm is applied to training data, a learning result called a model can be obtained. Training data consists of pairs of input and output.
  • a photographed image, a test value, etc. may be an input, and an output may be a diagnosis and risk assessment among the medical record data.
  • labels can be predicted for new inputs that are not included in the training set. For example, if the result of diagnosing patient A's B image and C numerical value is D, if a person has similar factors and numerical values to A, B, and C, the diagnosis result is similar to D.
  • Unsupervised learning is a method of discovering hidden structures inside data from data, given only data without labels. Specifically, it is possible to perform tasks of clustering, dimension reduction, feature learning, and generative model learning.
  • Clustering is the operation of dividing data into several groups according to the degree of similarity. In this process, it is very important to define a distance suitable for the purpose of the problem because various clustering results can be obtained depending on how the distance on the data is defined. Of course, domain knowledge is required to define these distances.
  • Dimensional reduction can also be performed without labels as an example of unsupervised learning.
  • autoencoders learn internal parameters so that their inputs and outputs are the same.
  • the high-dimensional input is expressed as a low-dimensional vector and then reconstructed.
  • this dimensionality reduction algorithm can be used a lot as a way to reduce the dimension of a data vector.
  • Generative model learning is another example of unsupervised learning as a method of learning a probabilistic model that can additionally generate similar data from data. In general, if a random number following a specific distribution is input, data similar to the training data is generated.
  • GAN Generative Adversarial Network
  • Reinforcement learning is a method in which an agent defined in a certain environment receives the current situation as an observation and learns how to select an action that maximizes the cumulative reward. Compared to supervised learning, reinforcement learning can be closer to generally applicable artificial intelligence (general purpose artificial intelligence). Reinforcement learning is far from supervised learning in that the learning process does not require labeled data. Instead, reinforcement learning requires an environment, such as a simulator, that can take actions, observe changes in the situation, and convert rewards.
  • data mining is a classification that predicts a class of new data by learning a training data set with a known class by exploring the inherent relationship between preprocessed data, or grouping data based on similarity without class information. clustering) can be performed.
  • mining may be performed differently depending on the type of big data to be collected and stored or the type of query to be requested later.
  • the big data constructed in this way can be verified through artificial neural network deep learning or machine learning.
  • artificial neural network deep learning may be useful when analyzing image data. For example, when MRI, CT, and X-RAY of osteoporosis are learned, and a new advisory request is received, it can be checked whether the corresponding data is information having an identifier for osteoporosis.
  • the artificial neural network can use a convolutional neural network (CNN) structure, which is a network structure using a convolutional layer and is suitable for image processing. Because it can
  • CNN convolutional neural network
  • text mining is a technology aimed at extracting and processing useful information from non-/semi-structured text data based on natural language processing technology.
  • text mining technology it is possible to extract meaningful information from a large collection of texts, identify the linkage with other information, find the category of text, or obtain results beyond simple information search.
  • a large-capacity language resource and statistical and regular algorithms may be used to analyze an identifier or natural language input as a query and to discover information hidden therein.
  • cluster analysis can be used to finally discover a group of similar characteristics while merging objects with similar characteristics. For example, there may be a group of intervertebral disc herniation, and a group of spinal swelling may be there may be Such a group of patients can be classified through cluster analysis, and when a new diagnosis request is subsequently requested by identifying the characteristics of the cluster, the object of the new diagnosis request can be classified.
  • the verification unit 370 inputs the type of osteoporosis classified by the transmission unit 350, risk factors, and at least one marker as input data into a pre-established artificial intelligence big data algorithm to extract fracture risk diagnosis and treatment methods. After transmission to the diagnosis request terminal 100, authentication for error verification of the extracted diagnosis and treatment method is performed, and the error part and error cause of the diagnosis and treatment method extracted as a result of the authentication may be identified.
  • the verification unit 370 updates the identified error part and error cause to the big data of the artificial intelligence big data algorithm, and then performs deep learning using an artificial neural network to find the error pattern and predict the error rate through classification. It can be reflected in the data big data derived from deep learning, and the AI big data algorithm can be re-learned based on the big data.
  • the follow-up unit 380 inputs the osteoporosis type, risk factor, and at least one marker classified by the transmission unit 350 as input data into the pre-established artificial intelligence big data algorithm, and extracts the fracture risk diagnosis and treatment method. After transmission to the diagnosis request terminal 100 , the patient's prognostic data is received from the diagnosis request terminal 100 , and the patient's medical record data is recorded as a history log for follow-up observation.
  • the least significant change can be used to evaluate the significance of changes in bone density observed in follow-up examinations.
  • the precision of each organ must be obtained, and it can be obtained by measuring the bone density twice in at least 30 people or three times in 15 people. Multiply the precision obtained in this way by 277 to obtain the LSC.
  • the precision is 1%, the LSC is 277%, and the change in bone density after 1 year must be 277% or more to be evaluated as a significant change.
  • the patient's medical record data used in the follow-up unit 380 is data from which the medical record time and the treatment stage are mapped and stored, and the medical treatment history for each treatment stage can be extracted from the raw data into a time table. have.
  • data types can be classified as follows according to whether the accumulation of past histories is meaningful, and the range of data to be managed or provided can be determined accordingly. Accordingly, the patient's medical record data may be classified into historical data, previous data, and current data.
  • the historical data is an item in which all historical data recorded in the past are meaningful.
  • Data values generated at all time points for an individual patient are data that are related to the current state, and previous data do not require all historical values for the data, but values at the immediately preceding time point are meaningful. is an item.
  • the present data is a data item in which past history information has no significant influence. That is, it is data that is stored for items whose current values are more important than data generated in the past. Accordingly, the follow-up unit 380 divides and stores data that can be used for re-learning of patients or big data requiring follow-up or for subsequent research results, and time-series diagnosis, treatment, and prognosis with a history log. By setting it so that it can be recorded, it is possible to help the learning and training of big data.
  • the osteoporosis treatment service providing server 300 may be a server that provides a cloud service for managing a server or terminal corresponding to at least one distributed node in a large-scale cluster.
  • Services provided in the cloud computing environment may include everything required in the overall IT environment, such as hardware, network, storage, web-based services, and application common API, including IaaS, PaaS, and SaaS.
  • a cluster system can be used to respond to service requests from large-scale users, and load balancing and load balancing technology that distributes the load to the appropriate system based on the resource usage status of service requests from multiple users transfer can be applied.
  • IaaS services virtualization functions are mainly used, but managing virtualized virtual resources based on physical resources is also the role of the cluster management system.
  • PaaS services the best resource utilization, scalability, and service stability are provided based on the resource utilization status of each service and the current status of the cluster system in an environment that hosts and operates services developed through various service development support services. It may also be a cluster management system.
  • a cluster management system that builds a distributed platform and performs cluster management, operation, service distribution, etc., a distributed data management system built on top of the cluster management system, a distributed file system, and a distributed It may consist of a parallel processing system and a distributed security system, but is not limited thereto.
  • cluster orchestration automatic provisioning, distributed resource monitoring, and service management may be performed.
  • Cluster configuration and operation management is to build and configure a large-scale cluster environment consisting of thousands to tens of thousands of low-cost commodity servers in a short time with minimal administrator intervention, and expand through easy addition/deletion of nodes.
  • Cluster configuration and operation management is to build and configure a large-scale cluster environment consisting of thousands to tens of thousands of low-cost commodity servers in a short time with minimal administrator intervention, and expand through easy addition/deletion of nodes.
  • In order to provide a cluster system that can support high Support can be done automatically and in real time.
  • the cluster configuration can be hierarchically configured in consideration of the performance problem of distributed resource monitoring to reduce management costs, and can be configured to automatically cope with frequent node failures.
  • automation of hierarchical initial configuration of general nodes, addition and deletion of arbitrary nodes, selection and operation of masters of other distributed computing platform components, registration and deletion of master candidates of other distributed computing platform components, and other distributed computing platform components Provides functions such as providing master node location information of , coping with master node failures of other distributed computing platform components, creating/deleting pools according to the types of other distributed computing platform components, and adding/deleting node assignments to existing pools. It may include, but is not limited to.
  • automatic provisioning can provide the required software and operating system to support the construction of large-scale clusters and dynamic node addition and deletion, and to dynamically change and manage the role and configuration of each node according to monitoring results.
  • Automatic provisioning can support both the image method and the streaming method.
  • distributed resource monitoring can provide a function to automatically monitor the status of each node to reduce management costs, and other functions of the cluster system can respond to each node failure by detecting a failure through the distributed resource monitoring function. It makes it possible to build a system that can automatically deal with server maintenance by administrators in batch processing. Monitoring functions to be performed on each node can be dynamically added and removed.
  • service management the status of multiple services operated in the cluster system is managed, and service nodes are automatically added or deleted according to the external load for the running services and dynamic service relocation is performed to increase the service utilization rate of the cluster system. It can increase overall efficiency.
  • service continuity can be ensured by replacing the service failure node based on the information provided through the monitoring system.
  • each node is grouped in a certain size (usually in units of about 250 subnets) to form one group, and each group has one group master.
  • These groups can constitute one data center-class cluster through a hierarchical structure in which they are regrouped by the cluster master who manages the entire cluster.
  • a key master (key master) for storing and managing key information in the cluster master) group may exist, and the key master group usually consists of several nodes.
  • provisioning master/server that provides an operating system and software to each node in the cluster, LVS/L4 switches for load distribution of services, and a DB server in charge of internal information storage, but these are only examples. not limited
  • FIG. 2 an operation process according to the configuration of the osteoporosis treatment service providing server of FIG. 2 will be described in detail with reference to FIGS. 3A, 3B and 3C as an example.
  • the embodiment is only one of various embodiments of the present invention and is not limited thereto.
  • the osteoporosis treatment service providing server 300 classifies the received medical record data, and at least one information providing server 500 provides medical guidelines and transfers. It goes through the process of collecting big data by collecting medical record data accumulated in the hospital, and training it with machine learning to generate big data artificial intelligence algorithms.
  • the osteoporosis treatment service providing server 300 when a new diagnosis request is received from the diagnosis request terminal 100, the osteoporosis treatment service providing server 300, the number of the diagnosis request received from the medical record data By extracting data, risk factors and markers, we create queries to retrieve similar diagnostic data.
  • the osteoporosis treatment service providing server 300 receives the similar diagnostic data as an answer to the big data query, and extracts the fracture risk and treatment method included therein.
  • This error verification result is fed back as an input value for learning big data again, and the osteoporosis treatment service providing server 300 extracts an error pattern through deep learning of an artificial neural network, and learns the pattern in which the error occurs. You can generate a report by exploring the factors that cause it. Of course, in addition to this, it is possible to learn a pattern that causes various errors, and it goes without saying that the learned result and the analyzed pattern may be reported to the manager periodically or in real time.
  • FIG. 4 is a diagram illustrating a process in which data is transmitted/received between components included in the big data and artificial intelligence-based osteoporosis treatment service providing system of FIG. 1 according to an embodiment of the present invention.
  • the osteoporosis treatment service providing server 300 transmits the diagnosis data to the diagnosis terminal 400 , and the diagnosis data transmitted from the diagnosis terminal 400 is the osteoporosis treatment service It is transmitted to the providing server 300 (S4100).
  • Osteoporosis treatment service providing server 300 using the data such as the data accumulated as a medical history log and the guideline collected from the information providing server 500, data collection / preprocessing process (S4200) and data analysis / A process of building big data is carried out through the learning process (S4300).
  • the osteoporosis treatment service providing server 300 extracts an identifier by parsing the medical record data, and generates a query using the identifier (S4500) , extracts similar diagnostic data as an answer to the query (S4510), and generates diagnostic data to correspond to the requester's record (S4530).
  • the osteoporosis treatment service providing server 300 requests feedback to the diagnosis request terminal 100 and the diagnosis terminal 400 ( S4600 ).
  • the osteoporosis treatment service providing server 300 receives the feedback corresponding to the request (S4700), and if there is no error (S4800), transmits the feedback back to the diagnosis request terminal 100 (S4830), and there is an error.
  • artificial neural network deep learning is performed (S4810).
  • the osteoporosis treatment service providing server 300 requests the transmission of tracking management data from the diagnosis request terminal 100 or the diagnosis terminal 400 (S4830).
  • Osteoporosis treatment service providing server 300 when the tracking management data is transmitted from the diagnosis request terminal 100 or the diagnosis terminal 400 (S4850), prognosis tracking and subsequent treatment process data as input data as big data It is updated to perform re-learning (S4900, S4920).
  • FIG. 5 is an operation flowchart illustrating a method of providing a big data and artificial intelligence-based osteoporosis treatment service according to an embodiment of the present invention.
  • the osteoporosis treatment service providing server receives the patient's medical record data transmitted from the diagnosis request terminal for diagnosis and treatment of osteoporosis (S5100).
  • the osteoporosis treatment service providing server recognizes, extracts, and stores numeric data included in at least one bone mineral density test item among the received medical record data (S5200).
  • the osteoporosis treatment service providing server classifies the type of osteoporosis based on the stored numerical data based on the pre-stored osteoporosis classification table (S5300), and based on clinical test results and examination results among the patient's medical record data, genetic factors, Risk factors including lifestyle and nutrition, diseases and drugs are extracted (S5400).
  • the osteoporosis treatment service providing server extracts at least one marker included in the biochemical bone marker test (S5500), and an artificial intelligence big data algorithm in which the classified osteoporosis type, risk factor, and at least one marker are previously built.
  • the fracture risk diagnosis and treatment method are extracted and transmitted to the diagnosis request terminal by inputting it as input data (S5600).
  • the osteoporosis treatment service providing server 300 described above with reference to FIGS. 1 to 5 receives medical advice request data such as a patient's medical record, it parses and mines it to classify osteoporosis, risk factors and biochemical bone Extracts the identifier including the marker test result, uses the extracted identifier to generate a query to extract similar diagnostic data that is mapped to the identifier and stored, and sends a question to big data using the generated query. , extracts similar diagnostic data as an answer to the query.
  • FIG. 6 is a block diagram of an apparatus for diagnosing bone density according to another exemplary embodiment.
  • the apparatus 600 for diagnosing osteoporosis receives medical advice request data such as a patient's medical record, parses and mines it, and diagnoses osteoporosis.
  • the osteoporosis diagnosis apparatus 600 includes at least one diagnosis request terminal 100 , an osteoporosis treatment service providing server 300 , at least one diagnosis terminal 400 , and at least one information providing server described with reference to FIGS. 1 to 5 . It may be included in any one of (500). That is, the osteoporosis diagnosis apparatus 600 includes at least one diagnosis request terminal 100 , the osteoporosis treatment service providing server 300 , at least one diagnosis terminal 400 , and at least one piece of information described with reference to FIGS. 1 to 5 . Any one of the providing servers 500 may be implemented as hardware, software, or a combination thereof.
  • the osteoporosis diagnosis apparatus 600 includes a preprocessor 610 , an estimator 620 , and an output unit 630 .
  • the preprocessor 610 may receive the patient's medical record data transmitted for diagnosis and treatment of osteoporosis.
  • the patient's medical record data may be the same as those with reference to FIGS. 1 to 5 .
  • the patient's medical record data may include medical image data including human tissue and patient information.
  • the preprocessor 610 receives medical image data including human tissue and patient information, extracts a region of interest (ROI) of the medical image from the medical image data, and the extracted medical image data of the region of interest. and normalize patient information.
  • ROI region of interest
  • Medical image data is the aforementioned atypical data, for example, various types of moving image data such as CAG (Coronary Angiography) and various ultrasound images, Computed Tomography (CT), Magnetic Resonance Imaging (MRI), Electrocardiogram (ECG), etc. It may include image data such as
  • the measurement principle and measurement site are different for each bone density measurement method.
  • DXA and QCT are used for the lumbar spine and femur
  • DXA and pQCT for the radius
  • RA for the hand
  • QUS and pQCT DXA for the calcaneus
  • Whole body bone density and body fat analysis can be measured with DXA.
  • the medical image data may be medical image data acquired in different ways depending on the tissue of the human body.
  • the patient information includes, but is not limited to, the patient's age, gender, and race, and all information related to the patient of the first embodiment may correspond to the patient information.
  • the estimator 620 estimates the osteoporosis diagnosis result of the patient by inputting the medical image data and patient information normalized by the preprocessor 610 into the deep learning model.
  • the output unit 630 outputs the osteoporosis diagnosis result of the patient estimated by the estimator 620 .
  • the preprocessor 610 may first extract the ROI of the medical image and then divide the ROI into partial ROIs.
  • the pre-processing unit 610 performs image processing on the divided-processed partial ROI for each unit region.
  • FIG. 7 shows a result of extracting a region of interest of the lumbar spine by the preprocessor of FIG. 6 .
  • a region of interest of the lumbar spine is extracted in the preprocessor of FIG. 6 , and the region of interest is again divided into four regions, that is, L1 to L4.
  • the preprocessor 610 may divide and process the L1 to L4 partial ROIs within the ROI when estimating the lumbar bone density.
  • the preprocessor 610 may use high quality for a patient with a lot of weight.
  • the lines of L1 to L4 may be parallel to the intervertebral space.
  • the preprocessor 610 displays the lumbar spine in the center of the image including all lines of L1-L4.
  • the preprocessor 610 needs to extract the correct lumbar region of interest.
  • FIG. 10 is a view for explaining characteristics of a femur included in medical image data in the preprocessor of FIG. 6 .
  • the shape of the femur is ac of the femoral axis length (Hip Axis Length (HAL), bc of the femoral neck axis length (NAL)), de of the femoral neck width (Femoral Neck Width (FNW) )), and can be expressed as the neck shaft angle (NAS) of f.
  • HAL Hip Axis Length
  • NAL bc of the femoral neck axis length
  • FNW femoral Neck Width
  • NAS neck shaft angle
  • FIG. 11 shows the result of extracting the region of interest of the femur in the preprocessor of FIG. 6 .
  • the preprocessor 610 of FIG. 6 is a triangle and a rectangle with a femoral neck width (FNW) of de and a femoral neck axis length (NAL) of bc. can be extracted as a region of interest in the femur.
  • FNW femoral neck width
  • NAL femoral neck axis length
  • the preprocessor 610 extracts the region of interest of the femur using the lowest of the femoral neck or the total proximal femur. BMD can be measured on both hips. Fewer internal rotations of the femur visualize fewer trochanters.
  • the preprocessor 610 should extract the correct region of interest of the femur.
  • the femur image shows a larger trochanter (1), femoral neck (2) and ischium (3).
  • the preprocessor 610 digitizes the symbol of the patient's gender and the symbol of the race, and weights the patient's age, the digitized symbol of the gender and the symbol of the race to prevent overfitting between the extracted medical image data of the region of interest. is given to normalize.
  • the preprocessor 610 may digitize the symbol of the patient's gender and the symbol of the race. For example, a symbol of a patient's gender could be numbered as 1 for males and numbered as 2 for females. For the symbols of the race, whites, yellows, and blacks can be numbered 1, 2, and 3 respectively.
  • the pre-processing unit 610 is configured so that the values of the digitized symbol of gender and the symbol of race are too small than values of other data so that the values of the digitized symbol of gender and the symbol of race are different data so that the values of other data are not overfitted. Weights can be assigned so that they become similar to their values. For example, considering that the age of the patient is approximately 10 to 80 years old, a weight of 10 may be assigned to the numerical values of gender symbols and race symbols.
  • the preprocessor 610 extracts the same ROI as before when performing a follow-up examination for the same patient.
  • the preprocessor 610 preprocesses the medical image data in consideration of the overestimation factor and the underestimation factor of bone density.
  • the overestimation factors of BMD include spinal degenerative and hyperostosis, vertebral fracture, extraoseus calcification (lymph nodes, aortic calcification), and sclerotic metastasis (sclera). metastases), vertebral hemangioma, ankylosing spondylitis, overlying metal (surgical rods/plates), poor positioning of femoral neck ( inadequate internal rotation), excess body weight, or vertebroplasty/kyphoplasty.
  • An underestimation factor of BMD may be one of laminectomy (resection), lytic metastasis (lytic metastasis), and low body weight (low body weight).
  • the preprocessor 610 may set the region of interest excluding the portion causing the overestimated factor or the underestimated factor.
  • the preprocessor 610 may set the region of interest except for this part.
  • the preprocessor 610 may set the region of interest except for this part.
  • the preprocessing unit 610 includes a portion causing the overestimated factor or underestimated factor in the region of interest, and Can be replaced with other parts.
  • the preprocessor 610 converts this part to another adjacent part naturally using a general image compensation method. can be replaced
  • the preprocessor 610 when there is an excision part due to resection, which is an underestimation factor of bone density, in the medical image data of the lumbar spine or the femur, the preprocessor 610 uses this part as another adjacent part using a general image compensation method. It can be replaced naturally.
  • the estimator 620 estimates the osteoporosis diagnosis result of the patient by inputting the medical image data and patient information normalized by the preprocessor 610 into the deep learning model.
  • the deep learning model applied to the estimator 620 learns from medical image data and patient information of MRI, CT, and X-RAY of osteoporosis.
  • the deep learning model may be in the form of stacking artificial neural networks in multi-layered layers. That is, the deep learning model automatically learns the pictures of each image by learning a large amount of data from a deep neural network consisting of a multi-layered network, and through this, the objective function, that is, the prediction accuracy of the It is a form of learning the network in a way that minimizes errors.
  • the deep learning model may use, for example, a Convolutional Neural Network (CNN), a Deep Hierachical Network (DHN), a Convolutional Deep Belief Network (CDBN), a Deconvolutional Deep Network (DDN), etc., but currently Alternatively, various deep learning models may be used in the future. In the present specification, it is exemplarily described as using a CNN-based deep learning model, but the present invention is not limited thereto, and various current or future deep learning models can be used.
  • CNN Convolutional Neural Network
  • DDN Deconvolutional Deep Network
  • the framework prepares functions commonly used when developing deep learning models in advance and provides them in the form of a library, and plays a role in enabling the system software or hardware platform below the operating system level to be used well.
  • the deep learning framework may develop a deep learning model using any framework that is currently published or will be released in the future.
  • Deep learning models can apply random sampling (data order random) and regulation techniques. Random sampling means that the order of the training data learned from the training data set is different.
  • Regulatory technology is a technology that reduces overfitting, in which a deep learning model over-trained on training data including noise is less accurate in testing or diagnosis.
  • the regulatory technology may be, for example, a drop-out technology or a drop connected technology.
  • the dropout technique is a method of probabilistically assigning a parameter value to 0 for a specific node and learning it.
  • Drop connected technology is a method of dropping and learning connections between nodes.
  • the dropout technique is exemplarily described below as a regulatory technique below, but it may be any technique or algorithm that reduces overfitting now or in the future.
  • Two or more deep learning models may mean that the model itself is different, such as the number of layers or a weight loss function, or that the results of learning with the same models are different.
  • each deep learning model may learn different internal parameters according to the learning method, for example, sampling order, and randomness of dropout. Even if each training is performed using the same data and the same deep learning models, different results can be obtained for each deep learning model.
  • the estimator 620 may calculate the size of magnesium for each unit region with respect to the divided-processed partial ROI, and may derive a bone density value by summing the calculated sizes of magnesium.
  • doctors can finally classify osteoporosis such as normal, osteopenia or low bone mass, osteoporosis, and severe osteoporosis by comparing bone density, T-score, and Z-score.
  • the estimator 620 estimates the osteoporosis diagnosis result of the patient by inputting the medical image data and patient information normalized by the preprocessor 610 to the learned deep learning model.
  • the osteoporosis diagnosis result may be one of normal, osteopenia, low bone mass, osteoporosis, and severe osteoporosis, but is not limited thereto, and may be another osteoporosis diagnosis result described in Example 1.
  • the preprocessor 610 preprocesses the medical image data in consideration of the overestimation factor and the underestimation factor of bone density.
  • the preprocessor 610 may input raw medical image data into the estimator 620 , which does not preprocess the medical image data in consideration of the overestimation factor and the underestimation factor of bone density.
  • the estimator 620 does not pre-process the medical image data in consideration of the overestimation factor and the underestimation factor of bone density.
  • the original medical image data is used, but the singularity search for overestimated and underestimated factors of bone density is performed.
  • the pre-processing unit 610 sets the region of interest except for the part that causes the overestimated element or the underestimated element, or includes the part causing the overestimated element or the underestimated element in the region of interest, The replacement of that part with another adjacent part has been described. Although this method has an effect of increasing the accuracy of bone density estimation, the pre-processing time of the pre-processing unit 610 may be long.
  • the estimator 620 uses the raw medical image data, but searches for singularities for the overestimated and underestimated elements of bone density, the overall processing time can be reduced.
  • the estimator 620 performs re-learning by updating the data on the prognosis tracking and subsequent treatment process for the deep learning model as input data.
  • the output unit 630 outputs an osteoporosis progression result of one of normal, osteopenia, low bone mass, osteoporosis, and severe osteoporosis.
  • the output unit 630 may combine/ensemble the osteoporosis diagnosis results of the two or more deep learning models to finally output the osteoporosis diagnosis result.
  • Deep learning models use highly flexible nonlinear algorithms. Accordingly, the results of deep learning models may exhibit large deviations.
  • the output unit 630 ensembles the osteoporosis diagnosis results of the deep learning models based on one or more of the majority vote-based ensemble, the unanimity-based ensemble, and the uncertainty-based ensemble. variance can be reduced.
  • the output unit 630 may output the osteoporosis diagnosis result, or may input the osteoporosis diagnosis result to the receiver 310 of the first embodiment described with reference to FIG. 2 .
  • FIG. 14 is a flowchart of a method for diagnosing osteoporosis according to another embodiment.
  • a method 700 for diagnosing osteoporosis receives medical advice request data such as a patient's medical record, parses and mines it, and diagnoses osteoporosis.
  • a method 700 for diagnosing osteoporosis includes at least one diagnosis request terminal 100 , an osteoporosis treatment service providing server 300 , at least one diagnosis terminal 400 described with reference to FIGS. 1 to 5 , In any one of the at least one information providing server 500, it may be implemented as hardware, software, or a combination thereof.
  • the osteoporosis diagnosis method 700 includes a pre-processing step (S710), an estimation step (S720), and an output step (S730).
  • the preprocessing step S710 receives medical image data and patient information including human tissue, extracts an ROI of the medical image from the medical image data, and normalizes the extracted medical image data and the patient information of the ROI. .
  • the medical image data may be the aforementioned unstructured data.
  • the medical image data may be medical image data acquired in a different way according to the tissue of the human body.
  • the patient information includes, but is not limited to, the patient's age, gender, and race, and all information related to the patient of the first embodiment may correspond to the patient information.
  • the medical image data and patient information normalized in the preprocessing step (S710) are input to the learned deep learning model to estimate the osteoporosis diagnosis result of the patient.
  • the output step S730 outputs the osteoporosis diagnosis result of the patient estimated in the estimation step S720 .
  • the pre-processing step S710 when extracting the ROI of the medical image, the ROI of the medical image is primarily extracted and then the ROI is divided into partial ROIs. In the pre-processing step (S710), the divided-processed partial ROI is image-processed for each unit region.
  • the processing may be divided into partial ROIs of L1 to L4 within the ROI.
  • the correct region of interest of the lumbar spine needs to be extracted in the pre-processing step ( S710 ).
  • the correct region of interest of the femur should be extracted in the pre-processing step ( S710 ).
  • the symbol of the patient's gender and the symbol of the race are digitized, and weights are given so as not to overfit between the medical image data of the region of interest extracted together with the patient's age, the digitized gender, and the symbol. can be normalized.
  • the symbol of the patient's gender and the symbol of the race may be digitized.
  • a symbol of a patient's gender could be numbered as 1 for males and numbered as 2 for females.
  • whites, yellows, and blacks can be numbered 1, 2, and 3 respectively.
  • the digitized gender symbol and the race symbol have different values so that the values of the digitized gender symbol and the race symbol are too small than the values of other data so that the values of other data are not overfitted. Weights can be assigned so that they become similar to their values. For example, considering that the age of the patient is approximately 10 to 80 years old, a weight of 10 may be assigned to the numerical values of gender symbols and race symbols.
  • the same region of interest as before may be extracted during a follow-up examination for the same patient.
  • the medical image data may be pre-processed in consideration of the overestimation factor and the underestimation factor of the bone density described above.
  • the pre-processing step (S710) except for the part that causes the overestimated element or the underestimated element, it is set as the region of interest, or the part causing the overestimated element or the underestimated element is included in the region of interest, but the part is placed in another adjacent part can be replaced with
  • the medical image data and patient information normalized in the preprocessing step (S710) are input to the learned deep learning model to estimate the osteoporosis diagnosis result of the patient.
  • the two or more models used in the estimation step S720 may learn different internal parameters according to a learning method, for example, a sampling order and randomness of dropout.
  • the size of magnesium for each unit region may be calculated for the divided-processed region of interest, and the calculated magnesium size may be summed to derive a bone density value.
  • the preprocessor 610 inputs normalized medical image data and patient information into the learned deep learning model to estimate the osteoporosis diagnosis result of the patient.
  • the osteoporosis diagnosis result may be one of normal, osteopenia, low bone mass, osteoporosis, and severe osteoporosis, but is not limited thereto, and may be another osteoporosis diagnosis result described in Example 1.
  • the pre-processing step ( S710 ) has been described as pre-processing the medical image data in consideration of the overestimation factor and the underestimation factor of bone density.
  • raw medical image data in which the medical image data is not pre-processed in consideration of the overestimated factor and the underestimated factor of bone density in the preprocessing step S710 may be input to the estimation step S720 .
  • the medical image data is not pre-processed in consideration of the overestimation factor and the underestimation factor of bone density.
  • the original medical image data is used, but the singularity search for overestimated and underestimated factors of bone density is performed.
  • re-learning is performed by updating the data on the prognosis tracking and subsequent treatment process for the deep learning model with the input data.
  • the output step S730 outputs an osteoporosis progression result of one of normal, osteopenia, low bone mass, osteoporosis, and severe osteoporosis.
  • the output step S730 may ensemble the osteoporosis diagnosis results of the two or more deep learning models to finally output the osteoporosis diagnosis result.
  • the output step S730 is the result of the deep learning models ensemble based on one or more of the majority vote-based ensemble, the unanimity-based ensemble, and the uncertainty-based ensemble, that is, the osteoporosis diagnosis results of the deep learning models. variance can be reduced.
  • the output step S730 may output the osteoporosis diagnosis result, or may input the osteoporosis diagnosis result to the receiver 310 of the first embodiment described with reference to FIG. 2 .
  • the apparatus 600 for diagnosing osteoporosis and the method 700 for diagnosing osteoporosis it is possible to accurately diagnose osteoporosis.
  • osteoporosis diagnosis apparatus 600 and the osteoporosis diagnosis method 700 according to the embodiments it is possible to reduce the amount of work by shortening the diagnosis time.
  • Another embodiment provides a computer program stored in a computer recording medium for performing the above-described osteoporosis diagnosis method.
  • Another embodiment provides a computer-readable recording medium in which a program for realizing the above-described osteoporosis diagnosis method is recorded.
  • the program recorded on the recording medium can be read by a computer, installed, and executed to execute the above-described steps.
  • the above-described program is C, C++ that the computer's processor (CPU) can read through the computer's device interface (Interface).
  • JAVA may include code coded in a computer language such as machine language.
  • Such code may include a function code related to a function defining the above-mentioned functions, etc., and may include an execution procedure related control code necessary for the processor of the computer to execute the above-mentioned functions according to a predetermined procedure.
  • this code may further include additional information necessary for the processor of the computer to execute the above functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. .
  • the code can be executed by the processor of the computer using the communication module of the computer. It may further include a communication-related code for how to communicate with other computers or servers, and what information or media to transmit and receive during communication.
  • the computer-readable recording medium in which the program as described above is recorded is, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, etc., and also carrier wave (eg, , transmission over the Internet) may be implemented in the form of.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • the method of providing an osteoporosis treatment service based on big data and artificial intelligence according to an embodiment described with reference to FIG. 5 and a method for diagnosing osteoporosis according to another embodiment described with reference to FIG. 14 include an application or program module executed by a computer and It may also be implemented in the form of a recording medium containing instructions executable by the same computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the method of providing a big data and artificial intelligence-based osteoporosis treatment service according to an embodiment of the present invention and the osteoporosis diagnosis method according to another embodiment described above are, It can be executed by the application (that is, the program) installed directly on the master terminal through an application providing server such as an application store server, an application, or a web server related to the service). may be executed by
  • the method for providing osteoporosis treatment service based on big data and artificial intelligence according to an embodiment of the present invention and the method for diagnosing osteoporosis according to another embodiment are basically installed in a terminal or an application (that is, directly installed by a user) , program) and may be recorded in a computer-readable recording medium such as a terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Rheumatology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 명세서는 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 환자 정보를 정규화하고, 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하고, 추정한 환자의 골다공증 진단 결과를 출력하는 골다공증 진단 장치 및 그 골다공증 진단 방법을 개시한다.

Description

골다공증 진단 장치 및 그 골다공증 진단 방법
본 발명은 골다공증을 진단하는 골다공증 진단 장치 및 그 골다공증 진단 방법을 제공한다.
현재 IoT, 빅데이터, 클라우드 기술의 발전과 함께 인공지능 기술이 전 산업분야에 활용됨에 따라 의료계에서도 AI 기반 임상의사결정지원 시스템(ClinicalDecision Support System, CDSS)에 대한 관심이 커져가고 있다. CDSS는 높은 신뢰도와 고품질의 의료 지식베이스를 기반으로 하여 추론을 통해 의료진에게 임상의사결정을 지원함으로써 의료행위의 오류를 감소시키고, 의료 서비스의 품질과 효율성을 증대시킬 수 있는 전문가 시스템을 말한다. 최근, 눈부신 인공지능 기술의 발전에 따라 의료진의 새로운 지식이나 경험뿐만 아니라, 환자의 몸이나 전자의료기록(EMR), 및 생활 환경으로부터 수집되는 방대한 양의 빅데이터로부터 CDSS에서 필요로 하는 의료지식을 획득하여 CDSS를 활성화하기 위한 시도가 이루어지고 있다.
이때, CDSS는 지식이 중심이 되는 아키텍처와 임상의사결정 애플리케이션이중심이 되는 아키텍처가 혼합되도록 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2010-0097522호(2010년09월03일 공개)에는, 사용자의 임상의사결정지원 요청에 따라, 임상의사결정 지원 애플리케이션을 구동시키는 애플리케이션 구동부, 병원별 전자의료기록 스키마를 각각 저장하는 인터페이스 리포지터리, 애플리케이션 구동부의 구동에 따라 인터페이스 리포지터리를 참조하여 임상의사결정지원을 위한 환자 정보를 검색하는 인터페이스 서버, 임상의사결정지원을 위한 표준 기반의 지식저작을 수행하는 지식저작부, 지식저작부에서 저작된 지식을저장하는 지식 리포지터리, 및 지식 리퍼지터리를 참조하여 인터페이스 서버에서검색된 환자 정보에 대응하는 임상의사결정지원을 위한 지식을 검색하는 인퍼런스서버의 구성이 개시되어 있다.
다만, CDSS에서 가장 핵심적인 요소인 지식베이스는 의료분야의 특성상 고신뢰성, 정확성, 무결성이 담보되어야 하고, 이러한 특성은 시스템의 개발 단계에서의 학습과정뿐만이 아니라, 시간이 지남에 따라 진화하는 지식의 유지보수 단계에서도 유지될 수 있어야 하지만, 상술한 시스템을 포함한 대부분의 의료 전문가시스템은 이러한 시스템의 사용중에 발견되는 새로운 지식의 변화를 잘 수용하지 못하고 있어서 실제 병원 현장에서 활용이 활성화 되지 못하고 있다.
실시 예들은, 골다공증에 대한 정확한 진단을 하는 골다공증 진단 장치 및 그 골다공증 진단 방법을 제공한다.
또한, 실시 예들은, 진단시간 단축으로 업무량의 감소를 가져오는 골다공증 진단 장치 및 그 골다공증 진단 방법을 제공한다.
다만, 본실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 명세서는, 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 환자 정보를 정규화하고, 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하고, 추정한 환자의 골다공증 진단 결과를 출력하는 골다공증 진단 장치 및 그 골다공증 진단 방법을 개시한다.
일 실시 예는, 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 상기 환자 정보를 정규화하는 전처리부, 전처리부에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하는 추정부, 및 추정부에서 추정한 환자의 골다공증 진단 결과를 출력하는 출력부를 포함하는 골다공증 진단 장치를 제공한다.
다른 실시 예는 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고 추출된 관심 영역의 의료 영상 데이터와 상기 환자 정보를 정규화하는 전처리 단계, 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하는 추정 단계, 및 추정 단계에서 추정한 환자의 골다공증 진단 결과를 출력하는 출력 단계를 포함하는 골다공증 진단 방법을 제공한다.
실시 예들에 따른 골다공증 진단 장치 및 그 골다공증 진단 방법에 의하면, 골다공증에 대한 정확한 진단을 할 수 있다.
또한, 실시 예들에 따른 골다공증 진단 장치 및 그 골다공증 진단 방법에 의하면, 진단시간 단축으로 업무량의 감소를 가져올 수 있다.
도 1은 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 골다공증 치료 서비스 제공 서버를 설명하기위한 블록 구성도이다.
도 3a, 도 3b 및 도 3c은 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스가 구현된 일 실시 예를 설명하기 위한 도면들이다.
도 4는 본 발명의 일 실시 예에 따른 도 1의 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 6은 다른 실시 예에 따른 골밀도 진단 장치의 블럭도이다.
도 7은 도 6의 전처리부에서 요추의 관심 영역을 추출한 결과를 도시하고 있다.
도 8 및 도 9는 각각 요추의 관심 영역을 추출한 결과가 올바른 경우와 올바르지 않은 경우를 도시하고 있다.
도 10은 도 6의 전처리부에서 의료 영상 데이터에 포함된 대퇴골의 특성을 설명한 도면이다.
도 11은 도 6의 전처리부에서 대퇴골의 관심 영역을 추출한 결과를 도시하고 있다.
도 12 및 도 13은 도 6의 전처리부에서 대퇴골의 관심 영역을 추출한 결과가 올바른 경우와 올바르지 않은 경우를 도시하고 있다.
도 14는 또다른 실시 예에 따른 골다공증 진단 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
실시 예 1
도 1은 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템(1)은, 적어도 하나의 진단 요청단말(100), 골다공증 치료 서비스 제공 서버(300), 적어도 하나의 진단 단말(400),적어도 하나의 정보제공 서버(500)를 포함할 수 있다. 다만, 이러한 도 1의 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템(1)은, 본 발명의 일 실시 예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 진단 요청 단말(100)은 네트워크(200)를 통하여 골다공증 치료 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 골다공증 치료 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 진단 요청 단말(100), 적어도 하나의 진단 단말(400), 적어도 하나의 정보제공 서버(500)와 연결될 수 있다. 또한, 적어도 하나의 진단 단말(400)은, 네트워크(200)를 통하여 골다공증 치료 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 정보제공 서버(500)는, 네트워크(200)를 통하여 골다공증 치료 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
적어도 하나의 진단 요청 단말(100)은, 빅데이터 및 인공지능 기반 골다공증치료 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여진단을 요청하는 요청자의 단말일 수 있다. 이때, 적어도 하나의 진단 요청 단말(100)은, 환자의 의료기록을 텍스트, 이미지, 및 동영상을 포함하여 골다공증 치료 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 또한, 적어도 하나의 진단 요청 단말(100)은, 골다공증 치료 서비스 제공 서버(300)로부터 진단요청에 대한 피드백을 수신하는 단말일 수 있다. 그리고, 적어도 하나의 진단 요청 단말(100)은, 환자의 치료방법이 적용된 후 예후를 추적관찰한 결과 데이터를 골다공증 치료 서비스 제공 서버(300)로 전송하는 단말일 수 있다.
여기서, 적어도 하나의 진단 요청 단말(100)은, 네트워크를 통하여 원격지의서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크 톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 진단 요청단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 진단 요청 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
골다공증 치료 서비스 제공 서버(300)는, 빅데이터 및 인공지능 기반 골다공증 치료 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)로부터 환자의 진료 기록 등 의료자문 요청 데이터를 수신하는 경우, 이를 파싱 및 마이닝하여 골다공증을 분류하고, 위험인자 및 생화학적 골표지자 검사 결과를 포함하는 식별자를 추출하는 서버일 수 있다. 또한, 골다공증 치료 서비스제공 서버(300)는, 추출된 식별자를 이용하여 식별자에 매핑되어 저장된 유사 진단데이터를 추출하기 위하여 질의(Query)를 생성하는 서버일 수 있다. 그리고 나서,골다공증 치료 서비스 제공 서버(300)는, 생성된 질의를 이용하여 빅데이터에 질문을 전송하고, 질의에 대한 답변으로 유사 진단 데이터를 추출하는 서버일 수 있다.
또한, 추출된 진단 데이터에 기반하여 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)에서 요청한 환자의 기록에 대응되도록 진단 데이터를 생성하여 진단 요청 단말(100) 및 진단 단말(400)로 결과를 리턴하는 서버일 수 있다. 그리고, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100) 또는 진단 단말(400)로부터 오류 데이터가 피드백으로 전송되는 경우, 오류 패턴을 검색하고 학습하기 위하여 인공신경망 딥러닝을 실시하는 서버일 수 있다. 이를 위하여, 골다공증 치료 서비스 제공 서버(300)는, 빅데이터를 적어도 하나의 정보제공 서버(500) 및 기 저장된 히스토리 로그 데이터를 이용하여 구축하고, 수집, 전처리, 분석 등을 통하여 빅데이터를 분류 및 클러스터링한 후 학습시키는 서버일 수 있다.
또한, 골다공증 치료 서비스 제공 서버(300)는, 비정형 데이터인 영상 데이터나 이미지 데이터로부터 식별자를 추출하기 위하여, 영상 데이터 및 이미지 데이터로부터 식별자를 태깅하기 위한 딥러닝 인공신경망 알고리즘을 이용하여 데이터 학습을 진행하는 서버일 수 있다. 그리고, 골다공증 치료 서비스 제공 서버(300)는, 학습 결과에 따라 이후 입력되는 영상, 이미지 등으로부터 식별자를 태깅하거나 추출하는 서버일 수 있다. 또한, 골다공증 치료 서비스 제공 서버(300)는, 환자의 예후를 추적관찰하여 환자의 의료기록 데이터의 히스토리 로그를 업데이트하고, 이를 다시 빅데이터에 입력값으로 지정하여 빅데이터를 재학습시키는 서버일 수 있다.
여기서, 골다공증 치료 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 진단 단말(400)은, 빅데이터 및 인공지능 기반 골다공증 치료서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 진단자 또는 의사의 단말일 수 있다. 그리고, 적어도 하나의 진단 단말(400)은, 골다공증 치료 서비스 제공 서버(300)로부터 진단 요청 단말(100)로부터 수신한 진료기록 데이터를 수신하고, 수신된 진료 기록 데이터에 대한 소견 등을 골다공증 치료 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 또한, 적어도 하나의 진단 단말(400)은 골다공증 치료 서비스 제공 서버(300)에서 빅데이터가 인공지능으로 학습될 때까지 질의에 대한 결과를 수신하고, 오류를 다시 골다공증 치료 서비스 제공 서버(300)로 피드백해주는 단말일 수 있다.
여기서, 적어도 하나의 진단 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop),랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 진단 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 진단 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
적어도 하나의 정보제공 서버(500)는, 빅데이터 및 인공지능 기반 골다공증치료 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여진료기록과 진단 결과 데이터를 매핑하여 골다공증 치료 서비스 제공 서버(300)에전송하는 서버일 수 있다. 여기서, 적어도 하나의 정보제공 서버(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 골다공증 치료 서비스 제공 서버를 설명하기위한 블록 구성도이고, 도 3은 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능기반 골다공증 치료 서비스가 구현된 일 실시 예를 설명하기 위한 도면이다.
도 2를 참조하면, 골다공증 치료 서비스 제공 서버(300)는, 수신부(310), 저장부(320), 분류부(330), 추출부(340), 전송부(350), 빅데이터화부(360), 검증부(370), 및 추적관찰부(380)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 골다공증 치료 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 진단 요청 단말(100), 적어도 하나의 진단 단말(400), 및 적어도 하나의 정보제공 서버(500)로 빅데이터 및 인공지능 기반 골다공증 치료 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 진단 요청 단말(100), 적어도 하나의 진단 단말(400), 및 적어도 하나의 정보제공 서버(500)는, 빅데이터 및 인공지능 기반 골다공증 치료 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나열할 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 진단 요청 단말(100), 적어도 하나의 진단 단말(400), 및적어도 하나의 정보제공 서버(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
도 2를 참조하면, 수신부(310)는, 진단 요청 단말(100)로부터 골다공증 진단및 치료를 위하여 전송되는 환자의 진료기록 데이터를 수신할 수 있다. 이때, 환자의 진료기록 데이터는, 정형화 정도에 따라 정형(structured) 데이터, 반정형(semi-structured) 데이터, 비정형 (unstructured) 데이터로 분류할 수 있고, 이하 표 1은 이러한 기준에 따른 의료 데이터의 분류 예이다.
Figure PCTKR2021003142-appb-T000001
정형 데이터는 종류와 형식이 정해져 있는 규격을 갖는 데이터로, 크게 2가지 종류의 의료 데이터가 포함된다.
첫번째는 주로 의료 기관에서 사용하는 EMR시스템에서 고정된 필드에 정해진 형식(수치, 날짜 등)의 값으로 기입하거나 항목으로 선택하는 유형의 데이터이다.
두 번째는 각종 자료들의 메타데이터이다. 환자 개인의 모든 의료 데이터들에 대한 정보로서, 데이터의 신뢰성 보장이나 데이터해석을 위해서도 반드시 제공되어야 한다. 기본적으로는 환자에 대한 정보(이름, 나이, 신체 정보 등), 데이터 생성에 관련된 정보(생성 기관, 생성자, 생성일 등)등이 포함될 수 있다.
특히 국내에서는 의료 영상 정보 교환을 위한 표준인 DICOM(Digital Imaging and Communication in Medicine)을 기반으로 한 의료 영상메타데이터 표준이 이용될 수 있고, 이는 표 2에서 도시된 바와 같이, 환자 정보,검사 정보, 영상 정보, 장비 정보 등을 포함하고 있다.
Figure PCTKR2021003142-appb-T000002
반정형 데이터는 대부분 텍스트 형태로 필드가 고정되어 있지는 않지만, 자료의 특성에 따라 텍스트 내에 포함되는 내용을 정의할 수 있는 데이터 부류이다.크게는 의료 전문가의 소견이 담기는 문서 데이터와 여기에 추가되는 코멘트(comment)가 해당된다. 텍스트 데이터는 일반적으로는 비정형 데이터로 분류되지만, 의료 분야의 특수성에 의해 텍스트 내에 포함되는 항목이나 내용이 어느 정도 정해져 있는 경우가 많다. 예를 들어, 의료 영상 검사의 판독 보고서 내에는 의료전문가가 시술 과정, 환자에 대한 간략한 정보, 검사/진단 결과 등을 텍스트 형태로 기술한다.
하지만 질환에 따라 달라지기는 하겠지만, 일반적으로 환자 정보에는 흡연 여부, 지병, 통증 정도 등의 정보가 포함되고, 검사/진단 결과에는 증상명칭, 증상의 정도 등이 간략하게 나열된다. 이에 따라, 증상, 명칭 등을 통하여 과를 분류하고, 부위를 분류하며, 세부병명을 분류할 수 있으며, 반정형 데이터를 정형화할 수 있다.
비정형 데이터는 형태가 불규칙하여 정의하기 어려운 항목들로서, 일반적으로 텍스트와 이미지 등이 해당한다. 의료 분야에서는 대부분의 텍스트 데이터는 반정형으로 분석할 수 있으므로, 영상이나 이미지 데이터만 비정형으로 고려할 수 있다. 비정형 데이터에는, 예를 들어, CAG(Coronary Angiography), 각종 초음파영상 등과 같은 다양한 종류의 동영상 데이터와 CT(Computed Tomography), MRI(Magnetic Resonance Imaging),EKG(Electrocardiogram; ECG) 등과 같은 이미지 데이터가 포함된다. 이와 같은 비정형 데이터도, 키워드, 태그 또는 메타 데이터로 학습되어 분류 및 패턴화되고, 이후 새로운 비정형 데이터의 분류가 요구되었을 때, 데이터를 레코드 형식으로 가공하고 연관 데이터와 함께 제공될 수 있다.
저장부(320)는, 수신된 진료기록 데이터 중 적어도 하나의 골밀도(Bone Mineral Density) 검사 항목에 포함된 숫자 데이터를 인식 및 추출하여 저장할 수있다. 이때, 정량적 골밀도측정법(bone densitometry)은 방사선흡수법(radiographic absorptiometry, RA), 이중에너지 방사선흡수법(dual energy Xray absorptiometry, DXA), 정량적 초음파법(quantitative ultrasound, QUS), 정량적 전산화단층촬영(quantitative computed tomography, QCT)과 말단골 정량적 전산화단층촬영(peripheral quantitative computed tomography, pQCT) 등이다.
각 골밀도 측정법마다 측정원리와 측정부위가 다른데, 예를 들어, 요추와 대퇴골 부위는 DXA와 QCT를 이용하며, 요골은 DXA와 pQCT, 손은 RA, 종골은 QUS와 pQCT, DXA를 사용할 수 있다. 전신 골밀도와 체지방 분석은 DXA로 측정이 가능하다.
요추와 대퇴골 부위가 가장 많이 측정되는 표준 부위이며 임상적으로도 골다공증성 골절이 흔히 발생하는 부위이다. 이 두 부위에서 측정된 골밀도 중 낮은 수치를 기준으로 진단한다. 요추와 대퇴골의 골밀도 검사가 불가능할 경우와 피질골 소실이 심한 부갑상선기능항진증에서는 요골의 원위 1/3 부위를 측정한다. 이외에 골의 구조를 평가하기 위하여 pQCT, micro-MRI, micro-CT, Xtreme CT, pDXA(peripheral/portable DXA), Central DXA 등이 사용될 수 있으며 골밀도만으로 설명하기 어려운 골다공증의 병태 생리나 약물에 대한 효과를 설명하는데 도움을 줄 수 있다.
이때, 숫자 데이터는, 예를 들어, 요추 골밀도를 측정한다고 가정하면, L1에서 L4까지의 평균치를 기준으로 진단하는 데이터이다. 정상에서는 L1에서 L4로 가면서 골밀도가 증가하는데 이런 경향이 역전되거나 T-값이 주위 요추와 1 표준편차이상 차이를 나타내면 퇴행성 변화 등 판정에 적합하지 않은 부위일 가능성이 높다. 추적 검사는 반드시 동일한 관심 영역(ROI; region of interest)을 선택해야 검사의 정밀도를 높일 수 있는데, L3, L4의 퇴행성 변화로 L1, L2에 비하여 골밀도가 높게 측정된 경우, L1과 L2의 T-값 평균치를 이용하여 골다공증으로 진단할 수 있게 되는 것이다.
또한, 골밀도 측정 결과인 숫자 데이터를 해석하기 위해서는, 우선 골다공증의 유병률은 측정부위, 해부학적 관심 영역 선택과 측정 방법에 따라 달라지는 것을데이터화해야 한다. 이는 측정부위에 따라 소주골과 피질골의 구성비가 다르고 골소실 속도에 차이가 있기 때문이다.
골밀도는 나이, 성별, 종족간의 정상 평균값과 비교하여 해석할 수 있다. T-값은, (환자의 측정값 － 젊은 집단의 평균값) /표준편차로 골절에 대한 절대적인 위험도를 나타내기 위해 골량이 가장 높은 젊은 연령층의 골밀도와 비교한 값이다. 따라서, 골밀도측정기에 따라 측정단위나 절대수치가 달라도 비교가 가능하다. 이에 비하여 Z-값은 (환자의 측정값 － 동일 연령집단의 평균값) / 표준편차로 같은 연령대의 평균 골밀도와 비교한 수치이다.
우선, 요추 및 대퇴골의 골밀도 해석하기 위해, T-값 ≥ -10: 정상, -10 > T-값> -25: 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), T-값 ≤ -25:골다공증, T-값 ≤ -25 + 골다공증골절: 심한 골다공증으로 구분할 수 있다.
이때, Z-값이 -20 이하이면 대사성 골질환의 감별을 위하여 추가적인 검사를 요할수 있으며, 소아, 청소년, 폐경 전 여성과 50세 이전 남성에서는 T-값을 사용하지않고 Z-값을 사용하도록 한다. 그리고, Z값이 -20 이하이면 연령 기대치이하(below the expected range for age)라 정의한다. 물론, 상술한 수치나 정의 및 규칙 등은 해석방법이나 측정기계에 따라 변경될 수 있으며, 상술한 것들로 한정되지는 않음은 자명하다 할 것이다.
분류부(330)는, 저장된 숫자 데이터를 기 저장된 골다공증 분류 테이블에 기반하여 골다공증의 종류를 분류할 수 있다.
이때, 골다공증은 일차성과 이차성 골다공증으로 분류된다. 일차성 골다공증 또는 원발성 골다공증은 폐경으로 인한 제1형 골다공증과 노화로 인한 제2형 골다공증으로 편의상 분류하지만 거의 같은 시기에 병합되어 진행되므로 정확히 분류하기 어렵다. 이차성 골다공증은 특정 질병이나 수술, 약물복용 등에 의해 최대골량의 형성 장애가 있거나 골소실이 증가되는 경우에 발생한다. 이차성 골다공증을 일으키는 원인은 매우 많고, 이차성 골다공증도 임상적으로 뚜렷한 특징이 없는 경우가 많기 때문에 발병의 정도, 기전, 특성 등 전반적인 연구 및 각 질환별로 골다공증에 대한 위험인자의 판별 방법 등을 빅데이터의 학습을 통하여 분류 테이블을 생성할 수 있고, 이에 따라 분류부(330)는,골다공증의 종류를 분류할 수 있다.
예를 들어, 글루코코르티코이드 유발 골다공증, 그밖에 다양한 전신 질환과 약물 등이 이차성 골다공증의 원인으로 알려져 있고, 이의 예는 이하 표 3과 같다.
남성의 경우 가장 흔한 원인 3가지는 성선기능 저하증, 글루코코르티코이드 사용, 과도한 음주이고, 폐경 전 여성의 경우에는 성선기능저하증, 글루코코르티코이드 사용 등이다. 따라서, 초기에 알려진 데이터를 수집하여 학습을 진행한 후, 이후 검증부(370)에서 진행하는 오류검증 및 딥러닝으로 재학습을 진행하는 경우, 이차성 골다공증을 인공지능 빅데이터 알고리즘으로 진단할 수 있게 된다.
Figure PCTKR2021003142-appb-T000003
추출부(340)는, 환자의 진료기록 데이터 중 임상실험결과 및 검진결과에 기반하여 유전적 요인, 생활습관 및 영양, 질병 및 약제를 포함하는 위험인자를 추출할 수 있다. 이때, 골다공증의 중요한 두 가지 위험인자는 청장년기에 낮게 형성된 최대 골량과 노화 및 폐경으로 인한 빠른 골 소실이다. 따라서 골다공증의 예방을 위하여는 골소실이 증가되기 시작하는 폐경 이후 노년층에서 골소실을 가능한 막고자하는 노력뿐만 아니라 골형성이 시작하는 태아기부터 가능한 높은 최대 골량을 형성시키는 노력을 해야 한다는 점에서 골다공증은 일생 동안의 관리가 필요한 질환이다. 최대 골량의 형성은 크게 유전적 인자와 환경적 인자에 의하여 결정된다.
골다공증은 약 46~80% 정도의 강한 유전적 성향을 가진다고 알려져 있다. 예를 들면, 어머니가 뼈가 약하면 그 딸들에서도 약한 뼈가 관찰되며, 일란성 쌍생아들이 이란성 쌍생아들보다 성장 후 골밀도가 서로 유사하다는 보고가 있다.
유전적 영향은 최대 골량의 형성기뿐 아니라 이후에도 지속된다. 많은 연구들이 진행되고 있음에도 불구하고 어떤 유전자에 의해 골다공증이 생기는지에 대한 구체적인 분자생물학적 기전은 확실치 않기 때문에 골다공증은 다수의 유전적 변이들의 상호 작용으로 인한 다유전적 질환으로 여겨진다. 최근 LRP5 유전자의 변이들이 보고되었고 유전자 변이의 종류에 따라 매우 낮거나 높은 골량을 가진 가족들에 대한 발표가 잇달아 있었다. LRP5 유전자의 기능 연구로 Wnt 경로가 골의 형성과 유지에 중요한 역할을 한다는 것이 발견되었고 이를 기반으로 골형성 촉진에 대한 기전 연구가 진행되고 있다. 상술한 골다공증의 위험인자는 이하 표 4와 같다.
Figure PCTKR2021003142-appb-T000004
추출부(340)는, 생화학적 골표지자 검사에 포함된 적어도 하나의 표지자를 추출할수 있다. 이때, 골격에서는 골흡수에 의해 오래된 뼈가 제거되고 골형성에 의해 새로운 뼈가 생성되는 골교체가 지속적으로 이루어지고 있다.
생화학적 골교체표지자(biochemical markers of bone turnover)는 골교체율을 반영하는 지표로써 골의 질을 평가할 수 있는 거의 유일한 비침습적 방법이다. 골밀도가 골대사의 정적인 지표인 것에 반해 생화학적 골표지자는 동적 지표이다.
여기서, 골표지자는 파골세포와 조골세포에서 분비되는 효소나, 골흡수나 골형성 과정에서 유리되는 기질성분을, 혈액이나 소변에서 측정하는 것인데, 개념적으로 골흡수 표지자와 골형성표지자로 나눌 수 있다. 골흡수 표지자로는, 뼈의 주 기질성분인 콜라겐의 교차결합물(collagen cross -links)인 피리디놀린(pyridinoline, PYR)과 데옥시피리디놀린 (deoxypyridinoline, DPD) 등을 측정하는 방법이 있다. 또한, PYR과 DPD의 교차 결합은 콜라겐 섬유의 아미노말단과 카르복시 말단에서 일어나는데, 이 부위를측정하는 아미노말단 텔로펩티드(N-telopeptide of collagen cross-links, NTX)와 카르복시말단 텔로펩티드(C-telopeptide of collagen cross-links, CTX) 등이 있다.
골형성 표지자로는 조골세포에서 생성되어 분비되는 골특이 알칼리성 인산분해효소(bone specific alkaline phosphatase, BSALP)와 오스테오칼신(osteocalcin,OC) 등의 단백을 측정하거나 제1형 콜라겐 합성 과정에서 만들어지는 전구콜라겐의 연장 펩티드들인 PICP(carboxyterminal propeptide of type I procollagen)와 PINP(aminoterminal propeptide of type I procollagen) 등을 측정한다. 그러나, 제1형 콜라겐은 뼈에만 존재하는 것이 아니라 피부와 같은 다른 조직에서도 만들어지기 때문에, 골형성 표지자로 BSALP와 OC를 이용하는 것이 바람직하다. 이를, 정리한 표는 이하 표 5와 같다.
Figure PCTKR2021003142-appb-T000005
골표지자 값은 개인적 특성과 측정방법 자체에 의해 다양하게 영향 받을 수있다.
개인적 특성은 환자의 연령, 성별, 인종, 신체 활동, 식사, 약물 복용, 임신, 수유, 신장 질환, 간질환, 골절 등의 인자가 포함되며, 측정방법에 의한 인자로는 검체의 처리 과정, 측정의 정밀도와 정확도, 표준화, 다른 물질과의 교차 반응, 실험실 간의 변이 등이다.
골표지자는 일반적으로 하루 주기의 리듬이 있기 때문에 검체채취 시간과 방법을 일정하게 설정하지 못한 경우, 이를 오류 패턴으로 포함시켜 이후에 빅데이터 학습을 진행해야 할 수 있다. 소변에서 측정하는 경우에는 신기능에 의한 영향을 최소화하기 위하여 요중 크레아티닌 배설양을 함께 측정하여 이를 나눠 보정하는 방식으로 학습을 진행할 수도 있다.
또한, 학습을 진행할 때, 각 골표지자는 연령, 성별, 인종, 건강 상태 등에 따라 다르기 때문에 이에 따라 각각 참고값(범위; 평균 ± 196 표준 편차)을 확립하도록 할 수 있다.
전송부(350)는, 분류된 골다공증의 종류, 위험인자 및 적어도 하나의 표지자를 기 구축된 인공지능 빅데이터 알고리즘에 입력 데이터로 입력하여 골절 위험도 진단 및 치료방법을 추출하여 진단 요청 단말(100)로 전송할 수 있다.
이때, 전송부(350)는, 분류된 골다공증의 종류, 위험인자 및 적어도 하나의 표지자를 질의(Query) 데이터로 생성하고, 생성된 질의 데이터에 기반하여, 기 구축된 빅데이터로부터 기설정된 유사도를 가지는 기준 데이터를 추출하고, 추출된 기준 데이터에 기 매핑되어 저장된 골절 위험도 진단 및 치료방법을 추출할 수 있다.
빅데이터화부(360)는, 수신부(310)에서 진단 요청 단말(100)로부터 골다공증진단 및 치료를 위하여 전송되는 환자의 진료기록 데이터를 수신하기 이전에, 적어도 하나의 진단 요청 단말(100)의 적어도 하나의 진단 단말(400)에 대한 진단 요청에 응답한 진단 데이터와, 적어도 하나의 정보제공 서버로부터 수집된 의료 가이드라인 데이터를 포함하는 정보 데이터를 수집할 수 있다.
그리고, 빅데이터화 부(360)는, 진단 데이터와 정보 데이터를 포함한 로우 데이터(Raw Data)를 병렬 및 분산하여 저장할 수 있고, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시할 수 있다.
그리고, 빅데이터화 부(360)는, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있고, 분석된 데이터를 기계학습으로 학습을 진행하여 인공지능 빅데이터알고리즘을 생성할 수 있다.
이때, 의료 가이드라인 데이터는, 보건복지부, 식품 의약품안전처, 국민건강보험공단, 건강보험심사평가원 등 다양한 정부기관 및 의료기관에서 관리 및 운영되고 있어서 각 기관에서 보유한 데이터들의 공유와 연계로 수집될 수 있다. 이때, 개인 건강 기록(PHR; Personal Health Record)과 전자 건강 기록(HER; Electronic Health Record), 스마트 헬스데이터(Smart Health Data) 등이 더 수집될 수도 있다. 여기서, 기계학습은, 딥러닝(Deep-Learning) 기계학습을 포함하고, 기계학습은, 지도학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 및 강화 학습(Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합으로 이루어질수 있다.
이때, 딥러닝은, 층이 깊은 신경망을 학습하여 특징을 계층적으로 구조화하는 기계학습 기법으로, 딥러닝은 데이터의 양에 비례하여 성능이 향상되는 경향성을 보인다.
전통적인 기계학습 알고리즘은 데이터로부터 특징(feature vector)을 설계하고 이를 활용하여 비교적 단순한 기계학습을 수행하였는데, 이는 적은 수의 데이터에도 불구하고 동작하는 알고리즘의 개발을 가능하게 하지만 데이터의 양이 증가하더라도 성능이 정체되는 경향을 보이게 된다.
반면에 딥러닝 기반의 접근법은 데이터가 공급됨에 따라 성능이 꾸준히 향상되는 특성을 보인다. 이는 데이터가 풍부한 현시점에 기존 방법과 비교하여 매우 중요하고 현실적인 장점이다. 딥러닝 학습의 결과로 얻어진 모델을 분석하면 층이 높아질수록 점진적으로 복잡한 특징을 구성할 수 있다.
특히, 영상인식에서 딥러닝이 좋은 성능을 보이는데, 이미지를 처리하는 깊은 신경망의 밑의 레이어는 방향성 에지와 같은 단순 패턴에 반응하는 뉴런으로 구성 및 학습되어 있지만, 순차적으로 코너, 물체의 부분, 물체의 전체적인 모양 등의 복잡한 패턴에 반응하는 뉴런으로 구성되어 있다. 이처럼 영상의 특징을 잘 표현하는 방법을 배운다는 점을 강조하여 딥러닝의 특징을 표현법학습(representation learning)이라고도 한다.
이때, 자연어 처리(natural language processing)에서도 이러한 표현법 학습은 유용하다. 구체적으로 자연어 처리 과정에서 과거에는 각 단어에 고유 인덱스를 할당하여 단어를 표현하였다. 이 방법은 수학적으로 명확하지만 단어의 의미가 표현법(representation)에 반영되지 않는다는 한계가 있다.
딥러닝을 이용하는 최근 접근법에 따르면 단어들은 수백 차원의 벡터로 표현 되는데(word embedding) 이 벡터값들이 단어가 가지는 의미를 반영하게 된다.
예를 들어, 숫자를 표현하는 단어(one, two, three 등)들은 수백차원의 벡터공간에서 비슷한 곳에 모인다거나 특정 축이 성별(gender)을 나타내기도 한다. 딥러닝은 이러한 표현법을 데이터로부터 자동으로 학습하는 것을 가능하게 할 수 있다. 또한, 딥러닝은, end-to-end 학습이 가능하다. 전통적인 접근법은 특징 벡터의 설계를 비롯하여 시스템 설계과정에서 엔지니어가 개입하여 경험이나 직관에 의존하여 설계해야 하는 많은 요소를가지고 있었다.
예를 들어 글자 인식 시스템(Optical Character Recognition System)의 경우 문자 이미지 입력에 대하여 이진화(binarization), 단어 단위의 분리(word segmentation), 글자 단위의 분리(character segmentation)를 순차적으로 수행한 후 개별 글자(character recognition)를 인식하는 파이프라인을 주로 사용하였으며 각 단계의 알고리즘은 독립적으로 개발 적용 되었다. 이런 접근법은 상대적으로 적은 양의 데이터로도 개발 가능하다는 장점이 있지만, 개별 단위의 개선의 합이 전체 성능의 개선과 명확한 관계를 가지지 않으며 개인의 직관적인 결정에 크게 의존할 수밖에 없다는 문제점이 있다. 이와 다르게 딥러닝은 이러한 요소를 줄이고 입력과 출력의 예시만으로 전체 시스템의 학습이 가능하다.
이때, 지도학습은, 입력과 그 입력이 들어갔을 때 나와야 하는 출력의 예시를 통해 입출력 관계를 학습하는 방법이다. 예를 들어, 학습데이터(training data)에 기계학습 알고리즘을 적용하면 모델이라고 부르는 학습 결과물을 얻을 수 있다. 학습데이터는 입력과 출력의 짝으로 이루어져 있다.
예를 들어, 골다골증 환자의 진료기록 데이터 중 촬영영상, 검사수치 등은 입력이고, 출력은 진료기록 데이터 중 진단 및 위험도 평가일 수 있다. 학습이 완료되어 얻게 된 모델을 사용하여 트레이닝 셋에 포함되지 않은 새로운 입력에 대해서 라벨을 예측할 수 있다. 예를 들어, A 환자의 B 영상 및 C수치값을 진단한 결과가 D라면, A, B, C와 유사한 인자 및 수치값을 가지는 사람이라면, 진단 결과도 D와 유사하게 나오는 것과 같다.
비지도학습은, 라벨 없이 데이터만 주어지는 경우, 데이터로부터 데이터 내부의 숨겨진 구조를 발견하는 방법이다. 구체적으로 군집화(clustering), 차원축소(dimension reduction, feature learning), 생성모델학습(generative model learning)의 일을 수행할 수 있다.
군집화는 데이터를 유사도에 따라서 여러 개의 그룹으로 나누는 작업이다. 이 과정에서 데이터 상의 거리를 어떻게 정의하느냐에 따라서 다양한 군집 결과가 나올 수 있으므로 문제의 목적에 맞는 거리를 정의하는 것이 매우 중요하다. 물론 이러한 거리를 정의하는 데는 도메인 지식이 필요하다.
차원축소(특징학습) 역시 비지도학습의 예로서 라벨 없이 수행할 수 있다. 일반적으로 오토인코더는 입력과 출력이 같도록 내부 파라미터를 학습한다. 단, 모델 내부에 병목(bottleneck) 구조를 만들어 높은 차원의 입력이 낮은 차원의 벡터로 표현되었다가 다시 복원 (reconstruction) 되도록한다.
이와 같은 방법으로 차원축소를 수행하면 데이터의 중요한 구조를 발견할 수 있으며 이후 데이터 처리에 도움을 준다. 라벨이 주어진 데이터가 많지 않은 상황에서 이와 같은 차원 축소 알고리즘을 통해 데이터 벡터의 차원을 줄이는 방식으로 많이 사용될 수 있다.
생성모델학습은 데이터로부터 그와 유사한 데이터를 추가적으로 생성할 수 있는 확률 모델을 학습하는 방법으로 비지도학습의 또 다른 예이다. 일반적으로 특정 분포를 따르는 난수를 입력하면 학습 데이터와 유사한 데이터를 생성해준다.
예를 들어, 많은 수의 CT 영상으로 네트워크학습을 수행하면 잡음로부터 CT 영상을 생성하는 일을 할 수 있다 이에 더하여, GAN(Generative Adversarial Network)을 이용한 방식을 이용할 수도 있는데, GAN 샘플을 생성하는 신경망과 합성된 이미지와 실제 샘플을 구별하는 신경망을 경쟁적 또는 적대적으로 학습시키는 방법이다.
강화학습은, 어떤 환경에서 정의된 에이전트가 현재의 상황을 입력(observation)으로 받아 누적 보상(reward)이 최대가 되는 액션을 선택하는 방법을 학습하는 방법이다. 강화학습은 지도학습과 비교하여 일반적으로 적용 가능한 인공지능(general purpose artificial intelligence)에 가까울 수 있다. 강화학습은 학습 과정에 라벨이 있는 데이터가 필요 없다는 점은 지도학습과는 거리가 있다. 대신 강화학습은 액션을 취하고 그 상황 변화와 관찰하고 리워드를 환산할 수 있는 환경, 예를 들어, 시뮬레이터가 필요하다.
이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행할 수 있다.
물론, 이외에도 다양한 마이닝 방법이 존재할 수 있으며, 수집 및 저장되는 빅데이터의 종류나 이후에 요청될 질의(Query)의 종류에 따라 다르게 마이닝될 수도 있다. 이렇게 구축된 빅데이터는, 인공신경망 딥러닝이나 기계학습 등으로 검증과정을 거칠 수도 있다.
여기서, 인공신경망 딥러닝은, 영상 자료를 분석할 때 유용할 수 있다. 예를 들어, 골다공증의 MRI, CT, X-RAY를 학습시키고, 새로운 자문요청이 수신될 때, 해당 자료가 골다공증의 식별자를 가지는 정보인지를 확인할 수 있다.
이때, 인공 신경망은 CNN(Convolutional neural network) 구조가 이용될 수 있는데, CNN은 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하며, 이미지 데이터를 입력으로 하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문이다.
또한, 텍스트 마이닝(Text Mining)은 비/반정형 텍스트 데이터에서 자연어처리 기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술이다. 텍스트 마이닝 기술을 통해 방대한 텍스트 뭉치에서 의미 있는 정보를 추출해 내고, 다른 정보와의 연계성을 파악하며, 텍스트가 가진 카테고리를 찾아내거나 단순한 정보 검색 그 이상의 결과를 얻어낼 수 있다.
이를 이용하여, 본 발명의 일 실시 예에 따른 골다공증 치료 서비스에서는, 질의로 입력되는 식별자나 자연어를 분석하고, 그 안에 숨겨진 정보를 발굴해 내기 위해 대용량 언어자원과 통계적, 규칙적 알고리즘이 사용될 수 있다.
또한, 클러스터 분석(Cluster Analysis)은, 비슷한 특성을 가진 객체를 합쳐가면서 최종적으로 유사 특성의 그룹을 발굴하는데 사용될 수 있는데, 예를들어, 척추간판탈출의 그룹이 있을 수 있고, 척추팽윤의 그룹이 있을 수 있다. 이러한 환자의 그룹을 군집분석을 통하여 분류할 수 있도록 하고, 군집의 특성을 파악하여 이후 신규 진단 요청이 의뢰된 경우, 신규 진단 요청의 객체를 분류해낼 수 있다.
검증부(370)는, 전송부(350)에서 분류된 골다공증의 종류, 위험인자 및 적어도 하나의 표지자를 기 구축된 인공지능 빅데이터 알고리즘에 입력 데이터로 입력하여 골절 위험도 진단 및 치료방법을 추출하여 진단 요청 단말(100)로 전송한 후,추출된 진단 및 치료방법의 오류검증을 위한 인증을 실시하고, 인증의 결과로 추출된 진단 및 치료방법의 오류 부분 및 오류 원인을 파악할 수 있다.
검증부(370)는, 파악된 오류 부분 및오류 원인을 인공지능 빅데이터 알고리즘의 빅데이터에 업데이트한 후, 오류의 패턴을 발견하여 분류를 통하여 오류율을 예측하기 위하여 인공신경망을 이용한 딥러닝을 실시하고, 딥러닝으로 도출된 데이터 빅데이터에 반영되도록 하며, 빅데이터를 기반으로 인공지능 빅데이터 알고리즘을 재학습시킬 수 있다.
이를 통하여, 유지보수 기간에도 시간에 따라 변경되는 데이터나 히스토리를 추적하거나, 오류를 반영하여 지속적으로 학습을 진행함으로써, 이후 신규 진단 요청이 수신되는 경우 정확도 높은 진단 및 치료방법을 제공해줄 수 있게 된다.
추적관찰부(380)는, 전송부(350)에서 분류된 골다공증의 종류, 위험인자 및적어도 하나의 표지자를 기 구축된 인공지능 빅데이터 알고리즘에 입력 데이터로 입력하여 골절 위험도 진단 및 치료방법을 추출하여 진단 요청 단말(100)로 전송한후, 진단 요청 단말(100)로부터 환자의 예후 데이터를 수신하여 환자의 의료기록 데이터에 히스토리 로그로 기록하여 추적관찰을 실시할 수 있다.
이때, 추적 검사결과를 평가할 때는 전번 검사와 동일한 조건에서 얻어진 결과인지를 먼저 확인할 수 있다.
추적 검사에서 관찰되는 골밀도 변화의 유의성을 평가하기 위해서는 최소 유의변화값(least significant change, LSC)을 이용할 수 있다. LSC를 구하기 위해서는 각 기관의 정밀도를 구해야 하는데 최소한 30명 이상에서 2번씩 골밀도를 측정하거나, 15명에서 3번씩 측정하여 얻을 수도 있다. 이렇게 얻어진 정밀도에 277을 곱하면 LSC를 구할 수 있다.
예를 들어 정밀도가 1%이면 LSC는 277%로 1년 후 골밀도 변화가 277% 이상이어야 유의한 변화로 평가할 수 있다. 각 검사자마다 허용되는 최소 정밀도는 척추, 19% (LSC = 53%), 대퇴골 전체, 18% (LSC = 50%), 대퇴골 경부, 25% (LSC = 69%)로 이보다 낮은 수치를 보여야 한다. 물론, 상술한 데이터에 한정되지 않으며 가이드라인 또는 기계나 인종 등 다른 인자에 의해 변경될 수 있음은 자명하다 할 것이다.
이때, 추적관찰부(380)에서 이용되는 환자의 진료기록 데이터는, 진료기록이된 시간과 치료 단계가 매핑되어 저장되고, 로우 데이터로부터 치료 단계별 의료진료 히스토리가 타임 테이블로 추출될 수 있는 데이터일 수 있다.
물론, 법적으로 환자에 대한 모든 의료 정보는 5~10년 동안 보관해야 하지만, 데이터의 유용성 정도에 따른 관리도 필요한 부분이다. 따라서, 과거 이력의 축적 여부가 의미가 있는지에 따라 다음과 같이 데이터 종류를 분류할 수 있으며, 이에 따라 관리 또는 제공해야 하는 데이터의 범위가 결정될 수 있다. 따라서, 환자의 진료기록 데이터는, 이력형 데이터, 이전형 데이터 및 현재 데이터로 분류할 수 있다.
이때, 이력형(historical) 데이터는, 과거에 기록된 모든 이력 데이터가 의미 있는 항목이다. 환자 개인에 대해 모든 시점에서 생성된 데이터 값이 현재의 상태와 연관되는 데이터이며, 이전형(previous) 데이터는 해당 데이터에 대한 모든 과거 이력 값이 필요하지는 않지만, 바로 이전 시점의 값이 의미가 있는 항목이다.
현재형 데이터는, 과거 이력 정보가 큰 영향이 없는 데이터 항목이다. 즉, 과거 시점에 생성된 데이터보다는 현재의 값이 중요한 항목에 대해서는 저장을 하는 데이터이다. 이에 따라, 추적관찰부(380)는, 추적관찰이 요구되는 환자 또는 빅데이터의 재학습이나 이후 연구결과에 이용될 수 있는 데이터를 구분하여 저장하도록 하고, 히스토리 로그로 시계열적으로 진단, 치료, 예후 등을 기록할 수 있도록 설정함으로써, 빅데이터의 학습 및 트레이닝에 도움을 줄 수 있도록 한다.
한편, 골다공증 치료 서비스 제공 서버(300)는, 적어도 하나의 분산 노드에대응하는 서버 또는 단말을 대규모 클러스터로 관리하는 클라우드 서비스를 제공하는 서버일 수 있다. 클라우드 컴퓨팅 환경에서 제공되는 서비스는 IaaS, PaaS, SaaS 등을 포함하여 하드웨어, 네트워크, 스토리지, 웹 기반 서비스, 애플리케이션공통 API 등 IT 환경 전반에서 요구되는 모든 것을 포함할 수 있다. 웹 기반 서비스 및 SaaS 서비스의 경우 대규모 사용자의 서비스 요청에 대응하기 위해 클러스터시스템을 이용할 수 있으며, 여러 사용자로부터의 서비스 요청을 자원 사용 현황에기반하여 적절한 시스템으로 부하를 분배해주는 로드 밸런싱 및 부하 분산 기술이적용될 수 있다. IaaS 서비스의 경우 주로 가상화 기능을 활용하지만 물리 자원을기반으로 가상화된 가상 자원을 관리하는 것은 역시 클러스터 관리 시스템의 역할이 된다. 마지막으로 PaaS 서비스의 경우 다양한 서비스 개발 지원 서비스를 통해개발된 서비스를 호스팅하고 운영하는 환경에서 각 서비스의 자원 활용 상태와 클러스터 시스템의 현재 상태를 기반으로 최상의 자원 활용성과 확장성, 서비스 안정성을 제공하는 것은 역시 클러스터 관리 시스템일 수 있다.
따라서, 본 발명의 일 실시 예에서는, 분산 플랫폼을 구축하고 클러스터 관리, 운영, 서비스 배포 등을 수행하는 클러스터 관리 시스템, 클러스터 관리 시스템을 기반으로 상위에 구축되는 분산 데이터 관리 시스템, 분산 파일 시스템, 분산병렬처리 시스템 및 분산 보안 시스템으로 구성될 수 있으나, 이에 한정되는 것은아니다. 또한, 상술한 서비스를 제공하기 위하여, 클러스터 구성 및 운용관리(cluster orchestration), 자동 프로비저닝(provisioning), 분산 자원 모니터링(monitoring), 서비스 관리를 수행할 수 있다.
클러스터 구성 및 운용관리는, 수 천에서 수만 대의 저비용 보급형 서버(commodity server)들로 구성된 대규모 클러스터 환경을 관리자의 개입을 최소화하면서 빠른 시간 내에 구축 및 구성하고, 용이한 노드의 추가/삭제를 통해 확장성을 지원할 수 있는 클러스터 시스템을 제공할 수 있고, 글로벌 인터넷 운영환경에서 대규모의 사용자를 신속하고 효율적으로 지원하기 위하여 클러스터 규모의 확장, 특정 노드의 역할 변경 등 다양한 운용 환경에 대한 요구를 클러스터 운용중 자동 및 실시간으로 지원할 수 있다.
또한, 관리 비용의 절감을 위한 분산 자원모니터링의 성능 문제를 고려하여 클러스터의 구성을 계층적으로 구성할 수 있으며, 빈번하게 발생할 수 있는 노드 장애 발생시 이에 자동으로 대처하도록 구성될 수 있다. 이를 위하여, 일반 노드들의 계층적 초기 구성 자동화, 임의 노드의 추가 및 삭제, 타 분산 컴퓨팅 플랫폼 구성요소의 마스터 선정 및 구동, 타 분산 컴퓨팅 플랫폼 구성요소의 마스터 후보 등록 및 삭제, 타 분산 컴퓨팅 플랫폼 구성요소의 마스터 노드 위치 정보 제공, 타 분산 컴퓨팅 플랫폼 구성요소의 마스터 노드 장애 대처, 타 분산 컴퓨팅 플랫폼 구성요소의 종류에 따른 풀(pool) 생성/삭제, 현재 존재하는 풀로 노드 할당 추가/삭제 등의 기능을 포함할 수 있으나, 이에 한정되지는 않는다.
두 번째로, 자동 프로비저닝은 대규모 클러스터의 구축 및 동적 노드 추가,삭제를 지원하고 모니터링 결과에 따라 각 노드의 역할 및 구성을 동적으로 변경관리하기 위해서 요구되는 소프트웨어 및 운영체제를 제공할 수 있다. 자동 프로비저닝은 이미지 방식과 스트리밍 방식을 함께 지원할 수 있다. 세 번째로, 분산자원 모니터링은 관리 비용의 절감을 위해 각 노드의 상태를 자동 모니터링 하기 위한 기능을 제공할 수 있고, 클러스터 시스템의 다른 기능들은 분산 자원 모니터링 기능을 통해 각 노드의 장애를 탐지하면 이에 자동으로 대처하여 관리자의 서버 정비를 배치 처리로 수행할 수 있는 시스템을 구축할 수 있게 한다. 각 노드에서 행되어야 할 모니터링 기능은 동적으로 추가 및 제거될 수 있다. 마지막으로, 서비스 관리에서는 클러스터 시스템에서 운영하는 여러 서비스의 상태를 관리하고, 운영중인 서비스에 대해서는 외부 부하에 따라 서비스 노드를 자동으로 추가 또는 삭제하여 동적 서비스 재배치를 수행함으로써 클러스터 시스템의 서비스 가동률을 높이고 전체적인 효율을 높여 줄 수 있다. 또한, 모니터링 시스템을 통하여 제공되는 정보를 바탕으로 서비스 장애 노드를 교체함으로써 서비스의 연속성을 보장할 수도 있다.
클러스터 시스템은, 예를 들어, 각 노드는 일정 규모(보통 250여 대의 서브넷 단위)로 그룹화 되어 하나의 그룹을 형성하며 각 그룹은 하나의 그룹 마스터를갖는다. 이러한 그룹들은 전체 클러스터를 관리하는 클러스터 마스터에 의해 다시그룹화되는 계층적 구조를 통해 하나의 데이터 센터급 클러스터를 구성할 수 있다.또한, 클러스터 내에는 클러스터 내의 주요 정보들을 저장 관리하기 위한 키 마스터(key master) 그룹이 존재할 수 있는데, 키 마스터 그룹은 보통 수 대의 노드들로 구성된다. 이외에 클러스터 내의 각 노드에 운영체제 및 소프트웨어를 제공할 프로비저닝 마스터/서버, 서비스의 부하 분배를 위한 LVS/L4 스위치들, 내부적인 정보 저장을 담당하는 DB 서버가 존재할 수 있지만, 실시 예일 뿐 상술한 것들로 한정되지는 않는다.
이하, 상술한 도 2의 골다공증 치료 서비스 제공 서버의 구성에 따른 동작과정을 도 3a, 도 3b 및 도 3c을 예로 들어 상세히 설명하기로 한다. 다만, 실시 예는 본 발명의 다양한 실시 예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3a, 도 3b 및 도 3c를 참조하여 설명하면, (a) 골다공증 치료 서비스 제공 서버(300)는 수신된 진료기록 데이터를 분류하고, 적어도 하나의 정보 제공 서버(500)로부터 의료 가이드라인 및 이전에 축적된 진료 기록 데이터 등을 수집하여빅데이터를 수집하고, 이를 기계학습으로 트레이닝시켜 빅데이터 인공지능 알고리즘을 생성하는 과정을 거치게 된다.
그리고, (b) 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)로부터 새로운 진단 요청이 수신되는 경우, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청이 수신된 진료 기록 데이터 중 숫자 데이터, 위험인자 및 표지자를 추출하여, 유사한 진단 데이터를 검색할 질의를 생성한다.
그리고 나서, 골다공증 치료 서비스 제공 서버(300)는, (c) 빅데이터에 질의에 대한 답변으로 유사 진단 데이터를 수신하고, 이내에 포함된 골절 위험도 및 치료 방법을 추출한다.
이때, (d) 빅데이터의 구축 초기에는 인간의 개입하여 오류를 수정하는 피드백 및 오류 검증 과정을 거쳐야 하는데, 이를 위하여 진단 요청 단말(100) 또는 진단 단말(400)로 빅데이터에서 질의를 입력하여 나온 결과를 전송하고, 이에 대한 피드백을 받는다.
이러한 오류 검증 결과는 다시 빅데이터를 학습시키기 위한 입력값으로 피드백되며, 골다공증 치료 서비스 제공 서버(300)는 인공신경망 딥러닝을 통하여 오류 패턴을 추출하고, 오류가 발생하는 패턴을 학습함으로써 해당 패턴을 발생시키는 인자를 탐색하여 보고서를 생성할 수 있다. 물론, 이외에도 다양하게 오류를 발생시키는 패턴을 학습할 수 있으며, 학습된 결과 및 분석된 패턴은 주기적 또는 실시간으로 관리자에게 보고될 수 있음은 물론이다.
이와 같은 도 2 및 도 3의 빅데이터 및 인공지능 기반 골다공증 치료 서비스제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 도 1의 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
이하, 도 4를 통해 각 구성들 상호 간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시 예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시 예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 4를 참조하면, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)로부터 진단 요청받으면, 진단 단말(400)로 전송하고, 진단 단말(400)에서 전송된 진단 데이터는 골다공증 치료 서비스 제공 서버(300)로 전송된다(S4100).
골다공증 치료 서비스 제공 서버(300)는, 이렇게 의료 히스토리 로그로 축적된 데이터와, 정보제공 서버(500)로부터 수집된 가이드 라인 등의 데이터를 이용하여, 데이터 수집/전처리 과정(S4200)과 데이터 분석/학습 과정(S4300)을 통해 빅데이터를 구축하는 과정을 진행한다.
한편, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)로부터신규 진단 요청이 도착하는 경우(S4400), 진료 기록 데이터를 파싱하여 식별자를 추출하고, 식별자로 질의를 생성하고(S4500), 질의에 대한 답변인 유사 진단 데이터를 추출하고(S4510), 요청자의 기록에 대응하도록 진단 데이터를 생성한다(S4530).
그리고 나서, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100)및 진단 단말(400)로 피드백을 요청한다(S4600). 골다공증 치료 서비스 제공 서버(300)는, 요청에 대응한 피드백을 수신하고(S4700), 오류가 없는 경우에는(S4800) 피드백을 진단 요청 단말(100)로 다시 전송하고(S4830), 오류가 존재하는 경우에는 인공신경망 딥러닝을 실시한다(S4810). 이를 입력으로 빅데이터를 다시 훈련시키는 과정을 루프를 돌며 반복함으로써, 이후 신규 진단 요청이 접수되었을 때 오류가 발생되지 않도록 한다
그리고, 골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100) 또는 진단 단말(400)에서 추적관리 데이터가 전송을 요청한다(S4830).
골다공증 치료 서비스 제공 서버(300)는, 진단 요청 단말(100) 또는 진단 단말(400)에서 추적관리 데이터가 전송된 경우(S4850), 예후 추적 및 그 이후 치료 과정에 대한 데이터를 입력 데이터로 빅데이터에 업데이트하여 재학습을 실시하게 된다(S4900, S4920).
상술한 단계들(S4100~S4920)간의 순서는 예시일 뿐, 이에 한정되지 않는다.즉, 상술한 단계들(S4100~S4920)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 4의 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법에 대하여 설명된 내용과 동일하거나설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 5를 참조하면, 골다공증 치료 서비스 제공 서버는, 진단 요청 단말로부터 골다공증 진단 및 치료를 위하여 전송되는 환자의 진료기록 데이터를 수신한다(S5100).
그리고, 골다공증 치료 서비스 제공 서버는, 수신된 진료기록 데이터 중 적어도 하나의 골밀도(Bone Mineral Density) 검사 항목에 포함된 숫자 데이터를 인식 및 추출하여 저장한다(S5200).
또한, 골다공증 치료 서비스 제공 서버는, 저장된 숫자 데이터를 기 저장된골다공증 분류 테이블에 기반하여 골다공증의 종류를 분류하고(S5300), 환자의 진료기록 데이터 중 임상실험결과 및 검진결과에 기반하여 유전적 요인, 생활습관 및영양, 질병 및 약제를 포함하는 위험인자를 추출한다(S5400).
또한, 골다공증 치료 서비스 제공 서버는, 생화학적 골표지자 검사에 포함된적어도 하나의 표지자를 추출하고(S5500), 분류된 골다공증의 종류, 위험인자 및 적어도 하나의 표지자를 기 구축된 인공지능 빅데이터 알고리즘에 입력 데이터로 입력하여 골절 위험도 진단 및 치료방법을 추출하여 진단 요청 단말로 전송한다(S5600).
이와 같은 도 5의 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법에 대하여 설명된 내용과 동일하거나설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
이상 도 1 내지 도 5를 참조하여 설명한 골다공증 치료 서비스 제공 서버(300)는, 환자의 진료 기록 등 의료자문 요청 데이터를 수신하는 경우, 이를 파싱 및 마이닝하여 골다공증을 분류하고, 위험인자 및 생화학적 골표지자 검사 결과를 포함하는 식별자를 추출하고, 추출된 식별자를 이용하여 식별자에 매핑되어 저장된 유사 진단데이터를 추출하기 위하여 질의(Query)를 생성하고, 생성된 질의를 이용하여 빅데이터에 질문을 전송하고, 질의에 대한 답변으로 유사 진단 데이터를 추출한다.
실시 예 2
도 6은 다른 실시 예에 따른 골밀도 진단 장치의 블럭도이다.
도 6을 참조하면, 다른 실시 예에 따른 골다공증 진단 장치(600)는 환자의 진료 기록 등 의료자문 요청 데이터를 입력받아, 이를 파싱 및 마이닝하여 골다공증을 진단한다.
골다공증 진단 장치(600)는 도 1 내지 도 5를 참조하여 설명한 적어도 하나의 진단 요청단말(100), 골다공증 치료 서비스 제공 서버(300), 적어도 하나의 진단 단말(400),적어도 하나의 정보제공 서버(500) 중 어느 하나에 포함될 수 있다. 즉, 골다공증 진단 장치(600)는 도 1 내지 도 5를 참조하여 설명한 적어도 하나의 진단 요청단말(100), 골다공증 치료 서비스 제공 서버(300), 적어도 하나의 진단 단말(400), 적어도 하나의 정보제공 서버(500) 중 어느 하나에 하드웨어나 소프트웨어, 이들의 조합으로 구현될 수 있다.
다른 실시 예에 따른 골다공증 진단 장치(600)는 전처리부(610) 및 추정부(620), 출력부(630)을 포함한다.
전처리부(610)는 골다공증 진단 및 치료를 위하여 전송되는 환자의 진료기록 데이터를 입력받을 수 있다. 환자의 진료기록 데이터는 도 1 내지 도 5를 참조한 바와 동일할 수 있다. 예를 들어, 환자의 진료기록 데이터는 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 포함할 수 있다.
전처리부(610)는 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역(ROI; region of interest)을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 환자 정보를 정규화한다.
의료 영상 데이터는 전술한 비정형 데이터로써, 예를 들어, CAG(Coronary Angiography), 각종 초음파영상 등과 같은 다양한 종류의 동영상 데이터와 CT(Computed Tomography), MRI(Magnetic Resonance Imaging), EKG(Electrocardiogram; ECG) 등과 같은 이미지 데이터를 포함할 수 있다.
전술한 바와 같이, 각 골밀도 측정법마다 측정원리와 측정부위가 다른데, 예를 들어, 요추와 대퇴골 부위는 DXA와 QCT를 이용하며, 요골은 DXA와 pQCT, 손은 RA, 종골은 QUS와 pQCT, DXA를 사용할 수 있다. 전신 골밀도와 체지방 분석은 DXA로 측정이 가능하다.
즉, 의료 영상 데이터는 인체의 조직에 따라 다른 방식으로 취득한 의료 영상 데이터일 수 있다. 환자 정보는 환자의 나이, 성별, 종족을 포함하나, 이에 제한되지 않고 전술한 실시 예 1의 환자와 관련된 모든 정보가 환자 정보에 해당할 수 있다.
추정부(620)는 전처리부(610)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다.
출력부(630)는 추정부(620)에서 추정한 환자의 골다공증 진단 결과를 출력한다.
구체적으로, 전처리부(610)는, 의료 영상의 관심 영역을 추출할 때, 일차적으로 의료 영상의 관심 영역을 추출한 후 관심 영역을 부분 관심 영역으로 분할 처리할 수 있다. 전처리부(610)는, 분할 처리된 부분 관심 영역을 단위영역별로 이미지 처리를 하게 된다.
도 7은 도 6의 전처리부에서 요추의 관심 영역을 추출한 결과를 도시하고 있다.
도 7을 참조하면, 도 6의 전처리부에서 요추의 관심 영역을 추출하고, 관심 영역을 다시 네개의 영역, 즉 L1 내지 L4으로 구분한다.
요추 골밀도를 측정할 때 L1에서 L4까지의 평균치를 기준으로 정상에서는 L1에서 L4로 가면서 골밀도가 증가하는데 이런 경향이 역전되거나 T-값이 주위 요추와 1 표준편차이상 차이를 나타내면 퇴행성 변화 등 판정에 적합하지 않은 부위일 가능성이 높다.
따라서, 전처리부(610)는, 요추 골밀도를 추정할 때, 관심 영역 내에서 L1 내지 L4의 부분 관심 영역으로 분할 처리할 수 있다.
전처리부(610)는, 체중이 많은 환자의 경우 고화질을 사용할 수 있다. L1 내지 L4의 선들은 추간 공간(intervertebral space)과 평행할 수 있다. 전처리부(610)는, 요추를 모든 L1-L4의 선들을 포함하여 이미지의 중앙에 표시한다.
도 8 및 도 9는 각각 요추의 관심 영역을 추출한 결과가 올바른 경우와 올바르지 않은 경우를 도시하고 있다.
도 8에 도시한 바와 같이 올바르지 않게 요추의 관심 영역을 설정하면 추정부(620)에서 골다공증 진단시 오류가 발생할 수 있다. 따라서, 도 9에 도시한 바와 같이 전처리부(610)는 올바른 요추의 관심 영역을 추출해야 한다.
도 10은 도 6의 전처리부에서 의료 영상 데이터에 포함된 대퇴골의 특성을 설명한 도면이다.
도 10을 참조하면, 대퇴골의 형태는 a-c의 대퇴골 축 길이(Hip Axis Length(HAL), b-c의 대퇴골 경부 축 길이(Femoral Neck Axis Length(NAL)), d-e의 대퇴골 경부 폭(Femoral Neck Width(FNW)), f의 대퇴골 경부 축(Neck Shaft Angle(NAS))로 표현할 수 있다.
도 11은 도 6의 전처리부에서 대퇴골의 관심 영역을 추출한 결과를 도시하고 있다.
도 11에 도시한 바와 같이, 도 6의 전처리부(610)는 d-e의 대퇴골 경부 폭(Femoral Neck Width(FNW))과 b-c의 대퇴골 경부 축 길이(Femoral Neck Axis Length(NAL))로 삼각형과 사각형을 대퇴골의 관심 영역으로 추출할 수 있다.
전처리부(610)는, 대퇴 경부 또는 총 근위 대퇴골 중 가장 낮은 쪽을 사용하여 대퇴골의 관심 영역을 추출한다. BMD는 양쪽 엉덩이에서 측정할 수 있다. 대퇴골의 내부 회전으로 더 적은 수의 Trochanter가 시각화된다.
도 12 및 도 13은 도 6의 전처리부에서 대퇴골의 관심 영역을 추출한 결과가 올바른 경우와 올바르지 않은 경우를 도시하고 있다.
도 12에 도시한 바와 같이 올바르지 않게 대퇴골의 관심 영역을 설정하면 추정부(620)에서 골다공증 진단시 오류가 발생할 수 있다. 따라서, 도 13에 도시한 바와 같이 전처리부(610)는 올바른 대퇴골의 관심 영역을 추출해야 한다.
전처리부(610)가 올바른 대퇴골의 관심 영역을 추출한 경우, 대퇴골 이미지는 더 큰 trochanter(1), 대퇴 경부(2) 및 ischium(3)을 나타낸다.
전처리부(610)는 환자의 성별의 심볼과 종족의 심볼을 숫자화하고, 환자의 나이, 숫자화된 성별의 심볼과 종족의 심볼과 함께 추출된 관심 영역의 의료 영상 데이터 간에 오버피팅되지 않도록 가중치를 부여하여 정규화한다.
전처리부(610)는 환자의 성별의 심볼과 종족의 심볼을 숫자화할 수 있다. 예를 들어 환자의 성별의 심볼에 대해 남자는 1로 숫자화하고 여자는 2로 숫자화할 수 있다. 종족의 심볼에 대해 백인종과 황인종, 흑인종을 각각 1, 2 및 3으로 숫자화할 수 있다.
전처리부(610)는 숫자화된 성별의 심볼과 종족의 심볼의 값이 다른 데이터들의 값보다 지나치게 작아 다른 데이터들의 값들이 오버피팅되지 않도록 숫자화된 성별의 심볼과 종족의 심볼의 값이 다른 데이터들의 값과 유사한 값이 되도록 가중치를 부여할 수 있다. 예를 들어 환자의 나이가 대략 10~80세인 점을 고려하여 숫자화된 성별의 심볼과 종족의 심볼의 값이 가중치 10을 부여할 수 있다.
전처리부(610)는 동일한 환자에 대해 추적 검사시 이전과 동일한 관심 영역을 추출한다.
추적 검사는 반드시 동일한 관심 영역을 선택해야 검사의 정밀도를 높일 수 있는데, L3, L4의 퇴행성 변화로 L1, L2에 비하여 골밀도가 높게 측정된 경우, L1과 L2의 T-값 평균치를 이용하여 골다공증으로 진단할 수 있게 되는 것이다.
전처리부(610)는 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리한다.
골밀도의 과대평가요소는 spinal degenerative and hyperostosis(요추 퇴행성 과골화증), vertebral fracture(요추부 골절), extraoseus calcification(골외성 석회화)(lymph nodes(림프절), aortic calcification(대동맥 석회화)), sclerotic metastasis(공막 전이), vertebral hemangioma(요추부 혈관종), ankylosing spondylitis(강직성 척추염), overlying metal(시술 금속) (surgical rods/plates(외과 시술 로드/플레이트)), poor positioning of femoral neck(대퇴골 경부의 나쁜 자세) (inadequate internal rotation), excess body weight(과체중), vertebroplasty/kyphoplasty(척추성형술) 중 하나일 수 있다.
골밀도의 과소평가요소는 laminectomy(절제술), lytic metastasis(용균성 전이), low body weight(저체중) 중 하나일 수 있다.
골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하는 하나의 방식으로, 전처리부(610)는 과대평가요소 또는 과소평가요소를 야기하는 부분을 제외하고 관심 영역으로 설정할 수 있다.
예를 들어, 전처리부(610)는, 요추나 대퇴골의 의료 영상 데이터에 골밀도의 과대평가요소인 외과 시술 로드/플레이트가 포함된 경우, 이 부분을 제외하고 관심 영역을 설정할 수 있다.
다른 예를 들어, 전처리부(610)는, 요추나 대퇴골의 의료 영상 데이터에 골밀도의 과소평가요소인 절제술에 따른 절제 부분이 존재하는 경우, 이 부분을 제외하고 관심 영역을 설정할 수 있다.
골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하는 다른 방식으로, 전처리부(610)는 과대평가요소 또는 과소평가요소를 야기하는 부분을 관심 영역에 포함시키되, 해당 부분을 인접한 다른 부분으로 대체할 수있다.
예를 들어, 전처리부(610)는, 요추나 대퇴골의 의료 영상 데이터에 골밀도의 과대평가요소인 외과 시술 로드/플레이트가 포함된 경우, 이 부분을 인접한 다른 부분으로 일반적인 이미지 보상 방식을 이용하여 자연스럽게 대체할 수 있다.
다른 예를 들어, 전처리부(610)는, 요추나 대퇴골의 의료 영상 데이터에 골밀도의 과소평가요소인 절제술에 따른 절제 부분이 존재하는 경우, 이 부분을 인접한 다른 부분으로 일반적인 이미지 보상 방식을 이용하여 자연스럽게 대체할 수 있다.
추정부(620)는 전처리부(610)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다. 예를 들어, 추정부(620)에 적용되는 딥러닝 모델은 골다공증의 MRI, CT, X-RAY의 의료 영상 데이터와 환자 정보로 학습시킨다.
본 명세서에서 딥 러닝 모델(deep learning model)은 인공 신경망을 다층 레이어로 쌓은 형태일 수 있다. 즉, 딥 러닝 모델(deep learning model)은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 픽쳐를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 형태이다.
본 명세서에서 딥 러닝 모델(deep learning model)은 예를 들어 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network) 등을 이용할 수 있으나, 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다. 본 명세에서 CNN 기반 딥 러닝 모델을 이용하는 것으로 예시적으로 설명하나 본 발명은 이에 제한되지 않고 현재 또는 장래 다양한 딥 러닝 모델을 이용할 수 있다.
프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 미리 만들어 라이브러리 형태로 제공하고, 운영체제 수준 아래의 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 해 주는 역할을 한다. 본 실시 예에서 딥 러닝 프레임워크는 현재 공개되었거나 장래 공개될 어떠한 프레임워크를 이용하여 딥 러닝 모델을 개발할 수 있다.
딥 러닝 모델은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 랜덤 샘플링은 학습 데이터 셋에서 학습되는 학습 데이터들의 순서가 다르다는 것을 의미한다.
규제화 기술은 노이즈까지 포함된 학습 데이터에 과도하게 학습된 딥 러닝 모델이 테스트나 진단에서 정확성이 오히려 떨어지는 오버피팅을 줄이는 기술이다. 규제화 기술은 예를 들어 드롭 아웃 기술이나 드롭 커넥티드 기술 등일 수 있다.
드롭 아웃 기술은 특정 노드에 대해 확률적으로 파라미터의 값을 0으로 지정하고 학습시키는 방법이다. 드롭 커넥티드 기술은 노드들 간의 커넥티드를 드롭하고 학습시키는 방법이다. 이하에서 규제화 기술로 이하에서, 드롭 아웃 기술을 예시적으로 설명하나, 현재 또는 장래에 오버피팅을 줄이는 어떠한 기술 또는 알고리즘일 수 있다.
추정부(620)에서 사용되는 딥 러닝 모델은 2개 이상일 수 있다. 2개 이상의 딥 러닝 모델들은 레이어의 개수나 가중손실함수 등 모델 자체가 다른 것을 의미할 수도 있고, 동일한 모델들로 학습한 결과가 다른 것을 의미할 수도 있다.
다시 말해 각 딥 러닝 모델들은 학습방식, 예를 들어 샘플링 순서, 드롭 아웃의 랜덤성에 따라 내부 파라미터가 다르게 학습될 수 있다. 같은 데이터, 같은 딥 러닝 모델들을 사용하여 각각 학습하더라고 딥 러닝 모델 별로 다른 결과를 나타낼 수 있다.
추정부(620)는, 분할 처리된 부분 관심 영역에 대해 단위영역별 마그네슘의 크기를 산출하고, 산출된 마그네슘의 크기를 합산하여 골밀도 수치를 도출할 수 있다.
전술한 바와 같이 의사들은 골밀도, T-스코어, Z-스코어를 비교하여 최종적으로 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 등의 골다공증을 분류할 수 있다.
추정부(620)는, 전처리부(610)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다. 골다공증 진단 결과는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나일 수 있으나, 이에 제한되지 않고, 실시 예 1에서 설명한 다른 골다공증 진단 결과일 수도 있다.
전술한 예에서, 전처리부(610)는 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하는 것으로 설명하였다. 다른 예로, 전처리부(610)가 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하지 않는, 원 의료 영상 데이터를 추정부(620)에 입력할 수도 있다.
추정부(620)는 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하지 않는. 원 의료 영상 데이터를 이용하되, 골밀도의 과대평가요소와 과소평가요소에 대한 특이점 탐색을 진행하게 된다.
전술한 바와 같이, 전처리부(610)가, 과대평가요소 또는 과소평가요소를 야기하는 부분을 제외하고 관심 영역으로 설정하거나, 과대평가요소 또는 과소평가요소를 야기하는 부분을 관심 영역에 포함시키되, 해당 부분을 인접한 다른 부분으로 대체하는 것을 설명하였다. 이 방식은 골밀도 추정의 정확도를 높이는 효과가 있지만, 전처리부(610)의 전처리 시간이 길어질 수 있다.
추정부(620)가 원 의료 영상 데이터를 이용하되, 골밀도의 과대평가요소와 과소평가요소에 대한 특이점 탐색을 진행하므로, 전체적인 처리 시간을 줄일 수 있다.
추정부(620)는, 딥러닝 모델에 대해 예후 추적 및 그 이후 치료 과정에 대한 데이터를 입력 데이터로 업데이트하여 재학습을 실시하게 된다.
출력부(630)는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나의 골다공증 진달 결과를 출력한다.
추정부(620)에서 사용되는 딥 러닝 모델들이 2개 이상인 경우, 출력부(630)는 2개 이상의 딥러닝 모델들의 골다공증 진단 결과를 결합하여/앙상블시켜 최종적으로 골다공증 진단 결과를 출력할 수 있다.
딥 러닝 모델들은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다. 따라서, 딥 러닝 모델들의 결과값들은 큰 편차를 나타낼 수 있다. 출력부(630)는 딥 러닝 모델들의 골다공증 진단 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시킨 딥 러닝 모델들의 결과값, 즉 골다공증 진단 결과들의 편차를 줄여줄 수 있다.
출력부(630)는 골다공증 진단 결과를 출력할 수도 있지만, 골다공증 진단 결과를 도 2를 참조하여 설명한 전술한 실시 예 1의 수신부(310)에 입력할 수도 있다.
도 14는 또다른 실시 예에 따른 골다공증 진단 방법의 흐름도이다.
도 14를 참조하면, 또다른 실시 예에 따른 골다공증 진단 방법(700)은 환자의 진료 기록 등 의료자문 요청 데이터를 입력받아, 이를 파싱 및 마이닝하여 골다공증을 진단한다.
또다른 실시 예에 따른 골다공증 진단 방법(700)은 도 1 내지 도 5를 참조하여 설명한 적어도 하나의 진단 요청단말(100), 골다공증 치료 서비스 제공 서버(300), 적어도 하나의 진단 단말(400), 적어도 하나의 정보제공 서버(500) 중 어느 하나에서 하드웨어나 소프트웨어, 이들의 조합으로 구현될 수 있다.
또다른 실시 예에 따른 골다공증 진단 방법(700)은, 전처리 단계(S710) 및 추정 단계(S720), 출력 단계(S730)를 포함한다.
전처리 단계(S710)는 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 상기 환자 정보를 정규화한다.
전술한 바와 같이 의료 영상 데이터는 전술한 비정형 데이터일 수 있다. 또한, 의료 영상 데이터는 인체의 조직에 따라 다른 방식으로 취득한 의료 영상 데이터일 수 있다. 환자 정보는 환자의 나이, 성별, 종족을 포함하나, 이에 제한되지 않고 전술한 실시 예 1의 환자와 관련된 모든 정보가 환자 정보에 해당할 수 있다.
추정 단계(S720)는 전처리 단계(S710)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다.
출력 단계(S730)는 추정 단계(S720)에서 추정한 환자의 골다공증 진단 결과를 출력한다.
전처리 단계(S710)는, 의료 영상의 관심 영역을 추출할 때, 일차적으로 의료 영상의 관심 영역을 추출한 후 상기 관심 영역을 부분 관심 영역으로 분할 처리한다. 전처리 단계(S710)에서 분할 처리된 부분 관심 영역을 단위영역별로 이미지 처리를 하게 된다.
전처리 단계(S710)에서 요추 골밀도를 추정할 때, 관심 영역 내에서 L1 내지 L4의 부분 관심 영역으로 분할 처리할 수 있다. 도 9에 도시한 바와 같이 전처리 단계(S710)에서 올바른 요추의 관심 영역을 추출해야 한다. 도 13에 도시한 바와 같이 전처리 단계(S710)에서 올바른 대퇴골의 관심 영역을 추출해야 한다.
전처리 단계(S710)는, 환자의 성별의 심볼과 종족의 심볼을 숫자화하고, 환자의 나이, 숫자화된 성별 및 심볼과 함께 추출된 관심 영역의 의료 영상 데이터 간에 오버피팅되지 않도록 가중치를 부여하여 정규화할 수 있다.
전처리 단계(S710)에서 환자의 성별의 심볼과 종족의 심볼을 숫자화할 수 있다. 예를 들어 환자의 성별의 심볼에 대해 남자는 1로 숫자화하고 여자는 2로 숫자화할 수 있다. 종족의 심볼에 대해 백인종과 황인종, 흑인종을 각각 1, 2 및 3으로 숫자화할 수 있다.
전처리 단계(S710)에서 숫자화된 성별의 심볼과 종족의 심볼의 값이 다른 데이터들의 값보다 지나치게 작아 다른 데이터들의 값들이 오버피팅되지 않도록 숫자화된 성별의 심볼과 종족의 심볼의 값이 다른 데이터들의 값과 유사한 값이 되도록 가중치를 부여할 수 있다. 예를 들어 환자의 나이가 대략 10~80세인 점을 고려하여 숫자화된 성별의 심볼과 종족의 심볼의 값이 가중치 10을 부여할 수 있다.
전처리 단계(S710)는, 동일한 환자에 대해 추적 검사시 이전과 동일한 관심 영역을 추출할 수 있다.
전처리 단계(S710)는, 전술한 골밀도의 과대평가요소와 과소평가요소를 고려하여 상기 의료 영상 데이터를 전처리할 수 있다.
전처리 단계(S710)에서 과대평가요소 또는 과소평가요소를 야기하는 부분을 제외하고 관심 영역으로 설정하거나, 과대평가요소 또는 과소평가요소를 야기하는 부분을 관심 영역에 포함시키되, 해당 부분을 인접한 다른 부분으로 대체할 수있다.
추정 단계(S720)는 전처리 단계(S710)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다.
추정 단계(S720)에서 사용되는 2개 이상의 모델들은 전술한 바와 같이 학습방식, 예를 들어 샘플링 순서, 드롭 아웃의 랜덤성에 따라 내부 파라미터가 다르게 학습될 수 있다.
추정 단계(S720)에서 분할 처리된 부분 관심 영역에 대해 단위영역별 마그네슘의 크기를 산출하고, 산출된 마그네슘의 크기를 합산하여 골밀도 수치를 도출할 수 있다.
추정 단계(S720)에서 전처리부(610)에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정한다. 골다공증 진단 결과는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나일 수 있으나, 이에 제한되지 않고, 실시 예 1에서 설명한 다른 골다공증 진단 결과일 수도 있다.
전술한 예에서, 전처리 단계(S710)는 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하는 것으로 설명하였다. 다른 예로, 전처리 단계(S710)에서 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하지 않는, 원 의료 영상 데이터를 추정 단계(S720)에 입력할 수도 있다.
추정 단계(S720)는 골밀도의 과대평가요소와 과소평가요소를 고려하여 의료 영상 데이터를 전처리하지 않는. 원 의료 영상 데이터를 이용하되, 골밀도의 과대평가요소와 과소평가요소에 대한 특이점 탐색을 진행하게 된다.
추정 단계(S720)에서, 딥러닝 모델에 대해 예후 추적 및 그 이후 치료 과정에 대한 데이터를 입력 데이터로 업데이트하여 재학습을 실시하게 된다.
출력 단계(S730)는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나의 골다공증 진달 결과를 출력한다.
사용되는 딥 러닝 모델들이 2개 이상인 경우, 출력 단계(S730)는 2개 이상의 딥러닝 모델들의 골다공증 진단 결과를 앙상블시켜 최종적으로 골다공증 진단 결과를 출력할 수 있다.
딥 러닝 모델들은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다. 따라서, 딥 러닝 모델들의 결과값들은 큰 편차를 나타낼 수 있다. 출력 단계(S730)는 딥 러닝 모델들의 골다공증 진단 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시킨 딥 러닝 모델들의 결과값, 즉 골다공증 진단 결과들의 편차를 줄여줄 수 있다.
출력 단계(S730)는 골다공증 진단 결과를 출력할 수도 있지만, 골다공증 진단 결과를 도 2를 참조하여 설명한 전술한 실시 예 1의 수신부(310)에 입력할 수도 있다.
실시 예들에 따른 골다공증 진단 장치(600) 및 그 골다공증 진단 방법(700)에 의하면, 골다공증에 대한 정확한 진단을 할 수 있다.
또한, 실시 예들에 따른 골다공증 진단 장치(600) 및 그 골다공증 진단 방법(700)에 의하면, 진단시간 단축으로 업무량의 감소를 가져올 수 있다.
또 다른 실시 예는 전술한 골다공증 진단 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시 예는 전술한 골다공증 진단 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 5를 통해 설명된 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증치료 서비스 제공 방법 및 도 14를 통해 설명된 또 다른 실시 예에 따른 골다공증 진단 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법 및 또 다른 실시 예에 따른 골다공증 진단 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시 예에 따른 빅데이터 및 인공지능 기반 골다공증치료 서비스 제공 방법 및 또 다른 실시 예에 따른 골다공증 진단 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2020년 3월 18일 한국에 출원한 특허출원번호 제 10-2020-0033494호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (9)

  1. 인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 상기 환자 정보를 정규화하는 전처리부;
    상기 전처리부에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하는 추정부; 및
    상기 추정부에서 추정한 환자의 골다공증 진단 결과를 출력하는 출력부를 포함하고,
    상기 전처리부는 동일한 환자에 대해 추적 검사시 검사의 정밀도를 높이기 위해 이전과 동일한 관심 영역을 추출하고 골밀도의 과대평가요소와 과소평가요소를 고려하여 상기 의료 영상 데이터를 전처리하는 골다공증 진단 장치.
  2. 제 1 항에 있어서,
    상기 전처리부는, 상기 의료 영상의 관심 영역을 추출할 때, 일차적으로 의료 영상의 관심 영역을 추출한 후 상기 관심 영역을 부분 관심 영역으로 분할 처리하는 골다공증 진단 장치.
  3. 제 1 항에 있어서,
    상기 환자 정보는 환자의 나이, 성별, 종을 포함하고,
    상기 전처리부는 환자의 성별의 심볼과 종족의 심볼을 숫자화하고, 상기 환자의 나이, 숫자화된 성별 및 심볼과 함께 추출된 관심 영역의 의료 영상 데이터 간에 오버피팅되지 않도록 가중치를 부여하여 정규화하는 골다공증 진단 장치.
  4. 제1항에 있어서,
    상기 골다공증 진단 결과는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나인 골다공증 진단 장치.
  5. 골다공증 진단 장치를 활용한 골다공증 진단 방법에 있어서,
    인체의 조직을 포함하는 의료 영상 데이터와 환자 정보를 입력받아, 의료 영상 데이터에서 의료 영상의 관심 영역을 추출하고, 추출된 관심 영역의 의료 영상 데이터와 상기 환자 정보를 정규화하는 전처리 단계;
    상기 전처리 단계에서 정규화된 의료 영상 데이터와 환자 정보를 학습된 딥 러닝 모델에 입력하여 환자의 골다공증 진단 결과를 추정하는 추정 단계; 및
    상기 추정 단계에서 추정한 환자의 골다공증 진단 결과를 출력하는 출력 단계를 포함하고,
    상기 전처리 단계는 동일한 환자에 대해 추적 검사시 검사의 정밀도를 높이기 위해 이전과 동일한 관심 영역을 추출하고 골밀도의 과대평가요소와 과소평가요소를 고려하여 상기 의료 영상 데이터를 전처리하는 골다공증 진단 방법.
  6. 제 5항에 있어서,
    상기 전처리 단계는, 상기 의료 영상의 관심 영역을 추출할 때, 일차적으로 의료 영상의 관심 영역을 추출한 후 상기 관심 영역을 부분 관심 영역으로 분할 처리하는 골다공증 진단 방법.
  7. 제 5 항에 있어서,
    상기 환자 정보는 환자의 나이, 성별, 종족을 포함하고,
    상기 전처리 단계는 환자의 성별의 심볼과 종족의 심볼을 숫자화하고, 상기 환자의 나이, 숫자화된 성별 및 심볼과 함께 추출된 관심 영역의 의료 영상 데이터 간에 오버피팅되지 않도록 가중치를 부여하여 정규화하는 골다공증 진단 방법.
  8. 제 5 항에 있어서,
    상기 골다공증 진단 결과는 정상, 골감소증(osteopenia) 혹은 낮은 골밀도(low bone mass), 골다공증, 심한 골다공증 중 하나인 골다공증 진단 방법.
  9. 제 5 항, 제 6항, 제 7항 및 제 8 항 중 어느 한 항의 골다공증 진단 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
PCT/KR2021/003142 2020-03-18 2021-03-15 골다공증 진단 장치 및 그 골다공증 진단 방법 Ceased WO2021187826A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0033494 2020-03-18
KR1020200033494A KR102185760B1 (ko) 2020-03-18 2020-03-18 골다공증 진단 장치 및 골다공증 판단 방법

Publications (1)

Publication Number Publication Date
WO2021187826A1 true WO2021187826A1 (ko) 2021-09-23

Family

ID=73779608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003142 Ceased WO2021187826A1 (ko) 2020-03-18 2021-03-15 골다공증 진단 장치 및 그 골다공증 진단 방법

Country Status (2)

Country Link
KR (1) KR102185760B1 (ko)
WO (1) WO2021187826A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114664447A (zh) * 2022-04-01 2022-06-24 神州医疗科技股份有限公司 一种骨质疏松健康风险评估方法及设备
CN115050475A (zh) * 2022-06-14 2022-09-13 昆明理工大学附属安宁市第一人民医院 基于骨质疏松治疗的临床管理大数据中心平台
CN115984190A (zh) * 2022-12-12 2023-04-18 北京医准智能科技有限公司 一种基于ct图像的处理方法、装置、设备及存储介质
WO2023097115A1 (en) * 2021-11-29 2023-06-01 OsteoApp.ai, Inc. Orthopedic surgical planning system with automated bone density measurement
CN118351120A (zh) * 2024-06-18 2024-07-16 北京大学人民医院 一种骨衰老程度预测模型的构建方法、系统、设备及介质
CN118429334A (zh) * 2024-07-02 2024-08-02 西安市第三医院 一种端到端的骨密度测量方法及设备
CN120183668A (zh) * 2025-03-10 2025-06-20 东莞市东部中心医院(暨南大学附属第六医院) 一种基于深度学习的口腔全景片图像分割以辅助诊断骨质疏松的方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185760B1 (ko) * 2020-03-18 2020-12-03 가톨릭대학교 산학협력단 골다공증 진단 장치 및 골다공증 판단 방법
KR102709240B1 (ko) * 2020-12-01 2024-09-25 서울대학교병원 두부단순촬영 영상을 활용한 수면 무호흡증 진단 보조 시스템 및 이를 이용한 진단 보조 정보의 제공 방법
KR102350053B1 (ko) * 2021-05-25 2022-01-11 (주)해우기술 심층신경망을 이용한 질병 및 질환부위 예측 시스템
KR102624616B1 (ko) 2021-06-04 2024-01-18 에이치앤비지노믹스 주식회사 Dxa 스캔 이미지 및 임상 공변량에 기초하여 학습된 딥러닝 모델을 이용한 골다공증 위험도 예측 방법 및 장치
KR102414601B1 (ko) * 2021-10-12 2022-07-04 에이아이다이콤 (주) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
KR102726898B1 (ko) * 2021-10-29 2024-11-07 주식회사 에이아이디엑스 Ai 기반 골밀도 예측 시스템 및 방법
JP7418018B2 (ja) * 2021-11-12 2024-01-19 ｉＳｕｒｇｅｒｙ株式会社 診断支援装置、およびコンピュータプログラム
KR20230081843A (ko) 2021-11-30 2023-06-08 (주)인실리코젠 골다공증 위험도 예측 시스템
KR102600668B1 (ko) * 2022-10-18 2023-11-10 메디컬아이피 주식회사 질병예측방법 및 그 장치
KR102771811B1 (ko) * 2022-11-21 2025-02-20 이화여자대학교 산학협력단 골다공증 위험도 예측 방법 및 장치
WO2025220843A1 (ko) * 2024-04-19 2025-10-23 프로메디우스 주식회사 X-ray 영상을 이용한 골다공증 진단시스템 및 판독 방법
KR102850232B1 (ko) * 2024-12-11 2025-08-25 메디컬아이피 주식회사 X-선 영상 기반의 골감소증 진단 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164412A (ja) * 2016-03-18 2017-09-21 メディア株式会社 骨粗鬆症診断支援装置
KR20180029476A (ko) * 2016-09-12 2018-03-21 주식회사 뷰노 골밀도 추정 방법 및 장치
KR20190143313A (ko) * 2018-06-20 2019-12-30 한국생산기술연구원 골다공증 예측 방법
KR20200015379A (ko) * 2018-08-03 2020-02-12 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR102185760B1 (ko) * 2020-03-18 2020-12-03 가톨릭대학교 산학협력단 골다공증 진단 장치 및 골다공증 판단 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164412A (ja) * 2016-03-18 2017-09-21 メディア株式会社 骨粗鬆症診断支援装置
KR20180029476A (ko) * 2016-09-12 2018-03-21 주식회사 뷰노 골밀도 추정 방법 및 장치
KR20190143313A (ko) * 2018-06-20 2019-12-30 한국생산기술연구원 골다공증 예측 방법
KR20200015379A (ko) * 2018-08-03 2020-02-12 고려대학교 산학협력단 인공지능 기반의 치과방사선사진을 이용한 골밀도 예측시스템 및 이에 의한 골밀도 예측 방법
KR102185760B1 (ko) * 2020-03-18 2020-12-03 가톨릭대학교 산학협력단 골다공증 진단 장치 및 골다공증 판단 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097115A1 (en) * 2021-11-29 2023-06-01 OsteoApp.ai, Inc. Orthopedic surgical planning system with automated bone density measurement
CN114664447A (zh) * 2022-04-01 2022-06-24 神州医疗科技股份有限公司 一种骨质疏松健康风险评估方法及设备
CN115050475A (zh) * 2022-06-14 2022-09-13 昆明理工大学附属安宁市第一人民医院 基于骨质疏松治疗的临床管理大数据中心平台
CN115050475B (zh) * 2022-06-14 2023-09-22 昆明理工大学附属安宁市第一人民医院 基于骨质疏松治疗的临床管理大数据中心平台
CN115984190A (zh) * 2022-12-12 2023-04-18 北京医准智能科技有限公司 一种基于ct图像的处理方法、装置、设备及存储介质
CN115984190B (zh) * 2022-12-12 2023-11-21 浙江医准智能科技有限公司 一种基于ct图像的处理方法、装置、设备及存储介质
CN118351120A (zh) * 2024-06-18 2024-07-16 北京大学人民医院 一种骨衰老程度预测模型的构建方法、系统、设备及介质
CN118429334A (zh) * 2024-07-02 2024-08-02 西安市第三医院 一种端到端的骨密度测量方法及设备
CN120183668A (zh) * 2025-03-10 2025-06-20 东莞市东部中心医院(暨南大学附属第六医院) 一种基于深度学习的口腔全景片图像分割以辅助诊断骨质疏松的方法及系统

Also Published As

Publication number Publication date
KR102185760B1 (ko) 2020-12-03

Similar Documents

Publication Publication Date Title
KR102185760B1 (ko) 골다공증 진단 장치 및 골다공증 판단 방법
Sánchez-Cauce et al. Multi-input convolutional neural network for breast cancer detection using thermal images and clinical data
Astuto et al. Automatic deep learning–assisted detection and grading of abnormalities in knee MRI studies
US12169932B2 (en) Information processing device, program, trained model, diagnostic support device, learning device, and prediction model generation method
KR102240804B1 (ko) 빅데이터 및 인공지능 기반 골다공증 치료 서비스 제공 방법
Liu et al. Automatic bone age assessment based on intelligent algorithms and comparison with TW3 method
JP2007524461A (ja) 乳房撮像の自動診断及び決定支援システム及び方法
Polisetty et al. Concerns surrounding application of artificial intelligence in hip and knee arthroplasty: a review of literature and recommendations for meaningful adoption
Joshi et al. Deep learning-based localization and segmentation of wrist fractures on X-ray radiographs
Gong et al. Automated identification of hip arthroplasty implants using artificial intelligence
Güngör et al. Achieving high accuracy in meniscus tear detection using advanced deep learning models with a relatively small data set
Edamadaka et al. FasterRib: a deep learning algorithm to automate identification and characterization of rib fractures on chest computed tomography scans
Karno et al. Classification of cervical spine fractures using 8 variants EfficientNet with transfer learning
Gan et al. Deep learning model for automatic identification and classification of distal radius fracture
JP2021002334A (ja) 骨関連事象を引き起こす可能性が高いハイリスク患者を提示するための方法、及び装置
Fang et al. Fully automatic quantification for hand synovitis in rheumatoid arthritis using pixel-classification-based segmentation network in DCE-MRI
Wu et al. SVTNet: Automatic bone age assessment network based on TW3 method and vision transformer
Lezak et al. Diagnostic performance of deep learning for leg length measurements on radiographs in leg length discrepancy: a systematic review
Balajee et al. RETRACTED ARTICLE: Machine learning based identification and classification of disorders in human knee joint–computational approach
Ulivi et al. Opportunities to improve feasibility, effectiveness and costs associated with a total joint replacements high-volume hospital registry
CN118098516A (zh) 一种影像数据与ai辅助阅片模型选配系统和方法
US11189370B2 (en) Exam prefetching based on subject anatomy
Shao et al. A two stage method for abnormality diagnosis of musculoskeletal radiographs
Zhang et al. RadIR: A Scalable Framework for Multi-grained Medical Image Retrieval via Radiology Report Mining
Sriram et al. Deep learning based bone fracture prediction using convolutional neural networks: A comparative study of transfer learning and fine-tuning techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771574

Country of ref document: EP

Kind code of ref document: A1