WO2022103140A1 - 의료 영상 판독 장치 및 의료 영상 판독 방법 - Google Patents

의료 영상 판독 장치 및 의료 영상 판독 방법 Download PDF

Info

Publication number
WO2022103140A1
WO2022103140A1 PCT/KR2021/016306 KR2021016306W WO2022103140A1 WO 2022103140 A1 WO2022103140 A1 WO 2022103140A1 KR 2021016306 W KR2021016306 W KR 2021016306W WO 2022103140 A1 WO2022103140 A1 WO 2022103140A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
medical image
disease
neural network
category
Prior art date
Application number
PCT/KR2021/016306
Other languages
English (en)
French (fr)
Inventor
국경민
Original Assignee
(주)루티헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)루티헬스 filed Critical (주)루티헬스
Publication of WO2022103140A1 publication Critical patent/WO2022103140A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention provides a medical image reading apparatus and a medical image reading method.
  • An object of the present invention is to provide a medical image reading apparatus and a medical image reading method. Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the method in a computer is recorded.
  • the technical problem to be achieved by this embodiment is not limited to the technical problems as described above, and other technical problems may be inferred from the following embodiments.
  • An embodiment of the present invention provides a data acquisition unit for acquiring subject data and medical image data of the subject, applying the subject data and the medical image data to a first neural network model to detect the presence or absence of an abnormality ( ⁇ , disorder),
  • a first information generating unit generating first information including disease category information and abnormality information by classifying a disease category, and a second neural network model dependent on the classified disease category, the first information, the and a second information generator configured to detect a sub-disease within the disease category by applying subject data and the medical image data, and generate second information related to the sub-disease.
  • embodiments of the present invention can automatically read diseases through a neural network model learned from medical image data, so that information on diseases can be provided to users non-invasively and at low cost. can provide
  • the embodiments of the present invention have the advantage of improving read efficiency by being able to improve performance by themselves through the first neural network model and the second neural network model of the dependency relationship.
  • FIG. 1 is a diagram schematically illustrating a medical image reading system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a medical image reading apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining an algorithm for reading a medical image using a first neural network model and a second neural network model.
  • FIG. 4 is a diagram for explaining an algorithm for re-learning a first neural network model or a second neural network model in the learning unit.
  • FIG. 5 is a flowchart sequentially illustrating a method for reading a medical image according to an embodiment of the present invention.
  • An embodiment of the present invention provides a data acquisition unit for acquiring subject data and medical image data of the subject, applying the subject data and the medical image data to a first neural network model to detect the presence or absence of an abnormality ( ⁇ , disorder),
  • a first information generating unit generating first information including disease category information and abnormality information by classifying a disease category, and a second neural network model dependent on the classified disease category, the first information, the and a second information generator configured to detect a sub-disease within the disease category by applying subject data and the medical image data, and generate second information related to the sub-disease.
  • the second information generating unit may classify the detected risk of the sub-disease, and the second information may further include information on the risk of the sub-disease.
  • comparing the first information with the second information, and if the results for the presence or absence are different from each other, further comprising a learning unit for re-learning the first neural network model or the second neural network model can do.
  • the learning unit compares the first information with the second information, and when the results on the presence or absence of an abnormality match, the subject data and the medical image data input to the first neural network model may be stored as first learning data, and the first information input to the second neural network model, the subject data, and the medical image data may be stored as second learning data.
  • the present invention further comprising a memory having a database for storing one or more second neural network models in correspondence with each disease category, wherein the second information generator includes a plurality of second neural networks in the classified disease category.
  • the second information may be generated using any one selected by an external input among the second neural network models subordinate to the disease category.
  • the medical image data includes fundus image data
  • the first information generating unit applies the fundus image data to the first neural network model, and when an abnormality is detected, a retinal abnormality category, a medium
  • the first information may be generated by classifying it into at least one disease category among an abnormality category and an optic nerve abnormality category.
  • obtaining subject data and medical image data of the subject applying the subject data and the medical image data to a first neural network model to detect the presence or absence of an abnormality, and when the abnormality is detected, a disease category classifying to generate first information including disease category information and abnormality information, and applying the first information, the subject data and the medical image data to a second neural network model dependent on the classified disease category.
  • a method for reading a medical image comprising detecting a sub-disease in the disease category and generating second information related to the sub-disease.
  • the generating of the second information may further include classifying the risk of the detected sub-disease, and the second information may further include risk information of the sub-disease. there is.
  • comparing the first information with the second information, and if the results on the presence or absence of abnormality are different from each other, further comprising the step of re-learning the first neural network model or the second neural network model can do.
  • the method may further include storing as training data, and storing the first information, the subject data, and the medical image data input to the second neural network model as second training data.
  • the second information in the generating of the second information, when a plurality of second neural network models are subordinated to the classified disease category, an external one of the second neural network models subordinated to the disease category
  • the second information may be generated using any one selected by input.
  • the medical image data includes fundus image data
  • the generating of the first information includes applying the fundus image data to the first neural network model, and when an abnormality is detected, the retina
  • the first information may be generated by classifying it into at least one disease category among an abnormality category, a media abnormality category, an optic nerve abnormality category, and a systemic disease category.
  • One embodiment of the present invention provides a computer-readable recording medium in which a program for executing the above-described method is recorded in a computer.
  • FIG. 1 is a diagram schematically illustrating a medical image reading system according to an embodiment of the present invention.
  • a medical image reading system 10 includes a medical image acquisition device 100 , a user terminal 200 , a medical image reading device 300 , and a network 400 . do.
  • the medical image acquisition apparatus 100 may be a medical imaging device that acquires a medical image of a subject.
  • the medical image acquisition apparatus 100 may be a medical imaging device capable of acquiring an ophthalmic image, such as a fundus camera.
  • the present invention is not limited thereto, and for example, the medical image acquisition apparatus 100 may include computed tomography (CT), magnetic resonance imaging (MRI), ultrasound, X-ray, or a technical field of the present invention. It may be any other medical imaging equipment known in
  • the user terminal 200 may be a fixed terminal implemented as a computer device or a mobile terminal.
  • the user terminal 200 may be a terminal of an administrator who controls the server.
  • the user terminal 200 may be a terminal for displaying information provided from the medical image reading apparatus 300 or for manipulation by a third party.
  • the user terminal 200 may be, for example, a smart phone, a mobile phone, a navigation system, a computer, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a tablet PC, or the like.
  • the user terminal 200 may communicate with another user terminal 200 , the medical image acquiring apparatus 100 , or the medical image measuring apparatus 300 through the network 400 using a wireless or wired communication method.
  • the communication method is not limited, and not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network) that the network 400 may include, but also short-range wireless communication between devices may be included.
  • the network 400 may include a personal area network (PAN), a local area network (LAN), a controller area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a metropolitan area network (MAN). ), a wide area network (WAN), a broadband network (BBN), and any one or more of networks such as the Internet.
  • the network 400 may include any one or more of a network topology including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, etc. not limited
  • the server may be implemented as a computer device or a plurality of computer devices that communicate with the user terminal 200 and the network 400 to provide commands, codes, files, contents, services, etc. .
  • the server (not shown) may provide a file for installing an application to the user terminal 200 connected through the network 400 .
  • the user terminal 200 may install an application using a file provided from a server (not shown).
  • the server (not shown) provides Services or content may be provided.
  • the server (not shown) may establish a communication session for data transmission/reception, and route data transmission/reception between the user terminals 200 through the established communication session.
  • the medical image reading apparatus 300 may be included in a server (not shown) or included in the user terminal 200 .
  • the medical image reading apparatus 300 may be integrally formed with the medical image acquisition apparatus 100 and may directly provide information from reading the medical image.
  • FIG. 2 is a block diagram of a medical image reading apparatus 300 according to an embodiment of the present invention.
  • the medical image reading apparatus 300 may include a communication unit 310 , a processor 320 , a memory 330 , and an input/output interface 340 .
  • the communication unit 310 may function as a communication module for wired or wireless communication with the user terminal 200 or the medical image acquisition apparatus 100 through the network 400 to receive subject data or medical image data.
  • the processor 320 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided to the processor 320 by the memory 330 or the communication unit 310 .
  • the processor 320 may be configured to execute a received instruction according to program code stored in a recording device such as the memory 330 .
  • the 'processor' may refer to, for example, a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as a code or command included in a program.
  • the processor 320 may include a data acquisition unit 321 , a first information generation unit 322 , a second information generation unit 323 , and a learning unit 324 .
  • the memory 330 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive.
  • the memory 130 may store an operating system and at least one program code (eg, a code for a browser installed and driven in a user terminal or the above-described application). These software components may be loaded from a computer-readable recording medium separate from the memory 130 using a drive mechanism.
  • the separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, and a memory card.
  • the software components may be loaded into the memory 330 through the communication unit 310 rather than a computer-readable recording medium.
  • the at least one program is based on a program (eg, the above-described application) installed by files provided through a network by a file distribution system (eg, the above-described server) for distributing installation files of developers or applications to be loaded into the memory 330 .
  • the input/output interface 340 may be a means for an interface with an input/output device.
  • the input device may include a device such as a keyboard or mouse
  • the output device may include a device such as a display for displaying a communication session of an application.
  • the input/output interface 340 may be a means for an interface with a device in which functions for input and output are integrated into one, such as a touch screen.
  • FIG. 3 is a diagram for explaining an algorithm for reading a medical image using a first neural network model A1 and a second neural network model A2, and FIG. 4 is a first neural network model A1 in the learning unit 324 Alternatively, it is a diagram for explaining an algorithm for re-learning the second neural network model A2.
  • the medical image reading apparatus 300 includes a data acquisition unit 321 , a first information generation unit 322 , and a second information generation unit 323 and a learning unit 324 may be included.
  • the data acquirer 321 may acquire the subject data 2 and the medical image data 1 of the subject.
  • the subject data 2 may be provided from the medical image acquisition apparatus 100 or may be provided from the user terminal 200 .
  • the subject data 2 may include personal information about the subject, diagnosis and examination information, or stage information.
  • the subject's personal information, diagnosis and examination information, or stage information is questionnaire data directly input by the subject through the user terminal 200 , or examination history data or medical image previously examined through the medical image acquisition device 100 It may be setting data of the medical image acquisition apparatus 100 .
  • the medical image data 1 may be information generated by the medical image acquisition apparatus 100 .
  • a medical image acquisition device 100 such as a Computed Tommography (CT) device, a Magnetic Resonance Imaging (MRI) device, a Positron Emission Tomography (PET) device, a CT Simulator, and a Computed Radiography (CR) device.
  • CT Computed Tommography
  • MRI Magnetic Resonance Imaging
  • PET Positron Emission Tomography
  • CT Computed Radiography
  • CR Computed Radiography
  • the generated medical image data is converted to a medical digital image communication standard (DICOM, Digital Imaging and Communications in Medicine) and is represented in the form of a DICOM RT (Radiation Therapy) data file.
  • DICOM RT Computed Radiography
  • the medical image data 1 may be fundus data acquired using a fundus imaging apparatus.
  • the data acquisition unit 321 may perform a function of converting the acquired medical image data 1 into a standard format applicable to a neural network model. Also, the data acquisition unit 321 may perform a function of generating input data to be input to the neural network model by matching the subject data 2 and the subject's medical image data 1 .
  • the first information generating unit 322 applies the subject data 2 and the medical image data 1 to the first neural network model A1 to detect the presence or absence of an abnormality, and when the abnormality is detected, the disease category By classifying, first information including the disease category information and abnormality information may be generated.
  • the first neural network model A1 may be trained to classify a disease category that is an upper level of a disease based on the subject data 2 and the medical image data 1 .
  • the first neural network model (A1) is a learning model that classifies diseases in a wider range than the second neural network model (A2), which will be described later, and includes Deep Neural Networks (DNN), Convolutional Neural Networks , CNN), a recurrent neural network (RNN), and a deep trust neural network (DBN) may be used to learn.
  • DNN Deep Neural Networks
  • CNN Convolutional Neural Networks
  • RNN recurrent neural network
  • DNN deep trust neural network
  • the first neural network model (A1) is first divided into two classes: 'There is an abnormality' and 'No abnormality' based on the subject data (2) and the medical image data (1), When there is an abnormality, it is possible to distinguish which disease category is included. Accordingly, the first information may include information on the presence or absence of abnormalities and classified disease category information.
  • the first information generator 322 classifies the presence or absence of abnormalities and disease categories using the first neural network model A1, derives a confidence index (probability index) for the classification result, and uses the first information R1 as the first information R1. can be saved together. Thereafter, the first information R1 may be an input value of the second neural network model A2.
  • the first information generator 322 may apply the fundus image data to the first neural network model A1 .
  • the disease category may be largely divided into a retinal abnormality category, a medium abnormality category, and an optic nerve abnormality category.
  • the first information generator 322 applies the fundus image data to the first neural network model A1 to classify it into one or more disease categories among a retinal abnormality category, a medium abnormality category, and an optic nerve abnormality category, and the first information R1 can create Meanwhile, the first neural network model A1 may be trained to be classified into a systemic disease category other than a retinal abnormality category, a medium abnormality category, and an optic nerve abnormality category.
  • the first information generating unit ( 322) may be classified into a systemic disease category to generate the first information.
  • the second information generating unit 323 applies the first information R1, the subject data 2, and the medical image data 1 to the second neural network model A2 subordinate to the classified disease category, and applies the lower level in the disease category. It is possible to detect a disease and generate second information (R2) related to a sub-disease.
  • the sub-disease may include diabetic retinopathy, glaucoma, macular degeneration, and the like.
  • the sub-disease may include lens cataract and the like.
  • the second neural network model A2 may be defined as a learning model subordinate to the first neural network model A1 based on the pre-stored correlation between the upper disease category and the lower disease.
  • the second neural network model A2 may not be independently determined from the first neural network model A1 , but may be a read model determined according to the result of the first neural network model A1 .
  • the memory 330 may include a disease database in which a dependency relationship between an upper disease category and a lower disease category stored in advance is stored.
  • the second neural network model A2 may be learned by inputting the first information R1 generated from the first neural network model A1 .
  • the second neural network model A2 may be trained to classify a specific disease, which is a lower level, within a disease category classified based on the first information R1 , the subject data 2 , and the medical image data 1 .
  • the second neural network model (A2) is a learning model that detects diseases in a narrower range compared to the first neural network model (A1), and like the first neural network model (A1), deep neural networks (DNN), convolution It can be learned using any one of a neural network (Convolutional Neural Networks, CNN), a recurrent neural network (RNN), and a deep trust neural network (DBN).
  • CNN Convolutional Neural Networks
  • RNN recurrent neural network
  • DNN deep trust neural network
  • the second neural network model A2 is a reading algorithm for detecting a specific disease, and one or more second neural network models A2 may correspond to one disease category. That is, the memory 330 may have a database stored in correspondence with one or more second neural network models A2 for each disease category, and the second information generator 323 may include one or more second neural network models A2 corresponding to the disease category.
  • the second information R2 may be generated using any one of the neural network models.
  • the second information generating unit 323 receives an external input from among the second neural network models A2 subordinate to the disease category.
  • the second information R2 may be generated using any one selected by the .
  • the second information generator 323 may provide a plurality of second neural network models A2 stored in the corresponding disease category classified from the database to the user using the input/output interface 340 or the user terminal 200 .
  • the second information generator 323 uses the selected second neural network model A2 to generate second information R2 can create
  • the second information generating unit 323 may further classify the risk of the detected sub-disease.
  • the second information R2 may include risk level information of a sub-disease.
  • the second information generator 323 may classify the risk of a lower-level disease into a plurality of classes. Here, risk information classified as the lowest level of risk may be recognized at the same level as no abnormality.
  • the medical image reading apparatus 300 sends the first information R1 to the input/output interface 340 or the user terminal 200 so that the user can check the results. and second information R2 may be provided.
  • the learning unit 324 compares the first information R1 and the second information R2, and when the results on the presence or absence of abnormality are different from each other, the first neural network model A1 or the second neural network model A2 is selected. It can be re-learning (S42). As described above, the first information R1 includes information on the presence or absence of abnormalities, and the second information R2 includes information on the risk of a lower-order disease.
  • the learning unit 324 is the first The performance may be improved by re-learning the neural network model A1 or the second neural network model A2.
  • the learning unit 324 re-learns the first neural network model A1 by using the first training data, which is a standard dataset for verification in the first neural network model A1, and performs verification on the second neural network model A2.
  • the second neural network model A2 may be retrained using the second training data, which is a standard dataset for
  • the learning unit 324 does not directly apply the retrained neural network model to the first information generation unit 322 or the second information generation unit 323, but compares the retrained new model with the existing model to determine whether to change. can
  • the learning unit 324 derives an inference result by applying the standard dataset for verification to the new model and the existing model, and the existing model based on the derived accuracy and the result after applying the neural network model. You can decide whether to change to the new model.
  • the learner 324 may change any one or both of the first neural network model A1 and the second neural network model A2 through the above-described process.
  • the learning unit 324 compares the first information R1 with the second information R2, and when the results on the presence or absence of anomalies match, the subject data and medical images that are input data input to the first neural network model A1
  • the data may be stored as the first learning data
  • the first information input to the second neural network model, the subject data, and the medical image data may be stored as the second learning data ( S41 ).
  • the learning unit 324 may learn the first neural network model A1 or the second neural network model A2 using a convolutional neural network (CNN).
  • a convolutional neural network is a type of multilayer perceptrons designed to use minimal preprocessing.
  • a convolutional neural network includes a convolutional layer that performs convolution on input data, and further includes a subsampling layer that performs subsampling on an image, extracting a feature map from the data can do.
  • the subsampling layer is a layer that increases the contrast between neighboring data and reduces the amount of data to be processed, and max pooling, average pooling, etc. may be used.
  • Each of the convolutional layers may include an activation function.
  • the activation function may be applied to each layer of each layer to perform a function of making each input have a complex non-linear relationship.
  • a sigmoid function capable of converting an input into a normalized output
  • a tanh function a Rectified Linear Unit (ReLU), a Leacky ReLU, etc.
  • ReLU Rectified Linear Unit
  • Leacky ReLU Leacky ReLU
  • FIG. 5 is a flowchart sequentially illustrating a method for reading a medical image according to an embodiment of the present invention.
  • the medical image reading apparatus may acquire the subject data and the medical image data of the subject by the data acquisition unit.
  • the medical image reading method may generate the first information by applying the subject data and the medical image data to the first neural network model by the first information generator.
  • the medical image reading method applies the subject data and the medical image data to the first neural network model to detect the presence or absence of an abnormality, and when the abnormality is detected, classifies the disease category to obtain first information including disease category information and abnormality information can create
  • the medical image reading method applies, as an input value, the first information generated by the first neural network model together with the subject data and the medical image data to the second neural network model by the second information generator to obtain the second information can create
  • the medical image reading method may detect a sub-disease within a disease category by applying first information, subject data, and medical image data to a second neural network model dependent on the classified disease category, and may generate second information related to the sub-disease. there is.
  • the risk level of a sub-disease detected by the second neural network model may be classified.
  • the second information may further include risk level information of a sub-disease.
  • the medical image reading method may compare the first information and the second information.
  • the medical image reading method may retrain the first neural network model or the second neural network model by the learning unit when the result of the abnormality of the first information and the result of the abnormality of the second information are different from each other (S550) ).
  • the medical image reading method may determine whether to change it by comparing it with the existing model before learning. Through this, the medical image reading method may improve the performance of the first neural network model or the second neural network model.
  • the medical image reading method stores the input data input to the first neural network model as the first training data when the result of the abnormality of the first information and the result of the abnormality of the second information match and the input data input to the second neural network model may be stored as second training data.
  • the stored first learning data or second learning data may be used as a standard dataset for verification in the process of re-learning through the learning unit.
  • the first information and the second information generated through the above-described process may be transmitted to a user terminal or an input/output interface and provided to the user.
  • the user terminal or the input/output interface may process the provided first information and the second information, and provide the information to the user as information on whether or not the subject has a disease or not, a category of a disease, a disease name, and a degree of risk.
  • the medical image reading apparatus and the medical image reading method can automatically read a disease through a neural network model learned from medical image data, so that the disease can be read non-invasively and at low cost. information can be provided to users.
  • the medical image reading apparatus and the medical image reading method can improve their performance by themselves through the first neural network model and the second neural network model in a dependent relationship, and thus have the advantage of improving the reading efficiency.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, other data in modulated data signals, such as program modules, or other transport mechanisms, and includes any information delivery media.
  • unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.
  • a medical image reading apparatus and a medical image reading method are provided.
  • embodiments of the present invention may be applied to fields requiring generation of disease-related information by reading a medical image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명의 일 실시예는 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 데이터 획득부, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상(異常, disorder) 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 제1 정보 생성부 및 상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 제2 정보 생성부를 포함하는, 의료 영상 판독 장치를 제공한다.

Description

의료 영상 판독 장치 및 의료 영상 판독 방법
본 발명은 의료 영상 판독 장치 및 의료 영상 판독 방법을 제공한다.
인공지능 기법을 이용한 다양한 알고리즘들이 오랜 기간 동안 개발되어 왔으며, 특히 최근에는 딥러닝(Deep Learning) 알고리즘을 적용하여 빅데이터를 처리하는 다양한 기법들이 개발되고 있다. 그 동안 의료영상에도 인공지능을 적용하여 임상의사결정에 도움을 받고자 하는 시도가 활발하게 진행되었고, 특히, X-ray, 초음파, CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등의 진단기기들로부터 획득한 의료영상에 인공지능 알고리즘을 적용하여 임상의사의 의사결정에 도움을 주는 방법이 개발되어 왔다.
의료 영상은 그 종류에 따라 서로 다른 영상 처리 과정을 거쳐야 하므로, 검출 혹은 진단 장치나 그 운용 시스템이 복잡하고 커지는 단점이 있다. 또한, 의료 영상들을 이용하여 종래의 병변 검출 기술 대부분은 의료 영상을 토대로 병변을 진단하는데 있어서 의사 등의 사용자의 참여를 필요로 하거나 사용자를 보조하는 수준에 머물러 있고, 자동으로 병변을 진단하거나 병변의 등급을 분석하는데는 아직까지 한계가 있다.
본 발명은 의료 영상 판독 장치 및 의료 영상 판독 방법을 제공하는데 있다. 또한, 본 발명은 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 실시예는 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 데이터 획득부, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상(異常, disorder) 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 제1 정보 생성부 및 상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 제2 정보 생성부를 포함하는, 의료 영상 판독 장치를 제공한다.
전술한 본 개시의 과제 해결 수단에 의하면, 본 발명의 실시예들은 의료 영상 데이터로 학습된 신경망 모델을 통해 자동적으로 질환에 대한 판독할 수 있어, 비침습적이면서 저렴한 비용으로 질환에 대한 정보를 사용자에게 제공할 수 있다.
또한, 본 발명의 실시예들은 종속 관계의 제1 신경망 모델과 제2 신경망 모델을 통해 스스로 성능을 향상시킬 수 있어 판독 효율을 증진시키는 장점을 갖게 된다.
도 1은 본 발명의 일 실시예에 의료 영상 판독 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 장치의 블록도이다.
도 3은 제1 신경망 모델과 제2 신경망 모델을 이용하여 의료 영상을 판독하는 알고리듬을 설명하기 위한 도면이다.
도 4는 학습부에서 제1 신경망 모델 또는 제2 신경망 모델을 재학습시키는 알고리듬을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 판독 방법을 순차적으로 도시한 순서도이다.
본 발명의 일 실시예는 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 데이터 획득부, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상(異常, disorder) 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 제1 정보 생성부 및 상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 제2 정보 생성부를 포함하는, 의료 영상 판독 장치를 제공한다.
본 발명의 일 실시예에 있어서, 상기 제2 정보 생성부는 상기 검출된 하위 질환의 위험도를 분류하고, 상기 제2 정보는 상기 하위 질환의 위험도 정보를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 정보와 상기 제2 정보를 비교하고, 이상유무에 대한 결과가 서로 다른 경우 상기 제1 신경망 모델 또는 상기 제2 신경망 모델을 재학습시키는 학습부를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 학습부는 상기 제1 정보와 상기 제2 정보를 비교하고 이상유무에 대한 결과가 일치하는 경우, 상기 제1 신경망 모델에 입력된 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 학습데이터로 저장하고, 상기 제2 신경망 모델에 입력된 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제2 학습데이터로 저장할 수 있다.
본 발명의 일 실시예에 있어서, 질환 카테고리 별로 하나 이상의 제2 신경망 모델을 대응시켜 저장하는 데이터 베이스를 구비하는 메모리를 더 포함하고, 상기 제2 정보 생성부는 상기 분류된 질환 카테고리에 복수개의 제2 신경망 모델이 대응되는 경우, 상기 질환 카테고리에 종속되는 상기 제2 신경망 모델들 중 외부 입력에 의해 선택된 어느 하나를 이용하여 상기 제2 정보를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 의료 영상 데이터는 안저 영상 데이터를 포함하며, 상기 제1 정보 생성부는 상기 안저 영상 데이터를 상기 제1 신경망 모델에 적용하고, 이상이 검출되면 망막 이상 카테고리, 매체 이상 카테고리 및 시신경 이상 카테고리 중 적어도 어느 하나의 질환 카테고리로 분류하여 상기 제1 정보를 생성할 수 있다.
본 발명의 일 실시예는, 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 단계, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 단계 및 상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 단계를 포함하는 의료 영상 판독 방법을 제공한다.
본 발명의 일 실시예에 있어서, 상기 제2 정보를 생성하는 단계는 상기 검출된 하위 질환의 위험도를 분류하는 단계를 더 포함하고, 상기 제2 정보는 상기 하위 질환의 위험도 정보를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 정보와 상기 제2 정보를 비교하고, 이상유무에 대한 결과가 서로 다른 경우 상기 제1 신경망 모델 또는 상기 제2 신경망 모델을 재학습시키는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제1 정보와 상기 제2 정보를 비교하고 이상유무에 대한 결과가 일치하는 경우, 상기 제1 신경망 모델에 입력된 상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 학습데이터로 저장하고, 상기 제2 신경망 모델에 입력된 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 제2 학습데이터로 저장하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 정보를 생성하는 단계는, 상기 분류된 질환 카테고리에 복수개의 제2 신경망 모델이 종속되는 경우, 상기 질환 카테고리에 종속되는 상기 제2 신경망 모델들 중 외부 입력에 의해 선택된 어느 하나를 이용하여 상기 제2 정보를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 의료 영상 데이터는 안저 영상 데이터를 포함하며, 상기 제1 정보를 생성하는 단계는, 상기 안저 영상 데이터를 상기 제1 신경망 모델에 적용하고, 이상이 검출되면 망막 이상 카테고리, 매체 이상 카테고리, 시신경 이상 카테고리 및 전신질환 카테고리 중 적어도 어느 하나의 질환 카테고리로 분류하여 상기 제1 정보를 생성할 수 있다.
본 발명의 일 실시예는, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 의료 영상 판독 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 시스템(10)은 의료 영상 획득 장치(100), 사용자 단말기(200), 의료 영상 판독 장치(300) 및 네트워크(400)를 포함한다.
의료 영상 획득 장치(100)는 피검자의 의료 영상을 획득하는 의료 영상 장비일 수 있다. 일 실시예로서, 의료 영상 획득 장치(100)는 안저 카메라와 같은 안과 영상을 획득할 수 있는 의료 영상 장비일 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 예를 들면, 의료 영상 획득 장치(100)는 전산화 단층 촬영(CT; computed tomography), MRI(magnetic resonance imaging), 초음파, X-ray 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 장비일 수 있다.
사용자 단말기(200)는 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일수 있다. 사용자 단말기(200)는 의료 영상 판독 장치(300)가 서버인 경우, 서버를 제어하는 관리자의 단말일 수 있다. 또는 사용자 단말기(200)는 의료 영상 판독 장치(300)로부터 제공되는 정보를 디스플레이하거나, 제3자가 조작하기 위한 단말일 수 있다. 사용자 단말기(200)는 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등일 수 있다. 일례로 사용자 단말기(200)는 무선 또는 유선 통신 방식을 이용하여 네트워크(400)를 통해 다른 사용자 단말기(200), 의료 영상 획득 장치(100) 또는 의료 영상 측정 장치(300)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(400)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(400)는, PAN(personal area network), LAN(local area network), CAN(controller area network), MAN(metropolitan area network), WAN(wide area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(400)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
도시하지 않았으나, 서버(미도시)는 사용자 단말기(200)와 네트워크(400)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(미도시)는 네트워크(400)를 통해 접속한 사용자 단말기(200)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 사용자 단말기(200)는 서버(미도시)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 사용자 단말기(200)가 포함하는 운영체제(Operating system, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 설치된 어플리케이션)의 제어에 따라 서버(미도시)에 접속하여 서버(미도시)가 제공하는 서비스나 콘텐츠를 제공받을 수 있다. 다른 예로, 서버(미도시)는 데이터 송수신을 위한 통신 세션을 설정하고, 설정된 통신 세션을 통해 사용자 단말기(200) 간의 데이터 송수신을 라우팅할 수도 있다.
의료 영상 판독 장치(300)는 서버(미도시)에 포함될 수도 있고, 사용자 단말기(200)에 포함될 수도 있다. 의료 영상 판독 장치(300)는 의료 영상 획득 장치(100)와 일체로 형성되어, 의료 영상을 판독한 정보를 바로 제공할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 장치(300)의 블록도이다.
도 2를 참조하면, 의료 영상 판독 장치(300)는 통신부(310), 프로세서(320), 메모리(330) 및 입출력 인터페이스(340)를 포함할 수 있다.
통신부(310)는 네트워크(400)를 통해 사용자 단말기(200) 또는 의료 영상 획득 장치(100)와 유선 또는 무선 통신하는 통신 모듈로서 기능하여, 피검자 데이터 또는 의료 영상 데이터를 제공받을 수 있다.
프로세서(320)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(330) 또는 통신부(310)에 의해 프로세서(320)로 제공될 수 있다. 예를 들어, 프로세서(320)는 메모리(330)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.
이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(320)는 데이터 획득부(321), 제1 정보 생성부(322), 제2 정보 생성부(323) 및 학습부(324)를 포함할 수 있다.
메모리(330)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(130)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 단말에 설치되어 구동되는 브라우저나 상술한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(130)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신부(310)를 통해 메모리(330)에 로딩될 수도 있다. 예를 들어 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버)가 네트워크를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(330)에 로딩될 수 있다.
입출력 인터페이스(340)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(340)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
이하에서는 도 3 및 도 4를 참조하여 의료 영상 판독 장치(300)를 보다 구체적으로 설명하기로 한다.
도 3은 제1 신경망 모델(A1)과 제2 신경망 모델(A2)을 이용하여 의료 영상을 판독하는 알고리듬을 설명하기 위한 도면이고, 도 4는 학습부(324)에서 제1 신경망 모델(A1) 또는 제2 신경망 모델(A2)을 재학습시키는 알고리듬을 설명하기 위한 도면이다.
다시 도 2 및 도 3, 도 4를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 판독 장치(300)는 데이터 획득부(321), 제1 정보 생성부(322), 제2 정보 생성부(323) 및 학습부(324)를 포함할 수 있다.
데이터 획득부(321)는 피검자 데이터(2) 및 피검자의 의료 영상 데이터(1)를 획득할 수 있다. 피검자 데이터(2)는 의료 영상 획득 장치(100)로부터 제공받거나, 사용자 단말기(200)로부터 제공받을 수 있다. 피검자 데이터(2)는 피검자에 대한 신상정보, 진단 및 검사 정보 또는 병기(病氣)정보를 포함할 수 있다. 피검자의 신상정보, 진단 및 검사 정보 또는 병기 정보는 사용자 단말기(200)를 통해 피검자가 직접 입력한 문진 데이터이거나, 의료 영상 획득 장치(100)를 통해 이전에 검사한 검사 이력 데이터 또는 의료 영상 획득 시 의료 영상 획득 장치(100)의 설정데이터일 수 있다.
의료 영상 데이터(1)는 의료 영상 획득 장치(100)로부터 생성된 정보일 수 있다. 예를 들면, CT(Computed Tommography) 장치, MRI(Magnetic Resonance Imaging)장치, PET(Positron Emission Tomography) 장치, 컴퓨터단층촬영모의치료기(CT Simulator), CR(Computed Radiography) 등과 같은 의료 영상 획득 장치(100)를 통해 방사선을 조사하고자 하는 생체를 촬영하여 의료 영상 데이터가 생성될 수 있다. 생성된 의료 영상 데이터는 의료 디지털 이미지 통신 규격(DICOM, Digital Imaging and Communications in Medicine)으로 변환하여 DICOM RT(Radiation Therapy) 데이터 파일 형태로 이루어지는 것을 나타낸다. 구체적으로, 의료 영상 데이터(1)는 안저 촬영 장치를 이용하여 획득한 안저 데이터일 수 있다.
데이터 획득부(321)는 획득된 의료 영상 데이터(1)를 신경망 모델에 적용이 가능한 표준 포맷으로 변환하는 기능을 수행할 수 있다. 또한, 데이터 획득부(321)는 피검자 데이터(2) 및 피검자의 의료 영상 데이터(1)를 매칭시켜 신경망 모델에 입력될 입력 데이터를 생성하는 기능을 수행할 수도 있다.
제1 정보 생성부(322)는 피검자 데이터(2) 및 의료 영상 데이터(1)를 제1 신경망 모델(A1)에 적용하여 이상(異常, disorder) 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 상기 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성할 수 있다.
여기서, 제1 신경망 모델(A1)은 피검자 데이터(2) 및 의료 영상 데이터(1)를 기반으로 질환의 상위 레벨인 질환 카테고리를 분류하도록 학습될 수 있다. 다시 말해, 제1 신경망 모델(A1)은 후술하는 제2 신경망 모델(A2)에 비해 넓은 범위로 질환을 분류하는 학습모델로서, 심층 신경망(Deep Neural Networks, DNN), 컨볼루션 신경망(Convolutional Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경 망(Deep Belief Networks, DBN) 중 어느 하나를 이용하여 학습될 수 있다.
제1 신경망 모델(A1)은 피검자 데이터(2) 및 의료 영상 데이터(1)를 기초로 '이상 있음(有)'과 '이상 없음(無)'이라는 2개의 클래스(class)로 먼저 구분하고, 이상이 있는 경우 어느 질환의 카테고리에 포함되는지를 구분할 수 있다. 따라서, 제1 정보는 이상유무에 대한 정보와 분류된 질환 카테고리 정보를 포함할 수 있다. 이때, 제1 정보 생성부(322)는 제1 신경망 모델(A1)을 이용하여 이상 유무 및 질환 카테고리를 분류하고, 분류 결과에 대한 확신 지표(확률 지표)를 도출하여 제1 정보(R1)로 함께 저장할 수 있다. 이후 제1 정보(R1)는 제2 신경망 모델(A2)의 입력값이 될 수 있다.
일 실시예로서, 의료 영상 데이터가 안저 영상 데이터인 경우, 제1 정보 생성부(322)는 안저 영상 데이터를 제1 신경망 모델(A1)에 적용할 수 있다. 이때, 질환 카테고리는 망막 이상 카테고리, 매체 이상 카테고리 및 시신경 이상 카테고리로 크게 구분될 수 있다. 제1 정보 생성부(322)는 안저 영상 데이터를 제1 신경망 모델(A1)에 적용하여 망막 이상 카테고리, 매체 이상 카테고리 및 시신경 이상 카테고리 중 하나 이상의 질환 카테고리로 분류하고, 제1 정보(R1)를 생성할 수 있다. 한편, 제1 신경망 모델(A1)은 망막 이상 카테고리, 매체 이상 카테고리 및 시신경 이상 카테고리 외 전신질환 카테고리로 분류하도록 학습될 수 있다.
다시 말해, 만약 입력된 안저 영상 데이터가 망막 이상 카테고리(D1), 매체 이상 카테고리(D2) 및 시신경 이상 카테고리(D3)로 모두 분류되는 경우에는 전신질환도 의심되는 상황이므로, 제1 정보 생성부(322)는 전신질환 카테고리로도 분류하여 제1 정보를 생성할 수 있다.
제2 정보 생성부(323)는 분류된 질환 카테고리에 종속되는 제2 신경망 모델(A2)에 제1 정보(R1), 피검자 데이터(2) 및 의료 영상 데이터(1)를 적용하여 질환 카테고리 내 하위 질환을 검출하고, 하위 질환과 관련된 제2 정보(R2)를 생성할 수 있다. 예를 들면, 분류된 질환 카테고리가 망막 이상 카테고리인 경우, 하위 질환은 당뇨망막병증, 녹내장, 황반변성 등을 포함할 수 있다. 분류된 질환 카테고리가 매체 이상 카테고리인 경우 하위 질환은 수정체 백내장 등을 포함할 수 있다.
여기서, 제2 신경망 모델(A2)은 사전에 저장된 상위 질환 카테고리와 하위 질환의 연관관계를 기초로 제1 신경망 모델(A1)에 종속되는 학습모델로 정의할 수 있다. 다시 말해, 제2 신경망 모델(A2)은 제1 신경망 모델(A1)과 독립적으로 결정되는 것이 아니라, 제1 신경망 모델(A1)의 결과에 따라 결정되는 판독모델일 수 있다. 메모리(330)는 사전에 저장된 상위 질환 카테고리와 하위 질환들의 종속관계가 저장된 질환 데이터 베이스를 구비할 수 있다.
제2 신경망 모델(A2)은 제1 신경망 모델(A1)로부터 생성된 제1 정보(R1)가 입력되어 학습될 수 있다. 제2 신경망 모델(A2)은 제1 정보(R1), 피검자 데이터(2) 및 의료 영상 데이터(1)를 기반으로 분류된 질환 카테고리 내 하위 레벨인 특정 질환을 분류하도록 학습될 수 있다. 제2 신경망 모델(A2)은 제1 신경망 모델(A1)에 비해 좁은 범위로 질환을 검출하는 학습모델이며, 제1 신경망 모델(A1)과 마찬가지로, 심층 신경망(Deep Neural Networks, DNN), 컨볼루션 신경망(Convolutional Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경 망(Deep Belief Networks, DBN) 중 어느 하나를 이용하여 학습될 수 있다.
일 실시예로서, 제1 신경망 모델(A1)에 의해 분류된 질환 카테고리에 종속되는 제2 신경망 모델(A2)은 하나 이상이 될 수 있다. 제2 신경망 모델(A2)은 특정 질환을 검출하는 판독 알고리듬으로서, 하나의 질환 카테고리에 하나 이상의 제2 신경망 모델(A2)이 대응될 수 있다. 즉, 메모리(330)는 질환 카테고리 별로 하나 이상의 제2 신경망 모델(A2)을 대응시켜 저장된 데이터 베이스를 구비할 수 있으며, 제2 정보 생성부(323)는 해당 질환 카테고리에 대응되는 하나 이상의 제2 신경망 모델 중 어느 하나를 이용하여 제2 정보(R2)를 생성할 수 있다.
일 실시예로서, 제2 정보 생성부(323)는 분류된 질환 카테고리에 복수개의 제2 신경망 모델(A2)이 대응되는 경우, 질환 카테고리에 종속되는 제2 신경망 모델들(A2) 중 외부 입력에 의해 선택된 어느 하나를 이용하여 제2 정보(R2)를 생성할 수 있다. 제2 정보 생성부(323)는 데이터 베이스로부터 분류된 해당 질환 카테고리에 저장된 복수의 제2 신경망 모델(A2)을 입출력 인터페이스(340) 또는 사용자 단말기(200)를 이용하여 사용자에게 제공할 수 있다. 의료진과 같은 검사자인 사용자는 복수의 제2 신경망 모델(A2)들 중 어느 하나를 선택하면, 제2 정보 생성부(323)는 선택된 제2 신경망 모델(A2)을 이용하여 제2 정보(R2)를 생성할 수 있다.
제2 정보 생성부(323)는 검출된 하위 질환의 위험도를 더 분류할 수 있다. 이때, 제2 정보(R2)는 하위 질환의 위험도 정보를 포함할 수 있다. 제2 정보 생성부(323)는 하위 질환의 위험도를 복수의 클래스(class)로 구분할 수 있다. 여기서, 가장 낮은 단계의 위험도로 분류된 위험도 정보는 이상 없음(無)과 동일한 레벨로 인식될 수 있다.
의료 영상 판독 장치(300)는 제1 정보(R1) 및 제2 정보(R2)가 생성되면, 사용자가 결과를 확인할 수 있도록 입출력 인터페이스(340) 또는 사용자 단말기(200)로 제1 정보(R1)와 제2 정보(R2)를 제공할 수 있다.
한편, 학습부(324)는 제1 정보(R1)와 제2 정보(R2)를 비교하고, 이상유무에 대한 결과가 서로 다른 경우 제1 신경망 모델(A1) 또는 제2 신경망 모델(A2)을 재학습시킬 수 있다(S42). 전술한 바와 같이 제1 정보(R1)는 이상 유무 정보를 포함하며, 제2 정보(R2)는 하위 질환의 위험도 정보를 포함한다.
제2 신경망 모델(A2)은 제1 신경망 모델(A1)에 종속되므로, 이상 유무에 대한 결과값이 일치해야 한다. 만약, 제1 정보(R1)의 이상유무 정보가 '이상 있음'인데, 제2 정보(R2)의 위험도 정보가 가장 낮은 단계의 위험도여서 '이상 없음'인 경우, 학습부(324)는 제1 신경망 모델(A1) 또는 제2 신경망 모델(A2)을 재학습시켜 성능을 향상시킬 수 있다.
학습부(324)는 제1 신경망 모델(A1)에 검증을 위한 표준 데이터셋인 제1 학습데이터를 이용하여 제1 신경망 모델(A1)을 재학습하고, 제2 신경망 모델(A2)에 검증을 위한 표준 데이터셋인 제2 학습데이터를 이용하여 제2 신경망 모델(A2)을 재학습할 수 있다.
학습부(324)는 바로 재학습된 신경망 모델을 제1 정보 생성부(322) 또는 제 2 정보 생성부(323)에 적용하지 않고, 재학습된 신규 모델과 기존 모델을 비교하여 변경여부를 결정할 수 있다. 학습부(324)는 신규 모델과 기존 모델에 검증용 표준 데이터셋을 적용하여 추론(inference)한 결과를 도출하고, 도출된 정확도(accuracy), 신경망 모델을 적용한 후의 결과값 등을 기준으로 기존 모델을 신규 모델로 변경할 것인지를 결정할 수 있다. 학습부(324)는 상기한 과정을 통해 제1 신경망 모델(A1) 및 제2 신경망 모델(A2) 중 어느 하나 또는 모두를 변경할 수 있다.
학습부(324)는 제1 정보(R1)와 제2 정보(R2)를 비교하고 이상유무에 대한 결과가 일치하는 경우, 제1 신경망 모델(A1)에 입력된 입력 데이터인 피검자 데이터 및 의료 영상 데이터를 제1 학습데이터로 저장하고, 제2 신경망 모델에 입력된 제1 정보, 피검자 데이터 및 의료 영상 데이터를 제2 학습데이터로 저장할 수 있다(S41).
일 실시예로서, 학습부(324)는 컨볼루션 신경망(CNN)을 이용하여 제1 신경망 모델(A1) 또는 제2 신경망 모델(A2)을 학습할 수 있다. 여기서, 컨볼루션 신경망(CNN)은 최소한의 전처리(prepocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 컨볼루션 신경망(CNN)은 입력 데이터에 대하여 컨볼루션을 수행하는 컨볼루션 계층을 포함하며, 그리고 영상에 대해 서브샘플링(subsampling)을 수행하는 서브샘플링 계층을 더 포함하여, 해당 데이터로부터 특징맵을 추출할 수 있다. 여기서, 서브샘플링 계층이란 이웃하고 있는 데이터 간의 대비율(contrast)을 높이고 처리해야 할 데이터의 양을 줄여주는 계층으로서, 최대 풀링(max pooling), 평균 풀링(average pooling) 등이 이용될 수 있다.
컨볼루션 계층 각각은 활성 함수(activation function)을 포함할 수 있다. 활성 함수는 각층의 레이어들마다 적용되어 각 입력들이 복잡한 비선형성(non-linear) 관계를 갖게 하는 기능을 수행할 수 있다. 활성 함수는 입력을 표준화(normalization)된 출력으로 변환시킬 수 있는 시그모이드 함수(Sigmoid), 탄치 함수(tanh), 렐루(Rectified Linear Unit, ReLU), 리키 렐루(Leacky ReLU) 등이 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 판독 방법을 순차적으로 도시한 순서도이다.
단계 S510에서, 의료 영상 판독 장치는 데이터 획득부에 의해 피검자 데이터 및 피검자의 의료 영상 데이터를 획득할 수 있다.
단계 S520에서, 의료 영상 판독 방법은 제1 정보 생성부에 의해, 피검자 데이터 및 의료 영상 데이터를 제1 신경망 모델에 적용하여 제1 정보를 생성할 수 있다. 이때, 의료 영상 판독 방법은 피검자 데이터 및 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성할 수 있다.
단계 S530에서, 의료 영상 판독 방법은 제2 정보 생성부에 의해, 피검자 데이터, 의료 영상 데이터와 함께 제1 신경망 모델에 의해 생성된 제1 정보를 입력값으로 제2 신경망 모델에 적용하여 제2 정보를 생성할 수 있다. 의료 영상 판독 방법은 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 제1 정보, 피검자 데이터 및 의료 영상 데이터를 적용하여 질환 카테고리 내 하위 질환을 검출하고, 하위 질환과 관련된 제2 정보를 생성할 수 있다.
이때, 제2 정보를 생성하는 단계는, 제2 신경망 모델에 의해 검출된 하위 질환의 위험도를 분류할 수 있다. 제2 정보는 하위 질환의 위험도 정보를 더 포함할 수 있다.
단계 S540에서, 의료 영상 판독 방법은 제1 정보와 제2 정보를 비교할 수 있다. 의료 영상 판독 방법은 제1 정보의 이상유무에 대한 결과와 제2 정보의 이상유무에 대한 결과가 서로 다른 경우, 학습부에 의해 제1 신경망 모델 또는 제2 신경망 모델을 재학습시킬 수 있다(S550).
이때, 의료 영상 판독 방법은 제1 신경망 모델 또는 제2 신경망 모델을 재학습하여 신규 신경망 모델이 생성되면, 학습 전 기존 모델과 비교하여 변경할 것인지를 결정할 수 있다. 이를 통해, 의료 영상 판독 방법은 제1 신경망 모델 또는 제2 신경망 모델의 성능을 향상시킬 수 있다.
다시 단계 S540에서, 의료 영상 판독 방법은 제1 정보의 이상유무에 대한 결과와 제2 정보의 이상유무에 대한 결과가 일치하는 경우, 제1 신경망 모델에 입력된 입력 데이터를 제1 학습 데이터로 저장하고, 제2 신경망 모델에 입력된 입력 데이터를 제2 학습 데이터로 저장할 수 있다. 저장된 제1 학습데이터 또는 제2 학습데이터는 학습부를 통해 재학습하는 과정에서 검증용 표준 데이터셋으로 사용될 수 있다.
의료 영상 판독 방법은 상기한 과정을 통해 생성된 제1 정보와 제2 정보를 사용자 단말기 또는 입출력 인터페이스로 전달하여 사용자에게 제공할 수 있다. 사용자 단말기 또는 입출력 인터페이스는 제공된 제1 정보와 제2 정보를 가공하여, 피검자의 질환 이상 유무, 질환의 카테고리, 질환명, 위험도 정도에 대한 정보로서 사용자에게 제공할 수 있다.
전술한 바와 같이, 본 발명의 실시예들에 따른 의료 영상 판독 장치 및 의료 영상 판독 방법은 의료 영상 데이터로 학습된 신경망 모델을 통해 자동적으로 질환에 대한 판독할 수 있어, 비침습적이면서 저렴한 비용으로 질환에 대한 정보를 사용자에게 제공할 수 있다. 또한, 의료 영상 판독 장치 및 의료 영상 판독 방법은 종속 관계의 제1 신경망 모델과 제2 신경망 모델을 통해 스스로 성능을 향상시킬 수 있어 판독 효율을 증진시키는 장점을 갖게 된다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.
본 발명의 일 실시예에 의하면, 의료 영상 판독 장치 및 의료 영상 판독 방법을 제공한다. 또한, 의료 영상을 판독하여 질환 관련 정보 생성이 필요한 분야 등에 본 발명의 실시예들을 적용할 수 있다.

Claims (9)

  1. 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 데이터 획득부;
    상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상(異常, disorder) 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 제1 정보 생성부; 및
    상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 제2 정보 생성부;를 포함하는, 의료 영상 판독 장치.
  2. 제1 항에 있어서,
    상기 제2 정보 생성부는 상기 검출된 하위 질환의 위험도를 분류하고,
    상기 제2 정보는 상기 하위 질환의 위험도 정보를 더 포함하는, 의료 영상 판독 장치.
  3. 제1 항에 있어서,
    질환 카테고리 별로 하나 이상의 제2 신경망 모델을 대응시켜 저장하는 데이터 베이스를 구비하는 메모리;를 더 포함하고,
    상기 제2 정보 생성부는 상기 분류된 질환 카테고리에 복수개의 제2 신경망 모델이 대응되는 경우, 상기 질환 카테고리에 종속되는 상기 제2 신경망 모델들 중 외부 입력에 의해 선택된 어느 하나를 이용하여 상기 제2 정보를 생성하는, 의료 영상 판독 장치.
  4. 제1 항에 있어서,
    상기 의료 영상 데이터는 안저 영상 데이터를 포함하며,
    상기 제1 정보 생성부는 상기 안저 영상 데이터를 상기 제1 신경망 모델에 적용하고, 이상이 검출되면 망막 이상 카테고리, 매체 이상 카테고리 및 시신경 이상 카테고리 중 적어도 어느 하나의 질환 카테고리로 분류하여 상기 제1 정보를 생성하는, 의료 영상 판독 장치.
  5. 피검자 데이터 및 상기 피검자의 의료 영상 데이터를 획득하는 단계;
    상기 피검자 데이터 및 상기 의료 영상 데이터를 제1 신경망 모델에 적용하여 이상 유무를 검출하고, 이상이 검출되면 질환 카테고리를 분류하여 질환 카테고리 정보 및 이상유무 정보를 포함하는 제1 정보를 생성하는 단계; 및
    상기 분류된 질환 카테고리에 종속되는 제2 신경망 모델에 상기 제1 정보, 상기 피검자 데이터 및 상기 의료 영상 데이터를 적용하여 상기 질환 카테고리 내 하위 질환을 검출하고, 상기 하위 질환과 관련된 제2 정보를 생성하는 단계;를 포함하는 의료 영상 판독 방법.
  6. 제5 항에 있어서,
    상기 제2 정보를 생성하는 단계는,
    상기 검출된 하위 질환의 위험도를 분류하는 단계를 더 포함하고,
    상기 제2 정보는 상기 하위 질환의 위험도 정보를 더 포함하는, 의료 영상 판독 방법.
  7. 제5 항에 있어서,
    상기 제2 정보를 생성하는 단계는,
    상기 분류된 질환 카테고리에 복수개의 제2 신경망 모델이 종속되는 경우, 상기 질환 카테고리에 종속되는 상기 제2 신경망 모델들 중 외부 입력에 의해 선택된 어느 하나를 이용하여 상기 제2 정보를 생성하는, 의료 영상 판독 방법.
  8. 제5 항에 있어서,
    상기 의료 영상 데이터는 안저 영상 데이터를 포함하며,
    상기 제1 정보를 생성하는 단계는, 상기 안저 영상 데이터를 상기 제1 신경망 모델에 적용하고, 이상이 검출되면 망막 이상 카테고리, 매체 이상 카테고리, 시신경 이상 카테고리 및 전신질환 카테고리 중 적어도 어느 하나의 질환 카테고리로 분류하여 상기 제1 정보를 생성하는, 의료 영상 판독 방법.
  9. 제5 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/016306 2020-11-13 2021-11-10 의료 영상 판독 장치 및 의료 영상 판독 방법 WO2022103140A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0151763 2020-11-13
KR1020200151763A KR20220065927A (ko) 2020-11-13 2020-11-13 의료 영상 판독 장치 및 의료 영상 판독 방법

Publications (1)

Publication Number Publication Date
WO2022103140A1 true WO2022103140A1 (ko) 2022-05-19

Family

ID=81602556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016306 WO2022103140A1 (ko) 2020-11-13 2021-11-10 의료 영상 판독 장치 및 의료 영상 판독 방법

Country Status (2)

Country Link
KR (1) KR20220065927A (ko)
WO (1) WO2022103140A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005407A (ko) * 2018-07-06 2020-01-15 주식회사 메디웨일 안구 이미지 기반의 진단 보조 이미지 제공 장치
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
KR102103280B1 (ko) * 2019-06-20 2020-06-01 주식회사 딥노이드 딥러닝 기반의 대장 질환 보조 진단 방법
KR20200088204A (ko) * 2019-01-14 2020-07-22 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
JP2020121012A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200005407A (ko) * 2018-07-06 2020-01-15 주식회사 메디웨일 안구 이미지 기반의 진단 보조 이미지 제공 장치
KR20200088204A (ko) * 2019-01-14 2020-07-22 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
JP2020121012A (ja) * 2019-01-31 2020-08-13 キヤノン株式会社 眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法、及びプログラム
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
KR102103280B1 (ko) * 2019-06-20 2020-06-01 주식회사 딥노이드 딥러닝 기반의 대장 질환 보조 진단 방법

Also Published As

Publication number Publication date
KR20220065927A (ko) 2022-05-23

Similar Documents

Publication Publication Date Title
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
US10937540B2 (en) Medical image classification based on a generative adversarial network trained discriminator
US20200303072A1 (en) Method and system for supporting medical decision making
US11663057B2 (en) Analytics framework for selection and execution of analytics in a distributed environment
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
US11334806B2 (en) Registration, composition, and execution of analytics in a distributed environment
CN115862831B (zh) 一种智能在线预约诊疗管理系统及方法
CN112424873A (zh) 模拟患者以开发基于人工智能的医学方案
Farzaneh et al. Collaborative strategies for deploying artificial intelligence to complement physician diagnoses of acute respiratory distress syndrome
Sasi Kumar et al. DeepQ Residue Analysis of Brain Computer Classification and Prediction Using Deep CNN
Lamia et al. Detection of pneumonia infection by using deep learning on a mobile platform
WO2022103140A1 (ko) 의료 영상 판독 장치 및 의료 영상 판독 방법
CN116313058A (zh) 面瘫智能评估方法、系统、设备及存储介质
Thirukrishna et al. Survey on diagnosing CORONA VIRUS from radiography chest X-ray images using convolutional neural networks
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
CN115732074A (zh) 医用信息处理系统、医用信息处理方法以及存储介质
Wang et al. CNN based multi-instance multi-task learning for syndrome differentiation of diabetic patients
US8145664B2 (en) Disease oriented user interfaces
Mustapha et al. Dldiagnosis: A mobile and web application for diseases classification using deep learning
Dinakaran et al. A review and study on AI in health care issues
WO2022255674A1 (ko) 설명 가능한 생체 이미지 판독 지원 장치 및 방법
Kamra et al. An experimental outlook to design and measure efficacy of an artificial intelligence based medical diagnosis support system
Shetkar et al. Diabetic symptoms prediction through retinopathy
Vujjini et al. Survey on real-time tracking and treatment of infectious diseases using mixed reality in visualisation technique with autoimmune therapy
WO2024106799A1 (ko) 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892307

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/09/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21892307

Country of ref document: EP

Kind code of ref document: A1