WO2021193022A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021193022A1
WO2021193022A1 PCT/JP2021/009306 JP2021009306W WO2021193022A1 WO 2021193022 A1 WO2021193022 A1 WO 2021193022A1 JP 2021009306 W JP2021009306 W JP 2021009306W WO 2021193022 A1 WO2021193022 A1 WO 2021193022A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
information
medical
medical information
image
Prior art date
Application number
PCT/JP2021/009306
Other languages
English (en)
French (fr)
Inventor
悠介 関
雄紀 坂口
陽 井口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022509537A priority Critical patent/JPWO2021193022A1/ja
Publication of WO2021193022A1 publication Critical patent/WO2021193022A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to an information processing device, an information processing method and a program.
  • Patent Document 1 There is a search system technology that searches patient cases in the medical field.
  • a patient's examination image is input to a neural network to classify into a plurality of types of lesions, a similar case image is searched from a case database based on the classification result, and the position of a key finding of the examination image is further obtained.
  • an image search device that accepts a designated input of a finding name and searches for a similar case image based on the position of the designated key finding and the finding name.
  • Patent Document 1 it is necessary for the user to specify the position and the name of the key finding as the search key, which is not necessarily a highly convenient method for the user.
  • One aspect is to provide an information processing device or the like that can suitably search for similar cases.
  • the information processing device acquires a storage unit that stores medical information of the first patient who has been treated in association with a feature amount of the medical information, and medical information of the second patient to be treated. Search for the medical information of the first patient, which is similar to the medical information of the second patient, based on the acquisition unit, the extraction unit that extracts the characteristic amount of the medical information of the second patient, and the extracted characteristic amount. It is characterized by including a unit and an output unit that outputs the searched medical information of the first patient.
  • similar cases can be suitably searched.
  • FIG. It is explanatory drawing which shows the configuration example of the case search system. It is a block diagram which shows the configuration example of a server. It is explanatory drawing which shows an example of the record layout of a case DB. It is explanatory drawing which shows the outline of Embodiment 1.
  • FIG. It is explanatory drawing which shows the display screen example of a similar case. It is a flowchart which shows the procedure of the generation process of a learning model. It is a flowchart which shows the procedure of the search process of a similar case. It is explanatory drawing about the learning model which concerns on Embodiment 2. It is a flowchart which shows the procedure of the generation process of the learning model which concerns on Embodiment 2. It is a flowchart which shows the procedure of the search process of the similar case which concerns on Embodiment 2.
  • FIG. 1 is an explanatory diagram showing a configuration example of a case search system.
  • the case search system includes an information processing device 1 and a diagnostic imaging device 2.
  • the information processing device 1 and the diagnostic imaging device 2 are communication-connected to a network N such as a LAN (Local Area Network) or the Internet.
  • vascular treatment will be described as an example, but the target tract organ is not limited to blood vessels, and may be other luminal organs such as bile duct, pancreatic duct, bronchus, and intestine.
  • the diagnostic imaging device 2 is a device unit that acquires a medical image of a patient's luminal organ, and is, for example, an IVUS (Intravascular Ultrasound) device that performs an ultrasonic examination using a catheter 21.
  • the diagnostic imaging device 2 includes a catheter 21, an image processing device 22, and a display device 23.
  • the catheter 21 is a medical device inserted into a blood vessel of a subject, and includes a piezoelectric element that transmits ultrasonic waves and receives reflected waves from the blood vessels.
  • the diagnostic imaging apparatus 2 generates a tomographic image (medical image) in the blood vessel based on the signal of the reflected wave received by the catheter 21.
  • the image processing device 22 is a processing device that processes the reflected wave data received by the catheter 21 to generate a tomographic image. In addition to displaying the generated tomographic image on the display device 23, various set values at the time of inspection are performed. It is equipped with an input interface for accepting the input of.
  • an IVUS device is taken as an example of the diagnostic imaging device 2, and an ultrasonic tomographic image is generated as a medical image.
  • the diagnostic imaging device 2 generates an optical coherence tomographic image (OCT image).
  • OCT image optical coherence tomographic image
  • the diagnostic imaging apparatus 2 is not limited to the IVUS apparatus, and may be, for example, an angiography apparatus, a CT (Computed Tomography) apparatus, an MRI (Magnetic resonance imaging) apparatus, or the like. That is, medical images are not limited to ultrasonic tomographic images, but include optical interference tomographic images, X-ray fluoroscopic images (angiography images, CT (Computed Tomography) images, etc.), magnetic resonance (MRI) images, and the like. obtain.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, such as a server computer and a personal computer.
  • the information processing device 1 is a server computer, and in the following, it will be read as server 1 for the sake of brevity.
  • the server 1 may be a local server installed in the same facility (hospital or the like) as the diagnostic imaging device 2, or may be a cloud server communication-connected to the diagnostic imaging device 2 via the Internet or the like.
  • the server 1 functions as a search device for searching medical information of the first patient similar to the medical information of the second patient to be treated by the diagnostic imaging device 2, and outputs the search result to the diagnostic imaging device 2.
  • the server 1 performs machine learning in advance to learn predetermined training data, inputs medical information including medical images, and outputs support information for patient treatment support.
  • a model 50 is prepared (see FIG. 4).
  • the support information is information for supporting vascular treatment such as catheter surgery (for example, PCI (Percutaneous Coronary Intervention; percutaneous coronary intervention)), for example, a lesion (plaque, etc.) in a blood vessel shown in a medical image. This is the detection result shown.
  • the server 1 inputs the medical information of the second patient into the learning model 50, extracts the feature amount of the medical care information, and detects the lesion portion in the blood vessel of the second patient based on the extracted feature amount.
  • the server 1 searches the database for the medical information of the first patient, which is similar to the medical information of the second patient, as a similar case, based on the feature amount extracted by the learning model 50.
  • the server 1 outputs the searched medical information of the first patient to the diagnostic imaging apparatus 2, and presents it to the user (medical worker).
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 14 stores the learning model 50 and the case DB 141.
  • the learning model 50 is a machine learning model in which training data has been learned as described above, and is a model in which medical information is input and support information for treatment support is output.
  • the learning model 50 is expected to be used as a program module constituting artificial intelligence software.
  • the case DB 141 is a database for storing patient cases, and stores the medical information of the first patient in association with the feature amount of the medical information.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 is provided with a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory, and reads a program P from the portable storage medium 1a. You may try to execute it. Alternatively, the server 1 may read the program P from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk), a DVD (DigitalVersatileDisc), or a USB (UniversalSerialBus) memory
  • FIG. 3 is an explanatory diagram showing an example of the record layout of the case DB 141.
  • the case DB 141 includes a case ID sequence, a patient information sequence, a treatment information sequence, an examination information sequence, an image information sequence, and a feature quantity sequence.
  • the case ID string stores the case ID for identifying the medical information of each first patient which is a case.
  • the patient information string, the treatment information column, the test information column, the image information column, and the feature quantity column are associated with the case ID, respectively, and the features of the patient information, the treatment information, the test information, the medical image, and the medical care information of the first patient. I remember the amount.
  • Patient information is basic information about the first patient who has undergone treatment, and is a medical record of the first patient.
  • Patient information includes, for example, the patient's age, gender, diagnosis name, risk factors (presence or absence of lifestyle-related diseases, etc.), medical history, drug history, and the like.
  • the treatment information is information indicating the treatment content performed on the first patient, and is a record of vascular treatment such as PCI.
  • the treatment information includes, for example, the treatment date, the position of the treated lesion (hereinafter referred to as "lesion site"), the properties of the lesion, the puncture site of the catheter 21, the dose of the contrast agent, and the fluoroscopic image.
  • Imaging time, presence / absence and content of additional procedure before stent placement, presence / absence and content of additional procedure after stent placement, name, diameter, length, total number, total stent length, maximum expansion diameter of balloon, maximum expansion Includes pressure, treatment of bifurcation lesions, and post-treatment course information (eg, presence or absence of complications).
  • the diameter of the stent is expressed by the diameter, but it may be a radius.
  • the examination information is the examination record of the first patient other than the diagnostic imaging.
  • the test information includes, for example, blood test results, the number of affected branches of blood vessels, the ejection fraction of the left ventricle, and the history of sudden changes related to cardiovascular diseases (myocardial infarction, etc.).
  • the medical image is an image of a patient's blood vessel, and as described above, an intravascular tomographic image (ultrasonic tomographic image, optical interference tomographic image), an X-ray fluoroscopic image (angiography image), a CT image, an MRI image, etc. including.
  • an intravascular tomographic image (ultrasonic tomographic image) acquired by the diagnostic imaging apparatus 2 will be mainly described as an example of a medical image.
  • FIG. 4 is an explanatory diagram showing an outline of the first embodiment.
  • FIG. 4 conceptually illustrates how the learning model 50 is used to search for medical information of the first patient that is similar to the medical information of the second patient. An outline of the present embodiment will be described with reference to FIG.
  • the learning model 50 is a machine learning model that inputs the patient's medical information and outputs the support information for supporting the patient's vascular treatment.
  • the learning model 50 is a neural network model generated by deep learning, and is a CNN (Convolutional Neural Network) that extracts features of input data in a large number of convolutional layers.
  • the learning model 50 includes an intermediate layer (hidden layer) in which a convolution layer for convolving the input data and a pooling layer for mapping the convoluted data are alternately connected, and the feature amount of the input data is extracted.
  • the learning model 50 is described as being a CNN, but for example, another neural network model such as RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), SVM (Support Vector Machine), or the like. It may be a model based on other learning algorithms such as a decision tree.
  • RNN Recurrent Neural Network
  • GAN Geneative Adversarial Network
  • SVM Serial Vector Machine
  • the server 1 generates a learning model 50 that detects a lesion in the medical image when the input of the medical image (tomographic image), which is one of the medical information, is received.
  • the server 1 generates a semantic segmentation model (U-net or the like) or a Faster R-CNN (Region CNN) as the learning model 50.
  • Semantic segmentation is a type of CNN, and is a type of EncoderDecoder model that generates output data from input data.
  • the semantic segmentation model includes a deconvolution layer that maps (enlarges) the features obtained by compression to the original image size, in addition to the convolution layer that compresses the data of the input image.
  • a label image that identifies which object exists in which position in the image on a pixel-by-pixel basis based on the feature amount extracted by the convolution layer, and binarizes which object each pixel corresponds to. To generate.
  • Faster R-CNN is a CNN mainly used for object detection, and includes an RPN (Region Proposal Network) that estimates an image region in which an object can exist, in addition to an intermediate layer that extracts features of an input image.
  • RPN Registered Proposal Network
  • the feature amount extracted from the image and the coordinate range of the image area estimated by RPN are input to the output layer, and finally the object in the input image is detected.
  • the server 1 generates these models as a learning model 50 and uses them for detecting lesions. It should be noted that all of the above models are examples, and the learning model 50 may be able to identify the position and type of the lesion in the medical image. In the present embodiment, as an example, the learning model 50 will be described as a semantic segmentation model.
  • the lesion portion included in the medical image is conceptually shown by hatching on the right side of the learning model 50.
  • the learning model 50 receives an input of an intravascular tomographic image (medical image) acquired by the diagnostic imaging apparatus 2 and detects an image region corresponding to a lesion such as a plaque.
  • the plaque is an example of a lesion, and for example, calcified tissue, dissection of the blood vessel wall (flap), neointima, and other parts may be detected.
  • the server 1 learns from the medical image for training by using the training data in which the image area corresponding to the lesion is labeled. Specifically, in the training data, labels (metadata) indicating the coordinate range corresponding to the lesion and the type of the lesion are attached to the medical image for training.
  • the training data is not limited to the data of the first patient stored in the case DB 141, and may be the data of other patients. Further, the training data is not limited to the actual patient data, and may be virtual data inflated by using a data generation means such as GAN.
  • the server 1 inputs a tomographic image for training into the learning model 50, and acquires the detection result of detecting the lesion as an output. Specifically, a label image in which a value indicating the type of the lesion is labeled for each pixel in the image region corresponding to the lesion is acquired as an output.
  • the server 1 compares the detection result output from the learning model 50 with the coordinate range of the correct image area indicated by the training data and the type of lesion, and parameters such as weights between neurons so that both can be approximated. Optimize. As a result, the server 1 generates the learning model 50.
  • the server 1 may use text data such as patient information and examination information for inputting the learning model 50 in addition to the medical image.
  • the server 1 converts the text data by means such as One-hot encoding and inputs it to the learning model 50 as a category variable representing the category of the medical image.
  • the lesion can be detected by using medical information other than the image.
  • the configuration in which text data such as patient information and examination information is included in the input of the learning model 50 is not essential, and the medical information input to the learning model 50 may be only medical images.
  • the learning model 50 may be a model that predicts a correct treatment method (for example, the length of a stent to be used for vascular treatment, a diameter, an expansion diameter by a balloon, etc.) by inputting medical information.
  • the learning model 50 may be a model that predicts post-treatment progress information (for example, the probability of occurrence of complications) by inputting medical information.
  • the learning model 50 may be a model that inputs medical information and outputs support information for treatment support, and the content of the support information is not particularly limited.
  • the server 1 extracts the feature amount of the medical information of the second patient by using the learning model 50 described above, and uses it for searching the medical information of the first patient. Specifically, the server 1 uses the feature amount of the tomographic image in which the lesion is detected among the plurality of tomographic images of the blood vessels of the second patient to search the medical information of the first patient.
  • the server 1 acquires an intravascular tomographic image of the second patient from the diagnostic imaging apparatus 2 when the treatment of the second patient is performed. Specifically, the server 1 acquires a moving image including a plurality of frame images taken along the longitudinal direction of the blood vessel from the diagnostic imaging apparatus 2 according to the scanning of the catheter 21. The server 1 sequentially inputs the tomographic images corresponding to each frame into the learning model 50 and detects the lesion portion.
  • the timing of performing the series of processes is not limited to the time of performing the treatment, and the recorded moving image may be input to the learning model 50 after the fact to detect the lesion.
  • the server 1 specifies the feature amount extracted from the tomographic image in which the lesion is detected as the feature amount of the medical information of the second patient.
  • the server 1 searches for the medical information of the first patient, which is similar to the medical information of the second patient, based on the identified feature amount and the feature amount of the medical information of each first patient stored in the case DB 141.
  • the server 1 calculates the similarity based on the features of both, and performs a search according to the calculated similarity.
  • the method of calculating the similarity is not particularly limited, but for example, the server 1 calculates the cosine similarity of the feature amount represented by the vector.
  • the server 1 determines whether or not the similarity is equal to or higher than a predetermined threshold value, and searches for medical information of the first patient determined to be equal to or higher than the threshold value as a similar case.
  • the server 1 determines a search order for the medical information of each first patient according to the degree of similarity, and outputs the medical information of each first patient to the display device 23 according to the search order.
  • the server 1 changes the search order according to the progress information of the first patient after the treatment included in the medical information.
  • the progress information is data indicating the state of the patient after treatment, for example, data indicating the presence or absence of complications.
  • the server 1 lowers the search order when complications occur in the searched first patient.
  • the search order may be changed by referring not only to the presence or absence of complications but also to the type of complications that have occurred.
  • the server 1 may not change the search order even if a complication has occurred, and may only clearly indicate that the complication has occurred on the display screen described later. This makes it possible for the user to determine whether or not to refer to the medical information of the first patient searched as a similar case.
  • FIG. 5 is an explanatory diagram showing an example of a display screen of a similar case.
  • FIG. 5 illustrates a screen example of displaying medical information of the first patient searched as a similar case.
  • the display device 23 displays the subject image 501, the case image 502, the case information column 503, the similar case list 504, the performer designation column 505, and the tabulation column 506.
  • the subject image 501 is a medical image of the second patient, and is an ultrasonic tomographic image of the patient who is currently undergoing ultrasonic examination.
  • the case image 502 is a medical image of the first patient searched as a similar case, and is an ultrasonic tomographic image of the blood vessel of the first patient determined to be similar to the tomographic image of the second patient.
  • the case information column 503 is medical information of the first patient other than the medical image displayed as the case image 502, and is a display column for displaying text data such as patient information, examination information, and treatment information.
  • the treatment information includes post-treatment progress information (for example, complications) of the first patient in addition to the surgical record when the first patient is treated.
  • the server 1 reads out the medical image of the first patient, the patient information, and the like from the case DB 141, and displays them on the display device 23.
  • the similar case list 504 is a display column showing the search results of similar cases in a list, and shows a summary of medical information of each first patient searched as similar cases and the degree of similarity with the medical information of each first patient. This is a display field to be displayed.
  • the display device 23 displays a thumbnail image obtained by reducing the medical image of each first patient and the similarity according to the search order.
  • the display device 23 accepts a selection input for selecting one of the thumbnail images from the similar case list 504.
  • the display device 23 displays the medical image of the first patient corresponding to the selected case as the case image 502, and displays the patient information and the like of the first patient in the case information column 503.
  • the display device 23 may change the display according to the progress information (presence or absence of complications). For example, when a complication has occurred in the first patient, the display device 23 displays a predetermined icon indicating the occurrence of the complication in association with the thumbnail image. Thereby, the convenience of the user can be improved.
  • the practitioner designation field 505 is an input field for inputting search conditions for similar cases, and is an input field for accepting designated input of the treatment practitioner (for example, a doctor) of the first patient to be searched.
  • the display device 23 accepts the designated input of the name of the practitioner in the practitioner designation field 505.
  • the server 1 narrows down the search to the case of the designated practitioner, that is, the medical information of the first patient treated by the practitioner.
  • the practitioner can be specified as a search condition, but other than the treatment practitioner, for example, the patient's age, diagnosis name, medical history, etc. may be specified as a search condition.
  • the aggregation column 506 is a display column that displays the aggregation result of aggregating predetermined information items for the medical information of a plurality of first patients searched as similar cases.
  • the aggregation item is not particularly limited, but for example, the server 1 aggregates the treatment methods of a plurality of first patients searched for as similar cases, and outputs the aggregation result to the display device 23. Specifically, the server 1 totals the number of cases according to the treatment method, which method such as catheter surgery, bypass surgery, or drug therapy is used, and displays the total result.
  • FIG. 6 is a flowchart showing the procedure of the generation process of the learning model 50. Based on FIG. 6, the processing content when the learning model 50 is generated from the training data will be described.
  • the control unit 11 of the server 1 acquires training data to which the correct answer value of the support information is added to the medical information for training (step S11). For example, the control unit 11 acquires training data in which an image region corresponding to a lesion portion in the medical image and label data indicating the type of the lesion portion are added to the medical image for training.
  • the learning model 50 may be generated by including text data such as patient information in the training input data and outputting the support information by inputting the medical image and the text data.
  • the control unit 11 Based on the training data, the control unit 11 generates a learning model 50 that outputs support information for patient treatment support when medical information is input (step S12). Specifically, as described above, the control unit 11 generates a neural network such as a CNN as a learning model 50. The control unit 11 inputs the medical image for training into the learning model 50, and acquires the detection result of the lesion portion in the medical image as an output. The control unit 11 compares the detection result of the lesion portion with the label data of the correct answer, optimizes parameters such as weights between neurons so that the two approximate each other, and generates a learning model 50. The control unit 11 ends a series of processes.
  • a neural network such as a CNN as a learning model 50.
  • the control unit 11 inputs the medical image for training into the learning model 50, and acquires the detection result of the lesion portion in the medical image as an output.
  • the control unit 11 compares the detection result of the lesion portion with the label data of the correct answer, optimizes parameters such as weights between
  • FIG. 7 is a flowchart showing the procedure of the search process for similar cases. Based on FIG. 7, the processing content when searching the medical information of the first patient, which is a similar case, will be described.
  • the control unit 11 of the server 1 accepts the designated input of the practitioner who has performed the treatment of the first patient with respect to the medical information of the first patient to be searched (step S31). If the practitioner is not specified, the control unit 11 skips step S31.
  • the control unit 11 acquires medical information of the second patient to be treated (step S32).
  • the medical information may include text data such as patient information and examination information in addition to the medical image acquired from the diagnostic imaging apparatus 2.
  • the control unit 11 inputs the acquired medical information of the second patient into the learning model 50, extracts the feature amount, and outputs the support information based on the extracted feature amount (step S33). Specifically, the control unit 11 sequentially inputs a plurality of tomographic images continuously imaged along the longitudinal direction of the blood vessel into the learning model 50, and detects the lesion portion from each tomographic image.
  • the control unit 11 resembles the medical information of the first patient and the second patient based on the feature amount of the tomographic image in which the lesion is detected and the feature amount of the medical information of each first patient stored in the case DB 141.
  • the degree is calculated (step S34).
  • the control unit 11 searches for medical information of the first patient that is similar to the medical information of the second patient based on the calculated similarity (step S35).
  • the control unit 11 narrows down the search to the first patient who has been treated by the designated practitioner.
  • the control unit 11 changes the search order of the searched medical information of the first patient according to the progress information of the first patient after the treatment is performed (step S36). For example, if the first patient has complications after the treatment, the control unit 11 lowers the search order of the first patient.
  • control unit 11 aggregates the medical information of the plurality of searched first patients (step S37). For example, the control unit 11 totals the number of cases of each of catheter surgery, bypass surgery, and drug therapy for the treatment method of the first patient.
  • the control unit 11 outputs the medical information of the first patient searched from the case DB 141 to the diagnostic imaging apparatus 2 (step S38), and ends a series of processes.
  • the user can preferably grasp similar cases by presenting the degree of similarity together with the medical information of the first patient.
  • the treatment record of the first patient is presented by presenting not only the record at the time of treatment of the first patient but also the progress information after the treatment as the medical information of the first patient. Can be judged as valid.
  • the medical information of each first patient can be presented in a more appropriate order by changing the search order of the medical information of the first patient according to the progress information.
  • the feature amount of the medical information of the second patient can be suitably extracted by using the learning model 50 that outputs the support information by inputting the medical information.
  • the model for detecting the lesion as the learning model 50, it is possible to detect the lesion of the second patient and at the same time search for similar cases.
  • the first embodiment it is possible to enhance the convenience of the user by providing a function of designating the practitioner and aggregating the treatment method (medical information).
  • FIG. 8 is an explanatory diagram of the learning model 50 according to the second embodiment.
  • FIG. 8 illustrates a so-called multimodal model including a network for extracting feature amounts of image data (first extractor 51) and a network for extracting feature amounts of text data (second extractor 52). There is. An outline of the present embodiment will be described with reference to FIG.
  • the learning model 50 includes a first extractor 51, a second extractor 52, and a detector 53.
  • the first extractor 51 is an extractor that extracts a feature amount of image data, and is, for example, a network related to CNN.
  • the second extractor 52 is an extractor that extracts features of text data such as patient information and examination information, and is, for example, a network related to RNN.
  • the first extractor 51 accepts the input of the medical image of the patient and extracts the feature amount of the medical image.
  • the second extractor 52 accepts the input of text data such as patient information and extracts the feature amount of the text data.
  • the detector 53 is a network that detects a lesion by inputting the feature amounts extracted by the first extractor 51 and the second extractor 52, respectively.
  • the detector 53 has a binding layer that binds the features of the medical image and the text data, and a decoder (deconvolution layer) that generates a label image in which the image region corresponding to the lesion is labeled based on the bound features. And.
  • the detector 53 combines the feature amounts of the medical image and the text data and inputs them to the decoder, and outputs a label image which is the detection result of the lesion portion.
  • the server 1 searches the case DB 141 for medical information of the first patient, which is a similar case, based on the feature amounts extracted by the first extractor 51 and the second extractor 52 at the time of detection. ..
  • the server 1 individually calculates the similarity based on the features of the medical image and the text data. That is, the server 1 calculates the similarity of the medical image based on the feature amount of the medical image of the first patient and the feature amount of the medical image of the second patient, and also calculates the text data of the first patient (patient information, etc.). ) And the feature amount of the text data of the second patient, the similarity of the text data is calculated.
  • the server 1 calculates the total similarity for comprehensively evaluating the similarity between the first patient and the second patient from the similarity of each of the medical image and the text data. For example, the server 1 calculates the total similarity by calculating the total value of the similarity of the medical image and the text data.
  • the server 1 may use the average value of the two as the total similarity. Further, for example, since the server 1 attaches importance to one data (for example, a medical image), the similarity of one may be weighted to calculate the total similarity.
  • the server 1 determines whether or not the calculated total similarity is equal to or higher than the threshold value, and searches for the medical information of the first patient determined to be equal to or higher than the threshold value as a similar case. Then, the server 1 outputs the searched medical information of the first patient to the display device 23. In this case, the server 1 may display not only the total similarity but also the similarity of the medical image and the text data on the display device 23. This allows the user to know whether the images are similar or the text data is similar.
  • FIG. 9 is a flowchart showing a procedure for generating the learning model 50 according to the second embodiment.
  • the server 1 executes the following processing.
  • the control unit 11 of the server 1 generates the learning model 50 based on the training data (step S201).
  • a multimodal model for extracting features for each of the medical image and the text data is generated.
  • the control unit 11 inputs the medical image for training to the first extractor 51 to extract the feature amount, and inputs the text data for training to the second extractor 52 to extract the feature amount, and both of them.
  • the feature amount is input to the detector 53 to detect the lesion.
  • the control unit 11 compares the detection result of the lesion portion with the label data of the correct answer, optimizes parameters such as weights between neurons so that the two approximate each other, and generates a learning model 50.
  • the control unit 11 ends a series of processes.
  • FIG. 10 is a flowchart showing the procedure of the search process for similar cases according to the second embodiment.
  • the server 1 executes the following processing.
  • the control unit 11 of the server 1 inputs the medical image included in the medical information of the second patient to the first extractor 51 and the text data other than the medical image into the second extractor 52, and inputs the medical image and the text data to the second extractor 52, respectively.
  • the feature amount of the above is extracted to detect the lesion (step S221). Specifically, as described above, the control unit 11 inputs the feature amounts of both to the detector 53, synthesizes the feature amounts, and detects the lesion portion based on the combined feature amount.
  • the control unit 11 sets each first based on the feature amount of the medical image extracted by the first extractor 51 and the feature amount of the text data extracted by the second extractor 52.
  • the degree of similarity with the patient's medical information is calculated (step S222). Specifically, the control unit 11 calculates the similarity between the first patient and the second patient for each of the medical image and the text data, and takes the total value of the similarity of each of the medical image and the text data. Calculate the similarity.
  • the control unit 11 searches the medical information of the first patient from the case DB 141 based on the calculated similarity (step S223), and shifts the process to step S36.
  • a multimodal model is given as an example of the learning model 50.
  • a model that outputs support information from a medical image and a model that outputs support information from text data are independently prepared, and each model is prepared. It may be used to extract the feature amounts of the medical image and the text data, respectively. That is, the learning model 50 is not limited to a single model, and may be a plurality of models.
  • the server 1 inputs an X-ray fluoroscopic image in addition to the ultrasonic tomographic image into the learning model 50, and extracts a feature amount from each image.
  • an extractor for extracting the feature amount of the ultrasonic tomographic image and an extractor for extracting the feature amount of the X-ray fluoroscopic image may be separately prepared in the learning model 50 and connected in parallel to the detector 53. .. As described above, a plurality of types of medical images to be input to the learning model 50 may be used.
  • the similarity of the medical image and the text data can be evaluated individually. Similar cases can be preferably searched.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

情報処理装置（１）は、治療を実施済みの第１患者の診療情報を、該診療情報の特徴量と対応付けて記憶する記憶部と、治療対象の第２患者の診療情報を取得する取得部と、前記第２患者の診療情報の特徴量を抽出する抽出部と、抽出した特徴量に基づき、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索する検索部と、検索された前記第１患者の診療情報を出力する出力部とを備えることを特徴とする。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　医療分野において患者の症例を検索する検索システムの技術がある。例えば特許文献１では、患者の検査画像をニューラルネットワークに入力して複数種類の病変に分類し、分類結果に基づいて症例データベースから類似症例画像を検索して、さらに、検査画像のキー所見の位置及び所見名の指定入力を受け付け、指定されたキー所見の位置及び所見名に基づく類似症例画像の検索を行う画像検索装置等が開示されている。
特開２０１９－８２８８１号公報
　しかしながら、特許文献１に係る発明では、検索キーとなるキー所見の位置及び所見名をユーザが指定する必要があり、必ずしもユーザにとって利便性の高い方法ではない。
　一つの側面では、類似症例を好適に検索することができる情報処理装置等を提供することを目的とする。
　一つの側面に係る情報処理装置は、治療を実施済みの第１患者の診療情報を、該診療情報の特徴量と対応付けて記憶する記憶部と、治療対象の第２患者の診療情報を取得する取得部と、前記第２患者の診療情報の特徴量を抽出する抽出部と、抽出した特徴量に基づき、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索する検索部と、検索された前記第１患者の診療情報を出力する出力部とを備えることを特徴とする。
　一つの側面では、類似症例を好適に検索することができる。
症例検索システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 症例ＤＢのレコードレイアウトの一例を示す説明図である。 実施の形態１の概要を示す説明図である。 類似症例の表示画面例を示す説明図である。 学習モデルの生成処理の手順を示すフローチャートである。 類似症例の検索処理の手順を示すフローチャートである。 実施の形態２に係る学習モデルに関する説明図である。 実施の形態２に係る学習モデルの生成処理の手順を示すフローチャートである。 実施の形態２に係る類似症例の検索処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、症例検索システムの構成例を示す説明図である。本実施の形態では、血管治療を実施済みの第１患者の診療情報を記憶するデータベースから、新たに血管治療を実施する第２患者の診療情報と類似する第１患者の診療情報を検索する症例検索システムについて説明する。症例検索システムは、情報処理装置１、画像診断装置２を有する。情報処理装置１及び画像診断装置２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮに通信接続されている。
　なお、本実施の形態では血管治療を一例に説明するが、対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などの他の管腔器官であってもよい。
　画像診断装置２は、患者の管腔器官をイメージングした医用画像を取得する装置ユニットであり、例えばカテーテル２１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。画像診断装置２は、カテーテル２１、画像処理装置２２、表示装置２３を備える。カテーテル２１は被検者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信する圧電素子を備える。画像診断装置２は、カテーテル２１で受信した反射波の信号に基づいて血管内の断層像（医用画像）を生成する。画像処理装置２２は、カテーテル２１で受信した反射波のデータを処理して断層像を生成する処理装置であり、生成した断層像を表示装置２３に表示させるほか、検査を行う際の各種設定値の入力を受け付けるための入力インターフェイスなどを備える。
　なお、本実施の形態では画像診断装置２の一例としてＩＶＵＳ装置を挙げ、医用画像として超音波断層像を生成するものとするが、画像診断装置２では光干渉断層像（ＯＣＴ画像）を生成してもよい。画像診断装置２はＩＶＵＳ装置に限定されず、例えばアンギオグラフィ装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic resonance imaging）装置などであってもよい。すなわち、医用画像は超音波断層像に限定されず、光干渉断層像、Ｘ線透視画像（アンギオグラフィ画像、ＣＴ（Computed Tomography）画像など）、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などを含み得る。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断装置２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２に通信接続されたクラウドサーバであってもよい。サーバ１は、画像診断装置２による治療対象となる第２患者の診療情報と類似する第１患者の診療情報を検索する検索装置として機能し、検索結果を画像診断装置２に出力する。
　具体的には後述のように、サーバ１は、所定の訓練データを学習する機械学習を事前に行い、医用画像を含む診療情報を入力として、患者の治療支援のための支援情報を出力する学習モデル５０を用意してある（図４参照）。支援情報は、カテーテル手術（例えばＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術））等の血管治療を支援するための情報であり、例えば医用画像に映る血管内の病変部（プラーク等）を示す検出結果である。サーバ１は、学習モデル５０に第２患者の診療情報を入力して、当該診療情報の特徴量を抽出し、抽出した特徴量に基づいて第２患者の血管内の病変部を検出する。
　本実施の形態でサーバ１は、学習モデル５０で抽出した特徴量に基づき、第２患者の診療情報と類似する第１患者の診療情報を類似症例としてデータベースから検索する。サーバ１は、検索した第１患者の診療情報を画像診断装置２に出力し、ユーザ（医療従事者）に提示する。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、学習モデル５０、症例ＤＢ１４１を記憶している。学習モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、診療情報を入力として、治療支援のための支援情報を出力するモデルである。学習モデル５０は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。症例ＤＢ１４１は、患者の症例を格納するデータベースであり、第１患者の診療情報を、当該診療情報の特徴量と対応付けて記憶している。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。
　図３は、症例ＤＢ１４１のレコードレイアウトの一例を示す説明図である。症例ＤＢ１４１は、症例ＩＤ列、患者情報列、治療情報列、検査情報列、画像情報列、特徴量列を含む。症例ＩＤ列は、症例である各第１患者の診療情報を識別するための症例ＩＤを記憶している。患者情報列、治療情報列、検査情報列、画像情報列、特徴量列はそれぞれ、症例ＩＤと対応付けて、第１患者の患者情報、治療情報、検査情報、医用画像、及び診療情報の特徴量を記憶している。
　患者情報は、治療を実施した第１患者に関する基本情報であり、第１患者の診療記録である。患者情報は、例えば患者の年齢、性別、診断名、危険因子（生活習慣病の有無等）、既往歴、薬歴などを含む。
　治療情報は、第１患者に実施した治療内容を示す情報であり、ＰＣＩ等の血管治療の記録である。治療情報は、例えば治療実施日、治療した病変部の位置（以下、「病変部位」と呼ぶ）、病変部の性状、カテーテル２１の穿刺部位などのほかに、造影剤の投与量、透視画像の撮影時間、ステント留置前の追加手技の有無及び内容、ステント留置後の追加手技の有無及び内容、留置したステントの名称、直径、長さ、総数、総ステント長、バルーンの最大拡張径、最大拡張圧、分岐部病変の治療法、治療後の経過情報（例えば合併症発症の有無）を含む。なお、本実施の形態ではステントの径を直径で表現するが、半径であってもよい。
　検査情報は、画像診断以外の第１患者の検査記録である。検査情報は、例えば血液検査結果、血管の罹患枝数、左室駆出率、心血管に関連する急変事態（心筋梗塞等）の発生歴などを含む。
　医用画像は、患者の血管をイメージングした画像であり、上述の如く、血管内断層像（超音波断層像、光干渉断層像）、Ｘ線透視画像（アンギオグラフィ画像）、ＣＴ画像、ＭＲＩ画像などを含む。本実施の形態では主に、画像診断装置２で取得した血管内断層像（超音波断層像）を医用画像の一例に挙げて説明を行う。
　図４は、実施の形態１の概要を示す説明図である。図４では、学習モデル５０を用いて、第２患者の診療情報と類似する第１患者の診療情報を検索する様子を概念的に図示している。図４に基づき、本実施の形態の概要を説明する。
　学習モデル５０は、患者の診療情報を入力として、患者の血管治療を支援するための支援情報を出力する機械学習モデルである。例えば学習モデル５０は、深層学習によって生成されるニューラルネットワークモデルであり、多数の畳み込み層で入力データの特徴量を抽出するＣＮＮ（Convolutional Neural Network）である。学習モデル５０は、入力データを畳み込む畳み込み層と、畳み込んだデータをマッピングするプーリング層とが交互に連結された中間層（隠れ層）を備え、入力データの特徴量を抽出する。
　なお、本実施の形態では学習モデル５０がＣＮＮであるものとして説明するが、例えばＲＮＮ（Recurrent Neural Network）等の他のニューラルネットワークモデル、あるいはＧＡＮ（Generative Adversarial Network）、ＳＶＭ（Support Vector Machine）、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。
　本実施の形態でサーバ１は、診療情報の一つである医用画像（断層像）の入力を受け付けた場合に、医用画像内の病変部を検出する学習モデル５０を生成する。例えばサーバ１は、学習モデル５０として、セマンティックセグメンテーションモデル（Ｕ－ｎｅｔ等）、あるいはＦａｓｔｅｒ　Ｒ－ＣＮＮ（Region CNN）などを生成する。
　セマンティックセグメンテーションはＣＮＮの一種であり、入力データから出力データを生成するＥｎｃｏｄｅｒＤｅｃｏｄｅｒモデルの一種である。セマンティックセグメンテーションモデルは、入力画像のデータを圧縮する畳み込み層以外に、圧縮して得た特徴量を元の画像サイズにマッピング（拡大）する逆畳み込み層（Deconvolution Layer）を備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを画素単位で識別し、各画素がどの物体に対応するかを二値化したラベル画像を生成する。
　Ｆａｓｔｅｒ　Ｒ－ＣＮＮは主に物体検出に用いられるＣＮＮであり、入力画像の特徴量を抽出する中間層以外に、物体が存在し得る画像領域を推定するＲＰＮ（Region Proposal Network）を備える。Ｆａｓｔｅｒ　Ｒ－ＣＮＮでは、画像から抽出した特徴量と、ＲＰＮで推定した画像領域の座標範囲とを出力層に入力し、最終的に入力画像内の物体を検出する。
　サーバ１は、これらのモデルを学習モデル５０として生成し、病変部の検出に用いる。なお、上記のモデルはいずれも例示であって、学習モデル５０は、医用画像内の病変部の位置や種類を識別可能であればよい。本実施の形態では一例として、学習モデル５０がセマンティックセグメンテーションモデルであるものとして説明する。
　図４では学習モデル５０の右側に、医用画像に含まれる病変部をハッチングで概念的に図示している。学習モデル５０は、画像診断装置２で取得した血管内断層像（医用画像）の入力を受け付け、プラーク等の病変部に対応する画像領域を検出する。なお、プラークは病変部の一例であり、例えば石灰化した組織、血管壁の解離（フラップ）、新生内膜（Neointima）、その他の部分を検出してもよい。
　サーバ１は、訓練用の医用画像に対し、病変部に対応する画像領域がラベリングされた訓練データを用いて学習を行う。具体的には、訓練データでは、訓練用の医用画像に対し、病変部に対応する座標範囲と、病変部の種類とを表すラベル（メタデータ）が付与されている。
　なお、訓練データは症例ＤＢ１４１に記憶されている第１患者のデータに限定されず、その他の患者のデータであってもよい。また、訓練データは実際の患者のデータに限定されず、例えばＧＡＮ等のデータ生成手段を用いて水増しされた仮想のデータであってもよい。
　サーバ１は、訓練用の断層像を学習モデル５０に入力して、病変部を検出した検出結果を出力として取得する。具体的には、病変部に対応する画像領域の各画素に対し、病変部の種類を示す値がラベリングされたラベル画像を出力として取得する。
　サーバ１は、学習モデル５０から出力された検出結果を、訓練データが示す正解の画像領域の座標範囲、及び病変部の種類と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これにより、サーバ１は学習モデル５０を生成する。
　なお、サーバ１は医用画像以外に、患者情報、検査情報等のテキストデータを学習モデル５０の入力に用いてもよい。この場合、例えばサーバ１は、テキストデータをＯｎｅ－ｈｏｔ　ｅｎｃｏｄｉｎｇ等の手段で変換し、医用画像のカテゴリを表すカテゴリ変数として学習モデル５０に入力する。これにより、画像以外の診療情報も用いて病変部の検出を行うことができる。
　なお、学習モデル５０の入力に患者情報、検査情報等のテキストデータを含める構成は必須ではなく、学習モデル５０に入力する診療情報は医用画像のみであってもよい。
　また、上記では学習モデル５０において病変部の検出を行うものとして説明を行ったが、本実施の形態はこれに限定されるものではない。例えば学習モデル５０は、診療情報を入力として、正しい治療方法（例えば血管治療に使用すべきステントの長さ、直径やバルーンによる拡張径など）を予測するモデルであってもよい。あるいは学習モデル５０は、診療情報を入力として、治療後の経過情報（例えば合併症の発生確率）を予測するモデルであってもよい。このように、学習モデル５０は、診療情報を入力として、治療支援のための支援情報を出力するモデルであればよく、支援情報の内容は特に限定されない。
　本実施の形態でサーバ１は、上述の学習モデル５０を利用して第２患者の診療情報の特徴量を抽出し、第１患者の診療情報の検索に用いる。具体的には、サーバ１は、第２患者の血管内をイメージングした複数の断層像のうち、病変部が検出された断層像の特徴量を第１患者の診療情報の検索に用いる。
　例えばサーバ１は、第２患者の治療実施時に、第２患者の血管内断層像を画像診断装置２から取得する。具体的には、サーバ１は、カテーテル２１の走査に従い、血管の長手方向に沿って撮影された複数のフレーム画像から成る動画像を画像診断装置２から取得する。サーバ１は、各フレームに対応する断層像を学習モデル５０に順次入力し、病変部の検出を行う。
　なお、一連の処理を行うタイミングは治療実施時に限定されず、録画された動画像を事後的に学習モデル５０に入力して病変部の検出を行ってもよい。
　断層像から病変部が検出された場合、サーバ１は、病変部が検出された断層像から抽出した特徴量を、第２患者の診療情報の特徴量として特定する。サーバ１は、特定した特徴量と、症例ＤＢ１４１に記憶されている各第１患者の診療情報の特徴量とに基づき、第２患者の診療情報と類似する第１患者の診療情報を検索する。
　具体的には、サーバ１は、両者の特徴量に基づいて類似度を算出し、算出した類似度に応じて検索を行う。類似度の算出方法は特に限定されないが、例えばサーバ１は、ベクトルで表現された特徴量のコサイン類似度を算出する。
　例えばサーバ１は、類似度が所定の閾値以上であるか否かを判定し、閾値以上であると判定された第１患者の診療情報を類似症例として検索する。サーバ１は、類似度の高低に応じて各第１患者の診療情報に検索順位を定め、検索順位に従って各第１患者の診療情報を表示装置２３に出力する。
　なお、第１患者について検索順位を定める場合に、サーバ１は、診療情報に含まれる治療後の第１患者の経過情報に応じて検索順位を変更すると好適である。経過情報は、治療後の患者の状態を示すデータであり、例えば合併症の発生の有無を示すデータである。例えばサーバ１は、検索された第１患者に合併症が発生していた場合、検索順位を下降させる。なお、合併症の発生の有無だけでなく、発生した合併症の種類なども参照して検索順位を変更してもよい。
　なお、上記では経過情報に応じて検索順位を変更することとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、合併症が発生していた場合であっても検索順位を変更せず、後述の表示画面上で合併症が発生していたことを明示するのみであってもよい。これにより、類似症例として検索された第１患者の診療情報を参照すべきか否か、ユーザに判断させることができる。
　図５は、類似症例の表示画面例を示す説明図である。図５では、類似症例として検索された第１患者の診療情報を表示する画面例を図示している。例えば表示装置２３は、被検者画像５０１、症例画像５０２、症例情報欄５０３、類似症例一覧５０４、実施者指定欄５０５、集計欄５０６を表示する。
　被検者画像５０１は第２患者の医用画像であり、超音波検査を現在実施中の患者の超音波断層像である。症例画像５０２は、類似症例として検索された第１患者の医用画像であり、第２患者の断層像と類似すると判断された第１患者の血管の超音波断層像である。症例情報欄５０３は、症例画像５０２として表示された医用画像以外の第１患者の診療情報であって、患者情報、検査情報、治療情報等のテキストデータを表示する表示欄である。治療情報は、第１患者を治療した際の手術記録のほかに、第１患者の治療後の経過情報（例えば合併症）を含む。サーバ１は、症例ＤＢ１４１から第１患者の医用画像と患者情報等とを読み出し、表示装置２３に表示させる。
　なお、図５の画面例では被検者画像５０１及び症例画像５０２として超音波断層像のみ表示されているが、Ｘ線透視画像など、その他の医用画像を表示してもよいことは勿論である。
　類似症例一覧５０４は、類似症例の検索結果を一覧で示す表示欄であり、類似症例として検索された各第１患者の診療情報のサマリと、各第１患者の診療情報との類似度とを表示する表示欄である。例えば表示装置２３は、各第１患者の医用画像を縮小したサムネイル画像と、類似度とを検索順位に従って表示する。表示装置２３は、類似症例一覧５０４からいずれかのサムネイル画像を選択する選択入力を受け付ける。表示装置２３は、選択された症例に対応する第１患者の医用画像を症例画像５０２として表示すると共に、症例情報欄５０３に当該第１患者の患者情報等を表示する。
　なお、類似症例一覧５０４で各第１患者の診療情報を一覧表示する場合に、例えば表示装置２３は、経過情報（合併症の発生の有無）に応じて表示を変更してもよい。例えば表示装置２３は、第１患者に合併症が発生していた場合、合併症の発生を示す所定のアイコンをサムネイル画像と対応付けて表示する。これにより、ユーザの利便性を向上させることができる。
　実施者指定欄５０５は、類似症例の検索条件を入力するための入力欄であり、検索対象とする第１患者の治療実施者（例えば医師）の指定入力を受け付けるための入力欄である。例えば表示装置２３は、実施者指定欄５０５において、実施者の氏名の指定入力を受け付ける。実施者指定欄５０５において実施者の指定入力を受け付けた場合、サーバ１は、指定された実施者の症例、すなわち当該実施者が治療を行った第１患者の診療情報に絞り込んで検索を行う。
　なお、本実施の形態では検索条件として実施者の指定が可能となっているが、治療実施者以外に、例えば患者の年齢、診断名、既往歴等を検索条件として指定可能としてもよい。
　集計欄５０６は、類似症例として検索された複数の第１患者の診療情報について、所定の情報項目を集計した集計結果を表示する表示欄である。集計項目は特に限定されないが、例えばサーバ１は、類似症例として検索された複数の第１患者の治療方法について集計を行い、集計結果を表示装置２３に出力する。具体的には、サーバ１は、カテーテル手術、バイパス手術、薬物療法等のいずれの方法で治療を行ったか、治療方法別に症例件数を集計し、集計結果を表示させる。
　図６は、学習モデル５０の生成処理の手順を示すフローチャートである。図６に基づき、訓練データから学習モデル５０を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、訓練用の診療情報に対し、支援情報の正解値が付与された訓練データを取得する（ステップＳ１１）。例えば制御部１１は、訓練用の医用画像に対し、医用画像内の病変部に対応する画像領域と、病変部の種類とを示すラベルデータが付与された訓練データを取得する。なお、上述の如く、訓練用の入力データに患者情報等のテキストデータを含め、医用画像及びテキストデータを入力として支援情報を出力する学習モデル５０を生成するようにしてもよい。
　制御部１１は訓練データに基づき、診療情報を入力した場合に、患者の治療支援のための支援情報を出力する学習モデル５０を生成する（ステップＳ１２）。具体的には上述の如く、制御部１１は、ＣＮＮ等のニューラルネットワークを学習モデル５０として生成する。制御部１１は、訓練用の医用画像を学習モデル５０に入力し、医用画像内の病変部の検出結果を出力として取得する。制御部１１は、病変部の検出結果を正解のラベルデータと比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化して学習モデル５０を生成する。制御部１１は一連の処理を終了する。
　図７は、類似症例の検索処理の手順を示すフローチャートである。図７に基づき、類似症例である第１患者の診療情報を検索する際の処理内容について説明する。
　サーバ１の制御部１１は、検索対象とする第１患者の診療情報について、第１患者の治療を実施した実施者の指定入力を受け付ける（ステップＳ３１）。なお、実施者の指定がない場合、制御部１１はステップＳ３１をスキップする。
　制御部１１は、治療対象の第２患者の診療情報を取得する（ステップＳ３２）。上述の如く、診療情報は、画像診断装置２から取得した医用画像のほかに、患者情報、検査情報などのテキストデータを含み得る。
　制御部１１は、取得した第２患者の診療情報を学習モデル５０に入力して特徴量を抽出し、抽出した特徴量に基づいて支援情報を出力する（ステップＳ３３）。具体的には、制御部１１は、血管長手方向に沿って連続してイメージングされた複数の断層像を学習モデル５０に順次入力して、各断層像から病変部を検出する。
　制御部１１は、病変部を検出した断層像の特徴量と、症例ＤＢ１４１に記憶されている各第１患者の診療情報の特徴量とに基づき、第１患者及び第２患者の診療情報の類似度を算出する（ステップＳ３４）。制御部１１は、算出した類似度に基づき、第２患者の診療情報と類似する第１患者の診療情報を検索する（ステップＳ３５）。なお、ステップＳ３１で実施者の指定入力を受け付けていた場合、制御部１１は、指定された実施者が治療を実施した第１患者に絞って検索を行う。
　制御部１１は、検索された各第１患者の診療情報の検索順位を、治療実施後の第１患者の経過情報に応じて変更する（ステップＳ３６）。例えば制御部１１は、治療実施後に第１患者に合併症が発生していた場合、当該第１患者の検索順位を下降させる。
　また、制御部１１は、検索された複数の第１患者の診療情報を集計する（ステップＳ３７）。例えば制御部１１は、第１患者の治療方法について、カテーテル手術、バイパス手術、及び薬物療法それぞれの症例件数を集計する。制御部１１は、症例ＤＢ１４１から検索した第１患者の診療情報を画像診断装置２に出力し（ステップＳ３８）、一連の処理を終了する。
　以上より、本実施の形態１によれば、治療対象の第２患者と類似する類似症例を好適に検索することができる。
　また、本実施の形態１によれば、第１患者の診療情報と共に類似度を提示することで、ユーザは類似症例を好適に把握することができる。
　また、本実施の形態１によれば、第１患者の診療情報として、第１患者の治療時の記録だけでなく、治療後の経過情報を併せて提示することで、第１患者の治療記録の妥当性を判断することができる。
　また、本実施の形態１によれば、経過情報に応じて第１患者の診療情報の検索順位を変更することで、より適切な順序で各第１患者の診療情報を提示することができる。
　また、本実施の形態１によれば、診療情報を入力として支援情報を出力する学習モデル５０を利用することで、第２患者の診療情報の特徴量を好適に抽出することができる。
　また、本実施の形態１によれば、学習モデル５０として病変部検出用のモデルを利用することで、第２患者の病変部の検出を行いつつ、同時に類似症例の検索も行うことができる。
　また、本実施の形態１によれば、実施者の指定や治療方法（診療情報）の集計機能も備え、ユーザの利便性を高めることができる。
（実施の形態２）
　本実施の形態では、診療情報に含まれる画像データ（医用画像）及びテキストデータそれぞれについて特徴量を抽出し、症例検索に用いる形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図８は、実施の形態２に係る学習モデル５０に関する説明図である。図８では、画像データの特徴量抽出用のネットワーク（第１抽出器５１）と、テキストデータの特徴量抽出用のネットワーク（第２抽出器５２）とを備える、いわゆるマルチモーダルモデルを図示している。図８に基づき、本実施の形態の概要を説明する。
　本実施の形態に係る学習モデル５０は、第１抽出器５１、第２抽出器５２、及び検出器５３を備える。第１抽出器５１は、画像データの特徴量を抽出する抽出器であり、例えばＣＮＮに係るネットワークである。第２抽出器５２は、患者情報、検査情報等のテキストデータの特徴量を抽出する抽出器であり、例えばＲＮＮに係るネットワークである。第１抽出器５１は、患者の医用画像の入力を受け付け、医用画像の特徴量を抽出する。第２抽出器５２は、患者情報等のテキストデータの入力を受け付け、テキストデータの特徴量を抽出する。
　検出器５３は、第１抽出器５１及び第２抽出器５２でそれぞれ抽出した特徴量を入力として、病変部を検出するネットワークである。例えば検出器５３は、医用画像及びテキストデータそれぞれの特徴量を結合する結合層と、結合した特徴量に基づき、病変部に対応する画像領域をラベリングしたラベル画像を生成するデコーダ（逆畳み込み層）とを備える。検出器５３は、医用画像及びテキストデータそれぞれの特徴量を結合してデコーダに入力し、病変部の検出結果であるラベル画像を出力する。
　病変部が検出された場合、サーバ１は、検出時に第１抽出器５１及び第２抽出器５２でそれぞれ抽出した特徴量に基づき、類似症例である第１患者の診療情報を症例ＤＢ１４１から検索する。例えばサーバ１は、医用画像及びテキストデータそれぞれの特徴量に基づいて個別に類似度を算出する。すなわち、サーバ１は、第１患者の医用画像の特徴量と、第２患者の医用画像の特徴量とに基づいて医用画像の類似度を算出すると共に、第１患者のテキストデータ（患者情報等）の特徴量と、第２患者のテキストデータの特徴量とに基づいてテキストデータの類似度を算出する。
　サーバ１は、医用画像及びテキストデータそれぞれの類似度から、第１患者及び第２患者の類似性を総合的に評価するための総類似度を算出する。例えばサーバ１は、医用画像及びテキストデータそれぞれの類似度の合計値を算出することで、総類似度を算出する。
　なお、例えばサーバ１は、両者の平均値などを総類似度としてもよい。また、例えばサーバ１は、一方のデータ（例えば医用画像）を重視するため、片方の類似度に重み付けを行って総類似度を算出するなどしてもよい。
　サーバ１は、算出した総類似度が閾値以上であるか否かを判定し、閾値以上であると判定された第１患者の診療情報を類似症例として検索する。そしてサーバ１は、検索された第１患者の診療情報を表示装置２３に出力する。なお、この場合にサーバ１は、総類似度だけでなく、医用画像及びテキストデータそれぞれの類似度を表示装置２３に表示させてもよい。これにより、画像が類似するか、テキストデータが類似するか、ユーザに把握させることができる。
　図９は、実施の形態２に係る学習モデル５０の生成処理の手順を示すフローチャートである。学習モデル５０を生成するための訓練データを取得した後（ステップＳ１１）、サーバ１は以下の処理を実行する。
　サーバ１の制御部１１は、訓練データに基づいて学習モデル５０を生成する（ステップＳ２０１）。本実施の形態では、上述の如く、医用画像及びテキストデータそれぞれについて特徴量を抽出するマルチモーダルモデルを生成する。制御部１１は、訓練用の医用画像を第１抽出器５１に入力して特徴量を抽出すると共に、訓練用のテキストデータを第２抽出器５２に入力して特徴量を抽出し、両者の特徴量を検出器５３に入力して病変部を検出する。制御部１１は、病変部の検出結果を正解のラベルデータと比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化して学習モデル５０を生成する。制御部１１は、一連の処理を終了する。
　図１０は、実施の形態２に係る類似症例の検索処理の手順を示すフローチャートである。第２患者の診療情報を取得した後（ステップＳ３２）、サーバ１は以下の処理を実行する。
　サーバ１の制御部１１は、第２患者の診療情報に含まれる医用画像を第１抽出器５１に、医用画像以外のテキストデータを第２抽出器５２に入力して、医用画像及びテキストデータそれぞれの特徴量を抽出して病変部を検出する（ステップＳ２２１）。具体的には上述の如く、制御部１１は、両者の特徴量を検出器５３に入力して特徴量を合成し、合成特徴量に基づき病変部を検出する。
　病変部が検出された場合、制御部１１は、第１抽出器５１で抽出された医用画像の特徴量と、第２抽出器５２で抽出されたテキストデータの特徴量とに基づき、各第１患者の診療情報との類似度を算出する（ステップＳ２２２）。具体的には、制御部１１は、医用画像及びテキストデータそれぞれについて第１患者と第２患者との類似度を算出し、医用画像及びテキストデータそれぞれの類似度の合計値を取るなどして総類似度を算出する。制御部１１は、算出した類似度に基づいて症例ＤＢ１４１から第１患者の診療情報を検索し（ステップＳ２２３）、処理をステップＳ３６に移行する。
　なお、上記では学習モデル５０の一例としてマルチモーダルモデルを挙げたが、例えば医用画像から支援情報を出力するモデルと、テキストデータから支援情報を出力するモデルとを独立して用意し、各モデルを利用して医用画像及びテキストデータの特徴量をそれぞれ抽出するようにしてもよい。すなわち、学習モデル５０は単一のモデルに限定されず、複数のモデルであってもよい。
　また、上記では学習モデル５０に入力する画像が一種類であるものとして説明したが、複数種類の医用画像を学習モデル５０に入力して特徴量を抽出し、類似症例の検索に用いてもよい。例えばサーバ１は、超音波断層像のほかにＸ線透視画像を学習モデル５０に入力し、各画像から特徴量を抽出する。この場合、学習モデル５０に、超音波断層像の特徴量抽出用の抽出器と、Ｘ線透視画像の特徴量抽出用の抽出器とを別々に用意し、検出器５３に並列接続すればよい。このように、学習モデル５０に入力する医用画像は複数種類であってもよい。
　以上より、本実施の形態２によれば、診療情報に含まれる医用画像及びテキストデータそれぞれの特徴量を個別に抽出することで、医用画像及びテキストデータそれぞれの類似性を個別に評価し、より好適に類似症例を検索することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　　サーバ（情報処理装置）
　１１　　制御部
　１２　　主記憶部
　１３　　通信部
　１４　　補助記憶部
　１４１　症例ＤＢ
　１ａ　　可搬型記憶媒体
　１ｂ　　半導体メモリ
　２　　　画像診断装置
　２１　　カテーテル
　２２　　画像処理装置
　２３　　表示装置
　５０　　学習モデル
　５０１　被検者画像
　５０２　症例画像
　５０３　症例情報欄
　５０４　類似症例一覧
　５０５　実施者指定欄
　５０６　集計欄
　５１　　第１抽出器
　５２　　第２抽出器
　５３　　検出器
　Ｎ　　　ネットワーク
　Ｐ　　　プログラム

Claims (14)

  1. 　治療を実施済みの第１患者の診療情報を、該診療情報の特徴量と対応付けて記憶する記憶部と、
    　治療対象の第２患者の診療情報を取得する取得部と、
    　前記第２患者の診療情報の特徴量を抽出する抽出部と、
    　抽出した特徴量に基づき、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索する検索部と、
    　検索された前記第１患者の診療情報を出力する出力部と
    　を備えることを特徴とする情報処理装置。
  2. 　前記検索部は、
    　前記第１患者の診療情報の特徴量と、前記第２患者の診療情報の特徴量とに基づき、前記第１患者及び第２患者の診療情報の類似度を算出し、
    　算出した類似度に基づいて前記第１患者の診療情報を検索し、
    　前記出力部は、検索された前記第１患者の診療情報、及び前記第２患者の診療情報との類似度を出力する
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記出力部は、前記第１患者の治療後の経過情報を含む診療情報を出力する
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記検索部は、前記経過情報に応じて前記第１患者の診療情報の検索順位を変更する
    　ことを特徴とする請求項３に記載の情報処理装置。
  5. 　前記抽出部は、診療情報が入力された場合に、該診療情報の特徴量を抽出し、抽出した特徴量に基づいて診療支援のための支援情報を出力するよう学習済みのモデルを利用して、前記第２患者の診療情報の特徴量を抽出する
    　ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記モデルは、患者の管腔器官をイメージングした医用画像を入力した場合に、該医用画像の特徴量を抽出し、抽出した特徴量に基づいて前記医用画像内の病変部を検出した検出結果を出力するモデルであり、
    　前記抽出部は、
    　前記第２患者の前記医用画像を前記モデルに入力して前記病変部を検出し、
    　前記病変部が検出された前記医用画像の特徴量を、前記第２患者の診療情報の特徴量として抽出する
    　請求項５に記載の情報処理装置。
  7. 　前記医用画像は、患者の血管の断層像であり、
    　前記抽出部は、前記第２患者の血管の長手方向に沿って撮影された複数の前記断層像を前記モデルに入力して、前記複数の断層像のいずれかから前記病変部を検出する
    　ことを特徴とする請求項６に記載の情報処理装置。
  8. 　前記第１患者及び第２患者の診療情報は医用画像及びテキストデータを含み、
    　前記モデルは、前記医用画像の特徴量を抽出する第１抽出器と、前記テキストデータの特徴量を抽出する第２抽出器とを備え、
    　前記検索部は、前記医用画像及びテキストデータ夫々の特徴量に基づき、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索する
    　ことを特徴とする請求項５～７のいずれか１項に記載の情報処理装置。
  9. 　前記医用画像は、前記第１患者の血管の超音波断層像、光干渉断層像、Ｘ線透視画像、ＣＴ画像、及びＭＲＩ画像の少なくともいずれか一つを含む
    　ことを特徴とする請求項６～８のいずれか１項に記載の情報処理装置。
  10. 　前記第１患者の診療を実施した実施者の指定入力を受け付ける受付部を備え、
    　前記検索部は、指定された前記実施者に対応する前記第１患者の診療情報を対象に検索を行い、
    　前記第１患者の診療情報は、前記実施者の情報を含む、
    　ことを特徴とする請求項１～９のいずれか１項に記載の情報処理装置。
  11. 　検索された複数の前記第１患者の診療情報を集計する集計部を備え、
    　前記検索部は、前記第２患者の診療情報と類似する複数の前記第１患者の診療情報を検索し、
    　前記出力部は、前記第１患者の診療情報の集計結果を出力する
    　ことを特徴とする請求項１～１０のいずれか１項に記載の情報処理装置。
  12. 　前記第１患者の診療情報は、前記第１患者に実施した血管内治療に関する情報である
    　ことを特徴とする請求項１～１１のいずれか１項に記載の情報処理装置。
  13. 　治療対象の第２患者の診療情報を取得し、
    　前記第２患者の診療情報の特徴量を抽出し、
    　抽出した特徴量に基づき、治療を実施済みの第１患者の診療情報を該診療情報の特徴量と対応付けて記憶する記憶部から、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索し、
    　検索された前記第１患者の診療情報を出力する
    　処理をコンピュータが実行することを特徴とする情報処理方法。
  14. 　治療対象の第２患者の診療情報を取得し、
    　前記第２患者の診療情報の特徴量を抽出し、
    　抽出した特徴量に基づき、治療を実施済みの第１患者の診療情報を該診療情報の特徴量と対応付けて記憶する記憶部から、前記第２患者の診療情報と類似する前記第１患者の診療情報を検索し、
    　検索された前記第１患者の診療情報を出力する
    　処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2021/009306 2020-03-27 2021-03-09 情報処理装置、情報処理方法及びプログラム WO2021193022A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022509537A JPWO2021193022A1 (ja) 2020-03-27 2021-03-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020058998 2020-03-27
JP2020-058998 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021193022A1 true WO2021193022A1 (ja) 2021-09-30

Family

ID=77891485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009306 WO2021193022A1 (ja) 2020-03-27 2021-03-09 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2021193022A1 (ja)
WO (1) WO2021193022A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277656A (ja) * 2005-03-30 2006-10-12 Olympus Medical Systems Corp 医療支援システム
JP2008161277A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 血管情報管理装置
JP2010172559A (ja) * 2009-01-30 2010-08-12 Toshiba Corp 医療診断支援システム及び医療診断支援装置
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2013146327A (ja) * 2012-01-18 2013-08-01 Hitachi Medical Corp 医用画像表示装置、医用画像表示方法
JP2016529037A (ja) * 2013-08-27 2016-09-23 ハートフロー， インコーポレイテッド 冠動脈病変の部位、発症及び／又は変化を予測するためのシステム及び方法
US20190188848A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Automatic Contour Annotation of Medical Images Based on Correlations with Medical Reports
WO2020027228A1 (ja) * 2018-07-31 2020-02-06 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 診断支援システム及び診断支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277656A (ja) * 2005-03-30 2006-10-12 Olympus Medical Systems Corp 医療支援システム
JP2008161277A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 血管情報管理装置
JP2010172559A (ja) * 2009-01-30 2010-08-12 Toshiba Corp 医療診断支援システム及び医療診断支援装置
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2013146327A (ja) * 2012-01-18 2013-08-01 Hitachi Medical Corp 医用画像表示装置、医用画像表示方法
JP2016529037A (ja) * 2013-08-27 2016-09-23 ハートフロー， インコーポレイテッド 冠動脈病変の部位、発症及び／又は変化を予測するためのシステム及び方法
US20190188848A1 (en) * 2017-12-20 2019-06-20 International Business Machines Corporation Automatic Contour Annotation of Medical Images Based on Correlations with Medical Reports
WO2020027228A1 (ja) * 2018-07-31 2020-02-06 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 診断支援システム及び診断支援方法

Also Published As

Publication number Publication date
JPWO2021193022A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
US11816836B2 (en) Method and system for assessing vessel obstruction based on machine learning
JP6243453B2 (ja) 血管内画像におけるマルチモーダルセグメンテーション
JP2008503303A (ja) 気管気管支樹を表示する方法及び装置
US20230076868A1 (en) Systems and methods for utilizing synthetic medical images generated using a neural network
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20230230252A1 (en) Information processing device, information processing method, program, and model generation method
Van Hamersvelt et al. Diagnostic performance of on-site coronary CT angiography–derived fractional flow reserve based on patient-specific lumped parameter models
WO2022071121A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20230394654A1 (en) Method and system for assessing functionally significant vessel obstruction based on machine learning
WO2021193022A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230012527A1 (en) Program, information processing method, information processing apparatus, and model generation method
US20230133103A1 (en) Learning model generation method, image processing apparatus, program, and training data generation method
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2022069208A1 (en) Ultrasound image-based patient-specific region of interest identification, and associated devices, systems, and methods
WO2021199966A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2021193021A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20230274424A1 (en) Appartus and method for quantifying lesion in biometric image
US20230238148A1 (en) Information processing device, information processing method, and computer program
US20240005459A1 (en) Program, image processing method, and image processing device
WO2021199967A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
JP2024025980A (ja) プログラム、情報処理装置、情報処理方法、情報処理システム及び学習モデルの生成方法
Luque-Baena et al. Stenosis detection in coronary angiography images using deep learning models
JP2023130134A (ja) プログラム、情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775086

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21775086

Country of ref document: EP

Kind code of ref document: A1