WO2021199966A1 - プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム - Google Patents

プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム Download PDF

Info

Publication number
WO2021199966A1
WO2021199966A1 PCT/JP2021/009332 JP2021009332W WO2021199966A1 WO 2021199966 A1 WO2021199966 A1 WO 2021199966A1 JP 2021009332 W JP2021009332 W JP 2021009332W WO 2021199966 A1 WO2021199966 A1 WO 2021199966A1
Authority
WO
WIPO (PCT)
Prior art keywords
tomographic image
findings
learning model
input
organ
Prior art date
Application number
PCT/JP2021/009332
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
悠介 関
陽 井口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022511732A priority Critical patent/JPWO2021199966A1/ja
Publication of WO2021199966A1 publication Critical patent/WO2021199966A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the present invention relates to a program, an information processing method, a learning model generation method, a learning model re-learning method, and an information processing system.
  • a catheter system is used in which a catheter for diagnostic imaging is inserted into a luminal organ such as a blood vessel to take a tomographic image (Patent Document 1).
  • One aspect is to provide a program or the like that makes the catheter system easy to use.
  • the program acquires a tomographic image generated using a diagnostic imaging catheter inserted into a luminal organ, and when the tomographic image is input, findings regarding the condition of the luminal organ or the condition around the luminal organ.
  • the acquired tomographic image is input to the learning model that outputs the above, and the computer is made to execute the process of outputting the findings output from the learning model.
  • FIG. 1 is an explanatory diagram illustrating an outline of the catheter system 10.
  • the catheter system 10 includes a catheter 40 for diagnostic imaging, an MDU (Motor Driving Unit) 33, and an information processing device 20.
  • the diagnostic imaging catheter 40 is connected to the information processing device 20 via the MDU 33.
  • a display device 31 and an input device 32 are connected to the information processing device 20.
  • the input device 32 is, for example, a keyboard, a mouse, a trackball, a microphone, or the like.
  • the display device 31 and the input device 32 may be integrally laminated to form a touch panel.
  • the input device 32 and the information processing device 20 may be integrally configured.
  • FIG. 2 is an explanatory diagram illustrating an outline of the diagnostic imaging catheter 40.
  • the diagnostic imaging catheter 40 has a probe portion 41 and a connector portion 45 arranged at an end portion of the probe portion 41.
  • the probe portion 41 is connected to the MDU 33 via the connector portion 45.
  • the side of the diagnostic imaging catheter 40 far from the connector portion 45 will be referred to as the distal end side.
  • the shaft 43 is inserted inside the probe portion 41.
  • a sensor 42 is connected to the tip end side of the shaft 43.
  • An annular tip marker 44 is fixed in the vicinity of the tip of the probe portion 41.
  • the sensor 42 and the shaft 43 can move forward and backward while rotating inside the probe portion 41.
  • a pullback operation in which the sensor 42 is rotated while being pulled toward the MDU33 side at a constant speed, a plurality of transverse layer images 485 (see FIG. 4) centered on the probe portion 41 and substantially perpendicular to the probe portion 41 are determined. It is taken continuously at intervals.
  • the sensor 42 is, for example, an ultrasonic transducer that transmits and receives ultrasonic waves, or a transmission / reception unit for OCT (Optical Coherence Tomography) that irradiates near-infrared light and receives reflected light.
  • OCT Optical Coherence Tomography
  • the luminal organ into which the diagnostic imaging catheter 40 is inserted and used is, for example, a blood vessel, pancreatic duct, bile duct or bronchus.
  • FIG. 2 shows an example of a diagnostic imaging catheter 40 for IVUS (Intravascular Ultrasound) used when taking an ultrasonic tomographic image from the inside of a blood vessel.
  • IVUS Intravascular Ultrasound
  • the diagnostic imaging catheter 40 is not limited to the mechanical scanning method that mechanically rotates and moves forward and backward. It may be an electronic radial scanning type diagnostic imaging catheter 40 using a sensor 42 in which a plurality of ultrasonic transducers are arranged in an annular shape.
  • the diagnostic imaging catheter 40 may have a so-called linear scanning type sensor 42 in which a plurality of ultrasonic transducers are arranged in a row along the longitudinal direction.
  • the diagnostic imaging catheter 40 may have a so-called two-dimensional array type sensor 42 in which a plurality of ultrasonic transducers are arranged in a matrix.
  • the diagnostic imaging catheter 40 is provided on a reflector existing inside the luminal organ of the luminal organ such as red blood vessels and outside the luminal organ such as the heart sac and the heart. It is possible to take a tomographic image including existing organs.
  • a set of a plurality of cross-layer images 485 capable of generating a vertical tomographic image will be referred to as one set of cross-layer images 485.
  • acquiring a set of cross-layer images 485 capable of generating a longitudinal tomographic image using the diagnostic imaging catheter 40 is described as one image acquisition.
  • One set of transverse layer images 485 is acquired by, for example, one pullback operation by the MDU33.
  • a set of transverse layer images 485 may be acquired while the user manually pushes and pulls the diagnostic imaging catheter 40.
  • the push-pull operation of the diagnostic imaging catheter 40 includes both an operation of pushing and pulling the probe portion 41 and an operation of pushing and pulling the sensor 42 inside the probe portion 41.
  • the user performs an operation of pulling back the sensor 42 at a substantially constant speed or an operation of pushing it in.
  • the cross-layer image 485 acquired between the time when the user instructs the start of acquisition by voice input or the like and the time when the user instructs the end of acquisition constitutes one set of cross-layer images 485.
  • a sensor or the like that detects the amount of pushing and pulling the sensor 42 by the user may be provided. Images acquired while the user pulls back or pushes the sensor 42 over a predetermined range constitute a set of transverse layer images 485.
  • the transverse layer images 485 rearranged in order along the longitudinal direction of the probe portion 41 constitute a set of transverse layer images 485.
  • the position information along the longitudinal direction of the probe portion 41 is recorded in association with each cross-sectional layer image 485.
  • the intervals between the cross-sectional layer images 485 are constant will be described as an example.
  • FIG. 3 is an explanatory diagram illustrating the configuration of the catheter system 10.
  • the catheter system 10 includes an information processing device 20, an MDU 33, and a diagnostic imaging catheter 40.
  • the information processing device 20 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display unit 25, an input unit 26, a catheter control unit 271, and a bus.
  • the control unit 21 is an arithmetic control device that executes the program of the present embodiment.
  • One or more CPUs Central Processing Units
  • GPUs Graphics Processing Units
  • TPUs Torsor Processing Units
  • multi-core CPUs and the like are used for the control unit 21.
  • the control unit 21 is connected to each hardware unit constituting the information processing device 20 via a bus.
  • the main storage device 22 is a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory temporary stores information necessary in the middle of processing performed by the control unit 21 and a program being executed by the control unit 21.
  • the auxiliary storage device 23 is a storage device such as a SRAM, a flash memory, a hard disk, or a magnetic tape.
  • the auxiliary storage device 23 stores a program to be executed by the control unit 21, a learning model 65, and various data necessary for executing the program.
  • the learning model 65 includes a first learning model 651 and a second learning model 652.
  • the communication unit 24 is an interface for communicating between the information processing device 20 and the network.
  • the display unit 25 is an interface that connects the display device 31 and the bus.
  • the input unit 26 is an interface that connects the input device 32 and the bus.
  • the catheter control unit 271 controls the MDU 33, controls the sensor 42, and generates a transverse layer image 485 and a longitudinal tomographic image based on the signal received from the sensor 42. Since the function and configuration of the catheter control unit 271 are the same as those of the conventionally used ultrasonic diagnostic apparatus, the description thereof will be omitted.
  • the control unit 21 may realize the function of the catheter control unit 271.
  • the information processing device 20 is an X-ray angiography device, an X-ray CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, a PET (Positron Emission Tomography) device, or a supermarket via HIS (Hospital Information System) or the like. It is connected to various diagnostic imaging devices 37 such as a sound wave diagnostic device.
  • X-ray CT Computed Tomography
  • MRI Magnetic Resonance Imaging
  • PET Positron Emission Tomography
  • HIS Hospital Information System
  • the information processing device 20 of the present embodiment is a dedicated ultrasonic diagnostic device, a personal computer, a tablet, a smartphone, or the like having the function of the ultrasonic diagnostic device.
  • FIG. 4 is an explanatory diagram illustrating the configuration of the first learning model 651.
  • the first learning model 651 accepts one set of cross-layer images 485 and accepts the condition of the luminal organ, such as the necessity of treatment, the presence or absence of blood flow stasis, or the presence or absence of bifurcation, or the vicinity of the luminal organ. It is a model that outputs findings related to the state.
  • the "necessity of treatment” refers to whether or not IVR (Interventional Radiology), which treats the inside of the luminal organ, is necessary, and whether or not general treatment including medication and diet is necessary. good.
  • the finding output by the first learning model 651 is the probability of a predetermined option such as "yes” or "no" for each of the plurality of items.
  • Tables 1 to 5 show examples of items for which the first learning model 651 outputs a probability. One row in Tables 1-5 indicates one item. The first learning model 651 outputs the probability of choice for each item.
  • Tables 1 to 5 show examples of items included in the findings output by the first learning model 651.
  • Table 1 shows information regarding the need for treatment.
  • Table 2 shows items related to blood flow information.
  • Table 3 shows items related to qualitative shape information of the tract organ and the circumference of the tract organ.
  • Table 4 shows items related to property information indicating the properties of the tract organ and the surroundings of the tract organ.
  • “Intrastent stenosis” shown in Table 4 indicates the presence or absence of stenosis of a stent placed in a luminal organ several months to several years ago, for example.
  • a transverse layer image 485 is taken immediately after the stent placement procedure, it indicates the presence or absence of stenosis of the placed stent. That is, the cross-layer image 485 is taken immediately after the completion of a series of intraluminal treatments, whether it is a tomographic image of an untreated luminal organ or a tomographic image of a luminal organ under follow-up after treatment. It may be a tomographic image of a luminal organ.
  • Table 5 shows items related to device information indicating the state of indwelling devices such as stents placed in the luminal organ.
  • the first learning model 651 may output the probabilities for some of the items shown in Tables 1 to 5.
  • the first learning model 651 may output the probabilities for items other than the items shown in Tables 1 to 5.
  • the first learning model 651 is a model that accepts the input of one set of transverse layer images 485 and outputs the findings regarding the state of the tract organ or the state around the luminal organ.
  • the first learning model 651 accepts, for example, one set of transverse layer images 485 acquired by one pullback operation by the MDU33.
  • the first learning model 651 may accept the input of a part of the cross-layer image 485, such as half or one-third of the cross-layer image 485 obtained by one pullback operation.
  • the first learning model 651 may accept the input of one set of transverse layer images 485 obtained by manually moving the sensor 42 forward and backward.
  • the first learning model 651 may be a model that accepts the input of one transverse layer image 485 and outputs the findings regarding the state of the tract organ or the state around the tract organ.
  • the first learning model 651 includes an input layer, a neural network 659, a plurality of softmax layers 655, and an output layer.
  • the neural network 659 is, for example, a CNN (Convolutional Neural Network) having a pair of a plurality of convolutional layers and a pooling layer and a fully connected layer.
  • One softmax layer 655 is provided for one row shown in Tables 1 to 5.
  • An image in which one set of transverse layer images 485 are combined in the scanning order to form one image is input to the input layer.
  • the probabilities for each item shown in Tables 1 to 5 are output to the output layer via the neural network 659 and the softmax layer 655.
  • the first learning model 651 may be divided into Tables 1 to 5. The first learning model 651 may be separated for each output item.
  • a selection layer that selects and outputs the option with the highest probability may be provided after the softmax layer 655.
  • FIG. 5 is an explanatory diagram illustrating the configuration of the second learning model 652.
  • the second learning model 652 is a model that accepts the transverse layer image 485 and outputs quantitative findings regarding the state of the tract organ or the state around the tract organ.
  • the findings output by the second learning model 652 are the probabilities for the respective values of the plurality of items.
  • Table 6 shows an example of the items included in the findings that the second learning model 652 outputs the probability. One row in Table 6 indicates one item.
  • the second learning model 652 may output the probabilities for some of the items shown in Table 5.
  • the second learning model 652 may output the probabilities for items other than the items shown in Table 6, such as the length of the stenotic portion.
  • the second learning model 652 includes an input layer, a neural network 659, a plurality of softmax layers 655, and an output layer.
  • the neural network 659 is a CNN having, for example, a pair of a plurality of convolution layers and a pooling layer, and a fully connected layer.
  • One softmax layer 655 is provided for one row shown in Table 6.
  • An image in which one set of transverse layer images 485 are combined in the scanning order to form one image is input to the input layer.
  • the probability that the value of each item shown in Table 6 is within a predetermined range is output to the output layer via the neural network 659 and the softmax layer 655.
  • the probability of being "0% or more and less than 10%” is 0%, and the probability of being "10% or more and less than 20%” is 10%.
  • the second learning model 652 outputs the probabilities of representative values such as the average value, the maximum value, or the minimum value of each item in one set of cross-layer images 485.
  • the second learning model 652 may output the probabilities of each item shown in Table 6 for each cross-layer image 485.
  • one cross-layer image 485 may be input to the input layer, or the target cross-layer image 485 and several cross-layer images 485 before and after the target cross-layer image 485 may be input.
  • the second learning model 652 may output the probabilities at arbitrary intervals, for example, every 5% or every 20%.
  • a selection layer that selects and outputs the option with the highest probability may be provided after the softmax layer 655.
  • the selection layer may output the result of performing an operation such as a weighted average based on the representative value and the probability of each option.
  • control unit 21 may extract the inner wall of the luminal organ by image processing of the transverse layer image 485 and calculate each item shown in Table 6. Since the method of extracting the boundary from the image and calculating the length and the like has been conventionally used, the description thereof will be omitted in detail.
  • Each item shown in Table 6 may be judged not by a numerical value but by a degree.
  • Table 7 shows an example of items when the same items as in Table 6 are judged by the degree.
  • the probability of each item can be output by using the first learning model 651 described with reference to FIG.
  • the first learning model 651 and the second learning model 652 may be input with data at a stage before forming the cross-layer image 485, such as sound line data acquired by the catheter control unit 271 from the sensor 42.
  • FIG. 6 is an example of a screen displayed by the catheter system 10.
  • the screen shown in FIG. 6 includes a cross-layer image column 51, a vertical tomographic image column 52, and a finding column 53.
  • the above-mentioned cross-layer image 485 is displayed in the cross-layer image column 51.
  • the vertical tomographic image column 52 a vertical tomographic image generated by the catheter control unit 271 is displayed.
  • a cross-layer position marker 551 indicating the position of the cross-layer image 485 displayed in the cross-layer image column 51 is displayed at the edge of the vertical tomographic image column 52.
  • a vertical fault position marker 552 indicating the position of the vertical tomographic image displayed in the vertical tomographic image column 52 is displayed near the edge of the cross-layer image column 51.
  • the user can appropriately change the cross section to be displayed by operating the input device 32 to change the positions of the transverse layer position marker 551 and the longitudinal fault position marker 552.
  • the control unit 21 may accept voice input from the user.
  • the finding column 53 includes a qualitative evaluation column 531 and a quantitative evaluation column 532.
  • the qualitative evaluation column 531 among the qualitative findings output from the first learning model 651 described with reference to FIG. 4, items indicating the probability of exceeding a predetermined threshold value are listed.
  • the quantitative evaluation column 532 each item of the quantitative findings output from the second learning model 652 described with reference to FIG. 5 is displayed.
  • control unit 21 may display the cross-layer image column 51 and the vertical tomographic image column 52 at the same scale.
  • FIG. 7 is an example of a screen displayed by the catheter system 10.
  • the control unit 21 displays the screen shown in FIG. 7.
  • FIG. 7 shows an example in which the user displays the "flap: 80%" as the basis for the determination.
  • the screen shown in FIG. 7 includes a cross-layer image column 51 and a basis display column 56.
  • a cross-layer image 485 is displayed in the cross-layer image column 51.
  • the rationale display column 56 a cross-layer image 485 on which the rationale marker 561 indicating the rationale region on which the determination of "flap: 80%" is based is superimposed is displayed.
  • the rationale marker 561 is an example of rationale information regarding the rationale for the findings shown in the finding column 53.
  • control unit 21 is a cross-layer image including the portion that is the basis for determining the "flap". 485 is extracted and displayed in the cross-layer image column 51 and the evidence display column 56.
  • the control unit 21 extracts the basis area by, for example, a model visualization method such as Grad-CAM (Gradient-weighted Class Activation Mapping) or Grad-CAM ++.
  • the rationale area is an area in the plurality of cross-sectional layer images 485 input to the learning model 65 that strongly influences the output of the item specified by the user.
  • the rationale marker 561 is displayed using finer hatching in places where the degree of influence on the output is higher.
  • the user can determine whether or not the basis for the determination by the control unit 21 is appropriate based on a professional viewpoint.
  • a vertical tomographic image may be displayed on the screen described with reference to FIG. 7.
  • the control unit 21 may superimpose the evidence marker 561 on the vertical tomographic image and display it.
  • FIG. 8 is an example of a report.
  • the control unit 21 prints the report described with reference to FIG. 8 on paper, or outputs the report in a file format such as a PDF (Portable Document Format) format.
  • the report is used for reports to other doctors.
  • the report may be recorded in an electronic medical record via HIS.
  • the report includes a patient information column 541, a summary column 542 and a detail column 543.
  • patient information such as a patient name, a patient ID, a gender, and an examination date is displayed.
  • summary column 542 a text summary of the examination using the catheter system 10 is recorded.
  • the items described in the summary column 542 may be automatically generated by the control unit 21 based on the output of the learning model 65, or may be input by the user.
  • the fact that there is a finding of dissection of the luminal organ is displayed in characters at the upper part of the summary column 542.
  • a vertical tomographic image column 52 and a cross-layer image column 51 displaying a tomographic image showing dissociation findings are displayed.
  • the cross-layer position marker 551 displayed on the edge of the vertical tomographic image column 52 allows the user to confirm in which part of the vertical tomographic image the dissociation has occurred.
  • a evidence display column 56 showing the basis of the dissociation finding is displayed.
  • the displayed cross-layer image 485 in the cross-layer image column 51 and the ground display column 56 are the same.
  • the rationale marker 561 superimposed on the cross-layer image 485 of the rationale display column 56 allows the user to confirm the rationale for the "dissociation findings" displayed at the top of the summary column 542.
  • FIG. 9 is a flowchart illustrating the flow of program processing.
  • the control unit 21 acquires one set of transverse layer images 485 from the catheter control unit 271 (step S501).
  • the control unit 21 inputs the acquired cross-layer image 485 into the first learning model 651 and the second learning model 652 to acquire qualitative and quantitative findings (step S502).
  • the control unit 21 displays the screen described with reference to FIG. 6 on the display device 31 (step S503).
  • the control unit 21 determines whether or not an instruction for displaying the grounds has been received from the user (step S504).
  • the user can input an instruction to display the rationale by, for example, double-clicking an item in the finding column 53.
  • the control unit 21 may accept voice input from the user.
  • the control unit 21 acquires the item for displaying the grounds (step S505).
  • the control unit 21 extracts the basis area related to the item acquired in step S505 by a model visualization method such as Grad-CAM or Grad-CAM ++ (step S506).
  • the control unit 21 displays the cross-layer image 485 on which the ground marker 561 is superimposed in the ground display column 56 by using the screen described with reference to FIG. 7 (step S507).
  • the control unit 21 ends the process.
  • a catheter system 10 that displays various findings based on a tomographic image taken by using a diagnostic imaging catheter 40. It is possible to provide a catheter system 10 that can be easily used even by a user who is not sufficiently proficient in interpreting a tomographic image. According to this embodiment, it is possible to provide a catheter system 10 that displays both a qualitative evaluation and a quantitative evaluation.
  • the catheter system 10 that displays the region that is the basis of the findings by the evidence marker 561.
  • the user can determine whether or not the determination by the control unit 21 is appropriate by the basis marker 561.
  • the catheter system 10 By displaying the tomographic image on which the ground marker 561 is not superimposed and the tomographic image on which the ground marker 561 is superimposed side by side, it is possible to provide the catheter system 10 in which the interpretation of the tomographic image is not hindered by the ground marker 561.
  • first learning model 651 and the second learning model 652 in addition to the cross-layer image 485, images taken by the diagnostic imaging apparatus 37, blood pressure, heart rate, oxygen saturation, and other medical information acquired in real time are provided. May be entered.
  • first learning model 651 and the second learning model 652 in addition to the cross-layer image 485, medical information acquired from the electronic medical record, such as a history, height, weight, and images taken by the diagnostic imaging apparatus 37 in the past, is provided. May be entered.
  • the medical information input to the first learning model 651 and the medical information input to the second learning model 652 may be the same or different.
  • the first learning model 651 receives the cross-layer image 485 and medical information, and outputs the findings regarding the state of the tract organ or the state around the luminal organ.
  • the second learning model 652 accepts the cross-layer image 485 and medical information, and outputs quantitative findings regarding the state of the tract organ or the state around the tract organ.
  • a catheter that displays findings on any of a luminal organ that has been treated such as stent placement in the past, an untreated luminal organ, and a luminal organ immediately after the completion of intraluminal treatment.
  • System 10 can be provided.
  • the present embodiment relates to a catheter system 10 in which the catheter control device 27 and the information processing device 20 are separate bodies. The description of the parts common to the first embodiment will be omitted.
  • FIG. 10 is an explanatory diagram illustrating the configuration of the catheter system 10 of the second embodiment.
  • the catheter system 10 of the present embodiment includes an information processing device 20, a catheter control device 27, an MDU 33, and a diagnostic imaging catheter 40.
  • the information processing device 20 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display unit 25, an input unit 26, and a bus.
  • the catheter control device 27 is an ultrasonic diagnostic device for IVUS that controls the MDU 33, controls the sensor 42, and generates a transverse layer image 485 and a longitudinal tomographic image based on the signal received from the sensor 42. Since the function and configuration of the catheter control device 27 are the same as those of the conventionally used ultrasonic diagnostic device, the description thereof will be omitted.
  • the catheter control device 27 and the information processing device 20 may be directly connected via a cable or wireless communication, or may be connected via a network.
  • the information processing device 20 of the present embodiment is a general-purpose personal computer, tablet, smartphone, large computer, virtual machine operating on the large computer, cloud computing system, or quantum computer.
  • the information processing device 20 may be a plurality of personal computers or the like that perform distributed processing.
  • the present embodiment relates to a catheter system 10 that outputs the success or failure of treatment by IVR based on tomographic images taken by using a diagnostic imaging catheter 40 before and after IVR.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 11 is an example of a screen displayed by the catheter system 10 of the third embodiment.
  • the screen shown in FIG. 11 includes a post-treatment longitudinal tomographic image column 522, a pre-treatment longitudinal tomographic image column 521, a cross-layer image column 51, a switching button 58, and a finding column 53.
  • pre-treatment longitudinal tomographic image column 521 a longitudinal tomographic image taken using the diagnostic imaging catheter 40 before the treatment with IVR is displayed.
  • post-treatment longitudinal tomographic image column 522 a longitudinal tomographic image taken by using the diagnostic imaging catheter 40 before the treatment by IVR is displayed.
  • a vertical tomographic image of a partially narrowed luminal organ is displayed in the pretreatment vertical tomographic image column 521.
  • a longitudinal tomographic image of a luminal organ whose stenosis is dilated by balloon angioplasty or the like is displayed.
  • the control unit 21 matches and displays the positions in the left-right direction of the pre-treatment vertical tomographic image column 521 and the post-treatment vertical tomographic image column 522 so that the positions in the longitudinal direction are aligned vertically. Matching is performed based on, for example, a branch of a side branch or a landmark such as a blood vessel present around the luminal organ into which the diagnostic imaging catheter 40 is inserted.
  • the control unit 21 may perform matching based on the insertion length of the diagnostic imaging catheter 40 inserted into the luminal organ.
  • the control unit may perform matching based on the positions of the tip marker 44 or the sensor 42 on the image taken by the diagnostic imaging apparatus 37 before and after the treatment, respectively.
  • the control unit 21 may match the cross sections of the vertical tomographic images before and after the treatment based on the cross-sectional layer image 485.
  • the control unit 21 performs matching based on the surrounding blood vessels, pericardium, etc. included in the cross-layer image 485 at the untreated position.
  • the vertical tomographic images before and after the treatment can be displayed in the same cross section.
  • a cross-layer position marker 551 indicating the position of the cross-layer image 485 displayed in the cross-layer image column 51 is displayed on the edge of the cross-layer position marker 551.
  • a vertical fault position marker 552 indicating the position of the vertical tomographic image displayed in the vertical tomographic image column 52 is displayed at the edge of the cross-layer image column 51.
  • the user can appropriately change the cross section to be displayed by operating the input device 32 to change the positions of the transverse layer position marker 551 and the longitudinal fault position marker 552.
  • the control unit 21 may accept voice input from the user.
  • the control unit 21 determines the success or failure of the treatment based on whether or not the judgment criteria set by the user is achieved before the treatment is performed.
  • the control unit 21 may determine the success or failure of the treatment based on a predetermined determination criterion for each treatment.
  • the control unit 21 displays the cross-layer image 485 displayed in the cross-layer image field 51 as an image before and after the treatment. Alternately switch between. The user can easily compare the tomographic images before and after the treatment.
  • the control unit 21 displays the cross-layer position marker 551 in the post-treatment longitudinal tomographic image column 522 as shown in FIG.
  • the control unit 21 displays the cross-layer position marker 551 in the pre-treatment longitudinal tomographic image column 521.
  • FIG. 12 is a flowchart illustrating a processing flow of the program of the third embodiment.
  • the control unit 21 acquires a determination criterion for determining the success or failure of the treatment (step S511).
  • the criterion is, for example, the degree of stenosis of the luminal organ as shown in FIG.
  • the criterion may be the minimum value of the inner diameter of the luminal organ, the inner diameter of the indwelling stent, or the like.
  • the criterion may be a qualitative state such as the presence or absence of blood flow stasis.
  • the control unit 21 receives input of a determination criterion by a user via, for example, an input device 32.
  • the control unit 21 may acquire the determination criteria recorded in the auxiliary storage device 23, which are predetermined for each type and portion of the IVR.
  • the control unit 21 takes a picture before performing the treatment and acquires one set of transverse layer images 485 stored in the auxiliary storage device 23 (step S512).
  • the control unit 21 may acquire a cross-sectional layer image 485 captured in real time from the catheter control unit 271.
  • the control unit 21 inputs the acquired cross-layer image 485 into the learning model 65 that outputs the findings corresponding to the determination criteria acquired in step S511, and acquires the findings (step S513).
  • the control unit 21 takes a picture after the treatment is completed and acquires one set of tomographic images 48 stored in the auxiliary storage device 23 (step S514).
  • the control unit 21 may acquire a cross-sectional layer image 485 captured in real time from the catheter control unit 271.
  • the control unit 21 inputs the acquired cross-layer image 485 into the learning model 65 that outputs the findings corresponding to the determination criteria acquired in step S511, and acquires the findings (step S515).
  • the control unit 21 determines the success or failure of the treatment based on the pre-treatment findings acquired in step S513, the post-treatment findings acquired in step S515, and the determination criteria acquired in step S511 (step S516).
  • the control unit 21 displays the success or failure of the treatment using the screen described with reference to FIG. 11 (step S517). After that, the control unit 21 ends the process.
  • the success or failure of the procedure is not limited to two choices, success and failure.
  • the control unit 21 may acquire a determination criterion for ranking three or more ranks in step S511.
  • the criterion may be determined by combining a plurality of findings.
  • control unit 21 may determine the success or failure of the treatment by using a learning model that outputs the success or failure of the treatment.
  • a catheter system 10 for determining the success or failure of a procedure. If the predetermined criteria are not met, the user can promptly take additional action. The burden on the patient's body can be significantly reduced compared to when additional treatment is required at a later date.
  • the catheter system 10 by matching and displaying the positions of the longitudinal tomographic images before and after the treatment, it is possible to provide the catheter system 10 in which the user can easily compare the states before and after the treatment. According to the present embodiment, by matching the cross sections of the longitudinal tomographic images before and after the treatment, it is possible to provide the catheter system 10 in which the user can accurately compare the states before and after the treatment.
  • the present embodiment relates to a catheter system 10 that superimposes and displays the position of a tomographic image taken by using the diagnostic imaging catheter 40 on an image acquired from the diagnostic imaging apparatus 37.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 13 is an example of a screen displayed by the catheter system 10 of the fourth embodiment.
  • the screen shown in FIG. 13 includes a finding column 53 and another device image column 59.
  • the findings acquired by the control unit 21 are displayed in the findings column 53.
  • the scan area 591 showing the position of the tomographic image taken by the diagnostic imaging catheter 40 is superimposed and displayed on the image column 59 of another device in a rectangular shape showing the outer shape of the vertical tomographic image.
  • the control unit 21 may display a vertical tomographic image in real time inside the scan area 591.
  • the control unit 21 may accept from the user a selection regarding the display form of the scan area 591.
  • the outline of the method of displaying the scan area 591 will be described by taking the case where the diagnostic imaging apparatus 37 is an X-ray angiography apparatus as an example.
  • the sensor 42 is mounted on a sensor marker that does not transmit X-rays. Since the tip marker 44 and the sensor marker do not transmit X-rays, they are clearly displayed in the medical image taken by the X-ray angiography apparatus.
  • the control unit 21 detects the tip marker 44 and the sensor marker from the medical image.
  • the detected sensor marker indicates the position of the sensor 42. For example, when a set of transverse layer images 485 is generated by using the pullback operation by the MDU 33, both ends of the operating range of the sensor 42 at the time of image acquisition correspond to the positions of the short sides of the scan area 591.
  • the control unit 21 determines the length of the short side of the scan area 591 based on the display range of the cross-layer image 485 and the scale of the image of another device.
  • the control unit 21 superimposes and displays a rectangular scan area 591 determined by the position of the short side and the length of the short side on the other device image field 59 displaying the medical image.
  • the control unit 21 sets the scan area 591 at the correct position in the image field 59 of the other apparatus. Can be displayed.
  • a plurality of cross-sectional layer position markers 551 are displayed in the scan area 591.
  • a cross-layer image column 51 displaying a cross-layer image 485 corresponding to each cross-layer position marker 551 is displayed around the other device image column 59.
  • the user can appropriately change the tomographic position of the cross-layer image 485 by moving the cross-layer position marker 551 via the input device 32.
  • the control unit 21 may accept voice input from the user.
  • the control unit 21 may switch and display the object arrangement image 482 and the cross-sectional layer image 485 based on the instruction by the user.
  • the control unit 21 may display the object arrangement image 482 and the transverse layer image 485 side by side.
  • the control unit 21 may display a vertical tomographic image or a vertical object arrangement image.
  • FIG. 14 is a flowchart illustrating a processing flow of the program of the fourth embodiment.
  • the control unit 21 acquires a transverse layer image 485 and a medical image from each of the catheter control unit 271 and the diagnostic imaging apparatus 37 at the time of one image acquisition (step S531).
  • the control unit 21 detects the tip marker 44 and the sensor marker from the medical image (step S532). For example, when a set of transverse layer images 485 is generated by using the pullback operation by the MDU33, the control unit 21 determines the position and dimensions of the scan area 591 based on the positions of the sensor markers detected at both ends of the pullback operation. do. The control unit 21 determines the position of the transverse layer position marker 551 based on the scan area 591 (step S533).
  • control unit 21 traces and displays the position corresponding to the scan area 591 on the medical image taken thereafter in real time.
  • the control unit 21 inputs the acquired cross-layer image 485 into the learning model 65 and acquires the findings (step S534).
  • the control unit 21 displays the screen described with reference to FIG. 13 on the display device 31 (step S535). After that, the control unit 21 ends the process.
  • a catheter system 10 that superimposes and displays the position of a tomographic image taken by using the diagnostic imaging catheter 40 on a medical image taken by the diagnostic imaging apparatus 37.
  • the user can easily change the position of the cross-sectional layer image 485 to be displayed by operating the cross-layer position marker 551.
  • the user can provide the catheter system 10 that can easily grasp the positional relationship between the tomographic image and the organs around the tomographic image.
  • the diagnostic imaging apparatus 37 is not limited to the X-ray angiography apparatus.
  • an ultrasonic diagnostic apparatus combined with an extracorporeal probe or a TEE (Transesophageal Echocardiography) probe can take a tomographic image different from that of the diagnostic imaging catheter 40 in real time.
  • TEE Transesophageal Echocardiography
  • the diagnostic imaging catheter 40 When the diagnostic imaging catheter 40 is equipped with both the ultrasonic sensor 42 and the OCT sensor 42, the cross-layer image 485 by ultrasonic waves and the cross-layer image 485 by OCT have substantially the same cross section. Can be photographed. For example, by superimposing the findings obtained from the cross-layer image 485 by OCT, which has excellent resolution, on the cross-layer image 485 by ultrasonic waves, which has better invasion depth than OCT, information that makes the best use of the advantages of both can be displayed.
  • a catheter system 10 for display can be provided.
  • Medical images are not limited to medical images taken in real time.
  • the control unit 21 has a scan area 591 on a medical image taken by an arbitrary diagnostic imaging device such as a CT, MRI, PET, X-ray angiography device, or ultrasonic diagnostic device and recorded in an electronic medical record or the like. May be superimposed and displayed.
  • the control unit 21 determines the position of the scan area 591 based on the branch of the blood vessel, the position of the heart, and the like included in each image.
  • the processing of the present embodiment may be executed on the diagnostic imaging device 37 side and displayed on the display device connected to the diagnostic imaging device 37.
  • FIG. 15 is an example of a screen displayed by the catheter system 10 of the first modification of the fourth embodiment.
  • the screen shown in FIG. 15 has a cross-layer image column 51 and another device schema column 592.
  • a schema schematically representing a luminal organ is used.
  • the position on the schema corresponding to the tomographic image shown in the cross-layer image column 51 is indicated by the thick arrow-shaped catheter marker 593.
  • the control unit 21 determines and displays the position of the catheter marker 593 on the schema based on the correspondence between the medical image and the schema.
  • the schema since the schema is used, it is possible to provide the catheter system 10 in which the user can more easily grasp the position of the tomographic image.
  • FIG. 16 is an example of a screen displayed by the catheter system 10 of the second modification of the fourth embodiment.
  • the screen shown in FIG. 15 has a finding column 53, another device schema column 592, a transverse layer schema column 595, and a transverse layer image column 51.
  • a schema and a catheter marker 593 are displayed in a three-dimensional schematic diagram.
  • a schema of the cross-layer image 485 is displayed in the cross-layer schema column 595.
  • the schema of the transverse layer image 485 may be automatically generated based on the transverse layer image 485, or may be selected and displayed from the schemas stored in the auxiliary storage device 23 for each site and type of lesion.
  • the cross-layer image 485 taken by the diagnostic imaging catheter 40 is displayed in the cross-layer image column 51.
  • the vertical tomographic image column 52 may be displayed instead of the cross-layer image column 51 or together with the cross-layer image column 51.
  • the control unit 21 displays the catheter marker 593 indicating the vertical fault in the schema column 592 of the other device.
  • the schema is three-dimensional, it is possible to provide the catheter system 10 in which the user can easily grasp the position and orientation of the tomographic image.
  • the present embodiment relates to a program that generates a first learning model 651 and a second learning model 652, respectively.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 17 is an explanatory diagram for explaining the record layout of the training data DB (Database).
  • the training data DB is a database that records the input and the correct answer label in association with each other, and is used for training the model by machine learning.
  • the training data DB has a tomographic image data field, a qualitative field, and a quantitative field.
  • the qualitative field has a field corresponding to the qualitative findings output by the first learning model 651, such as a treatment necessity field, a blood flow stasis field, and a bifurcation field.
  • the quantitative field has fields corresponding to the quantitative findings output by the second learning model 652, such as an eccentricity field, a stenosis degree field, and an inner diameter field.
  • a set of cross-layer images 485 is recorded in the tomographic image data field.
  • the result of the expert's determination of the need for treatment based on the cross-layer image 485 recorded in the tomographic image data field is displayed.
  • the presence or absence of blood flow stasis is recorded in the blood flow stasis field, and the presence or absence of branching is recorded in the branch field.
  • the training data DB has one record for one set of cross-layer images 485.
  • the training data DB there are a large number of combinations of a set of transverse layer images 485 taken using the diagnostic imaging catheter 40 and measurement results such as the presence or absence of treatment necessity and the degree of eccentricity judged by a specialist doctor or the like. It has been recorded.
  • the set of the cross-layer images 485 recorded in the tomographic image data field is used as the input data, and the data recorded in each of the qualitative fields is used as the correct answer label.
  • the set of the cross-layer images 485 recorded in the tomographic image data field is used as the input data, and the data recorded in each of the quantitative fields is used as the correct answer label.
  • FIG. 18 is a flowchart illustrating a processing flow of the program of the fifth embodiment. A case where machine learning of each of the first learning model 651 and the second learning model 652 is performed using the information processing device 20 will be described as an example.
  • the program of FIG. 18 is executed on hardware different from the information processing device 20, and the first learning model 651 and the second learning model 652 for which machine learning has been completed may be copied to the auxiliary storage device 23 via the network. ..
  • the first learning model 651 and the second learning model 652 trained by one hardware can be used by a plurality of information processing devices 20.
  • an unlearned model such as a CNN having a convolutional layer, a pooling layer, a fully connected layer and a softmax layer 655 is prepared.
  • the unlearned model is not limited to CNN. Any type of model can be used, for example a decision tree or a random forest.
  • the program of FIG. 18 adjusts each parameter of the prepared model to perform machine learning.
  • the control unit 21 acquires a training record used for training one epoch from the training data DB (step S621).
  • the number of training records used for training one epoch is a so-called hyperparameter and is appropriately determined.
  • the control unit 21 generates an input image from the input data included in each of the acquired training records (step S622). Specifically, the control unit 21 combines the cross-layer images 485 included in the tomographic image field in the order of scanning to generate a single image. A combined tomographic image may be recorded in the tomographic image data field.
  • the control unit 21 adjusts the model parameters so that the correct label is output from the output layer when the input data vector is input to the input layer of the model (step S623).
  • the control unit 21 determines whether or not to end the process (step S624). For example, when the control unit 21 finishes learning a predetermined number of epochs, it determines that the process is finished.
  • the control unit 21 may acquire test data from the training data DB, input it to the model being machine-learned, and determine that the process ends when an output with a predetermined accuracy is obtained.
  • step S624 If it is determined that the process is not completed (NO in step S624), the control unit 21 returns to step S621.
  • the control unit 21 records the parameters of the trained model in the auxiliary storage device 23 (step S625). After that, the control unit 21 ends the process.
  • a trained model is generated.
  • the training data DB may be created separately for, for example, a database for generating the first learning model 651 and a database for generating the second learning model 652.
  • the first learning model 651 and the second learning model 652 can be generated by machine learning.
  • the present embodiment relates to a catheter system 10 in which the findings output by the learning model 65 can be modified by the user.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 19 is an explanatory diagram for explaining the record layout of the modified DB.
  • the correction DB is a database that records correction information in which the findings output by the catheter system 10 are associated with the correction by the user.
  • the modified DB has a tomographic image data field, a qualitative data field, and a quantitative data field.
  • the qualitative and quantitative data fields have output fields and correction fields, respectively.
  • a set of cross-layer images 485 is recorded in the tomographic image data field.
  • the qualitative findings output by the control unit 21 to the display device 31 are recorded.
  • the modified field of the qualitative data field records the qualitative findings modified by the user.
  • the modified field of the quantitative data field records the quantitative findings modified by the user.
  • the modification DB has one record for each user modification to the set of cross-layer images 485.
  • FIG. 20 is an example of a screen displayed by the catheter system of the sixth embodiment.
  • FIG. 20 is a screen that the control unit 21 displays on the display device 31 when the user instructs the user to correct the qualitative findings while displaying the screen described with reference to FIG. 6, for example.
  • the screen shown in FIG. 20 includes a cross-layer image column 51, a candidate label column 571, a correct label column 572, and a free description column 573.
  • a candidate label column 571 label candidates showing qualitative findings are displayed.
  • the correct answer label column 572 a label determined by the user to be the correct answer is displayed.
  • the control unit 21 may accept input by voice input. For example, when the user utters "correct answer, hematoma", the control unit 21 moves the label of "hematoma" in the first line of the candidate label column 571 to the correct answer label column 572.
  • the user can enter an arbitrary finding using the free description field 573. Although not shown, the user can similarly change the quantitative findings as appropriate.
  • the control unit 21 reflects the correction result by the user in the report explained using FIG. Even in cases where the learning model 65 cannot make an accurate judgment, it is possible to create an appropriate report that reflects the judgment of the doctor who is the user.
  • the correction content entered by the user using the screen of FIG. 20 is recorded in the correction DB described using FIG.
  • the data recorded in the modification DB is used for re-learning the learning model 65, modifying hyperparameters used during machine learning by a machine learning engineer, and the like.
  • FIG. 21 is a functional block diagram of the catheter system of Embodiment 7.
  • the catheter system 10 includes an acquisition unit 86 and an output unit 87.
  • the acquisition unit 86 acquires a tomographic image generated by using the diagnostic imaging catheter 40 inserted into the luminal organ.
  • the output unit 87 inputs the tomographic image acquired by the acquisition unit 86 into the learning model 65 that outputs the findings regarding the state of the tract organ or the state around the tract organ when the tomographic image is input, and learns.
  • the findings output from the model 65 are output.
  • FIG. 22 is an explanatory diagram illustrating the configuration of the catheter system 10 of the eighth embodiment.
  • the present embodiment relates to a mode in which the information processing apparatus 20 of the present embodiment is realized by operating a general-purpose computer 90 and a program 97 in combination. The description of the parts common to the second embodiment will be omitted.
  • the catheter system 10 of this embodiment includes a computer 90.
  • the computer 90 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display unit 25, an input unit 26, a reading unit 29, and a bus.
  • the computer 90 is an information device such as a general-purpose personal computer, a tablet, a smartphone, or a server computer.
  • Program 97 is recorded on the portable recording medium 96.
  • the control unit 21 reads the program 97 via the reading unit 29 and stores it in the auxiliary storage device 23. Further, the control unit 21 may read the program 97 stored in the semiconductor memory 98 such as the flash memory mounted in the computer 90. Further, the control unit 21 may download the program 97 from the communication unit 24 and another server computer (not shown) connected via a network (not shown) and store the program 97 in the auxiliary storage device 23.
  • the program 97 is installed as a control program of the computer 90, loaded into the main storage device 22, and executed. As a result, the computer 90 functions as the information processing device 20 described above.
  • Catheter system 20 Information processing device 21 Control unit 22 Main storage device 23 Auxiliary storage device 24 Communication unit 25 Display unit 26 Input unit 27 Catheter control device 271 Catheter control unit 29 Reading unit 31 Display device 32 Input device 33 MDU 37 Diagnostic imaging device 40 Diagnostic imaging catheter 41 Probe part 42 Sensor 43 Shaft 44 Tip marker 45 Connector part 48 Tomographic image 485 Transverse layer image (tomographic image) 51 Cross-layer image column 52 Vertical tomographic image column 521 Pre-treatment vertical tomographic image column 522 Post-treatment vertical tomographic image column 53 Finding column 531 Qualitative evaluation column 532 Quantitative evaluation column 542 Summary column 543 Detailed column 551 Transverse layer position marker 552 Longitudinal section Layer position marker 56 Evidence display column 561 Evidence marker 571 Candidate label column 572 Correct answer label column 573 Free description column 58 Switch button 59 Other device image column 591 Scan area 592 Other device schema column 593 Catheter marker 595 Cross-layer schema column 65 Learning model 651 First learning model (learning model) 652 Second learning model

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

カテーテルシステムを容易に使用できるようにするプログラム等を提供すること。　プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像（４８５）を取得し、断層像（４８５）を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデル（６５１）に、取得した前記断層像（４８５）を入力して、前記学習モデル（６５１）から出力された所見を出力する処理をコンピュータに実行させる。

Description

プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
　本発明は、プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システムに関する。
　血管等の管腔器官に画像診断用カテーテルを挿入して、断層像を撮影するカテーテルシステムが使用されている（特許文献１）。
国際公開第２０１７／１６４０７１号
　画像診断用カテーテルを用いて撮影した断層像の読影には熟練を要する。そのため、カテーテルシステムを使用するためには長時間のトレーニングが必要である。
　一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供することを目的とする。
　プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルに、取得した前記断層像を入力して、前記学習モデルから出力された所見を出力する処理をコンピュータに実行させる。
　一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供できる。
カテーテルシステムの概要を説明する説明図である。 画像診断用カテーテルの概要を説明する説明図である。 カテーテルシステムの構成を説明する説明図である。 第１学習モデルの構成を説明する説明図である。 第２学習モデルの構成を説明する説明図である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の例である。 レポートの例である。 プログラムの処理の流れを説明するフローチャートである。 実施の形態２のカテーテルシステムの構成を説明する説明図である。 実施の形態３のカテーテルシステムが表示する画面の例である。 実施の形態３のプログラムの処理の流れを説明するフローチャートである。 実施の形態４のカテーテルシステムが表示する画面の例である。 実施の形態４のプログラムの処理の流れを説明するフローチャートである。 実施の形態４の変形例１のカテーテルシステムが表示する画面の例である。 実施の形態４の変形例２のカテーテルシステムが表示する画面の例である。 訓練データＤＢのレコードレイアウトを説明する説明図である。 実施の形態５のプログラムの処理の流れを説明するフローチャートである。 修正ＤＢのレコードレイアウトを説明する説明図である。 実施の形態６のカテーテルシステムが表示する画面の例である。 実施の形態７のカテーテルシステムの機能ブロック図である。 実施の形態８のカテーテルシステムの構成を説明する説明図である。
［実施の形態１］
　図１は、カテーテルシステム１０の概要を説明する説明図である。カテーテルシステム１０は、画像診断用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等である。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。
　図２は、画像診断用カテーテル４０の概要を説明する説明図である。画像診断用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。プローブ部４１は、コネクタ部４５を介してＭＤＵ３３に接続される。以下の説明では画像診断用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。
　プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。プローブ部４１の先端部近傍に、環状の先端マーカ４４が固定されている。
　ＭＤＵ３３の機能により、プローブ部４１の内部でセンサ４２およびシャフト４３が回転しながら進退可能である。センサ４２を一定の速度でＭＤＵ３３側に向けて引っ張りながら回転させるプルバック操作により、プローブ部４１を中心とし、プローブ部４１に略垂直な複数枚の横断層像４８５（図４参照）が、所定の間隔で連続的に撮影される。
　センサ４２は、たとえば超音波の送受信を行なう超音波トランスデューサ、または、近赤外光の照射と反射光の受信を行なうＯＣＴ（Optical Coherence Tomography）用の送受信部である。画像診断用カテーテル４０が挿入されて、使用される管腔器官は、たとえば血管、膵管、胆管または気管支等である。
　図２は、血管の内側から超音波断層像を撮影する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用の画像診断用カテーテル４０の例を示す。以下の説明では、画像診断用カテーテル４０はＩＶＵＳ用カテーテルである場合を例にして説明する。
　なお、画像診断用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像診断用カテーテル４０であってもよい。
　画像診断用カテーテル４０は、長手方向に沿って複数の超音波トランスデューサを一列に配置した、いわゆるリニア走査型のセンサ４２を有してもよい。画像診断用カテーテル４０は、複数の超音波トランスデューサをマトリクス状に配置した、いわゆる２次元アレイ型のセンサ４２を有してもよい。
　画像診断用カテーテル４０は、血管壁等の管腔壁に加えて、たとえば赤血球等の管腔器官の管腔内部に存在する反射体、および、たとえば心嚢、心臓等の管腔器官の外側に存在する臓器を含む断層像を撮影できる。
　以後の説明においては、縦断層像を生成可能な複数の横断層像４８５の組を１セットの横断層像４８５と記載する。同様に、画像診断用カテーテル４０を使用して縦断層像を生成可能な１セットの横断層像４８５を取得することを、１回の画像取得と記載する。
　１セットの横断層像４８５は、たとえばＭＤＵ３３による１回のプルバック操作により取得される。１セットの横断層像４８５は、ユーザが手動で画像診断用カテーテル４０の押し引き操作を行なっている間に取得されてもよい。ここで画像診断用カテーテル４０の押し引き操作には、プローブ部４１を押し引きする操作と、プローブ部４１の内部でセンサ４２を押し引きする操作との両方を含む。
　たとえば、ユーザはセンサ４２を略一定の速度で引き戻す操作、または、押し込む操作を行なう。ユーザが音声入力等により取得開始を指示してから、取得終了を指示するまでの間に取得された横断層像４８５が、１セットの横断層像４８５を構成する。
　ユーザがセンサ４２を押し引きする量を検出するセンサ等を設けてもよい。ユーザがセンサ４２を所定の範囲にわたって引き戻す間、または押し込む間に取得された画像が、１セットの横断層像４８５を構成する。
　センサ４２の位置を検出可能である場合には、ユーザはセンサ４２の押し引き操作を任意の速度および向きで行なってもよい。プローブ部４１の長手方向に沿った順番に並べ替えた横断層像４８５が、１セットの横断層像４８５を構成する。横断層像４８５間の間隔が一定でない場合には、それぞれの横断層像４８５にはプローブ部４１の長手方向に沿った位置情報が関連づけて記録される。なお、以下の説明では、横断層像４８５の間隔が一定である場合を例に説明する。
　図３は、カテーテルシステム１０の構成を説明する説明図である。前述の通りカテーテルシステム１０は、情報処理装置２０、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。
　制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
　主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
　補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、学習モデル６５およびプログラムの実行に必要な各種データが保存される。学習モデル６５は、第１学習モデル６５１および第２学習モデル６５２を含む。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。
　表示部２５は、表示装置３１とバスとを接続するインターフェイスである。入力部２６は、入力装置３２とバスとを接続するインターフェイスである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像４８５および縦断層像の生成等を行なう。カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。
　情報処理装置２０は、ＨＩＳ（Hospital Information System）等を介して、Ｘ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置等の様々な画像診断装置３７と接続されている。
　本実施の形態の情報処理装置２０は、専用の超音波診断装置、または、超音波診断装置の機能を有するパソコン、タブレット、または、スマートフォン等である。
　図４は、第１学習モデル６５１の構成を説明する説明図である。第１学習モデル６５１は、１セットの横断層像４８５を受け付けて、治療の要否、血流うっ滞の有無、または分岐の有無等、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力するモデルである。なお、「治療の要否」は、管腔器官の内部で処置を行なうＩＶＲ（Interventional Radiology）の要否であっても、服薬および食事療法等を含む一般的な治療の要否であってもよい。
　第１学習モデル６５１が出力する所見は、複数の項目のそれぞれに対する「有」、「無」等の所定の選択肢に関する確率である。表１から表５に、第１学習モデル６５１が確率を出力する項目の例を示す。表１から表５の１つの行は、一つの項目を示す。第１学習モデル６５１は、それぞれの項目ごとに選択肢の確率を出力する。表１から表５に、第１学習モデル６５１が出力する所見に含まれる項目の例を示す。
　表１は、治療の要否に関する情報を示す。
Figure JPOXMLDOC01-appb-T000001
　表２は、血流情報に関する項目を示す。
Figure JPOXMLDOC01-appb-T000002
　表３は、管腔器官および管腔器官周囲の定性的形状情報に関する項目を示す。
Figure JPOXMLDOC01-appb-T000003
　表４は、管腔器官および管腔器官周囲の性状を示す性状情報に関する項目を示す。
Figure JPOXMLDOC01-appb-T000004
　表４に示す「ステント内狭窄」は、たとえば数か月から数年前に管腔器官内に留置したステントの狭窄の有無を示す。ステント留置の処置の直後に横断層像４８５を撮影した場合には、留置したステントの狭窄の有無を示す。すなわち、横断層像４８５は未処置管腔器官の断層像であっても、処置後の経過観察中の管腔器官の断層像であっても、一連の管腔器官内処置の終了直後に撮影した管腔器官の断層像であってもよい。
　表５は、管腔器官内に配置されたステント等の留置デバイスの状態を示すデバイス情報に関する項目を示す。
Figure JPOXMLDOC01-appb-T000005
　表１から表５に示す各項目は例示である。第１学習モデル６５１は、表１から表５に示す項目の一部に対する確率を出力してもよい。第１学習モデル６５１は、表１から表５に示す項目以外の項目に対する確率を出力してもよい。
　表１から表５に示す各項目の選択肢は例示である。たとえば各表で「有」、「無」の２択で表示した項目について、「大」、「小」、「無」等の３択以上の選択肢を用いてもよい。
　前述のとおり、第１学習モデル６５１は、１セットの横断層像４８５の入力を受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力するモデルである。
　第１学習モデル６５１は、たとえばＭＤＵ３３による１回のプルバック操作で取得された１セットの横断層像４８５を受け付ける。第１学習モデル６５１は、１回のプルバック操作で得た横断層像４８５のうちの半分、または１／３等、一部分の横断層像４８５の入力を受け付けてもよい。第１学習モデル６５１は、センサ４２を手動操作で進退させて得た１セットの横断層像４８５の入力を受け付けてもよい。第１学習モデル６５１は１枚の横断層像４８５の入力を受け付けて、管腔器官、または、当該管腔器官周辺の状態の状態に関する所見を出力するモデルであってもよい。
　第１学習モデル６５１は、入力層と、ニューラルネットワーク６５９と、複数のソフトマックス層６５５と、出力層とを備える。ニューラルネットワーク６５９は、たとえば複数の畳込み層とプーリング層との組と、全結合層とを有するＣＮＮ（Convolutional Neural Network）である。表１から表５に示す１つの行について、１つのソフトマックス層６５５が設けられている。
　入力層には、１セットの横断層像４８５を走査順に結合して１枚にした画像が入力される。ニューラルネットワーク６５９およびソフトマックス層６５５を介して、出力層に表１から表５に示す各項目に対する確率を出力する。
　たとえば図４においては、「治療の必要性」については「無」である確率が９５パーセント、「血流うっ滞」については「無」である確率が９０パーセント、「分岐」については「有」である確率が９０パーセントである。なお、第１学習モデル６５１は、表１から表５についてそれぞれ分かれていてもよい。第１学習モデル６５１は、出力する項目ごとにそれぞれ分かれていてもよい。
　ソフトマックス層６５５の後段に、最も確率が高い選択肢を選択して出力する選択層が設けられていてもよい。
　図５は、第２学習モデル６５２の構成を説明する説明図である。第２学習モデル６５２は、横断層像４８５を受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する定量的な所見を出力するモデルである。第２学習モデル６５２が出力する所見は、複数の項目のそれぞれの値に関する確率である。表６に、第２学習モデル６５２が確率を出力する所見に含まれる項目の例を示す。表６の１つの行は、一つの項目を示す。
Figure JPOXMLDOC01-appb-T000006
　表６に示す各項目は定量的形状情報の例示である。第２学習モデル６５２は、表５に示す項目の一部に対する確率を出力してもよい。第２学習モデル６５２は、たとえば狭窄部の長さ等、表６に示す項目以外の項目に対する確率を出力してもよい。
　第２学習モデル６５２は、入力層と、ニューラルネットワーク６５９と、複数のソフトマックス層６５５と、出力層とを備える。ニューラルネットワーク６５９は、ニューラルネットワーク６５９は、たとえば複数の畳込み層とプーリング層との組と、全結合層とを有するＣＮＮである。表６に示す１つの行について、１つのソフトマックス層６５５が設けられている。
　入力層には、１セットの横断層像４８５を走査順に結合して１枚にした画像が入力される。ニューラルネットワーク６５９およびソフトマックス層６５５を介して、出力層に表６に示す各項目の値が、所定の範囲である確率をそれぞれ出力する。
　たとえば図５においては、「偏心度」については「０パーセント以上１０パーセント未満」である確率が０パーセント、「１０パーセント以上２０パーセント未満」である確率が１０パーセントである。
　第２学習モデル６５２は、１セットの横断層像４８５における各項目の平均値、最大値または最小値等の代表値の確率を出力する。
　第２学習モデル６５２は、それぞれの横断層像４８５について表６に示す各項目の確率を出力してもよい。このようにする場合には、入力層には１枚の横断層像４８５を入力しても、対象となる横断層像４８５およびその前後数枚の横断層像４８５を入力してもよい。
　なお、図５に示す数値の区切りは例示である。第２学習モデル６５２は、たとえば５パーセントごと、または２０パーセントごと等、任意の区切りで確率を出力してもよい。
　ソフトマックス層６５５の後段に、最も確率が高い選択肢を選択して出力する選択層が設けられていてもよい。選択層は、それぞれの選択肢の代表値と確率とに基づいて、たとえば加重平均等の演算を行なった結果を出力してもよい。
　制御部２１は、第２学習モデル６５２を使用する代わりに、横断層像４８５の画像処理により管腔器官の内壁を抽出して、表６に示す各項目を算出してもよい。画像から境界を抽出し、長さ等を算出する手法は従来から使用されているため、詳細については説明を省略する。
　表６に示す各項目は、数値ではなく程度で判定されてもよい。表７に、表６と同じ項目を程度により判定する場合の項目例を示す。程度で判定する場合には、図４を使用して説明した第１学習モデル６５１を用いて各項目の確率を出力できる。
Figure JPOXMLDOC01-appb-T000007
　第１学習モデル６５１および第２学習モデル６５２には、カテーテル制御部２７１がセンサ４２から取得した音線データ等の、横断層像４８５を形成する前段階のデータが入力されてもよい。
　図６は、カテーテルシステム１０が表示する画面の例である。図６に示す画面は、横断層像欄５１と、縦断層像欄５２と、所見欄５３とを含む。横断層像欄５１には、前述の横断層像４８５が表示されている。縦断層像欄５２には、カテーテル制御部２７１が生成した縦断層像が表示されている。
　縦断層像欄５２の縁に、横断層像欄５１に表示されている横断層像４８５の位置を示す横断層位置マーカ５５１が表示されている。横断層像欄５１の縁近傍に、縦断層像欄５２に表示されている縦断層像の位置を示す縦断層位置マーカ５５２が表示されている。ユーザは、入力装置３２を操作して横断層位置マーカ５５１および縦断層位置マーカ５５２の位置を変更することにより、表示する断面を適宜変更できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。
　所見欄５３は、定性的評価欄５３１および定量的評価欄５３２を含む。定性的評価欄５３１には、図４を使用して説明した第１学習モデル６５１から出力された定性的な所見のうち、所定の閾値を超える確率を示す項目が列挙されている。定量的評価欄５３２には、図５を使用して説明した第２学習モデル６５２から出力された定量的所見の各項目が表示されている。
　なお、制御部２１は、横断層像欄５１と縦断層像欄５２とを同一の縮尺で表示してもよい。
　図７は、カテーテルシステム１０が表示する画面の例である。ユーザが、図６を使用して説明した画面の所見欄５３の項目を選択して、根拠を示すように指示した場合に、制御部２１は図７に示す画面を表示する。図７は、ユーザが「フラップ：８０パーセント」の判定の根拠を示すように表示した場合の例を示す。
　図７に示す画面は横断層像欄５１および根拠表示欄５６を含む。横断層像欄５１には横断層像４８５が表示されている。根拠表示欄５６には「フラップ：８０パーセント」の判定の根拠となった根拠領域を示す根拠マーカ５６１を重畳させた横断層像４８５が表示されている。根拠マーカ５６１は、所見欄５３に示す所見の根拠に関する根拠情報の一例である。
　なお、図６を使用して説明した画面に「フラップ」の判定根拠になった部分が十分に含まれていない場合、制御部２１は「フラップ」の判定根拠になった部分を含む横断層像４８５を抽出して、横断層像欄５１および根拠表示欄５６に表示する。
　制御部２１は、たとえばＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ－ＣＡＭ＋＋等のモデル可視化手法により、根拠領域を抽出する。根拠領域は、学習モデル６５に入力された複数の横断層像４８５中の、ユーザにより指定された項目の出力に強く影響した領域である。根拠マーカ５６１は、出力への影響度が高い場所ほど細かいハッチングを用いて表示されている。
　ユーザは横断層像欄５１と根拠表示欄５６とを見比べることにより、制御部２１による判定の根拠が妥当であるか否かを専門的見地に基づいて判断できる。なお、図７を使用して説明した画面に、縦断層像が表示されていてもよい。制御部２１は、縦断層像に根拠マーカ５６１を重畳して表示してもよい。
　図８は、レポートの例である。制御部２１は、図８を使用して説明するレポートを、たとえば紙に印刷するか、またはＰＤＦ（Portable Document Format）形式等のファイル形式で出力する。レポートは、他の医師宛への報告書等に使用される。レポートは、ＨＩＳを介して電子カルテに記録されてもよい。
　レポートは、患者情報欄５４１、サマリー欄５４２および詳細欄５４３を含む。患者情報欄５４１には、患者氏名、患者ＩＤ、性別および検査日等の患者情報が表示されている。サマリー欄５４２には、カテーテルシステム１０を使用した検査の概要がテキストで記録されている。サマリー欄５４２の記載事項は、学習モデル６５の出力に基づいて制御部２１が自動的に生成しても、ユーザが入力してもよい。
　図８に示す例では、サマリー欄５４２の上部に管腔器官の解離所見がある旨が文字で表示されている。その下に、解離所見が表れている断層像が表示された縦断層像欄５２および横断層像欄５１が表示されている。縦断層像欄５２の縁に表示された横断層位置マーカ５５１により、ユーザは縦断層像のどの部分に解離が発生しているのかを確認できる。
　横断層像欄５１の隣に、解離所見の根拠を示す根拠表示欄５６が表示されている。横断層像欄５１と根拠表示欄５６との表示されている横断層像４８５は同一である。根拠表示欄５６の横断層像４８５に重畳された根拠マーカ５６１により、ユーザはサマリー欄５４２の上部に表示された「解離所見」の根拠を確認できる。
　図９は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、カテーテル制御部２７１から１セット分の横断層像４８５を取得する（ステップＳ５０１）。制御部２１は、取得した横断層像４８５を第１学習モデル６５１および第２学習モデル６５２に入力して、定性的所見および定量的所見を取得する（ステップＳ５０２）。制御部２１は、図６を使用して説明した画面を表示装置３１に表示する（ステップＳ５０３）。
　制御部２１は、根拠を表示する指示をユーザから受け付けたか否かを判定する（ステップＳ５０４）。ユーザは、たとえば所見欄５３内の項目をダブルクリックする等の操作により、根拠を表示する指示を入力できる。制御部２１は、ユーザからの音声入力を受け付けてもよい。
　根拠を表示する指示を受け付けたと判定した場合（ステップＳ５０４でＹＥＳ）、制御部２１は根拠を表示する項目を取得する（ステップＳ５０５）。制御部２１は、たとえばＧｒａｄ－ＣＡＭ、またはＧｒａｄ－ＣＡＭ＋＋等のモデル可視化手法により、ステップＳ５０５で取得した項目と関連する根拠領域を抽出する（ステップＳ５０６）。
　制御部２１は、図７を使用して説明した画面を使用して、根拠マーカ５６１を重畳した横断層像４８５を根拠表示欄５６に表示する（ステップＳ５０７）。根拠を表示する指示を受け付けていないと判定した場合（ステップＳ５０４でＮＯ）、またはステップＳ５０７の終了後、制御部２１は処理を終了する。
　本実施の形態によると、画像診断用カテーテル４０を用いて撮影した断層像に基づいて様々な所見を表示するカテーテルシステム１０を提供できる。断層像の読影に十分に習熟していないユーザであっても容易に使用できるカテーテルシステム１０を提供できる。本実施の形態によると、定性的評価と定量的評価の両方を表示するカテーテルシステム１０を提供できる。
　本実施の形態によると、根拠マーカ５６１により所見の根拠である領域を表示するカテーテルシステム１０を提供できる。ユーザは、根拠マーカ５６１により、制御部２１による判定が妥当であるか否かを判断できる。根拠マーカ５６１を重畳していない断層像と、重畳した断層像を並べて表示することにより、根拠マーカ５６１により断層像の読影が妨げられないカテーテルシステム１０を提供できる。
　本実施の形態によると、自動的にレポートを出力するカテーテルシステム１０を提供できる。したがって看護師等のコメディカルスタッフ、および他科の医師等との情報共有を効率的に行えるカテーテルシステム１０を提供できる。
　第１学習モデル６５１および第２学習モデル６５２には、横断層像４８５に加えて画像診断装置３７を用いて撮影した画像、血圧、心拍数または酸素飽和度等の、リアルタイムで取得した医療情報が入力されてもよい。
　第１学習モデル６５１および第２学習モデル６５２には、横断層像４８５に加えて既往症、身長、体重、過去に画像診断装置３７を用いて撮影した画像等の、電子カルテから取得した医療情報が入力されてもよい。第１学習モデル６５１に入力される医療情報と、第２学習モデル６５２に入力される医療情報とは、同一であっても、異なっていてもよい。
　このようにする場合、第１学習モデル６５１は、横断層像４８５と医療情報とを受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する所見を出力する。同様に第２学習モデル６５２は、横断層像４８５と医療情報とを受け付けて、管腔器官の状態、または、当該管腔器官周辺の状態に関する定量的な所見を出力する。
　横断層像４８５に加えて、リアルタイムまたは非リアルタイムに取得した医療情報を第１学習モデル６５１または第２学習モデル６５２の入力データに含めることにより、精度の高い所見を出力するカテーテルシステム１０を提供できる。
　本実施の形態によると、過去にステント留置等の処置を行なった管腔器官、未処置の管腔器官、および、管腔内処置の終了直後の管腔器官のいずれについても所見を表示するカテーテルシステム１０を提供できる。
［実施の形態２］
　本実施の形態は、カテーテル制御装置２７と情報処理装置２０とが別体であるカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１０は、実施の形態２のカテーテルシステム１０の構成を説明する説明図である。本実施の形態のカテーテルシステム１０は、情報処理装置２０、カテーテル制御装置２７、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。
　カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像４８５および縦断層像の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。
　カテーテル制御装置２７と情報処理装置２０とは、ケーブルまたは無線通信を介して直接接続されていても、ネットワークを介して接続されていてもよい。
　本実施の形態の情報処理装置２０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。情報処理装置２０は、分散処理を行なう複数のパソコン等であってもよい。
［実施の形態３］
　本実施の形態は、ＩＶＲの前後でそれぞれ画像診断用カテーテル４０を用いて撮影した断層像に基づいて、ＩＶＲによる処置の成否を出力するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１１は、実施の形態３のカテーテルシステム１０が表示する画面の例である。図１１に示す画面は、処置後縦断層像欄５２２、処置前縦断層像欄５２１、横断層像欄５１、切替ボタン５８および所見欄５３を含む。
　処置前縦断層像欄５２１には、ＩＶＲによる処置を行なう前に画像診断用カテーテル４０を使用して撮影した縦断層像が表示されている。処置後縦断層像欄５２２には、ＩＶＲによる処置を行なう前に画像診断用カテーテル４０を使用して撮影した縦断層像が表示されている。
　図１１において、処置前縦断層像欄５２１には一部が狭窄した管腔器官の縦断層像が表示されている。処置後縦断層像欄５２２には、バルーン血管形成術等により狭窄部を拡張した管腔器官の縦断層像が表示されている。
　制御部２１は、処置前縦断層像欄５２１と処置後縦断層像欄５２２とは、長手方向の位置が上下に揃うように、左右方向の位置をマッチングして表示する。マッチングはたとえば側枝の分岐、または、画像診断用カテーテル４０が挿通されている管腔器官の周辺に存在する血管等のランドマークに基づいて行われる。
　制御部２１は、画像診断用カテーテル４０を管腔器官に挿入した挿入長に基づいて、マッチングを行なってもよい。制御部は、処置前後にそれぞれ画像診断装置３７により撮影した画像上の先端マーカ４４またはセンサ４２の位置に基づいてマッチングを行なってもよい。
　制御部２１は、横断層像４８５に基づいて処置前後の縦断層像の断面をマッチングしてもよい。制御部２１は処置を行なっていない位置の横断層像４８５に含まれる周辺の血管、心嚢等に基づいてマッチングを行なう。このようにした場合、処置前後の縦断層像を同一の向きの断面で表示できる。
　横断層位置マーカ５５１の縁に、横断層像欄５１に表示されている横断層像４８５の位置を示す横断層位置マーカ５５１が表示されている。横断層像欄５１の縁に、縦断層像欄５２に表示されている縦断層像の位置を示す縦断層位置マーカ５５２が表示されている。ユーザは、入力装置３２を操作して横断層位置マーカ５５１および縦断層位置マーカ５５２の位置を変更することにより、表示する断面を適宜変更できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。
　所見欄５３に、処置の成否に関する所見および処置前後の状態の比較が表示されている。制御部２１は、処置を行なう前にユーザが設定した判定基準の達成有無に基づいて処置の成否を判定する。制御部２１は、それぞれの処置に対してあらかじめ定められた判定基準に基づいて処置の成否を判定してもよい。
　ユーザが、横断層像欄５１の上部に表示された切替ボタン５８を選択した場合、制御部２１は横断層像欄５１に表示する横断層像４８５を処置前の画像と処置後の画像との間で交互に切り替える。ユーザは、処置前後の断層像を容易に比較できる。
　横断層像欄５１に処置後断層像を表示している場合には、制御部２１は図１１に示すように横断層位置マーカ５５１を処置後縦断層像欄５２２に表示する。横断層像欄５１に処置前断層像を表示している場合には、制御部２１は横断層位置マーカ５５１を処置前縦断層像欄５２１に表示する。
　図１２は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。制御部２１は、処置の成否を判定する判定基準を取得する（ステップＳ５１１）。判定基準は、たとえば図１１に示したように管腔器官の狭窄度である。判定基準は管腔器官の内径の最小値、または、留置したステントの内径等であってもよい。判定基準は、たとえば血流うっ滞の有無等の定性的な状態であってもよい。
　制御部２１は、たとえば入力装置３２を介してユーザによる判定基準の入力を受け付ける。制御部２１は、ＩＶＲの種類および部位ごとにあらかじめ定められて、補助記憶装置２３に記録された判定基準を取得してもよい。
　制御部２１は、処置を行なう前に撮影して補助記憶装置２３に記憶されている１セット分の横断層像４８５を取得する（ステップＳ５１２）。なお、制御部２１はリアルタイムで撮影された横断層像４８５をカテーテル制御部２７１から取得してもよい。制御部２１は、取得した横断層像４８５をステップＳ５１１で取得した判定基準に対応する所見を出力する学習モデル６５に入力して、所見を取得する（ステップＳ５１３）。
　制御部２１は、処置の終了後に撮影して補助記憶装置２３に記憶されている１セット分の断層像４８を取得する（ステップＳ５１４）。なお、制御部２１はリアルタイムで撮影された横断層像４８５をカテーテル制御部２７１から取得してもよい。制御部２１は、取得した横断層像４８５をステップＳ５１１で取得した判定基準に対応する所見を出力する学習モデル６５に入力して、所見を取得する（ステップＳ５１５）。
　制御部２１は、ステップＳ５１３で取得した処置前の所見と、ステップＳ５１５で取得した処置後の所見と、ステップＳ５１１で取得した判定基準とに基づいて、処置の成否を判定する（ステップＳ５１６）。制御部２１は、図１１を使用して説明した画面を用いて、処置の成否を表示する（ステップＳ５１７）。その後、制御部２１は処理を終了する。
　なお、処置の成否は成功と不成功との２択に限定しない。制御部２１は、３ランク以上のランク分けをする判定基準をステップＳ５１１で取得してもよい。判定基準は、複数の所見を組み合わせて定められてもよい。
　制御部２１は、処置前の横断層像４８５と処置後の横断層像４８５とが入力された場合に、処置の成否を出力する学習モデルを用いて処置の成否を判定してもよい。
　本実施の形態によると、処置の成否を判定するカテーテルシステム１０を提供できる。事前に定めた判定基準が達成されていない場合、ユーザは速やかに追加の処置を行なえる。後日、追加の処置が必要になる場合に比べると、患者の身体への負担を大幅に低減できる。
　本実施の形態によると、処置前後の縦断層像の位置をマッチングして表示することにより、ユーザが処置前後の状態を容易に比較できるカテーテルシステム１０を提供できる。本実施の形態によると、処置前後の縦断層像の断面をマッチングしてことにより、ユーザが処置前後の状態を正確に比較できるカテーテルシステム１０を提供できる。
［実施の形態４］
　本実施の形態は、画像診断装置３７から取得した画像に画像診断用カテーテル４０を用いて撮影した断層像の位置を重畳表示するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１３は、実施の形態４のカテーテルシステム１０が表示する画面の例である。図１３に示す画面は、所見欄５３および他装置画像欄５９を含む。所見欄５３には、制御部２１が取得した所見が表示されている。他装置画像欄５９には、画像診断装置３７により撮影された医用画像が表示されている。
　画像診断用カテーテル４０が撮影した断層像の位置を示すスキャンエリア５９１が、縦断層像の外形を示す長方形で他装置画像欄５９に重畳表示されている。制御部２１は、スキャンエリア５９１の内側に縦断層像をリアルタイムで表示してもよい。制御部２１は、スキャンエリア５９１の表示形態に関する選択をユーザから受け付けてもよい。
　画像診断装置３７が、Ｘ線血管撮影装置である場合を例にして、スキャンエリア５９１を表示する方法の概要を説明する。センサ４２は、Ｘ線を透過しないセンサマーカに搭載されている。先端マーカ４４およびセンサマーカはＸ線を透過しないため、Ｘ線血管撮影装置で撮影された医用画像中に鮮明に表示される。
　制御部２１は、医用画像から先端マーカ４４およびセンサマーカを検出する。検出されたセンサマーカは、センサ４２の位置を示す。たとえばＭＤＵ３３によるプルバック操作を用いて１セットの横断層像４８５を生成する場合、画像取得時のセンサ４２の動作範囲の両端が、スキャンエリア５９１の短辺の位置に対応する。
　制御部２１は、横断層像４８５の表示レンジと、他装置画像の縮尺に基づいて、スキャンエリア５９１の短辺の長さを決定する。制御部２１は、短辺の位置および短辺の長さから定まる長方形のスキャンエリア５９１を、医用画像を表示した他装置画像欄５９に重畳表示する。
　以上の処理により、画像診断用カテーテル４０の先端部分が画像診断装置３７の投影面に対して平行ではない場合であっても、制御部２１は他装置画像欄５９の正しい位置にスキャンエリア５９１を表示できる。
　図１３に戻って説明を続ける。スキャンエリア５９１内に、複数の横断層位置マーカ５５１が表示されている。それぞれの横断層位置マーカ５５１に対応する横断層像４８５を表示する横断層像欄５１が他装置画像欄５９の周辺に表示されている。ユーザは、入力装置３２を介して横断層位置マーカ５５１を動かすことにより、横断層像４８５の断層位置を適宜変更できる。なお、制御部２１は、ユーザからの音声入力を受け付けてもよい。
　制御部２１は、ユーザによる指示に基づいてオブジェクト配置像４８２と横断層像４８５とを切り替えて表示してもよい。制御部２１はオブジェクト配置像４８２と横断層像４８５とを並べて表示してもよい。制御部２１は、縦断層像または縦オブジェクト配置像を表示してもよい。
　図１４は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。制御部２１は、１回の画像取得の際にカテーテル制御部２７１および画像診断装置３７のそれぞれから横断層像４８５および医用画像を取得する（ステップＳ５３１）。
　制御部２１は、医用画像から先端マーカ４４およびセンサマーカを検出する（ステップＳ５３２）。たとえばＭＤＵ３３によるプルバック操作を用いて１セットの横断層像４８５を生成する場合、制御部２１は、プルバック操作の両端で検出されたセンサマーカの位置に基づいて、スキャンエリア５９１の位置および寸法を決定する。制御部２１は、スキャンエリア５９１に基づいて横断層位置マーカ５５１の位置を決定する（ステップＳ５３３）。
　なお、制御部２１はスキャンエリア５９１に対応する位置を、その後に撮影した医用画像上にリアルタイムでトレースして表示することが望ましい。
　制御部２１は、取得した横断層像４８５を学習モデル６５に入力して、所見を取得する（ステップＳ５３４）。制御部２１は、図１３を使用して説明した画面を表示装置３１に表示する（ステップＳ５３５）。その後、制御部２１は処理を終了する。
　本実施の形態によると、画像診断装置３７により撮影された医用画像に画像診断用カテーテル４０を使用して撮影した断層像の位置を重畳表示するカテーテルシステム１０を提供できる。ユーザは、横断層位置マーカ５５１を操作することにより表示する横断層像４８５の位置を容易に変更できる。以上により、ユーザが、断層像と、その周囲の臓器との位置関係を容易に把握できるカテーテルシステム１０を提供できる。
　なお、画像診断装置３７はＸ線血管撮影装置に限定しない。たとえば、体外式プローブまたはＴＥＥ（Transesophageal Echocardiography）プローブと組み合わせた超音波診断装置であっても、リアルタイムで画像診断用カテーテル４０とは異なる断層像を撮影できる。
　画像診断用カテーテル４０が、超音波用のセンサ４２とＯＣＴ用のセンサ４２との両方を搭載している場合には、略同一断面で超音波による横断層像４８５とＯＣＴによる横断層像４８５とを撮影できる。たとえば、分解能に優れたＯＣＴによる横断層像４８５から得た所見を、ＯＣＴに比べると深達度に優れた超音波による横断層像４８５に重畳表示することにより、両者の利点を生かした情報を表示するカテーテルシステム１０を提供できる。
　医用画像は、リアルタイムで撮影された医用画像に限定しない。制御部２１は、たとえばＣＴ、ＭＲＩ、ＰＥＴ、Ｘ線血管撮影装置または超音波診断装置等の、任意の画像診断装置により撮影されて、電子カルテ等に記録されている医用画像に、スキャンエリア５９１を重畳表示してもよい。制御部２１は、それぞれの画像中に含まれる血管の分岐、心臓の位置等に基づいて、スキャンエリア５９１の位置を判定する。
　本実施の形態の処理は、画像診断装置３７側で実行され、画像診断装置３７に接続された表示装置に表示されてもよい。
［変形例１］
　図１５は、実施の形態４の変形例１のカテーテルシステム１０が表示する画面の例である。図１５に示す画面は、横断層像欄５１および他装置シェーマ欄５９２を有する。図１５においては、画像診断装置３７により撮影した医用画像の代わりに、管腔器官を模式的に表したシェーマを使用する。
　横断層像欄５１に示す断層像に対応するシェーマ上の位置が、太矢印形状のカテーテルマーカ５９３により示されている。制御部２１は、図１４を使用して説明したステップＳ５３３の後に、医用画像とシェーマとの対応に基づいて、シェーマ上のカテーテルマーカ５９３の位置を決定して表示する。
　本実施の形態によると、シェーマを使用するためユーザが断層像の位置をさらに容易に把握可能なカテーテルシステム１０を提供できる。
［変形例２］
　図１６は、実施の形態４の変形例２のカテーテルシステム１０が表示する画面の例である。図１５に示す画面は、所見欄５３、他装置シェーマ欄５９２、横断層シェーマ欄５９５および横断層像欄５１を有する。
　他装置シェーマ欄５９２には、立体型の模式図でシェーマおよびカテーテルマーカ５９３が表示されている。横断層シェーマ欄５９５には、横断層像４８５のシェーマが表示されている。横断層像４８５のシェーマは、横断層像４８５に基づいて自動生成されても、部位および病変の種類ごとに補助記憶装置２３に記憶されたシェーマから選択されて表示されてもよい。横断層像欄５１に画像診断用カテーテル４０により撮影された横断層像４８５が表示されている。
　なお、横断層像欄５１の代わりに、または横断層像欄５１と共に縦断層像欄５２が表示されていてもよい。縦断層像欄５２を表示する場合には、制御部２１は他装置シェーマ欄５９２に縦断層を示すカテーテルマーカ５９３を表示する。
　本実施の形態によると、シェーマが立体型であるため、ユーザが断層像の位置および向きを把握しやすいカテーテルシステム１０を提供できる。
［実施の形態５］
　本実施の形態は、第１学習モデル６５１および第２学習モデル６５２をそれぞれ生成するプログラムに関する。実施の形態１と共通する部分については、説明を省略する。
　図１７は、訓練データＤＢ（Database）のレコードレイアウトを説明する説明図である。訓練データＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練データＤＢは、断層像データフィールド、定性的フィールドおよび定量的フィールドを有する。
　定性的フィールドは、治療の必要性フィールド、血流うっ滞フィールド、分岐フィールド等、第１学習モデル６５１が出力する定性的所見に対応するフィールドを有する。定量的フィールドは、偏心度フィールド、狭窄度フィールドおよび内径フィールド等の、第２学習モデル６５２が出力する定量的所見に対応するフィールドを有する。
　断層像データフィールドには、１セットの横断層像４８５が記録されている。治療の必要性フィールドには、断層像データフィールドに記録された横断層像４８５に基づいて、専門家が治療の必要性を判断した結果が表示されている。同様に、血流うっ滞フィールドには血流うっ滞の有無が、分岐フィールドには分岐の有無がそれぞれ記録されている。
　同様に、偏心度フィールド、狭窄度フィールドおよび内径フィールドには、それぞれ偏心度、狭窄度および内径が記録されている。訓練データＤＢは、１セットの横断層像４８５について、１つのレコードを有する。
　訓練データＤＢには、画像診断用カテーテル４０を用いて撮影した横断層像４８５のセットと、専門の医師等が判断した治療の必要性の有無および偏心度等の測定結果との組み合わせが大量に記録されている。
　第１学習モデル６５１を生成する場合には、断層像データフィールドに記録された横断層像４８５のセットが入力データに、定性的フィールドのそれぞれに記録されたデータが正解ラベルに使用される。
　第２学習モデル６５２を生成する場合には、断層像データフィールドに記録された横断層像４８５のセットが入力データに、定量的フィールドのそれぞれに記録されたデータが正解ラベルに使用される。
　図１８は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて第１学習モデル６５１および第２学習モデル６５２それぞれの機械学習を行なう場合を例にして説明する。
　図１８のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した第１学習モデル６５１および第２学習モデル６５２がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた第１学習モデル６５１および第２学習モデル６５２を、複数の情報処理装置２０で使用できる。
　図１８のプログラムの実行に先立ち、たとえば畳み込み層、プーリング層、全結合層およびソフトマックス層６５５を有するＣＮＮ等の未学習のモデルが準備されている。未学習のモデルは、ＣＮＮに限定しない。たとえば決定木またはランダムフォレスト等の任意のタイプのモデルを使用できる。図１８のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。
　制御部２１は、訓練データＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ６２１）。１エポックの訓練に使用する訓練レコードの数は、いわゆるハイパーパラメータであり、適宜定められている。
　制御部２１は、取得したそれぞれの訓練レコードに含まれる入力データから、入力画像を生成する（ステップＳ６２２）。具体的には、制御部２１は断層像フィールドに含まれる横断層像４８５を走査順に結合して１枚にした画像を生成する。なお、断層像データフィールドに、結合済の断層像が記録されていてもよい。
　制御部２１は、モデルの入力層に入力データベクトルが入力された場合に、出力層から正解ラベルが出力されるように、モデルのパラメータを調整する（ステップＳ６２３）。
　制御部２１は、処理を終了するか否かを判定する（ステップＳ６２４）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練データＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。
　処理を終了しないと判定した場合（ステップＳ６２４でＮＯ）、制御部２１はステップＳ６２１に戻る。処理を終了すると判定した場合（ステップＳ６２４でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ６２５）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。
　訓練データＤＢは、たとえば第１学習モデル６５１生成用のデータベースと、第２学習モデル６５２生成用のデータベースとに分けて作成されていてもよい。
　本実施の形態によると、機械学習により第１学習モデル６５１および第２学習モデル６５２を生成できる。
［実施の形態６］
　本実施の形態は、学習モデル６５により出力された所見をユーザが修正可能なカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１９は、修正ＤＢのレコードレイアウトを説明する説明図である。修正ＤＢは、カテーテルシステム１０が出力した所見と、ユーザによる修正とを関連づけた修正情報を記録したデータベースである。
　修正ＤＢは、断層像データフィールド、定性的データフィールドおよび定量的データフィールドを有する。定性的データフィールドおよび定量的データフィールドは、それぞれ出力フィールドおよび修正フィールドを有する。
　断層像データフィールドには、１セットの横断層像４８５が記録されている。定性的データフィールドの出力フィールドには、制御部２１が表示装置３１に出力した定性的な所見が記録されている。定性的データフィールドの修正フィールドには、ユーザが修正した定性的な所見が記録されている。
　定量的データフィールドの出力フィールドには、制御部２１が表示装置３１に出力した定量的な所見が記録されている。定量的データフィールドの修正フィールドには、ユーザが修正した定量的な所見が記録されている。修正ＤＢは、横断層像４８５のセットに対するユーザの修正ごとに、１つのレコードを有する。
　図２０は、実施の形態６のカテーテルシステムが表示する画面の例である。図２０は、たとえば図６を使用して説明した画面の表示中に、ユーザが定性的所見の修正を指示した場合に制御部２１が表示装置３１に表示する画面である。
　図２０に示す画面は、横断層像欄５１、候補ラベル欄５７１、正解ラベル欄５７２および自由記述欄５７３を含む。候補ラベル欄５７１には、定性的所見を示すラベルの候補が表示されている。正解ラベル欄５７２には、ユーザが正解であると判断したラベルが表示されている。
　ユーザは、候補ラベル欄５７１に表示されているラベルを正解ラベル欄５７２にドラッグアンドドロップ操作することで、正しい所見を入力できる。なお、制御部２１は音声入力による入力を受け付けてもよい。たとえばユーザが「正解、血腫」と発声した場合に、制御部２１は候補ラベル欄５７１の１行目の「血腫」のラベルを正解ラベル欄５７２に移動させる。
　候補ラベル欄５７１に適切な所見を表すラベルが見付からない場合、ユーザは自由記述欄５７３を使用して任意の所見を入力できる。図示を省略するが、定量的な所見に関しても同様にユーザが適宜変更できる。
　制御部２１は、ユーザによる修正結果を図８を使用して説明したレポートに反映させる。学習モデル６５では正確な判定を行なえない症例であっても、ユーザである医師の判断を反映させた適切なレポートを作成できる。
　図２０の画面を使用してユーザが入力した修正内容は、図１９を使用して説明した修正ＤＢに記録される。修正ＤＢに記録されたデータは、学習モデル６５の再学習、および、機械学習のエンジニアによる機械学習時に用いるハイパーパラメータの修正等に活用される。
［実施の形態７］
　図２１は、実施の形態７のカテーテルシステムの機能ブロック図である。カテーテルシステム１０は、取得部８６および出力部８７を備える。取得部８６は、管腔器官に挿入された画像診断用カテーテル４０用いて生成された断層像を取得する。出力部８７は、断層像を入力した場合に管腔器官の状態、または、管腔器官周辺の状態に関する所見を出力する学習モデル６５に、取得部８６が取得した断層像を入力して、学習モデル６５から出力された所見を出力する。
［実施の形態８］
　図２２は、実施の形態８のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０とプログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態２と共通する部分については、説明を省略する。
　本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。
　プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。
　プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。
　各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　　カテーテルシステム
　２０　　情報処理装置
　２１　　制御部
　２２　　主記憶装置
　２３　　補助記憶装置
　２４　　通信部
　２５　　表示部
　２６　　入力部
　２７　　カテーテル制御装置
　２７１　カテーテル制御部
　２９　　読取部
　３１　　表示装置
　３２　　入力装置
　３３　　ＭＤＵ
　３７　　画像診断装置
　４０　　画像診断用カテーテル
　４１　　プローブ部
　４２　　センサ
　４３　　シャフト
　４４　　先端マーカ
　４５　　コネクタ部
　４８　　断層像
　４８５　横断層像（断層像）
　５１　　横断層像欄
　５２　　縦断層像欄
　５２１　処置前縦断層像欄
　５２２　処置後縦断層像欄
　５３　　所見欄
　５３１　定性的評価欄
　５３２　定量的評価欄
　５４２　サマリー欄
　５４３　詳細欄
　５５１　横断層位置マーカ
　５５２　縦断層位置マーカ
　５６　　根拠表示欄
　５６１　根拠マーカ
　５７１　候補ラベル欄
　５７２　正解ラベル欄
　５７３　自由記述欄
　５８　　切替ボタン
　５９　　他装置画像欄
　５９１　スキャンエリア
　５９２　他装置シェーマ欄
　５９３　カテーテルマーカ
　５９５　横断層シェーマ欄
　６５　　学習モデル
　６５１　第１学習モデル（学習モデル）
　６５２　第２学習モデル
　６５５　ソフトマックス層
　６５９　ニューラルネットワーク
　８６　　取得部
　８７　　出力部
　９０　　コンピュータ
　９６　　可搬型記録媒体
　９７　　プログラム
　９８　　半導体メモリ
 

Claims (17)

  1. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
    　断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルに、取得した前記断層像を入力して、前記学習モデルから出力された所見を出力する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記学習モデルは、取得した前記断層像とは異なる医療情報をさらに入力した場合に所見を出力する
    　請求項１に記載のプログラム。
  3. 　前記所見は、治療の要否に関する情報、定性的形状情報、定量的形状情報、性状情報、血流情報、または、デバイス情報である
    　請求項１または請求項２に記載のプログラム。
  4. 　前記断層像は、管腔器官に対して処置を行なった後に前記管腔器官に挿入された画像診断用カテーテルを用いて生成された処置後断層像であり、
    　前記学習モデルは、処置後断層像を入力した場合に処置の状態に関する所見を出力する
    　請求項１または請求項２に記載のプログラム。
  5. 　前記断層像は、前記管腔器官および前記管腔器官の周辺を前記管腔器官の長手方向に対して交差する方向に切断した断面を示す横断層像であり、
    　前記学習モデルは、管腔器官の長手方向に沿って複数枚生成された横断層像を入力した場合に、前記所見を出力する
    　請求項１から請求項４のいずれか一つに記載のプログラム。
  6. 　複数枚の前記横断層像に基づいて生成された前記管腔器官および前記管腔器官の周辺の縦断層像と、前記所見とを同時に出力する
    　請求項５に記載のプログラム。
  7. 　前記縦断層像と、複数枚の前記横断層像から選択された選択断層像とを同時に出力し、
    　前記縦断層像に、前記選択断層像の位置を示すマーカを重畳表示する
    　請求項６に記載のプログラム。
  8. 　取得した前記断層像とは異なる医用画像、またはシェーマに、前記断層像の位置を示すマーカを重畳表示する
    　請求項１から請求項７のいずれか一つに記載のプログラム。
  9. 　前記所見と共に、該所見の根拠に関する根拠情報を出力する
    　請求項１から請求項８のいずれか一つに記載のプログラム。
  10. 　前記所見に対する修正を受け付ける
    　請求項１から請求項９のいずれか一つに記載のプログラム。
  11. 　前記所見と、受け付けた修正とを関連づけた修正情報を記録する
    　請求項１０に記載のプログラム。
  12. 　前記修正情報に基づいて、前記学習モデルの再学習を行なう
    　請求項１１に記載のプログラム。
  13. 　前記画像診断用カテーテルを用いて生成された前記断層像と、前記所見を示すテキストとを含むレポートを出力する
    　請求項１から請求項１２のいずれか一つに記載のプログラム。
  14. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
    　断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルに、取得した前記断層像を入力して、前記学習モデルから出力された所見を出力する
    　処理をコンピュータに実行させる情報処理方法。
  15. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像と、該断層像に基づく管腔器官の状態、または、前記管腔器官周辺の状態に関する所見とを関連づけて複数組記録した訓練データを取得し、
    　前記訓練データを用いて、断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルを生成する
    　学習モデルの生成方法。
  16. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得し、
    　断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルに、取得した前記断層像を入力して、前記学習モデルから出力された所見を出力し、
    　出力した前記所見に対する修正情報を受け付け、
    　受け付けた修正情報を用いて前記学習モデルの再学習を行なう
    　学習モデルの再学習方法。
  17. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された断層像を取得する取得部と、
    　断層像を入力した場合に管腔器官の状態、または、前記管腔器官周辺の状態に関する所見を出力する学習モデルに、前記取得部が取得した前記断層像を入力して、前記学習モデルから出力された所見を出力する出力部と
    　を備える情報処理システム。
     
PCT/JP2021/009332 2020-03-30 2021-03-09 プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム WO2021199966A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022511732A JPWO2021199966A1 (ja) 2020-03-30 2021-03-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020061509 2020-03-30
JP2020-061509 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199966A1 true WO2021199966A1 (ja) 2021-10-07

Family

ID=77928535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009332 WO2021199966A1 (ja) 2020-03-30 2021-03-09 プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム

Country Status (2)

Country Link
JP (1) JPWO2021199966A1 (ja)
WO (1) WO2021199966A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503561A (ja) * 2013-12-18 2017-02-02 ハートフロー， インコーポレイテッド 患者固有の解剖学的構造の画像データから冠動脈プラークの脆弱性を予測するシステム及び方法
WO2017130927A1 (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017503561A (ja) * 2013-12-18 2017-02-02 ハートフロー， インコーポレイテッド 患者固有の解剖学的構造の画像データから冠動脈プラークの脆弱性を予測するシステム及び方法
WO2017130927A1 (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2021199966A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US20230274440A1 (en) Systems And Methods For Classification Of Arterial Image Regions And Features Thereof
US20200129142A1 (en) Intraluminal ultrasound navigation buidance and associated devices, systems, and methods
EP2965263B1 (en) Multimodal segmentation in intravascular images
US11596384B2 (en) Intraluminal ultrasound vessel border selection and associated devices, systems, and methods
US20240013514A1 (en) Information processing device, information processing method, and program
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP7489882B2 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2022069208A1 (en) Ultrasound image-based patient-specific region of interest identification, and associated devices, systems, and methods
WO2021199966A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
US20230133103A1 (en) Learning model generation method, image processing apparatus, program, and training data generation method
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193015A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2022071326A1 (ja) 情報処理装置、学習済モデルの生成方法および訓練データ生成方法
WO2021199967A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2021199960A1 (ja) プログラム、情報処理方法、および情報処理システム
WO2022071325A1 (ja) 情報処理装置、情報処理方法、プログラムおよび学習済モデルの生成方法
WO2021199962A1 (ja) プログラム、情報処理方法および情報処理装置
WO2024071322A1 (ja) 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
WO2022071328A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021193022A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024071251A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル
US20230017334A1 (en) Computer program, information processing method, and information processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511732

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21781709

Country of ref document: EP

Kind code of ref document: A1