WO2022071280A1 - プログラム、情報処理装置及び情報処理方法 - Google Patents

プログラム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2022071280A1
WO2022071280A1 PCT/JP2021/035545 JP2021035545W WO2022071280A1 WO 2022071280 A1 WO2022071280 A1 WO 2022071280A1 JP 2021035545 W JP2021035545 W JP 2021035545W WO 2022071280 A1 WO2022071280 A1 WO 2022071280A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
frames
image
region
feature amount
Prior art date
Application number
PCT/JP2021/035545
Other languages
English (en)
French (fr)
Inventor
耕太郎 楠
陽 井口
悠介 関
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022553989A priority Critical patent/JPWO2022071280A1/ja
Publication of WO2022071280A1 publication Critical patent/WO2022071280A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • This technology relates to programs, information processing devices and information processing methods.
  • Medical image diagnostic devices that image the inside of the human body, such as ultrasonic diagnostic devices, X-ray photography devices, and X-ray CT devices, have become widespread, and methods for detecting failures and damages of the diagnostic imaging devices have been proposed. ing.
  • a medical image obtained from a medical imaging device is compared with a typical image in which an abnormal phenomenon appears due to a failure of the device or the like, and when an abnormal phenomenon appears, a symptomatic case is described.
  • the medical image device failure diagnosis support device and the like to be displayed are disclosed.
  • Patent Document 1 detects an abnormality only by pattern matching with a typical image, and does not suitably estimate a failure or breakage of the diagnostic imaging apparatus.
  • An object of the present disclosure is to provide a program or the like that can suitably estimate the cause of image defects that occur in medical images.
  • the program acquires a medical image generated based on a signal detected by a catheter, and a partial region including a part of the acquired medical image or a large portion wider than the partial region.
  • the feature amount of the area is calculated, and the computer is made to execute the process of estimating the presence / absence and the cause of the image defect in the medical image based on the calculated feature amount.
  • FIG. 1 is an explanatory diagram showing a configuration example of an diagnostic imaging system.
  • a diagnostic imaging system for estimating the presence / absence and cause of image defects due to improper use, damage, etc. of the diagnostic imaging apparatus 2 will be described from medical images acquired from the diagnostic imaging apparatus 2.
  • the diagnostic imaging system includes an information processing device 1 and a diagnostic imaging device 2.
  • the information processing device 1 and the diagnostic imaging device 2 are communicated and connected via a network N such as a LAN (Local Area Network) or the Internet.
  • a network N such as a LAN (Local Area Network) or the Internet.
  • the diagnostic imaging device 2 is a device unit for imaging the luminal organ of the subject.
  • the diagnostic imaging apparatus 2 generates a medical image including an ultrasonic tomographic image of the blood vessel of the subject by, for example, an intravascular ultrasound (IVUS: IntraVascularUltraSound) method using a catheter 21, and performs an ultrasonic examination in the blood vessel.
  • IVUS IntraVascularUltraSound
  • the image diagnostic device 2 includes a catheter 21, an MDU (Motor Drive Unit) 22, an image processing device 23, and a display device 24.
  • the catheter 21 is a diagnostic imaging catheter for obtaining an ultrasonic tomographic image of a blood vessel by the IVUS method.
  • the ultrasonic tomographic image is an example of a catheter image generated by using the catheter 21.
  • the catheter 21 has a probe portion 211 and a connector portion 212 arranged at the end of the probe portion 211.
  • the probe portion 211 is connected to the MDU 22 via the connector portion 212.
  • a shaft 213 is inserted inside the probe portion 211.
  • the sensor 214 is connected to the tip end side of the shaft 213.
  • the sensor 214 is an ultrasonic transducer.
  • the sensor 214 transmits an ultrasonic wave based on a pulse signal in the blood vessel and receives a reflected wave reflected by a biological tissue of the blood vessel or a medical device.
  • the shaft 213 and the sensor 214 are configured inside the probe portion 211 so as to be able to move forward and backward in the longitudinal direction of the blood vessel while rotating in the circumferential direction of the blood vessel.
  • the MDU 22 is a drive device to which the catheter 21 is detachably attached.
  • the MDU 22 controls the operation of the catheter 21 inserted into the blood vessel by driving the built-in motor according to the operation of the user.
  • the MDU 22 rotates the shaft 213 and the sensor 214 in the circumferential direction while moving the shaft 213 and the sensor 214 from the tip end side to the base end side in the longitudinal direction.
  • the sensor 214 continuously scans the inside of the blood vessel at predetermined time intervals, and outputs the detected ultrasonic reflected wave data to the diagnostic imaging apparatus 2.
  • the image processing device 23 is a processing device that generates an ultrasonic tomographic image (medical image) of a blood vessel based on the reflected wave data output from the ultrasonic probe of the catheter 21.
  • the image processing device 23 generates one image for each rotation of the sensor 214.
  • the generated image is a transverse layer image centered on the probe portion 211 and substantially perpendicular to the probe portion 211.
  • the image processing device 23 continuously generates a plurality of transverse layer images at predetermined intervals by a pullback operation in which the sensor 214 is rotated while being pulled toward the MDU 22 side at a constant speed.
  • the image processing device 23 is provided with an input interface for displaying the generated ultrasonic tomographic image on the display device 24 and for receiving input of various set values at the time of inspection.
  • the display device 24 is a liquid crystal display panel, an organic EL (Electro Luminescence) display panel, or the like.
  • the display device 24 displays a medical image generated by the image processing device 23, an estimation result received from the information processing device 1, and the like.
  • the intravascular examination will be described as an example, but the luminal organ to be inspected is not limited to the blood vessel, and may be an organ such as an intestine, for example.
  • the catheter 21 may be a catheter for optical coherence tomography (OCT), OFDI (Optical Frequency Domain Imaging), etc., which generates an optical tomography image using near-infrared light. ..
  • the sensor 214 is a transmission / reception unit that irradiates near-infrared light and receives reflected light. Even if the catheter 21 has sensors 214 of both an ultrasonic transducer and a transmitter / receiver for OCT or OFDI and is intended to generate a catheter image containing both an ultrasonic tomographic image and an optical tomographic image. good.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, and is, for example, a server computer, a personal computer, or the like.
  • the information processing device 1 may be a local server installed in the same facility (hospital or the like) as the diagnostic imaging device 2, or may be a cloud server communicatively connected to the diagnostic imaging device 2 via the Internet or the like.
  • the information processing device 1 functions as an estimation device for estimating the presence / absence and cause of image defects from the medical image generated by the diagnostic imaging device 2.
  • the information processing device 1 provides the estimation result to the diagnostic imaging device 2.
  • FIG. 2 is a block diagram showing a configuration example of the information processing device 1.
  • the information processing device 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the information processing device 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk.
  • the auxiliary storage unit 14 stores the program and data referred to by the control unit 11 including the program P.
  • the auxiliary storage unit 14 may be an external storage device connected to the information processing device 1.
  • the program P may be written in the auxiliary storage unit 14 at the manufacturing stage of the information processing device 1, or the information processing device 1 acquires what is distributed by the remote server device by communication and stores it in the auxiliary storage unit 14. You may let me.
  • the program P may be readable and recorded on a recording medium 1a such as a magnetic disk, an optical disk, or a semiconductor memory.
  • the information processing apparatus 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like.
  • FIG. 3 is an explanatory diagram regarding image defects that occur in the diagnostic imaging apparatus 2.
  • Various image defects may occur in the medical image imaged by the diagnostic imaging apparatus 2 due to improper use, damage, failure, or the like of the diagnostic imaging apparatus 2. If an image defect occurs when the image diagnostic device 2 is used, it may interfere with accurate diagnosis, so it is preferable to eliminate the cause of the image defect. It takes time to analyze the cause for removing the image defect and to deal with it, which leads to an increase in the total operation time for endovascular treatment.
  • attention is paid to image defects that occur before the inspection, and the efficient removal of the cause of the image defects before the start of the inspection is supported.
  • An example of an image defect to be estimated in the present embodiment will be described with reference to FIG.
  • FIG. 3 exemplifies a typical image defect that occurs in the image diagnostic apparatus 2 in a form that compares it with the cause of the image defect.
  • Examples of the cause of the image defect include an air trap, a disconnection of the shaft 213 inside the catheter 21, a poor connection between the catheter 21 and the MDU22, and a failure of the MDU22.
  • Image defects caused by the air trap are caused by air bubbles remaining in the air trap at the tip of the catheter 21. If the air trap bubbles are not sufficiently removed by pre-inspection priming, the bubbles attenuate the ultrasound and darken part or all of the image. Further, when bubbles are present on the sensor 214 (oscillator) on the tip side of the shaft 213, a phenomenon occurs in which the dark portion of the image rotates in accordance with the rotation of the shaft 213. Note that, for convenience, FIG. 3 shows how a part of the image is darkened by hatching.
  • a sandstorm a radial or sandstorm-like image
  • the entire image becomes dark, or a part of the image (the hatched portion shown at the lower right in FIG. 3) becomes brighter. Phenomenon occurs.
  • the information processing device 1 estimates the presence / absence and cause (type) of the above-mentioned image defect from the medical image, and outputs the estimation result via the image diagnosis device 2. It should be noted that the above-mentioned image defects and their causes are merely examples and are not limited.
  • FIGS. 4 and 5 are explanatory views regarding a method of estimating the cause of image defects.
  • FIG. 4 is a diagram showing an image area relating to the estimation method.
  • FIG. 5 is a diagram showing a graph of luminance values related to the estimation method. A method for estimating the cause of image defects will be specifically described with reference to FIGS. 4 and 5.
  • the user of the diagnostic imaging apparatus 2 performs the pullback operation of the catheter 21 once before the examination, that is, before the catheter 21 is inserted into the subject.
  • the diagnostic imaging apparatus 2 generates a medical image including a plurality of frames in response to one pullback operation.
  • the control unit 11 of the information processing apparatus 1 acquires a medical image from the diagnostic imaging apparatus 2, and estimates the presence or absence of an image defect and the cause based on the luminance values of the pixels included in various areas of the acquired medical image.
  • the medical image (tomographic image) obtained by the IVUS method is an image obtained by the rotation of the sensor 214, so that it is a circular image centered on the rotation axis.
  • the control unit 11 identifies the cause of the image defect by calculating the luminance value in the image region including a part or the whole of the circular image and different depending on the type of the image defect to be estimated. do.
  • FIG. 4A shows the first region 31 including a part of the medical image by hatching.
  • the first region 31 is an annular region including the peripheral portion of the circular image.
  • the brightness value of the first region 31 is low because there are few factors that reflect ultrasonic waves to the surroundings.
  • the brightness value of the first region 31 becomes high.
  • first threshold value T1 a predetermined value
  • estimation based on the luminance value of the first region 31 for any one frame will be described, but estimation may be made based on the sum of the luminance values of the first region 31 in all frames.
  • the position and shape of the first region 31 described above are not limited to the example of FIG. 4A, but the luminance value is lower than that of the central portion where the luminance value tends to be high due to ring down or the like under normal conditions. From the viewpoint of ease of use, it is preferable to use a region including the edge of the circular image. Further, by forming the annular shape, it is possible to equalize the luminance value in the circumferential direction.
  • the sum of the luminance values of each pixel included in the second region 32 which is the majority region of the medical image in all frames (second feature amount X2), is calculated.
  • the majority area is an area that includes a wider area than a part of the medical image, for example, an entire area that includes the entire medical image.
  • FIG. 4B hatches a second region 32 that includes the entire medical image.
  • the entire interior excluding the central sensor 214 portion is defined as the second region 32, but the entire interior of the circular image including the sensor 214 portion may be defined as the second region.
  • the majority area is not limited to the area including the entire medical image, and may be an area containing the majority of the medical image.
  • the large part region may be a region wider than a partial region of the medical image and may be a region including a range in which a feature quantity having a high correlation with the feature quantity of the entire medical image can be calculated.
  • the second feature amount X2 is not limited to the one calculated for all frames of the medical image.
  • the second feature amount X2 may be calculated for a plurality of frames selected by, for example, preprocessing, from all the frames of the medical image acquired from the diagnostic imaging apparatus 2.
  • FIG. 5A is a graph showing the luminance value (second feature amount X2) of the second region 32 for each frame according to the presence or absence of image defects.
  • the vertical axis of FIG. 5A is the second feature amount X2, and the horizontal axis is the frame.
  • the second feature amount X2 when there is no image defect and is normal is larger than a predetermined value (second threshold value T2) in all frames and takes a substantially constant value.
  • the second feature amount X2 when there is an image defect due to a poor connection or a disconnection is smaller than a predetermined value in all frames.
  • the value of the second feature amount X2 when there is an image defect due to the air trap changes for each frame.
  • the second feature amount X2 of the frame in which bubbles are present is smaller than the predetermined value, and the second feature amount X2 of the frame in which no bubbles are present is larger than the predetermined value. Therefore, when the second feature amount X2 in all frames is equal to or more than a predetermined value (second threshold value T2), it is presumed that there is no image defect and the image is normal.
  • second threshold value T2 a predetermined value
  • the second feature amount X2 in all frames is not equal to or more than a predetermined value, that is, if the second feature amount X2 in any frame is less than a predetermined value, it is determined that there is an image defect.
  • the cause of the image defect is further identified based on the amount of change in various luminance values.
  • FIG. 4C shows the third region 33 including a part of the medical image by hatching.
  • the third region 33 is a part of a circular image and is a fan-shaped region having a central angle ⁇ and a radius r.
  • the radius r of the sector is substantially the same as the radius of the circle.
  • the third region 33 is a region having the same position and shape in all frames.
  • FIG. 4C shows an example in which the central angle ⁇ is 30 °.
  • FIG. 5B is a graph showing the luminance value (third feature amount X3) of the third region 33 for each frame according to the presence or absence of image defects.
  • the vertical axis of FIG. 5B is the third feature amount X3, and the horizontal axis is the frame.
  • the value of the third feature amount X3 when there is an image defect due to the air trap changes for each frame.
  • the third feature amount X3 takes a substantially constant value and becomes a small value in all frames.
  • the third feature amount X3 in the case where there is no image defect and is normal takes a substantially constant value and becomes a large value in all frames.
  • the medical image has an image defect and the image is an image.
  • the cause of the defect is presumed to be an air trap in which air bubbles are present on the sensor 214.
  • the medical image has an image defect, and the cause of the image defect is presumed to be a connection defect or a disconnection.
  • the presence or absence of an air trap is estimated except when air bubbles are present on the sensor 214.
  • the difference (fourth feature amount X4) of the second feature amount X2 of the front and rear frames in the time series is calculated.
  • FIG. 5C is a graph showing the difference (fourth feature amount X4) of the second feature amount X2 of the front and rear frames for each frame according to the presence or absence of image defects.
  • the vertical axis of FIG. 5C is the fourth feature amount X4, and the horizontal axis is the frame.
  • the second feature amount X2 of the frame in which bubbles are present becomes smaller, and the second feature amount X2 of the frame in which no bubbles are present becomes larger (see FIG. 5A).
  • the fourth feature amount X4 when there is an image defect due to the air trap is between the frame in which the bubble is present and the front frame or the rear frame of the frame in which the bubble is present.
  • the value changes greatly in.
  • the fourth feature amount X4 when there is an image defect due to a connection defect or a disconnection takes a substantially constant value.
  • the medical image has an image defect, and the cause of the image defect is. It is presumed that the air trap has no air bubbles on the sensor 214.
  • the maximum value of the fourth feature amount X4 is not equal to or more than a predetermined value (fourth threshold value T4), the medical image has an image defect, and the cause of the image defect is presumed to be a connection defect or a disconnection.
  • the cause of the image defect is not an air trap, it is further estimated whether the cause of the image defect is a connection failure or a disconnection.
  • the estimation is performed based on the second feature amount X2 in all frames. As shown in FIG. 5A, the second feature amount X2 when the cause of the image defect is a disconnection is smaller than a predetermined value (fifth threshold value T5) in all frames and takes a substantially constant value. On the other hand, when the cause of the image defect is a connection failure, the second feature amount X2 is larger than a predetermined value (fifth threshold value T5) in all frames and takes a substantially constant value.
  • the medical image has an image defect, and the cause of the image defect is presumed to be a connection defect other than a sandstorm.
  • the second feature amount X2 in all frames is not equal to or more than a predetermined value (fifth threshold value T5), the medical image has an image defect, and the cause of the image defect is presumed to be disconnection.
  • each feature amount is not limited, and for example, each corresponding area can be calculated.
  • the average value of the brightness values of the included pixels may be calculated.
  • the information processing device 1 estimates the presence / absence and cause of image defects based on various feature quantities by using the rule-based method described above.
  • the information processing device 1 outputs the estimation result to the diagnostic imaging device 2.
  • the output destination of the estimation result is the diagnostic imaging apparatus 2, but the estimation result is output to an apparatus other than the diagnostic imaging apparatus 2 (for example, a personal computer) which is the acquisition source of the medical image.
  • the diagnostic imaging apparatus 2 for example, a personal computer
  • FIG. 6 is a flowchart showing an example of a processing procedure executed by the information processing apparatus 1.
  • the control unit 11 of the information processing apparatus 1 executes the following processing according to the program P.
  • the control unit 11 of the information processing device 1 acquires a medical image from the diagnostic imaging device 2 (step S11).
  • the medical image contains multiple frames generated by a single pullback operation.
  • the control unit 11 calculates the sum of the luminance values (first feature amount X1) of each pixel included in the first region 31, which is a partial region of the medical image, for any one of the plurality of frames (step S12). ).
  • the first region 31 is, for example, an annular region including a peripheral portion of a circular image.
  • the control unit 11 determines the magnitude relationship between the calculated first feature amount X1 and the preset first threshold value T1, and determines whether or not the calculated first feature amount X1 is less than the first threshold value T1. Determination (step S13).
  • the control unit 11 When it is determined that the first feature amount X1 is not less than the first threshold value T1, that is, the first feature amount X1 is equal to or higher than the first threshold value T1 (S13: NO), the control unit 11 has an image defect in the medical image. , It is presumed that the cause of the image defect is a connection defect in which a sandstorm appears (step S14). After that, the control unit 11 proceeds to the process in step S27.
  • the control unit 11 When it is determined that the first feature amount X1 is less than the first threshold value T1 (S13: YES), the control unit 11 is included in the second region 32, which is the entire region (most region) of the medical image, for all frames.
  • the sum of the luminance values of each pixel (second feature amount X2) is calculated (step S15).
  • the control unit 11 determines the magnitude relationship between the calculated second feature amount X2 in all frames and the preset second threshold value T2, and the calculated second feature amount X2 in all frames is the second threshold value T2 or more. (Step S16).
  • the control unit 11 sets the fan-shaped third region 33, which is a part of the medical image, for all frames.
  • the sum of the luminance values of each included pixel (third feature amount X3) is calculated (step S17). Further, the control unit 11 extracts the maximum value and the minimum value from the third feature amount X3 in all frames, and calculates the difference between the extracted maximum value and the minimum value.
  • the control unit 11 determines the magnitude relationship between the difference between the maximum value and the minimum value of the third feature amount X3 and the preset third threshold value T3, and calculates the maximum value and the minimum value of the third feature amount X3. It is determined whether or not the difference between the two is less than the third threshold value T3 (step S18).
  • the control unit 11 estimates that the medical image has an image defect, and the cause of the image defect is an air trap (step S19). More specifically, it is presumed to be an air trap in which air bubbles are present on the sensor 214. After that, the control unit 11 proceeds to the process in step S27.
  • the control unit 11 also generates a sub-process and performs the process of step S20 in parallel with the process of step S17 or lower.
  • the control unit 11 calculates the difference between the second feature amount X2 in the two adjacent frames in the time series, that is, the difference between the second feature amount X2 in the front and rear frames in the time series (fourth feature amount X4) for all frames. (Step S20). Further, the control unit 11 extracts the maximum value from the fourth feature amount X4 among all the frames.
  • the control unit 11 determines the magnitude relationship between the extracted maximum value of the fourth feature amount X4 and the preset fourth threshold value T4, and the maximum value of the extracted fourth feature amount X4 is less than the fourth threshold value T4. (Step S21).
  • the control unit 11 uses the medical image. Has an image defect, and the cause of the image defect is presumed to be an air trap (step S22). More specifically, it is determined that the air trap has no air bubbles on the sensor 214. After that, the control unit 11 proceeds to the process in step S27.
  • the control unit 11 estimates that the cause of the image failure is either a connection failure or a disconnection. Specifically, the control unit 11 determines the magnitude relationship between the second feature amount X2 in all frames and the preset fifth threshold value T5, and the calculated second feature amount X2 in all frames is the fifth. It is determined whether or not the threshold value is T5 or more (step S23).
  • the control unit 11 estimates that the medical image has an image defect and the cause of the image defect is disconnection (step). S24). On the other hand, when it is determined that the second feature amount X2 in all frames is equal to or higher than the fifth threshold value T5 (S23: YES), the control unit 11 has an image defect in the medical image, and the cause of the image defect is a connection defect. Estimate (step S25). After that, the control unit 11 proceeds to the process in step S27.
  • the control unit 11 determines that the medical image has no image defect (step S26).
  • the control unit 11 generates estimation result information according to each estimation result (step S27).
  • the control unit 11 outputs the generated estimation result information to the diagnostic imaging apparatus 2 (step S28), and ends a series of processes.
  • the diagnostic imaging apparatus 2 displays a display screen based on the estimation result information received from the information processing apparatus 1 on the display apparatus 24.
  • the information processing device 1 may output estimation result information only when it is estimated that there is an image defect, and display an alert on the display device 24.
  • step S17 or less and the processing of step S20 or less are not limited to those executed in parallel, and may be executed sequentially.
  • the control unit 11 may execute the process of step S20 or less after the process of step S17 or less, or may execute the process of step S17 or less after the process of step S20 or less.
  • FIG. 7 is an explanatory diagram showing an example of a display screen of the diagnostic imaging apparatus 2.
  • the display screen contains information indicating a medical image, the presence / absence of an image defect, an estimation result of the cause, a countermeasure for removing the cause of the image defect, and the like.
  • the information processing device 1 generates estimation result information including countermeasures according to the estimation result of image defects. For example, when it is presumed that an image defect caused by an air trap has occurred, the information processing apparatus 1 outputs estimation result information for promoting priming. In this case, by displaying detailed information on the state of bubbles (presence or absence of bubbles on the sensor 214), more specific measures can be supported.
  • the information processing device 1 When it is estimated that a poor connection has occurred, the information processing device 1 outputs estimation result information prompting confirmation of the connection between the catheter 21 and the MDU 22.
  • the failure of the MDU 22 occurs, an image defect in the same state as the connection failure is observed, but in this case, the image defect is not resolved even if the catheter 21 and the MDU 22 are reconnected. Therefore, when it is estimated that the above-mentioned estimation process is repeatedly executed again after the catheter 21 and the MDU 22 are reconnected and the connection failure is continuously generated, the information processing apparatus 1 causes the image failure to be caused by the failure of the MDU 22. Can be estimated. If it is presumed that a failure of the MDU 22 has occurred, the MDU 22 cannot be repaired by the user, so the estimation result information prompting the manufacturer to contact the manufacturer is output.
  • the information processing apparatus 1 When it is estimated that the catheter 21 is broken, the information processing apparatus 1 outputs the estimation result information prompting the replacement of the catheter 21.
  • the display screen may further contain information indicating an image area of particular interest for estimating the cause of the connection failure.
  • the control unit 11 generates screen information for displaying the image area related to the estimation of the cause of the image defect on the medical image by using a display mode such as highlight display. For example, when it is presumed that the cause of the image defect is an air trap having bubbles on the sensor 214, the control unit 11 superimposes and displays the guide image showing the third region 33 on the medical image in a mode such as highlight display. do.
  • the present embodiment it is possible to suitably estimate the presence / absence and cause of image defects by using various feature quantities based on the luminance value of a predetermined region in a medical image.
  • the cause of the image defect can be efficiently removed, so that the total operation time can be reduced.
  • the cost of unnecessary replacement of the catheter 21 and repair of the device can be reduced.
  • Control unit 12 Main storage unit 13 Communication unit 14 Auxiliary storage unit P program 2 Diagnostic imaging device 21 Catheter 211 Probe unit 212 Connector unit 213 Shaft 214 Sensor 22 MDU 23 Image processing device 24 Display device

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

医用画像で発生する画像不良の原因を好適に推定することができるプログラム等を提供する。　プログラムは、カテーテルにて検出した信号に基づき生成された医用画像を取得し、取得した前記医用画像における一部を含む一部領域又は前記一部領域よりも広い大部領域の特徴量を算出し、算出した特徴量に基づき、前記医用画像に対する画像不良の有無及び原因を推定する処理をコンピュータに実行させる。

Description

プログラム、情報処理装置及び情報処理方法
　本技術は、プログラム、情報処理装置及び情報処理方法に関する。
　超音波診断装置、Ｘ線写真撮影装置、Ｘ線ＣＴ装置など、人体内部を画像化する医用画像診断装置が広く普及しており、その画像診断装置の故障、破損などを検知する手法が提案されている。例えば特許文献１では、医用画像機器から得られた医用画像を、装置の故障等に起因して異常な現象が現れている典型画像と比較し、異常な現象が現れている場合に対症事例を表示する医用画像機器故障診断支援装置等が開示されている。
特開２０１０－１７２４３４号公報
　しかしながら、特許文献１に係る発明は単なる典型画像とのパターンマッチングで異常を検出するものであり、画像診断装置の故障、破損などを好適に推定するものではない。
　本開示の目的は、医用画像で発生する画像不良の原因を好適に推定することができるプログラム等を提供することである。
　本開示の一態様に係るプログラムは、カテーテルにて検出した信号に基づき生成された医用画像を取得し、取得した前記医用画像における一部を含む一部領域又は前記一部領域よりも広い大部領域の特徴量を算出し、算出した特徴量に基づき、前記医用画像に対する画像不良の有無及び原因を推定する処理をコンピュータに実行させる。
　本開示によれば、医用画像で発生する画像不良の原因を好適に推定することができる。
画像診断システムの構成例を示す説明図である。 情報処理装置の構成例を示すブロック図である。 画像診断装置において発生する画像不良に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 画像不良の原因の推定方法に関する説明図である。 情報処理装置にて実行される処理手順の一例を示すフローチャートである。 画像診断装置の表示画面例を示す説明図である。
　本発明をその実施の形態を示す図面を参照して具体的に説明する。
（第１実施形態）
　図１は、画像診断システムの構成例を示す説明図である。本実施形態では、画像診断装置２から取得した医用画像から、画像診断装置２の不適切な使用、破損等に起因する画像不良の有無及び原因を推定する画像診断システムについて説明する。画像診断システムは、情報処理装置１、画像診断装置２を含む。情報処理装置１及び画像診断装置２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。
　画像診断装置２は、被検者の管腔器官をイメージングするための装置ユニットである。画像診断装置２は、例えばカテーテル２１を用いた血管内超音波（ＩＶＵＳ：Intra Vascular Ultra Sound）法によって被検者の血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断を行うための装置ユニットである。画像診断装置２は、カテーテル２１、ＭＤＵ（Motor Drive Unit）２２、画像処理装置２３、表示装置２４を備える。
　カテーテル２１は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。超音波断層像は、カテーテル２１を用いて生成されたカテーテル画像の例示である。カテーテル２１は、プローブ部２１１と、プローブ部２１１の端部に配置されたコネクタ部２１２とを有する。プローブ部２１１は、コネクタ部２１２を介してＭＤＵ２２に接続される。プローブ部２１１の内部に、シャフト２１３が挿通されている。シャフト２１３の先端側に、センサ２１４が接続されている。
　センサ２１４は、超音波トランスデューサである。センサ２１４は、血管内においてパルス信号に基づく超音波を送信すると共に、血管の生体組織又は医用機器で反射された反射波を受信する。シャフト２１３及びセンサ２１４は、プローブ部２１１の内部で、血管の周方向に回転しながら血管の長手方向に進退可能に構成されている。
　ＭＤＵ２２は、カテーテル２１が着脱可能に取り付けられる駆動装置である。ＭＤＵ２２は、使用者の操作に応じて内蔵モータを駆動することにより、血管内に挿入されたカテーテル２１の動作を制御する。ＭＤＵ２２は、シャフト２１３及びセンサ２１４を先端側から基端側へと長手方向に移動させながら周方向に回転させる。センサ２１４は、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データを画像診断装置２へ出力する。
　画像処理装置２３は、カテーテル２１の超音波プローブから出力された反射波データに基づいて、血管の超音波断層像（医用画像）を生成する処理装置である。画像処理装置２３は、センサ２１４の１回転ごとに１枚の画像を生成する。生成される画像は、プローブ部２１１を中心とし、プローブ部２１１に略垂直な横断層像である。画像処理装置２３は、センサ２１４を一定の速度でＭＤＵ２２側に向けて引っ張りながら回転させるプルバック操作により、複数枚の横断層像を、所定の間隔で連続的に生成する。画像処理装置２３は、生成した超音波断層像を表示装置２４に表示させるほか、検査を行う際の各種設定値の入力を受け付けるための入力インターフェイスなどを備える。
　表示装置２４は、液晶表示パネル、有機ＥＬ（Electro Luminescence）表示パネル等である。表示装置２４は、画像処理装置２３によって生成された医用画像、情報処理装置１から受信する推定結果等を表示する。
　なお、本実施形態では血管内検査を一例として説明するが、検査対象とする管腔器官は血管に限定されず、例えば腸などの臓器であってもよい。また、カテーテル２１は、近赤外光を用いて光断層像を生成するＯＣＴ（Optical Coherence Tomography）用、ＯＦＤＩ（Optical Frequency Domain Imaging）用等の、光断層像生成用のカテーテルであってもよい。この場合、センサ２１４は、近赤外光の照射と反射光の受信を行なう送受信部である。カテーテル２１は、超音波トランスデューサと、ＯＣＴ又はＯＦＤＩ用の送受信部との両方のセンサ２１４を有し、超音波断層像及び光断層像の両方を含むカテーテル画像を生成するためのものであってもよい。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置１は画像診断装置２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２に通信接続されたクラウドサーバであってもよい。情報処理装置１は、画像診断装置２で生成された医用画像から画像不良の有無及び原因を推定する推定装置として機能する。情報処理装置１は、推定結果を画像診断装置２に提供する。
　図２は、情報処理装置１の構成例を示すブロック図である。情報処理装置１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。情報処理装置１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域である。補助記憶部１４は、補助記憶部１４は、プログラムＰを含む制御部１１が参照するプログラム及びデータを記憶している。なお、補助記憶部１４は情報処理装置１に接続された外部記憶装置であってもよい。
　プログラムＰは、情報処理装置１の製造段階において補助記憶部１４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを情報処理装置１が通信にて取得して補助記憶部１４に記憶させてもよい。プログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体１ａに読み出し可能に記録された態様であってもよい。
　本実施形態において情報処理装置１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。
　図３は、画像診断装置２において発生する画像不良に関する説明図である。画像診断装置２でイメージングする医用画像には、画像診断装置２の不適切な使用、破損、故障等に起因して、種々の画像不良が発生し得る。画像診断装置２の使用時に画像不良が発生した場合、正確な診断の妨げになる可能性があるため画像不良の原因を除去することが好ましい。画像不良の除去のための原因解析及びその対応に時間を要することは、血管内治療の総手術時間の増加に繋がる。本実施形態では、特に検査前に発生する画像不良に着目し、検査の開始前における画像不良の発生原因の効率的な除去を支援する。図３に基づき、本実施形態で推定対象とする画像不良の例について説明する。図３では、画像診断装置２で発生する代表的な画像不良を、その画像不良の原因箇所と対比する形で例示している。
　画像不良の原因としては、例えば、エアトラップ、カテーテル２１内部のシャフト２１３の断線、カテーテル２１とＭＤＵ２２との接続不良、ＭＤＵ２２の故障などが挙げられる。
　エアトラップに起因する画像不良は、カテーテル２１先端のエアトラップに気泡が残っていることで発生する。検査前のプライミングでエアトラップの気泡が充分に除去されていない場合、気泡によって超音波が減衰し、画像の一部又は全体が暗くなる。また、シャフト２１３の先端側のセンサ２１４（振動子）上に気泡が存在する場合、シャフト２１３の回転に合わせて画像の暗い部分が回転するという現象が発生する。なお、図３では便宜上、画像の一部が暗くなっている様子をハッチングで図示している。
　カテーテル２１内部のシャフト２１３の断線が生じた場合、画像全体が暗くなり、かつ、中心付近のリングダウン（Ring-Down、画像中心付近に出現する白いリング状の像）が消失する。断線の理由は様々だが、例えばカテーテル２１が血管内の狭窄部（プラーク等で狭くなった部位）に挿入された場合、シャフト２１３のキンク（折れ、よれ、潰れなど）が生じる。シャフト２１３のキンクが生じた状態でカテーテル２１を無理に前後に動かした場合、断線が発生する恐れがある。
　カテーテル２１とＭＤＵ２２との接続不良が発生している場合、画像全体が暗くなる、あるいは放射状、砂嵐状の像（以下、まとめて砂嵐と称する）が現れるなどの現象が発生する。また、ＭＤＵ２２の故障（例えばエンコーダの不良、フェライトコアが外れる等）に起因して、画像全体が暗くなる、あるいは画像の一部（図３で右下端に示すハッチング部分）の輝度が高くなるなどの現象が発生する。
　情報処理装置１は、上記のような画像不良の有無及び原因（種類）を医用画像から推定し、推定結果を画像診断装置２を介して出力する。なお、上記の画像不良及びその原因は一例であって限定されるものではない。
　図４及び図５は、画像不良の原因の推定方法に関する説明図である。図４は、推定方法に関する画像領域を示す図である。図５は、推定方法に関する輝度値のグラフを示す図である。図４及び図５を用いて画像不良の原因の推定方法を具体的に説明する。
　画像診断装置２のユーザは、検査前、すなわちカテーテル２１の被検者への挿入前の時点において、カテーテル２１のプルバック操作を１回行う。画像診断装置２は、１回のプルバック操作に応じて、複数フレームを含む医用画像を生成する。情報処理装置１の制御部１１は、医用画像を画像診断装置２から取得し、取得した医用画像の各種領域に含まれる画素の輝度値に基づき画像不良の有無及び原因を推定する。
　上述したように、ＩＶＵＳ法により得られる医用画像（断層像）は、センサ２１４の回転によって得られる像であるので、その回転軸を中心とする円形像となる。制御部１１は、円形像の一部又は全体を含む画像領域であって、推定対象となる画像不良の種類に応じて異なる画像領域における輝度値を算出することで、画像不良の原因を特定する。
　初めに、１フレームにおける、医用画像の一部領域である第１領域３１に含まれる各画素の輝度値の和（第１特徴量Ｘ１）を算出する。図４Ａは、医用画像の一部を含む第１領域３１をハッチングで示している。図４Ａの例では、第１領域３１は、円形像の周縁部を含む環状領域である。検査前における正常状態であれば、周囲に超音波を反射する要因が少ない無いことから、第１領域３１の輝度値は低くなる。一方、接続不良による砂嵐が表れている場合には第１領域３１の輝度値が高くなる。従って、第１特徴量Ｘ１が所定値（第１閾値Ｔ１）以上である場合、医用画像には画像不良が有り、画像不良の原因は砂嵐が表れる接続不良と推定される。本実施形態では、いずれか１フレーム分の第１領域３１の輝度値に基づき推定する例を説明するが、全フレームにおける第１領域３１の輝度値の総和に基づき推定してもよい。
　上述した第１領域３１の位置及び形状は図４Ａの例に限定されるものではないが、正常時においてリングダウン等により輝度値が高くなり易い中心部より、反射要因が少なく輝度値が低くなり易いという観点から、円形像の縁部を含む領域とすることが好ましい。また、環状形状とすることで円周方向における輝度値の均等化を図ることができる。
　次に、全フレームにおける、医用画像の大部領域である第２領域３２に含まれる各画素の輝度値の和（第２特徴量Ｘ２）を算出する。大部領域は、医用画像の一部領域よりも広い範囲を含む領域であって、例えば医用画像の全体を含む全体領域である。図４Ｂは、医用画像の全体を含む第２領域３２をハッチングで示している。図４Ｂの例では、中心のセンサ２１４部分を除いた全体を第２領域３２とするが、センサ２１４部分を含む円形像の内部全体を第２領域としてもよい。
　大部領域は、医用画像の全体を含むものに限定されず、医用画像の大部分を含む領域であればよい。大部領域は、医用画像の一部領域よりも広い領域であって、医用画像全体の特徴量と高い相関性を有する特徴量を算出可能な範囲を含む領域であればよい。
　なお、第２特徴量Ｘ２は、医用画像の全フレームについて算出するものに限定されない。画像診断装置２から取得した医用画像の全フレームの内から、例えば前処理等により選択した複数フレームについて、第２特徴量Ｘ２を算出してもよい。
　図５Ａは、画像不良の有無に応じたフレーム毎の第２領域３２の輝度値（第２特徴量Ｘ２）を示すグラフである。図５Ａの縦軸は第２特徴量Ｘ２、横軸はフレームである。例えば、図５Ａに示すように、画像不良が無く正常な場合の第２特徴量Ｘ２は、全フレームにおいて所定値（第２閾値Ｔ２）よりも大きく、略一定値をとる。一方、接続不良又は断線による画像不良が有る場合の第２特徴量Ｘ２は、全フレームにおいて所定値よりも小さくなる。また、エアトラップに起因する画像不良が有る場合の第２特徴量Ｘ２は、フレーム毎に値が変化する。例えば、気泡が存在するフレームの第２特徴量Ｘ２は所定値よりも小さくなり、気泡が存在しないフレームの第２特徴量Ｘ２は所定値よりも大きくなる。従って、全フレームにおける第２特徴量Ｘ２が所定値（第２閾値Ｔ２）以上である場合、画像不良は無く正常であると推定される。なお、図５Ａ中の第５閾値については後述する。
　全フレームにおける第２特徴量Ｘ２が所定値以上でない場合、すなわちいずれかのフレームにおける第２特徴量Ｘ２が所定値未満である場合、画像不良が有ると判定する。この場合、さらに各種輝度値の変化量に基づき画像不良の原因を特定する。
　まず、全フレームにおける、医用画像の一部領域である第３領域３３に含まれる各画素の輝度値の和（第３特徴量Ｘ３）に基づき、エアトラップの有無を判定する。図４Ｃは、医用画像の一部を含む第３領域３３をハッチングで示している。図示の如く第３領域３３は、円形像の一部であって、中心角θ及び半径rの扇形領域である。扇形の半径rは円の半径と略同一である。第３領域３３は、全フレームにおいて同一の位置及び形状を有する領域である。図４Ｃでは、中心角θが３０°の例を示す。
　図５Ｂは、画像不良の有無に応じたフレーム毎の第３領域３３の輝度値（第３特徴量Ｘ３）を示すグラフである。図５Ｂの縦軸は第３特徴量Ｘ３、横軸はフレームである。上述したようにセンサ２１４（振動子）上に気泡が存在する場合、センサ２１４の回転に合わせて画像の一部分が周期的に暗くなる。従って、図５Ｂに示すように、エアトラップに起因する画像不良が有る場合の第３特徴量Ｘ３は、フレーム毎に値が変化する。一方、接続不良又は断線による画像不良が有る場合の第３特徴量Ｘ３は、略一定値をとり、全フレームにおいて小さい値となる。画像不良が無く正常の場合の第３特徴量Ｘ３は、略一定値をとり、全フレームにおいて大きな値となる。
　従って、１回のプルバック操作で得られる複数フレームにおける第３特徴量Ｘ３の最大値と最小値の差分が所定値（第３閾値Ｔ３）以上である場合、医用画像には画像不良があり、画像不良の原因はセンサ２１４上に気泡が存在するエアトラップと推定される。第３特徴量Ｘ３の最大値と最小値の差分が所定値（第３閾値Ｔ３）以上でない場合、医用画像には画像不良があり、画像不良の原因は接続不良又は断線と推定される。
　さらに、全フレームにおける、第２特徴量Ｘ２に基づき、センサ２１４上に気泡が存在する場合以外のエアトラップの有無を推定する。具体的には、１回のプルバック操作で得られる複数フレームそれぞれについて、時系列における前後フレームの第２特徴量Ｘ２の差分（第４特徴量Ｘ４）を算出する。
　図５Ｃは、画像不良の有無に応じたフレーム毎の前後フレームの第２特徴量Ｘ２の差分（第４特徴量Ｘ４）を示すグラフである。図５Ｃの縦軸は第４特徴量Ｘ４、横軸はフレームである。上述したように、気泡が存在するフレームの第２特徴量Ｘ２は小さくなり、気泡が存在しないフレームの第２特徴量Ｘ２は大きくなる（図５Ａ参照）。これより、図５Ｃに示すように、エアトラップに起因する画像不良が有る場合の第４特徴量Ｘ４は、気泡の存在するフレームと、当該気泡の存在するフレームの前フレーム又は後フレームとの間において値が大きく変化する。一方、接続不良又は断線による画像不良が有る場合の第４特徴量Ｘ４は、略一定値をとる。
　従って、１回のプルバック操作で得られる複数フレーム間における第４特徴量Ｘ４の最大値が所定値（第４閾値Ｔ４）以上である場合、医用画像には画像不良があり、画像不良の原因はセンサ２１４上に気泡が存在しないエアトラップと推定される。第４特徴量Ｘ４の最大値が所定値（第４閾値Ｔ４）以上でない場合、医用画像には画像不良があり、画像不良の原因は接続不良又は断線と推定される。
　画像不良の原因がエアトラップでないと推定された場合には、さらに画像不良の原因が接続不良又は断線のいずれであるかを推定する。推定は、全フレームにおける第２特徴量Ｘ２に基づき行われる。図５Ａに示すように、画像不良の原因が断線である場合の第２特徴量Ｘ２は、全フレームにおいて所定値（第５閾値Ｔ５）よりも小さく、略一定値をとる。一方、画像不良の原因が接続不良である場合の第２特徴量Ｘ２は、全フレームにおいて所定値（第５閾値Ｔ５）よりも大きく、略一定値をとる。従って、全フレームにおける第２特徴量Ｘ２が所定値（第５閾値Ｔ５）以上である場合、医用画像には画像不良があり、画像不良の原因は砂嵐以外の接続不良と推定される。全フレームにおける第２特徴量Ｘ２が所定値（第５閾値Ｔ５）以上でない場合、医用画像には画像不良があり、画像不良の原因は断線と推定される。
　上記では、各特徴量として、対応する各領域に含まれる画素の輝度値の和を算出する例を説明したが、各特徴量の算出方法は限定されるものでなく、例えば対応する各領域に含まれる画素の輝度値の平均値を算出してもよい。
　情報処理装置１は、上記で説明したルールベースの手法を用いて、各種特徴量に基づき画像不良画像不良の有無及び原因を推定する。情報処理装置１は、推定結果を画像診断装置２に出力する。なお、本実施形態では推定結果の出力先が画像診断装置２であるものとして説明するが、医用画像の取得元である画像診断装置２以外の装置（例えばパーソナルコンピュータ）に推定結果を出力してもよいことは勿論である。
　図６は、情報処理装置１にて実行される処理手順の一例を示すフローチャートである。例えば検査前においてＭＤＵ２２がプルバック操作を実行し、画像診断装置２から医用画像が出力されると、情報処理装置１の制御部１１はプログラムＰに従って以下の処理を実行する。
　情報処理装置１の制御部１１は、医用画像を画像診断装置２から取得する（ステップＳ１１）。医用画像には、１回のプルバック操作により生成される複数フレームが含まれる。
　制御部１１は、複数フレームの内いずれか１フレームについて、医用画像の一部領域である第１領域３１に含まれる各画素の輝度値の和（第１特徴量Ｘ１）を算出する（ステップＳ１２）。第１領域３１は、例えば円形像の周縁部を含む環状領域である。制御部１１は、算出した第１特徴量Ｘ１と、予め設定されている第１閾値Ｔ１との大小関係を判断し、算出した第１特徴量Ｘ１が第１閾値Ｔ１未満であるか否かを判定する（ステップＳ１３）。
　第１特徴量Ｘ１が第１閾値Ｔ１未満でない、すなわち第１特徴量Ｘ１が第１閾値Ｔ１以上であると判定した場合（Ｓ１３：ＮＯ）、制御部１１は、医用画像には画像不良が有り、画像不良の原因は砂嵐が表れる接続不良と推定する（ステップＳ１４）。その後制御部１１は、ステップＳ２７に処理を進める。
　第１特徴量Ｘ１が第１閾値Ｔ１未満であると判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は、全フレームについて、医用画像の全体領域（大部領域）である第２領域３２に含まれる各画素の輝度値の和（第２特徴量Ｘ２）を算出する（ステップＳ１５）。制御部１１は、算出した全フレームにおける第２特徴量Ｘ２と、予め設定されている第２閾値Ｔ２との大小関係を判断し、算出した全フレームにおける第２特徴量Ｘ２が第２閾値Ｔ２以上であるか否かを判定する（ステップＳ１６）。
　全フレームにおける第２特徴量Ｘ２が第２閾値Ｔ２以上でないと判定した場合（Ｓ１６：ＮＯ）、制御部１１は、全フレームについて、医用画像の一部領域である扇形状の第３領域３３に含まれる各画素の輝度値の和（第３特徴量Ｘ３）を算出する（ステップＳ１７）。さらに制御部１１は、全フレームにおける第３特徴量Ｘ３の中から最大値及び最小値を抽出し、抽出した最大値及び最小値の差分を算出する。制御部１１は、第３特徴量Ｘ３の最大値及び最小値の差分と、予め設定されている第３閾値Ｔ３との大小関係を判断し、算出した第３特徴量Ｘ３の最大値及び最小値の差分が第３閾値Ｔ３未満であるか否かを判定する（ステップＳ１８）。
　第３特徴量Ｘ３の最大値及び最小値の差分が第３閾値Ｔ３未満でない、すなわち第３特徴量Ｘ３の最大値及び最小値の差分が第３閾値Ｔ３以上であると判定した場合（Ｓ１８：ＮＯ）、制御部１１は、医用画像には画像不良があり、画像不良の原因はエアトラップと推定する（ステップＳ１９）。より詳細には、センサ２１４上に気泡が存在するエアトラップと推定する。その後制御部１１は、ステップＳ２７に処理を進める。
　制御部１１はまた、サブプロセスを発生させ、ステップＳ１７以下の処理に並行してステップＳ２０の処理を行う。制御部１１は、全フレームについて、時系列で隣接する２つのフレームにおける第２特徴量Ｘ２の差分、すなわち、時系列における前後フレームの第２特徴量Ｘ２の差分（第４特徴量Ｘ４）を算出する（ステップＳ２０）。さらに制御部１１は、全フレーム間における第４特徴量Ｘ４の中から最大値を抽出する。制御部１１は、抽出した第４特徴量Ｘ４の最大値と、予め設定されている第４閾値Ｔ４との大小関係を判断し、抽出した第４特徴量Ｘ４の最大値が第４閾値Ｔ４未満であるか否かを判定する（ステップＳ２１）。
　第４特徴量Ｘ４の最大値が第４閾値Ｔ４未満でない、すなわち第４特徴量Ｘ４の最大値が第４閾値Ｔ４以上であると判定した場合（Ｓ２１：ＮＯ）、制御部１１は、医用画像には画像不良があり、画像不良の原因はエアトラップと推定する（ステップＳ２２）。より詳細には、センサ２１４上に気泡が存在しないエアトラップと判定する。その後制御部１１は、ステップＳ２７に処理を進める。
　第３特徴量Ｘ３の最大値及び最小値の差分が第３閾値Ｔ３未満である場合（Ｓ１８：ＹＥＳ）、又は、第４特徴量Ｘ４の最大値が第４閾値Ｔ４未満である場合（Ｓ２１：ＹＥＳ）、制御部１１は、画像不良の原因が接続不良又は断線のいずれかを推定する。具体的には、制御部１１は、全フレームにおける第２特徴量Ｘ２と、予め設定されている第５閾値Ｔ５との大小関係を判断し、算出した全フレームにおける第２特徴量Ｘ２が第５閾値Ｔ５以上であるか否かを判定する（ステップＳ２３）。
　全フレームにおける第２特徴量Ｘ２が第５閾値Ｔ５以上でないと判定した場合（Ｓ２３：ＮＯ）、制御部１１は、医用画像には画像不良があり、画像不良の原因は断線と推定する（ステップＳ２４）。一方、全フレームにおける第２特徴量Ｘ２が第５閾値Ｔ５以上であると判定した場合（Ｓ２３：ＹＥＳ）、制御部１１は、医用画像には画像不良があり、画像不良の原因は接続不良と推定する（ステップＳ２５）。その後制御部１１は、ステップＳ２７に処理を進める。
　全フレームにおける第２特徴量Ｘ２が第２閾値Ｔ２以上であると判定した場合（Ｓ１６：ＹＥＳ）、制御部１１は、医用画像には画像不良が無いと判定する（ステップＳ２６）。
　制御部１１は、各推定結果に応じた推定結果情報を生成する（ステップＳ２７）。制御部１１は、生成した推定結果情報を画像診断装置２に出力し（ステップＳ２８）、一連の処理を終了する。画像診断装置２は、情報処理装置１から受信した推定結果情報に基づく表示画面を表示装置２４に表示する。なお情報処理装置１は、画像不良が有ると推定した場合にのみ推定結果情報を出力し、表示装置２４にアラート表示させるものであってよい。
　上述の処理において、ステップＳ１７以下の処理と、ステップＳ２０以下の処理とは、並行で実行されるものに限定されず、順次実行されてもよい。制御部１１はステップＳ１７以下の処理の後にステップＳ２０以下の処理を実行してもよく、又は、ステップＳ２０以下の処理の後にステップＳ１７以下の処理を実行してもよい。
　図７は、画像診断装置２の表示画面例を示す説明図である。表示画面には、医用画像、画像不良の有無及び原因の推定結果、画像不良の原因を除去するための対応策等を示す情報が含まれている。
　情報処理装置１は、画像不良の推定結果に応じた対応策を含む推定結果情報を生成する。例えば、エアトラップに起因する画像不良が発生しているものと推定した場合、情報処理装置１は、プライミングを促す推定結果情報を出力する。この場合において、気泡の状態に関する詳細情報（センサ２１４上の気泡の有無）を表示することで、より具体的な対応を支援することができる。
　接続不良が発生しているものと推定した場合、情報処理装置１は、カテーテル２１及びＭＤＵ２２の接続の確認を促す推定結果情報を出力する。なお、ＭＤＵ２２の故障が発生している場合には、接続不良と同様の状態の画像不良がみられるが、この場合にはカテーテル２１及びＭＤＵ２２を接続し直しても画像不良が解消されない。従って、カテーテル２１及びＭＤＵ２２の再接続後、再度上述の推定処理を繰り返し実行し、連続して接続不良が発生していると推定した場合、情報処理装置１は、画像不良の原因はＭＤＵ２２の故障と推定することができる。ＭＤＵ２２の故障が発生しているものと推定した場合、ＭＤＵ２２の修理はユーザで行えないため、製造元のメーカへの連絡を促す推定結果情報を出力する。
　カテーテル２１の断線があると推定した場合、情報処理装置１は、カテーテル２１の交換を促す推定結果情報を出力する。
　表示画面には、さらに、接続不良の原因の推定のために特に着目した画像領域を示す情報が含まれてよい。制御部１１は、画像不良の原因の推定に係る画像領域をハイライト表示等の表示態様を用いて医用画像上に表示する画面情報を生成する。例えば、画像不良の原因はセンサ２１４上に気泡が有るエアトラップと推定した場合、制御部１１は、第３領域３３を示すガイド画像をハイライト表示等の態様にて医用画像に重畳して表示する。
　本実施形態によれば、医用画像における所定領域の輝度値に基づく各種の特徴量を用いて、画像不良の有無及び原因を好適に推定することができる。画像不良の原因が特定されることで、画像不良の原因を効率的に除去することができるため、総手術時間を低減し得る。また、不要なカテーテル２１の交換や装置修理によるコストを低減し得る。
　今回開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
　１　情報処理装置
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ　プログラム
　２　画像診断装置
　２１　カテーテル
　２１１　プローブ部
　２１２　コネクタ部
　２１３　シャフト
　２１４　センサ
　２２　ＭＤＵ
　２３　画像処理装置
　２４　表示装置
 

Claims (10)

  1. 　カテーテルにて検出した信号に基づき生成された医用画像を取得し、
    　取得した前記医用画像における一部を含む一部領域又は前記一部領域よりも広い大部領域の特徴量を算出し、
    　算出した特徴量に基づき、前記医用画像に対する画像不良の有無及び原因を推定する
    　処理をコンピュータに実行させるためのプログラム。
  2. 　前記医用画像は複数フレームを含み、
    　前記医用画像の複数フレームにおける特徴量それぞれに基づき、前記画像不良の有無及び原因を推定する
    　請求項１に記載のプログラム。
  3. 　前記医用画像の１フレームにおける前記一部領域の特徴量が第１閾値未満であるか否かを判定し、
    　第１閾値未満でない場合、前記画像不良の原因を接続不良と推定する
    　請求項１又は請求項２に記載のプログラム。
  4. 　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記一部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記一部領域の特徴量の最大値及び最小値の差分が第３閾値未満であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上でなく、かつ、前記一部領域の特徴量の最大値及び最小値の差分が第３閾値未満でない場合、前記画像不良の原因をエアトラップと推定する
    　請求項１から請求項３のいずれか１項に記載のプログラム。
  5. 　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、時系列で隣接するフレーム間における前記大部領域の特徴量の差分の最大値が第４閾値未満であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上でなく、かつ、時系列で隣接するフレーム間における前記大部領域の特徴量の差分の最大値が第４閾値未満でない場合、前記画像不良の原因をエアトラップと推定する
    　請求項１から請求項４のいずれか１項に記載のプログラム。
  6. 　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記一部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記一部領域の特徴量の最大値及び最小値の差分が第３閾値未満であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上でなく、かつ、前記一部領域の特徴量の最大値及び最小値の差分が第３閾値未満である場合、前記画像不良の原因を接続不良又は断線と推定する
    　請求項１から請求項５のいずれか１項に記載のプログラム。
  7. 　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、時系列で隣接するフレーム間における前記大部領域の特徴量の差分の最大値が第４閾値未満であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第２閾値以上でなく、かつ、時系列で隣接するフレーム間における前記大部領域の特徴量の差分の最大値が第４閾値未満である場合、前記画像不良の原因を接続不良又は断線と推定する
    　請求項１から請求項６のいずれか１項に記載のプログラム。
  8. 　前記医用画像の複数フレームにおける前記大部領域の特徴量それぞれに基づき、前記医用画像の複数フレームにおける前記大部領域の特徴量が第５閾値以上であるか否かを判定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第５閾値以上である場合、前記画像不良の原因を接続不良と推定し、
    　前記医用画像の複数フレームにおける前記大部領域の特徴量が第５閾値以上でない場合、前記画像不良の原因を断線と推定する
    　請求項６又は請求項７に記載のプログラム。
  9. 　カテーテルにて検出した信号に基づき生成された医用画像を取得する取得部と、
    　前記取得部が取得した医用画像における一部を含む一部領域又は前記一部領域よりも広い大部領域の特徴量を算出する算出部と、
    　前記算出部が算出した特徴量に基づき、前記医用画像に対する画像不良の有無及び原因を推定する推定部と
    　を備える情報処理装置。
  10. 　カテーテルにて検出した信号に基づき生成された医用画像を取得し、
    　取得した前記医用画像における一部を含む一部領域又は前記一部領域よりも広い大部領域の特徴量を算出し、
    　算出した特徴量に基づき、前記医用画像に対する画像不良の有無及び原因を推定する
    　情報処理方法。
     
PCT/JP2021/035545 2020-09-29 2021-09-28 プログラム、情報処理装置及び情報処理方法 WO2022071280A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022553989A JPWO2022071280A1 (ja) 2020-09-29 2021-09-28

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020163917 2020-09-29
JP2020-163917 2020-09-29

Publications (1)

Publication Number Publication Date
WO2022071280A1 true WO2022071280A1 (ja) 2022-04-07

Family

ID=80950443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035545 WO2022071280A1 (ja) 2020-09-29 2021-09-28 プログラム、情報処理装置及び情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2022071280A1 (ja)
WO (1) WO2022071280A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262967A (ja) * 1997-03-28 1998-10-06 Matsushita Electric Ind Co Ltd 超音波診断装置およびその自己診断方法
JP2008289697A (ja) * 2007-05-25 2008-12-04 Toshiba Corp 超音波診断装置
WO2013061664A1 (ja) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
JP2016174782A (ja) * 2015-03-20 2016-10-06 富士フイルム株式会社 超音波観察システム、超音波プロセッサ装置、及び超音波観察システムの作動方法
JP2018153564A (ja) * 2017-03-21 2018-10-04 テルモ株式会社 画像診断装置及びその作動方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262967A (ja) * 1997-03-28 1998-10-06 Matsushita Electric Ind Co Ltd 超音波診断装置およびその自己診断方法
JP2008289697A (ja) * 2007-05-25 2008-12-04 Toshiba Corp 超音波診断装置
WO2013061664A1 (ja) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
JP2016174782A (ja) * 2015-03-20 2016-10-06 富士フイルム株式会社 超音波観察システム、超音波プロセッサ装置、及び超音波観察システムの作動方法
JP2018153564A (ja) * 2017-03-21 2018-10-04 テルモ株式会社 画像診断装置及びその作動方法及びプログラム

Also Published As

Publication number Publication date
JPWO2022071280A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
US11532087B2 (en) Stent detection methods and imaging system interfaces
US10561401B2 (en) Systems and methods for selection and displaying of images using an intravascular ultrasound imaging system
US20190282211A1 (en) Scoring intravascular lesions and stent deployment in medical intraluminal ultrasound imaging
JP4819851B2 (ja) 診断支援装置およびその方法、プログラム、記録媒体
EP3297532B1 (en) Intravascular imaging system interfaces and stent detection methods
US9134420B2 (en) Three-dimensional (3D) ultrasound system for scanning object inside human body and method for operating 3D ultrasound system
JP2006510413A (ja) 動脈壁の動きを決定する超音波ドップラシステム
AU2014223201B2 (en) Systems and methods for lumen border detection in intravascular ultrasound sequences
US20230389891A1 (en) Systems, devices, and methods for displaying multiple intraluminal images in luminal assessment with medical imaging
WO2021048834A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US20230230244A1 (en) Program, model generation method, information processing device, and information processing method
EP4129197A1 (en) Computer program, information processing method, information processing device, and method for generating model
WO2022071280A1 (ja) プログラム、情報処理装置及び情報処理方法
US20230017227A1 (en) Program, information processing method, information processing apparatus, and model generation method
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
US20230222655A1 (en) Program, information processing device, and information processing method
WO2021193008A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
WO2022202310A1 (ja) プログラム、画像処理方法及び画像処理装置
WO2023189260A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
JP2023104637A (ja) 医用画像処理装置、超音波診断装置、及びプログラム
WO2024071252A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2007117299A9 (en) Systems and methods for detecting the presence of abnormalities in a medical image
JP2022032730A (ja) 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875581

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553989

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875581

Country of ref document: EP

Kind code of ref document: A1