WO2022071208A1 - 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 - Google Patents

情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 Download PDF

Info

Publication number
WO2022071208A1
WO2022071208A1 PCT/JP2021/035327 JP2021035327W WO2022071208A1 WO 2022071208 A1 WO2022071208 A1 WO 2022071208A1 JP 2021035327 W JP2021035327 W JP 2021035327W WO 2022071208 A1 WO2022071208 A1 WO 2022071208A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
segment data
polar coordinate
axis
predetermined angle
Prior art date
Application number
PCT/JP2021/035327
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
均 竹内
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022553944A priority Critical patent/JPWO2022071208A1/ja
Publication of WO2022071208A1 publication Critical patent/WO2022071208A1/ja
Priority to US18/192,390 priority patent/US20230237657A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, a program, a model generation method, and a training data generation method.
  • Patent Document 1 discloses a system for predicting the boundary position of a vascular lumen or the like from a medical image of a coronary artery using a CNN (Convolution Neural Network) that performs segmentation of an input image. ..
  • CNN Convolution Neural Network
  • the medical image also includes image data expressed in a polar coordinate system such as an IVUS (Intravascular Ultrasound) image, and when the medical image is displayed, it is converted into a Cartesian coordinate system (XY coordinate system) corresponding to the real space. Display above.
  • a discontinuous part may occur in the image of the orthogonal coordinate representation due to the transformation of the coordinate system.
  • One aspect is to provide an information processing device or the like that can suitably predict an image area corresponding to a specific object from a medical image.
  • the information processing device is a medical image of polar coordinate representation obtained by imaging the biological lumen using a device inserted into the biological lumen, with the first axis as an angle and intersecting the first axis.
  • the acquisition unit that acquires the polar coordinate image whose second axis is the distance from the device, and the first segment that divides the image area corresponding to a specific object and other image areas when the polar coordinate image is input.
  • An output unit that inputs the polar coordinate image for a predetermined angle exceeding 360 degrees to a model trained to output data and outputs the first segment data for the predetermined angle, and a first unit for the predetermined angle. It includes an extraction unit that extracts 360-degree first segment data from the segment data, and a conversion unit that converts the extracted first segment data into second segment data of orthogonal coordinate representation.
  • the image area corresponding to a specific object can be suitably predicted from the medical image.
  • FIG. 1 is an explanatory diagram showing a configuration example of an diagnostic imaging system.
  • a diagnostic imaging system that predicts an image region (hereinafter referred to as "object region") corresponding to a specific object in an image from a medical image of a blood vessel (living lumen) will be described.
  • the diagnostic imaging system includes a server 1 and a diagnostic imaging device (information processing device) 2. Each device is communicated and connected via a network N such as the Internet.
  • a blood vessel is given as an example of the biological lumen, but the biological lumen as a subject is not limited to the blood vessel, and may be another biological lumen such as a bile duct, a pancreatic duct, a bronchus, or an intestine. good.
  • Server 1 is a server computer capable of various information processing and transmission / reception of information.
  • the device corresponding to the server 1 may be a device such as a personal computer.
  • the server 1 functions as a generation device that performs machine learning to learn predetermined training data and generates an identification model 50 (see FIG. 8) that identifies an object region by inputting a medical image of a blood vessel.
  • the discriminative model 50 is a machine learning model whose task is image segmentation (semantic division of an image area), and outputs segment data in which an object area in a medical image and another image area are divided.
  • the diagnostic imaging device 2 is an imaging device that captures a medical image of a patient's blood vessel, and is, for example, an IVUS device that performs an ultrasonic examination using a catheter 201.
  • the catheter 201 is a medical instrument inserted into a patient's blood vessel, and an ultrasonic probe for transmitting and receiving an ultrasonic signal is attached to the tip of the catheter 201.
  • the ultrasonic probe is configured to be rotatable in the circumferential direction of the catheter 201 and movable in the axial direction of the blood vessel.
  • the diagnostic imaging apparatus 2 transmits an ultrasonic signal from an ultrasonic probe, receives a reflected wave, and generates and displays an ultrasonic tomographic image based on the received reflected wave.
  • diagnostic imaging apparatus 2 is described as an IVUS apparatus in the present embodiment, it may be an optical imaging apparatus or the like by OCT (Optical Coherence Tomography).
  • OCT Optical Coherence Tomography
  • the data of the identification model 50 generated by the server 1 is installed in the diagnostic imaging apparatus 2.
  • the diagnostic imaging apparatus 2 inputs an image captured by the catheter 201 into the identification model 50, and identifies an object region corresponding to a specific object (EEM (External Elastic Membrane), lumen, etc.). Then, the diagnostic imaging apparatus 2 displays a vascular tomographic image that makes the region identifiable.
  • EEM Extra Elastic Membrane
  • the diagnostic imaging apparatus 2 identifies the object area from a polar coordinate image in which the first axis is the rotation angle of the ultrasonic probe (device) and the second axis is the distance from the ultrasonic probe.
  • the image data primaryly obtained by the diagnostic imaging apparatus 2 by transmitting and receiving ultrasonic signals is not a tomographic image of the Cartesian coordinate system (so-called B-mode image) that is finally displayed, but a polar coordinate representation. It is an image (or a numerical array) (see FIG. 4).
  • the diagnostic imaging apparatus 2 inputs a polar coordinate image into the identification model 50, and obtains segment data in which an object area is divided as an output.
  • the diagnostic imaging apparatus 2 converts the segment data obtained from the identification model 50 into segment data represented by orthogonal coordinates, and identifies the object region in the final tomographic image.
  • the diagnostic imaging apparatus 2 identifies the object area using the identification model 50, but the server 1 on the cloud may identify the object area.
  • a general-purpose computer personal computer or the like connected to the diagnostic imaging apparatus 2 may perform the processing.
  • the processing entity that executes a series of processing is not particularly limited.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has an arithmetic processing unit such as one or a plurality of CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and stores the program P1 stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory etc.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P1 and other data necessary for the control unit 11 to execute processing.
  • the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM, and reads and executes a program P1 from the portable storage medium 1a. You can do it. Alternatively, the server 1 may read the program P1 from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM
  • FIG. 3 is a block diagram showing a configuration example of the diagnostic imaging apparatus 2.
  • the image diagnosis device 2 includes a control unit 21, a main storage unit 22, a communication unit 23, a display unit 24, an input unit 25, an image processing unit 26, and an auxiliary storage unit 27.
  • the control unit 21 is an arithmetic processing device such as one or a plurality of CPUs, MPUs, GPUs, etc., and performs various information processing, control processing, etc. by reading and executing the program P2 stored in the auxiliary storage unit 27. ..
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display and displays an image.
  • the input unit 25 is an operation interface for a keyboard, a mouse, and the like, and receives operation input from the user.
  • the image processing unit 26 is an image processing module that processes signals transmitted and received via the catheter 201 to generate an image.
  • the auxiliary storage unit 27 is a non-volatile storage area such as a hard disk and a large-capacity memory, and stores the program P2 and other data necessary for the control unit 21 to execute processing. Further, the auxiliary storage unit 27 stores the discriminative model 50.
  • the identification model 50 is a machine learning model generated by learning predetermined training data, and is a segment that divides an object area and another image area by inputting an polar coordinate image of a blood vessel (biological lumen) as an input. It is a trained model that outputs data.
  • the discriminative model 50 is expected to be used as a program module constituting a part of artificial intelligence software.
  • the diagnostic imaging apparatus 2 may include a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2. Alternatively, the diagnostic imaging apparatus 2 may read the program P2 from the semiconductor memory 2b.
  • a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2.
  • the diagnostic imaging apparatus 2 may read the program P2 from the semiconductor memory 2b.
  • FIG. 4 is an explanatory diagram showing the relationship between the polar coordinate image and the vascular tomographic image.
  • FIG. 4 illustrates how a multi-frame tomographic image of a Cartesian coordinate representation is generated from a polar coordinate image obtained as primary image data.
  • the diagnostic imaging apparatus 2 acquires a polar coordinate image as primary image data.
  • the polar coordinate image is image data in which the first axis (horizontal axis in FIG. 4) is the rotation angle of the ultrasonic probe and the second axis (vertical axis in FIG. 4) is the distance from the ultrasonic probe.
  • the intersection angle between the two may be an acute angle or an obtuse angle.
  • the diagnostic imaging apparatus 2 extracts an image of 360 degrees (one rotation) corresponding to each frame from the polar coordinate image and converts it into an orthogonal coordinate system to generate a vascular tomographic image.
  • FIG. 5A and 5B are explanatory views regarding image discontinuity caused by transformation of the coordinate system.
  • FIG. 5A shows a vascular tomographic image
  • FIG. 5B shows data (mask image) obtained by performing segmentation on the tomographic image.
  • a polar coordinate image is converted into a tomographic image with a Cartesian coordinate representation
  • a part of the polar coordinate image continuous along the first axis is extracted and converted into a tomographic image of each frame, so that the start point and end point (0 degree) of the rotation angle are converted. And 360 degrees) may be discontinuous.
  • the portion in the 9 o'clock direction corresponds to the portion.
  • the object area is identified by processing the original image data, that is, the polar coordinate image.
  • FIG. 6 is an explanatory diagram regarding the object identification process.
  • FIG. 6 conceptually illustrates how the object area is identified from the polar coordinate image.
  • the diagnostic imaging apparatus 2 extracts a polar coordinate image corresponding to each frame of the final vascular tomographic image from the polar coordinate image captured by the catheter 201.
  • the diagnostic imaging apparatus 2 extracts not one frame, that is, a polar coordinate image for 360 degrees, but a polar coordinate image for a predetermined angle exceeding 360 degrees for each frame of the tomographic image to be finally generated.
  • the diagnostic imaging apparatus 2 extracts polar coordinate images for 390 degrees along the first axis by adding an excess of 15 degrees per frame (360 degrees) to both ends, and in the tomographic image of each frame. Extract a polar image to identify the object area.
  • the angle of the excess is an arbitrary design matter, and it is sufficient that the angle exceeds at least one pixel along the first axis. Further, the user may arbitrarily set the angle of the excess portion.
  • the diagnostic imaging apparatus 2 inputs the extracted polar coordinate image into the identification model 50 to identify the object area.
  • the discriminative model 50 is a machine learning model generated by learning predetermined training data, and is, for example, a semantic segmentation model which is a kind of CNN.
  • the semantic segmentation model is a neural network that identifies objects in an image on a pixel-by-pixel basis. And. In the deconvolution layer, which object exists in which position in the image is identified based on the feature amount generated by the convolution layer, and data obtained by binarizing which object each pixel corresponds to is generated.
  • a semantic segmentation model is given as an example of the discriminative model 50, but a neural network other than the model or a model based on another learning algorithm such as GAN (Generative Adversarial Network) may be used.
  • GAN Geneative Adversarial Network
  • the server 1 learns the blood vessel image for training by using the training data in which the segment data that divides the object area and the other image area is given as the correct answer data. As a result, when the polar coordinate image is input, the server 1 generates the discriminative model 50 that outputs the segment data that divides the object area and the other image area. The learning process related to the discriminative model 50 will be described in detail later.
  • the object region to be identified is, for example, the EEM region of a blood vessel, the lumen region, the region between the lumen boundary and the EEM boundary (so-called plaque), and the like.
  • the discriminative model 50 identifies an image area corresponding to EEM as an object area.
  • the EEM, lumen, and the like are examples of objects, and for example, a predetermined device (a guide wire for guiding the catheter 201, a stent placed in a blood vessel, etc.) shown in an image may be identified. Further, the discriminative model 50 may be able to discriminate a plurality of types of objects at the same time.
  • the diagnostic imaging apparatus 2 inputs the polar coordinate images for the predetermined angle extracted above into the identification model 50, and obtains the segment data for the predetermined angle that divides the object area and the other image area as output.
  • the segment data is data obtained by binarizing an object area and another image area, and is data in which each pixel in the image is given a class label indicating the type of the area to which each pixel belongs.
  • FIG. 6 a mask image in which the object area is outlined and the other image areas are painted in black is shown as an example of segment data.
  • the diagnostic imaging apparatus 2 extracts the segment data for 360 degrees corresponding to the tomographic image of one frame from the segment data for a predetermined angle output from the identification model 50. Specifically, as shown in FIG. 6, the diagnostic imaging apparatus 2 removes the excess segment data exceeding 360 degrees from both ends of the segment data for a predetermined angle on the first axis, and 360 degrees. Extract segment data. As a result, for each of the start point and the end point of the rotation angle, the segmentation is performed in consideration of the information before and after the start point and the end point (both ends of the excess portion), so that the object area can be suitably predicted.
  • FIG. 7 is an explanatory diagram regarding the display processing of the vascular tomographic image.
  • the diagnostic imaging apparatus 2 identifies an object region in a tomographic image represented by orthogonal coordinates based on the segment data extracted above. Then, the diagnostic imaging apparatus 2 generates and displays (outputs) a tomographic image that can identify the object area.
  • the diagnostic imaging apparatus 2 converts the segment data represented by the polar coordinate system into the segment data represented by the orthogonal coordinate system. Further, the diagnostic imaging apparatus 2 extracts one frame, that is, a 360-degree polar coordinate image from the polar coordinate image input to the identification model 50, that is, a polar coordinate image for a predetermined angle exceeding 360 degrees. Then, the diagnostic imaging apparatus 2 converts the extracted polar coordinate image into a Cartesian coordinate system and generates a tomographic image.
  • segment data in polar coordinate representation (segment data output from the discriminative model 50) is referred to as “first segment data”
  • segment data in orthogonal coordinate representation is referred to as “second segment data”
  • second segment data both are referred to as “second segment data”.
  • segment data When collectively referred to, it is called “segment data”.
  • the diagnostic imaging apparatus 2 generates a tomographic image for output (display) in which the object area can be identified based on the second segment data obtained by converting the first segment data.
  • the tomographic image for output is referred to as "output image”.
  • the display mode of the output image is not particularly limited, but for example, in the diagnostic imaging apparatus 2, as shown in FIG. 7, a predetermined display object (for example, a ring displayed in color) is defined at the boundary between the object area (EEM area) and another image area. Generates an output image in which a shape object) is superimposed. In FIG. 7, for convenience of illustration, the display object is shown by a thick line.
  • the diagnostic imaging apparatus 2 displays the generated output image on the display unit 24.
  • the diagnostic imaging device 2 may output an output image to an external display device (for example, a monitor installed in a catheter room). Further, the diagnostic imaging apparatus 2 may output the output image to a printer or the like for printing.
  • an external display device for example, a monitor installed in a catheter room.
  • the diagnostic imaging apparatus 2 may output the output image to a printer or the like for printing.
  • FIG. 8 is an explanatory diagram relating to the generation process of the discriminative model 50.
  • the machine learning process for generating the discriminative model 50 will be described below.
  • the server 1 learns the blood vessel image for training by using the training data to which the correct segment data is added.
  • the blood vessel image for training is, for example, a tomographic image represented by orthogonal coordinates.
  • the server 1 assigns second segment data that separates an object region and another image region to each of the tomographic images of a plurality of frames imaged according to the pullback operation of the catheter 201 with an actual patient as a subject.
  • a setting input for example, a drawing input for drawing an EEM boundary of a blood vessel
  • the server 1 uses the second segment data set by the operator as correct answer data to generate the discriminative model 50.
  • the server 1 Since the image and segment data input and output of the discriminative model 50 are in a polar coordinate system, the server 1 first converts the tomographic image for training and the second segment data from the orthogonal coordinate system to the polar coordinate system before generating the training data. Perform processing. Specifically, as shown in FIG. 8, the server 1 converts the tomographic image and the second segment data of each frame into the polar coordinate image and the first segment data, connects them along the first axis, and divides them into a plurality of frames. The polar coordinate image and the first segment data corresponding to the above are generated.
  • the server 1 extracts a pair of the polar coordinate image and the first segment data for a predetermined angle from the generated polar coordinate image and the first segment data while shifting the area to be extracted along the first axis.
  • the server 1 uses the extracted polar coordinate image and the first segment data as the input image for training and the correct answer data of the output, respectively.
  • the server 1 gives the polar coordinate image and the first segment data extracted above to the discriminative model 50 and performs learning. That is, the server 1 inputs the polar coordinate image into the discriminative model 50, outputs the first segment data, compares it with the correct first segment data, and updates parameters such as weights between neurons so that they are close to each other. do.
  • the server 1 sequentially gives a pair of polar coordinate images and first segment data for learning, and optimizes the parameters. As a result, the server 1 generates the discriminative model 50.
  • the above learning method is an example, and the present embodiment is not limited to this.
  • the training data of Cartesian coordinate representation (polar coordinate image and first segment data) is given from the beginning without performing the preprocessing to convert the training data of Cartesian coordinate representation (tomographic image and second segment data) to the polar coordinate system. good.
  • FIG. 9 is a flowchart showing the procedure of the generation process of the discriminative model 50. Based on FIG. 9, the processing content when generating the discriminative model 50 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data for generating the discriminative model 50 (step S11).
  • the training data is data to which a second segment data for dividing an object region and another image region is added to a vascular tomographic image for training.
  • the blood vessel tomographic image for training is a blood vessel image expressed in a Cartesian coordinate system, and is a multi-frame tomographic image taken according to the pullback operation of the catheter 201.
  • the second segment data is the binarized data of the object area and the other image area, and is the segment data expressed in the Cartesian coordinate system.
  • the control unit 11 uses the training tomographic image and the second segment data as a polar coordinate image in which the first axis is the rotation angle of the ultrasonic probe (device) and the second axis is the distance from the ultrasonic probe. It is converted into the first segment data which is coaxial with the polar coordinate image (step S12). Specifically, the control unit 11 converts each of the tomographic images of a plurality of frames into a polar coordinate system and connects them along the first axis to generate a polar coordinate image corresponding to a plurality of frames in the tomographic image of the orthogonal coordinate representation. do.
  • control unit 11 converts the first segment data corresponding to the tomographic image of each frame into a polar coordinate system and connects them along the first axis to generate the first segment data of the polar coordinate representation.
  • the control unit 11 extracts the polar coordinate image and the first segment data for a predetermined angle exceeding 360 degrees from the converted polar coordinate image and the first segment data (step S13).
  • control unit 11 When the control unit 11 inputs the polar coordinate image for a predetermined angle based on the polar coordinate image for a predetermined angle and the first segment data extracted in step S13, the control unit 11 divides the object area and another image area into the first segment.
  • the identification model 50 that outputs data is generated (step S14). Specifically, as described above, the control unit 11 generates a CNN related to semantic segmentation.
  • the control unit 11 inputs the polar coordinate image to the discriminative model 50, outputs the first segment data, and compares it with the correct first segment data.
  • the control unit 11 optimizes parameters such as weights between neurons so that the two are close to each other, and generates a discriminative model 50.
  • the control unit 11 ends a series of processes.
  • FIG. 10 is a flowchart showing the procedure of the object identification process.
  • the processing contents executed by the diagnostic imaging apparatus 2 will be described with reference to FIG.
  • the control unit 21 of the diagnostic imaging apparatus 2 is a medical image of polar coordinate representation in which a blood vessel (biological cavity) is imaged using a catheter 201, and the first axis is the rotation angle of the ultrasonic probe (device), and the second Acquire a polar coordinate image with the axis as the distance from the ultrasonic probe (step S31).
  • the control unit 21 extracts a polar coordinate image for a predetermined angle exceeding 360 degrees from the acquired polar coordinate image (step S32).
  • the control unit 21 inputs the extracted polar coordinate image into the identification model 50, and outputs the first segment data in which the object area and the other image area are separated (step S33).
  • the control unit 21 extracts the first segment data for 360 degrees from the output first segment data (step S34). Further, the control unit 21 extracts a polar coordinate image for 360 degrees from the polar coordinate image for a predetermined angle input to the identification model 50 (step S35).
  • the control unit 21 converts the first segment data and the polar coordinate image extracted in steps S34 and S35 into the second segment data and the tomographic image of the orthogonal coordinate representation (step S36).
  • the control unit 21 generates an output image (tomographic image) that can identify the object area based on the converted second segment data (step S37). For example, the control unit 21 generates a tomographic image in which a display object is superimposed on the boundary between the object area (EEM area) and another image area as an output image.
  • the control unit 21 displays (outputs) the generated output image (step S38), and ends a series of processes.
  • the object region can be suitably predicted from the medical image represented by polar coordinates.
  • the object region predicted from the polar coordinate image can be identifiablely presented in the tomographic image (output image) of the orthogonal coordinate representation.
  • an object that serves as a reference for image diagnosis of a blood vessel such as an EEM and a lumen.
  • the data obtained by adding the second segment data to the normally observed tomographic image can be converted into a polar coordinate system and used as training data.
  • the training data creation work (annotation) can be preferably performed.
  • the original image data is a polar coordinate image, but when the original image data is a tomographic image expressed in Cartesian coordinates, this may be inversely converted into a polar coordinate system for processing.
  • a mode is described in which a tomographic image of a blood vessel is converted back into a polar coordinate image to identify an object region.
  • the contents overlapping with the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 11 is a flowchart showing the procedure of the object identification process according to the second embodiment. Based on FIG. 11, the processing contents executed by the diagnostic imaging apparatus 2 according to the second embodiment will be described.
  • the control unit 21 of the diagnostic imaging apparatus 2 is a medical image of a blood vessel (living lumen) and acquires a tomographic image represented by orthogonal coordinates (step S201).
  • the tomographic image is, for example, a vascular tomographic image that has been imaged in the past, and is an image file saved in a format such as DICOM (Digital Imaging and Communications in Medicine).
  • DICOM Digital Imaging and Communications in Medicine
  • the control unit 21 acquires a multi-frame tomographic image of a patient who has undergone vascular treatment or the like in the past, in which the blood vessel of the patient is imaged according to the pullback operation of the catheter 201.
  • the tomographic image to be processed is not limited to the image file that has been captured in the past, and may be an image captured in real time. Further, the file format of the tomographic image to be processed is not limited to DICOM, and any tomographic image expressed in Cartesian coordinates may be used.
  • the control unit 21 converts the acquired tomographic image into a polar coordinate image (step S202). Specifically, the control unit 21 converts the tomographic image of each frame into a polar coordinate image having the first axis as an angle and the second axis as a distance, and connects them along the first axis for a plurality of frames. Generate a polar image of. The control unit 21 shifts the process to step S32.
  • the control unit 21 After extracting the first segment data for 360 degrees from the first segment data for a predetermined angle output from the discriminative model 50 (step S34), the control unit 21 uses the first segment data as the second segment data in Cartesian coordinates. Convert to segment data (step S203). Further, the control unit 21 selects a tomographic image of a frame corresponding to the second segment data from the tomographic images of a plurality of frames acquired in step S201 (step S204). The control unit 21 generates an output image (tomographic image) that can identify the object area based on the second segment data converted in step S203 (step S205). The control unit 21 shifts the process to step S38.
  • the object region can be suitably predicted from the tomographic image represented by the orthogonal coordinates.
  • FIG. 12 is a flowchart showing the procedure of the object identification process according to the third embodiment.
  • the diagnostic imaging apparatus 2 executes the following processing.
  • the control unit 21 of the diagnostic imaging apparatus 2 accepts a correction input for modifying the object area shown in the output image (step S301).
  • the control unit 21 receives an operation input for redrawing a display object (EEM boundary) presented as an object area from a user (medical worker) who observes the output image of a plurality of frames.
  • EEM boundary display object
  • FIG. 12 is a flowchart showing the procedure of the object identification process according to the third embodiment.
  • the control unit 21 converts the second segment data representing the modified object area into the first segment data of the polar coordinate representation (step S302). Specifically, the control unit 21 reversely transforms the second segment data of each frame into a polar coordinate system and concatenates them along the first axis to generate first segment data for a plurality of frames.
  • the control unit 21 updates the discriminative model 50 based on the polar coordinate image corresponding to the output image (tomographic image) and the first segment data converted in step S302 (step S303). Specifically, the control unit 21 is the first of the polar coordinate image for the predetermined angle input to the identification model 50 in step S33 and the first segment data generated in step S302 for the predetermined angle corresponding to the polar coordinate image.
  • the segment data and the segment data are given to the identification model 50 as training data for re-learning, and parameters such as weights between neurons are updated.
  • the control unit 21 ends a series of processes.
  • the diagnostic imaging apparatus 2 executes the update (re-learning) process of step S303, but the server 1 may execute the process.
  • the third embodiment it is possible to perform re-learning based on the prediction result of the object area based on the discriminative model 50 and improve the prediction accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

情報処理装置は、生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した極座標表現の医用画像であって、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像を取得する取得部と、前記極座標画像を入力した場合に、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第１セグメントデータを出力するよう学習済みのモデルに、３６０度を超える所定角度分の前記極座標画像を入力して、前記所定角度分の第１セグメントデータを出力する出力部と、前記所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出する抽出部と、抽出した前記第１セグメントデータを直交座標表現の第２セグメントデータに変換する変換部とを備える。

Description

情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法
　本発明は、情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法に関する。
　近年の人工知能技術の進展に伴い、人工知能を用いて医用画像を処理する技術が提案されている。例えば特許文献１では、入力画像のセグメンテーションを行うＣＮＮ（Convolution Neural Network；畳み込みニューラルネットワーク）を用いて、冠動脈を撮像した医用画像から血管管腔等の境界位置を予測するシステム等が開示されている。
特表２０２０－５２０００５号公報
　ところで、医用画像にはＩＶＵＳ（Intravascular Ultrasound）画像のように極座標系で表現された画像データもあり、当該医用画像を表示する場合、実空間に相当する直交座標系（ＸＹ座標系）に変換した上で表示する。この場合に、座標系の変換に起因して、直交座標表現の画像に不連続な部分が生じ得るという問題がある。
　特許文献１に係る発明は、極座標表現の画像を直交座標表現の画像に変換した上でセグメンテーションを実施しているが、上述の問題から、境界位置を正確に予測できない恐れがある。
　一つの側面では、医用画像から特定のオブジェクトに対応する画像領域を好適に予測することができる情報処理装置等を提供することを目的とする。
　一つの側面に係る情報処理装置は、生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した極座標表現の医用画像であって、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像を取得する取得部と、前記極座標画像を入力した場合に、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第１セグメントデータを出力するよう学習済みのモデルに、３６０度を超える所定角度分の前記極座標画像を入力して、前記所定角度分の第１セグメントデータを出力する出力部と、前記所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出する抽出部と、抽出した前記第１セグメントデータを直交座標表現の第２セグメントデータに変換する変換部とを備える。
　一つの側面では、医用画像から特定のオブジェクトに対応する画像領域を好適に予測することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像診断装置の構成例を示すブロック図である。 極座標画像及び血管断層像の関係性を表す説明図である。 座標系の変換に起因する画像の不連続性に関する説明図である。 座標系の変換に起因する画像の不連続性に関する説明図である。 オブジェクト識別処理に関する説明図である。 血管断層像の表示処理に関する説明図である。 識別モデルの生成処理に関する説明図である。 識別モデルの生成処理の手順を示すフローチャートである。 オブジェクト識別処理の手順を示すフローチャートである。 実施の形態２に係るオブジェクト識別処理の手順を示すフローチャートである。 実施の形態３に係るオブジェクト識別処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、血管（生体管腔）を撮像した医用画像から、画像内の特定のオブジェクトに対応する画像領域（以下では「オブジェクト領域」と呼ぶ）を予測する画像診断システムについて説明する。画像診断システムは、サーバ１、画像診断装置（情報処理装置）２を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。
　なお、本実施の形態では生体管腔の一例として血管を挙げるが、被写体とする生体管腔は血管に限定されず、例えば胆管、膵管、気管支、腸などの他の生体管腔であってもよい。
　サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置は、パーソナルコンピュータ等の装置であってもよい。サーバ１は、所定の訓練データを学習する機械学習を行い、血管を撮像した医用画像を入力として、オブジェクト領域を識別する識別モデル５０（図８参照）を生成する生成装置として機能する。後述の如く、識別モデル５０は画像のセグメンテーション（画像領域の意味的区分）をタスクとする機械学習モデルであり、医用画像内のオブジェクト領域と他の画像領域とを区分したセグメントデータを出力する。
　画像診断装置２は、患者の血管をイメージングした医用画像を撮像する撮像装置であり、例えばカテーテル２０１を用いた超音波検査を行うＩＶＵＳ装置である。カテーテル２０１は患者の血管内に挿入される医用器具であり、先端に超音波信号を送受信する超音波プローブが装着されている。例えば超音波プローブは、カテーテル２０１の周方向に回転可能、かつ血管の軸方向に移動可能に構成されている。画像診断装置２は、超音波プローブから超音波信号を送信して反射波を受信し、受信した反射波に基づいて超音波断層像を生成して表示する。
　なお、本実施の形態では画像診断装置２がＩＶＵＳ装置であるものとして説明するが、ＯＣＴ（Optical Coherence Tomography；光干渉断層撮影法）による光学式の撮像装置等であってもよい。
　画像診断装置２には、サーバ１が生成した識別モデル５０のデータがインストールされている。画像診断装置２は、カテーテル２０１を用いて撮像した画像を識別モデル５０に入力し、特定のオブジェクト（ＥＥＭ（External Elastic Membrane；外弾性板）、内腔等）に対応するオブジェクト領域を識別する。そして画像診断装置２は、当該領域を識別可能にした血管断層像を表示する。
　この場合に画像診断装置２は、第１軸を超音波プローブ（デバイス）の回転角度とし、第２軸を超音波プローブからの距離とする極座標画像からオブジェクト領域を識別する。詳しくは後述するように、超音波信号の送受信によって画像診断装置２が一次的に得る画像データは、最終的に表示される直交座標系の断層像（いわゆるＢモード画像）ではなく、極座標表現の画像（もしくは数値配列）である（図４参照）。画像診断装置２は、極座標画像を識別モデル５０に入力して、オブジェクト領域を区分したセグメントデータを出力として得る。画像診断装置２は、識別モデル５０から得たセグメントデータを直交座標表現のセグメントデータに変換し、最終的な断層像におけるオブジェクト領域を識別する。
　なお、本実施の形態では画像診断装置２が識別モデル５０を用いてオブジェクト領域を識別するものとするが、クラウド上のサーバ１がオブジェクト領域を識別するようにしてもよい。あるいは、画像診断装置２に接続された汎用コンピュータ（パーソナルコンピュータ等）が処理を行うようにしてもよい。このように、一連の処理を実行する処理主体は特に限定されない。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。
　なお、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。
　図３は、画像診断装置２の構成例を示すブロック図である。画像診断装置２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、画像処理部２６、及び補助記憶部２７を備える。
　制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置であり、補助記憶部２７に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。画像処理部２６は、カテーテル２０１を介して送受信する信号を処理し、画像を生成する画像処理モジュールである。
　補助記憶部２７は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２７は、識別モデル５０を記憶している。識別モデル５０は、所定の訓練データを学習することで生成された機械学習モデルであり、血管（生体管腔）を撮像した極座標画像を入力として、オブジェクト領域と他の画像領域とを区分したセグメントデータを出力する学習済みモデルである。識別モデル５０は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　なお、画像診断装置２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは画像診断装置２は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。
　図４は、極座標画像及び血管断層像の関係性を表す説明図である。図４では、一次的な画像データとして得られた極座標画像から、直交座標表現の複数フレームの断層像が生成される様子を図示している。
　既に述べたように、画像診断装置２は、極座標画像を一次的な画像データとして取得する。極座標画像は、第１軸（図４では横軸）を超音波プローブの回転角度とし、第２軸（図４では縦軸）を超音波プローブからの距離とする画像データである。なお、図４では第１軸及び第２軸が直交しているが、両者の交差角度は鋭角又は鈍角であってもよい。カテーテル２０１を用いて血管を撮像する場合、超音波プローブを回転させ、かつ、血管の軸方向に移動させながら画像を撮像するため、一次的には極座標系で表現された画像が得られる。図４に示すように、画像診断装置２は極座標画像から各フレームに相当する３６０度分（１回転分）の画像を抽出し、直交座標系に変換して血管断層像を生成する。
　なお、文献に依っては、第１軸を角度とし、第２軸を距離とする画像（図４上側）を「直交座標」と呼び、当該画像を変換した画像（図４下側）を「極座標」と呼ぶものもあるが、本明細書では前者を極座標系の画像と定義し、後者を直交座標系の画像と定義する。
　図５Ａ及び図５Ｂは、座標系の変換に起因する画像の不連続性に関する説明図である。図５Ａには血管断層像を、図５Ｂには当該断層像に対してセグメンテーションを実施したデータ（マスク画像）を図示している。極座標画像を直交座標表現の断層像に変換した場合、第１軸に沿って連続する極座標画像の一部を抽出して各フレームの断層像に変換するため、回転角度の始点及び終点（０度及び３６０度）に相当する部分が不連続になる恐れがある。図５Ａ及び図５Ｂでは、９時方向の部分が当該部分に相当する。この状態の断層像に対してセグメンテーションを行った場合、不連続な部分をそのまま認識し、歪な結果が提示される恐れがある。
　そこで本実施の形態では、元の画像データ、すなわち極座標画像に対して処理を行うことで、オブジェクト領域を識別する。図６は、オブジェクト識別処理に関する説明図である。図６では、極座標画像からオブジェクト領域を識別する様子を概念的に図示している。
　まず画像診断装置２は、カテーテル２０１を用いて撮像した極座標画像から、最終的な血管断層像の各フレームに対応する極座標画像を抽出する。この場合に画像診断装置２は、１フレーム、すなわち３６０度分の極座標画像ではなく、３６０度を超える所定角度分の極座標画像を、最終的に生成する断層像のフレーム毎に抽出する。例えば画像診断装置２は、第１軸に沿って、１フレーム（３６０度）当たり１５度ずつの超過分を両端に加えた３９０度分の極座標画像を抽出していき、各フレームの断層像におけるオブジェクト領域を識別するための極座標画像を抽出する。
　なお、超過分の角度は任意の設計事項であり、少なくとも第１軸に沿って１ピクセル分の幅だけ超過していればよい。また、超過分の角度をユーザが任意に設定可能としてもよい。
　画像診断装置２は、抽出した極座標画像を識別モデル５０に入力して、オブジェクト領域を識別する。識別モデル５０は、所定の訓練データを学習することで生成された機械学習モデルであり、例えばＣＮＮの一種であるセマンティックセグメンテーションモデルである。
　セマンティックセグメンテーションモデルは、画像内のオブジェクトを画素単位で識別するニューラルネットワークであり、入力画像を畳み込む畳み込み層（エンコーダ）と、畳み込んだ特徴量を元の画像サイズにマッピングする逆畳み込み層（デコーダ）とを備える。逆畳み込み層では、畳み込み層で出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを識別し、各画素がどの物体に対応するかを二値化したデータを生成する。
　なお、本実施の形態では識別モデル５０の一例としてセマンティックセグメンテーションモデルを挙げるが、当該モデル以外のニューラルネットワーク、あるいはＧＡＮ（Generative Adversarial Network）等の他の学習アルゴリズムに基づくモデルであってもよい。
　サーバ１は、訓練用の血管画像に対し、オブジェクト領域と他の画像領域とを区分したセグメントデータが正解データとして付与された訓練データを用いて、学習を行う。これによりサーバ１は、極座標画像を入力した場合に、オブジェクト領域と他の画像領域とを区分したセグメントデータを出力する識別モデル５０を生成する。なお、識別モデル５０に係る学習処理について、詳しくは後述する。
　識別対象とするオブジェクト領域は、例えば血管のＥＥＭ領域、内腔領域、内腔境界からＥＥＭ境界までの間の領域（所謂プラーク）等である。本実施の形態に係る識別モデル５０は、ＥＥＭに対応する画像領域をオブジェクト領域として識別する。なお、ＥＥＭ、内腔等はオブジェクトの一例であって、例えば画像に映る所定のデバイス（カテーテル２０１を案内するガイドワイヤ、血管に留置されたステント等）を識別してもよい。また、識別モデル５０は、複数種類のオブジェクトを同時に識別可能としてもよい。
　画像診断装置２は、上記で抽出した所定角度分の極座標画像を識別モデル５０に入力して、オブジェクト領域と他の画像領域とを区分した所定角度分のセグメントデータを出力として得る。セグメントデータは、オブジェクト領域と他の画像領域とを二値化したデータであり、画像内の各画素に対し、各画素が属する領域の種類を表すクラスラベルが付与されたデータである。図６では、オブジェクト領域を白抜き、他の画像領域を黒塗りで示すマスク画像をセグメントデータの一例として図示してある。
　画像診断装置２は、識別モデル５０から出力された所定角度分のセグメントデータから、１フレームの断層像に相当する３６０度分のセグメントデータを抽出する。具体的には図６に示すように、画像診断装置２は、３６０度を超過する超過分のセグメントデータを、第１軸における所定角度分のセグメントデータの両端部から除去し、３６０度分のセグメントデータを抽出する。これにより、回転角度の始点及び終点それぞれについて、始点及び終点の前後の情報（超過分の両端部）も考慮してセグメンテーションが実施されるため、オブジェクト領域を好適に予測することができる。
　図７は、血管断層像の表示処理に関する説明図である。画像診断装置２は、上記で抽出したセグメントデータに基づき、直交座標表現の断層像におけるオブジェクト領域を特定する。そして画像診断装置２は、オブジェクト領域を識別可能な断層像を生成して表示（出力）する。
　具体的には、画像診断装置２は、極座標系で表現されているセグメントデータを直交座標表現のセグメントデータに変換する。また、画像診断装置２は、識別モデル５０に入力した極座標画像、すなわち３６０度を超える所定角度分の極座標画像から、１フレーム分、すなわち３６０度分の極座標画像を抽出する。そして画像診断装置２は、抽出した極座標画像を直交座標系に変換し、断層像を生成する。
　以下の説明では便宜上、極座標表現のセグメントデータ（識別モデル５０から出力されたセグメントデータ）を「第１セグメントデータ」と呼び、直行座標表現のセグメントデータを「第２セグメントデータ」と呼び、両者を総称する場合に「セグメントデータ」と呼ぶ。
　画像診断装置２は、第１セグメントデータを変換した第２セグメントデータに基づき、オブジェクト領域を識別可能にした出力（表示）用の断層像を生成する。以下の説明では便宜上、出力用の断層像を「出力画像」と呼ぶ。出力画像の表示態様は特に限定されないが、例えば画像診断装置２は、図７に示すように、オブジェクト領域（ＥＥＭ領域）と他の画像領域との境界に所定の表示オブジェクト（例えばカラー表示したリング状オブジェクト）を重畳した出力画像を生成する。なお、図７では図示の便宜上、当該表示オブジェクトを太線で図示している。画像診断装置２は、生成した出力画像を表示部２４に表示する。
　なお、例えば画像診断装置２は外部の表示装置（例えばカテーテル室に設置されたモニタ等）に出力画像を出力してもよい。また、画像診断装置２は出力画像をプリンタ等に出力して印刷させてもよい。
　図８は、識別モデル５０の生成処理に関する説明図である。以下では、識別モデル５０を生成するための機械学習処理について説明する。
　サーバ１は、訓練用の血管画像に対し、正解のセグメントデータが付与された訓練データを用いて学習を行う。ここで、訓練用の血管画像は、例えば直交座標表現の断層像である。例えばサーバ１は、実際の患者を被写体として、カテーテル２０１のプルバック動作に応じて撮像された複数フレームの断層像それぞれに対し、オブジェクト領域と他の画像領域とを区分した第２セグメントデータを付与する設定入力（例えば血管のＥＥＭ境界を描画する描画入力）を、所定の作業者（例えば本システムの開発者）から受け付ける。サーバ１は、作業者が設定した第２セグメントデータを正解データとして用い、識別モデル５０を生成する。
　識別モデル５０の入力出となる画像及びセグメントデータは極座標系であるため、サーバ１はまず、訓練用の断層像及び第２セグメントデータを、直交座標系から極座標系に変換する訓練データ生成の前処理を行う。具体的には図８に示すように、サーバ１は、各フレームの断層像及び第２セグメントデータを極座標画像及び第１セグメントデータに変換し、第１軸に沿って連結して、複数フレーム分に相当する極座標画像及び第１セグメントデータを生成する。サーバ１は、生成した極座標画像及び第１セグメントデータから、第１軸に沿って抽出対象とする領域をずらしながら、所定角度分の極座標画像及び第１セグメントデータのペアを抽出していく。サーバ１は、抽出した極座標画像及び第１セグメントデータをそれぞれ、訓練用の入力画像、及び出力の正解データとして用いる。
　サーバ１は、上記で抽出した極座標画像及び第１セグメントデータを識別モデル５０に与え、学習を行う。すなわち、サーバ１は、極座標画像を識別モデル５０に入力して第１セグメントデータを出力し、正解の第１セグメントデータと比較して、両者が近似するようにニューロン間の重み等のパラメータを更新する。サーバ１は、複数の極座標画像及び第１セグメントデータのペアを順次与えて学習を行い、パラメータを最適化する。これによりサーバ１は、識別モデル５０を生成する。
　なお、上記の学習方法は一例であって、本実施の形態はこれに限定されるものではない。例えば直交座標表現の訓練データ（断層像及び第２セグメントデータ）を極座標系に変換する前処理を行わず、極座標表現の訓練データ（極座標画像及び第１セグメントデータ）が最初から与えられていてもよい。
　図９は、識別モデル５０の生成処理の手順を示すフローチャートである。図９に基づき、機械学習によって識別モデル５０を生成する際の処理内容について説明する。
　サーバ１の制御部１１は、識別モデル５０を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、訓練用の血管断層像に対し、オブジェクト領域と他の画像領域とを区分した第２セグメントデータが付与されたデータである。訓練用の血管断層像は、直交座標系で表現された血管画像であり、カテーテル２０１のプルバック動作に応じて撮像された複数フレームの断層像である。第２セグメントデータは、オブジェクト領域と他の画像領域とを二値化したデータであり、直交座標系で表現されたセグメントデータである。
　制御部１１は、訓練用の断層像及び第２セグメントデータをそれぞれ、第１軸を超音波プローブ（デバイス）の回転角度とし、第２軸を超音波プローブからの距離とする極座標画像と、当該極座標画像と同軸を取る第１セグメントデータとに変換する（ステップＳ１２）。具体的には、制御部１１は、複数フレームの断層像をそれぞれ極座標系に変換し、第１軸に沿って連結して、直交座標表現の断層像において複数フレーム分に相当する極座標画像を生成する。また、制御部１１は同様に、各フレームの断層像に相当する第１セグメントデータをそれぞれ極座標系に変換し、第１軸に沿って連結して、極座標表現の第１セグメントデータを生成する。制御部１１は、変換した極座標画像及び第１セグメントデータから、３６０度を超える所定角度分の極座標画像及び第１セグメントデータを抽出する（ステップＳ１３）。
　制御部１１は、ステップＳ１３で抽出した所定角度分の極座標画像及び第１セグメントデータに基づき、所定角度分の極座標画像を入力した場合に、オブジェクト領域と他の画像領域とを区分した第１セグメントデータを出力する識別モデル５０を生成する（ステップＳ１４）。具体的には上述の如く、制御部１１は、セマンティックセグメンテーションに係るＣＮＮを生成する。制御部１１は、極座標画像を識別モデル５０に入力して第１セグメントデータを出力し、正解の第１セグメントデータと比較する。制御部１１は、両者が近似するようにニューロン間の重み等のパラメータを最適化し、識別モデル５０を生成する。制御部１１は一連の処理を終了する。
　図１０は、オブジェクト識別処理の手順を示すフローチャートである。図１０に基づき、画像診断装置２が実行する処理内容について説明する。
　画像診断装置２の制御部２１は、カテーテル２０１を用いて血管（生体管腔）を撮像した極座標表現の医用画像であって、第１軸を超音波プローブ（デバイス）の回転角度とし、第２軸を超音波プローブからの距離とする極座標画像を取得する（ステップＳ３１）。制御部２１は、取得した極座標画像から、３６０度を超える所定角度分の極座標画像を抽出する（ステップＳ３２）。
　制御部２１は、抽出した極座標画像を識別モデル５０に入力して、オブジェクト領域と他の画像領域とを区分した第１セグメントデータを出力する（ステップＳ３３）。制御部２１は、出力した第１セグメントデータから、３６０度分の第１セグメントデータを抽出する（ステップＳ３４）。また、制御部２１は、識別モデル５０に入力した所定角度分の極座標画像から、３６０度分の極座標画像を抽出する（ステップＳ３５）。
　制御部２１は、ステップＳ３４、Ｓ３５で抽出した第１セグメントデータ及び極座標画像を、直交座標表現の第２セグメントデータ及び断層像に変換する（ステップＳ３６）。制御部２１は、変換した第２セグメントデータに基づき、オブジェクト領域を識別可能な出力画像（断層像）を生成する（ステップＳ３７）。例えば制御部２１は、オブジェクト領域（ＥＥＭ領域）と他の画像領域との境界に表示オブジェクトを重畳した断層像を出力画像として生成する。制御部２１は、生成した出力画像を表示（出力）し（ステップＳ３８）、一連の処理を終了する。
　以上より、本実施の形態１によれば、極座標表現の医用画像からオブジェクト領域を好適に予測することができる。
　また、本実施の形態１によれば、極座標画像から予測したオブジェクト領域を直交座標表現の断層像（出力画像）において識別可能に提示することができる。
　また、本実施の形態１によれば、ＥＥＭ、内腔等のように、血管の画像診断の基準となるオブジェクトを好適に識別することができる。
　また、本実施の形態１によれば、通常観察される断層像に第２セグメントデータを付与したデータを極座標系に変換し、訓練データとすることができる。これにより、訓練データの作成作業（アノテーション）を好適に行うことができる。
（実施の形態２）
　実施の形態１では元の画像データが極座標画像であるものとして説明したが、元の画像データが直交座標表現の断層像である場合、これを極座標系に逆変換して処理してもよい。本実施の形態では、血管断層像を極座標画像に逆変換し、オブジェクト領域を識別する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　図１１は、実施の形態２に係るオブジェクト識別処理の手順を示すフローチャートである。図１１に基づき、実施の形態２に係る画像診断装置２が実行する処理内容について説明する。
　画像診断装置２の制御部２１は、血管（生体管腔）を撮像した医用画像であって、直交座標表現の断層像を取得する（ステップＳ２０１）。当該断層像は、例えば過去に撮像済みの血管断層像であり、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）等の形式で保存されている画像ファイルである。例えば制御部２１は、過去に血管治療等を行った患者に関し、カテーテル２０１のプルバック動作に応じて当該患者の血管を撮像した複数フレームの断層像を取得する。
　なお、処理対象とする断層像は過去に撮像済みの画像ファイルに限定されず、リアルタイムで撮像している画像であってもよい。また、処理対象とする断層像のファイル形式はＤＩＣＯＭに限定されず、直交座標表現の断層像であればよい。
　制御部２１は、取得した断層像を極座標画像に変換する（ステップＳ２０２）。具体的には、制御部２１は、各フレームの断層像を、第１軸を角度とし、第２軸を距離とする極座標画像に変換し、第１軸に沿って連結して、複数フレーム分の極座標画像を生成する。制御部２１は処理をステップＳ３２に移行する。
　識別モデル５０から出力された所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出した後（ステップＳ３４）、制御部２１は、当該第１セグメントデータを直交座標表現の第２セグメントデータに変換する（ステップＳ２０３）。また、制御部２１は、当該第２セグメントデータに対応するフレームの断層像を、ステップＳ２０１で取得した複数フレームの断層像から選択する（ステップＳ２０４）。制御部２１は、ステップＳ２０３で変換した第２セグメントデータに基づき、オブジェクト領域を識別可能な出力画像（断層像）を生成する（ステップＳ２０５）。制御部２１は処理をステップＳ３８に移行する。
　以上より、本実施の形態２によれば、直交座標表現の断層像からもオブジェクト領域を好適に予測することができる。
（実施の形態３）
　本実施の形態では、識別モデル５０に基づくオブジェクト領域の予測結果を元に、識別モデル５０の再学習（更新）を行う形態について説明する。
　図１２は、実施の形態３に係るオブジェクト識別処理の手順を示すフローチャートである。出力画像を表示（出力）した後（ステップＳ３８）、画像診断装置２は以下の処理を実行する。
　画像診断装置２の制御部２１は、出力画像で示すオブジェクト領域を修正する修正入力を受け付ける（ステップＳ３０１）。例えば制御部２１は、複数フレームの出力画像それぞれに対し、当該画像を観察するユーザ（医療従事者）から、オブジェクト領域として提示した表示オブジェクト（ＥＥＭ境界）を再描画する操作入力を受け付ける。
　制御部２１は、修正後のオブジェクト領域を表す第２セグメントデータを、極座標表現の第１セグメントデータに変換する（ステップＳ３０２）。具体的には、制御部２１は、各フレームの第２セグメントデータを極座標系に逆変換し、第１軸に沿って連結して、複数フレーム分の第１セグメントデータを生成する。制御部２１は、出力画像（断層像）に対応する極座標画像と、ステップＳ３０２で変換した第１セグメントデータとに基づき、識別モデル５０を更新する（ステップＳ３０３）。具体的には、制御部２１は、ステップＳ３３で識別モデル５０に入力した所定角度分の極座標画像と、ステップＳ３０２で生成した第１セグメントデータのうち、極座標画像に対応する所定角度分の第１セグメントデータとを再学習用の訓練データとして識別モデル５０に与え、ニューロン間の重み等のパラメータを更新する。制御部２１は一連の処理を終了する。
　なお、上記では画像診断装置２がステップＳ３０３の更新（再学習）処理を実行するものとしたが、サーバ１が処理を実行してもよい。
　以上より、本実施の形態３によれば、識別モデル５０に基づくオブジェクト領域の予測結果を元に再学習を行い、予測精度を向上させることができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　サーバ
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　画像診断装置
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　画像処理部
　２７　補助記憶部
　Ｐ２　プログラム
　５０　識別モデル
 

Claims (10)

  1. 　生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した極座標表現の医用画像であって、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像を取得する取得部と、
    　前記極座標画像を入力した場合に、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第１セグメントデータを出力するよう学習済みのモデルに、３６０度を超える所定角度分の前記極座標画像を入力して、前記所定角度分の第１セグメントデータを出力する出力部と、
    　前記所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出する抽出部と、
    　抽出した前記第１セグメントデータを直交座標表現の第２セグメントデータに変換する変換部と
    　を備える情報処理装置。
  2. 　前記第２セグメントデータに基づき、前記極座標画像を直交座標系に変換した断層像であって、前記オブジェクトに対応する画像領域を識別可能な断層像を出力する第２出力部を備える
    　請求項１に記載の情報処理装置。
  3. 　前記断層像を出力後、前記オブジェクトに対応する画像領域を修正する修正入力を受け付ける受付部と、
    　修正後の前記オブジェクトに対応する画像領域を表す第２セグメントデータを前記第１セグメントデータに変換する逆変換部と、
    　前記極座標画像と、変換した前記第１セグメントデータとに基づき、前記モデルを更新する更新部とを備える
    　請求項２に記載の情報処理装置。
  4. 　前記極座標画像は、血管に挿入されたカテーテルを用いて前記血管を撮像した画像であり、
    　前記出力部は、前記血管の外弾性板又は内腔に対応する画像領域を区分した前記第１セグメントデータを出力する
    　請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記抽出部は、３６０度を超える超過角度分の第１セグメントデータを、前記所定角度分の第１セグメントデータの両端部から除去して、前記３６０度分の第１セグメントデータを抽出する
    　請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記取得部は、前記生体管腔を撮像した直交座標表現の断層像を取得して前記極座標画像に変換し、
    　前記出力部は、変換した前記極座標画像を前記モデルに入力して前記第１セグメントデータを出力する
    　請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した極座標表現の医用画像であって、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像を取得し、
    　前記極座標画像を入力した場合に、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第１セグメントデータを出力するよう学習済みのモデルに、３６０度を超える所定角度分の前記極座標画像を入力して、前記所定角度分の第１セグメントデータを出力し、
    　前記所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出し、
    　抽出した前記第１セグメントデータを直交座標表現の第２セグメントデータに変換する
    　処理をコンピュータが実行する情報処理方法。
  8. 　生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した極座標表現の医用画像であって、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像を取得し、
    　前記極座標画像を入力した場合に、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第１セグメントデータを出力するよう学習済みのモデルに、３６０度を超える所定角度分の前記極座標画像を入力して、前記所定角度分の第１セグメントデータを出力し、
    　前記所定角度分の第１セグメントデータから３６０度分の第１セグメントデータを抽出し、
    　抽出した前記第１セグメントデータを直交座標表現の第２セグメントデータに変換する
    　処理をコンピュータに実行させるプログラム。
  9. 　生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した直交座標表現の断層像に対し、特定のオブジェクトに対応する画像領域と、他の画像領域とを区分した第２セグメントデータが付与された訓練データを取得し、
    　前記断層像及び第２セグメントデータをそれぞれ、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像及び第１セグメントデータに変換し、
    　変換した前記極座標画像及び第１セグメントデータから、３６０度を超える所定角度分の極座標画像及び第１セグメントデータを抽出し、
    　抽出した前記所定角度分の極座標画像及び第１セグメントデータに基づき、前記所定角度分の極座標画像を入力した場合に、前記所定角度分の第１セグメントデータを出力する学習済みモデルを生成する
    　処理をコンピュータが実行するモデル生成方法。
  10. 　生体管腔に挿入されたデバイスを用いて前記生体管腔を撮像した直交座標表現の断層像に対し、特定のオブジェクトに対応する画像領域と他の画像領域とを区分した第２セグメントデータを付与する設定入力を受け付け、
    　前記断層像及び第２セグメントデータをそれぞれ、第１軸を角度とし、前記第１軸と交差する第２軸を前記デバイスからの距離とする極座標画像及び第１セグメントデータに変換し、
    　変換した前記極座標画像及び第１セグメントデータから、３６０度を超える所定角度分の極座標画像及び第１セグメントデータを抽出する
    　処理をコンピュータが実行する訓練データ生成方法。
     
PCT/JP2021/035327 2020-09-30 2021-09-27 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 WO2022071208A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022553944A JPWO2022071208A1 (ja) 2020-09-30 2021-09-27
US18/192,390 US20230237657A1 (en) 2020-09-30 2023-03-29 Information processing device, information processing method, program, model generating method, and training data generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-164605 2020-09-30
JP2020164605 2020-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/192,390 Continuation US20230237657A1 (en) 2020-09-30 2023-03-29 Information processing device, information processing method, program, model generating method, and training data generating method

Publications (1)

Publication Number Publication Date
WO2022071208A1 true WO2022071208A1 (ja) 2022-04-07

Family

ID=80949168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035327 WO2022071208A1 (ja) 2020-09-30 2021-09-27 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法

Country Status (3)

Country Link
US (1) US20230237657A1 (ja)
JP (1) JPWO2022071208A1 (ja)
WO (1) WO2022071208A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7407901B1 (ja) 2022-12-23 2024-01-04 能美防災株式会社 防災機器の設置補助システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188546A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 断層画像処理装置、断層画像処理方法及びプログラム
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188546A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 断層画像処理装置、断層画像処理方法及びプログラム
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UNAL, GOZDE ET AL.: "Shape-Driven Segmentation of the Arterial Wall in Intravascular Ultrasound Images", IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, vol. 12, no. 3, 2008, pages 335 - 347, XP011206230 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7407901B1 (ja) 2022-12-23 2024-01-04 能美防災株式会社 防災機器の設置補助システム

Also Published As

Publication number Publication date
JPWO2022071208A1 (ja) 2022-04-07
US20230237657A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
US20180247154A1 (en) Image classification apparatus, method, and program
US20230076868A1 (en) Systems and methods for utilizing synthetic medical images generated using a neural network
Torrents-Barrena et al. TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery
CN115994902A (zh) 医学图像分析方法、电子设备及存储介质
EP4218598A1 (en) Information processing device, information processing method, and program
EP4129197A1 (en) Computer program, information processing method, information processing device, and method for generating model
US20240221154A1 (en) Method and device for displaying bio-image tissue
WO2022071208A1 (ja) 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法
EP4218599A1 (en) Information processing device, information processing method, program, and model generation method
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
CN117457175A (zh) 影像检查方法、装置和计算机设备
CN112132981A (zh) 图像处理的方法及装置，电子设备及存储介质
US20230017227A1 (en) Program, information processing method, information processing apparatus, and model generation method
CN114565623B (zh) 肺血管分割方法、装置、存储介质及电子设备
WO2021193015A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US12076158B2 (en) Intuitive display for rotator cuff tear diagnostics
Farhad et al. A review of medical diagnostic video analysis using deep learning techniques
CN114387259A (zh) 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
KR20220111526A (ko) 실시간 생체 이미지 인식 방법 및 장치
US20240005459A1 (en) Program, image processing method, and image processing device
CN113096091B (zh) 图像处理方法及装置、电子设备及存储介质
WO2021199961A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP7545466B2 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20240346653A1 (en) Information processing method, information processing apparatus, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875510

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553944

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875510

Country of ref document: EP

Kind code of ref document: A1