WO2024048509A1 - 病態評価装置 - Google Patents

病態評価装置 Download PDF

Info

Publication number
WO2024048509A1
WO2024048509A1 PCT/JP2023/030939 JP2023030939W WO2024048509A1 WO 2024048509 A1 WO2024048509 A1 WO 2024048509A1 JP 2023030939 W JP2023030939 W JP 2023030939W WO 2024048509 A1 WO2024048509 A1 WO 2024048509A1
Authority
WO
WIPO (PCT)
Prior art keywords
pathological condition
condition evaluation
information
organs
evaluation device
Prior art date
Application number
PCT/JP2023/030939
Other languages
English (en)
French (fr)
Inventor
諄一郎 岩澤
洋平 菅原
Original Assignee
株式会社Preferred Networks
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Preferred Networks filed Critical 株式会社Preferred Networks
Publication of WO2024048509A1 publication Critical patent/WO2024048509A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present disclosure relates to a pathological condition evaluation device.
  • the objective of the present disclosure is to improve the accuracy of pathological evaluation.
  • a pathological condition evaluation device that is an embodiment of the present disclosure includes at least one processor and at least one memory, and the at least one processor is configured to evaluate shapes of two or more organs from an image including a plurality of organs.
  • Pathological condition evaluation information is generated by extracting feature amounts and inputting the feature amounts related to the shapes of the two or more organs into the model.
  • FIG. 1 is an example of the entire configuration according to an embodiment of the present disclosure.
  • FIG. 1 is a functional block diagram of a pathological condition evaluation device according to an embodiment of the present disclosure (Embodiment 1).
  • FIG. 3 is a diagram for explaining extraction of feature amounts related to the shape of each organ according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a model that generates pathological condition evaluation information from feature amounts related to the shapes of a plurality of organs according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a model that generates pathological condition evaluation information from feature amounts related to the shapes of a plurality of organs according to an embodiment of the present disclosure.
  • FIG. 1 is an example of the entire configuration according to an embodiment of the present disclosure.
  • FIG. 1 is a functional block diagram of a pathological condition evaluation device according to an embodiment of the present disclosure (Embodiment 1).
  • FIG. 3 is a diagram for explaining extraction of feature amounts related to the shape of each
  • FIG. 3 is a diagram for explaining a model that generates pathological condition evaluation information from feature amounts related to the shapes of a plurality of organs according to an embodiment of the present disclosure.
  • 2 is a flowchart of a process of extracting feature amounts related to the shape of each organ from a medical image including a plurality of organs to generate pathological condition evaluation information according to an embodiment of the present disclosure (Embodiment 1).
  • FIG. 2 is a functional block diagram of a pathological condition evaluation device according to an embodiment of the present disclosure (Embodiment 2).
  • 12 is a flowchart of a process of generating pathological condition evaluation information regarding endometriosis from a medical image including a plurality of organs according to an embodiment of the present disclosure (Embodiment 2).
  • FIG. 1 is a flowchart of a process of generating pathological condition evaluation information regarding endometriosis from a medical image including a plurality of organs according to an embodiment of the present disclosure (Embodiment
  • FIG. 3 is a functional block diagram of a pathological condition evaluation device according to an embodiment of the present disclosure (Embodiment 3).
  • 12 is a flowchart of a process of generating segmentation information of a lesion part from a medical image including a lesion part and generating pathology evaluation information regarding the uterus according to an embodiment of the present disclosure (Embodiment 3).
  • FIG. 2 is a diagram for explaining a medical image and segmentation information according to an embodiment of the present disclosure.
  • FIG. 1 is a hardware configuration diagram of a pathological condition evaluation device according to an embodiment of the present disclosure.
  • a “medical image” is an image generated by an arbitrary imaging device such as an MRI (Magnetic Resonance Imaging) device, and is an image obtained by photographing or measuring a human body.
  • the medical image may be data showing a three-dimensional shape of an organ, a lesion, etc. (hereinafter also referred to as a three-dimensional MRI image).
  • Medical condition evaluation information is information to support a doctor's diagnosis regarding the pathological condition.
  • FIG. 1 is an example of the overall configuration according to an embodiment of the present disclosure.
  • the pathological condition evaluation system 1 includes a pathological condition evaluation device 10 and an image diagnostic device 20.
  • an operator such as a doctor 30 operates the pathological condition evaluation device 10.
  • the doctor 30 can diagnose the patient's condition by referring to the condition evaluation information generated by the condition evaluation device 10. Each will be explained below.
  • the pathological condition evaluation device 10 is a device that generates pathological condition evaluation information.
  • the pathological condition evaluation device 10 consists of one or more computers.
  • the pathological condition evaluation device 10 acquires a medical image generated by the image diagnostic device 20 from the image diagnostic device 20 .
  • the pathological condition evaluation device 10 extracts feature amounts related to the shapes of two or more organs from an image including a plurality of organs (for example, a medical image), and uses the feature amounts related to the shapes of the two or more organs as a model.
  • Pathological condition evaluation information is generated by inputting the information into .
  • Shape-related feature amounts may be extracted from all of the organs included in the image, or shape-related feature amounts may be extracted from two or more organs.
  • the pathological condition evaluation device 10 generates segmentation information of two or more organs from an image including a plurality of organs (for example, a medical image), and based on the segmentation information of the two or more organs, You may extract the feature amount related to the shape of .
  • the pathological condition evaluation device 10 generates pathological condition evaluation information (for example, pathological condition evaluation information regarding endometriosis) by inputting an image including a plurality of organs (for example, a medical image) to a neural network. .
  • pathological condition evaluation information for example, pathological condition evaluation information regarding endometriosis
  • the disease condition evaluation device 10 inputs an image (for example, a medical image) including at least one of nodular lesions, adenomyosis, and ovarian cyst into a neural network, thereby evaluating the condition of any one of the lesions. Segmentation information is generated, and pathological condition evaluation information regarding the uterus is generated based on the segmentation information.
  • an image for example, a medical image
  • pathological condition evaluation information regarding the uterus is generated based on the segmentation information.
  • the image diagnostic device 20 is an imaging device that generates medical images, and is, for example, an MRI device.
  • the pathological condition evaluation device 10 and the image diagnostic device 20 are described as separate devices, but the pathological condition evaluation device 10 and the image diagnostic device 20 may be implemented as one device.
  • the pathological condition evaluation system 1 includes a pathological condition evaluation device 10, a terminal 11, and an image diagnostic device 20.
  • the pathological condition evaluation device 10 and the terminal 11 are communicably connected via an arbitrary network.
  • an operator such as a doctor 30 operates the terminal 11.
  • the doctor 30 can diagnose the patient's condition by referring to the condition evaluation information generated by the condition evaluation device 10.
  • the pathological condition evaluation device 10 is a device that generates pathological condition evaluation information.
  • the pathological condition evaluation device 10 consists of one or more computers.
  • the pathological condition evaluation device 10 acquires the medical images generated by the image diagnostic device 20 from the terminal 11 and provides the terminal 11 with the pathological condition evaluation information generated by the pathological condition evaluation device 10 .
  • the rest is the same as configuration example 1, so the explanation will be omitted.
  • the terminal 11 acquires a medical image generated by the image diagnostic apparatus 20 from the image diagnostic apparatus 20, and provides the acquired medical image to the pathological condition evaluation apparatus 10. Further, the terminal 11 acquires the pathological condition evaluation information generated by the pathological condition evaluation device 10 from the pathological condition evaluation device 10 .
  • the terminal 11 is a personal computer, a smartphone, or the like.
  • the image diagnostic apparatus 20 is the same as the configuration example 1, so the description thereof will be omitted.
  • the pathological condition evaluation device 10 and the image diagnostic device 20 are described as separate devices, but the pathological condition evaluation device 10 and the image diagnostic device 20 may be implemented as one device.
  • Embodiment 1 Embodiment 1, Embodiment 2, and Embodiment 3 will be described below.
  • Embodiment 1 will be described below. Note that this embodiment is applicable not only to humans but also to animals.
  • FIG. 2 is a functional block diagram of the pathological condition evaluation device 10 according to an embodiment of the present disclosure.
  • the pathology evaluation device 10 includes a medical image acquisition section 101, a segmentation section 102, a feature extraction section 103, and a pathology evaluation information generation section 104.
  • the pathological condition evaluation device 10 functions as a medical image acquisition section 101, a segmentation section 102, a feature extraction section 103, and a pathological condition evaluation information generation section 104 by executing programs. Each will be explained below.
  • the medical image acquisition unit 101 acquires a medical image generated by the image diagnostic apparatus 20.
  • a medical image is a medical image that includes a plurality of organs (for example, the plurality of organs includes any two or more of a uterus, a rectum, a bladder, and an ovary).
  • the medical image acquisition unit 201 may acquire medical images from the image diagnostic apparatus 20 (in the case of configuration example 1 in FIG. 1), or may acquire medical images from the terminal 11 (in the case of the configuration example 1 in FIG. 1). In the case of Example 2).
  • a medical image including multiple organs is an image that includes multiple organs (for example, two or more of the uterus, rectum, bladder, and ovary).
  • a medical image including a plurality of organs is an MRI image taken by an MRI apparatus.
  • a medical image including a plurality of organs is an image taken in a sagittal section, but it may be an image taken in another cross section.
  • a medical image including a plurality of organs is a three-dimensional MRI image (that is, data indicating a three-dimensional shape of an organ) taken by an MRI apparatus, but may also be a two-dimensional MRI image.
  • a three-dimensional MRI image is a collection of multiple cross-sectional images.
  • the segmentation unit 102 generates segmentation information for each organ by inputting a medical image including multiple organs into a neural network.
  • a neural network receives a medical image containing multiple organs, it outputs segmentation information for each organ.
  • Segmentation information is information on labels corresponding to parts corresponding to each organ in a medical image (for example, labels for each pixel such as uterus is label 1, rectum is label 2, bladder is label 3, ovary is label 4, etc.) . As an example, one pixel is given one label (in the above example, one of labels 1 to 4). Segmentation information may be output from the neural network in matrix form.
  • the feature amount extraction unit 103 extracts feature amounts related to the shape of each organ from a medical image including a plurality of organs.
  • the feature amount extraction unit 103 may extract feature amounts related to the shape of each organ based on the segmentation information.
  • the feature amount extraction unit 103 may extract feature amounts related to the shape of each organ using information on the label of each pixel of the medical image, or may extract feature amounts related to the shape of each organ based on the label.
  • the feature amount related to the shape of each organ may be extracted using an image (an image corresponding to each segmented organ; hereinafter also referred to as a partial image). Note that the feature extraction unit 103 can calculate the numerical value of the actual shape of the organ based on the scale information of the MRI image.
  • the feature amount related to the shape of each organ is a radiomics feature amount. Examples of feature amounts related to the shape of each organ will be described below.
  • the feature quantities related to the shape of each organ are "maximum 2D diameter (row direction)”, “maximum 2D diameter (column direction)”, “maximum 2D diameter (slice direction)”, “maximum 3D diameter”, “sphericity”, It includes at least one of "surface area”, “surface area volume ratio”, “volume (voxel)”, “volume (mesh)”, and “feature amount based on principal component analysis using the result of segmentation of each organ”.
  • Maximum 2D diameter (row direction) is the maximum diameter of the organ shape in the coronal section.
  • Maximum 2D diameter (column direction) is the maximum diameter of the organ shape in the sagittal section.
  • Maximum 2D diameter (slice direction) is the maximum diameter of the organ shape in the axial section.
  • Maximum 3D diameter is the maximum diameter of the organ shape in three dimensions.
  • Sphericity is the sphericity of an organ, and is defined as (36 ⁇ V ⁇ 2/A) ⁇ (1/3) using the volume V of the organ and the area A of the organ. Sphericity takes a value from 0 to 1, and the closer it is to 1, the closer it is to a sphere.
  • “Surface area” is the surface area of the organ shape.
  • “Surface area volume ratio” is defined as the surface area/volume of an organ shape.
  • Volume (voxel) is the volume of the organ shape, and is calculated from the number of voxels included in the organ shape.
  • Volume (mesh) is the volume of the organ shape, and is calculated from the number of triangular meshes included in the organ shape.
  • the "feature quantity based on principal component analysis using the segmentation results of each organ” is a feature quantity generated from the segmentation information of each organ by principal component analysis.
  • FIG. 3 is a diagram for explaining extraction of feature amounts related to the shape of each organ according to an embodiment of the present disclosure. [Extraction Example 1], [Extraction Example 2], and [Extraction Example 3] will be explained.
  • the pathological condition evaluation device 10 generates segmentation information (labels) for each organ by inputting a medical image including multiple organs into a neural network, and uses the segmentation information (labels) or partial images for each organ.
  • the feature amount related to the shape of each organ can be calculated.
  • a neural network is a machine-learning model that uses medical images containing multiple organs and segmentation information (labels) for each organ as learning data, and when a medical image containing multiple organs is input, the segmentation information (labels) for each organ is label).
  • the pathological condition evaluation device 10 can extract feature amounts related to the shape of each organ by inputting a medical image including a plurality of organs into a neural network.
  • a neural network is a machine learning model that uses medical images containing multiple organs and features related to the shape of each organ as learning data, and when a medical image containing multiple organs is input, the features related to the shape of each organ are input. Output.
  • the pathological condition evaluation device 10 generates segmentation information (label) for each organ by inputting a medical image including a plurality of organs into a first neural network, and generates segmentation information (label) or partial segmentation information for each organ.
  • the first neural network is a machine-learning model that uses medical images containing multiple organs and segmentation information (labels) for each organ as learning data, and when a medical image containing multiple organs is input, each organ Output segmentation information (label).
  • the second neural network is a model that is machine-learned using segmentation information (labels) or partial images of each organ and feature amounts related to the shape of each organ as learning data. When input, the feature amount related to the shape of each organ is output.
  • the input of the second neural network is a medical image and segmentation information (labels) of a plurality of organs
  • the output of the second neural network is feature amounts related to the shapes of the plurality of organs.
  • the input of the second neural network is a partial image of one organ (the image of the part corresponding to the organ extracted based on the label), and the output of the second neural network is the shape of one organ. It is a feature quantity related to.
  • the input of the second neural network is segmentation information (label) of one organ
  • the output of the second neural network is feature amounts related to the shape of one organ.
  • the input of the second neural network is segmentation information (labels) of a plurality of organs
  • the output of the second neural network is feature amounts related to the shapes of the plurality of organs.
  • the pathological condition evaluation information generation unit 104 generates pathological condition evaluation information by inputting feature amounts related to the shapes of a plurality of organs into the model.
  • the model may be any machine learning model that can generate pathology evaluation information from feature quantities related to the shapes of multiple organs, or may be a decision tree model generated for each item of pathology evaluation information.
  • the features related to the shapes of multiple organs are used as learning data, and the pathological condition evaluation information for the features related to the shapes of the multiple organs are used as learning data. Train the robot to learn to predict pathological condition evaluation information based on the amount.
  • the pathological condition evaluation information generation unit 104 may generate the pathological condition evaluation information by inputting image information for each organ obtained as a result of segmentation into the model, in addition to feature amounts related to the shapes of a plurality of organs. .
  • pathological condition evaluation information is information regarding the presence or absence of adhesions.
  • pathological condition evaluation information includes the presence or absence of adhesions between organs in each region of the human body, the severity of adhesions (for example, the following "adhesions between left ovary and rectum”, “adhesions between left ovary and right ovary”), Information on “adhesions between right ovary and rectum”, “adhesions between uterus and bladder”, “adhesions between uterus and left ovary”, “adhesions between uterus and rectum”, “adhesions between uterus and right ovary”) , the presence or absence of a nodular lesion on the posterior surface of the uterus, and the severity of the nodular lesion on the posterior surface of the uterus (information on "nodular lesion on the posterior surface of the uterus
  • Adhesions between left ovary and rectum is information about whether or not there are adhesions between the left ovary and rectum, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Adhesions between left ovary and right ovary is information about whether or not there is an adhesion between the left ovary and the right ovary, and if there is an adhesion, the severity of the adhesion. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Adhesions between right ovary and rectum is information about whether or not there are adhesions between the right ovary and rectum, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Ultra-bladder adhesions is information about whether or not there are adhesions between the uterus and the bladder, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Adhesions between uterus and left ovary is information about whether or not there are adhesions between the uterus and left ovary, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Adhesions between uterus and rectum is information about whether or not there are adhesions between the uterus and rectum, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Adhesions between uterus and right ovary is information about whether or not there are adhesions between the uterus and the right ovary, and if there are adhesions, the severity of the adhesions. For example, one of three classes, ie, no adhesion (None), mild adhesion (Mild), and severe adhesion (Severe), is output from the model as pathology evaluation information.
  • Nodular lesion on the posterior surface of the uterus is information on whether there is a nodular lesion on the posterior surface of the uterus.
  • one of three classes ie, no nodular lesions (None), mild nodular lesions (Mild), and severe nodular lesions (Severe) is output from the model as pathology evaluation information.
  • FIG. 4 is a diagram for explaining a model that generates pathology evaluation information from feature amounts related to the shapes of a plurality of organs according to an embodiment of the present disclosure. As shown in FIG. 4, a decision tree model generated for each item of pathology evaluation information can be used.
  • Inputs to each decision tree model include multiple types of feature quantities (for example, maximum 2D diameter (row direction), maximum 2D diameter (column direction), At least the following: maximum 2D diameter (slice direction), maximum 3D diameter, sphericity, surface area, surface area volume ratio, volume (voxel), volume (mesh), and feature quantities based on principal component analysis using the segmentation results of each organ. 1).
  • the organ from which the feature quantity is extracted may be changed (for example, when predicting "adhesion between the left ovary and rectum", the feature quantities of the ovary and rectum may be used).
  • each decision tree model may be the same feature quantity or may be a different feature quantity (depending on the evaluation target). (Features may be changed accordingly.)
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) into a first decision tree model. It is possible to generate information on "collusion between The first decision tree model is a model that has been machine learned using features related to the shapes of multiple organs and information on "adhesion between the left ovary and rectum” as learning data, and the features related to the shapes of multiple organs are input. When this happens, information on "adhesion between left ovary and rectum” is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) into the second decision tree model, thereby determining "adhesion between the left ovary and the right ovary.” information can be generated.
  • the second decision tree model is a model that has been machine learned using the features related to the shapes of multiple organs and the information on "adhesion between the left ovary and the right ovary" as learning data, and the features related to the shapes of multiple organs are When input, information on "adhesion between left ovary and right ovary" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) into the third decision tree model, thereby evaluating "adhesion between the right ovary and rectum.” Information can be generated.
  • the third decision tree model is a model that has been machine learned using features related to the shapes of multiple organs and information on "adhesion between the right ovary and rectum" as learning data, and the features related to the shapes of multiple organs are input. When this happens, information on "adhesion between right ovary and rectum" is output.
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) into the fourth decision tree model, thereby obtaining information on "adhesions between the uterus and the bladder.” can be generated.
  • the fourth decision tree model is a model that has been machine-learned using features related to the shapes of multiple organs and information on "adhesion between the uterus and bladder" as learning data, and the features related to the shapes of multiple organs are input. Then, information on "adhesions between the uterus and the bladder" is output.
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) into the fifth decision tree model, thereby evaluating "adhesions between the uterus and the left ovary.” Information can be generated.
  • the fifth decision tree model is a model that has been machine learned using features related to the shapes of multiple organs and information on "adhesion between the uterus and left ovary" as learning data, and the features related to the shapes of multiple organs are input. When this happens, information on "adhesion between uterus and left ovary" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) into the sixth decision tree model, thereby obtaining information on "adhesions between the uterus and the rectum.” can be generated.
  • the sixth decision tree model is a model that has been machine-learned using features related to the shapes of multiple organs and information on "adhesion between the uterus and rectum" as learning data, and the features related to the shapes of multiple organs are input. Then, information on "adhesion between uterus and rectum" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) into the seventh decision tree model, thereby evaluating "adhesion between the uterus and the right ovary.” Information can be generated.
  • the seventh decision tree model is a model that has been machine learned using features related to the shapes of multiple organs and information on "adhesion between the uterus and right ovary" as learning data, and the features related to the shapes of multiple organs are input. When this happens, information on "adhesion between uterus and right ovary" is output.
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) into the eighth decision tree model, thereby obtaining information on "nodular lesion on the posterior surface of the uterus.” can be generated.
  • the eighth decision tree model is a model that has been machine-learned using features related to the shapes of multiple organs and information on "nodular lesions on the posterior surface of the uterus" as learning data, and the features related to the shapes of multiple organs are input. Then, the information on "nodular lesion on the posterior surface of the uterus" is output.
  • FIG. 5 is a diagram for explaining a model that generates pathology evaluation information from feature amounts related to the shapes of a plurality of organs according to an embodiment of the present disclosure.
  • One neural network can be used, as shown in FIG. 5.
  • Inputs to the neural network include multiple types of feature quantities (for example, maximum 2D diameter (row direction), maximum 2D diameter (column direction), maximum 2D diameter (column direction), At least one of the following: diameter (slicing direction), maximum 3D diameter, sphericity, surface area, surface area volume ratio, volume (voxel), volume (mesh), and feature quantity based on principal component analysis using the segmentation results of each organ. ).
  • feature quantities for example, maximum 2D diameter (row direction), maximum 2D diameter (column direction), maximum 2D diameter (column direction), At least one of the following: diameter (slicing direction), maximum 3D diameter, sphericity, surface area, surface area volume ratio, volume (voxel), volume (mesh), and feature quantity based on principal component analysis using the segmentation results of each organ. ).
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) into a neural network, thereby inputting all items of pathological condition evaluation information (e.g., "Adhesions between left ovary and rectum”, “adhesions between left ovary and right ovary”, “adhesions between right ovary and rectum”, “adhesions between uterus and bladder”, “adhesions between uterus and left ovary”, Information on “adhesions between the uterus and rectum,” “adhesions between the uterus and right ovary,” and “nodular lesions on the posterior surface of the uterus” can be generated.
  • a neural network is a machine-learning model that uses feature quantities related to the shape of multiple organs and information on all items of pathological condition evaluation information as learning data, and when the feature amounts related to the shape of multiple organs are input, it is Output information for
  • FIG. 6 is a diagram for explaining a model that generates pathology evaluation information from feature amounts related to the shapes of multiple organs according to an embodiment of the present disclosure. As shown in FIG. 6, a neural network generated for each item of pathology evaluation information can be used.
  • Inputs to each neural network include multiple types of feature quantities (for example, maximum 2D diameter (row direction), maximum 2D diameter (column direction), maximum At least one of the following: 2D diameter (slice direction), maximum 3D diameter, sphericity, surface area, surface area volume ratio, volume (voxel), volume (mesh), and a feature quantity based on principal component analysis using the segmentation results of each organ. ).
  • the organ from which the feature quantity is extracted may be changed (for example, when predicting "adhesion between the left ovary and rectum", the feature quantities of the ovary and rectum may be used).
  • each neural network may be the same feature quantity or may be a different feature quantity (depending on the evaluation target). (You may change the amount).
  • the pathological condition evaluation device 10 inputs feature amounts related to the shape of a plurality of organs (that is, a plurality of types of feature amounts related to a plurality of organs) into a first neural network. It is possible to generate information on "collusion".
  • the first neural network is a machine learning model that uses feature quantities related to the shapes of multiple organs and information on "adhesion between the left ovary and rectum” as learning data, and the feature quantities related to the shapes of multiple organs are input. Then, information on "adhesion between left ovary and rectum” is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) to the second neural network, thereby evaluating "adhesion between the left ovary and the right ovary.” Information can be generated.
  • the second neural network is a model that has been machine-learned using features related to the shapes of multiple organs and information on "adhesion between the left ovary and right ovary" as learning data, and the features related to the shapes of multiple organs are input. When this happens, information on "adhesion between left ovary and right ovary" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) to the third neural network, thereby obtaining information on "adhesion between right ovary and rectum". can be generated.
  • the third neural network is a machine learning model that uses feature quantities related to the shapes of multiple organs and information on "adhesion between the right ovary and rectum” as learning data, and the feature quantities related to the shapes of multiple organs are input. Then, information on "adhesion between right ovary and rectum" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) to the fourth neural network, thereby obtaining information on "adhesions between the uterus and the bladder.” can be generated.
  • the fourth neural network is a model that has been machine-learned using features related to the shapes of multiple organs and information on "adhesion between the uterus and bladder" as learning data, and the features related to the shapes of multiple organs are input. and outputs information on "adhesions between the uterus and the bladder.”
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) to the fifth neural network, thereby obtaining information on "adhesion between the uterus and left ovary.” can be generated.
  • the fifth neural network is a machine learning model that uses feature quantities related to the shapes of multiple organs and information on "adhesion between the uterus and left ovary" as learning data, and the feature quantities related to the shapes of multiple organs are input. Then, information on "adhesion between uterus and left ovary" is output.
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) to the sixth neural network, thereby obtaining information on "adhesions between the uterus and the rectum.” can be generated.
  • the sixth neural network is a machine-learning model that uses feature quantities related to the shapes of multiple organs and information on "adhesion between the uterus and rectum" as learning data, and the feature quantities related to the shapes of multiple organs are input. and outputs information on "adhesions between uterus and rectum.”
  • the pathological condition evaluation device 10 inputs feature quantities related to the shapes of multiple organs (that is, multiple types of feature quantities related to multiple organs) to the seventh neural network, thereby obtaining information on "adhesion between the uterus and the right ovary.” can be generated.
  • the seventh neural network is a model that has been machine-learned using feature quantities related to the shapes of multiple organs and information on "adhesion between the uterus and right ovary" as learning data, and the feature quantities related to the shapes of multiple organs are input. Then, information on "adhesion between uterus and right ovary" is output.
  • the pathological condition evaluation device 10 inputs feature amounts related to the shapes of multiple organs (that is, multiple types of feature amounts related to multiple organs) into the eighth neural network, thereby obtaining information on the "nodular lesion on the posterior surface of the uterus.” can be generated.
  • the eighth neural network is a model that has been machine-learned using features related to the shapes of multiple organs and information on "nodular lesions on the posterior surface of the uterus" as learning data, and the features related to the shapes of multiple organs are input. and "nodular lesion on the posterior surface of the uterus".
  • FIG. 7 is a flowchart of a process of extracting feature amounts related to the shape of each organ from a medical image including a plurality of organs and generating pathological condition evaluation information according to an embodiment of the present disclosure.
  • step 11 (S11) the pathological condition evaluation device 10 (medical image acquisition unit 101) acquires a medical image including a plurality of organs.
  • step 12 the pathological condition evaluation device 10 (segmentation unit 102) generates segmentation information for each organ by inputting the medical image including a plurality of organs acquired in S11 to a neural network.
  • step 13 (S13) the pathological condition evaluation device 10 (feature amount extraction unit 103) extracts feature amounts related to the shape of each organ based on the segmentation information of each organ generated in S12.
  • the pathological condition evaluation device 10 uses the segmentation information of each organ generated in S12 to calculate the feature amount regarding the shape of each organ.
  • the pathological condition evaluation device 10 (feature amount extraction unit 103) inputs the segmentation information of each organ generated in S12 into the neural network, thereby inputting the feature amount related to the shape of each organ. generate.
  • the information on the label of each pixel of the medical image may be used to extract the feature amount related to the shape of each organ, or the image (partial image) of the part corresponding to each organ extracted based on the label. may be used to extract feature amounts related to the shape of each organ.
  • step 14 the pathological condition evaluation device 10 (pathological condition evaluation information generation unit 104) generates pathological condition evaluation information by inputting feature amounts related to the shapes of a plurality of organs into the model.
  • the model may be a decision tree model or a neural network.
  • pathological condition evaluation information generated based on the shape of each of the plurality of organs included in the medical image can be obtained.
  • Embodiment 2 will be described below. Note that the differences from Embodiment 1 will be mainly explained. Note that this embodiment is applicable not only to humans but also to animals.
  • FIG. 8 is a functional block diagram of the pathological condition evaluation device 10 according to an embodiment of the present disclosure.
  • the pathological condition evaluation device 10 includes a medical image acquisition section 201 and a pathological condition evaluation information generation section 202.
  • the pathological condition evaluation device 10 functions as a medical image acquisition section 201 and a pathological condition evaluation information generation section 202 by executing a program. Each will be explained below.
  • the medical image acquisition unit 201 acquires a medical image generated by the image diagnostic apparatus 20.
  • the medical image is a medical image that includes a plurality of organs (for example, the plurality of organs includes two or more of a uterus, a rectum, a bladder, and an ovary). Note that a medical image including a plurality of organs is the same as in the first embodiment, so a description thereof will be omitted.
  • the medical image acquisition unit 201 may acquire medical images from the image diagnostic apparatus 20 (in the case of configuration example 1 in FIG. 1), or may acquire medical images from the terminal 11 (in the case of the configuration example 1 in FIG. 1). In the case of Example 2).
  • the pathological condition evaluation information generation unit 202 generates pathological condition evaluation information (for example, pathological condition evaluation information regarding endometriosis) by inputting a medical image including a plurality of organs into a neural network.
  • a neural network is a machine-learning model that uses medical images that include multiple organs and pathological evaluation information (for example, pathological evaluation information regarding endometriosis) as learning data, and medical images that include multiple organs are input. and pathological condition evaluation information (for example, pathological condition evaluation information regarding endometriosis).
  • one neural network may be used (that is, only one model that outputs information on all items of pathological condition evaluation information when a medical image including multiple organs is input), or A neural network generated for each item may be used (that is, a model that outputs one item of pathology evaluation information when a medical image including a plurality of organs is input is used for each item).
  • the pathological evaluation information regarding endometriosis includes the presence or absence of nodular lesions on the posterior surface of the uterus, the severity of nodular lesions on the posterior surface of the uterus (as this is the same as in Embodiment 1, so the explanation will be omitted), and each region in the human body. includes at least one of the presence or absence of adhesion between organs, and the severity of adhesion between organs (same as in Embodiment 1, so description thereof will be omitted).
  • FIG. 9 is a flowchart of processing for generating pathological condition evaluation information regarding endometriosis from a medical image including a plurality of organs according to an embodiment of the present disclosure.
  • step 21 (S21) the pathological condition evaluation device 10 (medical image acquisition unit 201) acquires a medical image including a plurality of organs.
  • step 22 the pathological condition evaluation device 10 (pathological condition evaluation information generation unit 202) inputs the medical image including a plurality of organs acquired in S21 to the neural network, thereby generating pathological condition evaluation information (for example, intrauterine Generate pathological condition evaluation information related to membranous disease).
  • pathological condition evaluation information for example, intrauterine Generate pathological condition evaluation information related to membranous disease.
  • Embodiment 3 will be described below. Note that the differences from Embodiment 1 will be mainly explained. Note that this embodiment is applicable not only to humans but also to animals.
  • FIG. 10 is a functional block diagram of a pathological condition evaluation device 10 according to an embodiment of the present disclosure.
  • the pathology evaluation device 10 includes a medical image acquisition section 301, a segmentation section 302, and a pathology evaluation information generation section 303.
  • the pathological condition evaluation device 10 functions as a medical image acquisition section 301, a segmentation section 302, and a pathological condition evaluation information generation section 303 by executing a program. Each will be explained below.
  • the medical image acquisition unit 301 acquires a medical image generated by the image diagnostic apparatus 20.
  • the medical image is a medical image that includes a diseased portion (specifically, any one of nodular lesion, adenomyosis, and ovarian cyst).
  • a medical image may include not only a lesion but also an organ.
  • the medical image acquisition unit 301 may acquire medical images from the image diagnostic apparatus 20 (in the case of configuration example 1 in FIG. 1), or may acquire medical images from the terminal 11 (in the case of the configuration example 1 in FIG. 1). In the case of Example 2).
  • a medical image including a diseased part is an image including at least a diseased part (specifically, any one of a nodular lesion, adenomyosis, and ovarian cyst).
  • a medical image including a lesion part is an MRI image taken by an MRI apparatus.
  • a medical image including a lesion is a three-dimensional MRI image taken by an MRI apparatus (that is, data indicating a three-dimensional shape of an organ, a lesion, etc.), but may also be a two-dimensional MRI image.
  • the medical image may include the nodular lesion and the uterus.
  • the medical image may include the nodular lesion, the uterus, the rectum, the bladder, and the ovary (the rectum, bladder, and ovary are optional).
  • the medical image is an image taken in a sagittal section, but it may be an image taken in another cross section.
  • the medical image may include adenomyosis and the uterus.
  • the medical image may include adenomyosis, nodular lesion, uterus, rectum, bladder, and ovary (nodular lesion, rectum, bladder, and ovary are optional).
  • the medical image is an image taken in a sagittal section, but it may be an image taken in another cross section.
  • the medical image includes the ovarian cyst.
  • the medical image is an image taken of an axial cross section, but it may be an image taken of another cross section.
  • the segmentation unit 302 inputs a medical image including a lesion portion (specifically, any one of nodular lesion, adenomyosis, and ovarian cyst) into a neural network, thereby determining the segmentation of any one of the lesion portions.
  • Generate segmentation information (labels) A neural network is a model that is machine-learned using a medical image containing a lesion and segmentation information (label) of the lesion as learning data.
  • the segmentation information (label) of the lesion is input. label). Note that the segmentation information is the same as in Embodiment 1, so a description thereof will be omitted.
  • the segmentation information may be segmentation information of the nodular lesion and the uterus.
  • the segmentation information may include the nodular lesion, uterus, rectum, bladder, and ovary.
  • the segmentation information may be segmentation information of adenomyosis and uterus.
  • the segmentation information may be segmentation information of adenomyosis, nodular lesion, uterus, rectum, bladder, and ovary.
  • the segmentation information is segmentation information of the ovarian cyst.
  • the pathological condition evaluation information generation unit 303 generates pathological condition evaluation information regarding the uterus based on the segmentation information of the lesion portion (specifically, any one of nodular lesions, adenomyosis, and ovarian cysts). Note that pathological condition evaluation information regarding the uterus may be generated using label information for each pixel of a medical image, or an image (partial image) of a portion corresponding to a lesion extracted based on the label may be used. Pathological condition evaluation information regarding the uterus may be generated.
  • the pathological condition evaluation information regarding the uterus includes at least one of the thickness of the lesion and the size of the lesion (for example, the volume of the lesion, the area of the lesion, etc.).
  • the pathology evaluation information generation unit 303 can calculate numerical values such as the actual thickness based on the scale information of the medical image.
  • the pathology evaluation information regarding the uterus includes at least one of the thickness of the lesion and the size of the lesion (for example, the volume of the lesion, the area of the lesion, etc.).
  • the pathological condition evaluation information generation unit 303 can measure the thickness of the nodular lesion from the rear surface of the uterus using a medical image that also includes the uterus.
  • the pathology evaluation information regarding the uterus includes the volume of the adenomyosis.
  • the pathology evaluation information regarding the uterus includes the volume of the ovarian cyst.
  • FIG. 11 is a flowchart of a process of generating segmentation information of a lesion part from a medical image including the lesion part and generating pathological condition evaluation information regarding the uterus according to an embodiment of the present disclosure.
  • step 31 (S31) the pathological condition evaluation device 10 (medical image acquisition unit 301) acquires a medical image including a lesion portion (specifically, any one of nodular lesion, adenomyosis, and ovarian cyst). do.
  • a lesion portion specifically, any one of nodular lesion, adenomyosis, and ovarian cyst.
  • step 32 the pathological condition evaluation device 10 (segmentation unit 302) detects a medical By inputting the image to a neural network, segmentation information for any one of the lesion parts is generated.
  • step 33 the pathological condition evaluation device 10 (pathological condition evaluation information generation unit 303) detects the lesion portion generated in S32 (specifically, any one of the nodular lesion, adenomyosis, and ovarian cyst). Pathological condition evaluation information regarding the uterus is generated based on the segmentation information.
  • pathological condition evaluation information regarding the uterus that is generated using segmentation information of the diseased portion (specifically, any one of nodular lesions, adenomyosis, and ovarian cysts).
  • FIG. 12 is a diagram for explaining a medical image and segmentation information according to an embodiment of the present disclosure.
  • the medical image in FIG. 12 is an example of a medical image used in the present disclosure.
  • the medical image is a three-dimensional MRI image (that is, data showing the three-dimensional shape of an organ, a lesion, etc.).
  • the medical image includes multiple organs.
  • the medical image includes a diseased portion (specifically, any one of a nodular lesion, adenomyosis, and ovarian cyst).
  • [Segmentation information] in FIG. 12 shows the organs and lesion parts in the [medical image] in FIG. 12 in a distinguishable manner based on the segmentation information (labels given to each pixel).
  • each device pathological condition evaluation device 10 and terminal 11 in the embodiment described above may be configured by hardware, or may be executed by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc. It may also be configured by information processing of software (program).
  • the information processing is configured by software
  • the software that realizes at least some of the functions of each device in the above-described embodiments can be stored in a CD-ROM (Compact Disc-Read Only Memory), USB (Universal Serial Bus) memory, etc.
  • the information processing of the software may be executed by storing the information in a non-temporary storage medium (non-temporary computer readable medium) such as the following, and reading it into a computer.
  • the software may be downloaded via a communication network.
  • all or part of the software processing may be implemented in a circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), so that the information processing by the software may be executed by hardware. .
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage medium that stores the software may be a removable one such as an optical disk, or a fixed storage medium such as a hard disk or memory. Further, the storage medium may be provided inside the computer (main storage device, auxiliary storage device, etc.) or may be provided outside the computer.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of each device (pathological condition evaluation device 10 and terminal 11) in the embodiment described above.
  • Each device includes, for example, a processor 1001, a main storage device 1002 (memory), an auxiliary storage device 1003 (memory), a network interface 1004, and a device interface 1005, which are connected via a bus 1006. It may be realized as a computer 1000.
  • the computer 1000 in FIG. 13 includes one of each component, it may include a plurality of the same components.
  • the software may be installed on multiple computers, and each of the multiple computers may execute the same or different part of the software. Good too.
  • a form of distributed computing may be used in which each computer communicates via the network interface 1004 or the like to execute processing.
  • each device (pathological condition evaluation device 10 and terminal 11) in the embodiment described above functions as a system that realizes functions by one or more computers executing instructions stored in one or more storage devices. may be configured.
  • the information transmitted from the terminal may be processed by one or more computers provided on the cloud, and the processing results may be sent to the terminal.
  • each device pathological condition evaluation device 10 and terminal 11
  • various calculations of each device may be executed in parallel using one or more processors or multiple computers via a network. good. Further, various calculations may be distributed to a plurality of calculation cores within the processor and executed in parallel. Further, a part or all of the processing, means, etc. of the present disclosure may be realized by at least one of a processor and a storage device provided on a cloud that can communicate with the computer 1000 via a network. In this way, each device in the embodiments described above may be in the form of parallel computing using one or more computers.
  • the processor 1001 may be an electronic circuit (processing circuit, processing circuit, CPU, GPU, FPGA, ASIC, etc.) that performs at least one of computer control or calculation. Further, the processor 1001 may be a general-purpose processor, a dedicated processing circuit designed to execute a specific operation, or a semiconductor device including both a general-purpose processor and a dedicated processing circuit. Further, the processor 1001 may include an optical circuit or may include an arithmetic function based on quantum computing.
  • the processor 1001 may perform calculation processing based on data and software input from each device in the internal configuration of the computer 1000, and may output calculation results and control signals to each device.
  • the processor 1001 may control each component constituting the computer 1000 by executing the OS (Operating System) of the computer 1000, applications, and the like.
  • OS Operating System
  • Each device (pathological condition evaluation device 10 and terminal 11) in the embodiment described above may be realized by one or more processors 1001.
  • the processor 1001 may refer to one or more electronic circuits arranged on one chip, or one or more electronic circuits arranged on two or more chips or two or more devices. You can also point. When using multiple electronic circuits, each electronic circuit may communicate by wire or wirelessly.
  • the main storage device 1002 may store instructions and various data to be executed by the processor 1001, and the information stored in the main storage device 1002 may be read by the processor 1001.
  • Auxiliary storage device 1003 is a storage device other than main storage device 1002. Note that these storage devices are any electronic components capable of storing electronic information, and may be semiconductor memories. Semiconductor memory may be either volatile memory or nonvolatile memory.
  • a storage device for storing various data in each device (pathological condition evaluation device 10 and terminal 11) in the embodiment described above may be realized by the main storage device 1002 or the auxiliary storage device 1003, and may be implemented by the main storage device 1002 or the auxiliary storage device 1003, and may be implemented by the storage device built in the processor 1001. It may also be realized by a built-in memory.
  • the storage unit in the embodiment described above may be realized by the main storage device 1002 or the auxiliary storage device 1003.
  • each device (pathological condition evaluation device 10 and terminal 11) in the above-described embodiment is configured with at least one storage device (memory) and at least one processor connected (coupled) to this at least one storage device
  • at least one processor may be connected to one storage device.
  • at least one storage device may be connected to one processor.
  • the present invention may include a configuration in which at least one processor among the plurality of processors is connected to at least one storage device among the plurality of storage devices. Further, this configuration may be realized by a storage device and a processor included in a plurality of computers.
  • a configuration in which the storage device is integrated with the processor for example, a cache memory including an L1 cache and an L2 cache) may be included.
  • the network interface 1004 is an interface for connecting to the communication network 1007 wirelessly or by wire. As the network interface 1004, an appropriate interface such as one that complies with existing communication standards may be used.
  • the network interface 1004 may exchange information with an external device 1008A connected via the communication network 1007.
  • the communication network 1007 may be any one or a combination of WAN (Wide Area Network), LAN (Local Area Network), PAN (Personal Area Network), etc. It may be anything that involves the exchange of information. Examples of WAN include the Internet, examples of LAN include IEEE802.11 and Ethernet (registered trademark), and examples of PAN include Bluetooth (registered trademark) and NFC (Near Field Communication).
  • the device interface 1005 is an interface such as a USB that is directly connected to the external device 1008B.
  • the external device 1008A is a device connected to the computer 1000 via a network.
  • External device 1008B is a device directly connected to computer 1000.
  • the external device 1008A or the external device 1008B may be an input device, for example.
  • the input device is, for example, a camera, microphone, motion capture, various sensors, keyboard, mouse, touch panel, or other device, and provides acquired information to the computer 1000.
  • the device may be a device including an input unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
  • the external device 1008A or the external device 1008B may be an output device, for example.
  • the output device may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) panel, or may be a speaker that outputs audio or the like.
  • the device may be a device including an output unit, a memory, and a processor, such as a personal computer, a tablet terminal, or a smartphone.
  • the external device 1008A or the external device 1008B may be a storage device (memory).
  • the external device 1008A may be a network storage or the like, and the external device 1008B may be a storage such as an HDD.
  • the external device 1008A or the external device 1008B may be a device that has some of the functions of the components of each device (pathological condition evaluation device 10 and terminal 11) in the embodiment described above.
  • the computer 1000 may transmit some or all of the processing results to the external device 1008A or 1008B, or may receive some or all of the processing results from the external device 1008A or 1008B. .
  • the expression "at least one (one) of a, b, and c" or “at least one (one) of a, b, or c" (including similar expressions) When used, it includes either a, b, c, a-b, a-c, b-c or a-b-c. Further, each element may include multiple instances, such as a-a, a-b-b, a-a-b-b-c-c, etc. Furthermore, it also includes adding other elements other than the listed elements (a, b and c), such as having d as in a-b-c-d.
  • connection and “coupled” refer to direct connection/coupling and indirect connection/coupling. , electrically connected/coupled, communicatively connected/coupled, functionally connected/coupled, physically connected/coupled, etc., without limitation. intended as a term.
  • the term should be interpreted as appropriate depending on the context in which the term is used, but forms of connection/coupling that are not intentionally or naturally excluded are not included in the term. Should be construed in a limited manner.
  • the expression "A configured to B” when used, it means that the physical structure of element A is capable of performing operation B. configuration, and includes a permanent or temporary setting/configuration of element A being configured/set to actually perform operation B. good.
  • element A is a general-purpose processor
  • the processor has a hardware configuration that can execute operation B, and can perform operation B by setting a permanent or temporary program (instruction). It only needs to be configured to actually execute.
  • element A is a dedicated processor, dedicated arithmetic circuit, etc.
  • the circuit structure of the processor is designed to actually execute operation B, regardless of whether control instructions and data are actually attached. It is sufficient if it is implemented in
  • the terms “maximize” and “maximization” refer to determining the global maximum value, or determining an approximate value of the global maximum value. This term includes determining, determining a local maximum, and determining an approximation of a local maximum, and should be interpreted as appropriate depending on the context in which the term is used. It also includes finding approximate values of these maximum values probabilistically or heuristically. Similarly, when terms such as “minimize/minimization” are used, we are referring to finding a global minimum, finding an approximation of a global minimum, or finding a local minimum.
  • This term includes determining and approximating a local minimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these minimum values probabilistically or heuristically.
  • opticalmize or “optimization” are used, it refers to finding a global optimum, finding an approximation of a global optimum, or calculating a local optimum.
  • This term includes determining and approximating a local optimum, and should be interpreted accordingly depending on the context in which the term is used. It also includes finding approximate values of these optimal values probabilistically or heuristically.
  • each piece of hardware when multiple pieces of hardware perform a predetermined process, each piece of hardware may cooperate to perform the predetermined process, or some of the hardware may perform the predetermined process. You may do all of the above. Further, some hardware may perform part of a predetermined process, and another piece of hardware may perform the rest of the predetermined process.
  • expressions such as "one or more hardware performs a first process, and the one or more hardware performs a second process" (including similar expressions) are used. ), the hardware that performs the first processing and the hardware that performs the second processing may be the same or different. In other words, the hardware that performs the first processing and the hardware that performs the second processing may be included in the one or more pieces of hardware.
  • the hardware may include an electronic circuit, a device including an electronic circuit, and the like.
  • each storage device among the multiple storage devices may store only part of the data. , the entire data may be stored. Further, a configuration may be included in which some of the plurality of storage devices store data.
  • Pathological condition evaluation system 10 Pathological condition evaluation device 11 Terminal 20 Image diagnostic device 30 Doctor 101 Medical image acquisition section 102 Segmentation section 103 Feature amount extraction section 104 Pathological condition evaluation information generation section 201 Medical image acquisition section 202 Pathological condition evaluation information generation section 301 Medical image acquisition Section 302 Segmentation section 303 Pathological condition evaluation information generation section 1000

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

病態評価の精度を向上させる。本開示の一実施形態である病態評価装置は、少なくとも1つのプロセッサと、少なくとも1つのメモリと、を備え、前記少なくとも1つのプロセッサは、複数の臓器を含む画像から、2以上の臓器の形状に関する特徴量を抽出し、前記2以上の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する。

Description

病態評価装置
 本開示は、病態評価装置に関する。
 従来、機械学習モデルを用いて、MRI装置が撮影した画像等から種々の情報を得る技術が知られている。しかしながら、さらに精度の高い病態評価の情報を得られることが求められていた。
特表2020-511262号公報
 本開示の課題は、病態評価の精度を向上させることである。
 本開示の一実施形態である病態評価装置は、少なくとも1つのプロセッサと、少なくとも1つのメモリと、を備え、前記少なくとも1つのプロセッサは、複数の臓器を含む画像から、2以上の臓器の形状に関する特徴量を抽出し、前記2以上の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する。
本開示の一実施形態に係る全体の構成例である。 本開示の一実施形態に係る病態評価装置の機能ブロック図である(実施形態1)。 本開示の一実施形態に係る各臓器の形状に関する特徴量の抽出について説明するための図である。 本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。 本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。 本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。 本開示の一実施形態に係る複数の臓器を含む医用画像から各臓器の形状に関する特徴量を抽出して病態評価情報を生成する処理のフローチャートである(実施形態1)。 本開示の一実施形態に係る病態評価装置の機能ブロック図である(実施形態2)。 本開示の一実施形態に係る複数の臓器を含む医用画像から子宮内膜症に関する病態評価情報を生成する処理のフローチャートである(実施形態2)。 本開示の一実施形態に係る病態評価装置の機能ブロック図である(実施形態3)。 本開示の一実施形態に係る病変部分を含む医用画像から病変部分のセグメンテーション情報を生成して子宮に関する病態評価情報を生成する処理のフローチャートである(実施形態3)。 本開示の一実施形態に係る医用画像およびセグメンテーション情報について説明するための図である。 本開示の一実施形態に係る病態評価装置のハードウェア構成図である。
 以下、図面に基づいて本開示の実施の形態を説明する。
<用語の説明>
・「医用画像」とは、MRI(Magnetic Resonance Imaging)装置等の任意の撮像装置が生成した画像であり、人体を撮影または計測して画像化したものである。例えば、医用画像は、臓器、病変部分等の3次元形状を示すデータ(以下、3次元MRI画像ともいう)であってもよい。
・「病態評価情報」とは、病態に関する医師の診断を支援するための情報である。
<全体の構成例>
 図1は、本開示の一実施形態に係る全体の構成例である。
[構成例1]
 病態評価システム1は、病態評価装置10と、画像診断装置20と、を含む。構成例1では、医師30等の操作者が病態評価装置10を操作する。医師30は、病態評価装置10が生成した病態評価情報を参照して、患者の病態を診断することができる。以下、それぞれについて説明する。
<<病態評価装置>>
 病態評価装置10は、病態評価情報を生成する装置である。病態評価装置10は、1つまたは複数のコンピュータからなる。病態評価装置10は、画像診断装置20が生成した医用画像を画像診断装置20から取得する。
 実施形態1では、病態評価装置10は、複数の臓器を含む画像(例えば、医用画像)から、2以上の臓器の形状に関する特徴量を抽出し、当該2以上の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する。画像に含まれる臓器の全てから形状に関する特徴量を抽出してもよいし、2以上の臓器から形状に関する特徴量を抽出してもよい。なお、病態評価装置10は、複数の臓器を含む画像(例えば、医用画像)から、2以上の臓器のセグメンテーション情報を生成し、当該2以上の臓器のセグメンテーション情報に基づいて、当該2以上の臓器の形状に関する特徴量を抽出してもよい。
 実施形態2では、病態評価装置10は、複数の臓器を含む画像(例えば、医用画像)をニューラルネットワークに入力することで、病態評価情報(例えば、子宮内膜症に関する病態評価情報)を生成する。
 実施形態3では、病態評価装置10は、少なくとも結節性病変、腺筋症、卵巣嚢胞のいずれか1つを含む画像(例えば、医用画像)をニューラルネットワークに入力することで、当該いずれか1つのセグメンテーション情報を生成し、当該セグメンテーション情報に基づいて、子宮に関する病態評価情報を生成する。
<<画像診断装置>>
 画像診断装置20は、医用画像を生成する撮像装置であり、例えば、MRI装置である。
 なお、構成例1では、病態評価装置10と画像診断装置20を別々の装置として説明したが、病態評価装置10と画像診断装置20を1つの装置で実装してもよい。
[構成例2]
 病態評価システム1は、病態評価装置10と、端末11と、画像診断装置20と、を含む。病態評価装置10と端末11は、任意のネットワークを介して、通信可能に接続されている。構成例2では、医師30等の操作者が端末11を操作する。医師30は、病態評価装置10が生成した病態評価情報を参照して、患者の病態を診断することができる。以下、それぞれについて説明する。
<<病態評価装置>>
 病態評価装置10は、病態評価情報を生成する装置である。病態評価装置10は、1つまたは複数のコンピュータからなる。病態評価装置10は、画像診断装置20が生成した医用画像を端末11から取得して、病態評価装置10が生成した病態評価情報を端末11に提供する。その他は、構成例1と同様であるので説明を省略する。
<<端末>>    
 端末11は、画像診断装置20が生成した医用画像を画像診断装置20から取得して、取得した医用画像を病態評価装置10に提供する。また、端末11は、病態評価装置10が生成した病態評価情報を病態評価装置10から取得する。例えば、端末11は、パーソナルコンピュータ、スマートフォン等である。
<<画像診断装置>>
 画像診断装置20については、構成例1と同様であるので説明を省略する。
 なお、構成例2では、病態評価装置10と画像診断装置20を別々の装置として説明したが、病態評価装置10と画像診断装置20を1つの装置で実装してもよい。
 以下、実施形態1、実施形態2、実施形態3について説明する。
<実施形態1>
 以下、実施形態1について説明する。なお、本実施形態は、人に限らず動物に対しても適用可能である。
<機能ブロック>
 図2は、本開示の一実施形態に係る病態評価装置10の機能ブロック図である。病態評価装置10は、医用画像取得部101と、セグメンテーション部102と、特徴量抽出部103と、病態評価情報生成部104と、を備える。病態評価装置10は、プログラムを実行することによって、医用画像取得部101、セグメンテーション部102、特徴量抽出部103、病態評価情報生成部104、として機能する。以下、それぞれについて説明する。
 医用画像取得部101は、画像診断装置20が生成した医用画像を取得する。医用画像は、複数の臓器(例えば、複数の臓器は、子宮、直腸、膀胱、卵巣のいずれか2つ以上)を含む医用画像である。
 なお、医用画像取得部201は、医用画像を画像診断装置20から取得してもよいし(図1の構成例1の場合)、医用画像を端末11から取得してもよい(図1の構成例2の場合)。
[複数の臓器を含む医用画像]
 ここで、複数の臓器を含む医用画像について説明する。複数の臓器を含む医用画像は、複数の臓器(例えば、子宮、直腸、膀胱、卵巣のいずれか2つ以上)が含まれている画像である。例えば、複数の臓器を含む医用画像は、MRI装置が撮影したMRI画像である。例えば、複数の臓器を含む医用画像は、矢状断面(sagittal断面)を撮影した画像であるが、他の断面を撮影した画像でもよい。例えば、複数の臓器を含む医用画像は、MRI装置が撮影した3次元MRI画像(つまり、臓器の3次元形状を示すデータ)であるが、2次元MRI画像でもよい。例えば、3次元MRI画像は、断面を撮影した複数の画像の集合である。
 セグメンテーション部102は、複数の臓器を含む医用画像をニューラルネットワークに入力することで、各臓器のセグメンテーション情報を生成する。ニューラルネットワークは、複数の臓器を含む医用画像が入力されると各臓器のセグメンテーション情報を出力する。
[セグメンテーション情報]
 ここで、セグメンテーション情報について説明する。セグメンテーション情報は、医用画像の各臓器に該当する部分に対応するラベル(例えば、子宮はラベル1、直腸はラベル2、膀胱はラベル3、卵巣はラベル4等の各画素のラベル)の情報である。一例として、1つの画素には、1つのラベル(上述の例であれば、ラベル1~4のうちのいずれかのラベル)が付与される。セグメンテーション情報は、行列形式でニューラルネットワークから出力されてもよい。
 特徴量抽出部103は、複数の臓器を含む医用画像から、各臓器の形状に関する特徴量を抽出する。
[各臓器の形状に関する特徴量]
 ここで、各臓器の形状に関する特徴量について説明する。
 特徴量抽出部103は、セグメンテーション情報に基づいて、各臓器の形状に関する特徴量を抽出してもよい。特徴量抽出部103は、医用画像の各画素のラベルの情報を用いて、各臓器の形状に関する特徴量を抽出してもよいし、当該ラベルに基づいて抽出された各臓器に該当する部分の画像(セグメンテーションされた各臓器に対応する画像。以下、部分画像ともいう)を用いて、各臓器の形状に関する特徴量を抽出してもよい。なお、特徴量抽出部103は、MRI画像のスケールの情報をもとに、実際の臓器の形状の数値を算出することができる。
 例えば、各臓器の形状に関する特徴量は、ラジオミクス特徴量である。以下、各臓器の形状に関する特徴量の例を説明する。
 各臓器の形状に関する特徴量は、「最大2D直径(行方向)」、「最大2D直径(列方向)」、「最大2D直径(スライス方向)」、「最大3D直径」、「球形度」、「表面積」、「表面積体積比率」、「体積(ボクセル)」、「体積(メッシュ)」、「各臓器のセグメンテーションの結果を用いた主成分分析に基づく特徴量」、の少なくとも1つを含む。
 「最大2D直径(行方向)」は、冠状断面(coronal断面)での臓器の形の最大径である。
 「最大2D直径(列方向)」は、矢状断面(sagittal断面)での臓器の形の最大径である。
 「最大2D直径(スライス方向)」は、軸位断面(axial断面)での臓器の形の最大径である。
 「最大3D直径」は、3次元中での臓器の形の最大径である。
 「球形度」は、臓器の球形度であり、臓器の体積V、臓器の面積Aを用いて、(36πV^2/A)^(1/3)と定義される。球形度は、0~1の値をとり、1に近いほど球に近い。
 「表面積」は、臓器の形の表面積である。
 「表面積体積比率」は、臓器の形の表面積/体積と定義される。
 「体積(ボクセル)」は、臓器の形の体積であり、臓器の形に含まれるボクセルの数から算出する。
 「体積(メッシュ)」は、臓器の形の体積であり、臓器の形に含まれる三角メッシュの数から算出する。
 「各臓器のセグメンテーションの結果を用いた主成分分析に基づく特徴量」は、主成分分析により、各臓器のセグメンテーション情報から生成した特徴量である。
<特徴量の抽出>
 ここで、図3を参照しながら、特徴量の抽出について説明する。
 図3は、本開示の一実施形態に係る各臓器の形状に関する特徴量の抽出について説明するための図である。[抽出例1]、[抽出例2]、[抽出例3]について説明する。
[抽出例1]
 例えば、病態評価装置10は、複数の臓器を含む医用画像をニューラルネットワークに入力することで、各臓器のセグメンテーション情報(ラベル)を生成し、当該各臓器のセグメンテーション情報(ラベル)または部分画像を用いて、各臓器の形状に関する特徴量を算出することができる。ニューラルネットワークは、複数の臓器を含む医用画像と各臓器のセグメンテーション情報(ラベル)を学習データとして機械学習されたモデルであり、複数の臓器を含む医用画像が入力されると各臓器のセグメンテーション情報(ラベル)を出力する。
[抽出例2]
 例えば、病態評価装置10は、複数の臓器を含む医用画像をニューラルネットワークに入力することで、各臓器の形状に関する特徴量を抽出することができる。ニューラルネットワークは、複数の臓器を含む医用画像と各臓器の形状に関する特徴量を学習データとして機械学習されたモデルであり、複数の臓器を含む医用画像が入力されると各臓器の形状に関する特徴量を出力する。
[抽出例3]
 例えば、病態評価装置10は、複数の臓器を含む医用画像を第1のニューラルネットワークに入力することで、各臓器のセグメンテーション情報(ラベル)を生成し、当該各臓器のセグメンテーション情報(ラベル)または部分画像を第2のニューラルネットワークに入力することで、各臓器の形状に関する特徴量を抽出することができる。第1のニューラルネットワークは、複数の臓器を含む医用画像と各臓器のセグメンテーション情報(ラベル)を学習データとして機械学習されたモデルであり、複数の臓器を含む医用画像が入力されると各臓器のセグメンテーション情報(ラベル)を出力する。第2のニューラルネットワークは、各臓器のセグメンテーション情報(ラベル)または部分画像と各臓器の形状に関する特徴量を学習データとして機械学習されたモデルであり、各臓器のセグメンテーション情報(ラベル)または部分画像が入力されると、各臓器の形状に関する特徴量を出力する。
 ここで、第2のニューラルネットワークの入力および出力の例を説明する。
[例1]
 例えば、第2のニューラルネットワークの入力は、医用画像および複数の臓器のセグメンテーション情報(ラベル)であり、第2のニューラルネットワークの出力は、複数の臓器の形状に関する特徴量である。
[例2]
 例えば、第2のニューラルネットワークの入力は、1つの臓器の部分画像(ラベルに基づいて抽出された臓器に該当する部分の画像)であり、第2のニューラルネットワークの出力は、1つの臓器の形状に関する特徴量である。
[例3]
 例えば、第2のニューラルネットワークの入力は、1つの臓器のセグメンテーション情報(ラベル)であり、第2のニューラルネットワークの出力は、1つの臓器の形状に関する特徴量である。
[例4]
 例えば、第2のニューラルネットワークの入力は、複数の臓器のセグメンテーション情報(ラベル)であり、第2のニューラルネットワークの出力は、複数の臓器の形状に関する特徴量である。
 図2の説明に戻る。
 病態評価情報生成部104は、複数の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する。なお、モデルは、複数の臓器の形状に関する特徴量から病態評価情報を生成することができる任意の機械学習モデルでよく、病態評価情報の項目ごとに生成された決定木モデルであってもよいし、1つのニューラルネットワークであってもよいし、病態評価情報の項目ごとに生成されたニューラルネットワークであってもよい。なお、複数の臓器の形状に関する特徴量と、当該複数の臓器の形状に関する特徴量に対する病態評価情報と、を学習データとして、複数の臓器の形状に関する特徴量から、当該複数の臓器の形状に関する特徴量に対する病態評価情報を予測するよう学習させる。
 なお、病態評価情報生成部104は、複数の臓器の形状に関する特徴量に加えて、セグメンテーションの結果によって得られた臓器ごとの画像情報もモデルに入力することで病態評価情報を生成してもよい。
[病態評価情報]
 ここで、病態評価情報について説明する。例えば、病態評価情報は、癒着の有無に関する情報である。例えば、病態評価情報は、人体内の領域ごとの臓器間の癒着の有無、癒着の重症度(例えば、下記の「左卵巣-直腸間の癒着」、「左卵巣-右卵巣間の癒着」、「右卵巣-直腸間の癒着」、「子宮-膀胱間の癒着」、「子宮-左卵巣間の癒着」、「子宮-直腸間の癒着」、「子宮-右卵巣間の癒着」の情報)、子宮後面の結節性病変の有無、子宮後面の結節性病変の重症度(下記の「子宮後面の結節性病変」の情報)、の少なくとも1つを含む。
 「左卵巣-直腸間の癒着」は、左卵巣と直腸との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「左卵巣-右卵巣間の癒着」は、左卵巣と右卵巣との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「右卵巣-直腸間の癒着」は、右卵巣と直腸との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「子宮-膀胱間の癒着」は、子宮と膀胱との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「子宮-左卵巣間の癒着」は、子宮と左卵巣との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「子宮-直腸間の癒着」は、子宮と直腸との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「子宮-右卵巣間の癒着」は、子宮と右卵巣との間に癒着があるか否か、癒着がある場合には癒着の重症度の情報である。例えば、癒着無し(None)、軽度の癒着有り(Mild)、重度の癒着有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
 「子宮後面の結節性病変」は、子宮後面に結節性病変があるか否かの情報である。例えば、結節性病変無し(None)、軽度の結節性病変有り(Mild)、重度の結節性病変有り(Severe)の3クラスのうちの1クラスが、病態評価情報としてモデルから出力される。
[病態評価情報生成モデル]
 以下、図4~図6を参照しながら、複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明する。
 図4は、本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。図4に示されるように、病態評価情報の項目ごとに生成された決定木モデルを用いることができる。
 なお、各決定木モデルへの入力は、複数の臓器(例えば、子宮、直腸、膀胱、卵巣)に関する複数種類の特徴量(例えば、最大2D直径(行方向)、最大2D直径(列方向)、最大2D直径(スライス方向)、最大3D直径、球形度、表面積、表面積体積比率、体積(ボクセル)、体積(メッシュ)、各臓器のセグメンテーションの結果を用いた主成分分析に基づく特徴量、の少なくとも1つ)である。評価対象に応じて、特徴量を抽出する臓器を変更してもよい(一例として、「左卵巣-直腸間の癒着」を予測する場合には卵巣と直腸の特徴量を用いてもよい)。
 各決定木モデル(例えば、下記の第1の決定木モデル~第8の決定木モデル)への入力は、同じ特徴量であってもよいし、異なる特徴量であってもよい(評価対象に応じて特徴量を変更してもよい)。
 具体器には、病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第1の決定木モデルに入力することで、「左卵巣-直腸間の癒着」の情報を生成することができる。第1の決定木モデルは、複数の臓器の形状に関する特徴量と「左卵巣-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「左卵巣-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第2の決定木モデルに入力することで、「左卵巣-右卵巣間の癒着」の情報を生成することができる。第2の決定木モデルは、複数の臓器の形状に関する特徴量と「左卵巣-右卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「左卵巣-右卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第3の決定木モデルに入力することで、「右卵巣-直腸間の癒着」の情報を生成することができる。第3の決定木モデルは、複数の臓器の形状に関する特徴量と「右卵巣-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「右卵巣-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第4の決定木モデルに入力することで、「子宮-膀胱間の癒着」の情報を生成することができる。第4の決定木モデルは、複数の臓器の形状に関する特徴量と「子宮-膀胱間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-膀胱間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第5の決定木モデルに入力することで、「子宮-左卵巣間の癒着」の情報を生成することができる。第5の決定木モデルは、複数の臓器の形状に関する特徴量と「子宮-左卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-左卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第6の決定木モデルに入力することで、「子宮-直腸間の癒着」の情報を生成することができる。第6の決定木モデルは、複数の臓器の形状に関する特徴量と「子宮-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第7の決定木モデルに入力することで、「子宮-右卵巣間の癒着」の情報を生成することができる。第7の決定木モデルは、複数の臓器の形状に関する特徴量と「子宮-右卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-右卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第8の決定木モデルに入力することで、「子宮後面の結節性病変」の情報を生成することができる。第8の決定木モデルは、複数の臓器の形状に関する特徴量と「子宮後面の結節性病変」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮後面の結節性病変」の情報を出力する。
 図5は、本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。図5に示されるように、1つのニューラルネットワークを用いることができる。
 なお、ニューラルネットワークへの入力は、複数の臓器(例えば、子宮、直腸、膀胱、卵巣)に関する複数種類の特徴量(例えば、最大2D直径(行方向)、最大2D直径(列方向)、最大2D直径(スライス方向)、最大3D直径、球形度、表面積、表面積体積比率、体積(ボクセル)、体積(メッシュ)、各臓器のセグメンテーションの結果を用いた主成分分析に基づく特徴量、の少なくとも1つ)である。
 具体器には、病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)をニューラルネットワークに入力することで、病態評価情報の全項目(例えば、「左卵巣-直腸間の癒着」、「左卵巣-右卵巣間の癒着」、「右卵巣-直腸間の癒着」、「子宮-膀胱間の癒着」、「子宮-左卵巣間の癒着」、「子宮-直腸間の癒着」、「子宮-右卵巣間の癒着」、「子宮後面の結節性病変」の情報)を生成することができる。ニューラルネットワークは、複数の臓器の形状に関する特徴量と病態評価情報の全項目の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると病態評価情報の全項目の情報を出力する。
 図6は、本開示の一実施形態に係る複数の臓器の形状に関する特徴量から病態評価情報を生成するモデルについて説明するための図である。図6に示されるように、病態評価情報の項目ごとに生成されたニューラルネットワークを用いることができる。
 なお、各ニューラルネットワークへの入力は、複数の臓器(例えば、子宮、直腸、膀胱、卵巣)に関する複数種類の特徴量(例えば、最大2D直径(行方向)、最大2D直径(列方向)、最大2D直径(スライス方向)、最大3D直径、球形度、表面積、表面積体積比率、体積(ボクセル)、体積(メッシュ)、各臓器のセグメンテーションの結果を用いた主成分分析に基づく特徴量、の少なくとも1つ)である。評価対象に応じて、特徴量を抽出する臓器を変更してもよい(一例として、「左卵巣-直腸間の癒着」を予測する場合には卵巣と直腸の特徴量を用いてもよい)。
 各ニューラルネットワーク(例えば、下記の第1のニューラルネットワーク~第8のニューラルネットワーク)への入力は、同じ特徴量であってもよいし、異なる特徴量であってもよい(評価対象に応じて特徴量を変更してもよい)。
 具体器には、病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第1のニューラルネットワークに入力することで、「左卵巣-直腸間の癒着」の情報を生成することができる。第1のニューラルネットワークは、複数の臓器の形状に関する特徴量と「左卵巣-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「左卵巣-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第2のニューラルネットワークに入力することで、「左卵巣-右卵巣間の癒着」の情報を生成することができる。第2のニューラルネットワークは、複数の臓器の形状に関する特徴量と「左卵巣-右卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「左卵巣-右卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第3のニューラルネットワークに入力することで、「右卵巣-直腸間の癒着」の情報を生成することができる。第3のニューラルネットワークは、複数の臓器の形状に関する特徴量と「右卵巣-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「右卵巣-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第4のニューラルネットワークに入力することで、「子宮-膀胱間の癒着」の情報を生成することができる。第4のニューラルネットワークは、複数の臓器の形状に関する特徴量と「子宮-膀胱間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-膀胱間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第5のニューラルネットワークに入力することで、「子宮-左卵巣間の癒着」の情報を生成することができる。第5のニューラルネットワークは、複数の臓器の形状に関する特徴量と「子宮-左卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-左卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第6のニューラルネットワークに入力することで、「子宮-直腸間の癒着」の情報を生成することができる。第6のニューラルネットワークは、複数の臓器の形状に関する特徴量と「子宮-直腸間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-直腸間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第7のニューラルネットワークに入力することで、「子宮-右卵巣間の癒着」の情報を生成することができる。第7のニューラルネットワークは、複数の臓器の形状に関する特徴量と「子宮-右卵巣間の癒着」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮-右卵巣間の癒着」の情報を出力する。
 病態評価装置10は、複数の臓器の形状に関する特徴量(つまり、複数の臓器に関する複数種類の特徴量)を第8のニューラルネットワークに入力することで、「子宮後面の結節性病変」の情報を生成することができる。第8のニューラルネットワークは、複数の臓器の形状に関する特徴量と「子宮後面の結節性病変」の情報を学習データとして機械学習されたモデルであり、複数の臓器の形状に関する特徴量が入力されると「子宮後面の結節性病変」の情報を出力する。
<方法>
 図7は、本開示の一実施形態に係る複数の臓器を含む医用画像から各臓器の形状に関する特徴量を抽出して病態評価情報を生成する処理のフローチャートである。
 ステップ11(S11)において、病態評価装置10(医用画像取得部101)は、複数の臓器を含む医用画像を取得する。
 ステップ12(S12)において、病態評価装置10(セグメンテーション部102)は、S11で取得された複数の臓器を含む医用画像をニューラルネットワークに入力することで、各臓器のセグメンテーション情報を生成する。
 なお、図3の抽出例2の場合、S12は省略される。
 ステップ13(S13)において、病態評価装置10(特徴量抽出部103)は、S12で生成された各臓器のセグメンテーション情報に基づいて、各臓器の形状に関する特徴量を抽出する。
 例えば、図3の抽出例1の場合、病態評価装置10(特徴量抽出部103)は、S12で生成された各臓器のセグメンテーション情報を用いて、各臓器の形状に関する特徴量を算出する。
 例えば、図3の抽出例3の場合、病態評価装置10(特徴量抽出部103)は、S12で生成された各臓器のセグメンテーション情報をニューラルネットワークに入力することで、各臓器の形状に関する特徴量を生成する。
 なお、医用画像の各画素のラベルの情報を用いて、各臓器の形状に関する特徴量を抽出してもよいし、当該ラベルに基づいて抽出された各臓器に該当する部分の画像(部分画像)を用いて、各臓器の形状に関する特徴量を抽出してもよい。
 ステップ14(S14)において、病態評価装置10(病態評価情報生成部104)は、複数の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する。なお、モデルは、決定木モデルであってもよいし、ニューラルネットワークであってもよい。
 このように、医用画像に含まれる複数の臓器の各臓器の形状をもとに生成された病態評価情報を得ることができる。
<実施形態2>
 以下、実施形態2について説明する。なお、実施形態1と異なる点を主に説明する。なお、本実施形態は、人に限らず動物に対しても適用可能である。
<機能ブロック図>
 図8は、本開示の一実施形態に係る病態評価装置10の機能ブロック図である。病態評価装置10は、医用画像取得部201と、病態評価情報生成部202と、を備える。病態評価装置10は、プログラムを実行することで、医用画像取得部201、病態評価情報生成部202、として機能する。以下、それぞれについて説明する。
 医用画像取得部201は、画像診断装置20が生成した医用画像を取得する。医用画像は、複数の臓器(例えば、複数の臓器は、子宮、直腸、膀胱、卵巣の2つ以上)を含む医用画像である。なお、複数の臓器を含む医用画像については、実施形態1と同様であるので説明を省略する。
 なお、医用画像取得部201は、医用画像を画像診断装置20から取得してもよいし(図1の構成例1の場合)、医用画像を端末11から取得してもよい(図1の構成例2の場合)。
 病態評価情報生成部202は、複数の臓器を含む医用画像をニューラルネットワークに入力することで、病態評価情報(例えば、子宮内膜症に関する病態評価情報)を生成する。ニューラルネットワークは、複数の臓器を含む医用画像と病態評価情報(例えば、子宮内膜症に関する病態評価情報)を学習データとして機械学習されたモデルであり、複数の臓器を含む医用画像が入力されると病態評価情報(例えば、子宮内膜症に関する病態評価情報)を出力する。なお、1つのニューラルネットワークを用いてもよいし(つまり、複数の臓器を含む医用画像が入力されると病態評価情報の全項目の情報を出力するモデルを1つのみ用いる)、病態評価情報の項目ごとに生成されたニューラルネットワークを用いてもよい(つまり、複数の臓器を含む医用画像が入力されると病態評価情報の1つの項目が出力されるモデルを項目ごとに用いる)。
 ここで、子宮内膜症に関する病態評価情報について説明する。例えば、子宮内膜症に関する病態評価情報は、子宮後面の結節性病変の有無、子宮後面の結節性病変の重症度(実施形態1と同様であるので説明を省略する)、人体内の領域ごとの臓器間の癒着の有無、臓器間の癒着の重症度(実施形態1と同様であるので説明を省略する)、の少なくとも1つを含む。
<方法>
 図9は、本開示の一実施形態に係る複数の臓器を含む医用画像から子宮内膜症に関する病態評価情報を生成する処理のフローチャートである。
 ステップ21(S21)において、病態評価装置10(医用画像取得部201)は、複数の臓器を含む医用画像を取得する。
 ステップ22(S22)において、病態評価装置10(病態評価情報生成部202)は、S21で取得された複数の臓器を含む医用画像をニューラルネットワークに入力することで、病態評価情報(例えば、子宮内膜症に関する病態評価情報)を生成する。
 このように、子宮だけでなく他の臓器も含む医用画像を用いて生成された子宮内膜症に関する病態評価情報を得ることができる。
<実施形態3>
 以下、実施形態3について説明する。なお、実施形態1と異なる点を主に説明する。なお、本実施形態は、人に限らず動物に対しても適用可能である。
<機能ブロック図>
 図10は、本開示の一実施形態に係る病態評価装置10の機能ブロック図である。病態評価装置10は、医用画像取得部301と、セグメンテーション部302と、病態評価情報生成部303と、を備える。病態評価装置10は、プログラムを実行することで、医用画像取得部301、セグメンテーション部302、病態評価情報生成部303、として機能する。以下、それぞれについて説明する。
 医用画像取得部301は、画像診断装置20が生成した医用画像を取得する。医用画像は、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)を含む医用画像である。医用画像は、病変部分だけでなく臓器も含んでもよい。
 なお、医用画像取得部301は、医用画像を画像診断装置20から取得してもよいし(図1の構成例1の場合)、医用画像を端末11から取得してもよい(図1の構成例2の場合)。
[病変部分を含む医用画像]
 ここで、病変部分を含む医用画像について説明する。病変部分を含む医用画像は、少なくとも病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)が含まれている画像である。例えば、病変部分を含む医用画像は、MRI装置が撮影したMRI画像である。例えば、病変部分を含む医用画像は、MRI装置が撮影した3次元MRI画像(つまり、臓器、病変部分等の3次元形状を示すデータ)であるが、2次元MRI画像でもよい。
 例えば、病変部分が結節性病変の場合、医用画像は、結節性病変と子宮を含んでもよい。また、病変部分が結節性病変の場合、医用画像は、結節性病変と子宮と直腸と膀胱と卵巣を含んでもよい(直腸と膀胱と卵巣は任意である)。例えば、医用画像は、矢状断面(sagittal断面)を撮影した画像であるが、他の断面を撮影した画像でもよい。
 例えば、病変部分が腺筋症の場合、医用画像は、腺筋症と子宮を含んでもよい。また、病変部分が腺筋症の場合、医用画像は、腺筋症と結節性病変と子宮と直腸と膀胱と卵巣を含んでもよい(結節性病変と直腸と膀胱と卵巣は任意である)。例えば、医用画像は、矢状断面(sagittal断面)を撮影した画像であるが、他の断面を撮影した画像でもよい。
 例えば、病変部分が卵巣嚢胞の場合、医用画像は、卵巣嚢胞を含む。例えば、医用画像は、軸位断面(axial断面)を撮影した画像であるが、他の断面を撮影した画像でもよい。
 セグメンテーション部302は、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)を含む医用画像をニューラルネットワークに入力することで、当該いずれか1つの病変部分のセグメンテーション情報(ラベル)を生成する。ニューラルネットワークは、病変部分を含む医用画像と当該病変部分のセグメンテーション情報(ラベル)を学習データとして機械学習されたモデルであり、病変部分を含む医用画像が入力されると当該病変部分のセグメンテーション情報(ラベル)を出力する。なお、セグメンテーション情報については、実施形態1と同様であるので説明を省略する。
 例えば、病変部分が結節性病変の場合、セグメンテーション情報は、結節性病変と子宮のセグメンテーション情報であってもよい。また、病変部分が結節性病変の場合、結節性病変と子宮と直腸と膀胱と卵巣のセグメンテーション情報であってもよい。
 例えば、病変部分が腺筋症の場合、セグメンテーション情報は、腺筋症と子宮のセグメンテーション情報であってもよい。また、病変部分が腺筋症の場合、セグメンテーション情報は、腺筋症と結節性病変と子宮と直腸と膀胱と卵巣のセグメンテーション情報であってもよい。
 例えば、病変部分が卵巣嚢胞の場合、セグメンテーション情報は、卵巣嚢胞のセグメンテーション情報である。
 病態評価情報生成部303は、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)のセグメンテーション情報に基づいて、子宮に関する病態評価情報を生成する。なお、医用画像の各画素のラベルの情報を用いて、子宮に関する病態評価情報を生成してもよいし、当該ラベルに基づいて抽出された病変部分に該当する部分の画像(部分画像)を用いて、子宮に関する病態評価情報を生成してもよい。
 ここで、子宮に関する病態評価情報について説明する。例えば、子宮に関する病態評価情報は、病変の厚み、病変のサイズ(例えば、病変の体積、病変の面積等)、の少なくとも1つを含む。病態評価情報生成部303は、医用画像のスケールの情報をもとに、実際の厚み等の数値を算出することができる。
 例えば、病変部分が結節性病変の場合、子宮に関する病態評価情報は、病変の厚み、病変のサイズ(例えば、病変の体積、病変の面積等)、の少なくとも1つを含む。病態評価情報生成部303は、子宮も含む医用画像を用いて、子宮の後面からの結節性病変の厚みを測定することがきる。
 例えば、病変部分が腺筋症の場合、子宮に関する病態評価情報は、腺筋症の体積を含む。
 例えば、病変部分が卵巣嚢胞の場合、子宮に関する病態評価情報は、卵巣嚢胞の体積を含む。
<方法>
 図11は、本開示の一実施形態に係る病変部分を含む医用画像から病変部分のセグメンテーション情報を生成して子宮に関する病態評価情報を生成する処理のフローチャートである。
 ステップ31(S31)において、病態評価装置10(医用画像取得部301)は、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)を含む医用画像を取得する。
 ステップ32(S32)において、病態評価装置10(セグメンテーション部302)は、S31で取得された病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)を含む医用画像をニューラルネットワークに入力することで、当該いずれか1つの病変部分のセグメンテーション情報を生成する。
 ステップ33(S33)において、病態評価装置10(病態評価情報生成部303)は、S32で生成された病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)のセグメンテーション情報に基づいて、子宮に関する病態評価情報を生成する。
 このように、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)のセグメンテーション情報を用いて生成された子宮に関する病態評価情報を得ることができる。
<医用画像およびセグメンテーション情報>
 図12は、本開示の一実施形態に係る医用画像およびセグメンテーション情報について説明するための図である。
 図12の[医用画像]は、本開示で用いられる医用画像の一例である。例えば、医用画像は、3次元MRI画像(つまり、臓器、病変部分等の3次元形状を示すデータ)である。実施形態1および実施形態2の場合、医用画像は、複数の臓器を含む。実施形態3の場合、医用画像は、病変部分(具体的には、結節性病変、腺筋症、卵巣嚢胞のいずれか1つ)を含む。
 図12の[セグメンテーション情報]は、セグメンテーション情報(各画素に付与されたラベル)をもとに、図12の[医用画像]内の各臓器および病変部分を区別可能に示したものである。
<ハードウェア構成>
 前述した実施形態における各装置(病態評価装置10および端末11)の一部又は全部は、ハードウェアで構成されていてもよいし、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等が実行するソフトウェア(プログラム)の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、CD-ROM(Compact Disc-Read Only Memory)、USB(Universal Serial Bus)メモリ等の非一時的な記憶媒体(非一時的なコンピュータ可読媒体)に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。
 ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし(主記憶装置、補助記憶装置等)、コンピュータ外部に備えられてもよい。
 図13は、前述した実施形態における各装置(病態評価装置10および端末11)のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ1001と、主記憶装置1002(メモリ)と、補助記憶装置1003(メモリ)と、ネットワークインタフェース1004と、デバイスインタフェース1005と、を備え、これらがバス1006を介して接続されたコンピュータ1000として実現されてもよい。
 図13のコンピュータ1000は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図13では、1台のコンピュータ1000が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース1004等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置(病態評価装置10および端末11)は、1又は複数の記憶装置に記憶された命令を1台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた1台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
 前述した実施形態における各装置(病態評価装置10および端末11)の各種演算は、1又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ1000と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、1台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
 プロセッサ1001は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路(処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA、ASIC等)であってもよい。また、プロセッサ1001は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。また、プロセッサ1001は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
 プロセッサ1001は、コンピュータ1000の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ1001は、コンピュータ1000のOS(Operating System)や、アプリケーション等を実行することにより、コンピュータ1000を構成する各構成要素を制御してもよい。
 前述した実施形態における各装置(病態評価装置10および端末11)は、1又は複数のプロセッサ1001により実現されてもよい。ここで、プロセッサ1001は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいは2つ以上のデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
 主記憶装置1002は、プロセッサ1001が実行する命令及び各種データ等を記憶してもよく、主記憶装置1002に記憶された情報がプロセッサ1001により読み出されてもよい。補助記憶装置1003は、主記憶装置1002以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置(病態評価装置10および端末11)において各種データ等を保存するための記憶装置は、主記憶装置1002又は補助記憶装置1003により実現されてもよく、プロセッサ1001に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における記憶部は、主記憶装置1002又は補助記憶装置1003により実現されてもよい。
 前述した実施形態における各装置(病態評価装置10および端末11)が、少なくとも1つの記憶装置(メモリ)と、この少なくとも1つの記憶装置に接続(結合)される少なくとも1つのプロセッサで構成される場合、記憶装置1つに対して、少なくとも1つのプロセッサが接続されてもよい。また、プロセッサ1つに対して、少なくとも1つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも1つのプロセッサが、複数の記憶装置のうち少なくとも1つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成(例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ)を含んでもよい。
 ネットワークインタフェース1004は、無線又は有線により、通信ネットワーク1007に接続するためのインタフェースである。ネットワークインタフェース1004は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース1004により、通信ネットワーク1007を介して接続された外部装置1008Aと情報のやり取りが行われてもよい。なお、通信ネットワーク1007は、WAN(Wide Area Network)、LAN(Local Area Network)、PAN(Personal Area Network)等の何れか又はそれらの組み合わせであってよく、コンピュータ1000と外部装置1008Aとの間で情報のやり取りが行われるものであればよい。WANの一例としてインターネット等があり、LANの一例としてIEEE802.11やイーサネット(登録商標)等があり、PANの一例としてBluetooth(登録商標)やNFC(Near Field Communication)等がある。
 デバイスインタフェース1005は、外部装置1008Bと直接接続するUSB等のインタフェースである。
 外部装置1008Aはコンピュータ1000とネットワークを介して接続されている装置である。外部装置1008Bはコンピュータ1000と直接接続されている装置である。
 外部装置1008A又は外部装置1008Bは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ1000に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
 また、外部装置1008A又は外部装置1008Bは、一例として、出力装置でもよい。出力装置は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
 また、外部装置1008Aまた外部装置1008Bは、記憶装置(メモリ)であってもよい。例えば、外部装置1008Aはネットワークストレージ等であってもよく、外部装置1008BはHDD等のストレージであってもよい。
 また、外部装置1008A又は外部装置1008Bは、前述した実施形態における各装置(病態評価装置10および端末11)の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ1000は、外部装置1008A又は外部装置1008Bに処理結果の一部又は全部を送信してもよいし、外部装置1008A又は外部装置1008Bから処理結果の一部又は全部を受信してもよい。
 本明細書(請求項を含む)において、「a、b及びcの少なくとも1つ(一方)」又は「a、b又はcの少なくとも1つ(一方)」の表現(同様な表現を含む)が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素(a、b及びc)以外の他の要素を加えることも含む。
 本明細書(請求項を含む)において、「データを入力として/を用いて/データに基づいて/に従って/に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等)を用いる場合を含む。また、「データを入力として/を用いて/データに基づいて/に従って/に応じて」何らかの結果が得られる旨が記載されている場合(同様な表現を含む)、特に断りがない場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び/又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合(同様な表現を含む)、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等)を出力として用いる場合を含む。
 本明細書(請求項を含む)において、「接続される(connected)」及び「結合される(coupled)」との用語が用いられる場合は、直接的な接続/結合、間接的な接続/結合、電気的(electrically)な接続/結合、通信的(communicatively)な接続/結合、機能的(operatively)な接続/結合、物理的(physically)な接続/結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続/結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
 本明細書(請求項を含む)において、「AがBするよう構成される(A configured to B)」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的(permanent)又は一時的(temporary)な設定(setting/configuration)が、動作Bを実際に実行するように設定(configured/set)されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的(permanent)又は一時的(temporary)なプログラム(命令)の設定により、動作Bを実際に実行するように設定(configured)されていればよい。また、要素Aが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Bを実際に実行するように構築(implemented)されていればよい。
 本明細書(請求項を含む)において、含有又は所有を意味する用語(例えば、「含む(comprising/including)」、「有する(having)」等)が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
 本明細書(請求項を含む)において、ある箇所において「1つ又は複数(one or more)」、「少なくとも1つ(at least one)」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)は、必ずしも特定の数に限定されないものとして解釈されるべきである。
 本明細書において、ある実施形態の有する特定の構成について特定の効果(advantage/result)が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び/又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び/又は状態が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
 本明細書(請求項を含む)において、「最大化する(maximize)/最大化(maximization)」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する(minimize)/最小化(minimization)」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する(optimize)/最適化(optimization)」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
 本明細書(請求項を含む)において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書(請求項を含む)において、「1又は複数のハードウェアが第1の処理を行い、前記1又は複数のハードウェアが第2の処理を行う」等の表現(同様な表現を含む)が用いられている場合、第1の処理を行うハードウェアと第2の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1の処理を行うハードウェア及び第2の処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。
 本明細書(請求項を含む)において、複数の記憶装置(メモリ)がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
 以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。
 本国際出願は2022年8月30日に出願された日本国特許出願2022-136932号に基づく優先権を主張するものであり、2022-136932号の全内容をここに本国際出願に援用する。
1 病態評価システム
10 病態評価装置
11 端末
20 画像診断装置
30 医師
101 医用画像取得部
102 セグメンテーション部
103 特徴量抽出部
104 病態評価情報生成部
201 医用画像取得部
202 病態評価情報生成部
301 医用画像取得部
302 セグメンテーション部
303 病態評価情報生成部
1000 コンピュータ
1001 プロセッサ
1002 主記憶装置(メモリ)
1003 補助記憶装置(メモリ)
1004 ネットワークインタフェース
1005 デバイスインタフェース
1006 バス
1007 通信ネットワーク
1008A 外部装置
1008B 外部装置

Claims (15)

  1.  少なくとも1つのプロセッサと、
     少なくとも1つのメモリと、を備え、
     前記少なくとも1つのプロセッサは、
      複数の臓器を含む画像から、2以上の臓器の形状に関する特徴量を抽出し、
      前記2以上の臓器の形状に関する特徴量をモデルに入力することで、病態評価情報を生成する、
     病態評価装置。
  2.  前記少なくとも1つのプロセッサは、
      前記画像から、前記2以上の臓器のセグメンテーション情報を生成し、
      前記2以上の臓器のセグメンテーション情報に基づいて、前記2以上の臓器の形状に関する特徴量を抽出する、
     請求項1に記載の病態評価装置。
  3.  前記少なくとも1つのプロセッサは、
      前記画像をニューラルネットワークに入力することで、前記2以上の臓器のセグメンテーション情報を生成する、
     請求項2に記載の病態評価装置。
  4.  前記2以上の臓器は、子宮、直腸、膀胱、卵巣のいずれか2以上を含む、
     請求項1に記載の病態評価装置。
  5.  前記臓器の形状に関する特徴量は、ラジオミクス特徴量である、
     請求項1に記載の病態評価装置。
  6.  前記臓器の形状に関する特徴量は、最大2D直径(行方向)、最大2D直径(列方向)、最大2D直径(スライス方向)、最大3D直径、球形度、表面積、表面積体積比率、体積(ボクセル)、体積(メッシュ)、セグメンテーションの結果を用いた主成分分析に基づく特徴量、の少なくとも1つを含む、
     請求項1に記載の病態評価装置。
  7.  前記病態評価情報は、癒着に関する情報である、
     請求項1に記載の病態評価装置。
  8.  前記病態評価情報は、少なくとも臓器間の癒着の有無または重症度のいずれかを含む、
     請求項7に記載の病態評価装置。
  9.  前記病態評価情報は、少なくとも子宮後面の結節性病変の有無または重症度のいずれかを含む、
     請求項1に記載の病態評価装置。
  10.  前記モデルは、少なくとも決定木モデルまたはニューラルネットワークのいずれかである、
     請求項1に記載の病態評価装置。
  11.  少なくとも1つのプロセッサと、
     少なくとも1つのメモリと、を備え、
     前記少なくとも1つのプロセッサは、
      複数の臓器を含む画像をニューラルネットワークに入力することで、病態評価情報を生成する、
     病態評価装置。
  12.  前記病態評価情報は、子宮後面の結節性病変の有無、前記結節性病変の重症度、臓器間の癒着の有無、前記癒着の重症度、の少なくとも1つを含む、
     請求項11に記載の病態評価装置。
  13.  少なくとも1つのプロセッサと、
     少なくとも1つのメモリと、を備え、
     前記少なくとも1つのプロセッサは、
      少なくとも結節性病変、腺筋症、卵巣嚢胞のいずれか1つを含む画像をニューラルネットワークに入力することで、前記いずれか1つのセグメンテーション情報を生成し、
     前記セグメンテーション情報に基づいて、子宮に関する病態評価情報を生成する、
     病態評価装置。
  14.  前記病態評価情報は、病変の厚み、病変のサイズ、の少なくとも1つを含む、
     請求項13に記載の病態評価装置。
  15.  前記画像は、3次元MRI画像である、
     請求項1-14のいずれかに記載の病態評価装置。
PCT/JP2023/030939 2022-08-30 2023-08-28 病態評価装置 WO2024048509A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022136932 2022-08-30
JP2022-136932 2022-08-30

Publications (1)

Publication Number Publication Date
WO2024048509A1 true WO2024048509A1 (ja) 2024-03-07

Family

ID=90099914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030939 WO2024048509A1 (ja) 2022-08-30 2023-08-28 病態評価装置

Country Status (1)

Country Link
WO (1) WO2024048509A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824227A (ja) * 1994-07-19 1996-01-30 Hitachi Medical Corp 医用画像診断装置
JP2002163635A (ja) * 2000-11-27 2002-06-07 Chiyuugai Technos Kk 診断部位の超音波画像から得られた特徴量に基づき階層型ニューラルネットワークを利用してびまん性肝疾患を診断支援するシステム、及びその診断支援方法
US20190139641A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Artificial intelligence for physiological quantification in medical imaging
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
WO2020110774A1 (ja) * 2018-11-30 2020-06-04 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021002320A (ja) * 2019-06-19 2021-01-07 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
JP2021133142A (ja) * 2020-02-28 2021-09-13 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
WO2021195153A1 (en) * 2020-03-23 2021-09-30 Genentech, Inc. Prediction of geographic-atrophy progression using segmentation and feature evaluation
JP2022503729A (ja) * 2018-10-29 2022-01-12 オックスフォード ユニバーシティ イノベーション リミテッド 心外膜領域のラジオミックシグネチャ
JP2022050089A (ja) * 2020-09-17 2022-03-30 みずほリサーチ&テクノロジーズ株式会社 判定予測システム、判定予測方法及び判定予測プログラム
JP2022120652A (ja) * 2021-02-05 2022-08-18 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824227A (ja) * 1994-07-19 1996-01-30 Hitachi Medical Corp 医用画像診断装置
JP2002163635A (ja) * 2000-11-27 2002-06-07 Chiyuugai Technos Kk 診断部位の超音波画像から得られた特徴量に基づき階層型ニューラルネットワークを利用してびまん性肝疾患を診断支援するシステム、及びその診断支援方法
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US20190139641A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Artificial intelligence for physiological quantification in medical imaging
JP2022503729A (ja) * 2018-10-29 2022-01-12 オックスフォード ユニバーシティ イノベーション リミテッド 心外膜領域のラジオミックシグネチャ
WO2020110774A1 (ja) * 2018-11-30 2020-06-04 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021002320A (ja) * 2019-06-19 2021-01-07 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
JP2021133142A (ja) * 2020-02-28 2021-09-13 株式会社日立製作所 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
WO2021195153A1 (en) * 2020-03-23 2021-09-30 Genentech, Inc. Prediction of geographic-atrophy progression using segmentation and feature evaluation
JP2022050089A (ja) * 2020-09-17 2022-03-30 みずほリサーチ&テクノロジーズ株式会社 判定予測システム、判定予測方法及び判定予測プログラム
JP2022120652A (ja) * 2021-02-05 2022-08-18 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WADA NATSUMI, UCHIYAMA YOSHIKAZU: "Image Data Mining for Extracting Relations between Radiomic Features and Subtypes of Breast Cancer", JOURNAL OF THE MEDICAL IMAGING AND INFORMATION SOCIETY, vol. 37, no. 2, 28 May 2020 (2020-05-28), pages 28 - 33, XP093143021 *

Similar Documents

Publication Publication Date Title
Deniz et al. Segmentation of the proximal femur from MR images using deep convolutional neural networks
Goncharov et al. CT-Based COVID-19 triage: Deep multitask learning improves joint identification and severity quantification
JP2023511300A (ja) 医用画像における解剖学的構造を自動的に発見するための方法及びシステム
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
Meijs et al. Robust segmentation of the full cerebral vasculature in 4D CT of suspected stroke patients
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
Jiménez et al. A Web platform for the interactive visualization and analysis of the 3D fractal dimension of MRI data
CN113939844A (zh) 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
Yu et al. Detection of COVID-19 by GoogLeNet-COD
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
Junyue et al. Breast cancer diagnosis using hybrid AlexNet-ELM and chimp optimization algorithm evolved by Nelder-mead simplex approach
CN112967386A (zh) 生物力学建模方法、装置、电子设备及存储介质
WO2024048509A1 (ja) 病態評価装置
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
Patel et al. Automatic cerebrospinal fluid segmentation in non-contrast CT images using a 3D convolutional network
Rahim et al. A diffeomorphic mapping based characterization of temporal sequences: application to the pelvic organ dynamics assessment
KR102505614B1 (ko) 골관절염 예측 정보 제공 방법 및 장치
WO2022084074A1 (en) Detecting anatomical abnormalities by segmentation results with and without shape priors
WO2005020153A1 (en) Method and system for using structure tensors to detect lung nodules and colon polyps
JP2022059493A (ja) モデル生成方法、モデル生成装置、画像処理方法及び画像処理装置
JPWO2020110520A1 (ja) 類似度決定装置、方法およびプログラム
JPWO2020044736A1 (ja) 類似度決定装置、方法およびプログラム
KR102627874B1 (ko) Ct 영상 기반의 뇌 영상 정량 분석 방법 및 시스템
US11961231B2 (en) Method and system for medical image interpretation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860271

Country of ref document: EP

Kind code of ref document: A1