WO2023058759A1 - 壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム - Google Patents

壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム Download PDF

Info

Publication number
WO2023058759A1
WO2023058759A1 PCT/JP2022/037678 JP2022037678W WO2023058759A1 WO 2023058759 A1 WO2023058759 A1 WO 2023058759A1 JP 2022037678 W JP2022037678 W JP 2022037678W WO 2023058759 A1 WO2023058759 A1 WO 2023058759A1
Authority
WO
WIPO (PCT)
Prior art keywords
wall
model
information
blood vessel
thickness
Prior art date
Application number
PCT/JP2022/037678
Other languages
English (en)
French (fr)
Inventor
由恵 杉山
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Priority to CN202280057602.3A priority Critical patent/CN117858669A/zh
Publication of WO2023058759A1 publication Critical patent/WO2023058759A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]

Definitions

  • the present invention relates to a wall thickness estimation method for estimating the thickness of an organ wall or blood vessel wall.
  • a cerebral aneurysm which is an example of a vascular disease, is an extremely high-risk disease with a fatality rate exceeding about 50% once it ruptures, and a high rate of sequelae. . Therefore, preventive treatment (preemptive medicine) to prevent cerebral aneurysm rupture is highly important, and appropriate therapeutic intervention is essential.
  • the information for example, thickness
  • cerebral aneurysm rupture is more likely to occur in areas where the aneurysm wall is thinner than in areas where the aneurysm wall is thicker.
  • the shape such as the thickness of the aneurysm wall varies from cerebral aneurysm to cerebral aneurysm.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • MRA Magnetic Resonance Angiography
  • the ultrasonic diagnostic apparatus disclosed in Patent Document 1 is known as a minimally invasive technique for predicting the thickness of a blood vessel wall such as an aneurysm wall of a cerebral aneurysm.
  • Patent Literature 1 discloses an ultrasonic diagnostic apparatus that generates image data using ultrasonic signals and displays information about the thickness of the blood vessel wall of a subject based on the image data.
  • the present invention proposes useful information for performing specific treatments for diseases of organs or blood vessels by generating highly accurate information on the walls of organs or blood vessels using a minimally invasive technique.
  • the purpose is to provide a method for estimating wall thickness, etc.
  • a wall thickness estimation method comprises a plurality of predetermined points on the organ wall or the blood vessel wall based on a moving image including the organ wall or the blood vessel wall obtained using a four-dimensional angiography method.
  • a computer program according to an aspect of the present invention causes a computer to execute the wall thickness estimation method described above.
  • the learning method provides numerical information regarding temporal changes in positions of a plurality of predetermined points on the organ wall or the vascular wall based on a moving image including the organ wall or the vascular wall.
  • a model manufacturing method includes a third obtaining step of obtaining the estimated information generated by the generating step described above, and a step of manufacturing a blood vessel model including the blood vessel wall described above.
  • a blood vessel model is produced based on the thickness visualized by the estimated information acquired in the third acquisition step so that the blood vessel wall included in the blood vessel model exhibits a different aspect for each thickness. and a first fabrication step.
  • a wall thickness estimation apparatus provides a plurality of predetermined thicknesses of the organ wall or the vascular wall based on a moving image containing the organ wall or the vascular wall obtained using a four-dimensional angiography method.
  • an acquisition unit that acquires behavior information, which is numerical information about changes in the position of each of the points over time;
  • a generation unit for generating estimation information which is information in which the thickness is visualized, using a trained model that outputs an index indicating the thickness of each of the plurality of predetermined points on the wall; and generation by the generation unit. and an output unit for outputting the estimated information.
  • a wall thickness estimation system includes the wall thickness estimation device described above, and a video information processing device that acquires the video image, generates the behavior information, and outputs the behavior information to the acquisition unit. and a display device for displaying the estimated information output by the output unit.
  • the wall thickness estimation method and the like of the present invention by generating highly accurate information on the organ wall or blood vessel wall by a minimally invasive technique, it is useful for performing specific treatments for diseases of the organ or blood vessel. information can be proposed.
  • FIG. 1 is a diagram showing the configuration of a wall thickness estimation system according to an embodiment.
  • FIG. 2 is a block diagram showing a characteristic functional configuration of the wall thickness estimation device according to the embodiment.
  • FIG. 3 is a perspective view showing a cerebral aneurysm according to the embodiment.
  • FIG. 4 is a cross-sectional view of the cerebral aneurysm according to the present embodiment taken along line IV-IV in FIG.
  • FIG. 5 is a cross-sectional view of the cerebral aneurysm according to this embodiment taken along line VV in FIG.
  • FIG. 6 is a flowchart showing a processing procedure for learning a machine learning model by the wall thickness estimation device according to the embodiment.
  • FIG. 7 is an explanatory diagram showing teacher data according to the embodiment.
  • FIG. 8 is a flowchart showing a processing procedure for estimating the aneurysm wall thickness of a cerebral aneurysm by the wall thickness estimation device according to the embodiment.
  • FIG. 9 is a diagram showing an example of estimation information according to the embodiment.
  • FIG. 10A is a diagram showing a still image of a cerebral aneurysm according to the embodiment; 10B is a block diagram showing a characteristic functional configuration of the model production system according to Modification 1.
  • FIG. 10C is a flowchart showing a processing procedure for producing a blood vessel model by the model production system according to Modification 1.
  • FIG. 10D is a schematic diagram showing an example of estimation information according to Modification 1.
  • FIG. 10E is a vascular model including a vascular wall (aneurysm wall) according to Modification 1.
  • FIG. 10F is a brain blood vessel whole model according to Modification 1.
  • FIG. 10G is a brain model according to modification 1.
  • FIG. 10H is a skull model according to Modification 1.
  • FIG. 10I is a vascular model including vascular walls (aneurysm walls) of subjects other than the subject.
  • FIG. 11 is a block diagram showing a characteristic functional configuration of the wall thickness estimation system according to Modification 2.
  • FIG. 12 is a flowchart illustrating a processing procedure for learning a machine learning model by the learning device according to Modification 2;
  • FIG. 13 shows one still image (one frame) included in a two-dimensional moving image according to modification 2 and an image showing the depth estimated for the one still image.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a diagram showing the configuration of a wall thickness estimation system 1000 according to this embodiment.
  • the wall thickness estimation system 1000 uses four-dimensional angiography to acquire behavior information, which is numerical information about changes in the position of each predetermined point over time, from a moving image including the organ wall or blood vessel wall of the subject P. Furthermore, the wall thickness estimation system 1000 is a system that generates estimation information for estimating the thickness of the organ wall or blood vessel wall based on the acquired behavior information. For example, the wall thickness estimation system 1000 estimates the thickness of a cerebral aneurysm, which is an example of the subject P's blood vessel wall.
  • 4D angiography is a method that takes into account the time axis of 3D angiography.
  • Three-dimensional angiography is a method of collecting three-dimensional blood vessel data using an X-ray CT device, an MRI device, or the like, and extracting blood vessel information.
  • the four-dimensional angiography method using an X-ray CT apparatus is also called 4DCTA (4 Dimensional Computed Tomography Angiography).
  • a moving image is obtained by 4D angiography.
  • the moving image may be a time series of three or more still images, and may be, for example, a moving image over the time when the heart pulsates n times (n is a natural number).
  • the moving image may be a moving image within a predetermined period of time.
  • the predetermined time may be, for example, m seconds (m is a natural number).
  • the organ wall is the wall of the organ, and the organ includes the chest organ and the abdominal organ.
  • chest organs include heart and lungs
  • abdominal organs include but are not limited to stomach, intestine, liver, kidney and pancreas.
  • the organ may also include a thoracic organ with a lumen and an abdominal organ with a lumen.
  • An organ wall is, for example, a wall that separates the organ in question from other organs or organs.
  • the organ wall when the organ is the heart, the organ wall is a wall composed of muscle (myocardium) separating the heart from other organs.
  • An organ wall is, for example, a wall that separates regions within the organ.
  • the organ wall when the organ is the heart, the organ wall is the ventricular middle wall separating the left ventricle and the right ventricle, which are examples of regions within the heart.
  • the vascular wall may be the wall of a blood vessel containing arteries or veins, or the aneurysm wall of an aneurysm or varicose vein, for example, the aneurysm wall of a cerebral aneurysm, aortic aneurysm, or visceral aneurysm. There may be.
  • the wall thickness estimation system 1000 includes a wall thickness estimation device 100, a display device 200, a moving image information processing device 300, and a moving image capturing device 400.
  • the moving image capturing device 400 is a device that generates moving images including organ walls or blood vessel walls using four-dimensional angiography.
  • the moving image capturing device 400 is, for example, an X-ray CT device or an MRI device.
  • the moving image capturing apparatus 400 is an X-ray CT apparatus, and includes an X-ray tube that emits X-rays, a detector that receives signals, and a computer.
  • the detector is located on the opposite side of the X-ray tube and detects the X-rays after they pass through Subject P's body.
  • a computer generates a moving image including organ walls or blood vessel walls in a specific part of the subject P by utilizing the fact that X-ray absorption differs depending on the part of the subject P's body.
  • the moving image capturing device 400 also has a function of measuring and acquiring the subject P's electrocardiogram waveform.
  • a method using an X-ray CT device or MRI device and a four-dimensional angiography method does not require incision or the like, which imposes a heavy burden on the body of the subject P, unlike methods such as open surgery, open heart surgery, or craniotomy. It is a minimally invasive technique. Also, a technique using an X-ray CT device or an MRI device and a four-dimensional angiography method can generate highly precise moving images.
  • the moving image information processing device 300 acquires a moving image including an organ wall or a blood vessel wall generated by the moving image capturing device 400 using a four-dimensional angiography method, and detects each of a plurality of predetermined points on the organ wall or the blood vessel wall. Generates behavior information, which is numerical information about the time change of the position of . In other words, the behavior information is information based on moving images including organ walls or blood vessel walls obtained using four-dimensional angiography.
  • the behavior information is a set of a specific time in the moving image and three-dimensional coordinate positions of each of a plurality of predetermined points on the organ wall or blood vessel wall at the specific time. It is numerical information in which a plurality of sets are arranged according to the passage of time for one heart beat in . It should be noted that the plurality of predetermined points means a minimal area.
  • the moving image information processing device 300 outputs behavior information to the wall thickness estimation device 100 .
  • the moving image information processing apparatus 300 is, for example, a personal computer, but may be a server apparatus with high computing power connected to a network.
  • the wall thickness estimation device 100 acquires the behavior information generated by the moving image information processing device 300, generates estimation information for estimating the thickness of the organ wall or the blood vessel wall based on the acquired behavior information, The generated estimation information is output to display device 200 .
  • Wall thickness estimation device 100 is, for example, a personal computer, but may be a server device with high computing power connected to a network.
  • the display device 200 displays the estimation information output from the wall thickness estimation device 100.
  • the display device 200 is specifically a monitor device configured by a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like.
  • a television, a smartphone, a tablet terminal, or the like may be used as the display device 200 .
  • the wall thickness estimation device 100, the display device 200, and the moving image information processing device 300 need only be able to transmit and receive behavior information or estimation information, and may be wired or wirelessly connected. may
  • the moving image information processing apparatus 300 acquires a moving image including an organ wall or a blood vessel wall, and obtains behavior information, which is numerical information regarding temporal changes in positions of a plurality of predetermined points on the organ wall or blood vessel wall. to generate
  • the wall thickness estimation device 100 acquires the behavior information generated by the moving image information processing device 300, and based on the acquired behavior information, generates estimation information for estimating the thickness of the organ wall or blood vessel wall. Further, wall thickness estimation device 100 outputs the generated estimation information to display device 200 .
  • the wall thickness estimation system 1000 uses the moving image information processing device 300 and the moving image capturing device 400 to obtain moving images including organ walls or blood vessel walls by a minimally invasive method. Furthermore, the wall thickness estimation system 1000 can generate estimation information for estimating the thickness of the organ wall or blood vessel wall using behavior information about the moving image. Therefore, the wall thickness estimation system 1000 can generate highly accurate information about the wall thickness near each of the plurality of predetermined points on the organ wall or vessel wall.
  • FIG. 2 is a block diagram showing a characteristic functional configuration of the wall thickness estimation device 100 according to this embodiment.
  • the wall thickness estimation device 100 includes a first acquisition unit 110, a generation unit 120, an output unit 130, and a first learning unit 140 as acquisition units.
  • the first acquisition unit 110 is based on a moving image including the organ wall or the vascular wall obtained using the four-dimensional angiography method, and relates to the temporal change in the position of each of a plurality of predetermined points on the organ wall or the vascular wall.
  • Acquire behavior information which is numerical information.
  • the first acquisition unit 110 acquires behavior information generated by the moving image information processing device 300 .
  • the first acquisition unit 110 is, for example, a communication interface that performs wired communication or wireless communication.
  • the generation unit 120 generates estimation information for estimating the thickness of the organ wall or blood vessel wall based on the behavior information acquired by the first acquisition unit 110 . More specifically, the generation unit 120 has a learned model (here, the machine learning model 121), and uses this model to calculate the thickness of each of a plurality of predetermined points on the organ wall or blood vessel wall. generates estimated information, which is visualized information.
  • a learned model here, the machine learning model 121
  • the learned model receives as input an image representing a physical parameter based on the behavior information acquired by the first acquisition unit 110, and outputs an index representing the thickness of each of a plurality of predetermined points on the organ wall or blood vessel wall.
  • the first learning unit 140 learns the model.
  • said image for generating estimation information may be described as a 1st input image.
  • the estimated information is, for example, image information that visualizes the thickness of each of a plurality of predetermined points.
  • a method for generating estimated information will be described later with reference to FIG.
  • the generator 120 is specifically implemented by a processor, microcomputer, or dedicated circuit that executes a program.
  • the output unit 130 outputs the estimation information generated by the generation unit 120.
  • the output unit 130 may output the estimation information generated by the generation unit 120 to the display device 200 .
  • the output unit 130 is, for example, a communication interface that performs wired communication or wireless communication.
  • the first learning unit 140 uses teacher data to learn the model.
  • the first learning unit 140 is implemented by a processor, microcomputer, or dedicated circuit that executes a program.
  • the first learning unit 140 learns and builds a model.
  • the first learning unit 140 provides the constructed model to the generation unit 120 .
  • the first learning unit 140 is not an essential component and may not be included in the wall thickness estimation device 100 .
  • This model is a model for generating estimated information.
  • the model is a model constructed by machine learning using one or more data sets as teacher data.
  • a single data set is composed of a combination of an image showing a physical parameter based on behavior information of a predetermined point among a plurality of predetermined points on the organ wall or blood vessel wall and an index indicating the thickness of the predetermined point.
  • the model is one or more data sets, wherein each of the one or more data sets is an image indicating the physical parameter of the predetermined point and a data set of the index indicating the thickness of the predetermined point.
  • a recognition model constructed by machine learning using one or more data sets as teacher data.
  • the model takes as input data an image indicating physical parameters belonging to each of the one or more data sets that are the training data, and outputs an index indicating the thickness of the predetermined point belonging to the data set.
  • the data is a recognition model constructed by machine learning.
  • the first learning unit 140 learns the model using machine learning as described above. Therefore, the model is the machine learning model 121 in this embodiment.
  • the first learning unit 140 may learn the model using, for example, a neural network, more specifically, a convolutional neural network (CNN (Convolutional Neural Network)).
  • CNN convolutional Neural Network
  • the first learning unit 140 determines the coefficients (weights) of the filters of the convolutional layers by machine learning based on the teacher data.
  • the first learning unit 140 may learn the model using an algorithm other than the neural network.
  • the above image included in the teacher data may be described as the second input image.
  • FIG. 3 Although the blood vessel wall is used for explanation in the present embodiment, the same applies to the organ wall. Furthermore, here, the vessel wall is the aneurysm wall 11 of the cerebral aneurysm 10 .
  • the positive x-axis direction is the direction in which the cerebral aneurysm 10 extends from the parent blood vessel 20
  • the z-axis is the direction in which the parent blood vessel 20 extends
  • FIG. 3 is a perspective view showing a cerebral aneurysm 10 according to this embodiment.
  • FIG. 4 is a cross-sectional view of cerebral aneurysm 10 according to the present embodiment taken along line IV-IV in FIG.
  • Mother blood vessel 20 is an example of a blood vessel forming an artery in the brain.
  • the cerebral aneurysm 10 is an aneurysm in which a part of the parent blood vessel 20 swells, and is an aneurysm that extends from the parent blood vessel 20 in the x-axis direction.
  • FIG. 5 is a cross-sectional view of the cerebral aneurysm 10 according to the present embodiment along line VV in FIG.
  • a plurality of predetermined points are provided in the direction of 0 o'clock to 11 o'clock so as to correspond to the time indicated by the clock face.
  • a point p0 is provided in the 0 o'clock direction
  • points p1 to p11 are provided in the 1 o'clock to 11 o'clock direction, respectively. That is, 12 predetermined points are provided on the outer circumference of the cerebral aneurysm 10 in the cross-sectional view of the cerebral aneurysm 10 .
  • the number of predetermined points is not limited to this, and for example, 10 to 1000 predetermined points may be provided on the outer circumference of the cerebral aneurysm 10 in one cross-sectional view.
  • one cross-sectional view is used in this embodiment, it is not limited to this, and a plurality of cross-sectional views (for example, 10 to 1000 cross-sectional views) may be used.
  • 10 to 1000 predetermined points may be provided on the outer circumference of the cerebral aneurysm 10 in each of the plurality of cross-sectional views. In this case, 30,000 to 300,000 predetermined points are provided for one cerebral aneurysm 10 .
  • the plurality of predetermined points on the vascular wall are not limited to the above, and can be selected from two or more points on the vascular wall.
  • the number of predetermined points is not limited to 30,000 to 300,000, and a number smaller than 30,000 may be selected, or a number larger than 300,000 may be selected.
  • the plurality of predetermined points on the vascular wall (aneurysm wall 11) are points p0 to p11. That is, there are a total of 12 predetermined points on the knobby wall 11 .
  • the first acquisition unit 110 acquires behavior information, which is numerical information about changes in position over time, at each of these 12 predetermined points.
  • the generation unit 120 generates estimation information for estimating the thickness of the nodule wall 11 near a predetermined point based on this behavior information.
  • the behavior information is numerical information regarding temporal changes in position during a certain period of time.
  • the fixed time is the time during which the heart beats once.
  • the time during one heart beat is evenly divided into, for example, 100 steps.
  • the time when the pulsation starts is 0 step, and the time when the pulsation ends is 100 steps.
  • the time during which the heart beats once is not limited to the above, and can be set arbitrarily.
  • the behavior information includes information about the x-axis, y-axis and z-axis positions of each of the 12 predetermined points at each step from 0 to 100 steps.
  • the behavior information is data in which time and coordinate positions (positions of the x-, y-, and z-axes) at that time are set as one set for each of the 12 predetermined points.
  • behavior information includes time-evolving data.
  • the fixed time may be a specific number of seconds, such as 1 second, 5 seconds, or 10 seconds. Moreover, the fixed time may be subdivided in any way as long as it is divided into three or more. For example, alternatively, the fixed time may be divided by a different number of steps instead of 100 steps. Furthermore, the fixed time may not be evenly divided.
  • the time during which the heart beats once may be selected from any number of steps selected from, for example, 10 steps to 1,000,000 steps and divided evenly.
  • the number of steps is not limited to 10 steps to 1,000,000 steps, and a number smaller than 10 steps may be selected, or a number larger than 1,000,000 steps may be selected.
  • FIG. 6 is a flowchart showing a processing procedure for the wall thickness estimation device 100 according to the present embodiment to learn the model (machine learning model 121). 6 is performed before the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 of the subject P is estimated.
  • the first learning unit 140 causes the machine learning model 121 to learn using teacher data obtained from one or more subjects other than subject P. For this reason, for one or more other subjects as well, a moving image including the vascular wall is generated by the moving image capturing device 400 using the four-dimensional angiography method, and the wall thickness estimation device 100 generates behavior information based on this moving image. are getting Here, for the sake of simplification, one other subject B will be mainly described as an example.
  • the first learning unit 140 acquires teacher data for making the model (machine learning model 121) learn (step S101).
  • the teacher data may be generated by the generation unit 120, but is not limited to this and may be generated by another processing unit or another device.
  • the teacher data will be explained below.
  • FIG. 7 is an explanatory diagram showing teacher data according to this embodiment.
  • Teacher data is one or more data sets.
  • FIG. 7 shows one data set (data set D1 in this case) included in the teacher data as an example of the teacher data.
  • One data set includes an image (i.e., second input image) indicating a physical parameter based on the behavior information of a plurality of predetermined points, and an index indicating the thickness of the predetermined point (i.e., , thickness index).
  • the data set D1 shown in FIG. 7 is composed of the second input image I1 and the thickness index T1.
  • the data set is data in which the second input image and the thickness index of the predetermined point are combined into one set.
  • the teacher data is one or more data sets, for example, preferably a data set of 100 or more and 1,000,000 or less, more preferably a data set of 1,000 or more and 1,000,000 or less, and a data set of 10,000 or more and 1,000,000 or less. Even better. It should be noted that the larger the number of data sets constituting the training data, the better.
  • the predetermined point corresponding to one data set is the point p0 shown in FIGS. 3 to 5 for one other subject B.
  • the predetermined point corresponding to another data set is the point p1 shown in FIGS. 3 to 5 for another subject B.
  • 100 or more and 150000 or less data sets should be obtained from one other subject B.
  • 100 or more and 150000 or less data sets are obtained from each of the plurality of other subjects.
  • the number of data sets obtained from one other subject B may be smaller than 100 and may be larger than 150,000.
  • the second input image which is an image showing physical parameters based on the behavior information of the predetermined point, will be described.
  • a physical parameter may be, for example, a parameter relating to time change in displacement of each of a plurality of predetermined points.
  • the physical parameter may be a value calculated from the temporal change in displacement of each of a plurality of predetermined points.
  • the physical parameters are changes in displacement over time, changes in velocity over time, changes in acceleration over time, changes over time in strain, and the like at each of a plurality of predetermined points.
  • the displacement is the amount of change in position at each step, with the position at step 0, which is the time at which pulsation starts, being 0 (origin).
  • the strain is calculated using the time and position data included in the behavior information.
  • a method for calculating strain is not particularly limited, and a known method is used. For example, at two points, one point (for example, point p1) and another point (for example, point p2) adjacent to the one point, at a certain time (for example, 10 steps) and the next The strain of one point may be calculated from the change in position of two points at time (11 steps).
  • the second input image which is an image representing physical parameters, will be described.
  • the second input image may be a two-dimensional image composed of a graph showing a physical parameter relating to one predetermined point out of a plurality of predetermined points, and here is as follows.
  • the second input image is composed of a plurality of graphs, and the plurality of graphs are arranged in a k ⁇ l matrix (k and l are natural numbers) in the second input image.
  • a plurality of graphs may be arranged in one row, or may be arranged in two rows.
  • the second input image is composed of nine graphs, and the plurality of graphs in the image are arranged in a 3 ⁇ 3 matrix as an example.
  • the nine graphs are as follows.
  • the three graphs arranged in the first column are graphs relating to physical parameters in the x-axis direction of one predetermined point.
  • the three graphs arranged in the second column are graphs of physical parameters in the y-axis direction of one predetermined point.
  • the three graphs arranged in the third column are graphs relating to physical parameters of one predetermined point in the z-axis direction.
  • the three graphs arranged in the first row have the displacement along the x-axis, y-axis and z-axis on the horizontal axis, and the acceleration along the x-axis, y-axis and z-axis along the vertical axis. graph.
  • the three graphs arranged in the second row have the displacement along the x-, y- and z-axes on the horizontal axis, and the velocity along the x-, y- and z-axes on the vertical axis. graph.
  • the three graphs arranged in the third row have the horizontal axis as the velocity in each of the x-, y- and z-axes, and the vertical axis as the acceleration in each of the x-, y- and z-axes. graph.
  • displacement, velocity, and acceleration are used for the horizontal and vertical axes of the graph here, it is not limited to this. As described above, among the parameters such as displacement, velocity, acceleration, and strain, one of which is used for the horizontal axis and the other one is used for the vertical axis. good too.
  • a thickness index which is an index indicating the thickness of a predetermined point among a plurality of predetermined points.
  • a “numerical value" of "1" is shown as the thickness index T1.
  • the thickness index of the predetermined point is a moving image including the vascular wall obtained by the moving image capturing device 400 (more specifically, a still image included in the moving image) and a craniotomy. It is an index based on the color tone of the cerebral aneurysm 10 in the brain indicated by the surgical image obtained. This thickness index will be described in more detail below.
  • the behavior information of the other subject B is also acquired.
  • the wall thickness estimating apparatus 100 also acquires a moving image including a blood vessel wall generated by a moving image capturing apparatus 400, which is an X-ray CT apparatus, and a moving image of another subject B as well.
  • a moving image capturing apparatus 400 which is an X-ray CT apparatus
  • one or more still images based on the moving image acquired by the wall thickness estimation device 100 are used.
  • Each of the one or more still images is an image trimmed from the moving image, eg, one frame of the moving image.
  • the one or more still images are one or more CT images.
  • the one or more CT images do not contain information indicating the color tone of the cerebral aneurysm 10 in the imaged brain, and are images shown in black and white shading, in other words, in achromatic colors.
  • each of the one or more CT images contains information indicating which positions in the CT image correspond to the plurality of predetermined points.
  • the moving image capturing device 400 may be an MRI device.
  • the one or more still images are each one or more MRI images.
  • the one or more MRI images do not contain information indicating the color tone of the cerebral aneurysm 10 in the imaged brain, and are images shown in black and white shading, in other words, in achromatic colors.
  • each of the one or more MRI images contains information indicating which positions in the MRI image correspond to the plurality of predetermined points.
  • craniotomy is performed on the other subject B.
  • the wall thickness estimation device 100 acquires a surgical image taken when another subject B underwent craniotomy.
  • This surgical image may be either a two-dimensional image or a three-dimensional image, but here it is a three-dimensional image.
  • This surgical image contains information indicating the color tone of the captured cerebral aneurysm 10 in the brain, and is a chromatic image.
  • the wall thickness estimation device 100 superimposes one of the one or more CT images on the surgical image. Furthermore, the wall thickness estimation apparatus 100 determines regions in the surgical image to which each of the plurality of predetermined points in one CT image corresponds.
  • the wall thickness estimation device 100 includes an operation reception unit such as a keyboard, a mouse, and a touch panel. good. Similar processing is performed when the moving image capturing device 400 is an MRI device.
  • the predetermined point is associated with the region in the surgical image to which the predetermined point corresponds. Furthermore, as described above, the surgical image includes information indicating the color tone of the cerebral aneurysm 10 in the brain. Therefore, among the plurality of predetermined points, the predetermined point is associated with the information indicating the color tone of the region to which the predetermined point corresponds.
  • a region with a weak white color tone and a strong red color tone corresponds to a region where the vascular wall is fragile or thin.
  • a region with a strong white color tone and a weak red color tone corresponds to a region with a thickened vascular wall.
  • the index indicating the thickness of the predetermined point is The thickness index is assumed to be "1", which is a "numerical value” indicating that the predetermined point is thin.
  • the thickness index which is an index indicating the thickness of the predetermined point, is the predetermined It is set to "0" which is a "numerical value” indicating that the point is thick.
  • the RGB of the region in the surgical image is used. It is preferable to use a method of determining based on pixel values such as.
  • the data set D1 includes "1" as the thickness index T1.
  • 300000 predetermined points may be obtained as described above, but 100 or more and 150000 or less from the other subject B All you need is a data set. In other words, it is not necessary to use each of all the obtained predetermined points as teacher data. Note that, as described above, the larger the number of data sets that make up the teacher data, the better.
  • the first learning unit 140 learns the model using the teacher data acquired in step S101 (first learning step S102). More specifically, the first learning unit 140 makes the machine learning model 121 learn by machine learning. Furthermore, the first learning unit 140 outputs the learned machine learning model 121 to the generation unit 120 .
  • FIG. 8 is a flowchart showing a processing procedure for estimating the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 by the wall thickness estimation device 100 according to the present embodiment.
  • the first acquisition unit 110 acquires behavior information, which is numerical information regarding temporal changes in positions of a plurality of predetermined points on the aneurysm wall 11 of the cerebral aneurysm 10 of the subject P via the moving image information processing device 300 ( First acquisition step S201).
  • the generation unit 120 uses the learned machine learning model 121 to generate estimated information, which is information that visualizes the thickness of each of a plurality of predetermined points on the blood vessel wall (generation step S202).
  • each of a plurality of predetermined points on the blood vessel wall output an index indicating the thickness of the (that is, the thickness index).
  • the thickness index of the one point is output.
  • the first input image for each of the plurality of predetermined points on the subject P is input, and the thickness index for each of the plurality of predetermined points on the subject P is output.
  • the first input image for generating estimated information used in the generation step S202 is an image showing the same physical parameters as the second input image.
  • the first input image is as follows.
  • the first input image may be a two-dimensional image configured by a graph showing a physical parameter relating to one predetermined point out of a plurality of predetermined points.
  • the first input image is composed of a plurality of graphs, and the plurality of graphs are arranged in a k ⁇ l matrix (k and l are natural numbers) in the first input image.
  • the first input image is composed of nine graphs, and the plurality of graphs are arranged in a 3 ⁇ 3 matrix in the image.
  • the nine graphs are as follows.
  • the three graphs arranged in the first column are graphs relating to physical parameters in the x-axis direction of one predetermined point.
  • the three graphs arranged in the second column are graphs of physical parameters in the y-axis direction of one predetermined point.
  • the three graphs arranged in the third column are graphs relating to physical parameters of one predetermined point in the z-axis direction.
  • the three graphs arranged in the first row have the displacement along the x-axis, y-axis and z-axis on the horizontal axis, and the acceleration along the x-axis, y-axis and z-axis along the vertical axis. graph.
  • the three graphs arranged in the second row have the displacement along the x-, y- and z-axes on the horizontal axis, and the velocity along the x-, y- and z-axes on the vertical axis. graph.
  • the three graphs arranged in the third row have the horizontal axis as the velocity in each of the x-, y- and z-axes, and the vertical axis as the acceleration in each of the x-, y- and z-axes. graph.
  • displacement, velocity, and acceleration are used on the horizontal and vertical axes of the graph as in the case of the second input image, but the present invention is not limited to this.
  • the parameters such as displacement, velocity, acceleration, and strain, one of which is used for the horizontal axis and the other one is used for the vertical axis. good too.
  • the generation unit 120 obtains thickness indices of each of a plurality of predetermined points on the blood vessel wall.
  • each of the multiple thickness indices obtained is a "numerical value" as shown in FIG.
  • the “numerical value” may be a value of 0 or more and 1 or less, but is not limited to this.
  • the closer the "numerical value” of one thickness index is to 1, the thinner the thickness of the corresponding predetermined point, and the "numerical value” of one thickness index. is closer to 0, the thicker the thickness of the corresponding given point.
  • the generation unit 120 generates estimated information using the thickness index corresponding to each of the plurality of predetermined points output as described above.
  • the estimated information is, for example, image information in which the thickness of each of a plurality of predetermined points is visualized, but is not limited to this.
  • the estimated information may be a table or the like showing each of the plurality of predetermined points and the thickness index of each of the plurality of predetermined points in correspondence.
  • the output unit 130 outputs the estimated information generated by the generation unit 120 (output step S203).
  • the output unit 130 transmits image data corresponding to the image information generated by the generation unit 120 in the generation step S202 to the display device 200, for example.
  • the display device 200 acquires the image data output by the output unit 130 and displays an image based on the image data.
  • the wall thickness estimation device 100 may execute the wall thickness estimation method by reading out a computer program recorded on a recording medium such as a computer-readable CD-ROM.
  • FIG. 9 is a schematic diagram showing an example of estimation information according to the present embodiment.
  • FIG. 9 shows the shape of the cerebral aneurysm 10 and a plurality of predetermined points on the cerebral aneurysm 10 indicated by the image information, which is an example of the estimated information output in the output step S203 shown in FIG. is an image showing a schematic diagram of the relationship with the thickness index of .
  • portions corresponding to each of a plurality of predetermined points are colored to indicate the thickness index.
  • the cerebral aneurysm 10 is expressed in two colors, black and white. good.
  • FIG. 10A is a diagram showing a still image of cerebral aneurysm 10 according to the present embodiment.
  • the cerebral aneurysm 10 is expressed in two colors, black and white, but in actual craniotomy, the still image of the cerebral aneurysm 10 is expressed in color. Therefore, the dark-colored region of the cerebral aneurysm 10 in FIG. 10A is a region with a weak white color tone and a strong red color tone in an actual craniotomy. Also, the light-colored region of the cerebral aneurysm 10 in FIG. 10A is a region that has a strong white color tone and a weak red color tone in an actual craniotomy.
  • the estimated information shown in FIG. 9 is compared with the shape of the cerebral aneurysm 10 and the color tone of the blood vessel wall revealed by the craniotomy shown in FIG. 10A.
  • FIGS. 9 and 10A the cerebral aneurysms 10 shown in the respective images have similar shapes. Further, each of FIGS. 9 and 10A shows a circular area A. FIG. Region A shown in FIG. 9 and region A shown in FIG. 10A indicate the same region corresponding to each other.
  • the inside of the area A shown in FIG. 10A has a dark color, that is, an area with a weak white color tone and a strong red color tone in an actual craniotomy. Therefore, the inner side of region A shown in FIG. 10A is presumed to be thin due to the craniotomy. 10A, there is a region that appears white due to the light at the time of imaging, but the inside of the region A in the actual cerebral aneurysm 10 has a weak white color tone and a strong red color tone. .
  • the thickness of the cerebral aneurysm 10 estimated based on the estimation information and the thickness of the cerebral aneurysm 10 obtained by actual craniotomy are in good agreement.
  • the estimated information shown in FIG. 9 can be used as highly accurate information about the thickness of the blood vessel wall.
  • Such information is, for example, useful information for distinguishing between cerebral aneurysms that tend to grow and rupture from those that do not tend to grow and rupture, and for appropriately determining the need for treatment.
  • the wall thickness estimation method according to the present embodiment generates highly accurate information about the vascular wall using a minimally invasive technique, thereby providing useful information for performing specific treatments for vascular diseases.
  • the wall thickness estimation method according to the present embodiment can be used for estimating the thickness of not only blood vessel walls but also organ walls.
  • the wall thickness estimation method by generating highly accurate information about the organ wall by a minimally invasive technique that does not use laparotomy, open heart surgery, craniotomy, or the like, it is possible to treat diseases of the organ. It is possible to propose useful information for taking specific measures against the problem.
  • FIG. 10B is a block diagram showing the characteristic functional configuration of the model production system 2000 according to this modified example.
  • the model making system 2000 includes a vascular wall obtained using, for example, the above four-dimensional angiography method based on the estimated information output from the wall thickness estimation system 1000 (more specifically, the output unit 130). This is a system for creating a blood vessel model.
  • the model production system 2000 also produces a brain model for embedding the blood vessel model, and includes this brain model.
  • the doctor Before performing surgery on the brain aneurysm 10 of the subject P (that is, the patient), the doctor explains the surgery to the subject P.
  • the manufactured blood vessel model, brain model, and skull model are used when a doctor gives an explanation to the subject P.
  • the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 of the subject P is estimated, and the blood vessel model of the subject P is produced based on the estimated information output in the output step S203.
  • the subject P's own blood vessel model or the like is used instead of a general commercially available model. You will be able to undergo surgery on your own.
  • the model production system 2000 includes a third acquisition unit 610 and a production unit 620.
  • the third acquisition unit 610 acquires the estimated information generated in the generation step S202. More specifically, the third acquisition unit 610 acquires the estimation information generated in the generation step S202 and output in the output step S203.
  • the third acquisition unit 610 is, for example, a communication interface that performs wired communication or wireless communication.
  • the preparation unit 620 prepares a blood vessel model including a blood vessel wall.
  • the creating unit 620 creates a blood vessel model based on the thickness visualized by the estimation information acquired by the third acquiring unit 610 . More specifically, the creating unit 620 creates a vascular model so that the vascular wall included in the vascular model exhibits different aspects depending on the thickness.
  • the production unit 620 is, for example, a 3D printer.
  • vascular wall included in the vascular model is assumed to be the aneurysm wall 11 of the cerebral aneurysm 10 here, the same applies to vascular walls other than the aneurysm wall 11 .
  • FIG. 10C is a flowchart showing a processing procedure for producing a blood vessel model by the model production system 2000 according to this modification.
  • the third acquisition unit 610 acquires the estimated information generated in the generation step S202 (third acquisition step S401).
  • the estimation information acquired by the third acquisition unit 610 is, for example, image information in which the thickness of each of a plurality of predetermined points is visualized, but is not limited to this.
  • the estimated information may be a table or the like showing each of the plurality of predetermined points and the thickness index of each of the plurality of predetermined points in correspondence.
  • FIG. 10D is a schematic diagram showing an example of estimation information according to this modification. More specifically, FIG. 10D shows, as in FIG. 9, the shape of the cerebral aneurysm 10 indicated by the image information, which is an example of the estimated information output in the output step S203 shown in FIG. is an image showing a schematic diagram of the relationship between each predetermined point and the thickness index.
  • portions corresponding to each of a plurality of predetermined points are colored to indicate thickness indices. shows different colors for different thicknesses.
  • the cerebral aneurysm 10 shown in FIG. 10D is shown in white and black, it is actually shown in the order of red, yellow, green, light blue, and blue from darkest black.
  • the colors indicating the thickness index are not limited to the five colors of red, yellow, green, light blue, and blue, and may be, for example, reddish brown, an intermediate color between reddish brown and white, or white.
  • the production unit 620 produces a vascular model including the vascular wall (aneurysm wall 11) (first production step S402). Based on the thicknesses visualized by the estimated information acquired by the third acquisition unit 610, the creation unit 620 creates a blood vessel model so that the vascular wall included in the blood vessel model exhibits different aspects for each thickness.
  • FIG. 10E is a blood vessel model 30 including a blood vessel wall (aneurysm wall 11) according to this modification.
  • the vascular model 30 including the vascular wall (aneurysm wall 11 ) is also the vascular model 30 including the cerebral aneurysm 10 .
  • the preparation unit 620 prepares the blood vessel model 30 based on the model diagram (that is, the estimated information) shown in FIG. 10D.
  • the blood vessel model 30 is shown in white and black in the same way as in FIG. 10D, but in reality, it is shown in the order of red, yellow, green, light blue, and blue from darkest black.
  • the production unit 620 presents a different color for each thickness of the vascular wall (aneurysm wall 11) so that the vascular wall included in the vascular model 30 exhibits a different aspect for each thickness.
  • the blood vessel model 30 is produced as follows.
  • the production unit 620 produces, for example, the following first production method or second production method when producing the blood vessel model 30 in the first production step S402.
  • the production unit 620 first produces a model showing an external shape corresponding to the blood vessel model 30, and then colors the surface of the produced model in red, yellow, green, light blue, and blue.
  • the blood vessel model 30 is produced by staining.
  • the surface color of the model is not limited to the five colors of red, yellow, green, light blue, and blue, and may be, for example, reddish brown, an intermediate color between reddish brown and white, or white.
  • the production unit 620 which is a 3D printer, uses a white or transparent material (for example, filament or UV resin) to produce a model showing an external shape corresponding to the blood vessel model 30. do.
  • the model is white, and the blood vessel model 30 is produced by coloring or staining this white model.
  • the production unit 620 may produce the blood vessel model 30 as follows.
  • the production unit 620 which is a 3D printer, produces the blood vessel model 30 using red, yellow, green, light blue, and blue materials (for example, filament or UV resin).
  • the production unit 620 is not limited to the five-color materials of red, yellow, green, light blue, and blue.
  • materials of reddish brown, intermediate colors between reddish brown and white, and white may be used.
  • the creation unit 620 may create the blood vessel model 30 according to the colors indicated by the model diagram (that is, the estimated information) shown in FIG. 10D. According to this manufacturing method, the step of coloring or dyeing can be omitted.
  • the blood vessel model 30 was produced so that the blood vessel wall (aneurysm wall 11) showed a different color for each thickness of a plurality of predetermined points. , but not limited to this.
  • the blood vessel model 30 may be produced based on the thickness visualized by the estimated information so that the vascular wall included in the blood vessel model 30 exhibits different aspects for each thickness.
  • the blood vessel model 30 may be produced such that the blood vessel wall included in the blood vessel model 30 exhibits different surface tactile sensations for each thickness. More specifically, the thicker the thickness, the rougher the surface (that is, the larger the surface unevenness), and the thinner the thickness, the smoother the surface (that is, the smaller the surface unevenness).
  • the manufacturing unit 620 manufactured the blood vessel model 30 including the blood vessel wall (aneurysm wall 11), but the present invention is not limited to this.
  • the preparation unit 620 may also prepare a vascular model that does not include the vascular wall (aneurysm wall 11). That is, since the vascular model 30 including the vascular wall (aneurysm wall 11) produced in the first producing step S402 is a model of a part of the blood vessels of the brain, the vascular model does not include the vascular wall (aneurysm wall 11). (That is, a model of another part of the blood vessels of the brain that is different from the above part) should also be produced.
  • the vascular model 30 including the vascular wall (aneurysm wall 11) and the vascular model not including the vascular wall (aneurysm wall 11) are separately fabricated by the fabrication unit 620, and then the vascular model 30 including the vascular wall and the vascular wall are prepared. It is preferable that a model of the whole blood vessels of the brain (hereinafter referred to as a whole blood vessel model) is obtained by combining with a blood vessel model that does not contain.
  • FIG. 10F is a brain blood vessel overall model 31 according to this modification.
  • the vascular model 30 including the vascular wall (aneurysm wall 11) and the vascular model not including the vascular wall (aneurysmal wall 11) each have a magnet.
  • the magnet of the vascular model 30 including the vascular wall (aneurysm wall 11) and the magnet of the vascular model not including the vascular wall (aneurysm wall 11) are used to connect the vascular model 30 including the vascular wall (aneurysm wall 11) with the vascular wall (aneurysm wall 11).
  • a blood vessel model that does not include walls 11) may be connected and combined. Further, since two magnets are provided, the vascular model 30 including the vascular wall (aneurysm wall 11) and the vascular model not including the vascular wall (aneurysm wall 11) can be detached.
  • a vascular model that does not include a vascular wall is produced as follows, as an example.
  • 4D angiography is a method that takes into account the time axis of 3D angiography
  • 3D angiography is the collection of three-dimensional data on blood vessels using an X-ray CT device, an MRI device, or the like. It is a technique for extracting information.
  • the third obtaining unit 610 uses the moving image capturing device 400 of the wall thickness estimation system 1000 or the moving image information processing.
  • the three-dimensional data of the blood vessel is acquired from the device 300 . Subsequently, in the first production step S402, the production unit 620 produces a blood vessel model that does not include the blood vessel wall (aneurysm wall 11) based on the acquired three-dimensional data of the blood vessel.
  • the acquired three-dimensional data of the blood vessel has information indicating the external shape of the blood vessel but does not have information about the thickness of the blood vessel wall. is a model showing the external shape of the blood vessel, not a model showing the thickness of the blood vessel wall.
  • the production unit 620 produces a brain model for embedding the blood vessel model 30 produced in the first production step S402 (second production step S403).
  • FIG. 10G shows a brain model 40 according to this modified example.
  • the brain model 40 is a model for embedding the whole blood vessel model 31 of the brain including the blood vessel model 30 .
  • the brain model 40 has a right brain model 42 and a left brain model 41, and the right brain model 42 and the left brain model 41 are configured to be separable.
  • the whole brain blood vessel model 31 is placed between the right brain model 42 and the left brain model 41, and sandwiched between the right brain model 42 and the left brain model 41, thereby forming a brain. is embedded in the brain model 40 .
  • the brain model 40 has the right brain model 42 and the left brain model 41 in this modified example, it is not limited to this.
  • the brain model may have a right brain model and a left brain model, each of the right brain model and the left brain model including the cerebrum, midbrain, cerebellum, and brainstem.
  • the brain model 40 is produced as follows.
  • three-dimensional blood vessel data is collected by means of an X-ray CT device, an MRI device, and the like.
  • the brain three-dimensional data and the skull three-dimensional data are also collected in addition to the blood vessel three-dimensional data.
  • the third acquisition unit 610 also acquires the brain stereoscopic data from the moving image capturing device 400 or the moving image information processing device 300 of the wall thickness estimation system 1000.
  • the production unit 620 produces the brain model 40 based on the acquired stereoscopic data of the brain.
  • FIG. 10H shows a skull model 50 according to this modification.
  • the skull model 50 includes a whole blood vessel model 31 of the brain including the blood vessel model 30 and a brain model 40 .
  • FIG. 10H in order to illustrate the space containing the brain model 40 and the like, only the model corresponding to part of the skull is shown, and the model corresponding to the other part of the skull is not shown. do not have. However, in the actual third production step S404, a model corresponding to the entire skull (that is, the skull model 50) is produced.
  • the skull model 50 includes the occipital bone, temporal bone, parietal bone, frontal bone, and sphenoid bone, which are the cerebral cranium (neurocranium), and the ethmoid bone, the lacrimal bone, the nasal bone, and the maxillary bone, which are the facial cranium (visceral cranium). , mandible, palatine, inferior turbinate, zygomatic, vomer and hyoid.
  • the skull model 50 is produced as follows.
  • the three-dimensional data of the skull is also collected by the X-ray CT device and MRI device.
  • the third acquisition unit 610 also acquires the three-dimensional data of the skull from the moving image capturing device 400 or the moving image information processing device 300 of the wall thickness estimation system 1000.
  • the manufacturing unit 620 manufactures the skull model 50 based on the acquired stereoscopic data of the skull.
  • the subject P's own blood vessel model 30 is created based on the estimated information, and the subject's P own brain model 40 and skull model 50 are also created.
  • the brain model 40 may be produced as follows. For example, instead of using stereoscopic brain data of the subject P, stereoscopic brain data of a commercially available brain model of a typical size may be used. Such stereoscopic data of the brain can be obtained by measuring a commercially available brain model of a typical size using an X-ray CT device, an MRI device, a 3D scanner capable of measuring a three-dimensional shape (three-dimensional shape), or the like. and obtained. In this case, the brain model 40 of the subject P himself is not produced.
  • the blood vessel model 30, brain model 40 and skull model 50 created for the subject P themselves are used.
  • the vascular model 30 since the vascular wall in the vascular model 30 exhibits different aspects depending on the thickness, the subject P can easily understand which part of the vascular wall is thicker or which part is thinner. The subject P can deepen his/her understanding of the surgery, and can be convinced to undergo the surgery.
  • the model production method according to this modified example is a method that can assist the doctor in explaining the surgery to the subject P (that is, the patient).
  • a doctor can use the manufactured blood vessel model 30, brain model 40, and skull model 50 to conduct surgery rehearsals before surgery. This allows the doctor to approach surgery with confidence and peace of mind.
  • the model production method according to this modified example is a method that can assist a doctor to perform surgery with confidence and peace of mind.
  • the blood vessel model 30 and the brain model 40 produced in the first production step S402 and the second production step S403 preferably have flexibility and elasticity.
  • the blood vessel model 30 and the brain model 40 are deformed, and when the hand is released, the blood vessel model 30 and the brain model 40 return to their original shapes. good.
  • the blood vessel model 30 and the brain model 40 are preferably produced using a material such as silicon resin in the first production step S402 and the second production step S403.
  • the production unit 620 that produces the brain model 40 and the skull model 50 in the second production process S403 and the third production process S404 is a 3D printer, but is not limited to this.
  • the production unit 620 may be a mold in which the brain model 40 and the skull model 50 are molded, respectively, and the brain model 40 and the skull model 50 are produced by pouring resin into the mold. good too.
  • FIG. 10I is a vascular model 30a including the vascular wall (aneurysm wall 11a) of a subject C other than the subject P.
  • the vascular model 30a including the vascular wall (aneurysm wall 11a) is also the vascular model 30a including the cerebral aneurysm 10a.
  • the blood vessel model 30a is also provided with holes 12a corresponding to flow paths for blood to flow, and has a tubular shape.
  • the blood vessel model 30 shown in FIG. 10E is also tubular like the blood vessel model 30a.
  • the hole 12a may not be provided, that is, the blood vessel model 30 shown in FIG. 10E may not be tubular.
  • Modification 2 The configuration of a wall thickness estimation system 1000a according to Modification 2 of the present embodiment will be described below.
  • FIG. 11 is a block diagram showing a characteristic functional configuration of a wall thickness estimation system 1000a according to this modified example.
  • the wall thickness estimation system 1000a mainly differs from the wall thickness estimation system 1000 according to the embodiment in that it includes a learning device 500 and that the wall thickness estimation device 100a does not include the first learning unit 140.
  • the learning device 500 acquires behavior information generated by the moving image information processing device 300 .
  • the learning device 500 learns a model (here, the machine learning model 121) using one or more data sets composed of combinations of images representing physical parameters based on acquired behavior information and thickness indices as teacher data.
  • the learning device 500 outputs the learned model to the generator 120 included in the wall thickness estimation device 100a.
  • the learning device 500 is, for example, a personal computer, but may be a server device with high computing power connected to a network.
  • the learning device 500 includes a second acquisition unit 110a and a second learning unit 140a.
  • the second acquisition unit 110a acquires behavior information, which is numerical information regarding temporal changes in the positions of a plurality of predetermined points on the organ wall or blood vessel wall, based on a moving image including the organ wall or blood vessel wall. More specifically, the second acquisition unit 110a obtains each of a plurality of predetermined points on the organ wall or blood vessel wall based on a moving image including the organ wall or blood vessel wall obtained using the four-dimensional angiography method. Acquire behavior information, which is numerical information about changes in the position of the . Specifically, the second acquisition unit 110 a acquires behavior information generated by the moving image information processing device 300 .
  • the second acquisition unit 110a is, for example, a communication interface that performs wired communication or wireless communication.
  • the second learning unit 140a learns a model using one or more data sets as teacher data.
  • the second learning unit 140a is specifically implemented by a processor, microcomputer, or dedicated circuit that executes a program.
  • a single data set is a combination of an image showing a physical parameter based on behavior information of a predetermined point among a plurality of predetermined points on the organ wall or blood vessel wall and an index indicating the thickness of the predetermined point. It is configured.
  • the behavior information is information acquired by the second acquiring unit 110a.
  • the teacher data may be data generated by the second learning unit 140a.
  • FIG. 12 is a flowchart showing a processing procedure for learning a model (machine learning model 121) by the learning device 500 according to this modified example.
  • the second acquisition unit 110a acquires behavior information (second acquisition step S301).
  • the second learning unit 140a generates teacher data based on the acquired behavior information and causes the model to learn (second learning step S302). More specifically, the second learning unit 140a makes the machine learning model 121 learn. The second learning unit 140 a outputs the learned machine learning model 121 to the generation unit 120 .
  • the wall thickness estimation device 100a that generates estimated information and the learning device 500 that learns the model (machine learning model 121) may be separate devices.
  • the second acquisition unit 110a acquires behavior information based on a moving image containing organ walls or blood vessel walls obtained using four-dimensional angiography, but the invention is not limited to this.
  • the moving image may be a moving image (two-dimensional moving image) obtained using a two-dimensional moving image capturing device. That is, the second acquisition unit 110a acquires a plurality of predetermined points on the organ wall or blood vessel wall based on a moving image (two-dimensional image) including the organ wall or blood vessel wall obtained using a two-dimensional moving image capturing device. You may acquire the behavior information which is numerical information regarding the time change of each position.
  • the two-dimensional video is, for example, a video about one or more subjects other than subject P.
  • the description will be made mainly using one other subject D as an example.
  • the two-dimensional video is a surgical video taken when another subject D underwent laparotomy or craniotomy.
  • the two-dimensional video is not three-dimensional data (stereoscopic data), unlike the video obtained using four-dimensional angiography, that is, it does not include information indicating the depth of the two-dimensional video. Data.
  • the moving image capturing device 400 corresponds to a two-dimensional moving image capturing device (for example, a camera).
  • the moving image information processing device 300 acquires the two-dimensional moving image captured by the moving image capturing device 400 .
  • the moving image information processing apparatus 300 estimates the depth of the two-dimensional moving image and generates depth information indicating the estimated depth.
  • the moving image information processing apparatus 300 uses a depth estimation AI model to estimate the depth of the two-dimensional moving image, but the present invention is not limited to this, and other techniques may be used.
  • FIG. 13 shows one still image (one frame) included in the two-dimensional video according to this modification and an image showing the depth estimated for the one still image. More specifically, (a) of FIG. 13 shows one still image (one frame) included in the two-dimensional video, and (b) of FIG. 13 shows the depth estimated for the one still image. Show the image. In (b) of FIG. 13, the deeper the depth, the darker the color, and the shallower the depth, the lighter the color. Information obtained by combining the two-dimensional moving image and the depth information becomes three-dimensional data (stereoscopic data) like the moving image obtained using the four-dimensional angiography.
  • the moving image information processing apparatus 300 performs a plurality of predetermined operations on the organ wall or the blood vessel wall based on the moving image including the organ wall or the blood vessel wall obtained using the two-dimensional moving image capturing apparatus and the depth information indicating the estimated depth. generates behavior information, which is numerical information about the time change of the position of each of the points. After that, the second acquisition unit 110a acquires the generated behavior information.
  • the behavior information acquired by the second acquisition unit 110a is information based on a moving image including organ walls or blood vessel walls obtained using a two-dimensional moving image capturing device.
  • the moving image is a moving image (two-dimensional moving image) obtained using a two-dimensional moving image capturing device
  • the moving image is a moving image obtained using a four-dimensional angiography method.
  • Behavior information is estimated and acquired by the second acquiring unit 110a in the same manner as in the other case.
  • the second learning step S302, which is subsequent processing, is also performed in the same manner.
  • the wall thickness estimation method includes the first acquisition step S201, the generation step S202, and the output step S203.
  • the first acquisition step S201 relates to temporal changes in positions of a plurality of predetermined points on an organ wall or blood vessel wall based on a moving image including the organ wall or blood vessel wall obtained using four-dimensional angiography.
  • Acquire behavior information which is numerical information.
  • the generation step S202 is learning in which an image representing a physical parameter based on the behavior information acquired in the first acquisition step S201 is input, and an index representing the thickness of each of a plurality of predetermined points on the organ wall or blood vessel wall is output.
  • the model is used to generate estimated information, which is information in which the thickness is visualized.
  • the output step S203 outputs the estimated information generated by the generation step S202.
  • a moving image including the vascular wall is generated using an X-ray CT device or MRI device and a four-dimensional angiography method.
  • moving images including vascular walls can be obtained by a minimally invasive technique compared to techniques such as craniotomy.
  • the wall thickness estimation method can generate estimation information, which is information in which the thickness of each of a plurality of predetermined points on the blood vessel wall is visualized, using behavior information about the moving image.
  • the vascular wall thickness estimated based on the estimated information is in good agreement with the vascular wall thickness obtained by craniotomy.
  • the wall thickness estimation method can generate highly accurate information about the wall thickness near each of a plurality of predetermined points on the blood vessel wall.
  • the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 is estimated.
  • Such information is useful information for, for example, distinguishing between cerebral aneurysms that tend to grow and rupture from those that do not tend to grow and rupture, and to appropriately determine the need for treatment.
  • the wall thickness estimation method can be used not only for vascular walls but also for estimating the thickness of organ walls.
  • the wall thickness estimation method generates highly accurate information about the organ wall or blood vessel wall by a minimally invasive technique, so that specific treatment can be performed for the disease of the organ or blood vessel. useful information can be proposed.
  • the wall thickness estimation method further includes a first learning step S102.
  • the first learning step S102 among a plurality of predetermined points, one or more images configured by a combination of an image indicating a physical parameter based on the behavior information of the predetermined point and an index indicating the thickness of the predetermined point. training the model using this data set as training data.
  • the model can output an index indicating the thickness based on the input image indicating the physical parameters. Therefore, the wall thickness estimation method according to the present embodiment can generate more accurate information about the organ wall or blood vessel wall using a minimally invasive technique.
  • the first learning process according to the present embodiment uses machine learning to make the model learn.
  • the wall thickness estimation method according to the present embodiment can generate more accurate information about the organ wall or blood vessel wall using a minimally invasive technique.
  • the estimation information according to the present embodiment is image information in which the thickness is visualized.
  • estimated information is obtained as image information. Therefore, for example, a doctor or the like can visually obtain highly accurate information about the thickness of the organ wall or blood vessel wall.
  • the vascular wall may be an aneurysm wall of an aneurysm or varicose vein.
  • the vascular wall is the aneurysm wall 11 of the cerebral aneurysm 10 .
  • the wall thickness estimation method can estimate the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 .
  • the vascular wall may be the vascular wall of an artery or a vein.
  • the computer program may cause the computer to execute the wall thickness estimation method described above.
  • the wall thickness estimation method described above is executed by the computer.
  • the learning method according to Modification 2 includes a second acquisition step S301 and a second learning step S302.
  • a second acquisition step S301 acquires behavior information, which is numerical information relating to temporal changes in positions of a plurality of predetermined points on the organ wall or blood vessel wall, based on a moving image including the organ wall or blood vessel wall.
  • the behavior information acquired in the second acquisition step is an image showing a physical parameter based on the behavior information of the predetermined point among the plurality of predetermined points, and the behavior information of the plurality of predetermined points.
  • a model is learned using one or more data sets formed by combining indices indicating the thickness of the predetermined points as training data.
  • the model can output an index indicating thickness based on the input image indicating physical parameters. Therefore, the wall thickness estimation method using the learning method according to Modification 2 can generate more accurate information about the organ wall or blood vessel wall by a minimally invasive technique.
  • the moving image is a moving image obtained using a 4D angiography method or a 2D moving image capturing device.
  • the second acquisition step S301 can acquire behavior information based on a moving image obtained using a four-dimensional angiography method or a two-dimensional moving image capturing device.
  • the model production method according to Modification 1 includes a third acquisition step S401 of acquiring the estimated information generated in the generation step S202 described above, and a step of manufacturing the blood vessel model 30 including the blood vessel wall described above. Then, based on the thickness visualized by the estimated information acquired in the third acquisition step S401, the blood vessel model 30 is created so that the vascular wall included in the blood vessel model 30 exhibits different aspects for each thickness. and S402.
  • the blood vessel model 30 of the subject P himself is produced.
  • the manufactured blood vessel model 30 of the subject P himself/herself is used when the doctor explains the operation of the subject P (that is, the patient).
  • the vascular model 30 since the vascular wall in the vascular model 30 exhibits different aspects depending on the thickness, the subject P can easily understand which part of the vascular wall is thicker or which part is thinner. For this reason, the subject P can deepen his/her understanding of the surgery, and can be convinced to undergo the surgery.
  • the model production method according to Modification 1 is a method that can assist the doctor in explaining the surgery to the subject P (that is, the patient).
  • a doctor can use the manufactured blood vessel model 30 to conduct a rehearsal for surgery before surgery. This allows the doctor to approach surgery with confidence and peace of mind.
  • the model production method according to this modified example is a method that can assist a doctor to perform surgery with confidence and peace of mind.
  • the blood vessel model 30 is produced so that the blood vessel wall exhibits different colors for each thickness.
  • the blood vessel wall included in the blood vessel model 30 produced in the first production step S402 is the aneurysm wall 11 in the cerebral aneurysm 10.
  • the model production method according to Modification 1 includes a second production step S403 of producing a brain model 40 into which the blood vessel model 30 produced in the first production step S402 is to be embedded.
  • a blood vessel model 30 and a brain model 40 of the subject P themselves are produced.
  • the manufactured blood vessel model 30 and brain model 40 of the subject P himself/herself are used when the doctor explains the surgery for the cerebral aneurysm 10 of the subject P (that is, the patient).
  • the vascular wall included in the vascular model 30 is the aneurysm wall 11 of the cerebral aneurysm 10
  • the subject P can easily understand where the cerebral aneurysm 10 and the aneurysm wall 11 are located in the subject's P brain. can. For this reason, the subject P can deepen his/her understanding of the surgery, and can be convinced to undergo the surgery.
  • a model making method is realized that can more easily assist the doctor in explaining the surgery to the subject P (that is, the patient).
  • the model production method according to Modification 1 includes a third production step S404 of producing a skull model 50 for enclosing the brain model 40 produced in the second production step S403.
  • a blood vessel model and a brain model of the subject P themselves are created.
  • the blood vessel model 30, brain model 40, and skull model 50 produced for the subject P himself/herself are used by a doctor when explaining the surgery for the cerebral aneurysm 10 of the subject P (that is, the patient).
  • the subject P can easily understand the positional relationship between the cerebral aneurysm 10, the aneurysm wall 11, the brain, and the skull. For this reason, the subject P can deepen his/her understanding of the surgery, and can be convinced to undergo the surgery.
  • a model making method is realized that can more easily assist the doctor in explaining the surgery to the subject P (that is, the patient).
  • the skull model 50 includes the occipital bone, temporal bone, parietal bone, frontal bone, and sphenoid bone, which are the cerebral cranium (neurocranium), and the ethmoid bone, the lacrimal bone, the nasal bone, and the maxillary bone, which are the facial cranium (visceral cranium). , mandible, palatine, inferior turbinate, zygomatic, vomer and hyoid.
  • wall thickness estimation device 100 includes first acquisition section 110 , generation section 120 , and output section 130 .
  • the first acquisition unit 110 is based on a moving image including the organ wall or the vascular wall obtained using the four-dimensional angiography method, and relates to the temporal change in the position of each of a plurality of predetermined points on the organ wall or the vascular wall.
  • Acquire behavior information which is numerical information.
  • the generation unit 120 receives as input an image representing a physical parameter based on the behavior information acquired by the first acquisition unit 110, and learns to output an index representing the thickness of each of a plurality of predetermined points on the organ wall or blood vessel wall.
  • the model is used to generate estimated information, which is information in which the thickness is visualized.
  • the output unit 130 outputs the estimated information generated by the generation unit 120 .
  • a moving image including the vascular wall is generated using an X-ray CT device or MRI device and four-dimensional angiography.
  • moving images including vascular walls can be obtained by a minimally invasive technique compared to techniques such as craniotomy.
  • the wall thickness estimating apparatus 100 can generate estimation information, which is information in which the thickness of each of a plurality of predetermined points on the blood vessel wall is visualized, using the behavior information regarding the moving image.
  • the vascular wall thickness estimated based on the estimated information is in good agreement with the vascular wall thickness obtained by craniotomy.
  • the wall thickness estimation device 100 can generate highly accurate information about the wall thickness near each of a plurality of predetermined points on the blood vessel wall.
  • the thickness of the aneurysm wall 11 of the cerebral aneurysm 10 is estimated.
  • Such information is useful information for, for example, distinguishing between cerebral aneurysms that tend to grow and rupture from those that do not tend to grow and rupture, and to appropriately determine the need for treatment.
  • the wall thickness estimation device 100 can be used to estimate the thickness of not only blood vessel walls but also organ walls.
  • the wall thickness estimation apparatus 100 generates highly accurate information on the organ wall or blood vessel wall using a minimally invasive technique, thereby performing specific treatment for diseases of the organ or blood vessel. can suggest useful information for
  • the wall thickness estimation system 1000 acquires the wall thickness estimation device 100 described above and the motion image information processing that acquires the motion image, generates the behavior information, and outputs the behavior information to the first acquisition unit 110.
  • a device 300 and a display device 200 that displays the estimated information output by the output unit 130 are provided.
  • the wall thickness estimation device 100 can generate highly accurate information on organ walls or blood vessel walls using a minimally invasive technique. Therefore, the wall thickness estimation system 1000 according to the present embodiment, which includes such a wall thickness estimation device 100, can propose useful information for performing specific treatments for diseases of organs or blood vessels. .
  • a doctor or the like can visually obtain highly accurate information about the thickness of the organ wall or blood vessel wall.
  • the first learning unit 140 may update the model (machine learning model 121) by machine learning.
  • the update of the machine learning model 121 by the first learning unit 140 does not need to be performed in real time. may be performed.
  • the inventor also verified the following.
  • the first learning unit 140 learns the model (machine learning model 121)
  • teacher data obtained from a plurality of subjects other than subject P is used.
  • the inventor used teacher data obtained from subject P and a plurality of other subjects for verification instead of this teacher data. That is, the first learning unit 140 trained the machine learning model 121 using teacher data obtained from the subject P and a plurality of other subjects. Even in such a case, the generator 120 can generate estimated information of the subject P using this machine learning model 121 .
  • the thickness index of the predetermined point is a moving image including a blood vessel wall obtained by the moving image capturing device 400 and a brain in the brain indicated by a surgical image obtained by craniotomy. This index is obtained based on the color tone of the aneurysm 10 .
  • the thickness index of the predetermined point may be obtained based on the moving image and other information different from the surgical image.
  • Other information is, for example, information obtained by estimating the mass of each of a plurality of predetermined points obtained by mathematical analysis.
  • the thinner the thickness of the predetermined point the thinner the thickness of the predetermined point. Therefore, among the plurality of predetermined points, the thickness index of the 20000 points with the heaviest mass is set to "0", and the thickness index of the 2000 points with the lightest mass among the plurality of predetermined points is set to " 1”. A thickness index may thus be obtained.
  • behavior information may be obtained by the methods of Alternative Example 1 and Alternative Example 2 below.
  • behavior information is obtained by using an artificially made artificial aneurysm, an artificial heart connected to the artificial aneurysm, and an imaging device.
  • An artificial aneurysm has an artificial blood vessel and an artificial aneurysm.
  • Artificial blood vessels and artificial aneurysms are made by simulating human blood vessels and aneurysms generated in human blood vessels.
  • the artificial aneurysm may be made of, for example, a rubber material such as silicone rubber or fluororubber.
  • the artificial aneurysm may be made of, for example, silicone resin.
  • the artificial aneurysm is not limited to the above as long as it is made of a flexible material.
  • the artificial aneurysm is made using the image data obtained by the X-ray CT device or MRI device described above.
  • This image data includes data of a human blood vessel and an aneurysm generated in the blood vessel.
  • the artificial aneurysm is created based on the DICOM (Digital Imaging and Communications in Medicine) data related to the image data obtained above.
  • DICOM Digital Imaging and Communications in Medicine
  • An artificial heart is a device that takes over the pump function of the human heart.
  • the artificial heart and the artificial aneurysm are connected, and the pump function of the artificial heart is activated to cause the artificial aneurysm to pulsate.
  • Behavioral information is obtained using the motion of the artificial aneurysm and an imaging device.
  • the imaging device is, for example, a camera device capable of capturing still images and moving images. Furthermore, the imaging device may be a device capable of obtaining information on the three-dimensional coordinates of the surface of the observation target and displacement in the three-dimensional space. Such an imaging device can obtain the three-dimensional coordinates of the surface of the observation target, the displacement in the three-dimensional space, the velocity in the three-dimensional space, and the acceleration in the three-dimensional space by imaging for one second, five seconds, or ten seconds. You can get all information.
  • the time taken by the imaging device is not limited to the above, and may be another time. Also in this case, an X-ray CT device or an MRI device can be used.
  • the imaging device images the pulsating artificial aneurysm, thereby obtaining information on the three-dimensional coordinates of the surface of the artificial aneurysm and the displacement in the three-dimensional space.
  • Behavior information may be obtained based on any or all of the three-dimensional coordinates and the displacement in the three-dimensional space.
  • Example 1 Compared to the craniotomy described above, the method of Example 1 is a less invasive technique, so behavioral information can be obtained more easily.
  • behavior information is obtained by using a model animal having an aneurysm in a blood vessel and the imaging device described above. Also in this case, an X-ray CT device or an MRI device can be used.
  • the imaging device images the blood vessel and aneurysm of the model animal, thereby obtaining information on the three-dimensional coordinates of the surface of the blood vessel and aneurysm of the model animal and the displacement in the three-dimensional space.
  • Behavior information may be obtained based on any or all of the information.
  • data on blood vessels and aneurysms in model animals can be obtained at equal time intervals (eg, once every two weeks). Therefore, behavior information can be obtained more easily than in the embodiment.
  • the thickness of the blood vessel wall is the thickness of the aneurysm wall 11 of the cerebral aneurysm 10, but as described above, it may be the thickness of the wall of a blood vessel including arteries or veins.
  • the vascular wall is the thickness of a blood vessel including arteries or veins
  • the degree of stenosis of the artery or vein can be estimated by using the wall thickness estimation method or the like according to the embodiment.
  • each component may be implemented by dedicated hardware or by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • the wall thickness estimation method according to the present invention can be used for various purposes such as medical equipment and medical methods.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

壁厚み推定方法は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する第1取得工程(S201)と、第1取得工程(S201)により取得された挙動情報に基づく物理パラメータを示す画像を入力とし、臓器壁又は血管壁における複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、厚みが可視化された情報である推定情報を生成する生成工程(S202)と、生成工程(S202)により生成された推定情報を出力する出力工程(S203)とを含む。

Description

壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム
 本発明は、臓器壁又は血管壁の厚みを推定する壁厚み推定方法などに関する。
 血管の疾患の一例である脳動脈瘤は、一旦破裂すると、致死率が約50%を越える極めてハイリスクな疾患であり、かつ、高率に後遺症を残す社会的にも影響が大きい疾患である。このため、脳動脈瘤の破裂を未然に防ぐ予防的治療(先制医療)の重要性が高く、適切な治療介入が不可欠である。
 適切な治療には、脳動脈瘤の瘤壁の情報(例えば、厚さ)を知ることが有効である。脳動脈瘤の破裂は、瘤壁の厚い部分に比べ、瘤壁の薄い部分において、起こりやすいことが知られているためである。しかしながら、1個の脳動脈瘤においても、瘤壁の厚みなどの形状は、脳動脈瘤ごとに多様である。
 そのため、瘤壁の厚みなどの形状に関する情報を、CT(コンピュータ断層撮影法(Computed Tomography))、MRI(磁気共鳴画像(Magnetic Resonance Imaging))及びMRA(磁気共鳴血管撮影(Magnetic Resonance Angiography))によって得られる瘤壁の内腔などの形態のみから推察することは、専門家であっても困難である。
 例えば、脳動脈瘤の瘤壁の厚みを予測する手法としては、医師が行う開頭手術による撮影又は目視が知られている。しかしながら、この手法は、高侵襲な手法であり、患者負担が大きく、容易に脳動脈瘤の瘤壁の厚みを予測できる手法ではない。
 また、例えば、低侵襲、かつ、脳動脈瘤の瘤壁などの血管壁の厚みを予測する手法として、特許文献1に開示される超音波診断装置が知られている。特許文献1には、超音波信号を用いて、画像データが生成され、当該画像データに基づいて、被験者の血管壁の厚みに関する情報を表示する超音波診断装置が開示されている。
特開2013-118932号公報
 しかしながら、特許文献1に開示される従来技術により得られる画像データは、精密さが低いため、血管壁に関して、精度の高い情報が得られにくい。さらに、従来技術では、血管壁に限られず、人体内の臓器の臓器壁に関しても、精度の高い情報が得られにくく、臓器、及び、血管の疾患に対して具体的な処置を施すための情報を提案することは困難である。
 そこで、本発明は、低侵襲な手法により臓器壁又は血管壁に関する高精度な情報を生成することで、臓器又は血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる壁厚み推定方法などの提供を目的とする。
 本発明の一態様に係る壁厚み推定方法は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する第1取得工程と、前記第1取得工程により取得された前記挙動情報に基づく物理パラメータを示す画像を入力とし、前記臓器壁又は前記血管壁における前記複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、前記厚みが可視化された情報である推定情報を生成する生成工程と、前記生成工程により生成された前記推定情報を出力する出力工程とを含む。
 また、本発明の一態様に係るコンピュータプログラムは、上記に記載の壁厚み推定方法をコンピュータに実行させる。
 また、本発明の一態様に係る学習方法は、臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する第2取得工程と、前記第2取得工程により取得された前記挙動情報であって、前記複数の所定の点のうち当該所定の点の前記挙動情報に基づく物理パラメータを示す画像と、前記複数の所定の点のうち当該所定の点の厚みを示す指標との組み合わせで構成された1個以上のデータセットを教師データとして、モデルを学習させる第2学習工程とを含む。
 また、本発明の一態様に係る模型作製方法は、上記記載の前記生成工程により生成された前記推定情報を取得する第3取得工程と、上記記載の前記血管壁を含む血管模型を作製する工程であって、前記第3取得工程によって取得された前記推定情報によって可視化された前記厚みに基づいて、前記血管模型に含まれる前記血管壁が前記厚みごとに異なる態様を示すように血管模型を作製する第1作製工程とを含む。
 また、本発明の一態様に係る壁厚み推定装置は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する取得部と、前記取得部により取得された前記挙動情報に基づく物理パラメータを示す画像を入力とし、前記臓器壁又は前記血管壁における前記複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、前記厚みが可視化された情報である推定情報を生成する生成部と、前記生成部により生成された前記推定情報を出力する出力部とを備える。
 また、本発明の一態様に係る壁厚み推定システムは、上記に記載の壁厚み推定装置と、前記動画像を取得し、前記挙動情報を生成して前記取得部に出力する動画像情報処理装置と、前記出力部が出力した前記推定情報を表示する表示装置とを備える。
 本発明の壁厚み推定方法等によれば、低侵襲な手法により臓器壁又は血管壁に関する高精度な情報を生成することで、臓器又は血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる。
図1は、実施の形態に係る壁厚み推定システムの構成を示す図である。 図2は、実施の形態に係る壁厚み推定装置の特徴的な機能構成を示すブロック図である。 図3は、実施の形態に係る脳動脈瘤を示す斜視図である。 図4は、図3のIV-IV線における本実施の形態に係る脳動脈瘤の断面図である。 図5は、図4のV-V線における本実施の形態に係る脳動脈瘤の断面図である。 図6は、実施の形態に係る壁厚み推定装置が機械学習モデルを学習させる処理手順を示すフローチャートである。 図7は、実施の形態に係る教師データを示す説明図である。 図8は、実施の形態に係る壁厚み推定装置が脳動脈瘤の瘤壁の厚みを推定する処理手順を示すフローチャートである。 図9は、実施の形態に係る推定情報の例が示された図である。 図10Aは、実施の形態に係る脳動脈瘤の静止画像が示された図である。 図10Bは、変形例1に係る模型作製システムの特徴的な機能構成を示すブロック図である。 図10Cは、変形例1に係る模型作製システムが血管模型を作製する処理手順を示すフローチャートである。 図10Dは、変形例1に係る推定情報の例が示された模式図である。 図10Eは、変形例1に係る血管壁(瘤壁)を含む血管模型である。 図10Fは、変形例1に係る脳の血管全体模型である。 図10Gは、変形例1に係る脳模型である。 図10Hは、変形例1に係る頭蓋骨模型である。 図10Iは、被験者以外の他の被験者の血管壁(瘤壁)を含む血管模型である。 図11は、変形例2に係る壁厚み推定システムの特徴的な機能構成を示すブロック図である。 図12は、変形例2に係る学習装置が機械学習モデルを学習させる処理手順を示すフローチャートである。 図13は、変形例2に係る2次元動画が含む1つの静止画像(1フレーム)と当該1つの静止画像について推定された深度を示す画像とを示す。
 以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程、工程の順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
 (実施の形態)
 [壁厚み推定システムの構成]
 本実施の形態に係る壁厚み推定システム1000の構成に関して説明する。図1は、本実施の形態に係る壁厚み推定システム1000の構成を示す図である。
 壁厚み推定システム1000は、4次元血管撮影法を用いて、被験者Pの臓器壁又は血管壁を含む動画像から所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。さらに、壁厚み推定システム1000は、取得した挙動情報に基づいて臓器壁又は血管壁の厚みを推定するための推定情報を生成するシステムである。例えば、壁厚み推定システム1000は、被験者Pの血管壁の一例である脳動脈瘤の厚みを推定する。
 4次元血管撮影法とは、3次元血管撮影法に時間軸を加味した手法である。3次元血管撮影法とは、X線CT装置及びMRI装置などによって血管の立体データを収集し、血管情報を抽出する手法である。なお、X線CT装置を用いた4次元血管撮影法は、4DCTA(4 Dimensional Computed Tomography Angiography)ともいわれる。
 4次元血管撮影法により動画像が得られる。当該動画像は、3枚以上の静止画像の時系列であればよく、例えば、心臓がn回脈動(nは自然数)する時間にかけての動画像であってもよい。また、例えば、当該動画像は、所定の時間内の動画像であってもよい。所定の時間とは、例えば、m秒間(mは自然数)であってもよい。
 ここで、臓器壁とは臓器が有する壁であり、臓器とは胸部臓器と腹部臓器とを含む。例えば、胸部臓器は心臓及び肺などであり、腹部臓器は胃、腸、肝臓、腎臓及び膵臓などであるが、これらに限られない。また、臓器とは、内腔を有する胸部臓器と、内腔を有する腹部臓器とを含んでもよい。
 臓器壁とは、例えば、当該臓器と当該臓器以外の臓器又は器官とを隔てる壁である。一例として、臓器が心臓である場合は、臓器壁とは、心臓と他の器官とを隔てる筋肉(心筋)により構成される壁である。また、臓器壁とは、例えば、当該臓器内での領域を隔てる壁である。一例として、臓器が心臓である場合は、臓器壁とは、心臓内の領域の一例である左心室と右心室とを隔てる心室中壁である。
 また、血管壁とは、動脈又は静脈を含む血管の壁であってもよく、動脈瘤又は静脈瘤の瘤壁であってもよく、例えば、脳動脈瘤、大動脈瘤又は内臓瘤の瘤壁であってもよい。
 図1が示すように、壁厚み推定システム1000は、壁厚み推定装置100と、表示装置200と、動画像情報処理装置300と、動画像撮影装置400とを備える。
 動画像撮影装置400は、4次元血管撮影法を用いて臓器壁又は血管壁を含む動画像を生成する装置である。動画像撮影装置400は、例えば、X線CT装置、又は、MRI装置である。本実施の形態においては、動画像撮影装置400はX線CT装置であり、動画像撮影装置400はX線を照射するX線管と信号を受け取る検出器とコンピュータとを備える。
 検出器は、X線管の向かい側に位置し、被験者Pの体を通過したあとのX線を検出する。このとき、被験者Pの身体の部位によって、X線の吸収が異なることを利用して、コンピュータが被験者Pの特定部位における臓器壁又は血管壁を含む動画像を生成する。なお、動画像撮影装置400は、被験者Pの心電図波形を測定し取得する機能も有している。
 X線CT装置又はMRI装置と4次元血管撮影法とを用いる手法は、開腹手術、開心手術又は開頭手術などの手法とは異なり、被験者Pの体に与える負担が大きい切開などを要しないため、低侵襲な手法である。また、X線CT装置又はMRI装置と、4次元血管撮影法とを用いる手法は、精密さの高い動画像を生成することができる。
 動画像情報処理装置300は、動画像撮影装置400が4次元血管撮影法を用いて生成した臓器壁又は血管壁を含む動画像を取得し、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を生成する。つまり、挙動情報は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた情報である。
 ここでは、挙動情報とは、動画像における特定の時刻と当該特定の時刻での臓器壁又は血管壁における複数の所定の点のそれぞれの3次元の座標位置とを1個の組とし、動画像において心臓が1脈動する時間の経過に従って複数の組が並べられた数値情報である。なお、この複数の所定の点とは、極小領域を意味する。
 動画像情報処理装置300は、挙動情報を壁厚み推定装置100へ出力する。動画像情報処理装置300は、例えば、パーソナルコンピュータであるが、ネットワークに接続された計算能力の高いサーバ装置であってもよい。
 壁厚み推定装置100は、動画像情報処理装置300によって生成された挙動情報を取得し、取得された挙動情報に基づいて、臓器壁又は血管壁の厚みを推定するための推定情報を生成し、生成された推定情報を表示装置200へ出力する。壁厚み推定装置100は、例えば、パーソナルコンピュータであるが、ネットワークに接続された計算能力の高いサーバ装置であってもよい。
 表示装置200は、壁厚み推定装置100から出力される推定情報を表示する。表示装置200は、具体的には、液晶パネル又は有機EL(Electro Luminescence)パネルなどによって構成されるモニタ装置である。表示装置200として、テレビ、スマートフォン又はタブレット端末などが用いられてもよい。
 壁厚み推定装置100と、表示装置200及び動画像情報処理装置300とは、挙動情報又は推定情報を送受信可能であればよく、有線で接続されていてもよいし、無線通信可能に接続されていてもよい。
 このように、動画像情報処理装置300は、臓器壁又は血管壁を含む動画像を取得し、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を生成する。
 壁厚み推定装置100は、動画像情報処理装置300によって生成された挙動情報を取得し、取得された挙動情報に基づいて、臓器壁又は血管壁の厚みを推定するための推定情報を生成する。さらに、壁厚み推定装置100は、生成された推定情報を表示装置200へ出力する。
 このように、壁厚み推定システム1000は、動画像情報処理装置300と動画像撮影装置400とを用いて、低侵襲な手法によって、臓器壁又は血管壁を含む動画像を得る。さらに、壁厚み推定システム1000は、当該動画像に関する挙動情報を利用して、臓器壁又は血管壁の厚みを推定するための推定情報を生成することができる。そのため、壁厚み推定システム1000は、臓器壁又は血管壁における複数の所定の点のそれぞれの付近の壁厚さについて、精度の高い情報を生成することができる。
 次に、本実施の形態に係る壁厚み推定装置100の機能構成を具体的に説明する。
 図2は、本実施の形態に係る壁厚み推定装置100の特徴的な機能構成を示すブロック図である。壁厚み推定装置100は、取得部として第1取得部110と、生成部120と、出力部130と、第1学習部140と、を備える。
 第1取得部110は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。第1取得部110は、具体的には、動画像情報処理装置300によって生成された挙動情報を取得する。第1取得部110は、例えば、有線通信又は無線通信を行う通信インターフェースである。
 生成部120は、第1取得部110により取得された挙動情報に基づいて、臓器壁又は血管壁の厚みを推定するための推定情報を生成する。より具体的には、生成部120は、学習済みのモデル(ここでは機械学習モデル121)を保有しており、このモデルを用いて、臓器壁又は血管壁における複数の所定の点のそれぞれの厚みが可視化された情報である推定情報を生成する。
 学習済みのモデルは、第1取得部110により取得された挙動情報に基づく物理パラメータを示す画像を入力とし、臓器壁又は血管壁における複数の所定の点のそれぞれの厚みを示す指標を出力とするモデルである。本実施の形態においては、第1学習部140がモデルを学習させる。なお、以下では、推定情報を生成するための上記の画像を第1入力画像として記載する場合がある。
 推定情報は、例えば、複数の所定の点のそれぞれの厚みが可視化された画像情報である。なお、推定情報を生成する手法については、図8を用いて後述する。生成部120は、具体的には、プログラムを実行するプロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。
 出力部130は、生成部120が生成した推定情報を出力する。出力部130は、生成部120が生成した推定情報を表示装置200へ出力してもよい。出力部130は、例えば、有線通信又は無線通信を行う通信インターフェースである。
 第1学習部140は、教師データを用いてモデルを学習させる。第1学習部140は、具体的には、プログラムを実行するプロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。
 第1学習部140は、モデルを学習させ、構築する。第1学習部140は、構築したモデルを生成部120に提供する。なお、第1学習部140は、必須の構成要素ではなく、壁厚み推定装置100に備えられていなくてもよい。
 このモデルは、推定情報を生成するためのモデルである。
 本実施の形態においては、モデルは、1個以上のデータセットを教師データとした機械学習により構築されたモデルである。1つのデータセットとは、臓器壁又は血管壁における複数の所定の点のうち、所定の点の挙動情報に基づく物理パラメータを示す画像と、当該所定の点の厚みを示す指標との組み合わせで構成されている。
 言い換えれば、モデルは、1個以上のデータセットであって、上記1個以上のデータセットのそれぞれが当該所定の点の物理パラメータを示す画像及び当該所定の点の厚みを示す指標のデータセットである1個以上のデータセットを教師データとした機械学習により構築された認識モデルである。
 より具体的には、モデルは、上記教師データである1個以上のデータセットのそれぞれに属する物理パラメータを示す画像を入力データとし、当該データセットに属する当該所定の点の厚みを示す指標を出力データとして、機械学習により構築された認識モデルである。
 第1学習部140は、一例として上記の通り機械学習を用いてモデルを学習させる。このため、本実施の形態においては、モデルは機械学習モデル121である。
 また、第1学習部140は、例えば、ニューラルネットワークを用いて、より具体的には、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))を用いて、モデルを学習させてもよい。モデルが畳み込みニューラルネットワークモデルである場合、第1学習部140は、教師データに基づく機械学習によって、畳み込み層のフィルタの係数(重み)などを決定する。
 また、第1学習部140は、ニューラルネットワーク以外のアルゴリズムを用いてモデルを学習させてもよい。
 なお、以下では、教師データに含まれる上記の画像を第2入力画像として記載する場合がある。
 ここで、挙動情報に関する情報における、複数の所定の点について、図3~図5を用いて説明する。本実施の形態においては、血管壁を用いて説明するが、臓器壁についても同様である。さらに、ここでは、血管壁とは、脳動脈瘤10の瘤壁11である。
 なお、図3~図5において、例えば、x軸正方向は、母血管20から脳動脈瘤10が延びる方向であり、z軸は、母血管20が延びる方向であり、y軸は、x軸及びz軸と直交方向に延びる方向である。また、母血管20、脳動脈瘤10、瘤壁11及び複数の所定の点が示される図3~5は、被験者Pの脳内を説明する場合に限られず、他の被験者の脳内を説明する場合にも用いられる一般的な模式図である。
 図3は、本実施の形態に係る脳動脈瘤10を示す斜視図である。図4は、図3のIV-IV線における本実施の形態に係る脳動脈瘤10の断面図である。母血管20は、脳内の動脈を構成する血管の一例である。脳動脈瘤10は、母血管20の一部が膨らんだ瘤であって、母血管20からx軸方向に延びて発生した瘤である。
 図5は、図4のV-V線における本実施の形態に係る脳動脈瘤10の断面図である。
 図5が示すように、脳動脈瘤10の断面図において、時計盤が示す時間に対応するように、0時~11時の方向に複数の所定の点が設けられている。0時方向には点p0が設けられ、1時~11時方向にそれぞれ点p1~点p11が設けられている。つまり、脳動脈瘤10の断面図における脳動脈瘤10の外周に、12個の所定の点が設けられている。
 なお、所定の点の数はこれに限られず、1個の断面図における脳動脈瘤10の外周に、例えば、10個~1000個の所定の点が設けられてもよい。また、本実施の形態においては、1個の断面図が用いられているが、これに限られず、複数の断面図(例えば、10個~1000個の断面図)が用いられてもよい。
 さらに、この複数の断面図のそれぞれにおける脳動脈瘤10の外周に、例えば、10個~1000個の所定の点が設けられてもよい。この場合、1個の脳動脈瘤10に対して、30000個~300000個の所定の点が設けられる。
 また、血管壁における複数の所定の点は、上記に限られず、血管壁において、2個以上の点から選択することができる。なお、所定の点の数は、30000個~300000個に限られず、30000個より小さい数が選択されてもよく、300000個よりも大きい数が選択されてもよい。
 上記のように、本実施の形態に係る血管壁(瘤壁11)における複数の所定の点は、点p0~点p11である。つまり、瘤壁11における複数の所定の点は合計で12個存在する。
 第1取得部110は、この12個の所定の点のそれぞれにおいて、位置の時間変化に関する数値情報である挙動情報を取得する。生成部120は、この挙動情報に基づいて、所定の点の付近の瘤壁11の厚みを推定するための推定情報を生成する。
 なお、本実施の形態においては、挙動情報は、一定時間の間の位置の時間変化に関する数値情報である。例えば、一定時間とは、心臓が1脈動する間の時間である。さらに、心臓が1脈動する間の時間は、例えば、100ステップに均等に分割される。
 このときの、脈動が開始される時刻を0ステップとし、脈動が終了した時刻を100ステップとする。また、心臓が1脈動する間の時間は、上記に限られず、任意に設定される。
 よって、挙動情報には、0ステップ~100ステップのそれぞれのステップにおける、12個の所定の点のそれぞれのx軸、y軸及びz軸の位置に関する情報が含まれている。つまり、挙動情報は、12個の所定の点のそれぞれについて、時刻と、当該時刻における座標位置(x軸、y軸及びz軸の位置)とが1個の組になったデータである。換言すると、挙動情報は、時間発展するデータを含む。
 なお、一定時間は、具体的な秒数でもよく、例えば、1秒間、5秒間又は10秒間でもよい。また、当該一定時間は、3分割以上であれば、どのように細分化されてもよい。例えば、上記とは異なり、当該一定時間は、100ステップではなく、異なるステップ数によって分割されてもよい。さらに、当該一定時間は、均等に分割されなくてもよい。
 なお、心臓が1脈動する間の時間は、例えば、10ステップ~1000000ステップから選ばれる任意のステップ数から選ばれて均等に分割されてもよい。ステップ数は、10ステップ~1000000ステップに限られず、10ステップより小さい数が選択されてもよく、1000000ステップよりも大きい数が選択されてもよい。
 [壁厚み推定方法の処理手順]
 続いて、壁厚み推定装置100が実行する壁厚み推定方法における具体的な処理手順について説明する。ここでも、血管壁を用いて説明するが、臓器壁についても同様である。
 図6は、本実施の形態に係る壁厚み推定装置100がモデル(機械学習モデル121)を学習させる処理手順を示すフローチャートである。なお、図6が示すフローチャートが示す処理手順は、被験者Pの脳動脈瘤10の瘤壁11の厚みの推定が行われる前に行われている。
 またここでは、被験者P以外の1人以上の他の被験者から得られた教師データを用いて、第1学習部140が機械学習モデル121を学習させている。このため、1人以上の他の被験者についても、動画像撮影装置400によって4次元血管撮影法を用いて血管壁を含む動画像が生成され、壁厚み推定装置100はこの動画像に基づく挙動情報を取得している。ここでは簡単のため、主に1人の他の被験者Bを例として説明する。
 まず、第1学習部140は、モデル(機械学習モデル121)に学習させるための教師データを取得する(工程S101)。なお、教師データは、生成部120によって生成されているとよいが、これに限られず他の処理部又は他の装置によって生成されていてもよい。
 以下、教師データについて説明する。
 図7は、本実施の形態に係る教師データを示す説明図である。教師データは、1個以上のデータセットである。図7には、教師データの一例として、教師データが含む1つのデータセット(ここではデータセットD1)が示されている。
 1つのデータセットは、複数の所定の点のうち、当該所定の点の挙動情報に基づく物理パラメータを示す画像(つまりは第2入力画像)と、当該所定の点の厚みを示す指標(つまりは、厚み指標)との組み合わせで構成されている。一例として、図7が示すデータセットD1は、第2入力画像I1と、厚み指標T1とで構成されている。
 つまりデータセットは当該所定の点の第2入力画像と厚み指標とが1つのセットになったデータである。また、教師データは、1個以上のデータセットであり、例えば、100以上1000000以下のデータセットであるとよく、1000以上1000000以下のデータセットであるとよりよく、10000以上1000000以下のデータセットであるとさらによい。なお、教師データを構成するデータセットの数は、多ければ多いほどよい。
 例えば、1つのデータセットに対応する当該所定の点とは、1人の他の被験者Bにとっての図3~5が示す点p0である。また、他の1つのデータセットに対応する当該所定の点とは、1人の他の被験者Bにとっての図3~5が示す点p1である。
 1人の他の被験者Bから例えば、100以上150000以下のデータセットが得られるとよい。さらに、他の被験者Bが複数人いる場合には、複数人の他の被験者のそれぞれから、100以上150000以下のデータセットが得られるとよい。なお、1人の他の被験者Bから得られるデータセットの数は、100より小さくてもよく、150000より多くてもよい。
 ここで、当該所定の点の挙動情報に基づく物理パラメータを示す画像である第2入力画像について説明する。
 物理パラメータは、例えば、複数の所定の点のそれぞれの変位の時間変化に関するパラメータであるとよい。つまり、物理パラメータは、複数の所定の点のそれぞれの変位の時間変化から算出される値であるとよい。
 より具体的には、物理パラメータは、複数の所定の点のそれぞれの変位の時間変化、速度の時間変化、加速度の時間変化、及び、歪の時間変化などである。なお、変位とは、脈動が開始される時刻である0ステップにおける位置を0(原点)とする、各ステップでの位置の変化量である。
 歪は、挙動情報が含む時間と位置とのデータを用いて算出される。歪が算出される方法は、特に限定されず公知の方法が用いられる。例えば、1個の点(例えば点p1)と当該1個の点に隣接する他の1個の点(例えば点p2)との2個の点において、ある時刻(例えば10ステップ)と次のある時刻(11ステップ)における2個の点における位置の変化から、1個の点の歪が算出されてもよい。
 さらに、物理パラメータを示す画像である第2入力画像について説明する。
 第2入力画像は、複数の所定の点のうち1個の所定の点に係る物理パラメータを示すグラフによって構成される2次元の画像であるとよく、ここでは以下の通りである。第2入力画像は複数のグラフによって構成されており、第2入力画像において複数のグラフはk×lの行列状(k及びlはそれぞれ自然数)に配置されている。複数のグラフは、1列に並べられて配置されてもよく、2列に並べられて配置されてもよい。ここでは、第2入力画像は9個のグラフによって構成されており、画像において複数のグラフは一例として、3×3の行列状に並べられている。
 9個のグラフは以下の通りである。
 1列目に配置された3つのグラフは、1個の所定の点のx軸方向の物理パラメータに関するグラフである。2列目に配置された3つのグラフは、1個の所定の点のy軸方向の物理パラメータに関するグラフである。3列目に配置された3つのグラフは、1個の所定の点のz軸方向の物理パラメータに関するグラフである。
 1行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の変位とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の加速度とするグラフである。2行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の変位とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の速度とするグラフである。3行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の速度とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の加速度とするグラフである。
 なおここでは、変位、速度及び加速度がグラフの横軸及び縦軸に用いられたが、これに限られない。上記の通り、変位、速度、加速度及び歪のなどの、複数の所定の点のそれぞれの変位の時間変化に関するパラメータのうち、1つが横軸に用いられ、他の1つが縦軸に用いられてもよい。
 続いて、複数の所定の点のうち当該所定の点の厚みを示す指標である厚み指標について説明する。図7においては、厚み指標T1として、「数値」である「1」が示されている。
 本実施の形態においては、当該所定の点の厚み指標は、動画像撮影装置400により得られる血管壁を含む動画像(より具体的には、動画像に含まれる静止画像)と、開頭手術により得られる手術画像が示す脳内の脳動脈瘤10の色調とに基づく指標である。この厚み指標について以下、より詳細に説明する。
 上記の通り、本実施の形態においては、他の被験者Bについての挙動情報も取得されている。同様に、壁厚み推定装置100は、X線CT装置である動画像撮影装置400が生成した血管壁を含む動画像であって、他の被験者Bについての動画像も取得している。ここでは、壁厚み推定装置100が取得した当該動画像に基づく1つ以上の静止画像が用いられる。1つ以上の静止画像のそれぞれは、当該動画像からトリミングされた画像であり、例えば、当該動画像の1個のフレームである。
 なお、動画像撮影装置400がX線CT装置であることから、1つ以上の静止画像はそれぞれ1つ以上のCT画像である。1つ以上のCT画像は、撮影された脳内の脳動脈瘤10の色調を示す情報を含んでおらず、白黒の濃淡で、換言すると無彩色で示される画像である。また、1つ以上のCT画像のそれぞれには、複数の所定の点が当該CT画像のどの位置に相当するかを示す情報が含まれている。
 また、上記の通り、動画像撮影装置400がMRI装置であってもよい。この場合においては、1つ以上の静止画像はそれぞれ1つ以上のMRI画像である。1つ以上のMRI画像は、撮影された脳内の脳動脈瘤10の色調を示す情報を含んでおらず、白黒の濃淡で、換言すると無彩色で示される画像である。また、1つ以上のMRI画像のそれぞれには、複数の所定の点が当該MRI画像のどの位置に相当するかを示す情報が含まれている。
 さらに、当該他の被験者Bについて、開頭手術が行われる。
 壁厚み推定装置100は、他の被験者Bについて開頭手術が行われた際に撮影された手術画像を取得する。この手術画像は、2次元又は3次元の画像のいずれの画像でもよいが、ここでは、3次元の画像である。この手術画像は、撮影された脳内の脳動脈瘤10の色調を示す情報を含んでおり、有彩色で示される画像である。
 次に、壁厚み推定装置100は、1つ以上のCT画像のうち1つのCT画像と手術画像とを重畳させる。さらに、壁厚み推定装置100は、1つのCT画像における複数の所定の点のそれぞれが対応する手術画像における領域を決定する。なお、壁厚み推定装置100がキーボード、マウス、及び、タッチパネルなどの操作受付部を備えており、壁厚み推定装置100のユーザによる操作を当該操作受付部が受付ることで、上記領域が決定されるとよい。なお、動画像撮影装置400がMRI装置である場合にも同様の処理が行われる。
 これにより、複数の所定の点のうち、当該所定の点と、当該所定の点が対応する手術画像における領域とが紐づけられる。さらに、上記の通り手術画像には撮影された脳内の脳動脈瘤10の色調を示す情報が含まれている。このため、複数の所定の点のうち、当該所定の点と当該所定の点が対応する領域の色調を示す情報とが紐づけられる。
 ここで、脳動脈瘤10の色調と厚みとの関係について説明する。
 一般的に、開頭手術で撮影された脳内の脳動脈瘤10において、白色の色調が弱くかつ赤色の色調が強い領域は、血管壁が脆弱又は菲薄な領域に相当する。また、撮影された脳内の脳動脈瘤10において、白色の色調が強くかつ赤色の色調が弱い領域は、血管壁が肥厚な領域に相当する。
 そこで、本実施の形態においては、当該所定の点と対応する手術画像における領域が白色の色調が弱くかつ赤色の色調が強い領域である場合には、当該所定の点の厚みを示す指標である厚み指標は、当該所定の点が薄いことを示す「数値」である「1」とする。同様に、当該所定の点と対応する手術画像における領域が白色の色調が強くかつ赤色の色調が弱い領域である場合には、当該所定の点の厚みを示す指標である厚み指標は、当該所定の点が厚いことを示す「数値」である「0」とする。
 手術画像における領域が、白色の色調が弱くかつ赤色の色調が強い領域であるか、白色の色調が強くかつ赤色の色調が弱い領域であるか、を判断する手法として、手術画像における領域のRGBなどの画素値を基に判断される手法が用いられるとよい。
 図7が示すように、データセットD1は、厚み指標T1として「1」を含む。
 なお、1人の他の被験者Bから複数の所定の点として、上記の通り300000個の所定の点が得られる場合があるが、当該1人の他の被験者Bから100個以上150000個以下のデータセットが得られればよい。つまり、得られた全ての所定の点のそれぞれを、教師データとして利用する必要はない。なお、上記の通り、教師データを構成するデータセットの数は、多ければ多いほどよい。
 図6が示すように、工程S101が行われた後に、第1学習部140は、工程S101で取得された教師データを用いてモデルを学習させる(第1学習工程S102)。より具体的には、第1学習部140は、機械学習により機械学習モデル121を学習させる。さらに、第1学習部140は、学習済みの機械学習モデル121を生成部120に出力する。
 図8は、本実施の形態に係る壁厚み推定装置100が脳動脈瘤10の瘤壁11の厚みを推定する処理手順を示すフローチャートである。
 第1取得部110は、動画像情報処理装置300を介して被験者Pの脳動脈瘤10の瘤壁11複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する(第1取得工程S201)。
 次に、生成部120は、学習済みの機械学習モデル121を用いて、血管壁における複数の所定の点のそれぞれの厚みが可視化された情報である推定情報を生成する(生成工程S202)。
 機械学習モデル121においては、第1取得工程S201により取得された挙動情報に基づく物理パラメータを示す画像(つまりは、第1入力画像)が入力されると、血管壁における複数の所定の点のそれぞれの厚みを示す指標(つまりは、厚み指標)を出力する。
 より具体的には、複数の所定の点のうち1個の点に係る第1入力画像が入力されると、当該1個の点の厚み指標が出力される。ここでは、被験者Pにおける複数の所定の点のそれぞれに係る第1入力画像が入力され、被験者Pにおける複数の所定の点のそれぞれの厚み指標が出力される。
 生成工程S202で用いられる、推定情報を生成するための第1入力画像は、第2入力画像と同じ物理パラメータを示す画像である。よってここでは、第1入力画像は、以下の通りである。
 第1入力画像は、複数の所定の点のうち1個の所定の点に係る物理パラメータを示すグラフによって構成される2次元の画像であるとよい。第1入力画像は複数のグラフによって構成されており、第1入力画像において複数のグラフはk×lの行列状(k及びlはそれぞれ自然数)に配置されている。ここでは、第1入力画像は9個のグラフによって構成されており、画像において複数のグラフは3×3の行列状に並べられている。
 9個のグラフは以下の通りである。
 1列目に配置された3つのグラフは、1個の所定の点のx軸方向の物理パラメータに関するグラフである。2列目に配置された3つのグラフは、1個の所定の点のy軸方向の物理パラメータに関するグラフである。3列目に配置された3つのグラフは、1個の所定の点のz軸方向の物理パラメータに関するグラフである。
 1行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の変位とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の加速度とするグラフである。2行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の変位とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の速度とするグラフである。3行目に配置された3つのグラフは、横軸をx軸、y軸及びz軸のそれぞれの方向の速度とし、縦軸をx軸、y軸及びz軸のそれぞれの方向の加速度とするグラフである。
 なお第1入力画像では、第2入力画像と同様に、変位、速度及び加速度がグラフの横軸及び縦軸に用いられたが、これに限られない。上記の通り、変位、速度、加速度及び歪のなどの、複数の所定の点のそれぞれの変位の時間変化に関するパラメータのうち、1つが横軸に用いられ、他の1つが縦軸に用いられてもよい。
 このような、第1入力画像を入力として、生成部120は、血管壁における複数の所定の点のそれぞれの厚み指標を得る。
 このとき、得られた複数の厚み指標のそれぞれは、図7で示したように、「数値」である。1つの厚み指標の「数値」が大きいほど、対応する所定の点の厚みが薄く、1つの厚み指標の「数値」が小さいほど、対応する所定の点の厚みが厚い。例えば、「数値」は、0以上1以下の値であるとよいが、これに限られない。なお、「数値」が0以上1以下の値である場合には、1つの厚み指標の「数値」が1に近いほど、対応する所定の点の厚みが薄く、1つの厚み指標の「数値」が0に近いほど、対応する所定の点の厚みが厚い。
 生成部120は、以上のように出力された複数の所定の点のそれぞれに対応する厚み指標を用いて、推定情報を生成する。ここで推定情報とは、一例として、複数の所定の点のそれぞれの厚みが可視化された画像情報であるが、これに限られない。例えば、推定情報は、複数の所定の点のそれぞれと、複数の所定の点のそれぞれの厚み指標とが対応して示される表などであってもよい。
 次に、出力部130は、生成部120が生成した推定情報を出力する(出力工程S203)。出力工程S203において、出力部130は、例えば、生成工程S202で生成部120が生成した画像情報に相当する画像データを表示装置200へ送信する。
 表示装置200は、出力部130が出力した画像データを取得して、当該画像データに基づいて画像を表示する。
 また、壁厚み推定装置100は、コンピュータ読み取り可能なCD-ROMなどの記録媒体に記録されたコンピュータプログラムを読み出すことによって、壁厚み推定方法を実行してもよい。
 [推定情報と血管壁の厚みとの関係性]
 次に、推定情報と血管壁の厚みとの関係性について説明する。ここでは、被験者Pについての脳動脈瘤10について、図8が示すフローチャートで得られた推定情報と、開頭手術とを用いて説明する。
 図9は、本実施の形態に係る推定情報の例が示された模式図である。
 より具体的には、図9は、図8が示す出力工程S203で出力された推定情報の例である画像情報が示す脳動脈瘤10の形状と脳動脈瘤10における複数の所定の点のそれぞれの厚み指標との関係の模式図が示された画像である。
 図9が示す脳動脈瘤10においては、複数の所定の点のそれぞれに対応する箇所に厚み指標を示す色が付されており、当該色が濃いほど厚み指標が示す「数値」は高く、当該色が薄いほど厚み指標が示す「数値」は低く図示されている。なお、図9においては、脳動脈瘤10は、白黒の2色で表現されているが、実際に出力部130が出力する際には、脳動脈瘤10の模式図はカラーで表現されてもよい。
 さらに、被験者Pの脳動脈瘤10についての開頭手術が行われた。
 図10Aは、本実施の形態に係る脳動脈瘤10の静止画像が示された図である。
 図10Aにおいては、脳動脈瘤10は、白黒の2色で表現されているが、実際の開頭手術においては、脳動脈瘤10の静止画像はカラーで表現されている。そのため、図10Aにおける脳動脈瘤10の色が濃い領域は、実際の開頭手術においては白色の色調が弱くかつ赤色の色調が強い領域である。また、図10Aにおける脳動脈瘤10の色が薄い領域は、実際の開頭手術においては白色の色調が強くかつ赤色の色調が弱い領域である。
 開頭手術によって、脳動脈瘤の形状と、当該形状における血管壁の薄い領域とが明らかにされた。
 ここで、図9が示す推定情報と、図10Aが示す開頭手術によって明らかにされた脳動脈瘤10の形状及び血管壁の色調とを比較する。
 図9及び図10Aが示すように、それぞれの画像が示す脳動脈瘤10は、同様の形状を有している。さらに、図9及び図10Aのそれぞれには、円形状の領域Aが示されている。図9が示す領域Aと図10Aが示す領域Aとは、互いに対応する同じ領域を示している。
 図9が示す領域Aの内側には、厚み指標を示す色が濃い、つまりは、厚み指標が示す「数値」が高い領域がある。従って、図9が示す領域Aの内側は、推定情報から、厚みが薄いと推定される。
 さらに、図10Aが示す領域Aの内側は、色が濃い、つまりは、実際の開頭手術においては白色の色調が弱くかつ赤色の色調が強い領域がある。従って、図10Aが示す領域Aの内側は、開頭手術から、厚みが薄いと推定される。なお、図10Aが示す領域Aの内側には、撮影時の光によって白色を呈する領域があるが、実際の脳動脈瘤10における領域Aの内側は、白色の色調が弱くかつ赤色の色調が強い。
 つまりは、推定情報に基づいて推定された脳動脈瘤10の厚みと、実際の開頭手術により得られた脳動脈瘤10の厚みとは、よく一致する。
 このため、図9が示す推定情報は、血管壁の厚みについての高精度な情報として利用されることができる。
 このような情報は、例えば、増大及び破裂しやすい脳動脈瘤と、増大及び破裂し難い脳動脈瘤とを分別し、治療要否を適切に判断するための有益な情報である。
 つまり、本実施の形態に係る壁厚み推定方法は、低侵襲な手法により血管壁に関する高精度な情報を生成することで、血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる。さらに、本実施の形態に係る壁厚み推定方法は、血管壁に限られず、臓器壁の厚みを推定するためにも利用することができる。
 つまり、本実施の形態に係る壁厚み推定方法によれば、開腹手術、開心手術又は開頭手術などを用いない低侵襲な手法により臓器壁に関する高精度な情報を生成することで、臓器の疾患に対して具体的な処置を施すための有益な情報を提案することができる。
 [変形例1]
 以下、本実施の形態の変形例1に係る模型作製システム2000の構成について説明する。
 図10Bは、本変形例に係る模型作製システム2000の特徴的な機能構成を示すブロック図である。
 模型作製システム2000は、壁厚み推定システム1000(より具体的には、出力部130)から出力された推定情報に基づいて、例えば上記の4次元血管撮影法を用いて得られた血管壁を含む血管模型を作製するシステムである。模型作製システム2000は、血管模型に含まれる血管壁が脳動脈瘤10における瘤壁11である場合には、さらに、上記血管模型が埋め込まれるための脳模型も作製し、この脳模型を内包するための頭蓋骨模型も作製する。
 医師は、被験者P(つまりは患者)の脳動脈瘤10についての手術を行う前に、被験者Pに当該手術についての説明を行う。作製された血管模型、脳模型及び頭蓋骨模型は、医師が被験者Pに説明を行う際に用いられる。図8で示された手順に従い、被験者Pの脳動脈瘤10の瘤壁11の厚みが推定され、出力工程S203で出力された推定情報に基づいて、被験者Pの血管模型が作製される。被験者Pが上記の説明を受ける際に、一般的な市販されている模型ではなく被験者P自身の血管模型などが用いられるため、被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。
 次に、本変形例に係る模型作製システム2000の機能構成を具体的に説明する。
 図10Bが示すように、模型作製システム2000は、第3取得部610と、作製部620と、を備える。
 第3取得部610は、生成工程S202により生成された推定情報を取得する。より具体的には、第3取得部610は、生成工程S202により生成され、さらに、出力工程S203により出力された推定情報を取得する。第3取得部610は、例えば、有線通信又は無線通信を行う通信インターフェースである。
 作製部620は、血管壁を含む血管模型を作製する。作製部620は、第3取得部610によって取得された推定情報によって可視化された厚みに基づいて、血管模型を作製する。より具体的には、作製部620は、血管模型に含まれる血管壁が厚みごとに異なる態様を示すように血管模型を作製する。作製部620は、例えば、3Dプリンターである。
 続いて、模型作製システム2000が実行する模型作製方法における具体的な処理手順について説明する。ここでは、血管模型に含まれる血管壁は、脳動脈瘤10における瘤壁11であるとして説明するが、瘤壁11以外の血管壁についても同様である。
 図10Cは、本変形例に係る模型作製システム2000が血管模型を作製する処理手順を示すフローチャートである。
 まず、第3取得部610は、生成工程S202により生成された推定情報を取得する(第3取得工程S401)。第3取得部610が取得する推定情報は、例えば、複数の所定の点のそれぞれの厚みが可視化された画像情報であるが、これに限られない。例えば、推定情報は、複数の所定の点のそれぞれと、複数の所定の点のそれぞれの厚み指標とが対応して示される表などであってもよい。
 図10Dは、本変形例に係る推定情報の例が示された模式図である。より具体的には、図10Dは、図9と同じく、図8が示す出力工程S203で出力された推定情報の例である画像情報が示す脳動脈瘤10の形状と、脳動脈瘤10における複数の所定の点のそれぞれの厚み指標との関係の模式図が示された画像である。
 図10Dが示す脳動脈瘤10においては、複数の所定の点のそれぞれに対応する箇所に厚み指標を示す色が付されており、つまりは、血管壁(より具体的には、瘤壁11)が厚みごとに異なる色を示す。図10Dが示す脳動脈瘤10は白色及び黒色で示されているが、実際には、黒色が濃い方から赤色、黄色、緑色、水色及び青色の順に示されている。なお、厚み指標を示す色は、赤色、黄色、緑色、水色及び青色の5色に限定されず、例えば、赤茶色、赤茶色と白色との中間色、及び、白色などであってもよい。
 また、黒色が濃いほど(赤色に近いほど)厚み指標が示す「数値」は高く、黒色が薄いほど(青色に近いほど)厚み指標が示す「数値」は低く図示されている。なお上記の通り、厚み指標が示す「数値」が高いほど対応する所定の点の厚みが薄く、厚み指標が示す「数値」が低いほど対応する所定の点の厚みが厚い。
 さらに、作製部620は、血管壁(瘤壁11)を含む血管模型を作製する(第1作製工程S402)。作製部620は、第3取得部610によって取得された推定情報によって可視化された厚みに基づいて、血管模型に含まれる血管壁が厚みごとに異なる態様を示すように血管模型を作製する。
 図10Eは、本変形例に係る血管壁(瘤壁11)を含む血管模型30である。血管壁(瘤壁11)を含む血管模型30は、つまりは、脳動脈瘤10を含む血管模型30でもある。作製部620は、図10Dで示された模型図(つまりは推定情報)に基づいて、血管模型30を作製する。
 図10Eにおいては、図10Dと同じく、血管模型30は白色及び黒色で示されているが、実際には、黒色が濃い方から赤色、黄色、緑色、水色及び青色の順に示されている。また、黒色が濃いほど(赤色に近いほど)血管壁の厚みが薄く、黒色が薄いほど(青色に近いほど)血管壁の厚みが厚い。
 つまり、作製部620は、血管模型30に含まれる血管壁が厚みごとに異なる態様を示すように、より具体的には、ここでは、血管壁(瘤壁11)が厚みごとに異なる色を示すように血管模型30を作製している。
 なお、作製部620は、第1作製工程S402で、血管模型30を作製する際に、例えば以下の第1作製方法又は第2作製方法で作製する。
 第1作製方法では、作製部620は、まず、血管模型30に相当する外観の形状を示す模型を作製し、さらに、作製された当該模型の表面に赤色、黄色、緑色、水色及び青色を着色又は染色することで、血管模型30を作製する。なお、当該模型の表面の色は、赤色、黄色、緑色、水色及び青色の5色に限定されず、例えば、赤茶色、赤茶色と白色との中間色、及び、白色などであってもよい。
 この場合例えば、3Dプリンターである作製部620は、血管模型30に相当する外観の形状を示す模型を作製するときには、白色又は透明の材料(例えばフィラメント又はUVレジン)を用いて、当該模型を作製する。当該模型は白色であり、この白色の模型が着色又は染色されることで、血管模型30が作製される。
 第2作製方法では、作製部620は、以下のように血管模型30を作製してもよい。3Dプリンターである作製部620は、赤色、黄色、緑色、水色及び青色の材料(例えばフィラメント又はUVレジン)を用いて、血管模型30を作製する。また、作製部620は、赤色、黄色、緑色、水色及び青色の5色の材料に限定されず、例えば、赤茶色、赤茶色と白色との中間色、及び、白色の材料を用いてもよい。この場合、例えば、図10Dで示された模型図(つまりは推定情報)が示す色に従って、作製部620は、血管模型30を作製するとよい。この作製方法によれば、着色又は染色する工程を省略することができる。
 なお、この第1作製工程S402では、図10Eが示す通り、血管壁(瘤壁11)が、複数の所定の点のそれぞれの厚みごとに異なる色を示すように血管模型30を作製されたが、これに限られない。第1作製工程S402では、推定情報によって可視化された厚みに基づいて、血管模型30に含まれる血管壁が厚みごとに異なる態様を示すように血管模型30を作製すればよい。例えば、第1作製工程S402では、血管模型30に含まれる血管壁が厚みごとに異なる表面の触感を示すように血管模型30を作製してもよい。より具体的には、厚みが厚いほど表面の触感がザラザラし(つまりは表面の凹凸が大きく)、厚みが薄いほど表面の触感がツルツルし(つまりは表面の凹凸が小さく)てもよい。
 また、第1作製工程S402では、作製部620は、血管壁(瘤壁11)を含む血管模型30を作製したが、これに限られない。作製部620は、血管壁(瘤壁11)を含まない血管模型も作製するとよい。つまり、第1作製工程S402で作製された血管壁(瘤壁11)を含む血管模型30は、脳の血管のうち一部の模型であるため、血管壁(瘤壁11)を含まない血管模型(つまりは脳の血管のうち上記一部とは異なる他部の模型)も作製されるとよい。
 血管壁(瘤壁11)を含む血管模型30と、血管壁(瘤壁11)を含まない血管模型とは、作製部620によって別々に作製され、その後、血管壁を含む血管模型30と血管壁を含まない血管模型とが組み合わされて、脳の血管全体の模型(以下血管全体模型)が得られるとよい。図10Fは、本変形例に係る脳の血管全体模型31である。
 なお、血管壁(瘤壁11)を含む血管模型30及び血管壁(瘤壁11)を含まない血管模型は、それぞれマグネットを有しているとよい。血管壁(瘤壁11)を含む血管模型30のマグネットと、血管壁(瘤壁11)を含まない血管模型のマグネットとにより、血管壁(瘤壁11)を含む血管模型30と血管壁(瘤壁11)を含まない血管模型とが接続され、組み合わされるとよい。また、2つのマグネットが設けられていることから、血管壁(瘤壁11)を含む血管模型30と血管壁(瘤壁11)を含まない血管模型とは着脱可能である。
 なお、血管壁(瘤壁11)を含まない血管模型は、一例として、以下のように作製される。上記の通り、4次元血管撮影法とは3次元血管撮影法に時間軸を加味した手法であり、3次元血管撮影法とはX線CT装置及びMRI装置などによって血管の立体データを収集し血管情報を抽出する手法である。血管壁(瘤壁11)を含まない血管模型を作製するために、例えば、第3取得工程S401では、第3取得部610は、壁厚み推定システム1000の動画像撮影装置400又は動画像情報処理装置300から上記の血管の立体データを取得する。続いて、第1作製工程S402では、取得された血管の立体データに基づいて、作製部620が血管壁(瘤壁11)を含まない血管模型を作製する。
 なお、この取得された血管の立体データは血管の外観の形状を示す情報を有しているが血管壁の厚みの情報を有していないため、血管壁(瘤壁11)を含まない血管模型は、血管の外観の形状を示す模型であり、血管壁の厚みを示す模型ではない。
 さらに、作製部620は、第1作製工程S402によって作製された血管模型30が埋め込まれるための脳模型を作製する(第2作製工程S403)。図10Gは、本変形例に係る脳模型40である。本変形例においては、脳模型40は、血管模型30を含む脳の血管全体模型31が埋め込まれるための模型である。脳模型40は、右脳模型42と左脳模型41とを有しており、右脳模型42と左脳模型41とは分離できるように構成されている。右脳模型42と左脳模型41とが分離されている状態で脳の血管全体模型31を右脳模型42と左脳模型41との間に配置し、右脳模型42と左脳模型41とで挟み込むことで、脳の血管全体模型31が脳模型40に埋め込まれる。
 なお、本変形例においては、脳模型40は、右脳模型42と、左脳模型41とを有したが、これに限られない。他の例では、脳模型が右側脳模型及び左側脳模型を有し、当該右側脳模型及び当該左側脳模型のそれぞれが、大脳、中脳、小脳及び脳幹を含んでいてもよい。
 第2作製工程S403では、一例として、以下のように脳模型40が作製される。
 上記の通り、X線CT装置及びMRI装置などによって血管の立体データが収集される。この血管の立体データが収集されるときに、血管の立体データに加えて、脳の立体データ及び頭蓋骨の立体データも収集される。本変形例においては、例えば、第3取得工程S401では、第3取得部610は、壁厚み推定システム1000の動画像撮影装置400又は動画像情報処理装置300から上記の脳の立体データも取得する。第1作製工程S402の後、第2作製工程S403では、取得された脳の立体データに基づいて、作製部620が脳模型40を作製する。
 続いて、作製部620は、第2作製工程S403によって作製された脳模型40を内包するための頭蓋骨模型を作製する(第3作製工程S404)。図10Hは、本変形例に係る頭蓋骨模型50である。本変形例においては、頭蓋骨模型50には、血管模型30を含む脳の血管全体模型31と、脳模型40とが内包されている。
 なお、図10Hにおいては、脳模型40などが内包される空間を図示するために、頭蓋骨の一部に相当する箇所の模型のみ示され、頭蓋骨の他部に相当する箇所の模型は示されていない。しかし、実際の第3作製工程S404では、頭蓋骨の全体に相当する模型(つまりは頭蓋骨模型50)が作製されている。
 また、頭蓋骨模型50は、脳頭蓋(神経頭蓋)である後頭骨、側頭骨、頭頂骨、前頭骨及び蝶形骨と、顔面頭蓋(内臓頭蓋)である篩骨、涙骨、鼻骨、上顎骨、下顎骨、口蓋骨、下鼻甲介、頬骨、鋤骨及び舌骨とを含む。
 第3作製工程S404では、一例として、以下のように頭蓋骨模型50が作製される。
 上記の通り、X線CT装置及びMRI装置などによって頭蓋骨の立体データも収集される。本変形例においては、例えば、第3取得工程S401では、第3取得部610は、壁厚み推定システム1000の動画像撮影装置400又は動画像情報処理装置300から上記の頭蓋骨の立体データも取得する。第1作製工程S402及び第2作製工程S403の後、第3作製工程S404では、取得された頭蓋骨の立体データに基づいて、作製部620が頭蓋骨模型50を作製する。
 以上のように、本変形例においては、推定情報に基づいて被験者P自身の血管模型30が作製され、さらに、被験者P自身の脳模型40及び頭蓋骨模型50が作製される。
 また、第2作製工程S403では、以下のように脳模型40が作製されてもよい。例えば、被験者Pの脳の立体データを用いず、典型的なサイズの市販の脳模型についての脳の立体データが用いられてもよい。このような脳の立体データは、典型的なサイズの市販の脳模型が、X線CT装置、MRI装置、及び、3次元形状(立体形状)の測定が可能な3Dスキャナーなどによって測定されることで、得られる。なお、この場合、被験者P自身の脳模型40は作製されない。
 医師が被験者P(つまりは患者)の脳動脈瘤10についての手術についての説明を行う際に、作製された被験者P自身の血管模型30、脳模型40及び頭蓋骨模型50が用いられる。特に、血管模型30については、血管模型30における血管壁が厚みごとに異なる態様を示すため、被験者Pは、血管壁のどの部分が厚く又はどの部分が薄いかを容易に理解することができる。被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。つまりは、本変形例に係る模型作製方法は、医師が被験者P(つまりは患者)に手術についての説明を行うことを支援することができる方法である。
 さらに例えば、作製された血管模型30、脳模型40及び頭蓋骨模型50を用いて、医師が手術前に手術の予行演習を行うこともできる。これにより、医師は自信と安心とをもって手術に臨むことができる。つまりは、本変形例に係る模型作製方法は、医師が自信と安心とをもって手術を行うことを支援することができる方法である。
 また、本変形例においては、第1作製工程S402及び第2作製工程S403で作製された血管模型30及び脳模型40は、柔軟性及び弾性を有するとよい。例えば、医者又は被験者Pが自身の手で血管模型30及び脳模型40を触ると血管模型30及び脳模型40が変形し、手を離すと血管模型30及び脳模型40が元の形状に戻るとよい。例えば、血管模型30及び脳模型40は、第1作製工程S402及び第2作製工程S403で、シリコン樹脂などを材料として作製されるとよい。
 また、本変形例においては、第2作製工程S403及び第3作製工程S404で、脳模型40及び頭蓋骨模型50を作製した作製部620は、3Dプリンターであったがこれに限られない。例えば作製部620は、脳模型40及び頭蓋骨模型50のそれぞれが型取りされた金型であってもよく、当該金型に樹脂が流し込まれることで、脳模型40及び頭蓋骨模型50が作製されてもよい。
 また、図10Iは、被験者P以外の他の被験者Cの血管壁(瘤壁11a)を含む血管模型30aである。血管壁(瘤壁11a)を含む血管模型30aは、つまりは、脳動脈瘤10aを含む血管模型30aでもある。図10Iが示す血管模型30aは、被験者Pの血管模型30と同様の方法で作製されている。
 また、図10Iが示すように、血管模型30aは、血液が流れるための流路に相当する孔12aも設けられており、管状である。図10Eが示す血管模型30においても、血管模型30aと同様に、管状である。なお、この孔12aは設けられていなくてもよく、つまりは、図10Eが示す血管模型30は、管状でなくてもよい。
 [変形例2]
 以下、本実施の形態の変形例2に係る壁厚み推定システム1000aの構成について説明する。
 図11は、本変形例に係る壁厚み推定システム1000aの特徴的な機能構成を示すブロック図である。
 壁厚み推定システム1000aは、学習装置500を備える点、及び、壁厚み推定装置100aが第1学習部140を備えない点が、主に、実施の形態に係る壁厚み推定システム1000とは異なる。
 学習装置500は、動画像情報処理装置300によって生成された挙動情報を取得する。学習装置500は、取得された挙動情報に基づく物理パラメータを示す画像と厚み指標との組み合わせで構成された1個以上のデータセットを教師データとして、モデル(ここでは機械学習モデル121)を学習させる。また、学習装置500は、学習済みのモデルを壁厚み推定装置100aが備える生成部120に出力する。学習装置500は、例えば、パーソナルコンピュータであるが、ネットワークに接続された計算能力の高いサーバ装置であってもよい。
 学習装置500は、第2取得部110aと、第2学習部140aとを備える。
 第2取得部110aは、臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。より具体的には、第2取得部110aは、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。第2取得部110aは、具体的には、動画像情報処理装置300によって生成された挙動情報を取得する。第2取得部110aは、例えば、有線通信又は無線通信を行う通信インターフェースである。
 第2学習部140aは、1個以上のデータセットを教師データとして、モデルを学習させる。第2学習部140aは、具体的には、プログラムを実行するプロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。
 1個のデータセットとは、臓器壁又は血管壁における複数の所定の点のうち、所定の点の挙動情報に基づく物理パラメータを示す画像と、当該所定の点の厚みを示す指標との組み合わせで構成されている。
 なお、挙動情報とは、第2取得部110aにより取得された情報である。
 本変形例においては、教師データは、第2学習部140aによって生成されたデータであるとよい。
 続いて、学習装置500が実行する学習方法における具体的な処理手順について説明する。ここでは、血管壁を用いて説明するが、臓器壁についても同様である。
 図12は、本変形例に係る学習装置500がモデル(機械学習モデル121)を学習させる処理手順を示すフローチャートである。
 まず、第2取得部110aは、挙動情報を取得する(第2取得工程S301)。
 さらに、第2学習部140aは、取得された挙動情報に基づいて、教師データを生成し、モデルを学習させる(第2学習工程S302)。より具体的には、第2学習部140aは、機械学習モデル121を学習させる。第2学習部140aは、学習させた機械学習モデル121を生成部120に出力する。
 本変形例が示すように、推定情報を生成する壁厚み推定装置100aと、モデル(機械学習モデル121)を学習させる学習装置500とは、別体の装置であってもよい。
 なお、上記では、第2取得部110aは、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた挙動情報を取得したが、これに限られない。当該動画像は、2次元動画撮像装置を用いて得られた動画像(2次元動画)であってもよい。つまり、第2取得部110aは、2次元動画撮像装置を用いて得られた臓器壁又は血管壁を含む動画像(2次元画像)に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得してもよい。
 当該2次元動画は、例えば、被験者P以外の1人以上の他の被験者についての動画である。ここでは簡単のため、主に1人の他の被験者Dを例として説明する。
 当該2次元動画は、他の被験者Dについて開腹手術又は開頭手術が行われた際に撮影された手術動画である。当該2次元動画は、4次元血管撮影法を用いて得られた動画像とは異なり、3次元のデータ(立体のデータ)ではなく、つまりは、当該2次元動画の深度を示す情報を含まないデータである。なおこの場合、動画像撮影装置400が2次元動画撮像装置(例えばカメラ)に相当する。
 さらに、動画像情報処理装置300は、動画像撮影装置400によって撮像された当該2次元動画を取得する。動画像情報処理装置300は、当該2次元動画の深度の推定を行い、推定された深度を示す深度情報を生成する。例えば、動画像情報処理装置300は、深度推定AIモデルを用いて、当該2次元動画の深度の推定を行うが、これに限られず、他の手法が用いられてもよい。
 図13は、本変形例に係る2次元動画が含む1つの静止画像(1フレーム)と当該1つの静止画像について推定された深度を示す画像とを示す。より具体的には、図13の(a)は、2次元動画が含む1つの静止画像(1フレーム)を示し、図13の(b)は、当該1つの静止画像について推定された深度を示す画像を示す。図13の(b)では、深度が深いほど色が濃く、深度が浅いほど色が薄く示されている。当該2次元動画及び深度情報を組み合わせた情報は、4次元血管撮影法を用いて得られた動画像と同じく3次元のデータ(立体のデータ)となる。
 動画像情報処理装置300は、2次元動画撮像装置を用いて得られた臓器壁又は血管壁を含む動画像及び推定された深度を示す深度情報に基づいて、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を生成する。その後、第2取得部110aは、生成された挙動情報を取得する。つまり、第2取得部110aが取得した挙動情報は、2次元動画撮像装置を用いて得られた臓器壁又は血管壁を含む動画像に基づいた情報である。
 このように、上記動画像は、2次元動画撮像装置を用いて得られた動画像(2次元動画)であっても、上記動画像が4次元血管撮影法を用いて得られた動画像である場合と同様に、挙動情報が推定され、第2取得部110aによって挙動情報が取得される。以後の処理である第2学習工程S302も同様に行われる。
 [効果など]
 以上説明したように、本実施の形態に係る壁厚み推定方法は、第1取得工程S201と、生成工程S202と、出力工程S203とを含む。第1取得工程S201は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。生成工程S202は、第1取得工程S201により取得された挙動情報に基づく物理パラメータを示す画像を入力とし、臓器壁又は血管壁における複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、厚みが可視化された情報である推定情報を生成する。出力工程S203は、生成工程S202により生成された推定情報を出力する。
 これにより、壁厚み推定方法においては、一例として、血管壁を含む動画像が、X線CT装置又はMRI装置と、4次元血管撮影法とを用いて生成される。例えば、開頭手術などの手法と比較すると、低侵襲な手法によって、血管壁を含む動画像が得られる。壁厚み推定方法は、当該動画像に関する挙動情報を利用して、血管壁における複数の所定の点のそれぞれの厚みが可視化された情報である推定情報を生成することができる。推定情報に基づいて推定された血管壁の厚みは、開頭手術により得られた血管壁の厚みとは、よく一致する。
 つまり、壁厚み推定方法は、血管壁における複数の所定の点のそれぞれの付近の壁厚さについて、精度の高い情報を生成することができる。本実施の形態においては、例えば、脳動脈瘤10の瘤壁11の厚みが推定される。このような情報は、例えば、増大及び破裂しやすい脳動脈瘤と、増大及び破裂し難い脳動脈瘤とを分別し、治療要否を適切に判断するための有益な情報である。
 なお、壁厚み推定方法は、血管壁に限られず、臓器壁の厚みを推定するためにも利用することができる。
 つまり、本実施の形態に係る壁厚み推定方法は、低侵襲な手法により臓器壁又は血管壁に関する高精度な情報を生成することで、臓器又は血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる。
 また、本実施の形態に係る壁厚み推定方法は、さらに、第1学習工程S102を含む。第1学習工程S102は、複数の所定の点のうち、当該所定の点の挙動情報に基づく物理パラメータを示す画像と、当該所定の点の厚みを示す指標との組み合わせで構成された1個以上のデータセットを教師データとして、モデルを学習させる。
 これにより、モデルは、入力された物理パラメータを示す画像に基づいて、厚みを示す指標を出力することができる。このため、本実施の形態に係る壁厚み推定方法は、低侵襲な手法により臓器壁又は血管壁に関するより高精度な情報を生成することができる。
 また、本実施の形態に係る第1学習工程は、機械学習を用いてモデルに学習させる。
 これにより、生成工程S202では、機械学習を用いて学習されたモデル(機械学習モデル121)を用いて推定情報を生成することができる。このため、本実施の形態に係る壁厚み推定方法は、低侵襲な手法により臓器壁又は血管壁に関するより高精度な情報を生成することができる。
 また、本実施の形態に係る推定情報は、厚みが可視化された画像情報である。
 これにより、推定情報が画像情報として得られる。このため、例えば、医師などは、臓器壁又は血管壁の厚みについての精度の高い情報を視覚的に得ることができる。
 また、壁厚み推定方法においては、血管壁は、動脈瘤又は静脈瘤における瘤壁であってもよい。
 これにより、壁厚み推定方法は、動脈瘤又は静脈瘤の瘤壁の厚みを推定することができる。
 また、本実施の形態に係る壁厚み推定方法においては、血管壁は、脳動脈瘤10における瘤壁11である。
 これにより、壁厚み推定方法は、脳動脈瘤10の瘤壁11の厚みを推定することができる。
 また、壁厚み推定方法においては、血管壁は、動脈又は静脈における血管壁であってもよい。
 これにより、壁厚み推定方法は、動脈又は静脈の血管壁の厚みを推定することができる。
 また、コンピュータプログラムは、上記に記載の壁厚み推定方法をコンピュータに実行させてもよい。
 これにより、上記の壁厚み推定方法がコンピュータによって実行される。
 また、変形例2に係る学習方法は、第2取得工程S301と、第2学習工程S302とを含む。第2取得工程S301は、臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。第2学習工程S302は、第2取得工程により取得された挙動情報であって、複数の所定の点のうち当該所定の点の挙動情報に基づく物理パラメータを示す画像と、複数の所定の点のうち当該所定の点の厚みを示す指標との組み合わせで構成された1個以上のデータセットを教師データとして、モデルを学習させる。
 このようなモデルが本実施の形態に係る生成工程S202で用いられた場合には、モデルは、入力された物理パラメータを示す画像に基づいて、厚みを示す指標を出力することができる。このため、変形例2に係る学習方法が利用された壁厚み推定方法は、低侵襲な手法により臓器壁又は血管壁に関するより高精度な情報を生成することができる。
 変形例2に係る学習方法においては、動画像は、4次元血管撮影法、又は、2次元動画撮像装置を用いて得られた動画像である。
 これにより、第2取得工程S301は、4次元血管撮影法、又は、2次元動画撮像装置を用いて得られた動画像に基づいた挙動情報を取得することができる。
 変形例1に係る模型作製方法は、上記に記載の生成工程S202により生成された推定情報を取得する第3取得工程S401と、上記に記載の血管壁を含む血管模型30を作製する工程であって、第3取得工程S401によって取得された推定情報によって可視化された厚みに基づいて、血管模型30に含まれる血管壁が厚みごとに異なる態様を示すように血管模型30を作製する第1作製工程S402とを含む。
 変形例1においては、被験者P自身の血管模型30が作製される。作製された被験者P自身の血管模型30は、医師が被験者P(つまりは患者)の手術についての説明を行う際に、用いられる。特に、血管模型30については、血管模型30における血管壁が厚みごとに異なる態様を示すため、被験者Pは、血管壁のどの部分が厚く又はどの部分が薄いかを容易に理解することができる。このため、被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。つまりは、変形例1に係る模型作製方法は、医師が被験者P(つまりは患者)に手術についての説明を行うことを支援することができる方法である。
 さらに例えば、作製された血管模型30を用いて、医師が手術前に手術の予行演習を行うこともできる。これにより、医師は自信と安心とをもって手術に臨むことができる。つまりは、本変形例に係る模型作製方法は、医師が自信と安心とをもって手術を行うことを支援することができる方法である。
 変形例1に係る模型作製方法においては、第1作製工程S402では、血管壁が厚みごとに異なる色を示すように血管模型30を作製する。
 これにより、被験者Pは、血管壁のどの部分が厚く又はどの部分が薄いかをより容易に理解することができる。被験者Pは、上記手術についての理解をより深めることができ、納得して手術をうけることができるようになる。つまりは、医師が被験者P(つまりは患者)に手術についての説明を行うことをより容易に支援することができる模型作製方法が実現される。
 変形例1に係る模型作製方法においては、第1作製工程S402によって作製された血管模型30に含まれる血管壁は、脳動脈瘤に10おける瘤壁11である。変形例1に係る模型作製方法は、第1作製工程S402によって作製された血管模型30が埋め込まれるための脳模型40を作製する第2作製工程S403を含む。
 変形例1においては、被験者P自身の血管模型30及び脳模型40が作製される。作製された被験者P自身の血管模型30、脳模型40は、医師が被験者P(つまりは患者)の脳動脈瘤10についての手術についての説明を行う際に、用いられる。血管模型30が含む血管壁が脳動脈瘤10における瘤壁11である場合に、被験者Pは、脳動脈瘤10及び瘤壁11が被験者Pの脳のどこに位置するかを容易に理解することができる。このため、被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。つまりは、医師が被験者P(つまりは患者)に手術についての説明を行うことをより容易に支援することができる模型作製方法が実現される。
 変形例1に係る模型作製方法は、第2作製工程S403によって作製された脳模型40を内包するための頭蓋骨模型50を作製する第3作製工程S404を含む。
 変形例1においては、被験者P自身の血管模型及び脳模型が作製される。作製された被験者P自身の血管模型30、脳模型40及び頭蓋骨模型50は、医師が被験者P(つまりは患者)の脳動脈瘤10についての手術についての説明を行う際に、用いられる。被験者Pは、脳動脈瘤10、瘤壁11、脳及び頭蓋骨の位置関係を容易に理解することができる。このため、被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。つまりは、医師が被験者P(つまりは患者)に手術についての説明を行うことをより容易に支援することができる模型作製方法が実現される。
 また、頭蓋骨模型50は、脳頭蓋(神経頭蓋)である後頭骨、側頭骨、頭頂骨、前頭骨及び蝶形骨と、顔面頭蓋(内臓頭蓋)である篩骨、涙骨、鼻骨、上顎骨、下顎骨、口蓋骨、下鼻甲介、頬骨、鋤骨及び舌骨とを含む。
 これにより、被験者Pは、前頭部と後頭部との位置関係、換言すると顔の前方と後方とを容易に理解することができる。このため、被験者Pは、上記手術についての理解を深めることができ、納得して手術をうけることができるようになる。つまりは、医師が被験者P(つまりは患者)に手術についての説明を行うことをより容易に支援することができる模型作製方法が実現される。
 また、本実施の形態に係る壁厚み推定装置100は、第1取得部110と、生成部120と、出力部130とを備える。第1取得部110は、4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、臓器壁又は血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する。生成部120は、第1取得部110により取得された挙動情報に基づく物理パラメータを示す画像を入力とし、臓器壁又は血管壁における複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、厚みが可視化された情報である推定情報を生成する。出力部130は、生成部120により生成された推定情報を出力する。
 これにより、壁厚み推定装置100においては、一例として、血管壁を含む動画像が、X線CT装置又はMRI装置と、4次元血管撮影法とを用いて生成される。例えば、開頭手術などの手法と比較すると、低侵襲な手法によって、血管壁を含む動画像が得られる。壁厚み推定装置100は、当該動画像に関する挙動情報を利用して、血管壁における複数の所定の点のそれぞれの厚みが可視化された情報である推定情報を生成することができる。推定情報に基づいて推定された血管壁の厚みは、開頭手術により得られた血管壁の厚みとは、よく一致する。
 つまり、壁厚み推定装置100は、血管壁における複数の所定の点のそれぞれの付近の壁厚さについて、精度の高い情報を生成することができる。本実施の形態においては、例えば、脳動脈瘤10の瘤壁11の厚みが推定される。このような情報は、例えば、増大及び破裂しやすい脳動脈瘤と、増大及び破裂し難い脳動脈瘤とを分別し、治療要否を適切に判断するための有益な情報である。
 なお、壁厚み推定装置100は、血管壁に限られず、臓器壁の厚みを推定するためにも利用することができる。
 つまり、本実施の形態に係る壁厚み推定装置100は、低侵襲な手法により臓器壁又は血管壁に関する高精度な情報を生成することで、臓器又は血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる。
 また、本実施の形態に係る壁厚み推定システム1000は、上記に記載の壁厚み推定装置100と、動画像を取得し、挙動情報を生成して第1取得部110に出力する動画像情報処理装置300と、出力部130が出力した推定情報を表示する表示装置200とを備える。
 上記の通り、本実施の形態に係る壁厚み推定装置100は、低侵襲な手法により臓器壁又は血管壁に関する高精度な情報を生成することができる。よって、このような壁厚み推定装置100を備える本実施の形態に係る壁厚み推定システム1000は、臓器又は血管の疾患に対して具体的な処置を施すための有益な情報を提案することができる。
 さらに、推定情報が可視化されて表示されることで、例えば、医師などは、臓器壁又は血管壁の厚みについての精度の高い情報を視覚的に得ることができる。
 (その他の実施の形態)
 以上、実施の形態及び変形例に係る壁厚み推定方法等について説明したが、本発明は、上記実施の形態に限定されるものではない。
 また、第1学習部140は、機械学習によりモデル(機械学習モデル121)を更新してもよい。
 第1学習部140による機械学習モデル121の更新は、リアルタイムに行われることを要せず、第2入力画像と、当該第2入力画像と紐づけられた厚み指標とを教師データとして、事後的に行われてもよい。
 なお、発明者は、以下の検証も行っている。
 上記実施の形態では、第1学習部140がモデル(機械学習モデル121)を学習させる際に、被験者P以外の、複数の他の被験者から得られた教師データを用いた。ここでは、発明者は、検証として、この教師データに替えて、被験者Pと複数の他の被験者とから得られた教師データを用いた。つまり、第1学習部140は、被験者Pと複数の他の被験者とから得られた教師データを用いて機械学習モデル121を学習させた。このような場合でも、生成部120はこの機械学習モデル121を用いて被験者Pの推定情報を生成することができる。
 なお、本実施の形態及び変形例においては、当該所定の点の厚み指標は、動画像撮影装置400により得られる血管壁を含む動画像と、開頭手術により得られる手術画像が示す脳内の脳動脈瘤10の色調とに基づいて得られた指標である。
 しかし、これに限られず、当該所定の点の厚み指標は、当該動画像と、手術画像とは異なる他の情報とに基づいて得られてもよい。他の情報とは、例えば、数理解析によって得られた複数の所定の点のそれぞれの質量が推定された情報である。
 この場合、当該所定の点のそれぞれの質量が重いほど当該所定の点の厚みは厚く、当該所定の点のそれぞれの質量が軽いほど当該所定の点の厚みは薄いとされる。そのため、複数の所定の点のうち、質量が重い方から20000個の点の厚み指標を「0」とし、複数の所定の点のうち、質量が軽い方から2000個の点の厚み指標を「1」としてもよい。このように厚み指標が得られてもよい。
 上記実施の形態においては、実際の症例と4次元血管撮影法とを用いることで、挙動情報が得られる方法が示された。しかしながら、挙動情報が得られる方法はこれに限らない。例えば、以下に示すその他の例1及びその他の例2の方法により挙動情報が得られてもよい。
 その他の例1の方法においては、人工的に作られた人工瘤と、人工瘤に接続された人工心臓と、撮像装置とが用いられることで、挙動情報が得られる。
 人工瘤は、人工的な血管と人工的な瘤とを有する。人工的な血管と人工的な瘤とは、ヒトの血管とヒトの血管に発生した瘤とを模して作られる。人工瘤は、例えば、ゴム材料によって構成されてもよく、シリコンゴム、フッ素ゴムなどを利用することができる。
 また、人工瘤は、例えば、シリコン樹脂によって構成されてもよい。人工瘤は、可撓性のある材料によって構成されれば、上記に限られるものではない。
 人工瘤は、上記に記載のX線CT装置又はMRI装置により得られた画像データを利用して作られる。この画像データには、ヒトの血管と、当該血管に発生した瘤とのデータが含まれる。
 人工瘤は、上記得られた画像データに関するDICOM(Digital Imaging and Communications in Medicine)データを基にして、作られる。
 人工心臓は、ヒトの心臓がもつポンプ機能を代行する装置である。この人工心臓と人工瘤とが接続され、人工心臓がもつポンプ機能を稼働させることで、人工瘤が脈動するように動く。この人工瘤の動きと撮像装置とを用いて、挙動情報が得られる。
 撮像装置は、例えば、静止画像及び動画を撮像可能なカメラ装置である。さらに、撮像装置は、観察対象の表面の3次元座標及び3次元空間での変位の情報を得ることができる装置であってもよい。このような撮像装置は、1秒、5秒又は10秒撮像することで、観察対象の表面の3次元座標、3次元空間での変位、3次元空間での速度及び3次元空間での加速度の全ての情報を得ることができる。
 なお、撮像装置が撮像する時間は、上記に限られず、他の時間であってもよい。また、この場合においても、X線CT装置又はMRI装置を利用することができる。
 以上のように、その他の例1の方法においては、撮像装置が、脈動する人工瘤を撮像することで、人工瘤の表面の3次元座標及び3次元空間での変位の情報が得られる。これらの3次元座標及び3次元空間での変位のうち、いずれか又は全ての情報を基に、挙動情報が得られてもよい。
 その他の例1の方法においては、上記に記載の開頭手術と比べ、低侵襲な手法であるため、より容易に挙動情報を得ることができる。
 また、その他の例2の方法においては、血管に瘤が発生しているモデル動物と、上記の撮像装置とが用いられることで、挙動情報が得られる。また、この場合においても、X線CT装置又はMRI装置を利用することができる。
 具体的には、撮像装置が、モデル動物の血管と瘤とを撮像することで、モデル動物の血管と瘤との表面の3次元座標及び3次元空間での変位の情報が得られる。これらのうち、いずれか又は全ての情報を基に、挙動情報が得られてもよい。
 その他の例2の方法においては、実施の形態で示したヒトの症例の場合と異なり、症例の対象となるヒトの同意書などが必要ではない。また、モデル動物の血管と瘤との表面に撮像に必要な模様付け(例えば、スプレーの吹き付けによるマーキング)が出来るため、精緻な3次元座標の時間発展データが取得される。
 さらに、モデル動物の血管と瘤とのデータを時間等間隔(2週間に1度など)で取得することができる。よって、実施の形態に比べ、より容易に挙動情報を得ることができる。
 上記の方法を用いることで、容易に数多くの挙動情報が得られるようになり、その結果、多数の推定情報が得られるようになる。これにより、壁に関する情報の精度の向上が見込まれる。
 本実施の形態では、血管壁の厚みが脳動脈瘤10の瘤壁11の厚みである場合を示したが、上述のように、動脈又は静脈を含む血管の壁の厚みであってもよい。例えば、血管壁が動脈又は静脈を含む血管の厚みである場合、実施の形態に係る壁厚み推定方法などを用いることで、当該動脈又は静脈の狭窄の程度が推定される。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
 本発明に係る壁厚み推定方法は、医療機器、医療方法などの様々な用途に利用可能である。
 10、10a 脳動脈瘤
 11、11a 瘤壁
 12a 孔
 20 母血管
 30、30a 血管模型
 31 血管全体模型
 40 脳模型
 41 左脳模型
 42 右脳模型
 50 頭蓋骨模型
 100、100a 壁厚み推定装置
 110 第1取得部
 110a 第2取得部
 120 生成部
 130 出力部
 140 第1学習部
 140a 第2学習部
 200 表示装置
 300 動画像情報処理装置
 400 動画像撮影装置
 500 学習装置
 610 第3取得部
 620 作製部
 1000、1000a 壁厚み推定システム
 2000 模型作製システム
 A 領域
 B 他の被験者
 C 他の被験者
 D 他の被験者
 P 被験者
 p0、p1、p2、p3、p4、p5、p6、p7、p8、p9、p10、p11 点
 S102 第1学習工程
 S201 第1取得工程
 S202 生成工程
 S203 出力工程
 S301 第2取得工程
 S302 第2学習工程
 S401 第3取得工程
 S402 第1作製工程
 S403 第2作製工程
 S404 第3作製工程

Claims (16)

  1.  4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する第1取得工程と、
     前記第1取得工程により取得された前記挙動情報に基づく物理パラメータを示す画像を入力とし、前記臓器壁又は前記血管壁における前記複数の所定の点のそれぞれの厚みを示す指標を出力とする学習済みのモデルを用いて、前記厚みが可視化された情報である推定情報を生成する生成工程と、
     前記生成工程により生成された前記推定情報を出力する出力工程とを含む
     壁厚み推定方法。
  2.  さらに、前記複数の所定の点のうち、当該所定の点の前記挙動情報に基づく前記物理パラメータを示す前記画像と、当該所定の点の前記厚みを示す前記指標との組み合わせで構成された1個以上のデータセットを教師データとして、前記モデルを学習させる第1学習工程を含む
     請求項1に記載の壁厚み推定方法。
  3.  前記第1学習工程は、機械学習を用いて前記モデルに学習させる
     請求項2に記載の壁厚み推定方法。
  4.  前記推定情報は、前記厚みが可視化された画像情報である
     請求項1~3のいずれか1項に記載の壁厚み推定方法。
  5.  前記血管壁は、動脈瘤又は静脈瘤における瘤壁である
     請求項1~4のいずれか1項に記載の壁厚み推定方法。
  6.  前記血管壁は、脳動脈瘤における瘤壁である
     請求項1~5のいずれか1項に記載の壁厚み推定方法。
  7.  前記血管壁は、動脈又は静脈における血管壁である
     請求項1~4のいずれか1項に記載の壁厚み推定方法。
  8.  請求項1~7のいずれか1項に記載の壁厚み推定方法をコンピュータに実行させるためのコンピュータプログラム。
  9.  臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する第2取得工程と、
     前記第2取得工程により取得された前記挙動情報であって、前記複数の所定の点のうち当該所定の点の前記挙動情報に基づく物理パラメータを示す画像と、前記複数の所定の点のうち当該所定の点の厚みを示す指標との組み合わせで構成された1個以上のデータセットを教師データとして、モデルを学習させる第2学習工程とを含む
     学習方法。
  10.  前記動画像は、4次元血管撮影法、又は、2次元動画撮像装置を用いて得られた動画像である
     請求項9に記載の学習方法。
  11.  請求項1に記載の前記生成工程により生成された前記推定情報を取得する第3取得工程と、
     請求項1に記載の前記血管壁を含む血管模型を作製する工程であって、前記第3取得工程によって取得された前記推定情報によって可視化された前記厚みに基づいて、前記血管模型に含まれる前記血管壁が前記厚みごとに異なる態様を示すように血管模型を作製する第1作製工程とを含む
     模型作製方法。
  12.  前記第1作製工程では、前記血管壁が前記厚みごとに異なる色を示すように前記血管模型を作製する
     請求項11に記載の模型作製方法。
  13.  前記第1作製工程によって作製された前記血管模型に含まれる前記血管壁は、脳動脈瘤における瘤壁であり、
     前記模型作製方法は、
     前記第1作製工程によって作製された前記血管模型が埋め込まれるための脳模型を作製する第2作製工程を含む
     請求項12に記載の模型作製方法。
  14.  前記第2作製工程によって作製された前記脳模型を内包するための頭蓋骨模型を作製する第3作製工程を含む
     請求項13に記載の模型作製方法。
  15.  4次元血管撮影法を用いて得られた臓器壁又は血管壁を含む動画像に基づいた、前記臓器壁又は前記血管壁における複数の所定の点のそれぞれの位置の時間変化に関する数値情報である挙動情報を取得する取得部と、
     前記取得部により取得された前記挙動情報に基づく物理パラメータを示す画像を入力とし、前記臓器壁又は前記血管壁における前記複数の所定の点のそれぞれの厚みを示す指標
    を出力とする学習済みのモデルを用いて、前記厚みが可視化された情報である推定情報を生成する生成部と、
     前記生成部により生成された前記推定情報を出力する出力部とを備える
     壁厚み推定装置。
  16.  請求項15に記載の壁厚み推定装置と、
     前記動画像を取得し、前記挙動情報を生成して前記取得部に出力する動画像情報処理装置と、
     前記出力部が出力した前記推定情報を表示する表示装置とを備える
     壁厚み推定システム。
PCT/JP2022/037678 2021-10-08 2022-10-07 壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム WO2023058759A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280057602.3A CN117858669A (zh) 2021-10-08 2022-10-07 壁厚度推测方法、计算机程序、学习方法、模型制作方法、壁厚度推测装置以及壁厚度推测系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-166437 2021-10-08
JP2021166437 2021-10-08

Publications (1)

Publication Number Publication Date
WO2023058759A1 true WO2023058759A1 (ja) 2023-04-13

Family

ID=85804367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037678 WO2023058759A1 (ja) 2021-10-08 2022-10-07 壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム

Country Status (2)

Country Link
CN (1) CN117858669A (ja)
WO (1) WO2023058759A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087957A1 (en) * 2017-09-21 2019-03-21 The Regents Of The University Of Michigan Techniques of deformation analysis for quantification of vascular enlargement
WO2020044770A1 (ja) * 2018-08-27 2020-03-05 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2021019809A1 (ja) * 2019-08-01 2021-02-04 国立大学法人大阪大学 血管壁厚み推定方法、血管壁厚み推定装置及び血管壁厚み推定システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087957A1 (en) * 2017-09-21 2019-03-21 The Regents Of The University Of Michigan Techniques of deformation analysis for quantification of vascular enlargement
WO2020044770A1 (ja) * 2018-08-27 2020-03-05 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2021019809A1 (ja) * 2019-08-01 2021-02-04 国立大学法人大阪大学 血管壁厚み推定方法、血管壁厚み推定装置及び血管壁厚み推定システム

Also Published As

Publication number Publication date
CN117858669A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US11195340B2 (en) Systems and methods for rendering immersive environments
CN106909771B (zh) 用于输出增强现实信息的方法和系统
Binder et al. Stereolithographic biomodeling to create tangible hard copies of cardiac structures from echocardiographic data: in vitro and in vivo validation
CN107007352B (zh) 用于患者特异性血流建模的方法和系统
CN105976348A (zh) 医学成像中的个性化全身循环
CN109949322A (zh) 一种基于磁共振t1增强图像的脑血管图像分割方法
WO2023058759A1 (ja) 壁厚み推定方法、コンピュータプログラム、学習方法、模型作製方法、壁厚み推定装置及び壁厚み推定システム
CN110555261B (zh) 心脏运动的数字三生仿真方法及装置
CN114173665A (zh) 血管壁厚度推测方法、血管壁厚度推测装置及血管壁厚度推测系统
Mill et al. Domain expert evaluation of advanced visual computing solutions and 3D printing for the planning of the left atrial appendage occluder interventions
Capellini et al. 3D Printing and 3D Virtual Models for Surgical and Percutaneous Planning of Congenital Heart Diseases.
JP2022073363A (ja) 医用データ処理装置、医用データ処理方法及び医用データ処理プログラム
WO2023021671A1 (ja) 壁厚み推定方法、壁厚み推定装置及び壁厚み推定システム
WO2022190821A1 (ja) 壁厚み推定方法、コンピュータプログラム、壁厚み推定装置及び壁厚み推定システム
JP7381081B2 (ja) 壁厚み推定方法、壁厚み推定装置及び壁厚み推定システム
EP4181789B1 (en) One-dimensional position indicator
US20230402176A1 (en) Systems and methods for controlling medical operations
US20240055138A1 (en) System and method of patient profile creation
CN210466956U (zh) 一种颅神经模型
CN117475693A (zh) 一种基于3D-slicer的神经外科教学系统
Lamb Be still, my beeping heart
Santhanam et al. A Framework for Modeling and Visualizing Cardiovascular Deformation Under Normal and Altered Circulatory Conditions
CN114565741A (zh) 手术辅助的数据处理方法、装置、设备、介质与系统
Krestin Radiology Towards the Next Millennium: future of medical imaging
Ferreira Computational Left-Ventricle Reconstruction from MRI Data for Patient-specific Cardiac Simulations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878626

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280057602.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023552970

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE