WO2023074880A1 - 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム - Google Patents

椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム Download PDF

Info

Publication number
WO2023074880A1
WO2023074880A1 PCT/JP2022/040539 JP2022040539W WO2023074880A1 WO 2023074880 A1 WO2023074880 A1 WO 2023074880A1 JP 2022040539 W JP2022040539 W JP 2022040539W WO 2023074880 A1 WO2023074880 A1 WO 2023074880A1
Authority
WO
WIPO (PCT)
Prior art keywords
vertebral body
estimation model
image
image data
estimation
Prior art date
Application number
PCT/JP2022/040539
Other languages
English (en)
French (fr)
Inventor
航太 渡邉
武雄 名倉
祥宏 前田
哲 佐次田
敦之 古山
大造 林田
晋 堀川
直 小関
Original Assignee
Jsr株式会社
慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jsr株式会社, 慶應義塾 filed Critical Jsr株式会社
Publication of WO2023074880A1 publication Critical patent/WO2023074880A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a vertebral body estimation model learning device, a vertebral body estimation device, a fixation condition estimation device, a vertebral body estimation model learning method, a vertebral body estimation method, a fixation condition estimation method, and a program.
  • the vertebral body may be imaged, and a treatment policy may be determined based on the imaged result.
  • a person such as a doctor who estimates the state of the vertebral body from the imaging result, such as a radiological technologist, reads the state of the vertebral body from the imaging result, and determines a treatment policy based on the read result. Therefore, those who estimate the state of the vertebral bodies from the imaging results need to read the state of the vertebral bodies from the imaging results.
  • an object of the present invention is to provide a technology that reduces the burden required for determining a treatment policy when treating physical abnormalities related to vertebral bodies.
  • a vertebral body estimation model which is a mathematical model for estimating a vector from the vertex to the center of the vertebral body, the position of the vertex of the vertebral body appearing in the two-dimensional image of the vertebral body to be estimated and each of the vertices a vertebral body estimation model execution unit that estimates the vector of the vertebral body estimation model execution unit, the result of estimation by the vertebral body estimation model execution unit, the position of each vertex of the vertebral body, the position of the center, and a vector from the vertex to the center of the vertebral body and an updating unit that updates the vertebral body estimation model based on training data that is a pair of correct values of the vertebra
  • One aspect of the present invention includes a target data acquisition unit that acquires image data of a two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body, and image data of the two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body.
  • a vertebral body estimation model which is a mathematical model for estimating the position of each vertex of the vertebral body, the position of the center of the vertebral body, and a vector for each vertex that is directed from the vertex to the center of the vertebral body, based on by executing a vertebral body estimation model execution unit that estimates the positions of the vertices of the vertebral bodies appearing in the vertebral body two-dimensional image to be estimated and the vectors for each of the vertices, and the estimation by the vertebral body estimation model execution unit an updating unit that updates the vertebral body estimation model based on the result and training data that is a pair of correct values of the position of each vertex of the vertebral body, the position of the center, and the vector from the vertex to the center of the vertebral body; Using the vertebral body estimation model updated until a predetermined end condition is satisfied by the vertebral body estimation model learning device comprising
  • the vertebral body estimation device includes a vertebral body estimating unit for
  • a target data acquisition unit for acquiring image data of a vertebral body image, which is an image of a vertebral body;
  • a fixation condition estimation model which is a mathematical model for estimating system information and the size and installation position of an intravertebral fixation device to be installed in the vertebral body
  • the image data of the vertebral body image to be estimated can be obtained.
  • a fixation condition estimation model execution unit for estimating coordinate system information indicating each position of the image, the size and installation position of the intravertebral fixation device to be installed in the vertebral body, and estimation by the fixation condition estimation model execution unit.
  • an updating unit that updates the fixed condition estimation model based on the result of the target data using the fixed condition estimation model updated by the fixed condition estimation model learning device until a predetermined end condition is satisfied
  • coordinate system information indicating each position of the image shown in the image data, and the size and installation position of the intravertebral fixation device to be installed in the vertebral body shown in the image of the image data.
  • a fixation condition estimating unit that estimates the vertebral body image is a three-dimensional image showing the vertebral body, and the image data of the vertebral body image is a two-dimensional image showing the vertebral body 2
  • a vertebral body estimation model executing unit for estimating the positions of the vertices of the vertebral bodies shown in the two-dimensional image of the vertebral bodies to be estimated and the vectors for each of the vertices by executing a vertebral body estimation model; and the vertebral body estimation.
  • the vertebral body estimation model is generated based on the results of the estimation by the model execution unit and training data that is a pair of correct values of the position of each vertex of the vertebral body, the position of the center, and the vector from the vertex to the center of the vertebral body.
  • an updating unit for updating, using the result of executing the vertebral body estimation model updated until a predetermined termination condition is satisfied by the vertebral body estimation model learning device for a plurality of vertebral body two-dimensional images,
  • a fixed condition estimator which is obtained image data.
  • One aspect of the present invention is the position of each vertex of the vertebral body and the vector for each vertex based on the image data of the two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body.
  • a vertebral body estimation model which is a mathematical model for estimating a vector directed toward the center, the positions of the vertices of the vertebral bodies appearing in the image data of the two-dimensional image of the vertebral body to be estimated and the vectors for each of the vertices are obtained.
  • an update step of updating the vertebral body estimation model based on the result of estimation by the vertebral body estimation model execution step.
  • One aspect of the present invention includes a target data acquisition step of acquiring image data of a two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body, and image data of the two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body.
  • a vertebral body estimation model which is a mathematical model for estimating the position of each vertex of the vertebral body and a vector for each vertex, which is a vector directed from the vertex to the center of the vertebral body, based on
  • a vertebral body estimation model execution unit for estimating the positions of the vertices of the vertebral bodies shown in the image data of the target vertebral body two-dimensional image and the vector for each of the vertices, and the result of estimation by the vertebral body estimation model execution unit , an updating unit that updates the vertebral body estimation model, and the vertebral body estimation model updated until a predetermined end condition is satisfied by the vertebral body estimation model learning device, which is acquired in the target data acquisition step a vertebral body estimation step of estimating, based on the image data, the position of each vertex of the vertebral body appearing in the image indicated by the image data and the vector for each vertex.
  • a fixation condition estimation model which is a mathematical model for estimating system information and the size and installation position of an intravertebral fixation device to be installed in the vertebral body
  • the image data of the vertebral body image to be estimated can be obtained.
  • a fixation condition estimation model execution unit for estimating coordinate system information indicating each position of the image, the size and installation position of the intravertebral fixation device to be installed in the vertebral body, and estimation by the fixation condition estimation model execution unit.
  • an updating unit that updates the fixed condition estimation model based on the result of the target data using the fixed condition estimation model updated by the fixed condition estimation model learning device until a predetermined end condition is satisfied
  • coordinate system information indicating each position of the image shown in the image data, and the size and installation position of the intravertebral fixation device to be installed in the vertebral body shown in the image of the image data. and a fixed condition estimation step of estimating .
  • One aspect of the present invention is a program for causing a computer to function as the vertebral body estimation model learning device.
  • One aspect of the present invention is a program for causing a computer to function as the above-described vertebral body estimation device.
  • the present invention it is possible to reduce the burden required for determining the treatment policy when treating physical abnormalities related to the vertebral bodies.
  • FIG. 2 is a diagram showing an example of a hardware configuration of a vertebral body estimation model learning device according to the first embodiment; The figure which shows an example of a structure of the control part with which the vertebral-body estimation model learning apparatus in 1st Embodiment is provided. 4 is a flowchart showing an example of the flow of processing executed by the vertebral body estimation model learning device according to the first embodiment; FIG.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the vertebral body estimation device according to the first embodiment;
  • 4 is a flowchart showing an example of the flow of processing executed by the vertebral body estimation device according to the first embodiment;
  • FIG. 9 is a flow chart showing an example of the flow of processing executed by a control unit in a second modification of the first embodiment
  • FIG. 11 is a first diagram for explaining an example of a coordinate system indicating correct coordinate system information in the second embodiment
  • FIG. 20 is a second diagram for explaining an example of a coordinate system indicating correct coordinate system information in the second embodiment
  • FIG. 10 is a flowchart showing an example of the flow of processing executed by the fixed condition estimation model learning device according to the second embodiment;
  • 9 is a flowchart showing an example of the flow of processing executed by a fixed condition estimation device according to the second embodiment;
  • FIG. 1 is an explanatory diagram for explaining the outline of the vertebral body estimation model learning device 1 of the first embodiment.
  • the vertebral body estimation model learning device 1 obtains a mathematical model for estimating the position of a human or animal vertebral body using a machine learning method.
  • the vertebral body estimation model learning device 1 learns the vertebral body estimation model when obtaining a mathematical model for estimating the position of the vertebral body of a human or animal.
  • the vertebral body estimation model is a mathematical model for estimating each position of the vertebral body vertices and the central orientation vector in the image of the vertebral body two-dimensional image data based on the input vertebral body two-dimensional image data.
  • the vertebral body two-dimensional image data is image data of a two-dimensional image of the vertebral body.
  • a vertebral body vertex is each vertex of a vertebral body.
  • a central directing vector is a vector for each vertebral body vertex and is a vector from each vertebral body vertex toward the center of the vertebral body.
  • the center is, for example, the center of gravity.
  • the center may be, for example, the intersection of diagonals of a quadrilateral formed by four vertebral body vertices.
  • An image represented by the vertebral body two-dimensional image data is hereinafter referred to as a vertebral body two-dimensional image.
  • An image G1 in FIG. 1 is an example of a two-dimensional image of a vertebral body. Note that the image G1 is a coronal plane image. Image G1 shows three vertebral bodies. An image G2 in FIG. 1 is an image showing the vertebral body vertex appearing in the image G1. More specifically, points P1 to P12 in image G2 are examples of vertebral body apexes.
  • vertebral body vertices P1-P4 are four vertices belonging to one of the three vertebral bodies.
  • Vertebral body vertices P5-P8 in image G2 are four vertebral vertices belonging to the other one of the three vertebral bodies.
  • vertebral body vertices P9-P12 are four vertices belonging to the last one of the three vertebral bodies.
  • An image G2 in FIG. 1 shows central directional vectors for three of the vertebral body vertices shown in the image G1 as an example of central directional vectors.
  • Vector V1, vector V2, and vector V3 in image G2 are all examples of center-directed vectors.
  • Vector V1 is a centrally directed vector at vertebral vertex P3.
  • Vector V2 is a centrally directed vector at vertebral vertex P7.
  • Vector V3 is a centrally directed vector at vertebral vertex P11.
  • the centrodirecting vector is the location of each vertex of a vertebral body, the location of the center of that vertebral body and the vector per vertex that goes from the vertex to the center of the vertebral body.
  • a mathematical model is a set containing one or more processes whose execution conditions and order (hereinafter referred to as "execution rules") are predetermined.
  • Learning means updating the mathematical model by means of machine learning. Updating the mathematical model means suitably adjusting the values of the parameters in the mathematical model.
  • Execution of the mathematical model means executing each process included in the mathematical model according to execution rules. Note that the processing included in the mathematical model may include processing for executing other mathematical models.
  • the mathematical model is updated through learning until a predetermined end condition (hereinafter referred to as "learning end condition") is satisfied.
  • the learning end condition is, for example, that learning has been performed a predetermined number of times.
  • the vertebral body two-dimensional image data may be two-dimensional image data obtained from three-dimensional CT (Computed Tomography) images, or two-dimensional image data obtained using MRI (Magnetic Resonance Imaging). It may be image data of an image, or image data of an X-ray photograph obtained by X-ray photography.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • DDR Digitally Reconstructed Radiograph
  • the vertebral body two-dimensional image data may be any image data as long as the vertebral body is shown in the image. It is desirable to implement a devised technique in order to reduce the burden required to acquire Examples of such techniques are described in Modifications.
  • ⁇ Details of learning of the vertebral body estimation model a set of vertebral body two-dimensional image data, correct vertex information, and correct vector information is used as training data.
  • the correct vertex information is information indicating each position of the vertebral body vertex appearing in the image indicated by the vertebral body two-dimensional image data belonging to the same group.
  • the correct vector information is information indicating the central directional vector for each vertebral body vertex appearing in the image indicated by the vertebral body two-dimensional image data belonging to the same group.
  • One training data is used for each trial in learning.
  • the vertebral body estimation model is updated for each trial.
  • the position of the vertebral body apex indicated by the correct data may be, for example, the position of the vertebral body apex manually specified by a doctor through diagnosis.
  • the vertebral body estimation model is executed with respect to the vertebral body two-dimensional image data included in the training data.
  • the vertebral bodies are trained so as to reduce the difference between the estimation result obtained by executing the vertebral body estimation model and each position of the vertebral body apex and each central orientation vector indicated by the correct vertex information.
  • An update of the body estimation model is performed. That is, the correct vertex information and the correct vector information are correct data in learning the vertebral body estimation model.
  • the loss function representing the difference may be, for example, a squared error function.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the vertebral body estimation model learning device 1 in the first embodiment.
  • the vertebral body estimation model learning apparatus 1 includes a control unit 11 including a processor 91 such as a CPU (Central Processing Unit) connected via a bus and a memory 92, and executes a program.
  • the vertebral body estimation model learning device 1 functions as a device having a control unit 11, an input unit 12, a communication unit 13, a storage unit 14, and an output unit 15 by executing a program.
  • a control unit 11 including a processor 91 such as a CPU (Central Processing Unit) connected via a bus and a memory 92, and executes a program.
  • the vertebral body estimation model learning device 1 functions as a device having a control unit 11, an input unit 12, a communication unit 13, a storage unit 14, and an output unit 15 by executing a program.
  • the processor 91 reads the program stored in the storage unit 14 and stores the read program in the memory 92 .
  • the vertebral body estimation model learning device 1 functions as a device comprising the control unit 11, the input unit 12, the communication unit 13, the storage unit 14, and the output unit 15. do.
  • the control unit 11 controls the operations of various functional units included in the vertebral body estimation model learning device 1 .
  • the control unit 11 executes the vertebral body estimation model.
  • the control unit 11 controls, for example, the operation of the output unit 15 and causes the output unit 15 to output the execution result of the vertebral body estimation model.
  • the control unit 11 records various information generated by executing the vertebral body estimation model in the storage unit 14, for example.
  • Various information stored in the storage unit 14 includes, for example, learning results of the vertebral body estimation model.
  • the input unit 12 includes input devices such as a mouse, keyboard, and touch panel.
  • the input unit 12 may be configured as an interface that connects these input devices to the vertebral body estimation model learning device 1 .
  • the input unit 12 receives input of various information to the vertebral body estimation model learning device 1 .
  • Training data used for learning a vertebral body estimation model, for example, is input to the input unit 12 .
  • the communication unit 13 includes a communication interface for connecting the vertebral body estimation model learning device 1 to an external device.
  • the communication unit 13 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that transmits training data used for learning the vertebral body estimation model.
  • the communication unit 13 transmits the training data used for learning the vertebral body estimation model from the transmission source of the training data used for learning the vertebral body estimation model by communicating with the transmission source of the training data used for learning the vertebral body estimation model. receive.
  • the external device is, for example, a device that executes a learned vertebral body estimation model.
  • the communication unit 13 transmits the learned vertebral body estimation model to the device that executes the learned vertebral body estimation model by communicating with the device that executes the learned vertebral body estimation model.
  • the storage unit 14 is configured using a computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 14 stores various information regarding the vertebral body estimation model learning device 1 .
  • the storage unit 14 stores information input via the input unit 12 or the communication unit 13, for example.
  • the storage unit 14 stores, for example, a vertebral body estimation model in advance.
  • the storage unit 14 stores, for example, various information generated by executing the vertebral body estimation model.
  • the output unit 15 outputs various information.
  • the output unit 15 includes a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or an organic EL (Electro-Luminescence) display.
  • the output unit 15 may be configured as an interface that connects these display devices to the vertebral body estimation model learning device 1 .
  • the output unit 15 outputs information input to the input unit 12 or the communication unit 13, for example.
  • the output unit 15 may display, for example, execution results of the vertebral body estimation model.
  • FIG. 3 is a diagram showing an example of the configuration of the control unit 11 included in the vertebral body estimation model learning device 1 according to the first embodiment.
  • the control unit 11 includes a training data acquisition unit 111 , a learning unit 112 , a storage control unit 113 and an output control unit 114 .
  • the training data acquisition unit 111 acquires training data.
  • the training data acquisition unit 111 acquires training data input to the input unit 12 or the communication unit 13, for example.
  • the training data acquisition unit 111 may acquire training data by reading training data stored in the storage unit 14 in advance.
  • the learning unit 112 executes learning of the vertebral body estimation model.
  • the learning unit 112 includes a vertebral body estimation model execution unit 121 and an updating unit 122 .
  • the vertebral body estimation model execution unit 121 executes a vertebral body estimation model on the vertebral body two-dimensional image data included in the training data acquired by the training data acquisition unit 111 .
  • the vertebral body estimation model execution unit 121 estimates each position of the vertebral body vertices and the central orientation vector appearing in the image indicated by the vertebral body two-dimensional image data to be executed.
  • the execution target means the target of execution of processing or mathematical model. Therefore, the execution target of the vertebral body estimation model is the estimation target of the vertebral body estimation model execution unit 121 .
  • the vertebral body estimation model execution unit 121 is specifically a neural network that expresses the vertebral body estimation model. Therefore, execution of the vertebral body estimation model by the vertebral body estimation model execution unit 121 means that a neural network representing the vertebral body estimation model operates.
  • the update unit 122 updates the vertebral body estimation model based on the estimation result of the vertebral body estimation model execution unit 121 and the correct data included in the training data so as to reduce the difference between the estimation result and the correct data.
  • the storage control unit 113 records various information in the storage unit 14.
  • the output control section 114 controls the operation of the output section 15 .
  • FIG. 4 is a flowchart showing an example of the flow of processing executed by the vertebral body estimation model learning device 1 in the first embodiment.
  • the training data acquisition unit 111 acquires training data (step S101).
  • the vertebral body estimation model execution unit 121 executes the vertebral body estimation model on the vertebral body two-dimensional image data included in the training data acquired in step S101 (step S102).
  • each position of the vertebral body vertices shown in the image indicated by the vertebral body two-dimensional image data to be executed and the central orientation vector are estimated.
  • the updating unit 122 updates the vertebral body estimation model based on the estimation result obtained by executing step S102 and the correct vertex information and correct vector information included in the training data acquired in step S101 (step S103).
  • the update unit 122 determines whether or not the learning end condition is satisfied (step S104). If the learning end condition is satisfied (step S104: YES), the process ends. On the other hand, if the learning end condition is not satisfied (step S104: NO), the process returns to step S101.
  • the learned vertebral body estimation model obtained in this way is processed to estimate each position of the vertebral body vertices and each central orientation vector in the image of the input image data to be estimated. Used.
  • An example of a device that performs such processing is the vertebral body estimation device 2, which will now be described.
  • the vertebral body estimation device 2 acquires the learned vertebral body estimation model from the vertebral body estimation model learning device 1 through communication, for example, so as to acquire the learned vertebral body estimation model in advance before executing the learned vertebral body estimation model.
  • the vertebral body estimation device 2 acquires a learned vertebral body estimation model in advance before execution of the learned vertebral body estimation model, for example, by being equipped with a neural network that expresses the learned vertebral body estimation model. good too.
  • the vertebral body estimation device 2 uses the learned vertebral body estimation model obtained by the vertebral body estimation model learning device 1 to estimate each position of the vertebral body vertex and each central orientation vector appearing in the estimation target image.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the vertebral body estimation device 2 in the first embodiment.
  • the vertebral body estimation apparatus 2 includes a control unit 21 including a processor 93 such as a CPU and a memory 94 connected via a bus, and executes a program.
  • the vertebral body estimation device 2 functions as a device including a control section 21, an input section 22, a communication section 23, a storage section 24, and an output section 25 by executing a program.
  • the processor 93 reads the program stored in the storage unit 24 and stores the read program in the memory 94 .
  • the processor 93 executes a program stored in the memory 94 so that the vertebral body estimation device 2 functions as a device including the control section 21 , the input section 22 , the communication section 23 , the storage section 24 and the output section 25 .
  • the control unit 21 controls operations of various functional units included in the vertebral body estimation device 2 .
  • the control unit 21 executes the learned vertebral body estimation model.
  • the control unit 21 controls, for example, the operation of the output unit 25 and causes the output unit 25 to output the execution result of the learned vertebral body estimation model.
  • the control unit 21 records, in the storage unit 24, various information generated by executing the learned vertebral body estimation model, for example.
  • Various information stored in the storage unit 24 includes, for example, execution results of the learned vertebral body estimation model.
  • the input unit 22 includes input devices such as a mouse, keyboard, and touch panel.
  • the input unit 22 may be configured as an interface that connects these input devices to the vertebral body estimation device 2 .
  • the input unit 22 receives input of various information to the vertebral body estimation device 2 . For example, image data of an image to be estimated is input to the input unit 22 .
  • the communication unit 23 includes a communication interface for connecting the vertebral body estimation device 2 to an external device.
  • the communication unit 23 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that transmits image data of an image to be estimated.
  • the communication unit 23 may receive the image data of the estimation target image from the transmission source device of the image data of the estimation target image by communicating with the transmission source device of the image data of the estimation target image.
  • the external device is, for example, the vertebral body estimation model learning device 1 .
  • the communication unit 23 may receive the learned vertebral body estimation model from the vertebral body estimation model learning device 1 through communication with the vertebral body estimation model learning device 1 .
  • the storage unit 24 is configured using a computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 24 stores various information regarding the vertebral body estimation device 2 .
  • the storage unit 24 stores information input via the input unit 22 or the communication unit 23, for example.
  • the storage unit 24 stores, for example, a learned vertebral body estimation model in advance before executing the learned vertebral body estimation model.
  • the storage unit 24 stores, for example, various kinds of information generated by executing the learned vertebral body estimation model.
  • the output unit 25 outputs various information.
  • the output unit 25 includes a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 25 may be configured as an interface that connects these display devices to the vertebral body estimation device 2 .
  • the output unit 25 outputs information input to the input unit 22 or the communication unit 23, for example.
  • the output unit 25 may output, for example, an execution result of a learned vertebral body estimation model.
  • FIG. 6 is a diagram showing an example of the configuration of the control section 21 included in the vertebral body estimation device 2 according to the first embodiment.
  • the control unit 21 includes a target data acquisition unit 211 , a vertebral body estimation unit 212 , a storage control unit 213 and an output control unit 214 .
  • the target data acquisition unit 211 acquires vertebral body two-dimensional image data for which the learned vertebral body estimation model is to be executed.
  • the vertebral body two-dimensional image data acquired by the target data acquisition unit 211 is the image data of the estimation target image.
  • the target data acquisition unit 211 acquires the vertebral body two-dimensional image data input via the input unit 22 or the communication unit 23, for example, as the vertebral body two-dimensional image data to be executed by the trained vertebral body estimation model.
  • the vertebral body estimation unit 212 executes a learned vertebral body estimation model on the vertebral body two-dimensional image data acquired by the target data acquisition unit 211 .
  • the vertebral body estimating unit 212 estimates each position of the vertebral body vertices and the central orientation vector appearing in the image indicated by the vertebral body two-dimensional image data to be executed.
  • the storage control unit 213 records various information in the storage unit 14.
  • the output control section 214 controls the operation of the output section 15 .
  • FIG. 7 is a flowchart showing an example of the flow of processing executed by the vertebral body estimation device 2 in the first embodiment.
  • the target data acquisition unit 211 acquires image data of an image to be estimated (step S201).
  • the vertebral body estimation unit 212 executes the trained vertebral body estimation model on the image data acquired by the target data acquisition unit 211, thereby obtaining the positions and centers of the vertebral body apexes appearing in the estimation target image.
  • a directional vector is estimated (step S202).
  • the output control unit 214 controls the operation of the output unit 25 to output the estimation result obtained in step S202 to the output unit 25 (step S203).
  • the output method is display, for example.
  • the vertebral body estimation model learning device 1 of the first embodiment configured in this manner obtains a mathematical model for estimating the vertices of the vertebral bodies in the image and the vectors directed from the vertices to the center.
  • the position of the vertebral body is read from the image when determining a treatment policy for treating physical abnormalities related to the vertebral body, but it is difficult to read or it depends on the skill of the person who reads the position of the vertebral body, such as a doctor. Sometimes.
  • the vertebral body position is determined even if the vertices whose end points of the vectors are located close to each other are the vertices of the same vertebral body. can be estimated, and the burden required to read the position of the vertebral bodies is reduced. Therefore, the burden on the person reading the position of the vertebral body required for determining the treatment policy when treating the abnormality of the body related to the vertebral body is reduced.
  • the vertebral body estimation model learning device 1 which obtains by learning a mathematical model for estimating the vertices of the vertebral bodies and the vectors directed from the vertices to the center, is necessary for determining treatment strategies when treating physical abnormalities related to the vertebral bodies.
  • the burden can be reduced.
  • the vertebral body estimating apparatus 2 of the first embodiment configured in this way estimates the vertices of the vertebral bodies and vectors directed from the vertices to the center using the learned vertebral body estimation models. Therefore, the vertebral body estimating apparatus 2 can reduce the burden required for determining a treatment policy when treating a physical abnormality related to the vertebral body.
  • the position of the vertebral body apex estimated by the vertebral body estimation model is indicated by, for example, information (hereinafter referred to as "heat map information") indicating the distribution in the image of the probability of being the position of the vertebral body apex. good too.
  • the heat map information is indicated by contour lines, for example.
  • the trained vertebral body estimation model also indicates the position of the vertebral body apex by heat map information.
  • the vertebral body estimation model may be input with a vertebral body two-dimensional image with reduced resolution such as a 1/4 resolution vertebral body two-dimensional image. By inputting such a low-resolution image into the two-dimensional image of the vertebral body, the amount of computation is reduced.
  • a two-dimensional vertebral body image with a reduced resolution is input to the vertebral body estimation model
  • the two-dimensional vertebral body image with a reduced resolution is also input to the trained vertebral body estimation model.
  • the starting point is information indicating the position of the vertebral body apex on the two-dimensional image of the vertebral body with reduced resolution
  • the end point is the position of the vertebral body apex when the reduced resolution is restored. It is indicated by a position vector of .
  • the correct data included in the training data includes information indicating the position of the vertebral body apex when the reduced resolution is restored. is done.
  • the vertebral body estimation device 2 uses such a learned vertebral body estimation model that has been trained to estimate the original position indication information
  • the vertebral body estimation device 2 uses the learned vertebral body estimation
  • the execution of the model also estimates the original pointing information for the two-dimensional image of the vertebral bodies to be estimated.
  • the vertebral body estimation device 2 distinguishes each vertebral body appearing in the estimation target image based on the estimation result obtained by executing the learned vertebral body estimation model. That is, the vertebral body estimation device 2 regards each vertebral body appearing in the estimation target image as a different vertebral body from the other vertebral bodies, based on the estimation result obtained by executing the learned vertebral body estimation model. judge.
  • the process of determining that each vertebral body appearing in an image to be estimated is different from other vertebral bodies is referred to as vertebral body determination processing.
  • Vertebral body determination processing includes vertebral body center estimation processing and grouping processing.
  • the vertebral body center estimation process is a process of estimating the center of each vertebral body appearing in the estimation target image based on the estimation result obtained by executing the trained vertebral body estimation model.
  • each vertebral body center per vertebral body, so it is also information that identifies the vertebral body. Therefore, using the center of the vertebral body, it is possible to classify each vertebral body vertex and each center-directed vector appearing in the image to be estimated. Specifically, the process of determining to which vertebral body each vertebral body vertex and each central directing vector appearing in the image to be estimated belongs to each vertebral body vertex and each central directing vector appearing in the image to be estimated. can be substituted by a process of determining to which vertebral body the center belongs to.
  • the grouping process is a process of determining which vertebral body center each vertebral body vertex and each center-directed vector appearing in the estimation target belongs to. Specifically, the classification in the grouping process is based on information indicating the center of each vertebral body estimated by the vertebral body center estimation process, and each position of the vertebral body vertex obtained by executing the learned vertebral body estimation model. each center-directed vector. By executing the grouping process, the vertebral body apexes, the center directing vectors, and the centers of the vertebral bodies that appear in the estimation target are classified by those belonging to the same vertebral body.
  • the vertebral body center serves as an identifier for the vertebral bodies. Therefore, the grouping process is, in other words, a process of grouping the position of each vertex of the vertebral body and the central directivity vector for each vertebra for each vertebral body.
  • the grouping process when the distance between the end point of the center directing vector and any one center estimated in the vertebral body center estimation process is shorter than a predetermined threshold, the center, the center directing vector, and the center directing It is determined that the vertebral body vertex at the starting point of the vector belongs to the same vertebral body. In this manner, the grouping process determines to which vertebral body center each vertebral body vertex and each center-directed vector appearing in the estimation target belong.
  • vertebral bodies in the two-dimensional image of the vertebral body, it is expected that four vertices will appear on one vertebral body when the vertebral body is photographed from the front.
  • vertebral bodies depending on the situation at the time of imaging the vertebral body, such as when the vertebral body is imaged in a bent state, there may be vertebral bodies with only three or less vertebral body apexes in the two-dimensional image of the vertebral body to be estimated. There is Therefore, in the vertebral body determination process, vertebral bodies to which 3 or less vertebral body vertices and 3 or less central directivity vectors belong may be estimated.
  • the output control unit 214 controls the operation of the output unit 25 and causes the output unit 25 to output the estimation result obtained by executing the vertebral body determination process.
  • the output method is display, for example.
  • FIG. 8 is a diagram showing an example of the configuration of the control section 21a included in the vertebral body estimation device 2 in the fourth modified example of the first embodiment.
  • the control unit 21a differs from the control unit 21 of the first embodiment in that it includes a vertebral body determination unit 215 .
  • the vertebral body determination unit 215 executes vertebral body determination processing.
  • the vertebral body estimation device 2 may estimate the Cobb angle of the spine appearing in the estimation target image based on the estimation result obtained by executing the vertebral body determination process.
  • the Cobb angle is a quantity that indicates the degree of side curvature.
  • the value of the Cobb angle is calculated by the Cobb method.
  • the process of calculating the Cobb angle of the spine appearing in the estimation target image based on the estimation result obtained by executing the vertebral body determination process will be referred to as the Cobb angle calculation process.
  • each position of the vertebral body vertex estimated by the vertebral body estimation model is indicated by heat map information
  • each position of the vertebral body vertex in the Cobb angle calculation process is the local maximum indicated by the heat map information for each vertebral body vertex position. is the position of the value.
  • FIG. 9 is a diagram showing an example of the configuration of the control section 21b included in the vertebral body estimation device 2 in the second modified example of the first embodiment.
  • the controller 21b differs from the controller 21a of the fourth modification of the first embodiment in that it includes a Cobb angle calculator 216 .
  • the Cobb angle calculation unit 216 executes Cobb angle calculation processing, which will be described with reference to FIG. 10 .
  • FIG. 10 is a flowchart showing an example of the flow of processing executed by the control unit 21b in the second modified example of the first embodiment.
  • the Cobb angle calculation process is executed after the vertebral body determination process is executed.
  • the vertebral body determination process is executed, for example, after execution of the process of step S202.
  • the vertebral body determination unit 215 acquires the estimation result estimated in step S202. That is, the vertebral body determination unit 215 acquires the result of estimation by the vertebral body estimation unit 212 (step S301).
  • the vertebral body determination unit 215 performs vertebral body determination processing to distinguish each vertebral body appearing in the estimation target image (step S302).
  • the Cobb angle calculator 216 determines the pair of adjacent vertebral bodies (step S303).
  • the direction in which the inclination is 0 is assumed to be the direction parallel to the axis perpendicular to the line where the sagittal plane and the coronal plane intersect and parallel to the coronal plane.
  • An adjacent vertebral body pair is a pair of vertebral bodies that are adjacent to each other, and the sign of the inclination of one vertebral body and the sign of the inclination of the other vertebral body are opposite (different) with respect to a predetermined direction. is.
  • the predetermined direction is, for example, the horizontal direction in the result of photographing the vertebral body from the front of the person.
  • a pair of adjacent vertebral bodies may be a pair in which the sign of the tilt between adjacent vertebral bodies reverses when changing from the tilt of one vertebral body to the tilt of the other.
  • the extreme point vertebral body pair is therefore the sign of the vertebral angle formed by the superior edges of the upper vertebral bodies, for example, where the neck side of the spine is defined as top and the lumbar side of the spine is defined as bottom. and the sign of the spinal angle formed by the inferior edge of the vertebral body below.
  • the spine angle may be the angle relative to a straight line from the neck to the lumbar spine.
  • step S303 the Cobb angle calculator 216 first calculates the inclinations of the upper and lower edges of the vertebral bodies for each vertebral body distinguished in step S302 based on the position of each vertex of each vertebral body. Calculate each.
  • the Cobb angle calculator 216 calculates, for each pair of adjacent vertebral bodies, the sign of the inclination of the upper edge and the sign of the inclination of the lower edge of a pair of upper and lower edges that satisfy the condition that they are not adjacent to each other. is reversed.
  • the Cobb angle calculator 216 determines a pair in which the sign of the change amount of the inclination of the vertebral bodies is reversed based on the determination result for each pair. In this manner, the Cobb angle calculator 216 determines adjacent vertebral body pairs.
  • the storage control unit 213 stores the information indicating the upper vertebral body in the pair of vertebral bodies determined to be the adjacent pair of vertebral bodies as an extreme point vertebral body in the storage unit 24 or the like. Record in the storage device (step S304). That is, the extremum point vertebral body is the upper vertebral body of the vertebral body pair determined to be the adjacent vertebral body pair.
  • the Cobb angle calculation process will be described below taking the case where the predetermined storage device is the storage unit 24 as an example.
  • the memory control unit 213 records the combination of the two extreme point vertebral bodies that are closest to each other among the plurality of extremal point vertebral bodies (step S305). For example, if the detected extremum point vertebral bodies are vertebral body T1 and vertebral body L5, the memory control unit 213 records the vertebral body T1 and vertebral body L5 in the storage unit 24 . Note that T1 represents the first thoracic vertebra and L5 represents the fifth lumbar vertebra.
  • the Cobb angle calculator 216 calculates, for the combination of extreme point vertebral bodies stored in the storage unit 24, the spinal angle formed by the upper edge of the upper vertebral body and the lower edge of the lower vertebral body.
  • the absolute value of the difference in inclination of the formed spine angle is calculated as the Cobb angle (step S306).
  • the absolute value of the difference between the spinal angle formed by the upper edge of vertebral body T1 and the spinal angle formed by the lower edge of vertebral body L5 is calculated as the Cobb angle.
  • a certain inclination condition may be set as a threshold value, and values below the threshold value may not be included in the calculation of the Cobb angle.
  • the constant tilt condition is, for example, an absolute value of 5 degrees.
  • step S307 is an example of the Cobb angle calculation processing.
  • the Cobb angle calculation unit 216 may determine the Cobb angles obtained in the process of step S307 as Major, Minor1, and Minor2 in descending order.
  • the vertebral body two-dimensional image data may be any image data that captures the vertebral body in the image. It is desirable to implement a devised technique in order to reduce the burden required to acquire two-dimensional body image data. Therefore, an example of such a devised technique will be described here.
  • Vertebral body two-dimensional image data is obtained, for example, by executing ROI estimation processing.
  • the ROI estimation process is a process that targets two-dimensional image data.
  • ROI estimation processing is processing for estimating a region of interest (ROI) in an image indicated by two-dimensional image data to be executed.
  • the vertebral body two-dimensional image data is image data of an image in which the image of the region excluding the region of interest estimated by the ROI estimation processing is erased from the image of the two-dimensional image data of the execution target of the ROI estimation processing. be.
  • the ROI estimation process is a mathematical model for estimating a region of interest in an image indicated by two-dimensional image data to be executed, and uses a pair of two-dimensional image data and correct data indicating the region of interest.
  • This is a process of executing a mathematical model (hereinafter referred to as "ROI model") obtained by learning.
  • the ROI model is a mathematical model obtained through learning.
  • Information indicating the region of interest is used as correct data in the learning of the ROI model.
  • the ROI model is updated so as to reduce the difference between the result of executing the ROI model for the two-dimensional image data included in the training data and the correct data.
  • image data of a two-dimensional image representing the image of the vertebral body is used, and the correct data indicates the region representing the vertebral body as the region of interest.
  • the position of the vertebral body apex indicated by the correct data to be used may be, for example, the position of the vertebral body apex manually specified by a doctor through diagnosis.
  • a ROI model for estimating a region of interest representing a vertebral body is obtained from the two-dimensional image data to be executed.
  • part of the training data in learning the ROI model may be training data containing two-dimensional image data that does not show the image of the vertebral body.
  • the correct data indicates no region of interest.
  • only two-dimensional image data representing images of vertebral bodies may be used as the two-dimensional image data included in the training data for learning the ROI model.
  • the correct data may always indicate the region where the image of the vertebral body appears as the region of interest.
  • the correct data included in the training data is a partial region of the image of the two-dimensional image data to be executed by the ROI model, and is a randomly selected region that satisfies the condition that the image of the vertebral body is shown. It may be indicated as a region.
  • the correct data included in the training data indicates, as a region of interest, each of a plurality of regions in the image of the two-dimensional image data to be executed by the ROI model, in which at least one image of the vertebral body is shown. good too.
  • Imaging of the spine can be performed in various environments. As a result, the image varies depending on the shooting conditions. If the two-dimensional image data of the vertebral body obtained by executing the ROI estimation process is used, each position of the vertebral body vertex and the center directing vector can be estimated using the image data with reduced variation during imaging. be done. Therefore, the efficiency of learning the vertebral body estimation model is improved, and the accuracy of estimation by the trained vertebral body estimation model is also improved. If the region of interest is randomly selected in learning as described above, the accuracy of estimation by the trained vertebral body estimation model is improved. I will explain why.
  • a data set used for learning may be a data set in which most of the data is image data of images with large margins on the left and right of the image, and a small amount of data is image data of images with almost no margins. If such a data set is used as it is for training, the estimation accuracy is high for image data with large left and right margins, but the estimation accuracy for other image data is low. Learning can occur. When an over-learned mathematical model is incorporated into an application, the estimation accuracy may be low for image data of images obtained under conditions different from those used for learning.
  • Random selection of the region of interest can reduce such a bias in the learning data set because the data used for learning is randomly selected. More specifically, by randomly selecting the region of interest, it is possible to generate data close to the minority data with little margins from the majority data with many margins with a certain probability. percentage increase. Therefore, the random selection of the region of interest can reduce such a bias in the learning data set because the data used for learning is randomly selected. Therefore, by randomly selecting the region of interest, over-learning can be prevented, and the accuracy of estimation by the trained vertebral body estimation model is improved. This completes the explanation of why the estimation accuracy is improved by randomly selecting the region of interest.
  • the ROI estimation process is executed by the training data acquisition unit 111, for example.
  • the training data acquiring unit 111 executes ROI estimation processing to extract two-dimensional vertebral body data from the input two-dimensional image data. Generate image data.
  • the training data acquisition unit 111 acquires a pair of the generated vertebral body two-dimensional image data and the input correct data as training data.
  • the ROI estimation process is executed by the target data acquisition unit 211, for example.
  • the target data acquisition unit 211 When two-dimensional image data is input to the vertebral body estimation apparatus 2, the target data acquisition unit 211 generates vertebral body two-dimensional image data from the input two-dimensional image data by executing ROI estimation processing.
  • the target data acquisition unit 211 acquires the generated vertebral body two-dimensional image data as an execution target of the learned vertebral body estimation model.
  • a plurality of vertebral body two-dimensional images may be used in learning the vertebral body estimation model.
  • a part of the plurality of two-dimensional images of the vertebral bodies may be left-right inverted two-dimensional images of the vertebral bodies, or two-dimensional images of the vertebral bodies in which colors such as black and white are inverted. It may be an image, or a two-dimensional image of the vertebral body inverted upside down. That is, the set of image data of two-dimensional images for which the vertebral body estimation model is to be executed may be a set including image data of two-dimensional images whose color, top and bottom, or left and right are reversed.
  • two-dimensional vertebral body images in which colors and left/right are not reversed two-dimensional vertebral body images in which colors are reversed but left/right are not reversed
  • color inversions are The execution of the vertebral body estimation model may be performed for each of the four vertebral body two-dimensional images that are left and right reversed and the color and left and right reversed two-dimensional vertebral body images.
  • the vertebral body estimation model may be updated based on the estimation results of the vertebral body estimation model for each image so as to reduce the difference between the estimation results.
  • a trained vertebral body estimation model may be executed.
  • the user may take the result that there is indeed a vertebral body.
  • the vertebral bodies that were not detected when only one type of vertebral body two-dimensional image data was used were detected 17 times by using such four types of vertebral body two-dimensional image data.
  • a result of continuous detection was obtained.
  • the learning of the vertebral body estimation model using the image data of the vertebral body two-dimensional image whose colors or left and right are reversed has the effect of increasing the estimation accuracy.
  • the estimation result obtained by executing the trained vertebral body estimation model which is the result of estimation using image data of the two-dimensional vertebral body image whose color or left and right is reversed, is the color and left and right
  • estimation accuracy is higher than estimation based on one type of vertebral body two-dimensional image data without inversion.
  • Left and right and top and bottom is a matter of definition of which side of the image is defined as right.
  • the estimation result obtained by executing the trained vertebral body estimation model which is also the result of estimation using the image data of the vertebral body two-dimensional image whose color and vertical or horizontal are reversed, is also color, vertical and horizontal
  • the estimation accuracy is higher than the estimation based on one type of vertebral body two-dimensional image data without inversion of the vertebral body.
  • the vertebral body estimation model learning device 1 may be implemented using a plurality of information processing devices communicatively connected via a network. In this case, each functional unit included in the vertebral body estimation model learning device 1 may be distributed and implemented in a plurality of information processing devices.
  • the vertebral body estimation device 2 may be implemented using a plurality of information processing devices that are communicably connected via a network.
  • each functional unit included in the vertebral body estimation device 2 may be distributed and implemented in a plurality of information processing devices.
  • vertebral body estimation model learning device 1 and the vertebral body estimation device 2 do not necessarily have to be implemented as different devices.
  • the vertebral body estimation model learning device 1 and the vertebral body estimation device 2 may be implemented, for example, as one device having both functions.
  • the fixation condition estimation model learning device 5 of the second embodiment uses a machine learning method to obtain a mathematical model for estimating the size and placement position of an intravertebral fixation device to be placed in the vertebral body of a human or animal.
  • the fixation condition estimation model learning device 5 performs learning using image data of three-dimensional images of vertebral bodies (hereinafter referred to as "vertebral body three-dimensional image data").
  • the three-dimensional image data of the vertebral body may be obtained in any manner.
  • three-dimensional image data of a virtual vertebral body obtained by simulation or the like may be used.
  • vertebral body three-dimensional image data generated using image data in a format that can be acquired at existing medical sites may be used. Therefore, before explaining the fixation condition estimation model learning device 5, first, an example of processing for generating vertebral body 3D image data used for learning (hereinafter referred to as “vertebral body 3D image data generation processing") will be described. to explain learning.
  • Dimensional conversion processing is executed in the vertebral body three-dimensional image data generation processing.
  • Dimensional conversion processing is processing for converting image data of a three-dimensional image obtained by photographing a three-dimensional CT image or the like into image data of a plurality of two-dimensional images.
  • the plurality of two-dimensional images generated by the dimensional conversion process are specifically cross-sectional images at a plurality of points on a predetermined axis (hereinafter referred to as "cross-section vertical axis") of the image reflected in the three-dimensional image. , images of cross-sections perpendicular to the cross-section normal axis.
  • the dimensional conversion process converts image data of a three-dimensional image into a set of cross-sectional images perpendicular to the cross-sectional vertical axis, which are cross-sectional images at a plurality of points on the cross-sectional vertical axis of the image reflected in the three-dimensional image. This is the process to generate.
  • the dimension conversion process is, for example, Digitally Reconstructed Radiograph (DRR).
  • the 3D image to be subjected to dimensional conversion processing is the 3D image of the imaging result of the vertebral body. Therefore, an image including an image of the vertebral body appears in the three-dimensional image to be subjected to the dimensional conversion processing. Since the vertebral body appears in the three-dimensional image to be subjected to the dimensional conversion processing, cross-sections of the vertebral body appear in the plurality of two-dimensional images generated by the dimensional conversion processing.
  • a two-dimensional image of a cross section of a vertebral body is hereinafter referred to as a vertebral body cross-sectional image.
  • vertebral body detection processing is executed for each vertebral body cross-sectional image obtained.
  • Vertebral body detection processing is processing for detecting a vertebral body appearing in a vertebral body cross-sectional image to be executed. Detecting a vertebral body appearing in a vertebral body cross-sectional image means, specifically, storing information indicating a pixel representing a vertebral body among pixels forming a vertebral body cross-sectional image in a storage unit 54 or a storage unit 64 described later. It means recording in a predetermined storage device.
  • the vertebral body detection process is a process of acquiring information on the position of the vertebral body in the vertebral body cross-sectional image.
  • the position of the vertebral body may be, for example, the positions of the four vertices of the vertebral body, the center position of the vertebral body, or the contour position of the vertebral body.
  • the vertebral body detection process is, for example, a process of executing a learned vertebral body estimation model and a vertebral body determination process.
  • an ROI estimation process may be executed.
  • cross-sectional positional relationship information information indicating the positional relationship of each vertebral body cross-sectional image.
  • the cross-sectional positional relationship information may be stored in advance in a predetermined storage device such as the storage unit 54 or the storage unit 64, or may be stored as one of the results of the execution of the dimension conversion process after the dimension conversion process is executed. It may be recorded in a predetermined storage device such as the unit 54 or the storage unit 64 .
  • the three-dimensional processing is processing for generating image data of a three-dimensional image of the vertebral body based on the vertebral body cross-sectional image, cross-sectional positional relationship information, and the result of the vertebral body detection processing.
  • the cross-sectional positional relationship information is information indicating the positional relationship of each vertebral body cross-sectional image.
  • the cross-sectional positional relationship information may be stored in advance in a predetermined storage device such as the storage unit 54 or the storage unit 64, or may be obtained as one of the results of executing the dimensional conversion process.
  • the cross-sectional positional relationship information indicates the positional relationship of the vertebral body cross-sectional images in the three-dimensional space, and indicates the position of the vertebral body in each vertebral body cross-sectional image as a result of the vertebral body detection processing. Therefore, the positions of the vertebral bodies in the three-dimensional space are indicated by the cross-sectional positional relationship information and the results of the vertebral body detection processing.
  • the three-dimensional processing is information indicating the cross-sectional positional relationship information and the result of the vertebral body detection processing, and information indicating the position of the vertebral body in the three-dimensional space (hereinafter referred to as "vertebral body position information in the three-dimensional space"). ) to generate image data of a three-dimensional image of the vertebral body.
  • interpolation may be performed based on the vertebral body position information in the three-dimensional space to generate image data of a smoother three-dimensional image.
  • various image processing such as threshold processing may be performed between the vertebral body detection processing and the three-dimensional conversion processing.
  • the vertebral body cross-sectional image has been described as being obtained by dimensional conversion processing. There is no need to include dimension conversion processing. For example, if cross-sectional positional relationship information and a plurality of vertebral body cross-sectional images are obtained in advance, sample extraction processing and three-dimensional conversion processing are executed as vertebral body three-dimensional image data generation processing, and dimension conversion processing is executed. Alternatively, vertebral body three-dimensional image data may be obtained. Also, in such a case, the vertebral body cross-sectional image need not be obtained by dimensional conversion processing. In this way, the image data of the three-dimensional image of the vertebral body is image data generated using the results of performing the specimen extraction processing on a plurality of two-dimensional images of the vertebral body.
  • the vertebral body three-dimensional image data generation processing may be performed by the fixation condition estimation model learning device 5 or may be performed by another device.
  • the vertebral body three-dimensional image data generation processing is first described assuming that it is performed by another device different from the fixation condition estimation model learning device 5 . That is, the fixation condition estimation model learning device 5 will be described first as a device that does not execute the vertebral body three-dimensional image data generation processing. Also, a device that executes a learned fixation condition estimation model (that is, a fixation condition estimation device 6 to be described later) will also be described as a device that does not execute vertebral body three-dimensional image data generation processing.
  • the fixation condition estimation model learning device 5 that executes the vertebral body three-dimensional image data generation processing will be described in a modified example. Similarly, the device that executes the learned fixation condition estimation model will also be described in a modified example when executing the vertebral body three-dimensional image data generation processing.
  • the fixation condition estimation model learning device 5 learns the fixation condition estimation model when obtaining a mathematical model for estimating the size and installation position of an intravertebral fixation device to be installed in the vertebral body of a human or an animal.
  • the fixation condition estimation model is a mathematical model for estimating the coordinate system information and the spinal fixation device fixation conditions based on the input vertebral body three-dimensional image data.
  • the coordinate system information is information of a coordinate system indicating each position of an image appearing in an image represented by the vertebral body three-dimensional image data (hereinafter referred to as "vertebral body three-dimensional image").
  • the spinal fixation device fixation condition is information indicating each size and fixation position of the spinal fixation device installed in each vertebral body shown in the image of the vertebral body three-dimensional image data.
  • the vertebral body 3D image data may be obtained by performing vertebral body 3D image data generation processing on a 3D CT (Computed Tomography) image, or obtained using MRI (Magnetic Resonance Imaging). It may be obtained by execution of vertebral body three-dimensional image data generation processing using image data of a dimensional image as a vertebral body cross-sectional image. It may be obtained by execution of vertebral body three-dimensional image data generation processing using image data of an X-ray photograph obtained by X-ray photography as a vertebral body cross-sectional image.
  • a set of vertebral body three-dimensional image data, correct coordinate system information, and correct fixation conditions for spinal fixation devices is used as training data.
  • Correct coordinate system information is information on a coordinate system indicating each position of an image appearing in an image represented by vertebral body three-dimensional image data belonging to the same group.
  • the correct intravertebral fixation device fixation condition is information indicating the size and installation position of the intravertebral fixation device to be installed in each vertebral body appearing in the image indicated by the vertebral body three-dimensional image data belonging to the same group.
  • One training data is used for each trial in learning.
  • the fixed condition estimation model is updated for each trial.
  • the fixation condition estimation model is executed with respect to the vertebral body three-dimensional image data included in the training data.
  • the fixed condition estimation model is updated so as to reduce the difference in the coordinate system and the difference in the fixed condition.
  • the coordinate system difference is the difference between the coordinate system information estimated by executing the fixed condition estimation model and the coordinate system information indicated by the correct coordinate system information.
  • the fixation condition difference is the difference between the spinal fixation device fixation condition estimated by executing the fixation condition estimation model and the correct spinal fixation device fixation condition.
  • the correct coordinate system information and the correct spinal fixation device fixation condition are correct data in the learning of the fixation condition estimation model.
  • the loss function representing the difference may be, for example, the cross entropy or the squared error function.
  • FIG. 11 is a first diagram illustrating an example of a coordinate system indicated by correct coordinate system information in the second embodiment.
  • FIG. 12 is a second diagram illustrating an example of a coordinate system indicated by correct coordinate system information in the second embodiment.
  • An image G3 in FIG. 11 is an image of the contour of the top cross section (axial plane) of the vertebra.
  • An image G5 in FIG. 12 is an image obtained by inverting the background color of the image G3.
  • the coordinate system indicated by the correct coordinate system information is a three-dimensional orthogonal coordinate system.
  • the coordinate system indicated by the correct coordinate system information is a coordinate system in which each axis is defined by the following geometric processing.
  • Axis 1 is defined as a line whose endpoints are the center points of the narrowest portions of the left and right pedicles in the axial section of the vertebra.
  • An axis 2 is defined as a line that intersects the axis 1 and connects the anterior edge of the vertebral body and the anterior edge of the vertebral foramen on the axial plane and is substantially parallel to the superior edge of the vertebral body.
  • Axis 2 is line segment J1 shown in image G4 of FIG. 11 and image G6 of FIG.
  • a line segment perpendicular to the axis 2 and including one of the end points of the axis 1 is defined as an axis 3 in the plane spanned by the axis 1 and the axis 2 .
  • the axis 2 defined in this way is the Y axis of the coordinate system indicated by the correct coordinate system information
  • the axis 3 is the X axis of the coordinate system indicated by the correct coordinate system information
  • the axes 2 and 3 are perpendicular to each other.
  • the axis is the Z-axis.
  • the origin of the coordinate system indicated by the correct coordinate system information is the intersection of the X-axis and the Y-axis.
  • FIG. 13 is a diagram showing an example of the hardware configuration of the fixed condition estimation model learning device 5 in the second embodiment.
  • the fixed condition estimation model learning device 5 includes a control unit 51 including a processor 95 such as a CPU and a memory 96 connected via a bus, and executes a program.
  • the fixed condition estimation model learning device 5 functions as a device including a control unit 51, an input unit 52, a communication unit 53, a storage unit 54, and an output unit 55 by executing a program.
  • the processor 95 reads the program stored in the storage unit 54 and stores the read program in the memory 96 .
  • the processor 95 executes the program stored in the memory 96, the fixed condition estimation model learning device 5 functions as a device comprising a control unit 51, an input unit 52, a communication unit 53, a storage unit 54, and an output unit 55. do.
  • the control unit 51 controls the operation of various functional units included in the fixed condition estimation model learning device 5 .
  • the control unit 51 executes a fixed condition estimation model.
  • the control unit 11 controls, for example, the operation of the output unit 55 and causes the output unit 55 to output the execution result of the fixed condition estimation model.
  • the control unit 51 records, in the storage unit 54, various information generated by executing the fixed condition estimation model, for example.
  • Various information stored in the storage unit 54 includes, for example, learning results of the fixed condition estimation model.
  • the input unit 52 includes input devices such as a mouse, keyboard, and touch panel.
  • the input unit 52 may be configured as an interface that connects these input devices to the fixed condition estimation model learning device 5 .
  • the input unit 52 receives input of various information to the fixed condition estimation model learning device 5 .
  • the input unit 52 receives, for example, vertebral body three-dimensional image data.
  • the communication unit 53 includes a communication interface for connecting the fixed condition estimation model learning device 5 to an external device.
  • the communication unit 53 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that transmits training data used for learning the fixed condition estimation model.
  • the communication unit 53 receives the training data used for learning the fixed condition estimation model by communicating with the device that is the transmission source of the training data used for learning the fixed condition estimation model.
  • One of the devices that transmit the training data used for learning the fixation condition estimation model is the device that transmits the vertebral body three-dimensional image data.
  • the external device is, for example, a device that executes a learned fixed condition estimation model.
  • the communication unit 53 transmits the learned fixed condition estimation model to the device executing the learned fixed condition estimation model by communicating with the device executing the learned fixed condition estimation model.
  • the storage unit 54 is configured using a computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 54 stores various information regarding the fixed condition estimation model learning device 5 .
  • the storage unit 54 stores information input via the input unit 52 or the communication unit 53, for example.
  • the storage unit 54 stores, for example, a fixed condition estimation model in advance.
  • the storage unit 54 stores, for example, various information generated by executing the fixed condition estimation model.
  • the output unit 55 outputs various information.
  • the output unit 55 includes a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 55 may be configured as an interface that connects these display devices to the fixed condition estimation model learning device 5 .
  • the output unit 55 outputs information input to the input unit 52 or the communication unit 53, for example.
  • the output unit 55 may display, for example, the execution result of the fixed condition estimation model.
  • FIG. 14 is a diagram showing an example of the configuration of the control unit 51 included in the fixed condition estimation model learning device 5 according to the second embodiment.
  • the control unit 51 includes a training data acquisition unit 511 , a learning unit 512 , a storage control unit 513 and an output control unit 514 .
  • the training data acquisition unit 511 acquires training data.
  • the training data acquisition unit 511 acquires training data input to the input unit 52 or the communication unit 53, for example.
  • the training data acquisition unit 511 may acquire training data by reading training data stored in the storage unit 54 in advance.
  • the training data acquired by the training data acquisition unit 511 is a set of the vertebral body three-dimensional image data, the correct coordinate system information, and the correct fixation conditions for the intravertebral fixation device.
  • the learning unit 512 executes learning of the fixed condition estimation model.
  • the learning unit 512 includes a fixed condition estimation model execution unit 521 and an updating unit 522 .
  • the fixation condition estimation model execution unit 521 executes the fixation condition estimation model on the vertebral body three-dimensional image data included in the training data acquired by the training data acquisition unit 511 .
  • the fixation condition estimation model execution unit 521 executes the fixation condition estimation model to obtain each size and each fixation position of the intravertebral fixation device to be installed in each vertebral body shown in the image represented by the vertebral body three-dimensional image data to be executed, Information of a coordinate system indicating each position of each image appearing in the image is estimated.
  • the fixed condition estimation model execution unit 521 is specifically a neural network that expresses the fixed condition estimation model. Therefore, the execution of the fixed condition estimation model by the fixed condition estimation model execution unit 521 means that the neural network representing the fixed condition estimation model operates.
  • the update unit 522 updates the fixed condition estimation model based on the estimation result of the fixed condition estimation model execution unit 521 and the correct data included in the training data so as to reduce the difference between the estimation result and the correct data.
  • the correct data includes, for example, the image data of the vertebra in which the intravertebral fixation device is actually installed, the size and position of the installed intravertebral fixation device, and the coordinate system indicating the position of each image shown in the image. It is a set with the information of
  • the storage control unit 513 records various information in the storage unit 54.
  • the output control section 514 controls the operation of the output section 55 .
  • FIG. 15 is a flowchart showing an example of the flow of processing executed by the fixed condition estimation model learning device 5 in the second embodiment.
  • the training data acquisition unit 511 acquires training data (step S401).
  • the fixation condition estimation model execution unit 521 executes the fixation condition estimation model for the vertebral body three-dimensional image data included in the training data acquired in step S401 (step S402).
  • each size and fixation position of the intravertebral fixation device to be installed in each vertebral body shown in the image shown by the vertebral body three-dimensional image data to be executed, and each image shown in the image and information of a coordinate system indicating the position are estimated.
  • step S404 updates the fixed condition estimation model based on the estimation result obtained by executing step S402 and the correct data included in the training data acquired in step S401 (step S403).
  • step S404 determines whether or not the learning end condition is satisfied. If the learning end condition is satisfied (step S404: YES), the process ends. On the other hand, if the learning end condition is not satisfied (step S404: NO), the process returns to step S401.
  • the learned fixation condition estimation model obtained in this way is an image of the input image data, and each size and fixation position of the intravertebral fixation device to be installed in each vertebral body shown in the image to be estimated. and coordinate system information indicating each position of each image appearing in the image.
  • An example of a device that performs such processing is the fixed condition estimation device 6, which will now be described.
  • the fixed condition estimating device 6 obtains the learned fixed condition estimating model from the fixed condition estimating model learning device 5 by communication, for example, so as to acquire the learned fixed condition estimating model in advance before executing the fixed condition estimating model.
  • the fixed condition estimating device 6 acquires the learned fixed condition estimating model in advance before executing the learned fixed condition estimating model, for example, by being equipped with a neural network representing the learned fixed condition estimating model. good too.
  • the fixation condition estimation device 6 uses the learned fixation condition estimation model obtained by the fixation condition estimation model learning device 5 to determine the size of the intravertebral fixation device to be installed in each vertebral body shown in the image data of the estimation target. and fixed positions, and coordinate system information indicating the positions of the images in the image.
  • FIG. 16 is a diagram showing an example of the hardware configuration of the fixed condition estimation device 6 in the second embodiment.
  • the fixed condition estimation device 6 includes a control unit 61 including a processor 97 such as a CPU and a memory 98 connected via a bus, and executes a program.
  • the fixed condition estimation device 6 functions as a device having a control section 61, an input section 62, a communication section 63, a storage section 64, and an output section 65 by executing a program.
  • the processor 97 reads the program stored in the storage unit 64 and causes the memory 98 to store the read program.
  • the processor 97 executes a program stored in the memory 98 so that the fixed condition estimation device 6 functions as a device including a control section 61 , an input section 62 , a communication section 63 , a storage section 64 and an output section 65 .
  • the control unit 61 controls operations of various functional units included in the fixed condition estimation device 6 .
  • the control unit 61 executes the learned fixed condition estimation model.
  • the control unit 61 controls the operation of the output unit 65, for example, and causes the output unit 65 to output the execution result of the learned fixed condition estimation model.
  • the control unit 61 records in the storage unit 64, for example, various information generated by executing the learned fixed condition estimation model.
  • Various information stored in the storage unit 64 includes, for example, execution results of the learned fixed condition estimation model.
  • the input unit 62 includes input devices such as a mouse, keyboard, and touch panel.
  • the input unit 62 may be configured as an interface that connects these input devices to the fixed condition estimation device 6 .
  • the input unit 62 receives input of various information to the fixed condition estimation device 6 .
  • the input unit 62 receives, for example, three-dimensional image data of a vertebral body to be estimated.
  • the communication unit 63 includes a communication interface for connecting the fixed condition estimation device 6 to an external device.
  • the communication unit 63 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that transmits the estimation target vertebral body three-dimensional image data.
  • the communication unit 63 receives the estimation target vertebral body three-dimensional image data from the estimation target vertebral body three-dimensional image data transmission source device through communication with the estimation target vertebral body three-dimensional image data transmission source device.
  • the external device is, for example, the fixed condition estimation model learning device 5 .
  • the communication unit 63 may receive the learned vertebral body estimation model from the fixation condition estimation model learning device 5 through communication with the fixation condition estimation model learning device 5 .
  • the storage unit 64 is configured using a computer-readable storage medium device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 64 stores various information regarding the fixed condition estimation device 6 .
  • the storage unit 64 stores information input via the input unit 62 or the communication unit 63, for example.
  • the storage unit 64 stores, for example, a learned fixed condition estimation model in advance before executing the learned fixed condition estimation model.
  • the storage unit 64 stores, for example, various kinds of information generated by executing the learned fixed condition estimation model.
  • the output unit 65 outputs various information.
  • the output unit 65 includes a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 65 may be configured as an interface that connects these display devices to the fixed condition estimation device 6 .
  • the output unit 65 outputs information input to the input unit 62 or the communication unit 63, for example.
  • the output unit 65 may output, for example, the execution result of the learned fixed condition estimation model.
  • FIG. 17 is a diagram showing an example of the configuration of the control unit 61 included in the fixed condition estimation device 6 according to the second embodiment.
  • the control unit 61 includes a target data acquisition unit 611 , fixed condition estimation unit 612 , storage control unit 613 and output control unit 614 .
  • the target data acquisition unit 611 acquires vertebral body three-dimensional image data for which the learned fixation condition estimation model is to be executed.
  • the vertebral body three-dimensional image data acquired by the target data acquisition unit 611 is image data of a three-dimensional image to be estimated.
  • the target data acquisition unit 611 acquires vertebral body 3D image data input via the input unit 62 or the communication unit 63, for example, as vertebral body 3D image data to be executed by the learned fixation condition estimation model.
  • the fixation condition estimation unit 612 executes a learned fixation condition estimation model on the vertebral body three-dimensional image data acquired by the target data acquisition unit 611 . By executing the fixation condition estimation model, the fixation condition estimation unit 612 calculates each size and fixation position of the intravertebral fixation device to be installed in each vertebral body shown in the image of the image data to be executed, and each image shown in the image. and information of a coordinate system indicating each position of .
  • the storage control unit 613 records various information in the storage unit 64.
  • the output control section 614 controls the operation of the output section 65 .
  • FIG. 18 is a flow chart showing an example of the flow of processing executed by the fixed condition estimation device 6 in the second embodiment.
  • the target data acquisition unit 611 acquires image data of an image to be estimated (step S501).
  • the fixed condition estimation unit 612 executes the learned fixed condition estimation model on the image data acquired by the target data acquisition unit 611 (step S502).
  • the learned fixation condition estimation model By executing the learned fixation condition estimation model, each size and each fixation position of the intravertebral fixation device to be installed in each vertebral body shown in the image of the image data to be executed are estimated. Further, by executing the learned fixed condition estimation model, coordinate system information indicating each position of each image appearing in the image of the image data to be executed is also estimated.
  • the output control unit 614 controls the operation of the output unit 65 to output the estimation result obtained in step S502 to the output unit 65 (step S503).
  • the output method is display, for example.
  • the fixation condition estimation model learning device 5 of the second embodiment configured in this way obtains a mathematical model for estimating the size and installation position of the intravertebral fixation device. Determining the size and placement of an intravertebral fixation device is one of the decisions in treatment decision making when treating physical anomalies involving the vertebral bodies. Therefore, the fixation condition estimation model learning device 5, which obtains a mathematical model for estimating the size and installation position of an intravertebral fixation device by learning, is required to determine the treatment policy when treating physical abnormalities related to the vertebral bodies. can be reduced.
  • the fixation condition estimating device 6 of the second embodiment uses the learned fixation condition estimating model obtained by the fixation condition estimating model learning device 5 to determine the size and installation position of the intravertebral fixation device. to decide. Therefore, the fixation condition estimating device 6 can reduce the burden required for determining a treatment policy when treating a physical abnormality related to the vertebral bodies.
  • the fixation condition estimation model learning device 5 may execute vertebral body three-dimensional image data generation processing.
  • the input unit 52 or the communication unit 53 is configured to execute the vertebral body 3D image data generation process instead of the vertebral body 3D image data.
  • Target image data is input.
  • the image data to be subjected to the vertebral body 3D image data generation processing depends on the content of the vertebral body 3D image data generation processing executed by the fixation condition estimation model learning device 5 .
  • the image data to be executed for the vertebral body 3D image data generation processing is a 3D CT image or the like. It is a three-dimensional image obtained by When the vertebral body 3D image data generation processing executed by the fixation condition estimation model learning device 5 does not include dimension conversion processing, the image data to be executed for the vertebral body 3D image data generation processing is a plurality of vertebral body cross-sectional images. is.
  • FIG. 19 is a diagram showing an example of the configuration of the control unit 51a included in the fixed condition estimation model learning device 5 in the first modified example of the second embodiment.
  • components having the same functions as those of the control unit 51 are denoted by the same reference numerals as in FIG. 14, and the description thereof is omitted.
  • the control unit 51a differs from the control unit 51 of the second embodiment in that it includes a training data acquisition unit 511a instead of the training data acquisition unit 511 .
  • the training data acquisition unit 511a acquires the correct coordinate system information and the correct fixation conditions for the intravertebral fixation device input to the input unit 52 or the communication unit 53.
  • the training data acquisition unit 511 a executes the vertebral body 3D image data generation process on the image data to be subjected to the vertebral body 3D image data generation process input to the input unit 52 or the communication unit 53 .
  • the training data acquisition unit 511a acquires vertebral body 3D image data by executing vertebral body 3D image data generation processing. Thus, the training data acquisition unit 511a acquires training data.
  • the fixation condition estimating device 6 may execute vertebral body three-dimensional image data generation processing.
  • the input unit 62 or the communication unit 63 is supplied with the vertebral body 3D image data generation processing target instead of the vertebral body 3D image data.
  • Image data is input.
  • the image data on which the vertebral body 3D image data generation process is executed depends on the content of the vertebral body 3D image data generation process executed by the fixation condition estimation device 6 .
  • the image data to be executed in the vertebral body three-dimensional image data generation processing is obtained by photographing a three-dimensional CT image or the like. It is a three-dimensional image obtained by
  • the image data to be executed for the vertebral body three-dimensional image data generation processing is a plurality of vertebral body cross-sectional images. .
  • FIG. 20 is a diagram showing an example of the configuration of the control unit 61a included in the fixed condition estimation device 6 in the second modified example of the second embodiment.
  • components having the same functions as those of the control unit 61 are denoted by the same reference numerals as in FIG. 17, and description thereof is omitted.
  • the control unit 61a is different from the control unit 61 of the second embodiment in that the target data acquisition unit 611 is replaced with the target data acquisition unit 611a.
  • the target data acquisition unit 611a executes the vertebral body 3D image data generation process on the image data to be subjected to the vertebral body 3D image data generation process input to the input unit 62 or the communication unit 63 .
  • the target data acquisition unit 611a acquires vertebral body 3D image data by executing vertebral body 3D image data generation processing.
  • the fixed condition estimation model learning device 5 and the fixed condition estimation device 6 may perform processing on image data of a two-dimensional image. Therefore, the fixed condition estimation model learning device 5 and the fixed condition estimation device 6 may perform processing on image data of an N-dimensional image (N is 2 or 3). That is, the vertebral body N-dimensional image may be used instead of the vertebral body three-dimensional image, and the vertebral body N-dimensional image data may be used instead of the vertebral body three-dimensional image data. In such a case, the correct coordinate system information used for learning the fixed condition estimation model is an orthogonal N-dimensional coordinate system.
  • the fixed condition estimation model learning device 5 may be implemented using a plurality of information processing devices that are communicably connected via a network.
  • each functional unit included in the fixed condition estimation model learning device 5 may be distributed and implemented in a plurality of information processing devices.
  • the fixed condition estimation device 6 may be implemented using a plurality of information processing devices that are communicably connected via a network.
  • each functional unit included in the fixed condition estimation device 6 may be distributed and implemented in a plurality of information processing devices.
  • the fixed condition estimation model learning device 5 and the fixed condition estimation device 6 do not necessarily have to be implemented as different devices.
  • the fixed condition estimation model learning device 5 and the fixed condition estimation device 6 may be implemented as one device having both functions, for example.
  • All or part of the functions of the vertebral body estimation model learning device 1, the vertebral body estimation device 2, the fixation condition estimation model learning device 5, and the fixation condition estimation device 6 are implemented as ASIC (Application Specific Integrated Circuit). , PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), or other hardware.
  • the program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include portable media such as flexible disks, magneto-optical disks, ROMs and CD-ROMs, and storage devices such as hard disks incorporated in computer systems.
  • the program may be transmitted over telecommunications lines.
  • the two-dimensional image of the vertebral body and the three-dimensional image of the vertebral body are examples of vertebral body images.
  • a fixed condition estimation model Based on the image data of the vertebral body image, which is an image of the vertebral body, information of the coordinate system indicating each position of the image shown in the image, and the size and installation position of the spinal internal fixation device to be installed in the vertebral body are estimated.
  • the fixation condition estimation model which is a mathematical model, information on the coordinate system indicating each position of the image appearing in the vertebral body image to be estimated, and the size and placement of the spinal intravertebral fixation device to be installed in the vertebral body.
  • a fixed condition estimation model execution unit that estimates a position
  • an update unit that updates the fixed condition estimation model based on the result of estimation by the fixed condition estimation model execution unit
  • a fixed condition estimation model learning device comprising:
  • the vertebral body image is a three-dimensional image showing the vertebral body
  • the image data of the vertebral body image is the position of each vertex of the corner of the vertebral body and the vector of each vertex based on the image data of the two-dimensional image of the vertebral body, which is a two-dimensional image of the vertebral body.
  • a vertebral body estimation model which is a mathematical model for estimating a vector directed to the center of the vertebral body, the position of the vertex of the corner of the vertebral body appearing in the image data of the two-dimensional image of the vertebral body to be estimated and the above Vertebral body estimation model learning, comprising: a vertebral body estimation model execution unit that estimates the vector for each vertex; and an updating unit that updates the vertebral body estimation model based on the result of estimation by the vertebral body estimation model execution unit.
  • the fixed condition estimation model learning device according to appendix 1.
  • Fixation which is a mathematical model for estimating the information of the coordinate system indicating each position of the image shown in the vertebral body image and the size and installation position of the intravertebral fixation device to be installed in the vertebral body based on the image data of the vertebral body image.
  • a fixed condition estimator comprising:
  • 1... vertebral body estimation model learning device 11... control unit, 12... input unit, 13... communication unit, 14... storage unit, 15... output unit, 111... training data acquisition unit, 112... learning unit, 113... memory control Part 114... Output control part 121... Vertebral body estimation model execution part 122... Update part 2... Vertebral body estimation device 21, 21a, 21b... Control part 22... Input part 23... Communication part 24... Storage unit 25... Output unit 211... Target data acquisition unit 212... Vertebral body estimation unit 213... Storage control unit 214... Output control unit 215... Vertebral body determination unit 216... Cobb angle calculation unit 5... Fixed condition estimation model learning device, 51, 51a... control unit, 52... input unit, 53...
  • communication unit 54... storage unit, 55... output unit, 511, 511a... training data acquisition unit, 512... learning unit, 513... Memory control unit, 514... Output control unit, 521... Fixed condition estimation model execution unit, 522... Update unit, 61, 61a... Control unit, 62... Input unit, 63... Communication unit, 64... Storage unit, 65... Output unit , 611, 611a... target data acquisition unit, 612... fixed condition estimation unit, 613... storage control unit, 614... output control unit, 91... processor, 92... memory, 93... processor, 94... memory, 95... processor, 96 ... memory, 97 ... processor, 98 ... memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果に基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置。

Description

椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
 本発明は、椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラムに関する。
 本願は、2021年10月29日に日本に出願された特願2021-178270号に基づき優先権を主張し、その内容をここに援用する。
 椎体に係る身体の異常を治療する技術がある。このような技術では、椎体を撮影し、その撮影結果に基づいて治療方針が決定される場合がある。具体的には、放射線技師等の撮影結果から椎体の状態を推定する者(医師等)が撮影結果から椎体の状態を読み取り、読み取った結果に基づいて治療方針が決定される。そのため、撮影結果から椎体の状態を推定する者は、撮影結果から椎体の状態を読み取る必要があった。
米国特許第10292770号明細書 特表2019-514548号公報
 しかしながら、撮影結果から椎体の状態を読み取ることは必ずしも容易ではなく、医師等の椎体の位置を読み取る者の技量に依存する場合や、負担が大きい場合もあった。その結果、治療の方針を決定することも容易ではなく、治療方針の決定の負担が大きい場合もあった。
 上記事情に鑑み、本発明は、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減する技術を提供することを目的としている。
 本発明の一態様は、椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の 各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデルを実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置である。
 本発明の一態様は、椎体が写る2次元画像である椎体2次元画像の画像データを取得する対象データ取得部と、椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデルを実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルを用いて、前記対象データ取得部が取得した前記画像データに基づき、前記画像データが示す画像に写る前記椎体の各頂点の位置と、前記頂点ごとの前記ベクトルと、を推定する椎体推定部と、を備える椎体推定装置である。
 本発明の一態様は、椎体が写る画像である椎体画像の画像データを取得する対象データ取得部と、椎体画像の画像データに基づき前記椎体画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像の画像データに写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、を備える固定条件推定モデル学習装置によって、所定の終了条件が満たされるまで更新された前記固定条件推定モデルを用いて、前記対象データ取得部が取得した前記画像データに基づき、前記画像データに写る像の各位置を示す座標系の情報と、前記画像データの画像に写る椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定部と、を備え、前記椎体画像は椎体が写る3次元画像であり、前記椎体画像の画像データは、椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルが複数の椎体2次元画像に対して実行された結果を用いて、得られた画像データである、固定条件推定装置である。
 本発明の一態様は、椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行ステップと、前記椎体推定モデル実行ステップによる推定の結果に基づき、前記椎体推定モデルを更新する更新ステップと、を有する椎体推定モデル学習方法である。
 本発明の一態様は、椎体が写る2次元画像である椎体2次元画像の画像データを取得する対象データ取得ステップと、椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果に基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルを用いて、前記対象データ取得ステップで取得した前記画像データに基づき、前記画像データが示す画像に写る前記椎体の各頂点の位置と、前記頂点ごとの前記ベクトルと、を推定する椎体推定ステップと、を有する椎体推定方法である。
 本発明の一態様は、椎体が写る画像である椎体画像の画像データを取得する対象データ取得ステップと、椎体画像の画像データに基づき前記椎体画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像の画像データに写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、を備える固定条件推定モデル学習装置によって、所定の終了条件が満たされるまで更新された前記固定条件推定モデルを用いて、前記対象データ取得ステップで取得した前記画像データに基づき、前記画像データに写る像の各位置を示す座標系の情報と、前記画像データの画像に写る椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定ステップと、を有する固定条件推定方法である。
 本発明の一態様は、上記の椎体推定モデル学習装置としてコンピュータを機能させるためのプログラムである。
 本発明の一態様は、上記の椎体推定装置としてコンピュータを機能させるためのプログラムである。
 本発明により、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減することが可能となる。
第1実施形態の椎体推定モデル学習装置の概要を説明する説明図。 第1実施形態における椎体推定モデル学習装置のハードウェア構成の一例を示す図。 第1実施形態における椎体推定モデル学習装置が備える制御部の構成の一例を示す図。 第1実施形態における椎体推定モデル学習装置が実行する処理の流れの一例を示すフローチャート。 第1実施形態における椎体推定装置のハードウェア構成の一例を示す図。 第1実施形態における椎体推定装置が備える制御部の構成の一例を示す図。 第1実施形態における椎体推定装置が実行する処理の流れの一例を示すフローチャート。 第1実施形態の第4変形例における椎体推定装置が備える制御部の構成の一例を示す図。 第1実施形態の第2変形例における椎体推定装置が備える制御部の構成の一例を示す図。 第1実施形態の第2変形例における制御部の実行する処理の流れの一例を示すフローチャート。 第2実施形態における正解座標系情報の示す座標系の一例を説明する第1の図。 第2実施形態における正解座標系情報の示す座標系の一例を説明する第2の図。 第2実施形態における固定条件推定モデル学習装置のハードウェア構成の一例を示す図。 第2実施形態における固定条件推定モデル学習装置が備える制御部の構成の一例を示す図。 第2実施形態における固定条件推定モデル学習装置が実行する処理の流れの一例を示すフローチャート。 第2実施形態における固定条件推定装置のハードウェア構成の一例を示す図。 第2実施形態における固定条件推定装置が備える制御部の構成の一例を示す図。 第2実施形態における固定条件推定装置が実行する処理の流れの一例を示すフローチャート。 第2実施形態の第1変形例における固定条件推定モデル学習装置の備える制御部の構成の一例を示す図。 第2実施形態の第2変形例における固定条件推定装置の備える制御部の構成の一例を示す図。
(第1実施形態)
 図1は、第1実施形態の椎体推定モデル学習装置1の概要を説明する説明図である。椎体推定モデル学習装置1は、人又は動物の椎体の位置を推定する数理モデルを、機械学習の方法を用いて得る。
 人又は動物の椎体の位置を推定する数理モデルの取得に際して、椎体推定モデル学習装置1は、椎体推定モデルの学習を行う。椎体推定モデルは、入力された椎体2次元画像データに基づき、その椎体2次元画像データの画像に写る椎体頂点の各位置と中心指向ベクトルとを推定する数理モデルである。椎体2次元画像データは、椎体が写る2次元画像の画像データである。椎体頂点は、椎体の各頂点である。中心指向ベクトルは、椎体頂点ごとのベクトルであって各椎体頂点から椎体の中心に向かうベクトルである。中心は、例えば重心である。中心は、例えば4つの椎体頂点が構成する四角形の対角線の交点であってもよい。以下、椎体2次元画像データが示す画像を椎体2次元画像という。
 図1における画像G1は、椎体2次元画像の一例である。なお、画像G1は、冠状面画像である。画像G1には3つの椎体が写る。図1における画像G2は、画像G1に写る椎体頂点を示す画像である。より具体的には、画像G2の点P1~P12がそれぞれ椎体頂点の一例である。画像G2において椎体頂点P1~P4は3つの椎体の1つに属する4つの頂点である。画像G2において椎体頂点P5~P8は3つの椎体の他の1つの椎体に属する4つの頂点である。画像G2において椎体頂点P9~P12は3つの椎体の最後の1つの椎体に属する4つの頂点である。
 図1における画像G2は、中心指向ベクトルの例として、画像G1に写る椎体頂点のうちの3つについて中心指向ベクトルを示す。画像G2におけるベクトルV1、ベクトルV2及びベクトルV3はいずれも、中心指向ベクトルの一例である。ベクトルV1は、椎体頂点P3における中心指向ベクトルである。ベクトルV2は、椎体頂点P7における中心指向ベクトルである。ベクトルV3は、椎体頂点P11における中心指向ベクトルである。このように、中心指向ベクトルは、椎体の各頂点の位置、その椎体の中心の位置及び頂点ごとのベクトルであって頂点から椎体の中心に向かうベクトル、である。
 なお、数理モデルは、実行される条件と順番と(以下「実行規則」という。)が予め定められた1又は複数の処理を含む集合である。学習とは、機械学習の方法による数理モデルの更新を意味する。数理モデルの更新とは、数理モデルにおけるパラメータの値を好適に調整することを意味する。また、数理モデルの実行とは、数理モデルが含む各処理を実行規則にしたがって実行することを意味する。なお、数理モデルが含む処理は、他の数理モデルを実行する処理を含んでもよい。
 学習による数理モデルの更新は、学習に関する所定の終了条件(以下「学習終了条件」という。)が満たされるまで行われる。学習終了条件は、例えば所定の回数の学習が行われた、という条件である。
 なお、椎体2次元画像データは、3次元CT(Computed Tomography)画像から得られた2次元画像の画像データであってもよいし、MRI(Magnetic Resonance Imaging)を用いて得られた2次元の画像の画像データであってもよいし、レントゲン撮影で得られたX線写真の画像データであってもよい。3次元CT画像から椎体2次元画像データを取得する場合、例えばDigitally Reconstructed Radiograph(DRR)が用いられる。
 椎体2次元画像データは画像内に椎体が写る画像の画像データであればどのようなものであってもよいが、椎体推定モデルの精度の向上の観点や、椎体2次元画像データの取得に要する負担の軽減のためには工夫された技術が実行されることが望ましい。このような技術の例については変形例にて説明する。
<椎体推定モデルの学習の詳細>
 椎体推定モデルの学習では、椎体2次元画像データと、正解頂点情報と、正解ベクトル情報と、の組が訓練データとして用いられる。正解頂点情報は、同じ組に属する椎体2次元画像データが示す画像に写る椎体頂点の各位置を示す情報である。正解ベクトル情報は、同じ組に属する椎体2次元画像データが示す画像に写る椎体頂点ごとの中心指向ベクトルを示す情報である。学習では1回の試行ごとに1つの訓練データが用いられる。学習では1回の試行ごとに椎体推定モデルが更新される。なお、正解データが示す椎体頂点の位置は、例えば医師が診断により手動で特定した椎体頂点の位置であってもよい。
 より具体的に椎体推定モデルの学習を説明する。椎体推定モデルの学習では、訓練データの含む椎体2次元画像データに対して椎体推定モデルが実行される。椎体推定モデルの学習では、椎体推定モデルの実行により得られた推定の結果と、正解頂点情報が示す椎体頂点の各位置と各中心指向ベクトルと、の違いを小さくするように、椎体推定モデルの更新が行われる。すなわち、正解頂点情報及び正解ベクトル情報は椎体推定モデルの学習における正解データである。なお、違いを表す損失関数は、例えば二乗誤差関数であってもよい。
 図2は、第1実施形態における椎体推定モデル学習装置1のハードウェア構成の一例を示す図である。椎体推定モデル学習装置1は、バスで接続されたCPU(Central Processing Unit)等のプロセッサ91とメモリ92とを備える制御部11を備え、プログラムを実行する。椎体推定モデル学習装置1は、プログラムの実行によって制御部11、入力部12、通信部13、記憶部14及び出力部15を備える装置として機能する。
 より具体的には、プロセッサ91が記憶部14に記憶されているプログラムを読み出し、読み出したプログラムをメモリ92に記憶させる。プロセッサ91が、メモリ92に記憶させたプログラムを実行することによって、椎体推定モデル学習装置1は、制御部11、入力部12、通信部13、記憶部14及び出力部15を備える装置として機能する。
 制御部11は、椎体推定モデル学習装置1が備える各種機能部の動作を制御する。制御部11は、椎体推定モデルを実行する。制御部11は、例えば出力部15の動作を制御し、出力部15に椎体推定モデルの実行結果を出力させる。制御部11は、例えば椎体推定モデルの実行により生じた各種情報を記憶部14に記録する。記憶部14が記憶する各種情報は、例えば椎体推定モデルの学習結果を含む。
 入力部12は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部12は、これらの入力装置を椎体推定モデル学習装置1に接続するインタフェースとして構成されてもよい。入力部12は、椎体推定モデル学習装置1に対する各種情報の入力を受け付ける。入力部12には、例えば椎体推定モデルの学習に用いられる訓練データが入力される。
 通信部13は、椎体推定モデル学習装置1を外部装置に接続するための通信インタフェースを含んで構成される。通信部13は、有線又は無線を介して外部装置と通信する。外部装置は、例えば椎体推定モデルの学習に用いられる訓練データの送信元の装置である。通信部13は、椎体推定モデルの学習に用いられる訓練データの送信元との通信によって椎体推定モデルの学習に用いられる訓練データを椎体推定モデルの学習に用いられる訓練データの送信元から受信する。外部装置は、例えば学習済みの椎体推定モデルを実行する装置である。通信部13は、学習済みの椎体推定モデルを実行する装置との通信によって学習済みの椎体推定モデルを学習済みの椎体推定モデルを実行する装置に送信する。
 記憶部14は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部14は椎体推定モデル学習装置1に関する各種情報を記憶する。記憶部14は、例えば入力部12又は通信部13を介して入力された情報を記憶する。記憶部14は、例えば椎体推定モデルを予め記憶する。記憶部14は、例えば椎体推定モデルの実行により生じた各種情報を記憶する。
 出力部15は、各種情報を出力する。出力部15は、例えばCRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の表示装置を含んで構成される。出力部15は、これらの表示装置を椎体推定モデル学習装置1に接続するインタフェースとして構成されてもよい。出力部15は、例えば入力部12又は通信部13に入力された情報を出力する。出力部15は、例えば椎体推定モデルの実行結果を表示してもよい。
 図3は、第1実施形態における椎体推定モデル学習装置1が備える制御部11の構成の一例を示す図である。制御部11は、訓練データ取得部111、学習部112、記憶制御部113及び出力制御部114を備える。
 訓練データ取得部111は、訓練データを取得する。訓練データ取得部111は、例えば入力部12又は通信部13に入力された訓練データを取得する。訓練データ取得部111は、予め記憶部14に記憶済みの訓練データを読み出すことで訓練データを取得してもよい。
 学習部112は、椎体推定モデルの学習を実行する。学習部112は、椎体推定モデル実行部121及び更新部122を備える。椎体推定モデル実行部121は、訓練データ取得部111の取得した訓練データに含まれる椎体2次元画像データに対して椎体推定モデルを実行する。椎体推定モデル実行部121は、椎体推定モデルの実行により、実行対象の椎体2次元画像データの示す画像に写る椎体頂点の各位置と中心指向ベクトルとを推定する。なお、実行対象とは、処理又は数理モデルの実行の対象を意味する。したがって、椎体推定モデルの実行対象とは、椎体推定モデル実行部121の推定の推定対象である。
 椎体推定モデル実行部121は、具体的には椎体推定モデルを表現するニューラルネットワークである。したがって椎体推定モデル実行部121による椎体推定モデルの実行とは、椎体推定モデルを表現するニューラルネットワークが動作することを意味する。
 更新部122は、椎体推定モデル実行部121の推定結果と、訓練データに含まれる正解データとに基づき、推定結果と正解データとの違いを小さくするように、椎体推定モデルを更新する。
 記憶制御部113は各種情報を記憶部14に記録する。出力制御部114は出力部15の動作を制御する。
 図4は、第1実施形態における椎体推定モデル学習装置1が実行する処理の流れの一例を示すフローチャートである。訓練データ取得部111が訓練データを取得する(ステップS101)。次に、椎体推定モデル実行部121が、ステップS101で取得された訓練データに含まれる椎体2次元画像データに対して椎体推定モデルを実行する(ステップS102)。椎体推定モデルの実行により、実行対象の椎体2次元画像データの示す画像に写る椎体頂点の各位置と中心指向ベクトルとが推定される。
 次に更新部122が、ステップS102の実行により得られた推定の結果と、ステップS101で取得された訓練データに含まれる正解頂点情報及び正解ベクトル情報に基づき、椎体推定モデルを更新する(ステップS103)。次に、更新部122は、学習終了条件が満たされたか否かを判定する(ステップS104)。学習終了条件が満たされた場合(ステップS104:YES)、処理が終了する。一方、学習終了条件が満たされない場合(ステップS104:NO)、ステップS101の処理に戻る。
 このようにして得られた学習済みの椎体推定モデルは、入力された画像データの画像であって推定対象の画像に写る椎体頂点の各位置と各中心指向ベクトルとを推定する処理、に用いられる。このような処理を実行するものの一例が、これから説明する椎体推定装置2である。椎体推定装置2は、学習済みの椎体推定モデルを、例えば通信によって椎体推定モデル学習装置1から取得することで、学習済みの椎体推定モデルの実行前に予め取得する。椎体推定装置2は、学習済みの椎体推定モデルを、例えば学習済みの椎体推定モデルを表現するニューラルネットワークが備え付けられることで、学習済みの椎体推定モデルの実行前に予め取得してもよい。
 椎体推定装置2は、椎体推定モデル学習装置1の得た学習済みの椎体推定モデルを用いて、推定対象の画像に写る椎体頂点の各位置と各中心指向ベクトルとを推定する。
 図5は、第1実施形態における椎体推定装置2のハードウェア構成の一例を示す図である。椎体推定装置2は、バスで接続されたCPU等のプロセッサ93とメモリ94とを備える制御部21を備え、プログラムを実行する。椎体推定装置2は、プログラムの実行によって制御部21、入力部22、通信部23、記憶部24及び出力部25を備える装置として機能する。
 より具体的には、プロセッサ93が記憶部24に記憶されているプログラムを読み出し、読み出したプログラムをメモリ94に記憶させる。プロセッサ93が、メモリ94に記憶させたプログラムを実行することによって、椎体推定装置2は、制御部21、入力部22、通信部23、記憶部24及び出力部25を備える装置として機能する。
 制御部21は、椎体推定装置2が備える各種機能部の動作を制御する。制御部21は、学習済みの椎体推定モデルを実行する。制御部21は、例えば出力部25の動作を制御し、出力部25に学習済みの椎体推定モデルの実行結果を出力させる。制御部21は、例えば学習済みの椎体推定モデルの実行により生じた各種情報を記憶部24に記録する。記憶部24が記憶する各種情報は、例えば学習済みの椎体推定モデルの実行結果を含む。
 入力部22は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部22は、これらの入力装置を椎体推定装置2に接続するインタフェースとして構成されてもよい。入力部22は、椎体推定装置2に対する各種情報の入力を受け付ける。入力部22には、例えば推定対象の画像の画像データが入力される。
 通信部23は、椎体推定装置2を外部装置に接続するための通信インタフェースを含んで構成される。通信部23は、有線又は無線を介して外部装置と通信する。外部装置は、例えば推定対象の画像の画像データの送信元の装置である。通信部23は、推定対象の画像の画像データの送信元の装置との通信によって推定対象の画像の画像データを推定対象の画像の画像データの送信元の装置から受信してもよい。外部装置は、例えば椎体推定モデル学習装置1である。通信部23は、椎体推定モデル学習装置1との通信によって学習済みの椎体推定モデルを椎体推定モデル学習装置1から受信してもよい。
 記憶部24は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部24は椎体推定装置2に関する各種情報を記憶する。記憶部24は、例えば入力部22又は通信部23を介して入力された情報を記憶する。記憶部24は、例えば学習済みの椎体推定モデルを学習済みの椎体推定モデルの実行前に予め記憶する。記憶部24は、例えば学習済みの椎体推定モデルの実行により生じた各種情報を記憶する。
 出力部25は、各種情報を出力する。出力部25は、例えばCRTディスプレイや液晶ディスプレイ、有機ELディスプレイ等の表示装置を含んで構成される。出力部25は、これらの表示装置を椎体推定装置2に接続するインタフェースとして構成されてもよい。出力部25は、例えば入力部22又は通信部23に入力された情報を出力する。出力部25は、例えば学習済みの椎体推定モデルの実行結果を出力してもよい。
 図6は、第1実施形態における椎体推定装置2が備える制御部21の構成の一例を示す図である。制御部21は、対象データ取得部211、椎体推定部212、記憶制御部213及び出力制御部214を備える。
 対象データ取得部211は、学習済みの椎体推定モデルの実行対象の椎体2次元画像データを取得する。対象データ取得部211の取得する椎体2次元画像データが、推定対象の画像の画像データである。対象データ取得部211は、例えば入力部22又は通信部23を介して入力された椎体2次元画像データを学習済みの椎体推定モデルの実行対象の椎体2次元画像データとして取得する。
 椎体推定部212は、対象データ取得部211の取得した椎体2次元画像データに対して学習済みの椎体推定モデルを実行する。椎体推定部212は、椎体推定モデルの実行により、実行対象の椎体2次元画像データの示す画像に写る椎体頂点の各位置と中心指向ベクトルとを推定する。
 記憶制御部213は各種情報を記憶部14に記録する。出力制御部214は出力部15の動作を制御する。
 図7は、第1実施形態における椎体推定装置2が実行する処理の流れの一例を示すフローチャートである。対象データ取得部211が、推定対象の画像の画像データを取得する(ステップS201)。次に、椎体推定部212が、対象データ取得部211の取得した画像データに対して学習済みの椎体推定モデルを実行することで、推定対象の画像に写る椎体頂点の各位置と中心指向ベクトルとを推定する(ステップS202)。次に、出力制御部214が出力部25の動作を制御して、ステップS202で得られた推定の結果を、出力部25に出力させる(ステップS203)。出力の方法は、例えば表示である。
 このように構成された第1実施形態の椎体推定モデル学習装置1は、画像中の椎体の頂点と頂点から中心に向かうベクトルとを推定する数理モデルを得る。椎体に係る身体の異常を治療する治療方針の決定に際しては画像から椎体の位置を読み取ることが行われるが、読み取りは難しい場合や医師等の椎体の位置を読み取る者の技量に依存する場合がある。しかし、椎体の頂点と頂点から中心に向かうベクトルとを椎体の位置を読み取る者が知れば、ベクトルの終点が互いに近い位置にある頂点は同じ椎体の頂点であろうと、椎体の位置を読み取る者は推定でき、椎体の位置の読み取りに要する負担が軽減される。したがって、椎体に係る身体の異常を治療する際の治療方針の決定に要する椎体の位置を読み取る者の負担が軽減される。そのため、椎体の頂点と頂点から中心に向かうベクトルとを推定する数理モデルを学習により得る椎体推定モデル学習装置1は、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減することができる。
 このように構成された第1実施形態の椎体推定装置2は、学習済みの椎体推定モデルを用いて、椎体の頂点と頂点から中心に向かうベクトルとを推定する。そのため、椎体推定装置2は、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減することができる。
(第1実施形態の第1変形例)
 椎体推定モデルの推定する椎体頂点の位置は、例えば、椎体頂点の位置である可能性の高さの画像内の分布を示す情報(以下「ヒートマップ情報」という。)によって示されてもよい。ヒートマップ情報は、例えば等高線で示される。なお、椎体推定モデルの推定する椎体頂点の位置がヒートマップ情報によって示される場合、学習済みの椎体推定モデルも椎体頂点の位置をヒートマップ情報によって示す。
(第1実施形態の第2変形例)
 椎体推定モデルには、例えば1/4の解像度の椎体2次元画像等の解像度の下げられた椎体2次元画像が入力されてもよい。このような解像度の下げられた画像が椎体2次元画像に入力されることで、演算量が軽減される。なお、椎体推定モデルに解像度の下げられた椎体2次元画像が入力される場合、学習済みの椎体推定モデルにも解像度の下げられた椎体2次元画像が入力される。
(第1実施形態の第3変形例)
 椎体推定モデルに解像度の下げられた椎体2次元画像が入力される場合、椎体推定モデルによる椎体頂点の位置の推定の精度も、解像度の低下に応じた度合だけ低下してしまう。そこで、椎体推定モデルの学習では、解像度の下げられた椎体2次元画像上の椎体頂点の位置を示す情報の推定だけではなく、低下された解像度を元に戻した場合における椎体頂点の位置を示す情報も椎体推定モデルが推定するように学習が行われてもよい。以下、低下された解像度を元に戻した場合における椎体頂点の位置を示す情報を、オリジナル位置指示情報という。オリジナル位置指示情報は、例えば、解像度の下げられた椎体2次元画像上の椎体頂点の位置を示す情報を始点とし、低下された解像度を元に戻した場合における椎体頂点の位置を終点とする位置ベクトルで示される。
 このような、オリジナル位置指示情報を推定する椎体推定モデルの学習では、訓練データの含む正解データに、低下された解像度を元に戻した場合における椎体頂点の位置を示す情報も含めて学習が行われる。
 椎体推定装置2がこのような、オリジナル位置指示情報を推定するように学習が行われた学習済みの椎体推定モデルを用いる場合には、椎体推定装置2は、学習済みの椎体推定モデルの実行により、推定対象の椎体2次元画像についてオリジナル位置指示情報も推定する。
(第1実施形態の第4変形例)
 椎体推定装置2は、学習済みの椎体推定モデルの実行により得られた推定の結果に基づき、推定対象の画像に写る各椎体を区別する。すなわち、椎体推定装置2は、学習済みの椎体推定モデルの実行により得られた推定の結果に基づき、推定対象の画像に写る各椎体をそれぞれ他の椎体と異なる椎体であると判定する。以下、推定対象の画像に写る各椎体をそれぞれ他の椎体と異なる椎体であると判定する処理を、椎体判定処理という。
 椎体判定処理は、椎体中心推定処理とグルーピング処理とを含む。椎体中心推定処理は、学習済みの椎体推定モデルの実行により得られた推定の結果に基づき、推定対象の画像に写る各椎体の中心を推定する処理である。
 椎体の中心は1つの椎体に1つであるので、椎体を識別する情報でもある。そこで、椎体の中心を用いて、推定対象の画像に写る各椎体頂点と各中心指向ベクトルとを分類することが可能である。具体的には、推定対象の画像に写る各椎体頂点と各中心指向ベクトルとがいずれの椎体に属するかという判定の処理を、推定対象の画像に写る各椎体頂点と各中心指向ベクトルとがいずれの椎体の中心に属するかという判定の処理で代替可能である。
 グルーピング処理は、推定対象に写る各椎体頂点と各中心指向ベクトルとについて、いずれの椎体の中心に属するかを判定する処理である。グルーピング処理における分類は、具体的には、椎体中心推定処理によって推定された各椎体の中心を示す情報と、学習済みの椎体推定モデルの実行により得られた椎体頂点の各位置と各中心指向ベクトルと、に基づいて行われる。グルーピング処理の実行により、推定対象に写る椎体頂点と中心指向ベクトルと椎体の中心とが、同じ椎体に属するもの同士で分類される。椎体の中心とは各椎体に1つであるから、椎体の中心とは椎体の識別子の役割を果たす。したがってグルーピング処理とは、言い換えれば、椎体の各頂点の位置と頂点ごとの中心指向ベクトルとを椎体ごとにグルーピングする処理である。
 グルーピング処理では、中心指向ベクトルの終点と椎体中心推定処理で推定されたいずれか1つの中心との距離が所定の閾値よりも短い場合に、その中心と、その中心指向ベクトルと、その中心指向ベクトルの始点の椎体頂点とが同じ椎体に属すると判定される。このようにして、グルーピング処理は、推定対象に写る各椎体頂点と各中心指向ベクトルとについて、いずれの椎体の中心に属するかを判定する。
 なお、椎体2次元画像には、椎体が正面から撮影された場合には1つの椎体に4つの頂点が写ることが期待される。しかしながら、椎体が曲がった状態で撮影されるなどの椎体の撮影時の状況によっては、推定対象の椎体2次元画像に3つ以下の椎体頂点しか映っていない椎体が存在する場合がある。そのため、椎体判定処理では、3つ以下の椎体頂点と3つ以下の中心指向ベクトルが属する椎体が推定される場合があってもよい。
 出力制御部214は、出力部25の動作を制御して、出力部25に椎体判定処理の実行により得られた推定の結果を出力させる。出力の方法は、例えば表示である。
 図8は、第1実施形態の第4変形例における椎体推定装置2が備える制御部21aの構成の一例を示す図である。以下説明の簡単のため、制御部21と同様の機能を有するものについては、図6と同じ符号を付すことで説明を省略する。制御部21aは、椎体判定部215を備える点で、第1実施形態の制御部21と異なる。椎体判定部215は、椎体判定処理を実行する。
(第1実施形態の第5変形例)
 椎体推定装置2は、椎体判定処理の実行により得られた推定の結果に基づき、推定対象の画像に写る脊椎のコブ角を推定してもよい。なお、コブ角とは側弯の度合を示す量である。コブ角の値は、コブ法によって算出される。以下、椎体判定処理の実行により得られた推定の結果に基づき推定対象の画像に写る脊椎のコブ角を算出する処理、をコブ角算出処理という。なお、椎体推定モデルの推定する各椎体頂点の位置がそれぞれヒートマップ情報によって示される場合、コブ角算出処理における椎体頂点の各位置は、椎体頂点位置ごとのヒートマップ情報が示す極大値の位置である。
 図9は、第1実施形態の第2変形例における椎体推定装置2が備える制御部21bの構成の一例を示す図である。以下説明の簡単のため、制御部21と同様の機能を有するものについては、図6と同じ符号を付すことで説明を省略する。制御部21bは、コブ角算出部216を備える点で、第1実施形態の第4変形例の制御部21aと異なる。コブ角算出部216は、図10を用いて説明するコブ角算出処理を実行する。
 図10は、第1実施形態の第2変形例における制御部21bの実行する処理の流れの一例を示すフローチャートである。コブ角算出処理は、椎体判定処理の実行後に実行される。そして、椎体判定処理は、例えばステップS202の処理の実行後に実行される。椎体判定部215が、ステップS202で推定された推定の結果を取得する。すなわち、椎体判定部215が、椎体推定部212による推定の結果を取得する(ステップS301)。次に、椎体判定部215が、椎体判定処理の実行により推定対象の画像に写る各椎体を区別する(ステップS302)。
 次に、コブ角算出部216が、隣接椎体対を判定する(ステップS303)。以下説明の簡単のため、傾きが0の方向を、矢状面と冠状面とが交わる線に垂直な軸であって冠状面に平行な軸に平行な方向として制御部21bの実行する処理の流れの一例を説明する。隣接椎体対は、互いに隣接する椎体の対であって、所定の方向を基準として、一方の椎体の傾きの符号と他方の椎体の傾きの符号が逆になる(異なる)、対である。所定の方向は、例えば人の正面から椎体を撮影した結果における水平方向である。なお所定の方向を基準とするとは、所定の方向を角度0とすることを意味する。例えば、隣接椎体対は、一方の椎体の傾きから他方の椎体の傾きに変化する際に、隣接する椎体間の傾きの符号が反転する、対であってもよい。したがって極値点椎体対は、例えば、脊椎の首に近い側を上と定義し脊椎の腰椎に近い側を下と定義した場合に、上の椎体の上縁が形成する脊椎角の符号と、下の椎体の下縁が形成する脊椎角の符号とが異なる、互いに隣接する椎体の対である。脊椎角は、首から腰椎に向かう直線に対する角度であってもよい。
 ステップS303において具体的には、コブ角算出部216はまず、ステップS302で区別された椎体ごとに、各椎体の各頂点の位置に基づいて、椎体の上縁及び下縁の傾きをそれぞれ算出する。次に、コブ角算出部216は、隣接する2つの椎体の対ごとに、互いに隣接しないという条件を満たす上縁と下縁との組の上縁の傾きの符号と下縁の傾きの符号が反転するか否かを判定する。コブ角算出部216は、各対についての判定結果に基づき、椎体の傾きの変化量の符号が反転する対を判定する。このようにして、コブ角算出部216は、隣接椎体対を判定する。
 なお、ステップS303の処理において、隣接椎体対は複数存在する。次に、記憶制御部213が、隣接椎体対と判定された椎体の対のうち上側の椎体を示す情報を、極値点椎体(extremum vertebral body)として記憶部24等の所定の記憶装置に記録する(ステップS304)。すなわち、極値点椎体とは、隣接椎体対と判定された椎体の対のうち上側の椎体である。以下、所定の記憶装置が記憶部24である場合を例に、コブ角算出処理を説明する。
 次に、記憶制御部213が、複数存在する極値点椎体のうち互いに最も近い2つの極値点椎体の組み合わせを記録する(ステップS305)。たとえば、検出された極値点椎体が椎体T1と椎体L5の2つであった場合、記憶制御部213は、記憶部24に椎体T1及び椎体L5を記録する。なお、T1は第一胸椎、L5は第五腰椎を表す。次に、コブ角算出部216は、記憶部24に記憶されている極値点椎体の組み合わせについて、上側の椎体の上縁が形成する脊椎角と、下側の椎体の下縁が形成する脊椎角の傾きの差の絶対値をコブ角として算出する(ステップS306)。たとえば上記の例では、椎体T1の上縁が形成する脊椎角と、椎体L5の下縁が形成する脊椎角の差の絶対値をコブ角として算出する。このとき、ノイズ除去のため、一定の傾き条件を閾値として設定し、これ以下の値はコブ角の算出対象に含めないこととしてもよい。一定の傾き条件とは、たとえば絶対値で5度である。
 なお、ステップS303からステップS307の処理が、コブ角算出処理の一例である。なお、コブ角算出部216はコブ角算出処理においてステップS307の次に、ステップS307の処理で得られた各コブ角のうち大きいものから順に、Major,Minor1、Minor2と判定してもよい。
(第1実施形態の第6変形例)
 上述したように、椎体2次元画像データは画像内に椎体が写る画像の画像データであればどのようなものであってもよいが、椎体推定モデルの精度の向上の観点や、椎体2次元画像データの取得に要する負担の軽減のためには工夫された技術が実行されることが望ましい。そこで、ここでは、そのような工夫された技術の一例を説明する。
 椎体2次元画像データは、例えばROI推定処理の実行により得られる。ROI推定処理は、2次元画像データを実行対象とする処理である。ROI推定処理は、実行対象の2次元画像データが示す画像内の関心領域(ROI:Region of Interest)を推定する処理である。このような場合、椎体2次元画像データは、ROI推定処理の実行対象の2次元画像データの画像からROI推定処理によって推定された関心領域を除く領域の像が消された画像の画像データである。
 ROI推定処理は、より具体的には、実行対象の2次元画像データが示す画像内の関心領域を推定する数理モデルであって2次元画像データと関心領域を示す正解データとの対を用いた学習により得られた数理モデル(以下「ROIモデル」という。)を実行する処理である。
 このようにROIモデルは学習により得られた数理モデルである。ROIモデルの学習では関心領域を示す情報が正解データとして用いられる。学習では、訓練データの含む2次元画像データに対するROIモデルの実行結果と正解データとの違いを小さくするようにROIモデルが更新される。学習に際して用いられる訓練データの含む2次元画像データには、椎体の像を写す2次元画像の画像データが用いられ、正解データは椎体を写す領域を関心領域として示す。なお、用いられる正解データが示す椎体頂点の位置は、例えば医師が診断により手動で特定した椎体頂点の位置であってもよい。このようにして、実行対象の2次元画像データから椎体を写す関心領域を推定するROIモデルが得られる。
 なお、ROIモデルの学習における訓練データの一部は椎体の像の写らない2次元画像データを含む訓練データであってもよい。このような場合、正解データは関心領域が無いことを示す。また、ROIモデルの学習における訓練データの含む2次元画像データには椎体の像が写る2次元画像データのみが用いられてもよい。そしてこのような場合、正解データは必ず、椎体の像の写る領域を関心領域として示してもよい。また、訓練データの含む正解データは、ROIモデルの実行対象の2次元画像データの画像の一部の領域であって、椎体の像を写すという条件を満たすランダムに選択された領域、を関心領域として示してもよい。したがって例えば訓練データの含む正解データは、ROIモデルの実行対象の2次元画像データの画像内の複数の領域であって少なくとも一つの椎体の像が写っている各領域それぞれを関心領域として示してもよい。
 脊椎の撮影は、さまざまな環境で行われ得る。そのため、撮影の状況に応じて画像にばらつきが生じてしまう。ROI推定処理の実行により得られた椎体2次元画像データが用いられれば、このような撮影時のばらつきが軽減された画像データを用いて、椎体頂点の各位置と中心指向ベクトルとが推定される。そのため、椎体推定モデルの学習の効率も向上するし、学習済みの椎体推定モデルによる推定の精度も向上する。学習において上述したような関心領域のランダムな選択が行われる場合、学習済みの椎体推定モデルによる推定の精度が向上する。その理由を説明する。
<関心領域のランダムな選択が行われることで推定の精度が向上する理由>
 学習に用いられるデータセットは、多くが画像の左右に大きく余白があるような画像の画像データであり、少量は余白がほとんどない画像の画像データである、というデータセットである場合がある。このようなデータセットをそのまま学習に用いると、画像の左右に大きく余白があるような画像の画像データに対する推定の精度は高いものの、それ以外の画像データについては推定の精度が低いために、過学習が生じてしまう可能性がある。過学習した学習済みの数理モデルをアプリケーションに組み込んだ場合、学習時に用いられた画像の撮影の状況と異なる状況で得られた画像の画像データに対して、推定精度が低い場合がある。
 そのため、学習では学習データセットの偏りを軽減した学習が行われることが望ましい。関心領域のランダムな選択は、学習に用いるデータをランダムに選ぶために、このような学習データセットの偏りを軽減することができる。より具体的には、関心領域をランダムに選択することで、大多数の余白が多いデータから少数派の余白の少ないデータに近いデータを一定確率で生成することができ、余白の少ないデータの相対的な割合が増える。そのため、関心領域のランダムな選択は、学習に用いるデータをランダムに選ぶために、このような学習データセットの偏りを軽減することができる。したがって、関心領域のランダムな選択が行われることで過学習を防ぐことができ、学習済みの椎体推定モデルによる推定の精度が向上する。ここまでで関心領域のランダムな選択が行われることで推定の精度が向上する理由の説明を終了する。
 ROI推定処理は、例えば訓練データ取得部111が実行する。椎体推定モデル学習装置1に2次元画像データと正解データとの対が入力された場合、訓練データ取得部111は、ROI推定処理の実行により、入力された2次元画像データから椎体2次元画像データを生成する。訓練データ取得部111は、生成した椎体2次元画像データと入力された正解データとの対を訓練データとして取得する。
 ROI推定処理は、例えば対象データ取得部211が実行する。椎体推定装置2に2次元画像データが入力された場合、対象データ取得部211は、ROI推定処理の実行により、入力された2次元画像データから椎体2次元画像データを生成する。対象データ取得部211は、生成した椎体2次元画像データを学習済みの椎体推定モデルの実行対象として取得する。
(第1実施形態の第7変形例)
 椎体推定モデルの学習では、複数の椎体2次元画像が用いられてもよい。このような場合、複数の椎体2次元画像の一部は、左右を反転させた椎体2次元画像であってもよいし、白黒の反転等の色の反転が行われた椎体2次元画像であってもよいし、上下を反転させた椎体2次元画像であってもよい。すなわち、椎体推定モデルの実行対象の2次元画像の画像データの集合は、色、上下又は左右が反転した2次元画像の画像データを含む集合であってもよい。
 椎体推定モデルの学習では、色及び左右の反転が行われていない椎体2次元画像と、色の反転が行われ左右の反転が行われていない椎体2次元画像と、色の反転は行われず左右の反転が行われた椎体2次元画像と、色及び左右の反転が行われた椎体2次元画像との4つそれぞれについて、椎体推定モデルの実行が行われてもよい。このような場合、各画像に対する椎体推定モデルの推定結果に基づき、各推定結果の差が小さくなるように椎体推定モデルが更新されてもよい。
 このような4種類の椎体2次元画像の画像データを用いて学習された学習済みの椎体推定モデルを椎体推定装置2が用いる場合には、上記の4種類の画像の画像データに対して学習済みの椎体推定モデルが実行されてもよい。このような場合、4つの推定のうちの1つ以上3つ以下の推定においてのみ頂点の位置と中心指向ベクトルとが推定される椎体が生じる場合がある。このように、4つ全てではなくても少なくとも1つで頂点の位置と中心指向ベクトルとが推定されれば、ユーザはその結果を、実際に椎体が存在する、と受け取ってもよい。
 実験では、1種類の椎体2次元画像データだけを用いた場合には検出されなかった椎体が、このような4種類の椎体2次元画像の画像データを用いることで、17回の試行で連続して検出された、という結果が一例として得られている。
 このように、色又は左右が反転した椎体2次元画像の画像データも用いた椎体推定モデルの学習は、推定の精度を上げる効果を奏する。また、このように、色又は左右が反転した椎体2次元画像の画像データも用いた推定の結果であって学習済みの椎体推定モデルの実行で得られる推定の結果は、色及び左右の反転の無い1種類の椎体2次元画像データに基づく推定よりも、推定の精度が高いという効果を奏する。左右と上下とは、画像のどちらを右と定義するか、という定義の問題である。したがって、色、上下又は左右が反転した椎体2次元画像の画像データも用いた推定の結果であって学習済みの椎体推定モデルの実行で得られる推定の結果についても、色、上下及び左右の反転の無い1種類の椎体2次元画像データに基づく推定よりも、推定の精度が高いという効果を奏する。
(第1実施形態の第8の変形例)
 なお、椎体推定モデル学習装置1は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、椎体推定モデル学習装置1が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
 なお、椎体推定装置2は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、椎体推定装置2が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
 なお、椎体推定モデル学習装置1及び椎体推定装置2は、必ずしも異なる装置として実装される必要は無い。椎体推定モデル学習装置1及び椎体推定装置2は、例えば両者の機能を併せ持つ1つの装置として実装されてもよい。
(第2実施形態)
 第2実施形態の固定条件推定モデル学習装置5を説明する。固定条件推定モデル学習装置5は、人又は動物の椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルを、機械学習の方法を用いて得る。
 固定条件推定モデル学習装置5は、椎体の3次元画像の画像データ(以下「椎体3次元画像データ」という。)を用いて学習を行う。椎体の3次元の画像データはどのように得られたものであってもよい。例えば学習では、シミュレーション等によって得られた仮想の椎体の3次元の画像データが用いられてもよい。また、既存の医療現場で取得可能な形式の画像データを用いて生成された椎体3次元画像データが用いられてもよい。そこで、固定条件推定モデル学習装置5の説明にあたり、まずは学習に用いられる椎体3次元画像データの生成の処理(以下「椎体3次元画像データ生成処理」という。)の一例を説明し、次に学習について説明する。
<椎体3次元画像データの生成>
 椎体3次元画像データ生成処理では次元変換処理が実行される。次元変換処理は、3次元CT画等の撮影によって得られた3次元画像の画像データを複数の2次元画像の画像データに変換する処理である。次元変換処理によって生成される複数の2次元画像は、具体的には3次元画像に写る像の所定の一軸(以下「断面垂直軸」という。)上の複数の点における断面の画像であって、断面垂直軸に垂直な断面の画像である。すなわち、次元変換処理は、3次元画像の画像データから、その3次元画像に写る像の断面垂直軸上の複数の点における断面の画像であって断面垂直軸に垂直な断面の画像の集合を生成する処理である。次元変換処理は、例えばDigitally Reconstructed Radiograph(DRR)である。
 次元変換処理の実行対象の3次元画像は、椎体の撮影結果の3次元画像である。したがって、次元変換処理の実行対象の3次元画像には椎体の像を含む像が写る。次元変換処理の実行対象の3次元画像に椎体が写る為、次元変換処理で生成された複数の2次元画像には椎体の断面が写る。以下、椎体の断面の2次元画像を、椎体断面画像という。
 椎体3次元画像データ生成処理では、得られた各椎体断面画像に対して椎体検出処理が実行される。椎体検出処理は、実行対象の椎体断面画像に写る椎体を検出する処理である。椎体断面画像に写る椎体を検出するとは、具体的には、椎体断面画像を構成する画素のうちの椎体を写す画素を示す情報を、後述する記憶部54や記憶部64等の所定の記憶装置に記録することを意味する。このように、椎体検出処理とは、椎体断面画像における画像内の椎体の位置の情報を取得する処理である。
 椎体の位置は、例えば椎体の4頂点の位置であってもよいし、椎体の中心の位置であってもよいし、椎体の輪郭の位置であってもよい。椎体検出処理は、例えば学習済みの椎体推定モデルと、椎体判定処理と、を実行する処理である。椎体検出処理では、例えば学習済みの椎体推定モデルと、椎体判定処理とに加えてさらにROI推定処理が実行されてもよい。
 なお、椎体3次元画像データ生成処理では、各椎体断面画像の位置関係を示す情報(以下「断面位置関係情報」という。)が用いられる。なお、断面位置関係情報は、予め記憶部54や記憶部64等の所定の記憶装置に記憶済みであってもよいし、次元変換処理の実行の結果の1つとして次元変換処理の実行後に記憶部54や記憶部64等の所定の記憶装置に記録されてもよい。
 次に、椎体3次元画像データ生成処理では3次元化処理が実行される。3次元化処理は、椎体断面画像と、断面位置関係情報と、椎体検出処理の結果と、に基づき椎体の3次元画像の画像データを生成する処理である。断面位置関係情報は、各椎体断面画像の位置関係を示す情報である。断面位置関係情報は、予め記憶部54や記憶部64等の所定の記憶装置に記憶済みのものであってもよいし、次元変換処理の実行の結果の1つとして得られてもよい。
 断面位置関係情報によって椎体断面画像の3次元空間における位置関係が示され、椎体検出処理の結果として各椎体断面画像内における椎体の位置が示される。そのため、断面位置関係情報と椎体検出処理の結果とによって、3次元空間における椎体の位置が示される。
 したがって3次元化処理は、断面位置関係情報と椎体検出処理の結果とが示す情報であって3次元空間における椎体の位置を示す情報(以下「3次元空間内椎体位置情報」という。)に基づき、椎体の3次元画像の画像データを生成する処理である。3次元化処理では、例えば3次元空間内椎体位置情報に基づき内挿を行うことでより一層滑らかな3次元画像の画像データを生成することが行われてもよい。
 なお、椎体3次元画像データ生成処理では、椎体検出処理と3次元化処理との間に、閾値処理等の各種の画像処理が行われてもよい。
 なお、ここまで椎体断面画像は次元変換処理で得られるものとして説明を行ってきたが、椎体3次元画像データ生成処理は、椎体の3次元画像の画像データを得ることができれば、必ずしも次元変換処理を含む必要は無い。例えば、断面位置関係情報と複数の椎体断面画像とが予め得られていれば、椎体3次元画像データ生成処理として検体抽出処理と3次元化処理とを実行し、次元変換処理を実行せずに、椎体3次元画像データを得てもよい。またこのような場合、椎体断面画像は次元変換処理によって得られたものである必要は無い。このように、椎体の3次元画像の画像データは、検体抽出処理が複数の椎体2次元画像に対して実行された結果を用いて生成された画像データである。
 椎体3次元画像データ生成処理は、固定条件推定モデル学習装置5が実行してもよいし、他の装置が実行してもよい。以下、椎体3次元画像データ生成処理については固定条件推定モデル学習装置5と異なる他の装置が行うとしてまずは説明を行う。すなわち固定条件推定モデル学習装置5については、椎体3次元画像データ生成処理を実行しない装置としてまずは説明を行う。また、学習済みの固定条件推定モデルを実行する装置(すなわち、後述する固定条件推定装置6)についても、椎体3次元画像データ生成処理を実行しない装置としてまずは説明を行う。椎体3次元画像データ生成処理を実行する固定条件推定モデル学習装置5については変形例にて説明する。学習済みの固定条件推定モデルを実行する装置についても同様に、椎体3次元画像データ生成処理を実行する場合については変形例にて説明する。
<固定条件推定モデルの学習について>
 人又は動物の椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルの取得に際して、固定条件推定モデル学習装置5は、固定条件推定モデルの学習を行う。固定条件推定モデルは、入力された椎体3次元画像データに基づき、座標系情報と、脊椎内固定器具固定条件とを推定する数理モデルである。座標系情報は、椎体3次元画像データが示す画像(以下「椎体3次元画像」という。)に写る像の各位置を示す座標系の情報である。脊椎内固定器具固定条件は、椎体3次元画像データの画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置とを示す情報である。
 なお、椎体3次元画像データは、3次元CT(Computed Tomography)画像に対する椎体3次元画像データ生成処理の実行により得られてもよいし、MRI(Magnetic Resonance Imaging)を用いて得られた2次元の画像の画像データを椎体断面画像とする椎体3次元画像データ生成処理の実行により得られてもよい。レントゲン撮影で得られたX線写真の画像データを椎体断面画像とする椎体3次元画像データ生成処理の実行により得られてもよい。
 固定条件推定モデルの学習では、椎体3次元画像データと、正解座標系情報と、正解脊椎内固定器具固定条件と、の組が訓練データとして用いられる。正解座標系情報は、同じ組に属する椎体3次元画像データが示す画像に写る像の各位置を示す座標系の情報である。正解脊椎内固定器具固定条件は、同じ組に属する椎体3次元画像データが示す画像に写る各椎体に設置する脊椎内固定器具のサイズと設置の位置と、を示す情報である。学習では1回の試行ごとに1つの訓練データが用いられる。学習では1回の試行ごとに固定条件推定モデルが更新される。
 より具体的に固定条件推定モデルの学習を説明する。固定条件推定モデルの学習では、訓練データの含む椎体3次元画像データに対して固定条件推定モデルが実行される。固定条件推定モデルの学習では、座標系違いと、固定条件違いとを小さくするように固定条件推定モデルの更新が行われる。座標系違いは、固定条件推定モデルの実行により推定された座標系情報と正解座標系情報が示す座標系の情報との違いである。固定条件違いは、固定条件推定モデルの実行により推定された脊椎内固定器具固定条件と正解脊椎内固定器具固定条件との違いである。すなわち、正解座標系情報及び正解脊椎内固定器具固定条件は固定条件推定モデルの学習における正解データである。なお、違いを表す損失関数は、例えば交差エントロピーであってもよいし、二乗誤差関数であってもよい。
<正解座標系情報の示す座標系について>
 ここで正解座標系情報の示す座標系について図11及び図12を用いて一例を説明する。図11は、第2実施形態における正解座標系情報の示す座標系の一例を説明する第1の図である。図12は、第2実施形態における正解座標系情報の示す座標系の一例を説明する第2の図である。図11の画像G3は、椎骨の横断面(Axial面)上断面の輪郭の画像である。図12の画像G5は、画像G3の背景色を反転した画像である。
 正解座標系情報の示す座標系は3次元の直交座標系である。正解座標系情報の示す座標系は、各軸が以下の幾何学的な処理で定義される座標系である。
<正解座標系情報の示す座標系の各軸を定義する処理>
 椎骨のAxial面上断面において、左右椎弓根の最狭部の各中心点を端点とした線を軸1と定義する。軸1と交わりAxial面にて椎体前縁と椎孔前縁とを結ぶ線であって、椎体上縁と略平行な線を軸2と定義する。軸2は、図11の画像G4と図12の画像G6とに示された線分J1である。軸1と軸2が張る面において軸2と直交し軸1の端点の片方を含む線分を軸3と定義する。このようにして定義された軸2が正解座標系情報の示す座標系のY軸であり、軸3が正解座標系情報の示す座標系のX軸であり、軸2と軸3とに直交する軸がZ軸である。正解座標系情報の示す座標系の原点は、X軸とY軸の交点である。
 図13は、第2実施形態における固定条件推定モデル学習装置5のハードウェア構成の一例を示す図である。固定条件推定モデル学習装置5は、バスで接続されたCPU等のプロセッサ95とメモリ96とを備える制御部51を備え、プログラムを実行する。固定条件推定モデル学習装置5は、プログラムの実行によって制御部51、入力部52、通信部53、記憶部54及び出力部55を備える装置として機能する。
 より具体的には、プロセッサ95が記憶部54に記憶されているプログラムを読み出し、読み出したプログラムをメモリ96に記憶させる。プロセッサ95が、メモリ96に記憶させたプログラムを実行することによって、固定条件推定モデル学習装置5は、制御部51、入力部52、通信部53、記憶部54及び出力部55を備える装置として機能する。
 制御部51は、固定条件推定モデル学習装置5が備える各種機能部の動作を制御する。制御部51は、固定条件推定モデルを実行する。制御部11は、例えば出力部55の動作を制御し、出力部55に固定条件推定モデルの実行結果を出力させる。制御部51は、例えば固定条件推定モデルの実行により生じた各種情報を記憶部54に記録する。記憶部54が記憶する各種情報は、例えば固定条件推定モデルの学習結果を含む。
 入力部52は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部52は、これらの入力装置を固定条件推定モデル学習装置5に接続するインタフェースとして構成されてもよい。入力部52は、固定条件推定モデル学習装置5に対する各種情報の入力を受け付ける。入力部52には、例えば椎体3次元画像データが入力される。
 通信部53は、固定条件推定モデル学習装置5を外部装置に接続するための通信インタフェースを含んで構成される。通信部53は、有線又は無線を介して外部装置と通信する。外部装置は、例えば固定条件推定モデルの学習に用いられる訓練データの送信元の装置である。通信部53は、固定条件推定モデルの学習に用いられる訓練データの送信元の装置との通信によって固定条件推定モデルの学習に用いられる訓練データを受信する。固定条件推定モデルの学習に用いられる訓練データの送信元の装置の1つは、椎体3次元画像データの送信元の装置である。外部装置は、例えば例えば学習済みの固定条件推定モデルを実行する装置である。通信部53は、学習済みの固定条件推定モデルを実行する装置との通信によって、学習済みの固定条件推定モデルを学習済みの固定条件推定モデルを実行する装置に送信する。
 記憶部54は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部54は固定条件推定モデル学習装置5に関する各種情報を記憶する。記憶部54は、例えば入力部52又は通信部53を介して入力された情報を記憶する。記憶部54は、例えば固定条件推定モデルを予め記憶する。記憶部54は、例えば固定条件推定モデルの実行により生じた各種情報を記憶する。
 出力部55は、各種情報を出力する。出力部55は、例えばCRTディスプレイや液晶ディスプレイ、有機ELディスプレイ等の表示装置を含んで構成される。出力部55は、これらの表示装置を固定条件推定モデル学習装置5に接続するインタフェースとして構成されてもよい。出力部55は、例えば入力部52又は通信部53に入力された情報を出力する。出力部55は、例えば固定条件推定モデルの実行結果を表示してもよい。
 図14は、第2実施形態における固定条件推定モデル学習装置5が備える制御部51の構成の一例を示す図である。制御部51は、訓練データ取得部511、学習部512、記憶制御部513及び出力制御部514を備える。
 訓練データ取得部511は、訓練データを取得する。訓練データ取得部511は、例えば入力部52又は通信部53に入力された訓練データを取得する。訓練データ取得部511は、予め記憶部54に記憶済みの訓練データを読み出すことで訓練データを取得してもよい。なお、訓練データ取得部511の取得する訓練データは、椎体3次元画像データと、正解座標系情報と、正解脊椎内固定器具固定条件と、の組である。
 学習部512は、固定条件推定モデルの学習を実行する。学習部512は、固定条件推定モデル実行部521及び更新部522を備える。固定条件推定モデル実行部521は、訓練データ取得部511の取得した訓練データに含まれる椎体3次元画像データに対して固定条件推定モデルを実行する。固定条件推定モデル実行部521は固定条件推定モデルの実行により、実行対象の椎体3次元画像データが示す画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置と、その画像に写る各像の各位置を示す座標系の情報と、を推定する。
 固定条件推定モデル実行部521は、具体的には固定条件推定モデルを表現するニューラルネットワークである。したがって固定条件推定モデル実行部521による固定条件推定モデルの実行とは、固定条件推定モデルを表現するニューラルネットワークが動作することを意味する。
 更新部522は、固定条件推定モデル実行部521の推定結果と、訓練データに含まれる正解データとに基づき、推定結果と正解データとの違いを小さくするように、固定条件推定モデルを更新する。正解データとは、たとえば実際に脊椎内固定器具が設置された椎骨の画像のデータと、設置された脊椎内固定器具の各サイズおよび位置と、その画像に写る各像の各位置を示す座標系の情報とのセットである。
 記憶制御部513は各種情報を記憶部54に記録する。出力制御部514は出力部55の動作を制御する。
 図15は、第2実施形態における固定条件推定モデル学習装置5が実行する処理の流れの一例を示すフローチャートである。訓練データ取得部511が訓練データを取得する(ステップS401)。次に、固定条件推定モデル実行部521が、ステップS401で取得された訓練データに含まれる椎体3次元画像データに対して固定条件推定モデルを実行する(ステップS402)。固定条件推定モデルの実行により、実行対象の椎体3次元画像データが示す画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置と、その画像に写る各像の各位置を示す座標系の情報と、が推定される。
 次に更新部522が、ステップS402の実行により得られた推定の結果と、ステップS401で取得された訓練データに含まれる正解データとに基づき、固定条件推定モデルを更新する(ステップS403)。次に、更新部522は、学習終了条件が満たされたか否かを判定する(ステップS404)。学習終了条件が満たされた場合(ステップS404:YES)、処理が終了する。一方、学習終了条件が満たされない場合(ステップS404:NO)、ステップS401の処理に戻る。
 このようにして得られた学習済みの固定条件推定モデルは、入力された画像データの画像であって推定対象の画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置と、その画像に写る各像の各位置を示す座標系の情報との推定に用いられる。このような処理を実行するものの一例が、これから説明する固定条件推定装置6である。固定条件推定装置6は、学習済みの固定条件推定モデルを、例えば通信によって固定条件推定モデル学習装置5から取得することで、学習済みの固定条件推定モデルの実行前に予め取得する。固定条件推定装置6は、学習済みの固定条件推定モデルを、例えば学習済みの固定条件推定モデルを表現するニューラルネットワークが備え付けられることで、学習済みの固定条件推定モデルの実行前に予め取得してもよい。
 固定条件推定装置6は、固定条件推定モデル学習装置5の得た学習済みの固定条件推定モデルを用いて、推定対象の画像データの画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置と、その画像に写る各像の各位置を示す座標系の情報とを推定する。
 図16は、第2実施形態における固定条件推定装置6のハードウェア構成の一例を示す図である。固定条件推定装置6は、バスで接続されたCPU等のプロセッサ97とメモリ98とを備える制御部61を備え、プログラムを実行する。固定条件推定装置6は、プログラムの実行によって制御部61、入力部62、通信部63、記憶部64及び出力部65を備える装置として機能する。
 より具体的には、プロセッサ97が記憶部64に記憶されているプログラムを読み出し、読み出したプログラムをメモリ98に記憶させる。プロセッサ97が、メモリ98に記憶させたプログラムを実行することによって、固定条件推定装置6は、制御部61、入力部62、通信部63、記憶部64及び出力部65を備える装置として機能する。
 制御部61は、固定条件推定装置6が備える各種機能部の動作を制御する。制御部61は、学習済みの固定条件推定モデルを実行する。制御部61は、例えば出力部65の動作を制御し、出力部65に学習済みの固定条件推定モデルの実行結果を出力させる。制御部61は、例えば学習済みの固定条件推定モデルの実行により生じた各種情報を記憶部64に記録する。記憶部64が記憶する各種情報は、例えば学習済みの固定条件推定モデルの実行結果を含む。
 入力部62は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部62は、これらの入力装置を固定条件推定装置6に接続するインタフェースとして構成されてもよい。入力部62は、固定条件推定装置6に対する各種情報の入力を受け付ける。入力部62には、例えば推定対象の椎体3次元画像データが入力される。
 通信部63は、固定条件推定装置6を外部装置に接続するための通信インタフェースを含んで構成される。通信部63は、有線又は無線を介して外部装置と通信する。外部装置は、例えば推定対象の椎体3次元画像データの送信元の装置である。通信部63は、推定対象の椎体3次元画像データの送信元の装置との通信によって推定対象の椎体3次元画像データの送信元の装置から推定対象の椎体3次元画像データを受信してもよい。外部装置は、例えば固定条件推定モデル学習装置5である。通信部63は、固定条件推定モデル学習装置5との通信によって学習済みの椎体推定モデルを固定条件推定モデル学習装置5から受信してもよい。
 記憶部64は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部64は固定条件推定装置6に関する各種情報を記憶する。記憶部64は、例えば入力部62又は通信部63を介して入力された情報を記憶する。記憶部64は、例えば学習済みの固定条件推定モデルを学習済みの固定条件推定モデルの実行前に予め記憶する。記憶部64は、例えば学習済みの固定条件推定モデルの実行により生じた各種情報を記憶する。
 出力部65は、各種情報を出力する。出力部65は、例えばCRTディスプレイや液晶ディスプレイ、有機ELディスプレイ等の表示装置を含んで構成される。出力部65は、これらの表示装置を固定条件推定装置6に接続するインタフェースとして構成されてもよい。出力部65は、例えば入力部62又は通信部63に入力された情報を出力する。出力部65は、例えば学習済みの固定条件推定モデルの実行結果を出力してもよい。
 図17は、第2実施形態における固定条件推定装置6が備える制御部61の構成の一例を示す図である。制御部61は、対象データ取得部611、固定条件推定部612、記憶制御部613及び出力制御部614を備える。
 対象データ取得部611は、学習済みの固定条件推定モデルの実行対象の椎体3次元画像データを取得する。対象データ取得部611の取得する椎体3次元画像データが、推定対象の3次元画像の画像データである。対象データ取得部611は、例えば入力部62又は通信部63を介して入力された椎体3次元画像データを学習済みの固定条件推定モデルの実行対象の椎体3次元画像データとして取得する。
 固定条件推定部612は、対象データ取得部611の取得した椎体3次元画像データに対して学習済みの固定条件推定モデルを実行する。固定条件推定部612は、固定条件推定モデルの実行により、実行対象の画像データの画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置と、その画像に写る各像の各位置を示す座標系の情報とを推定する。
 記憶制御部613は各種情報を記憶部64に記録する。出力制御部614は出力部65の動作を制御する。
 図18は、第2実施形態における固定条件推定装置6が実行する処理の流れの一例を示すフローチャートである。対象データ取得部611が、推定対象の画像の画像データを取得する(ステップS501)。次に、固定条件推定部612が、対象データ取得部611の取得した画像データに対して学習済みの固定条件推定モデルを実行する(ステップS502)。学習済みの固定条件推定モデルの実行により、実行対象の画像データの画像に写る各椎体に設置する脊椎内固定器具の各サイズと固定の各位置が推定される。また、学習済みの固定条件推定モデルの実行により、実行対象の画像データの画像に写る各像の各位置を示す座標系の情報も推定される。
 次に、出力制御部614が出力部65の動作を制御して、ステップS502で得られた推定の結果を、出力部65に出力させる(ステップS503)。出力の方法は、例えば表示である。
 このように構成された第2実施形態の固定条件推定モデル学習装置5は、脊椎内固定器具のサイズと設置の位置とを推定する数理モデルを得る。脊椎内固定器具のサイズと設置の位置とを決定することは、椎体に係る身体の異常を治療する際の治療方針の決定で決定される事項の1つである。そのため、脊椎内固定器具のサイズと設置の位置とを推定する数理モデルを学習により得る固定条件推定モデル学習装置5は、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減することができる。
 このように構成された第2実施形態の固定条件推定装置6は、固定条件推定モデル学習装置5が得た学習済みの固定条件推定モデルを用いて、脊椎内固定器具のサイズと設置の位置とを決定する。そのため、固定条件推定装置6は、椎体に係る身体の異常を治療する際の治療方針の決定に要する負担を軽減することができる。
(第2実施形態の第1変形例)
 固定条件推定モデル学習装置5は、椎体3次元画像データ生成処理を実行してもよい。固定条件推定モデル学習装置5が椎体3次元画像データ生成処理を実行する場合、入力部52又は通信部53には、椎体3次元画像データに代えて椎体3次元画像データ生成処理の実行対象の画像データが入力される。椎体3次元画像データ生成処理の実行対象の画像データは、固定条件推定モデル学習装置5の実行する椎体3次元画像データ生成処理の内容に依存する。
 固定条件推定モデル学習装置5の実行する椎体3次元画像データ生成処理が次元変換処理を含む場合には、椎体3次元画像データ生成処理の実行対象の画像データは3次元CT画等の撮影によって得られた3次元画像である。固定条件推定モデル学習装置5の実行する椎体3次元画像データ生成処理が次元変換処理を含まない場合には、椎体3次元画像データ生成処理の実行対象の画像データは複数の椎体断面画像である。
 図19は、第2実施形態の第1変形例における固定条件推定モデル学習装置5の備える制御部51aの構成の一例を示す図である。以下説明の簡単のため、制御部51と同様の機能を有するものについては、図14と同じ符号を付すことで説明を省略する。制御部51aは、訓練データ取得部511に代えて訓練データ取得部511aを備える点で、第2実施形態の制御部51と異なる。
 訓練データ取得部511aは、入力部52又は通信部53に入力された正解座標系情報と、正解脊椎内固定器具固定条件とを取得する。訓練データ取得部511aは、入力部52又は通信部53に入力された椎体3次元画像データ生成処理の実行対象の画像データに対して、椎体3次元画像データ生成処理を実行する。訓練データ取得部511aは、椎体3次元画像データ生成処理の実行により、椎体3次元画像データを取得する。このようにして、訓練データ取得部511aは、訓練データを取得する。
(第2実施形態の第2変形例)
 固定条件推定装置6は、椎体3次元画像データ生成処理を実行してもよい。固定条件推定装置6が椎体3次元画像データ生成処理を実行する場合、入力部62又は通信部63には、椎体3次元画像データに代えて椎体3次元画像データ生成処理の実行対象の画像データが入力される。椎体3次元画像データ生成処理の実行対象の画像データは、固定条件推定装置6の実行する椎体3次元画像データ生成処理の内容に依存する。
 固定条件推定装置6の実行する椎体3次元画像データ生成処理が次元変換処理を含む場合には、椎体3次元画像データ生成処理の実行対象の画像データは3次元CT画等の撮影によって得られた3次元画像である。固定条件推定装置6の実行する椎体3次元画像データ生成処理が次元変換処理を含まない場合には、椎体3次元画像データ生成処理の実行対象の画像データは複数の椎体断面画像である。
 図20は、第2実施形態の第2変形例における固定条件推定装置6の備える制御部61aの構成の一例を示す図である。以下説明の簡単のため、制御部61と同様の機能を有するものについては、図17と同じ符号を付すことで説明を省略する。制御部61aは、対象データ取得部611に代えて対象データ取得部611aを備える点で、第2実施形態の制御部61と異なる。
 対象データ取得部611aは、入力部62又は通信部63に入力された椎体3次元画像データ生成処理の実行対象の画像データに対して、椎体3次元画像データ生成処理を実行する。対象データ取得部611aは、椎体3次元画像データ生成処理の実行により、椎体3次元画像データを取得する。
(第2実施形態の第3変形例)
 なお、固定条件推定モデル学習装置5及び固定条件推定装置6は、2次元画像の画像データに対して処理を実行してもよい。したがって、固定条件推定モデル学習装置5及び固定条件推定装置6は、N次元画像(Nは2又は3)の画像データに対して処理を実行してもよい。すなわち、椎体3次元画像に代えて椎体N次元画像であり椎体3次元画像データに代えて椎体N次元画像データであってもよい。そしてこのような場合、固定条件推定モデルの学習に用いられる正解座標系情報は直交するN次元座標系である。
(第2実施形態の第4変形例)
 なお、固定条件推定モデル学習装置5は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、固定条件推定モデル学習装置5が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
 なお、固定条件推定装置6は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、固定条件推定装置6が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
 なお、固定条件推定モデル学習装置5及び固定条件推定装置6は、必ずしも異なる装置として実装される必要は無い。固定条件推定モデル学習装置5及び固定条件推定装置6は、例えば両者の機能を併せ持つ1つの装置として実装されてもよい。
(その他の変形例)
 なお、椎体推定モデル学習装置1と、椎体推定装置2と、固定条件推定モデル学習装置5と、固定条件推定装置6との各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
 各実施形態は、組み合わされてもよい。
 なお、椎体2次元画像と椎体3次元画像とはそれぞれ椎体画像の一例である。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
(付記1)
 椎体が写る画像である椎体画像の画像データに基づき前記画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像に写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、
 前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、
 を備える固定条件推定モデル学習装置。
(付記2)
 前記椎体画像は椎体が写る3次元画像であり、
 前記椎体画像の画像データは、椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の隅の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の隅の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果に基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルが複数の椎体2次元画像に対して実行された結果を用いて、得られた画像データである、
 付記1に記載の固定条件推定モデル学習装置。
(付記3)
 椎体が写る画像である椎体画像の画像データを取得する対象データ取得部と、
 椎体画像の画像データに基づき前記椎体画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像の画像データに写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、を備える固定条件推定モデル学習装置によって、所定の終了条件が満たされるまで更新された前記固定条件推定モデルを用いて、前記対象データ取得部が取得した前記画像データに基づき、前記画像データに写る像の各位置を示す座標系の情報と、前記画像データの画像に写る椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定部と、
 を備える固定条件推定装置。
(付記4)
 椎体が写る画像である椎体画像の画像データに基づき前記画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像に写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行ステップと、
 前記固定条件推定モデル実行ステップによる推定の結果に基づき、前記固定条件推定モデルを更新する更新ステップと、
 を有する固定条件推定モデル学習方法。
(付記5)
 上記の固定条件推定モデル学習装置としてコンピュータを機能させるためのプログラム。
(付記6)
 上記の固定条件推定装置としてコンピュータを機能させるためのプログラム。
 1…椎体推定モデル学習装置、 11…制御部、 12…入力部、 13…通信部、 14…記憶部、 15…出力部、 111…訓練データ取得部、 112…学習部、 113…記憶制御部、 114…出力制御部、 121…椎体推定モデル実行部、 122…更新部、 2…椎体推定装置、 21、21a、21b…制御部、 22…入力部、 23…通信部、 24…記憶部、 25…出力部、 211…対象データ取得部、 212…椎体推定部、 213…記憶制御部、 214…出力制御部、 215…椎体判定部、 216…コブ角算出部、 5…固定条件推定モデル学習装置、 51、51a…制御部、 52…入力部、 53…通信部、 54…記憶部、 55…出力部、 511、511a…訓練データ取得部、 512…学習部、 513…記憶制御部、 514…出力制御部、 521…固定条件推定モデル実行部、 522…更新部、 61、61a…制御部、 62…入力部、 63…通信部、 64…記憶部、 65…出力部、 611、611a…対象データ取得部、 612…固定条件推定部、 613…記憶制御部、 614…出力制御部、 91…プロセッサ、 92…メモリ、 93…プロセッサ、 94…メモリ、 95…プロセッサ、 96…メモリ、 97…プロセッサ、 98…メモリ

Claims (15)

  1.  椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデルを実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、
     前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、
     を備える椎体推定モデル学習装置。
  2.  前記推定対象の椎体2次元画像の画像データの集合は、色、上下及び左右のうち一つ以上が反転した椎体2次元画像の画像データを含む、
     請求項1に記載の椎体推定モデル学習装置。
  3.  前記椎体2次元画像の画像データは、実行対象の2次元画像データが示す画像内の関心領域を推定する数理モデルであって2次元画像データと関心領域を示す正解データとの対を用いた学習により得られた数理モデルであるROIモデルを用いて、得られた画像データである、
     請求項1又は2に記載の椎体推定モデル学習装置。
  4.  前記ROIモデルの学習における関心領域は、前記ROIモデルの実行対象の2次元画像データの画像の一部の領域であって、椎体の像を写すという条件を満たすランダムに選択された領域、である、
     請求項3に記載の椎体推定モデル学習装置。
  5.  椎体が写る2次元画像である椎体2次元画像の画像データを取得する対象データ取得部と、
     椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデルを実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルを用いて、前記対象データ取得部が取得した前記画像データに基づき、前記画像データが示す画像に写る前記椎体の各頂点の位置と、前記頂点ごとの前記ベクトルと、を推定する椎体推定部と、
     を備える椎体推定装置。
  6.  前記椎体推定部は、椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された椎体推定モデルを用いた推定の結果である前記椎体の各頂点の位置と前記頂点ごとの前記ベクトルとを椎体ごとにグルーピングする、
     請求項5に記載の椎体推定装置。
  7.  前記椎体推定部の推定の結果に基づき、コブ角を算出するコブ角算出部、
     を備える請求項6に記載の椎体推定装置。
  8.  前記対象データ取得部の取得する前記椎体2次元画像の画像データは、実行対象の2次元画像データが示す画像内の関心領域を推定する数理モデルであって2次元画像データと関心領域を示す正解データとの対を用いた学習により得られた数理モデルであるROIモデルを用いて、得られた画像データである、
     請求項5から7のいずれか一項に記載の椎体推定装置。
  9.  前記ROIモデルの学習における関心領域は、前記ROIモデルの実行対象の2次元画像データの画像の一部の領域であって、椎体の像を写すという条件を満たすランダムに選択された領域、である、
     請求項8に記載の椎体推定装置。
  10.  椎体が写る画像である椎体画像の画像データを取得する対象データ取得部と、
     椎体画像の画像データに基づき前記椎体画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像の画像データに写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、を備える固定条件推定モデル学習装置によって、所定の終了条件が満たされるまで更新された前記固定条件推定モデルを用いて、前記対象データ取得部が取得した前記画像データに基づき、前記画像データに写る像の各位置を示す座標系の情報と、前記画像データの画像に写る椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定部と、
     を備え、
     前記椎体画像は椎体が写る3次元画像であり、
     前記椎体画像の画像データは、椎体が写る2次元画像である椎体2次元画像の画像データに基づき、前記椎体の各頂点の位置、前記椎体の中心の位置及び前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像に写る椎体の頂点の位置及び前記頂点ごとの前記ベクトルを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果並びに前記椎体の各頂点の位置、中心の位置及び前記頂点から前記椎体の中心に向かうベクトルの正解値の対である訓練データに基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルが複数の椎体2次元画像に対して実行された結果を用いて、得られた画像データである、
     固定条件推定装置。
  11.  椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行ステップと、
     前記椎体推定モデル実行ステップによる推定の結果に基づき、前記椎体推定モデルを更新する更新ステップと、
     を有する椎体推定モデル学習方法。
  12.  椎体が写る2次元画像である椎体2次元画像の画像データを取得する対象データ取得ステップと、
     椎体が写る2次元画像である椎体2次元画像の画像データに基づき前記椎体の各頂点の位置と前記頂点ごとのベクトルであって前記頂点から前記椎体の中心に向かうベクトルとを推定する数理モデルである椎体推定モデル、を実行することで、推定対象の椎体2次元画像の画像データに写る椎体の頂点の位置と前記頂点ごとの前記ベクトルとを推定する椎体推定モデル実行部と、前記椎体推定モデル実行部による推定の結果に基づき、前記椎体推定モデルを更新する更新部と、を備える椎体推定モデル学習装置によって所定の終了条件が満たされるまで更新された前記椎体推定モデルを用いて、前記対象データ取得ステップで取得した前記画像データに基づき、前記画像データが示す画像に写る前記椎体の各頂点の位置と、前記頂点ごとの前記ベクトルと、を推定する椎体推定ステップと、
     を有する椎体推定方法。
  13.  椎体が写る画像である椎体画像の画像データを取得する対象データ取得ステップと、
     椎体画像の画像データに基づき前記椎体画像に写る像の各位置を示す座標系の情報と前記椎体に設置する脊椎内固定器具のサイズと設置の位置とを推定する数理モデルである固定条件推定モデル、を実行することで、推定対象の椎体画像の画像データに写る像の各位置を示す座標系の情報と、前記椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定モデル実行部と、前記固定条件推定モデル実行部による推定の結果に基づき、前記固定条件推定モデルを更新する更新部と、を備える固定条件推定モデル学習装置によって、所定の終了条件が満たされるまで更新された前記固定条件推定モデルを用いて、前記対象データ取得ステップで取得した前記画像データに基づき、前記画像データに写る像の各位置を示す座標系の情報と、前記画像データの画像に写る椎体に設置する脊椎内固定器具のサイズと設置の位置と、を推定する固定条件推定ステップと、
     を有する固定条件推定方法。
  14.  請求項1又は2に記載の椎体推定モデル学習装置としてコンピュータを機能させるためのプログラム。
  15.  請求項5から7のいずれか一項に記載の椎体推定装置としてコンピュータを機能させるためのプログラム。
PCT/JP2022/040539 2021-10-29 2022-10-28 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム WO2023074880A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178270 2021-10-29
JP2021-178270 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074880A1 true WO2023074880A1 (ja) 2023-05-04

Family

ID=86158664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040539 WO2023074880A1 (ja) 2021-10-29 2022-10-28 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023074880A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143090A1 (en) * 2009-08-16 2012-06-07 Ori Hay Assessment of Spinal Anatomy
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2019013724A (ja) * 2017-07-03 2019-01-31 株式会社リコー 診断支援システム、診断支援方法及び診断支援プログラム
CN110569854A (zh) * 2019-09-12 2019-12-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP2019217243A (ja) * 2018-06-22 2019-12-26 國立臺灣科技大學 脊髄画像登録方法
JP2021058570A (ja) * 2019-10-04 2021-04-15 コニカミノルタ株式会社 画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143090A1 (en) * 2009-08-16 2012-06-07 Ori Hay Assessment of Spinal Anatomy
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2019013724A (ja) * 2017-07-03 2019-01-31 株式会社リコー 診断支援システム、診断支援方法及び診断支援プログラム
JP2019217243A (ja) * 2018-06-22 2019-12-26 國立臺灣科技大學 脊髄画像登録方法
CN110569854A (zh) * 2019-09-12 2019-12-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP2021058570A (ja) * 2019-10-04 2021-04-15 コニカミノルタ株式会社 画像処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XI XU ; HONG-WEI HAO ; XU-CHENG YIN ; NING LIU ; SHAWKAT HASAN SHAFIN: "Automatic segmentation of cervical vertebrae in X-ray images", NEURAL NETWORKS (IJCNN), THE 2012 INTERNATIONAL JOINT CONFERENCE ON, IEEE, 10 June 2012 (2012-06-10), pages 1 - 8, XP032210488, ISBN: 978-1-4673-1488-6, DOI: 10.1109/IJCNN.2012.6252793 *

Similar Documents

Publication Publication Date Title
US8218905B2 (en) Method, system and software product for providing efficient registration of 3D image data
CN102727258B (zh) 图像处理装置、超声波摄影系统及图像处理方法
JP6280676B2 (ja) 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
US7783096B2 (en) Device systems and methods for imaging
US8423124B2 (en) Method and system for spine visualization in 3D medical images
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US20140323845A1 (en) Automated 3-d orthopedic assessments
US6668083B1 (en) Deriving geometrical data of a structure from an image
WO2006082928A1 (ja) 位置姿勢計測方法及び装置
CN102067170A (zh) 在存在金属伪影的情况下用于分割的不确定性图
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
EP2591459B1 (en) Automatic point-wise validation of respiratory motion estimation
US20090244061A1 (en) High quality accurate surface triangulation from a simplex mesh
JP6741305B2 (ja) 脊椎骨姿勢推定装置
JP2017029343A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
JP6608165B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN110752029B (zh) 一种病灶的定位方法及装置
CN115272582A (zh) 身体建模的系统和方法
WO2023074880A1 (ja) 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
JP2022111704A (ja) 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
Fedorov et al. Tetrahedral mesh generation for non-rigid registration of brain MRI: analysis of the requirements and evaluation of solutions
JP2024017731A (ja) 椎体中心推定モデル学習装置、椎体中心推定装置、椎体中心推定モデル学習方法、椎体中心推定方法及びプログラム
JP2024017735A (ja) 類似症例推定装置、類似症例推定方法及びプログラム
KR20230078905A (ko) 전방 골반 평면의 3차원 방향 실시간 측정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887205

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556692

Country of ref document: JP