WO2017141958A1 - 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム - Google Patents

脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム Download PDF

Info

Publication number
WO2017141958A1
WO2017141958A1 PCT/JP2017/005504 JP2017005504W WO2017141958A1 WO 2017141958 A1 WO2017141958 A1 WO 2017141958A1 JP 2017005504 W JP2017005504 W JP 2017005504W WO 2017141958 A1 WO2017141958 A1 WO 2017141958A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spinal column
spine
estimation
arrangement
Prior art date
Application number
PCT/JP2017/005504
Other languages
English (en)
French (fr)
Inventor
守雄 松本
航太 渡邉
義満 青木
ラン チェ
Original Assignee
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人慶應義塾 filed Critical 学校法人慶應義塾
Priority to EP17753214.0A priority Critical patent/EP3417776A4/en
Priority to CN201780011447.0A priority patent/CN108697375B/zh
Priority to KR1020187024830A priority patent/KR102199152B1/ko
Priority to US16/077,872 priority patent/US11331039B2/en
Priority to JP2017553279A priority patent/JP6280676B2/ja
Publication of WO2017141958A1 publication Critical patent/WO2017141958A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine

Definitions

  • the present invention relates to a spinal column estimation device, a spinal column estimation method, and a spinal column estimation program.
  • Spine scoliosis is a disease in which the spine (vertebral column), which is usually arranged linearly when viewed from the front, is distorted laterally and anteroposteriorly.
  • the School Health and Safety Law obligates confirmation of the presence or absence of illnesses and abnormalities in the spine and thorax at school and during regular checkups.
  • the first screening is conducted at each school, mainly in local governments. If there is a suspicion of scoliosis as a result of the first screening, the procedure proceeds to the second screening, and X-rays are taken to diagnose scoliosis. Determine.
  • the present invention can estimate the arrangement of spine elements existing inside the human body from an image representing the three-dimensional shape of the human body surface, facilitates diagnosis of scoliosis by a doctor, confirmation of the spine by a judge, etc.
  • An object of the present invention is to provide a spinal column estimation device, a spinal column estimation method, and a spinal column estimation program that can reduce medical exposure due to various X-ray examinations.
  • an image acquisition unit that acquires an image representing a three-dimensional shape of the surface of a human body
  • a spine array estimation that estimates a spine array from the acquired image using accumulated data.
  • the gist of the present invention is a spinal column estimation apparatus including a unit and (c) an angle calculation unit that calculates at least one of a cobb angle and a rotation angle of the spinal column arrangement based on the estimated spinal column arrangement.
  • a procedure for causing the image acquisition unit to acquire an image representing a three-dimensional shape of the human body surface, and (b) using the accumulated data, the spine arrangement is acquired from the acquired image.
  • accumulated data refers to learning data that has been machine-learned from clinical image data acquired in a clinical setting.
  • clinical image data include, but are not limited to, X-ray image data and CT image data.
  • machine learning include, but are not limited to, deep learning.
  • the present invention it is possible to estimate the arrangement of spinal column elements present in the human body from an image representing the three-dimensional shape of the human body surface, making it easier for a doctor to diagnose scoliosis, confirmation of the spinal column by a judge, etc.
  • a spinal column estimation apparatus, a spinal column estimation method, and a spinal column estimation program that can reduce medical exposure due to unnecessary X-ray examination can be provided.
  • FIG. 1 is a schematic diagram showing an example of a spinal column arrangement estimation apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a schematic view showing an example of an arrangement of spinal column elements for explaining scoliosis.
  • FIG. 3 is a schematic diagram illustrating an example of an imaging apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a schematic diagram illustrating an example of a moire image for machine learning according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining an example of the machine learning method according to the first embodiment of the present invention.
  • FIG. 6 is a schematic diagram illustrating an example of an X-ray image for machine learning according to the first embodiment of the present invention.
  • FIG. 7 is a schematic diagram showing an example of the spinal column on the X-ray image according to the first embodiment of the present invention.
  • FIG. 8 is a schematic diagram illustrating an example of labeling of an X-ray image according to the first embodiment of the present invention.
  • FIG. 9 is a schematic diagram showing an example of alignment between a moire image and an X-ray image according to the first embodiment of the present invention.
  • FIG. 10 is a schematic diagram illustrating an example of a machine learning method according to the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram showing an example of an unknown moire image according to the first embodiment of the present invention.
  • FIG. 12 is a schematic diagram illustrating an example of a moire image including the estimation result of the spinal column arrangement according to the first embodiment of the present invention.
  • FIG. 13 is a schematic diagram for explaining an example of a bump angle calculation method according to the first embodiment of the present invention.
  • FIG. 14 is a schematic diagram showing an example of a moire image including a spine array estimation result and a cobb angle calculation result according to the first embodiment of the present invention.
  • FIG. 15 is a flowchart for explaining an example of the spinal column estimation method according to the first embodiment of the present invention.
  • FIGS. 16A and 16B are schematic diagrams respectively showing examples of 3D images for machine learning according to the second embodiment of the present invention viewed from different directions. It is a flowchart for demonstrating an example of the machine learning method which concerns on the 2nd Embodiment of this invention.
  • FIG. 18 (a) to 18 (c) are schematic diagrams respectively showing examples of CT images for machine learning according to the second embodiment of the present invention viewed from different directions.
  • FIG. 19A and FIG. 19B are schematic views respectively showing examples of unknown 3D images according to the second embodiment of the present invention viewed from different directions.
  • 20 (a) and 20 (b) are schematic diagrams respectively showing examples of 3D images including estimation results of spinal column arrangements according to the second embodiment of the present invention viewed from different directions. It is a flowchart for demonstrating an example of the spinal column arrangement
  • FIG. 22A is a top view showing an example of a vertebral body according to a modification of the second embodiment of the present invention, and FIG.
  • FIG. 22B is a view of FIG. It is a side view which shows an example of a vertebral body. It is the schematic which shows an example of the calculation method of the rotation angle of the vertebral body which concerns on the modification of the 2nd Embodiment of this invention.
  • the first and second embodiments described below exemplify devices and methods for embodying the technical idea of the present invention, and the technical idea of the present invention is The material, shape, structure, arrangement, etc. are not specified below.
  • the technical idea of the present invention can be variously modified within the technical scope defined by the claims described in the claims.
  • the spinal column arrangement estimation apparatus includes an image processing apparatus 10, an imaging apparatus 3, and an output apparatus 4.
  • the image processing apparatus 10 can be configured by a computer including a central processing unit (CPU) 1 and a storage device 2, a processor equivalent to the computer, a programmable logic device (PLD) such as FPGA, an integrated circuit, or the like.
  • CPU central processing unit
  • PLD programmable logic device
  • the arrangement of the spine elements estimated by the spine arrangement estimation apparatus is effective for determining the presence or absence of spinal scoliosis, diagnosing scoliosis, and the like.
  • the human spine (spine) is generally composed of seven cervical vertebrae, twelve thoracic vertebrae, and five lumbar vertebrae in order from the head side.
  • the vertebral column is substantially straight in the case of a healthy person with respect to the front or back of a human being, but in the case of a scoliosis person, as shown in FIG. 2, there is a symptom of bending sideways with a twist. Appears prominently.
  • FIG. 1 The arrangement of the spine elements estimated by the spine arrangement estimation apparatus according to the first embodiment of the present invention is effective for determining the presence or absence of spinal scoliosis, diagnosing scoliosis, and the like.
  • the human spine is generally composed of seven cervical vertebrae, twelve thoracic vertebrae, and five lumbar vertebrae in order from
  • vertebral column elements which are elements constituting the spinal column.
  • the definition of “vertebral column element” as a generic term may further include “sacral spine” and “caudal spine” below the lumbar spine.
  • the imaging device 3 shown in FIG. 1 is a device that can capture an image representing a three-dimensional shape of the human body surface.
  • the imaging device 3 is a moire imaging device (moire fringe measuring device) that captures a moire image including a moire fringe representing the three-dimensional shape of the back of a human body.
  • the moire imaging device as the imaging device 3 includes a light projecting unit 31 that projects a pattern on the back of the human body 100 and a camera 32 that captures the back of the human body 100.
  • a three-dimensional (3D) scanner or a CCD camera can be used as the imaging device 3 and is not particularly limited as long as it is a device that can capture a moire image or a two-dimensional (2D) image equivalent to a moire image. .
  • the imaging device 3 captures a moire image 101 as shown in FIG. 4, for example.
  • the moire image 101 includes moiré stripes representing the three-dimensional shape of the back of the human body. In the case of scoliosis, the difference in the height of the back of the human body is large on the left and right, and the number and shape of moire stripes are different on the left and right.
  • the CPU 1 includes an image acquisition unit 11, a spine arrangement estimation unit 12, an angle calculation unit 13, and an image output control unit 14 as logic circuits (modules) that are hardware resources.
  • the spinal column estimation unit 12 is a logic circuit (module) that constitutes an artificial intelligence that executes machine learning such as deep learning, and automatically from the moire image acquired by the image acquisition unit 11. A calculation process for directly estimating the spine arrangement (vertebral column shape) is executed.
  • the artificial intelligence (hardware resources) constituting the spinal column estimation unit 12 for example, a hierarchical neural network such as a convolutional neural network (CNN) or a computer software program such as a support vector machine (SVM) is executed.
  • a hierarchical neural network such as a convolutional neural network (CNN) or a computer software program such as a support vector machine (SVM) is executed.
  • Available hardware resources for example, a hierarchical neural network such as a convolutional neural network (CNN) or a computer software program such as a support vector machine (SVM) is executed.
  • the storage device 2 for example, a semiconductor memory, a magnetic disk, an optical disk, or the like can be used.
  • the storage device 2 includes an X-ray image storage unit 21 that stores a large number of past X-ray images for machine learning by the spinal column estimation unit 12, and a machine for the spinal column estimation unit 12 to perform machine learning.
  • a learning image storage unit 22 that stores a large number of past moire images
  • a learning data storage unit 23 that stores learning data such as weight parameters corrected by machine learning of the spine array estimation unit 12, and spine elements by the spine array estimation unit 12
  • An estimation data storage unit 24 for storing estimation data such as the estimation results of
  • the storage device 2 further includes a spine arrangement estimation program executed by the CPU 1 and various data necessary for executing the spine arrangement estimation program, a register in the CPU 1, a cache memory in the CPU 1 or adjacent to the CPU 1, or other virtual memory A device or the like may be included.
  • FIG. 1 schematically represents the storage device 2 as a hardware resource including a register and a cache memory as a logical expression, and does not necessarily match the physical configuration.
  • a display such as a personal computer (PC) or a liquid crystal display (LCD) such as a tablet terminal, a printer, a projector, a speaker, or the like can be used.
  • PC personal computer
  • LCD liquid crystal display
  • step S11 as a preliminary preparation for machine learning by the spinal column estimation unit 12, a large number (for example, several thousand sets) of moire image and X-ray image data sets obtained for the same person in the past are prepared.
  • a data set a moiré image and an X-ray image captured for the same person are practically preferable, but the data set is not limited thereto.
  • Each of the large number of moire images and X-ray images is stored in the learning image storage unit 22 and the X-ray image storage unit 21 of the storage device 2.
  • a large number of moiré images 101 such as one (one set) shown in FIG. 4 are stored in the learning image storage unit 22, and one (one set) is shown as an example in FIG.
  • a large number of such X-ray images 102 are stored in the X-ray image storage unit 21.
  • one (one set) X-ray image 102 is a standing X-ray front image viewed from the back side of a standing person.
  • the X-ray image 102 includes twelve thoracic vertebrae B1 to B12 and five lumbar vertebrae B13 to B17 among the spinal column elements.
  • step S12 in FIG. 5 the correct data used for machine learning is labeled.
  • the vertebral column estimation unit 12 extracts and reads one (one set) X-ray image 102 from the X-ray image storage unit 21 and reads out the anatomy of the thoracic vertebra B1 to B12 and the lumbar vertebra B13 to B17 on the X-ray image 102. Characteristic feature points (landmarks) are extracted.
  • the spinal column estimation unit 12 performs edge extraction on the X-ray image 102 and binarizes it. As shown in FIG. 7, the vertebral column estimation unit 12 further approximates the thoracic vertebra B1 reflected in the X-ray image 102 to a rectangle, and anatomically describes four points F1 to F4 corresponding to the four corners of the thoracic vertebra B1 that are rectangularly approximated. Extracted as feature points (landmarks), the coordinates of the four points F1 to F4 on the X-ray image 102 are calculated. The calculated coordinates on the X-ray image 102 of the four points F1 to F4 are stored in the learning data storage unit 23. Similarly, the X-ray images are read from the X-ray image storage unit 21 for many other sets, and the coordinates as the respective anatomical feature points (landmarks) are stored in the learning data storage unit 23.
  • the vertebral column estimation unit 12 further reads out the coordinates on the X-ray image 102 of a specific set of four points F1 to F4 from the learning data storage unit 23, and anatomically characterizes the center of gravity C1 of the thoracic vertebra B1 approximated to a rectangle. (Landmark) is extracted, and coordinates (X r1 , Y r1 ) on the X-ray image 102 of the center of gravity C1 are calculated. The calculated coordinates (X r1 , Y r1 ) on the X-ray image 102 of the center of gravity C1 are stored in the learning data storage unit 23.
  • the vertebral column estimation unit 12 approximates the thoracic vertebra B1 to a rectangle and extracts the center of gravity C1 of the thoracic vertebra B1 approximated to the rectangle as an anatomical feature point.
  • the present invention is not limited to this, and other anatomical feature points may be extracted.
  • a curve L1 is calculated that continues the centroids C1 to C17 of B1 to B12 and the lumbar vertebrae B13 to B17.
  • the curve L1 for example, a B-spline curve or the like can be adopted.
  • the calculated curve L1 is stored in the learning data storage unit 23.
  • the processing in step S12 described above is performed for each of a large number of X-ray images stored in the X-ray image storage unit 21, and the curve L1 calculated for each set is stored in the learning data storage unit 23, respectively. Stored in
  • the spinal column estimation unit 12 reads out, for example, a moire image and an X-ray image of the same person, which are data sets, from the learning image storage unit 22 and the X-ray image storage unit 21, respectively. Then, the moire image and the X-ray image are aligned. If the moire image and the X-ray image of the same person are simultaneously captured in the same posture, the alignment step of this step S12 is unnecessary, but generally the moire image and the X-ray image are at different timings. In many cases, the image is captured and the posture is also displaced.
  • the spinal column estimator 12 sets two points N1 and N2 at the base of the human body that are reflected in the X-ray image 102 read from the X-ray image storage unit 21 as alignment marks. And the coordinates of the two points N1 and N2 on the X-ray image 102 are stored in the learning data storage unit 23. Further, as shown in FIG. 9, the spine arrangement estimating unit 12 also extracts two points N3 and N4 at the base of the human body as alignment marks for the moire image 101 read from the learning image storage unit 22. Then, the coordinates on the moire image 101 of the two points N3 and N4 are stored in the learning data storage unit 23.
  • the spinal column estimation unit 12 further matches the two points N1 and N2 of the neck of the moire image 101 read from the learning data storage unit 23 with the two points N3 and N4 of the neck of the X-ray image 102.
  • the sizes of the moire image 101 and the X-ray image 102 are matched, rotated and translated, and the like.
  • FIG. 9 illustrates a state in which the curve L1 corresponding to the centroids C1 to C17 of the thoracic vertebra B1 to B12 and the lumbar vertebrae B13 to B17 on the X-ray image 102 illustrated in FIG. 8 is superimposed on the moire image 101.
  • the alignment marks are not limited to the two points at the base of the neck, and anatomical feature points that can align the moire image 101 and the X-ray image 102 can be employed.
  • the process of step S13 described above is performed on each data set of a large number of X-ray images stored in the X-ray image storage unit 21 and a large number of moire images stored in the learning image storage unit 22.
  • the correct answer data calculated for each data set is stored in the learning data storage unit 23.
  • step S14 of FIG. 5 the spine arrangement estimation unit 12 performs machine learning so that the arrangement information of the spine elements is output when the moire image 101 is read from the learning image storage unit 22.
  • sequence estimation part 12 is adjusted is demonstrated.
  • the spinal column arrangement estimation unit 12 cuts out a part of the 640 ⁇ 440 pixel moiré image 101 read out from the learning image storage unit 22, for example, to obtain a moiré image 101a.
  • the vertebral column estimation unit 12 further resizes the moire image 101a to 220 ⁇ 220 pixels, and uses the resized moire image 101b as input data to the CNN computer software program.
  • the resized moiré image 101b data is input to a CNN program executed by the spinal column estimation unit 12 in 256 gray scales without performing edge extraction or the like.
  • a network algorithm is configured such that when the moire image 101b is inputted, the spine element arrangement information is outputted.
  • the CNN executed by the vertebral column estimator 12 has weight parameters that can be learned, and performs feature extraction (filter processing) for each position on the image, for example, five convolution layers.
  • a hierarchical network is configured by including CL1 to CL5 and all the combined layers FCL1 to FCL3 that combine and identify all units, for example. Data of the convolution layers CL1 to CL5 and all the coupling layers FCL1 to FCL3 are sequentially stored in the learning data storage unit 23.
  • the CNN executed by the spinal column estimation unit 12 is not shown in the figure, but has a free parameter, a pooling layer (partial sampling layer) that outputs invariant to local translation, and an output locally. It may further have a local reaction normalization layer that is standardized. In the local reaction normalization layer, for example, processing is performed such as scanning neighboring values, summing squares, and normalizing the values with linearly converted values.
  • the filter size of the convolution layer CL1 shown in FIG. 10 is 11 ⁇ 11, the filter size of the convolution layer CL2 is 5 ⁇ 5, the filter size of the convolution layers CL3 to CL5 is 3 ⁇ 3, and the scale is gradually increased. Extract local correlation patterns while changing.
  • the convolution layers CL1 and CL2 output data of 55 ⁇ 55 ⁇ 48 dimensions and 27 ⁇ 27 ⁇ 128 dimensions, respectively.
  • the convolution layers CL3 to CL5 each output 13 ⁇ 13 ⁇ 192-dimensional data. All the coupling layers FCL1 to FCL3 are all coupled to the unit in the previous layer, and all the coupling layers FCL1 and FCL2 output 4096-dimensional data, respectively.
  • the last full coupling layer FCL3 is the output layer.
  • BP error back propagation method
  • Correct the weight parameter In the error back-propagation method, the weight is corrected by back-propagating the error gradient from the all coupling layer FCL3 as the output layer to the convolutional layer CL1 as the input layer.
  • a gradient descent optimization method or the like can be used in the learning algorithm of the error back propagation method for correcting the weight.
  • the spinal column estimation unit 12 repeats the above-described error back propagation method using the numerous moire image and X-ray image data sets stored in the learning image storage unit 22 and the X-ray image storage unit 21 to perform weighting. We learn by correcting. As a result, the spine array estimation unit 12 uses, as learning data (accumulated data), a CNN algorithm that outputs array information of spine elements when an unknown moire image is read from the learning image storage unit 22. Can be earned.
  • the spinal column estimation apparatus executes the estimation phase in which the spinal column arrangement is estimated from the unknown moire image, according to the first embodiment of the present invention.
  • the configuration and function of the sequence estimation apparatus will be described.
  • the image acquisition unit 11 of the CPU 1 shown in FIG. 1 acquires an unknown moire image 103 as shown in FIG.
  • the acquired unknown moire image 103 is stored in the learning image storage unit 22.
  • the moire image 103 is assumed to be composed of 640 ⁇ 440 pixels and 256 gray scales.
  • the spine arrangement estimation unit 12 of the CPU 1 executes the CNN that has performed machine learning through the learning phase described above.
  • the spine arrangement estimation unit 12 reads the moire image 103 stored in the learning image storage unit 22 and cuts out a part of the read moire image 103. Then, the cut-out moire image 103 is normalized by being resized to 220 ⁇ 220 pixels similar to that at the time of machine learning shown in FIG.
  • the resized moire image 103 is stored in the estimated data storage unit 24.
  • the spine arrangement estimation unit 12 reads the resized moiré image 103 from the estimation data storage unit 24 and, as shown in FIG. 13, moiré images of the centroids P1 to P17 of the 17 thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17.
  • the curve L2 may be, for example, a B spline curve or a curve obtained by connecting adjacent centroids P1 to P17 with a straight line.
  • the calculated curve L2 is stored in the estimated data storage unit 24 as estimated data.
  • the Cobb angle is defined as the bending angle of the spinal element by the Cobb method, and is one of the criteria for scoliosis.
  • Cobb angle draws a straight extension line from the inclined horizontal planes of the upper and lower vertebral bodies (final vertebrae) where the horizontal plane is the most inclined in the curve of the target spine arrangement (curve), and the two extension lines make Calculated as an angle.
  • Current scoliosis treatment is mainly determined from a standing X-ray front image, and conservative therapy, brace treatment, or surgery is selected depending on the size of the hump angle in the standing X-ray front image.
  • the angle calculation unit 13 is perpendicular to the curve L2 for each of the centroids P1 to P17 of the thoracic vertebrae B1 to B12 and the lumbar vertebras B13 to B17 estimated by the spinal column estimation unit 12. Vertical lines V1 to V17 passing through P1 to P17 are calculated. The angle calculation unit 13 further extracts the thoracic vertebrae B7 and B11 corresponding to the vertical lines V7 and V11 having the maximum inclination in the horizontal direction as reference points (final vertebrae).
  • the angle calculation unit 13 further calculates the angle formed by the intersecting portions of the vertical lines V7 and V11 corresponding to the centroids P7 and P11 of the thoracic vertebrae B7 and B11 as the reference points as the cobb angle ⁇ 1.
  • the calculated bump angle ⁇ 1 is stored in the estimated data storage unit 24.
  • the image output control unit 14 of the CPU 1 shown in FIG. 1 obtains the centroids P1 to P17 and the curve L2 of the 17 thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 estimated by the spinal column estimation unit 12 from the estimated data storage unit 24.
  • the centroids P1 to P17 and the curves L2 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 are output as estimation results of the spine element arrangement information so as to be superimposed on the unknown moire image 103 as shown in FIG.
  • the data is output (displayed) on a display or the like constituting the device 4.
  • the image output control unit 14 reads the bump angle ⁇ 1 calculated by the angle calculation unit 13 from the estimation data storage unit 24, and is estimated by the spinal column arrangement estimation unit 12 on the moire image 103 as shown in FIG.
  • the bump angle ⁇ 1 calculated by the angle calculation unit 13 may be output (displayed) to a display or the like constituting the output device 4.
  • a specific frequency (numerical value) calculated by the angle calculation unit 13 may be output (displayed) to the output device 4.
  • the angle calculation unit 13 may determine whether or not the calculated bump angle ⁇ 1 is equal to or greater than a predetermined threshold (for example, 20 degrees) after calculating the bump angle ⁇ 1.
  • the determination result of the hump angle ⁇ 1 is stored in the estimated data storage unit 24.
  • the image output control unit 14 may read the determination result of the hump angle ⁇ 1 from the estimated data storage unit 24 and output (display) it on a display or the like constituting the output device 4.
  • the angle calculation unit 13 may specify two end vertebrae for each of the two curves and calculate the bump angle ⁇ 1.
  • the calculation results of the two bump angles ⁇ 1 are stored in the estimated data storage unit 24.
  • the image output control unit 14 may read out the determination results of the two bump angles ⁇ 1 from the estimated data storage unit 24 and output (display) them on a display or the like that constitutes the output device 4.
  • the imaging device 3 captures a moire image.
  • the captured unknown moire image is stored in the learning image storage unit 22 of the storage device 2.
  • the unknown moire image may be stored in advance in the learning image storage unit 22 of the storage device 2 via the information network such as the Internet or an intranet without using the imaging device 3.
  • the image acquired by a 3D scanner or the like may be stored in advance in the learning image storage unit 22 via the image processing device 10 that converts a moire image or a 2D image equivalent to a moire image.
  • the image acquisition unit 11 reads and acquires an unknown moire image from the learning image storage unit 22.
  • step S ⁇ b> 22 the spinal column estimation unit 12 of the CPU 1 uses the learning data (accumulated data) after machine learning stored in the learning data storage unit 23 from the unknown moire image acquired by the image acquisition unit 11. Estimate spinal alignment. The estimation result of the spinal column arrangement is stored in the estimation data storage unit 24.
  • step S23 the angle calculation unit 13 of the CPU 1 reads the spine arrangement estimated by the spine arrangement estimation unit 12 from the estimation data storage unit 24, and calculates the bump angle.
  • the calculated bump angle is stored in the estimated data storage unit 24.
  • step S24 the image output control unit 14 of the CPU 1 reads the spine arrangement estimated by the spine arrangement estimation unit 12 and the bump angle calculated by the angle calculation unit 13 from the estimation data storage unit 24, for example, the output device 4 Is displayed on the display screen.
  • the spinal element is determined from the moire image using the artificial intelligence that the CPU 1 executes by the machine learning technique.
  • the spine arrangement estimation program according to the first embodiment of the present invention causes a computer constituting the image processing apparatus 10 to execute the procedure of the spine arrangement estimation method shown in FIG. That is, the spinal column arrangement estimation program according to the first embodiment of the present invention (a) causes the image acquisition unit 11 to acquire an image (moire image) representing the three-dimensional shape of the human body surface such as the back side of the human body. (B) The vertebral column estimator 12 estimates the vertebral column arrangement of the human body from the acquired unknown moiré image using the learning data machine-learned from the data set of the moiré image and the X-ray image captured in the past.
  • the spinal column arrangement estimation program according to the first embodiment of the present invention can be stored in the storage device 2, for example.
  • the spine arrangement estimation apparatus is similar to the spine arrangement estimation apparatus according to the first embodiment of the present invention. 3 and an output device 4.
  • the first embodiment of the present invention is that the imaging device 3 is a 3D imager that captures a three-dimensional (3D) image representing the three-dimensional shape of the human body surface.
  • the imaging device 3 for example, a 3D scanner can be used, and it is not particularly limited as long as it is a device capable of capturing a 3D image.
  • a 3D scanner as the imaging device 3 captures a 3D image (distance image) of the human back by scanning the back of the human body.
  • the 3D scanner as the imaging device 3 may capture a 360 ° 3D image including the front, side, and back of the human body by scanning the person while rotating the 360 ° using a turntable.
  • the data on the back side of the human body may be selectively used from a 360 ° 3D image.
  • the imaging device 3 captures a 3D image 201 of the human body surface as schematically illustrated in, for example, FIGS. 16 (a) and 16 (b).
  • 16A shows a 3D image 201 when the human body is viewed from the back side
  • FIG. 16B is a direction different from that of FIG. 16A by 90 °, and the back part when the human body is viewed from the side surface side.
  • a side 3D image 201 is shown.
  • the 3D image 201 includes an x-axis direction that is the left-right direction, a y-axis direction that is the up-down direction, and a z-axis direction that is the depth direction when viewed from the back of the human body. 3D information.
  • hatching is schematically distinguished stepwise according to the distance between the imaging device 3 in the z-axis direction and the back of the human body.
  • the difference in height of the back of the human body is large on the left and right, and the distance distribution in the z-axis direction is asymmetric on the left and right.
  • step S31 as a preparation for machine learning by the spinal column estimation unit 12, a large number of 3D images representing the three-dimensional shape of the back of the human body and the corresponding X-ray images (for example, the same person or the like previously captured) Thousands of sets).
  • Each of the large number of 3D images and X-ray images is stored in the learning image storage unit 22 and the X-ray image storage unit 21 of the storage device 2.
  • FIG. 16 (a) and FIG. 16 (b) are stored in the learning image storage unit 22, and FIG.
  • FIG. A large number of sets of computed tomography (CT) images 202 as X-ray images as illustrated in FIG. 18C (one set) are stored in the X-ray image storage unit 21.
  • the CT image 202 is captured in a supine position
  • FIG. 18A shows a specific cross-sectional CT image 202 when the human body is viewed from the back side
  • FIG. 18B is a specific image when the human body is viewed from the side surface side
  • FIG. 18C shows a CT image 202 of a specific cross section when the human body is viewed from the upper side.
  • the CT image 202 is viewed from the back of the human body in the x-axis direction that is the left-right direction, the y-axis direction that is the up-down direction, and the z-axis direction that is the depth direction.
  • 3D voxel data is 3D voxel data.
  • the vertebral column estimation unit 12 reads one (one set) CT image 202 from the X-ray image storage unit 21, and uses the anatomical feature points to 3D coordinates of the centroid of the vertebral element on the CT image 202 Is calculated.
  • the lumbar vertebra B14 when viewed from the front (z-axis direction) and the side (x-axis direction) of the human body is approximated by a rectangle, and the center of gravity of the lumbar vertebra B14 is obtained.
  • the coordinates (X ct14 , Y ct14 , Z ct14 ) on the CT image 202 of C14 are calculated.
  • the thoracic vertebra B1 to B12 and lumbar vertebra B13 and B15 to B17 are extracted from the voxel data of the CT image 202, and the thoracic vertebra B1 to B12 and lumbar vertebra
  • the calculated coordinates (X cti , Y cti , Z cti ) (i 1 to 17) on the CT image 202 of the centroids C 1 to C.
  • the spinal column estimation unit 12 reads out the 3D image 201 and the CT image 202, which are data sets, from the learning image storage unit 22 and the X-ray image storage unit 21, respectively.
  • 201 and CT image 202 are aligned three-dimensionally.
  • the positions of the right and left roots of the neck of the human body when viewed from the front (z-axis direction) of the human body and the side surface (x-axis direction) of the human body Feature points such as the position of the base of the neck on the back side are extracted as alignment marks.
  • the sizes of the 3D image 201 and the CT image 202 are matched, rotated, translated, and the like so that the respective alignment marks of the 3D image 201 and the CT image 202 coincide with each other.
  • the 3D image 201 and the CT image 202 are three-dimensionally overlapped, and the coordinate system of the 3D image 201 and the coordinate system of the CT image 202 are associated with each other.
  • step S33 The processing in step S33 described above is performed on each of the data sets of a large number of CT images stored in the X-ray image storage unit 21 and a large number of 3D images stored in the learning image storage unit 22. Correct data calculated for each data set is stored in the learning data storage unit 23.
  • the spinal column arrangement estimation unit 12 reads the 3D image 201 from the learning image storage unit 22 and arranges the spine element arrangement. Machine learning is performed so that information is output.
  • the spinal column estimation unit 12 cuts out a part of the 3D image 201 read out from the learning image storage unit 22, for example, and resizes the resized 3D image 201 as input data to the computer software program of the CNN. To do.
  • a network algorithm is configured such that when a resized 3D image 201 is inputted, arrangement information of a three-dimensional spine element is outputted.
  • the spinal column estimation unit 12 repeats the above-described error back-propagation process using a large number of 3D image and CT image data sets stored in the learning image storage unit 22 and the X-ray image storage unit 21 to assign weights. Learn by making corrections.
  • the spine sequence estimation unit 12 uses a CNN algorithm that outputs sequence information of spine elements as learning data (accumulated data) when an unknown 3D image is read from the learning image storage unit 22. Can be earned.
  • the spinal column estimation apparatus executes the estimation phase for estimating the spinal column arrangement from the unknown 3D image, and the spinal column according to the second embodiment of the present invention.
  • the configuration and function of the sequence estimation apparatus will be described.
  • the image acquisition unit 11 of the CPU 1 illustrated in FIG. 1 acquires an unknown 3D image 203 as illustrated in FIGS. 19A and 19B captured by the imaging device 3.
  • FIG. 19A shows a 3D image 203 when the human body is viewed from the back side
  • FIG. 19B is a direction different from that of FIG. 19A by 90 °, and shows the back side when the human body is viewed from the side surface side.
  • a 3D image 203 is shown.
  • the acquired unknown 3D image 203 is stored in the learning image storage unit 22.
  • the spine arrangement estimation unit 12 of the CPU 1 executes the CNN that has performed machine learning through the learning phase described above.
  • the spine arrangement estimation unit 12 reads the 3D image 203 stored in the learning image storage unit 22 and cuts out a part of the read 3D image 203. Then, the cut-out 3D image 203 is normalized by resizing it to the same size as in machine learning.
  • the resized 3D image 203 is stored in the estimated data storage unit 24.
  • the three-dimensional curve L3 to be calculated is calculated (estimated) as a spinal column arrangement.
  • the curve L3 may be, for example, a B spline curve or a curve obtained by connecting adjacent centroids P1 to P17 with a straight line.
  • the calculated curve L3 is stored in the estimated data storage unit 24 as estimated data.
  • the angle calculation unit 13 of the CPU 1 shown in FIG. 1 coordinates (x 3di , y 3di , y 3di , y 3di , y 3di , the centroids P1 to P17 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 estimated by the spinal column estimation unit 12.
  • the coordinates (x 3di , y 3di , z 3di ) (i 1 to 17) on the 3D image 203 of the centroids P1 to P17 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 Since the curve L3 is calculated three-dimensionally, the bump angle ⁇ 2 is also calculated three-dimensionally. The calculated bump angle ⁇ 2 is stored in the estimated data storage unit 24.
  • the image output controller 14 of CPU1 shown in FIG. 1, on the 3D image 203 of the centroid P1 ⁇ P17 17 estimated by the spine sequence estimating unit 12 thoracic B1 ⁇ B12 and lumbar B13 ⁇ B17 coordinates (x 3Di , Y 3di , z 3di ) (i 1 to 17) and the curve L3 are read from the estimated data storage unit 24 and superimposed on the unknown 3D image 203 as shown in FIGS. 20 (a) and 20 (b).
  • the coordinates (x 3di , y 3di , z 3di ) (i 1 to 17) and the curve L3 on the 3D image 203 of the centroids P1 to P17 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17
  • the information is output (displayed) on a display or the like constituting the output device 4.
  • the image output control unit 14 reads the bump angle ⁇ 2 calculated by the angle calculation unit 13 from the estimated data storage unit 24 and superimposes it on the 3D image 203 as shown in FIGS. 20 (a) and 20 (b).
  • the cobb angle ⁇ 2 is output (displayed) on a display or the like constituting the output device 4. May be.
  • the imaging device 3 captures a 3D image representing the three-dimensional shape of the human body surface.
  • the captured unknown 3D image is stored in the learning image storage unit 22 of the storage device 2.
  • An unknown 3D image is not captured by the imaging device 3 but may be stored in advance in the learning image storage unit 22 of the storage device 2 via an information network such as the Internet or an intranet. Further, the unknown 3D image may not be captured using the same 3D imager as the 3D image of the data set at the time of machine learning, and may be a 3D image representing a three-dimensional shape of the human body surface.
  • the image acquisition unit 11 reads out and acquires an unknown 3D image from the learning image storage unit 22.
  • step S42 the spinal column estimation unit 12 of the CPU 1 uses the learning data (accumulated data) after machine learning stored in the learning data storage unit 23 from the unknown 3D image acquired by the image acquisition unit 11. Estimate spinal alignment. The estimation result of the spinal column arrangement is stored in the estimation data storage unit 24.
  • step S43 the angle calculation unit 13 of the CPU 1 reads the spine arrangement estimated by the spine arrangement estimation unit 12 from the estimation data storage unit 24, and calculates the bump angle.
  • the calculated bump angle is stored in the estimated data storage unit 24.
  • step S44 the image output control unit 14 of the CPU 1 reads out the spine arrangement estimated by the spine arrangement estimation unit 12 and the bump angle calculated by the angle calculation unit 13 from the estimation data storage unit 24, for example, the output device 4 Is displayed on the display screen.
  • the CPU 1 uses the machine learning technique as in the first embodiment of the present invention.
  • the artificial intelligence to be executed can be used to accurately estimate the arrangement of spinal column elements from the 3D image. Therefore, the doctor can accurately diagnose the presence and degree of scoliosis with reference to the estimated spinal column arrangement and cobb angle, and can also reduce the variation in diagnosis between doctors.
  • the learning data obtained by using the 3D image and the CT image as a data set are used to obtain the 3D image from the 3D image.
  • the arrangement of spinal column elements can be estimated three-dimensionally, and the three-dimensional maximum Cobb angle can be calculated. Therefore, it is possible to estimate the spinal column arrangement and the hump angle with higher accuracy.
  • the manufacture of the moire image pickup device has been discontinued, and a new spine arrangement estimation device that does not use the moire image pickup device is required.
  • the arrangement of spinal column elements can be estimated three-dimensionally from a 3D image picked up by a 3D imager, it can be expected to be used as a new spine arrangement estimating apparatus.
  • the spine arrangement estimation program according to the second embodiment of the present invention causes the computer constituting the image processing apparatus 10 to execute the procedure of the spine arrangement estimation method shown in FIG. That is, the spine arrangement estimation program according to the second embodiment of the present invention is (a) a procedure for causing the image acquisition unit 11 to acquire an unknown 3D image representing a three-dimensional shape of the human body surface, and (b) a spine arrangement estimation.
  • the computer which comprises the image processing apparatus 10 is made to perform the procedure etc. which output the signal displayed on 4.
  • the spinal column arrangement estimation program according to the second embodiment of the present invention can be stored in the storage device 2, for example.
  • Modification of the second embodiment As a modification of the second embodiment of the present invention, a case of estimating the vertebra twist (rotation) is illustrated. Evaluation of scoliosis is mainly performed by standing X-ray images (front and side images) and CT images. Specifically, the deformation (side scissors) viewed from the front is evaluated using the standing X-ray front image, and the forehead and the back scoring are evaluated using the standing X-ray side image. Regarding the rotation, the degree of rotation is evaluated from the appearance of the vertebra in the standing X-ray front image by the Nash & Moe method or the like, but the angle of rotation is not directly evaluated.
  • the rotation of the vertebra can be directly evaluated, but usually the exposure is greater than that at the time of imaging the X-ray image. Since many of the scoliosis are children, there is a possibility of future health damage.
  • the rotation of the vertebra is accurately estimated without taking a CT image.
  • step S31 of the learning phase shown in FIG. 17, as a preparation for machine learning by the spinal column estimation unit 12, a 3D image representing the three-dimensional shape of the back of the human body imaged in the past and an X-ray image (CT image) corresponding thereto A large number of data sets (for example, several thousand sets) are prepared. Each of the large number of 3D images and X-ray images is stored in the learning image storage unit 22 and the X-ray image storage unit 21 of the storage device 2.
  • CT image X-ray image
  • step S32 of FIG. 17 correct data used for machine learning is labeled.
  • the spinous process SP1 indicates a portion where the rear end of the vertebra (thoracic vertebra) B1 is raised and protruded.
  • the spinous process SP1 can be specified as a feature point from the CT image 202.
  • the spinal column estimation unit 12 calculates 3D coordinates (X sp1 , Y sp1 , Z sp1 ) on the CT image 202 of the spinous process SP1 of the thoracic vertebra B1.
  • the calculated coordinates (X cti , Y cti , Z cti ) (i 1 to 17) of the centroids C1 to C17 on the CT image 202 and the CT of the spinous processes SP1 to SP17 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17
  • the spinal column estimation unit 12 reads out the 3D image 201 and the CT image 202, which are data sets, from the learning image storage unit 22 and the X-ray image storage unit 21, respectively.
  • 201 and CT image 202 are three-dimensionally aligned, and the coordinate system of 3D image 201 is associated with the coordinate system of CT image 202.
  • step S33 The processing in step S33 described above is performed on each of the data sets of a large number of CT images stored in the X-ray image storage unit 21 and a large number of 3D images stored in the learning image storage unit 22. Correct data calculated for each data set is stored in the learning data storage unit 23.
  • the spinal column estimation unit 12 reads the 3D image 201 from the learning image storage unit 22, and the centroids C1 to C17 of the 17 thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17.
  • 3D image 201 of spinous processes SP1 to SP17 of 17 thoracic vertebrae B1 to B12 and lumbar vertebrae B13 to B17 in addition to the coordinates (X pi , Y pi , Z pi ) (i 1 to 17) on the 3D image 201
  • the spinal column estimation unit 12 repeats the above-described error back-propagation process using a large number of 3D image and CT image data sets stored in the learning image storage unit 22 and the X-ray image storage unit 21 to assign weights. Learn by making corrections. As a result, the spinal column estimation unit 12 reads the unknown 3D image from the learning image storage unit 22 on the 3D image 201 of the centroids C1 to C17 of the 17 thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17.
  • step S41 of the estimation phase in FIG. 21 the imaging device 3 captures a 3D image representing the three-dimensional shape of the back of the human body.
  • the captured unknown 3D image is stored in the learning image storage unit 22 of the storage device 2.
  • the image acquisition unit 11 reads out and acquires an unknown 3D image from the learning image storage unit 22.
  • the vertebral column estimator 12 of the CPU 1 uses the learning data after machine learning stored in the learning data storage 23 to use 17 thoracic vertebrae B1 to B from the unknown 3D image acquired by the image acquisition unit 11.
  • Estimate the spinal column arrangement consisting of 3D coordinates of the centers of gravity P1 to P17 of B12 and lumbar vertebrae B13 to B17, and estimate the 3D coordinates of the spinous processes of each of the 17 thoracic vertebrae B1 to B12 and lumbar vertebrae B13 to B17.
  • the spinal column estimation unit 12 estimates the 3D coordinates of the position p1 of the spinous process SP1 of the thoracic vertebra B1.
  • the 3D coordinates of the positions p2 to p17 of the spinous processes SP2 to SP17 of the other thoracic vertebrae B2 to B12 and lumbar vertebrae B13 to B17 are also estimated in the same manner.
  • the estimation result of the 3D coordinates of the spinal column arrangement and the spinous process is stored in the estimation data storage unit 24.
  • step S43 the angle calculation unit 13 of the CPU 1 reads the spine arrangement estimated by the spine arrangement estimation unit 12 from the estimation data storage unit 24, and calculates the Cobb angle ⁇ 2.
  • the calculated bump angle ⁇ 2 is stored in the estimated data storage unit 24.
  • the angle calculation unit 13 of the CPU 1 calculates the rotation angles of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 from the 3D coordinates of the spinal column arrangement and the spinous processes estimated by the spinal column arrangement estimation unit 12.
  • the rotation angles of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 are calculated as angles at which the midlines of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 are inclined with respect to the front-rear direction of the human body in a plane perpendicular to the human body. It becomes an index when judging scoliosis.
  • a straight line L4 passing through the 3D coordinate of the center of gravity P1 of the thoracic vertebra B1 and the 3D coordinate of the position p1 of the spinous process SP1 is calculated as a midline.
  • an angle ⁇ 3 formed by the median line L4 and the straight line L5 parallel to the z-axis direction of the 3D image is calculated as the rotation angle.
  • the angle calculation unit 13 similarly calculates the rotation angle ⁇ 3 for the other thoracic vertebrae B2 to B12 and the lumbar vertebrae B13 to B17.
  • the calculated rotation angles ⁇ 3 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 are stored in the estimated data storage unit 24.
  • step S44 the image output control unit 14 of the CPU 1 determines the spine arrangement estimated by the spine arrangement estimation unit 12, the Cobb angle ⁇ 2 calculated by the angle calculation unit 13, and the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17.
  • the rotation angle ⁇ 3 is read from the estimated data storage unit 24 and displayed on, for example, a display screen that is the output device 4.
  • the CPU 1 uses the machine learning technique as in the first embodiment of the present invention.
  • the artificial intelligence to be executed can be used to accurately estimate the arrangement of spinal column elements from the 3D image. Therefore, the doctor can accurately diagnose the presence and degree of scoliosis with reference to the estimated spinal column arrangement and cobb angle, and can also reduce the variation in diagnosis between doctors.
  • the spinal column estimation apparatus and spinal column estimation method using learning data obtained by using a 3D image and a CT image as a data set, An array of spinal column elements can be estimated three-dimensionally from a 3D image. Then, from the three-dimensional spine element arrangement, the cobb angle ⁇ 2 and the spinal element rotation angle ⁇ 3 can be calculated. Therefore, in addition to the current evaluation standard of the size of the hump angle of the X-ray image, information on the three-dimensional spinal column arrangement in the standing position, the three-dimensional maximum hump angle, and the rotation angle of each vertebral body are obtained. Therefore, it is possible to predict the progression of scoliosis, predict the prognosis, elucidate the disease state, etc., and establish a new treatment method or treatment system.
  • the case where the cobb angle ⁇ 2 and the rotation angle ⁇ 3 of the spine element are calculated from the three-dimensional array of spine elements is illustrated, but the rotation angle ⁇ 3 of the spine element is illustrated. Only may be calculated.
  • the rotation angle ⁇ 3 of the spinal column element it can be used as a material for judgment of scoliosis by a doctor.
  • the angle calculation unit 13 of the CPU 1 reads the rotation angles ⁇ 3 of the thoracic vertebrae B1 to B12 and the lumbar vertebrae B13 to B17 from the estimated data storage unit 24, and rotates the rotation angles ⁇ 3 of the thoracic vertebrae B1 to B12 and lumbar vertebrae B13 to B17. Is compared with a predetermined threshold value to determine the size, the maximum value of the rotation angles ⁇ 3 of the thoracic vertebra B1 to B12 and the lumbar vertebra B13 to B17 is extracted, and the thoracic vertebra B1 to B12 and the lumbar vertebra B13 to B17 are respectively extracted.
  • the rotation angle ⁇ 3 may be classified stepwise using a predetermined threshold.
  • the calculation result by the angle calculation part 13 of CPU1 may be suitably displayed on the screen of the display which is the output device 4.
  • the case of estimating the arrangement of spinal column elements of 17 thoracic vertebrae B1 to B12 and lumbar vertebrae B13 to B17 composed of 12 thoracic vertebrae and 5 lumbar vertebrae will be described.
  • the estimated arrangement of spine elements is not limited to 17 spine elements.
  • less than 17 thoracic vertebrae and lumbar vertebrae may be targeted, and more than 17 vertebral column elements including cervical vertebrae above the thoracic vertebrae, sacral vertebrae below the lumbar vertebrae, and caudal vertebrae may be targeted.
  • learning obtained using a data set of a moire image that is two-dimensional data and a standing X-ray front image that is two-dimensional data as an X-ray image was illustrated.
  • learning data obtained using a data set of a 3D image that is three-dimensional data and a CT image that is three-dimensional data as an X-ray image are used.
  • the case where a spinal column element or the like is estimated in three dimensions from an unknown 3D image has been illustrated.
  • an unknown moire image is used.
  • the spinal column arrangement or the like may be estimated in two dimensions or three dimensions.
  • the spinal column arrangement and the like may be estimated in two dimensions from an unknown 3D image using learning data obtained using a data set of a 3D image and a standing X-ray front image as an X-ray image.
  • the case where a 3D image captured by a 3D imager and a CT image as an X-ray image are prepared separately is illustrated.
  • the three-dimensional shape of the human body surface may be extracted as a 3D image. It is also possible to estimate a spinal column array and the like in three dimensions from an unknown 3D image obtained by a 3D imager using learning data obtained by using the extracted 3D image and CT image as a data set.
  • the 3D image necessary for estimating the spinal column arrangement and the like is not necessarily limited to only the 3D image on the back side of the human body.
  • a surface image obtained by viewing the entire human body including the front side of the human body from the 360 ° direction may be used as the original data.
  • the spinal column arrangement is most reflected on the back side of the human body, it is preferable to use the 3D image on the back side of the human body. However, if sufficient data is accumulated, the 3D image on the front side of the human body is used. It is also possible to estimate a three-dimensional spinal column arrangement or the like by using learning data obtained by using a 3D image on the front side of the human body as a CT image and a data set. That is, since it is possible to estimate the spinal column arrangement or the like if it is data of a 3D image of the human body surface that can reflect the three-dimensional spinal column arrangement, it is not limited to the 3D image of the human back.
  • the wavelength of the 3D image pickup device used for 3D image pickup as the image pickup apparatus 3 according to the second embodiment of the present invention is set to infrared rays or submillimeter waves, the 3D image of the human body surface is transmitted through a thin cloth. Can be obtained. Therefore, a 3D image of the human body surface can be taken with high accuracy even in a clothing state, and the spinal column arrangement and the like can be estimated. Moreover, even if it is a 3D image pick-up machine of wavelengths other than infrared rays or a submillimeter wave, it is possible to pick up the 3D image of the human body surface even if it is in the clothes state by removing noise.
  • the present invention can estimate the arrangement of spinal column elements from a 3D image or moire image, facilitates diagnosis of scoliosis by a doctor, confirmation of the spinal column by a judge, etc., and medical exposure by unnecessary X-ray examination.
  • the present invention is applicable to a spinal column estimation apparatus, a spinal column estimation method and a spinal column estimation program that can be reduced.
  • Central processing unit (CPU) DESCRIPTION OF SYMBOLS 2 ... Memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

人体表面の立体形状を表す画像から人体内部に存在する脊柱配列のコブ角及び回旋角の少なくとも一方を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置を提供する。人体表面の立体形状を表す画像を取得する画像取得部（１１）と、蓄積されたデータを用いて人体の脊柱配列を推定する脊柱配列推定部（１２）と、推定された脊柱配列からコブ角及び回旋角の少なくとも一方を算出する角度算出部（１３）を備える。

Description

脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
　本発明は、脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムに関する。
　脊柱側弯症とは、通常は正面から見ると直線的に配列される背骨（脊柱）が側方や前後方向に歪んでしまう疾患である。日本では、学校保健安全法により、就学時及び定期検診において、脊柱及び胸郭の疾病及び異常の有無の確認が義務づけられている。第１次検診は自治体を中心に各学校で行われ、第１次検診の結果、側弯症の疑いがある場合には第２次検診に進み、Ｘ線撮影を実施して側弯症の診断を確定する。
　第１次検診では、側弯の有無の判定のためにモアレ検査を利用している自治体が多い。モアレ検査では、モアレ縞測定装置を用いて児童らの背部を撮像し、得られたモアレ画像に写り込むモアレ縞の数の違い等によって、背部の左右の高低差を評価し、側弯の有無を判定している（非特許文献１及び２参照。）。
　しかしながら、モアレ画像から側弯の有無を判定するための全国的な統一された基準はなく、モアレ検査は各自治体が独自に施行しており、側弯の有無の判定にはバラツキが生じる。例えば、モアレ検査の感度は一般的には１００％、特異度は８６％と報告されているが（Karachalios、 Spine 1999）、平成２１年度の東京都予防医学協会が実施した２次検診では、第１次検診による側弯症の疑いで２次検診のＸ線撮影を実施した３２％の学童は側弯症が否定されており、このようなケースでのＸ線撮影による医療被曝を軽減することも望まれる。
ウィルナース（Willner） S. 『モアレトポグラフィ：側弯症の学校検診方法（Moire´ topography: a method for school screening of scoliosis）』. アチーブス・オブ・オーソペディック・アンド・トラウマ・サージェリー（Arch Orthop Trauma Surg）. 1979年; 第95巻: p 181-185. ダルワラ（Daruwarlla） JS, バラスブラマニアン（Balasubrmanian） P. 『側弯症のモアレトポグラフィ：カーブの位置及びサイズ検出におけるその精度（Moire´ topography in scoliosis: its accuracy in detecting the site and size of the curve）』. ジャーナル・オブ・ボーン・アンド・ジョイント・サージェリー（J Bone Joint Surg (Br)）. 1985年; 第67巻: p 211-213.
　本発明は、人体表面の立体形状を表す画像から人体内部に存在する脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムを提供することを目的とする。
　本発明の一態様は、（ａ）人体表面の立体形状を表す画像を取得する画像取得部と、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定する脊柱配列推定部と、（ｃ）推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出する角度算出部とを備える脊柱配列推定装置であることを要旨とする。
　本発明の他の態様は、（ａ）人体表面の立体形状を表す画像を取得するステップと、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定するステップと、（ｃ）推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出するステップとを含む脊柱配列推定方法であることを要旨とする。
　本発明の更に他の態様は、（ａ）画像取得部に、人体表面の立体形状を表す画像を取得させる手順と、（ｂ）蓄積されたデータを用いて、取得された画像から脊柱配列を推定させる手順と、（ｃ）脊柱配列推定部に、推定された脊柱配列に基づいて、脊柱配列のコブ角及び回旋角の少なくとも一方を算出させる手順とをコンピュータに実行させる脊柱配列推定プログラムであることを要旨とする。
　本発明において「蓄積されたデータ」とは、臨床の場において取得される臨床画像データから機械学習された学習データである。臨床画像データとしては、例えばＸ線画像データやＣＴ画像データなどが挙げられるが、これに限らない。機械学習としては、例えば深層学習（ディープ・ラーニング）等があげられるが、これに限らない。
　本発明によれば、人体表面の立体形状を表す画像から人体内部に存在する脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムを提供することができる。
図１は、本発明の第１の実施の形態に係る脊柱配列推定装置の一例を示す概略図である。 図２は、脊柱側弯症を説明するための脊柱要素の配列の一例を示す概略図である。 図３は、本発明の第１の実施の形態に係る撮像装置の一例を示す概略図である。 図４は、本発明の第１の実施の形態に係る機械学習用のモアレ画像の一例を示す概略図である。 図５は、本発明の第１の実施の形態に係る機械学習方法の一例を説明するためのフローチャートである。 図６は、本発明の第１の実施の形態に係る機械学習用のＸ線画像の一例を示す概略図である。 図７は、本発明の第１の実施の形態に係るＸ線画像上の脊柱の一例を示す概略図である。 図８は、本発明の第１の実施の形態に係るＸ線画像のラベル付けの一例を示す概略図である。 図９は、本発明の第１の実施の形態に係るモアレ画像とＸ線画像の位置合わせの一例を示す概略図である。 図１０は、本発明の第１の実施の形態に係る機械学習方法の一例を示す概略図である。 図１１は、本発明の第１の実施の形態に係る未知のモアレ画像の一例を示す概略図である。 図１２は、本発明の第１の実施の形態に係る脊柱配列の推定結果を含むモアレ画像の一例を示す概略図である。 図１３は、本発明の第１の実施の形態に係るコブ角算出方法の一例を説明するための概略図である。 図１４は、本発明の第１の実施の形態に係る脊柱配列の推定結果及びコブ角の算出結果を含むモアレ画像の一例を示す概略図である。 図１５は、本発明の第１の実施の形態に係る脊柱配列推定方法の一例を説明するためのフローチャートである。 図１６（ａ）及び図１６（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る機械学習用の３Ｄ画像の一例をそれぞれ示す概略図である。 本発明の第２の実施の形態に係る機械学習方法の一例を説明するためのフローチャートである。 図１８（ａ）～図１８（ｃ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る機械学習用のＣＴ画像の一例をそれぞれ示す概略図である。 図１９（ａ）及び図１９（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る未知の３Ｄ画像の一例をそれぞれ示す概略図である。 図２０（ａ）及び図２０（ｂ）は、互いに異なる方向から見た本発明の第２の実施の形態に係る脊柱配列の推定結果を含む３Ｄ画像の一例をそれぞれ示す概略図である。 本発明の第２の実施の形態に係る脊柱配列推定方法の一例を説明するためのフローチャートである。 図２２（ａ）は本発明の第２の実施の形態の変形例に係る椎体の一例を示す上面図であり、図２２（ｂ）は図２２（ａ）を９０°異なる方向から見た椎体の一例を示す側面図である。 本発明の第２の実施の形態の変形例に係る椎体の回旋角の算出方法の一例を示す概略図である。
　次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
　また、以下に示す第１及び第２の実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
　（第１の実施の形態）
　＜脊柱配列推定装置＞
　本発明の第１の実施の形態に係る脊柱配列推定装置は、図１に示すように、画像処理装置１０、撮像装置３及び出力装置４を備える。画像処理装置１０は、中央演算処理装置（ＣＰＵ）１及び記憶装置２を備えるコンピュータ若しくはコンピュータに等価なプロセッサ或いはＦＰＧＡ等のプログラマブル・ロジック・デバイス（ＰＬＤ）や集積回路等で構成できる。
　本発明の第１の実施の形態に係る脊柱配列推定装置により推定される脊柱要素の配列は、脊柱の側弯の有無の判定や脊柱側弯症の診断等に有効である。人間の脊椎（背骨）は、一般的には、頭部側から順に７個の頚椎、１２個の胸椎、５個の腰椎を脊柱要素として構成されている。脊柱は、人間の正面又は背面に対して、健常者の場合には略直線となるが、脊柱側弯症者の場合には、図２に示すように、ねじれを伴って側方に曲がる症状が顕著に現れる。図２では、脊柱のうちの１２個の胸椎Ｂ１～Ｂ１２と、５個の腰椎Ｂ１３～Ｂ１７を例示している。以下において、本明細書では、脊柱を構成している要素である「頚椎」「胸椎」「腰椎」を総称して「脊柱要素」と呼ぶ。なお、総称としての「脊柱要素」の定義に、腰椎より下側の「仙椎」「尾椎」を更に含んでも構わない。
　図１に示した撮像装置３は、人体表面の立体形状を表す画像を撮像可能な装置である。本発明の第１の実施の形態においては、撮像装置３が、人体の背部の立体形状を表すモアレ縞を含むモアレ画像を撮像するモアレ撮像装置（モアレ縞測定装置）である場合を説明する。撮像装置３としてのモアレ撮像装置は、例えば図３に示すように、人体１００の背部にパターンを投光する投光部３１と、人体１００の背部を撮影するカメラ３２とを備える。なお、撮像装置３としては、例えば３次元（３Ｄ）スキャナやＣＣＤカメラ等も使用可能であり、モアレ画像若しくはモアレ画像に等価な２次元（２Ｄ）画像を撮像可能な装置であれば特に限定されない。
　撮像装置３は、例えば図４に示すようなモアレ画像１０１を撮像する。モアレ画像１０１には、人体の背部の立体的形状を表すモアレ縞が写り込んでいる。脊柱側弯症者の場合には、人体の背部の高低差が左右で大きくなり、左右でモアレ縞の本数や形状が異なってくる。
　ＣＰＵ１は、画像取得部１１、脊柱配列推定部１２、角度算出部１３及び画像出力制御部１４をハードウェア資源である論理回路（モジュール）として備える。このうち、脊柱配列推定部１２は、深層学習（ディープ・ラーニング）等の機械学習を実行する人工知能を構成する論理回路（モジュール）であり、画像取得部１１により取得されるモアレ画像から自動的・直接的に脊柱配列（脊柱形状）を推定する演算処理を実行する。
　脊柱配列推定部１２を構成する人工知能（ハードウェア資源）としては、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の階層型のニューラルネットワークやサポート・ベクター・マシン（ＳＶＭ）等のコンピュータ・ソフトウェア・プログラムを実行するハードウェア資源が使用可能である。
　記憶装置２としては、例えば半導体メモリや磁気ディスク、光ディスク等が使用可能である。記憶装置２は、図１に示すように、脊柱配列推定部１２が機械学習するための過去のＸ線画像を多数記憶するＸ線画像記憶部２１、脊柱配列推定部１２が機械学習するための過去のモアレ画像を多数記憶する学習用画像記憶部２２、脊柱配列推定部１２の機械学習により修正された重みパラメータ等の学習データを記憶する学習データ記憶部２３、脊柱配列推定部１２による脊柱要素の推定結果等の推定データを記憶する推定データ記憶部２４等を有する。
　記憶装置２は更に、ＣＰＵ１が実行する脊柱配列推定プログラムや脊柱配列推定プログラムの実行に必要な各種データを記憶するＣＰＵ１内のレジスタ、若しくはＣＰＵ１内かＣＰＵ１に隣接したキャッシュメモリ、又はその他の仮想記憶装置等を含んでも構わない。図１は論理的な表現としてレジスタやキャッシュメモリを含むハードウェア資源として、模式的に記憶装置２を表現しているのであって、物理的構成とは必ずしも一致しない。
　出力装置４としては、例えばパーソナルコンピュータ（ＰＣ）やタブレット端末等の液晶ディスプレイ（ＬＣＤ）等のディスプレイや、プリンタ、プロジェクタ、スピーカ等が使用可能である。
　＜学習フェーズ＞
　ここで、図５のフローチャートを参照しながら、本発明の第１の実施の形態に係る脊柱配列推定部１２の機械学習方法を含む「学習フェーズ」の一例を説明する。ここでは、脊柱配列推定部１２がＣＮＮにより構成されている場合を例示する。
　ステップＳ１１において、脊柱配列推定部１２の機械学習の事前準備として、過去に同一人物について撮像したモアレ画像及びＸ線画像のデータセットを多数（例えば数千セット）用意する。なお、データセットとしては、現実的には同一人物について撮像したモアレ画像及びＸ線画像が好適であるが、これに限定されない。例えば、体型が類似した異なる人物についてそれぞれ撮像したモアレ画像及びＸ線画像をデータセットとして採用することも可能である。多数のモアレ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
　例えば、図４に１枚（１セット）を例示的に示すようなモアレ画像１０１の多数のセットを学習用画像記憶部２２に格納し、図６に１枚（１セット）を例示的に示すようなＸ線画像１０２の多数のセットをＸ線画像記憶部２１に格納する。図６に示すように、１枚（１セット）のＸ線画像１０２は、立位の人物の背部側から見た立位Ｘ線正面画像である。Ｘ線画像１０２には、脊柱要素のうちの１２個の胸椎Ｂ１～Ｂ１２と、５個の腰椎Ｂ１３～Ｂ１７が写り込んでいる。
　次に、図５のステップＳ１２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、Ｘ線画像記憶部２１から１枚（１セット）のＸ線画像１０２を抽出して読み出して、Ｘ線画像１０２上の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の解剖学的な特徴点（ランドマーク）を抽出する。
　例えば、脊柱配列推定部１２は、Ｘ線画像１０２に対してエッジ抽出を行い２値化する。脊柱配列推定部１２は更に、図７に示すように、Ｘ線画像１０２に写り込む胸椎Ｂ１を矩形近似し、矩形近似した胸椎Ｂ１の４角に対応する４点Ｆ１～Ｆ４を解剖学的な特徴点（ランドマーク）として抽出し、４点Ｆ１～Ｆ４のＸ線画像１０２上の座標を算出する。算出された４点Ｆ１～Ｆ４のＸ線画像１０２上の座標は、学習データ記憶部２３に格納される。他の多数のセットについても同様にＸ線画像記憶部２１からＸ線画像を読み出して、それぞれの解剖学的な特徴点（ランドマーク）としての座標を学習データ記憶部２３に格納する。
　脊柱配列推定部１２は更に、特定のセットの４点Ｆ１～Ｆ４のＸ線画像１０２上の座標を学習データ記憶部２３から読み出して、矩形近似した胸椎Ｂ１の重心Ｃ１を解剖学的な特徴点（ランドマーク）として抽出し、重心Ｃ１のＸ線画像１０２上の座標（Ｘｒ１，Ｙｒ１）を算出する。算出された重心Ｃ１のＸ線画像１０２上の座標（Ｘｒ１，Ｙｒ１）は、学習データ記憶部２３に格納される。
　なお、本発明の第１の実施の形態においては、脊柱配列推定部１２が胸椎Ｂ１を矩形近似して、矩形近似した胸椎Ｂ１の重心Ｃ１を解剖学的な特徴点として抽出しているが、これに限定されず、他の解剖学的な特徴点を抽出してもよい。
　脊柱配列推定部１２は、図８に示すように、他の胸椎Ｂ２～Ｂ１２、腰椎Ｂ１３～Ｂ１７についても同様に重心Ｃ２～Ｃ１７を抽出して、重心Ｃ２～Ｃ１７のＸ線画像１０２上の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝２～１７）を算出する。算出された重心Ｃ２～Ｃ１７のＸ線画像１０２上の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝２～１７）は、学習データ記憶部２３に格納される。
　脊柱配列推定部１２は更に、図８に示すように、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の座標（Ｘｒｉ，Ｙｒｉ）（ｉ＝１～１７）を用いて、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７を連続させる曲線Ｌ１を算出する。曲線Ｌ１としては、例えばＢスプライン曲線等が採用可能である。算出された曲線Ｌ１は、学習データ記憶部２３に格納される。上述したステップＳ１２の処理は、Ｘ線画像記憶部２１に記憶されている多数のＸ線画像のそれぞれに対して行われ、それぞれのセットに対し算出された曲線Ｌ１は、それぞれ学習データ記憶部２３に格納される。
　次に、図５のステップＳ１３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである例えば同一人物についてのモアレ画像とＸ線画像をそれぞれ読み出して、モアレ画像とＸ線画像を位置合わせする。同一人物についてのモアレ画像とＸ線画像は、同時に同じ姿勢で撮像されていれば、このステップＳ１２の位置合わせのステップは不要であるが、一般的にはモアレ画像とＸ線画像は異なるタイミングで撮像され、姿勢にもずれが生じる場合が多い。
　そこで、脊柱配列推定部１２は、例えば図８に示すように、Ｘ線画像記憶部２１から読み出したＸ線画像１０２に写り込む人体の首の付け根の２点Ｎ１，Ｎ２を位置合わせ用のマークとして抽出して、２点Ｎ１，Ｎ２のＸ線画像１０２上の座標を学習データ記憶部２３に格納する。脊柱配列推定部１２は更に、図９に示すように、学習用画像記憶部２２から読み出したモアレ画像１０１についても、人体の首の付け根の２点Ｎ３，Ｎ４を位置合わせ用のマークとして抽出して、２点Ｎ３，Ｎ４のモアレ画像１０１上の座標を学習データ記憶部２３に格納する。
　脊柱配列推定部１２は更に、学習データ記憶部２３から読み出したモアレ画像１０１の首の付け根の２点Ｎ１，Ｎ２と、Ｘ線画像１０２の首の付け根の２点Ｎ３，Ｎ４を一致させるように、モアレ画像１０１及びＸ線画像１０２の大きさを合わせ、回転及び平行移動等する。
　この結果、図９に示すように、モアレ画像１０１とＸ線画像１０２が位置合わせされ、モアレ画像１０１の座標系とＸ線画像１０２の座標系が対応付けられる。図９では、モアレ画像１０１に、図８に示したＸ線画像１０２上の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７に対応する曲線Ｌ１が重畳された様子を例示している。なお、位置合わせ用のマークとしては、首の付け根の２点に限定されず、モアレ画像１０１とＸ線画像１０２とを位置合わせ可能な、解剖学的な特徴点を採用可能である。
　図９において、脊柱配列推定部１２は更に、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１～１７）を正解データとして算出する。算出された重心Ｃ１～Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１～１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ１３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＸ線画像及び学習用画像記憶部２２に記憶されている多数のモアレ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
　次に、図５のステップＳ１４において、脊柱配列推定部１２は、モアレ画像１０１を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報が出力されるように機械学習を行う。ここでは、脊柱配列推定部１２のアルゴリズムを構成するＣＮＮの重みを調整する場合を説明する。
　まず、脊柱配列推定部１２は、図１０に示すように、例えば学習用画像記憶部２２から読み出した６４０×４４０画素のモアレ画像１０１の一部を切り出し、モアレ画像１０１ａとする。脊柱配列推定部１２は更に、モアレ画像１０１ａを２２０×２２０画素にリサイズし、このリサイズしたモアレ画像１０１ｂのデータをＣＮＮのコンピュータ・ソフトウェア・プログラムへの入力データとする。リサイズされたモアレ画像１０１ｂのデータは、エッジ抽出等は行わずに、グレースケールの２５６階調で脊柱配列推定部１２で実行されるＣＮＮのプログラムに入力される。
　ＣＰＵ１の脊柱配列推定部１２で実行されるＣＮＮでは、モアレ画像１０１ｂが入力されると、脊柱要素の配列情報が出力されるようにネットワークのアルゴリズムが構成されている。図１０に示すように、脊柱配列推定部１２で実行されるＣＮＮは、学習可能な重みパラメータを有し、画像上の各位置毎に特徴抽出（フィルタ処理）をする、例えば５層の畳み込み層ＣＬ１～ＣＬ５と、全ユニットを結合して識別をする、例えば３層の全結合層ＦＣＬ１～ＦＣＬ３とを備えて階層型のネットワークを構成している。畳み込み層ＣＬ１～ＣＬ５及び全結合層ＦＣＬ１～ＦＣＬ３のデータは逐次、学習データ記憶部２３に格納される。
　なお、脊柱配列推定部１２で実行されるＣＮＮは、図示を省略するが、自由パラメータを有し、局所的な平行移動に対し不変な出力をするプーリング層（部分サンプリング層）及び出力を局所的に規格化する局所反応正規化層を更に有していても良い。局所反応正規化層では例えば、近傍の値を走査して自乗和し，その値を線形変換した値で規格化する等の処理を実行する。
　図１０に示す畳み込み層ＣＬ１のフィルタサイズは１１×１１であり、畳み込み層ＣＬ２のフィルタサイズは５×５であり、畳み込み層ＣＬ３～ＣＬ５のフィルタサイズは３×３であり、段階的にスケールを変えながら、局所的な相関パターンを抽出する。畳み込み層ＣＬ１，ＣＬ２は、５５×５５×４８次元、２７×２７×１２８次元のデータをそれぞれ出力する。畳み込み層ＣＬ３～ＣＬ５は１３×１３×１９２次元のデータをそれぞれ出力する。全結合層ＦＣＬ１～ＦＣＬ３は前層のユニットに結合重みがすべて結合され、全結合層ＦＣＬ１，ＦＣＬ２は、４０９６次元のデータをそれぞれ出力する。最後の全結合層ＦＣＬ３が出力層となる。
　脊柱配列推定部１２で実行されるＣＮＮは、図１の最後段に位置する全結合層ＦＣＬ３から１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｙｐｉ）（ｉ＝１～１７）を推定データとして算出する。算出された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｙｐｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　脊柱配列推定部１２は、推定データである胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のモアレ画像１０１ｃ上の座標（Ｘｐｉ，Ｘｐｉ）（ｉ＝１～１７）と、正解データである胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のモアレ画像１０１上の座標（Ｘｍｉ，Ｙｍｉ）（ｉ＝１～１７）を学習データ記憶部２３から読み出して、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７毎に、推定データと正解データとの誤差（Ｘｐｉ－Ｘｍｉ，Ｙｐｉ－Ｙｍｉ）（ｉ＝１～１７）を算出する。
　脊柱配列推定部１２は、推定データと正解データとの誤差（Ｘｐｉ－Ｘｍｉ，Ｙｐｉ－Ｙｍｉ）（ｉ＝１～１７）に対して、誤差逆伝播法（ＢＰ）を用いて、誤差（Ｘｐｉ－Ｘｍｉ，Ｙｐｉ－Ｙｍｉ）（ｉ＝１～１７）を小さくするように脊柱配列推定部１２で実行されるＣＮＮの畳み込み層ＣＬ１～ＣＬ５及び全結合層ＦＣＬ１～ＦＣＬ３の重みパラメータを修正する。誤差逆伝播法では出力層である全結合層ＦＣＬ３から入力層である畳み込み層ＣＬ１にかけて、誤差の勾配を逆伝播させることで重みを修正する。この重みを修正する誤差逆伝播法の学習アルゴリズムでは、勾配降下最適化法等が使用可能である。
　脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数のモアレ画像とＸ線画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知のモアレ画像を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報を出力するようなＣＮＮのアルゴリズムを学習データ（蓄積されたデータ）として獲得することが出来る。
　＜推定フェーズ＞
　次に、本発明の第１の実施の形態に係る脊柱配列推定装置が、未知のモアレ画像から脊柱配列を推定する推定フェーズを実行する際の、本発明の第１の実施の形態に係る脊柱配列推定装置の構成及び機能を説明する。
　図１に示したＣＰＵ１の画像取得部１１は、撮像装置３により撮像された図１２に示すような未知のモアレ画像１０３を取得する。取得された未知のモアレ画像１０３は学習用画像記憶部２２に格納される。モアレ画像１０３は、例えば図１０に示したように、６４０×４４０画素、グレースケールの２５６階調で構成されているとする。
　ＣＰＵ１の脊柱配列推定部１２は、上述した学習フェーズを経て機械学習を行ったＣＮＮを実行する。脊柱配列推定部１２は、学習用画像記憶部２２に格納されたモアレ画像１０３を読み出し、読み出したモアレ画像１０３の一部を切り出す。そして、切り出したモアレ画像１０３を、図１０に示した機械学習時と同様の２２０×２２０画素にリサイズすることにより正規化する。リサイズされたモアレ画像１０３は推定データ記憶部２４に格納される。
　脊柱配列推定部１２は、推定データ記憶部２４からリサイズされたモアレ画像１０３を読み出して、図１３に示すように、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１～１７）を脊柱配列として推定する。推定された重心Ｐ１～Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１～１７）は推定データとして推定データ記憶部２４に格納される。
　脊柱配列推定部１２は更に、算出した胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１～１７）を連続させる曲線Ｌ２を脊柱配列として算出（推定）する。曲線Ｌ２としては、例えばＢスプライン曲線や、隣接する重心Ｐ１～Ｐ１７を互いに直線で結んだ曲線であってもよい。算出された曲線Ｌ２は推定データとして推定データ記憶部２４に格納される。
　図１に示したＣＰＵ１の角度算出部１３は、脊柱配列推定部１２により推定された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７のモアレ画像１０３上の座標（ｘｍｉ，ｙｍｉ）（ｉ＝１～１７）及び曲線Ｌ２を推定データ記憶部２４から読み出して、コブ角を算出する。コブ角は、コブ法により脊柱要素の曲がり角として定義されており、脊柱側弯症の判断基準の一つである。コブ角は、目的とする脊柱配列の湾曲（カーブ）において水平面が一番傾いている上下の椎体（終椎）の傾いた水平面から直線の延長線を描き、その２本の延長線がなす角度として算出される。現在の側弯症治療は主に立位Ｘ線正面画像から判断されており、立位Ｘ線正面画像におけるコブ角の大きさによって保存療法、装具治療又は手術が選択されている。
　角度算出部１３は、例えば図１３に示すように、脊柱配列推定部１２により推定された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７毎に、曲線Ｌ２に対して垂直であり、重心Ｐ１～Ｐ１７を通る垂直線Ｖ１～Ｖ１７を算出する。角度算出部１３は更に、水平方向に対して傾きが最大の垂直線Ｖ７，Ｖ１１に対応する胸椎Ｂ７，Ｂ１１を基準点（終椎）として抽出する。角度算出部１３は更に、基準点の胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１に対応する垂直線Ｖ７，Ｖ１１の交差部分がなす角度をコブ角θ１として算出する。算出されたコブ角θ１は、推定データ記憶部２４に格納される。
　なお、コブ角θ１の算出方法としては、基準点の胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１を通る垂直線Ｖ７，Ｖ１１ではなく、胸椎Ｂ７，Ｂ１１の上端又は下端を通る垂直線を用いても良いが、本発明の第１の実施の形態においては、胸椎Ｂ７，Ｂ１１の重心Ｐ７，Ｐ１１を推定しているため、これで代替している。
　図１に示したＣＰＵ１の画像出力制御部１４は、脊柱配列推定部１２により推定された１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７及び曲線Ｌ２を推定データ記憶部２４から読み出して、図１３に示すように未知のモアレ画像１０３上に重畳するように、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７及び曲線Ｌ２を脊柱要素の配列情報の推定結果として、出力装置４を構成するディスプレイ等に出力（表示）させる。
　画像出力制御部１４は更に、角度算出部１３により算出されたコブ角θ１を推定データ記憶部２４から読み出して、図１４に示すように、モアレ画像１０３上に、脊柱配列推定部１２により推定された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７及び曲線Ｌ２とともに、角度算出部１３により算出されたコブ角θ１を出力装置４を構成するディスプレイ等に出力（表示）させてもよい。コブ角θ１は、角度算出部１３により算出された具体的な度数（数値）を出力装置４に出力（表示）してもよい。
　なお、角度算出部１３は、コブ角θ１を算出後、算出されたコブ角θ１が所定の閾値（例えば２０度）以上か否かを判定してもよい。コブ角θ１の判定結果は推定データ記憶部２４に格納される。そして、画像出力制御部１４は、コブ角θ１の判定結果を推定データ記憶部２４から読み出して、出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
　また、脊柱配列がＳ字状の側弯症の場合には１つの脊柱配列に２つの湾曲が存在する。この場合、角度算出部１３は、２つの湾曲のそれぞれについて２つ終椎を特定し、コブ角θ１を算出してもよい。２つのコブ角θ１の算出結果は推定データ記憶部２４に格納される。そして、画像出力制御部１４は、２つのコブ角θ１の判定結果を推定データ記憶部２４から読み出して、出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
　＜脊柱配列推定方法＞
　次に、図１５のフローチャートを参照しながら、本発明の第１の実施の形態に係る脊柱配列推定方法の一例を説明する。なお、以下に示す脊柱配列推定方法はあくまでも一例であり、この手順に限定されるものではない。
　ステップＳ２１において、撮像装置３がモアレ画像を撮像する。撮像された未知のモアレ画像は、記憶装置２の学習用画像記憶部２２に格納される。なお、未知のモアレ画像が、撮像装置３を介さずに、インターネットやイントラネット等の情報網等を介して記憶装置２の学習用画像記憶部２２に予め格納されていてもよい。或いは、３Ｄスキャナ等で取得した画像をモアレ画像若しくはモアレ画像に等価な２Ｄ画像に変換する画像処理装置１０を介して、予め学習用画像記憶部２２に格納されていてもよい。画像取得部１１は学習用画像記憶部２２から未知のモアレ画像を読み出して取得する。
　ステップＳ２２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データ（蓄積されたデータ）を用いて、画像取得部１１が取得した未知のモアレ画像から脊柱配列を推定する。脊柱配列の推定結果は推定データ記憶部２４に格納される。
　ステップＳ２３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角を算出する。算出されたコブ角は推定データ記憶部２４に格納される。
　ステップＳ２４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
　以上説明したように、本発明の第１の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、モアレ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。学校検診における判定員についても同様に側弯の有無の判定が容易となる。
　更に、脊柱要素の配列を精度良く推定可能であるため、第１次検診で側弯症の疑いがあるとされ、第２次検診でのＸ線撮影により側弯症を否定されるケースのような、本来的には不要なＸ線画像の実施を低減することができ、児童等の医療被曝を軽減できる。
　＜脊柱配列推定プログラム＞
　本発明の第１の実施の形態に係る脊柱配列推定プログラムは、図１５に示した脊柱配列推定方法の手順を、画像処理装置１０を構成するコンピュータに実行させる。即ち、本発明の第１の実施の形態に係る脊柱配列推定プログラムは、（ａ）画像取得部１１に、人体の背面側等の人体表面の立体形状を表す画像（モアレ画像）を取得させる手順、（ｂ）脊柱配列推定部１２に、過去に撮像されたモアレ画像及びＸ線画像のデータセットから機械学習した学習データを用いて、取得された未知のモアレ画像から、人体の脊柱配列を推定させる手順、（ｃ）角度算出部１３に、推定された脊柱配列を用いて人体のコブ角を算出させる手順、（ｄ）画像出力制御部１４に、推定された脊柱配列及び算出されたコブ角を出力装置４に表示する信号を出力させる手順等を画像処理装置１０を構成するコンピュータに実行させる。本発明の第１の実施の形態に係る脊柱配列推定プログラムは、例えば記憶装置２に格納可能である。
　（第２の実施の形態）
　本発明の第１の実施の形態では、２次元的に脊柱配列を推定する場合を例示したが、脊柱側弯症は３次元的な脊柱のねじれを伴った変形である。そのため、脊柱側弯症の評価は、正面から見た変形（側弯）のみならず、側面から見た変形（前弯及び後弯）や椎体のねじれ（回旋）が重要な要素となる。そこで、本発明の第２の実施の形態では、３次元的に脊柱配列を推定する場合を例示する。
　＜脊柱配列推定装置＞
　本発明の第２の実施の形態に係る脊柱配列推定装置は、本発明の第１の実施の形態に係る脊柱配列推定装置と同様に、図１に示すように、画像処理装置１０、撮像装置３及び出力装置４を備える。本発明の第２の実施の形態では、撮像装置３が人体表面の立体形状を表す３次元（３Ｄ）画像を撮像する３Ｄ撮像機である点が、本発明の第１の実施の形態とは異なる。撮像装置３としては、例えば３Ｄスキャナが使用可能であり、３Ｄ画像を撮像可能な装置であれば特に限定されない。
　例えば、撮像装置３としての３Ｄスキャナは、人体背部を走査することにより、人体背部の３Ｄ画像（距離画像）を撮像する。或いは、撮像装置３としての３Ｄスキャナは、ターンテーブルを用いて人物を３６０°回転させながら走査することにより、人体前面、側面及び背面を含む３６０°の３Ｄ画像を撮像してもよい。そして、３６０°の３Ｄ画像から人体背部側のデータを選択的に使用してもよい。
　撮像装置３は、例えば図１６（ａ）及び図１６（ｂ）に模式的に示すような人体表面の３Ｄ画像２０１を撮像する。図１６（ａ）は人体を背面側から見た３Ｄ画像２０１を示し、図１６（ｂ）は図１６（ａ）とは９０°異なる方向であって、人体を側面側から見たときの背部側の３Ｄ画像２０１を示している。図１６（ａ）及び図１６（ｂ）に示すように、３Ｄ画像２０１は、人体の背面から見て左右方向であるｘ軸方向、上下方向であるｙ軸方向、奥行き方向であるｚ軸方向の３次元の情報を含む。図１６（ａ）及び図１６（ｂ）においては模式的に、ｚ軸方向の撮像装置３と人体背面との距離に応じてハッチングを段階的に区別している。脊柱側弯症者の場合には、特に、人体の背部の高低差が左右で大きくなり、左右でｚ軸方向の距離の分布が非対称となる。
　＜学習フェーズ＞
　ここで、図１７のフローチャートを参照しながら、本発明の第２の実施の形態に係る脊柱配列推定部１２の機械学習方法を含む「学習フェーズ」の一例を説明する。ここでは、脊柱配列推定部１２がＣＮＮにより構成されている場合を例示する。
　ステップＳ３１において、脊柱配列推定部１２の機械学習の事前準備として、過去に同一人物等について撮像した人体背面の立体的形状を表す３Ｄ画像及びこれに対応するＸ線画像のデータセットを多数（例えば数千セット）用意する。多数の３Ｄ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
　例えば、図１６（ａ）及び図１６（ｂ）に１枚（１セット）を例示的に示すような３Ｄ画像２０１の多数のセットを学習用画像記憶部２２に格納し、図１８（ａ）～図１８（ｃ）に１枚（１セット）を例示的に示すようなＸ線画像としてのコンピュータ断層撮影（ＣＴ）画像２０２の多数のセットをＸ線画像記憶部２１に格納する。ＣＴ画像２０２は、臥位で撮像されており、図１８（ａ）は人体を背面側から見た特定の断面のＣＴ画像２０２を示し、図１８（ｂ）は人体を側面側から見た特定の断面のＣＴ画像２０２を示し、図１８（ｃ）は人体を上側から見た特定の断面のＣＴ画像２０２を示している。図１８（ａ）～図１８（ｃ）に示すように、ＣＴ画像２０２は、人体の背面から見て左右方向であるｘ軸方向、上下方向であるｙ軸方向、奥行き方向であるｚ軸方向の３次元のボクセルデータで構成される。
　次に、図１７のステップＳ３２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、Ｘ線画像記憶部２１から１枚（１セット）のＣＴ画像２０２を読み出して、解剖学的な特徴点を用いて、ＣＴ画像２０２上における脊柱要素の重心の３Ｄ座標を算出する。例えば、図１８（ａ）～図１８（ｃ）に示すように、人体の正面（ｚ軸方向）及び側面（ｘ軸方向）から見たときの腰椎Ｂ１４をそれぞれ矩形近似し、腰椎Ｂ１４の重心Ｃ１４のＣＴ画像２０２上の座標（Ｘｃｔ１４，Ｙｃｔ１４，Ｚｃｔ１４）を算出する。腰椎Ｂ１４と同様に、他の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３，Ｂ１５～Ｂ１７についても、ＣＴ画像２０２のボクセルデータから胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３，Ｂ１５～Ｂ１７を抽出し、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３，Ｂ１５～Ｂ１７の重心Ｃ１～Ｃ１３，Ｃ１５～Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１～１７）を算出する。算出された重心Ｃ１～Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　次に、図１７のステップＳ３３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである３Ｄ画像２０１とＣＴ画像２０２をそれぞれ読み出して、３Ｄ画像２０１とＣＴ画像２０２を３次元的に位置合わせする。例えば、３Ｄ画像２０１及びＣＴ画像２０２のそれぞれについて、人体の正面（ｚ軸方向）から見たときの人体の首の左右の付け根の位置と、人体の側面（ｘ軸方向）から見たときの背面側の首の付け根の位置等の特徴点を位置合わせ用のマークとしてそれぞれ抽出する。
　そして、３Ｄ画像２０１及びＣＴ画像２０２のそれぞれの位置合わせ用のマークを互いに一致させるように、３Ｄ画像２０１及びＣＴ画像２０２の大きさを合わせ、回転及び平行移動等する。この結果、３Ｄ画像２０１及びＣＴ画像２０２が３次元的に重なり、３Ｄ画像２０１の座標系とＣＴ画像２０２の座標系が対応付けられる。
　脊柱配列推定部１２は更に、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１～１７）を正解データとして算出する。算出された重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１～１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ３３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＣＴ画像及び学習用画像記憶部２２に記憶されている多数の３Ｄ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
　次に、図１７のステップＳ３４において、本発明の第１の実施の形態と同様に、脊柱配列推定部１２は、３Ｄ画像２０１を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報が出力されるように機械学習を行う。脊柱配列推定部１２は、例えば学習用画像記憶部２２から読み出した３Ｄ画像２０１の一部を切り出してリサイズし、このリサイズした３Ｄ画像２０１のデータをＣＮＮのコンピュータ・ソフトウェア・プログラムへの入力データとする。
　ＣＰＵ１の脊柱配列推定部１２で実行されるＣＮＮでは、リサイズした３Ｄ画像２０１が入力されると、３次元の脊柱要素の配列情報が出力されるようにネットワークのアルゴリズムが構成されている。脊柱配列推定部１２で実行されるＣＮＮは、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）を推定データとして算出する。算出された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　脊柱配列推定部１２は、推定データである胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）と、正解データである胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１～１７）を学習データ記憶部２３から読み出して、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７毎に、推定データと正解データとの誤差（Ｘｐｉ－Ｘ３ｄｉ，Ｙｐｉ－Ｙ３ｄｉ，Ｚｐｉ－Ｚ３ｄｉ）（ｉ＝１～１７）を算出する。推定データと正解データとの誤差（Ｘｐｉ－Ｘ３ｄｉ，Ｙｐｉ－Ｙ３ｄｉ，Ｚｐｉ－Ｚ３ｄｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　脊柱配列推定部１２は、推定データと正解データとの誤差（Ｘｐｉ－Ｘ３ｄｉ，Ｙｐｉ－Ｙ３ｄｉ，Ｚｐｉ－Ｚ３ｄｉ）（ｉ＝１～１７）を学習データ記憶部２３から読み出して、誤差逆伝播法（ＢＰ）を用いて、推定データと正解データとの誤差（Ｘｐｉ－Ｘ３ｄｉ，Ｙｐｉ－Ｙ３ｄｉ，Ｚｐｉ－Ｚ３ｄｉ）（ｉ＝１～１７）を小さくするように重みパラメータを修正する。
　脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数の３Ｄ画像とＣＴ画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知の３Ｄ画像を学習用画像記憶部２２から読み出した際に、脊柱要素の配列情報を出力するようなＣＮＮのアルゴリズムを学習データ（蓄積されたデータ）として獲得することが出来る。
　＜推定フェーズ＞
　次に、本発明の第２の実施の形態に係る脊柱配列推定装置が、未知の３Ｄ画像から脊柱配列を推定する推定フェーズを実行する際の、本発明の第２の実施の形態に係る脊柱配列推定装置の構成及び機能を説明する。
　図１に示したＣＰＵ１の画像取得部１１は、撮像装置３により撮像された図１９（ａ）及び図１９（ｂ）に示すような未知の３Ｄ画像２０３を取得する。図１９（ａ）は人体を背面側から見た３Ｄ画像２０３を示し、図１９（ｂ）は図１９（ａ）とは９０°異なる方向であって、人体を側面側から見た背部側の３Ｄ画像２０３を示している。取得された未知の３Ｄ画像２０３は学習用画像記憶部２２に格納される。
　ＣＰＵ１の脊柱配列推定部１２は、上述した学習フェーズを経て機械学習を行ったＣＮＮを実行する。脊柱配列推定部１２は、学習用画像記憶部２２に格納された３Ｄ画像２０３を読み出し、読み出した３Ｄ画像２０３の一部を切り出す。そして、切り出した３Ｄ画像２０３を、機械学習時と同様のサイズにリサイズすることにより正規化する。リサイズされた３Ｄ画像２０３は推定データ記憶部２４に格納される。
　脊柱配列推定部１２は、推定データ記憶部２４からリサイズされた３Ｄ画像２０３を読み出して、図２０（ａ）及び図２０（ｂ）に示すように、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）を脊柱配列として推定する。推定された重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）は推定データとして推定データ記憶部２４に格納される。
　脊柱配列推定部１２は更に、算出した胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）を連続させる３次元の曲線Ｌ３を脊柱配列として算出（推定）する。曲線Ｌ３としては、例えばＢスプライン曲線や、隣接する重心Ｐ１～Ｐ１７を互いに直線で結んだ曲線であってもよい。算出された曲線Ｌ３は推定データとして推定データ記憶部２４に格納される。
　図１に示したＣＰＵ１の角度算出部１３は、脊柱配列推定部１２により推定された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）及び曲線Ｌ３を推定データ記憶部２４から読み出して、本発明の第１の実施の形態と同様の手法で、コブ角θ２を算出する。本発明の第２の実施の形態では、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）及び曲線Ｌ３が３次元的に算出されているため、コブ角θ２も３次元的に算出される。算出されたコブ角θ２は、推定データ記憶部２４に格納される。
　図１に示したＣＰＵ１の画像出力制御部１４は、脊柱配列推定部１２により推定された１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）及び曲線Ｌ３を推定データ記憶部２４から読み出して、図２０（ａ）及び図２０（ｂ）に示すように未知の３Ｄ画像２０３上に重畳するように、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ画像２０３上の座標（ｘ３ｄｉ，ｙ３ｄｉ，ｚ３ｄｉ）（ｉ＝１～１７）及び曲線Ｌ３を脊柱要素の配列情報の推定結果として、出力装置４を構成するディスプレイ等に出力（表示）させる。
　画像出力制御部１４は更に、角度算出部１３により算出されたコブ角θ２を推定データ記憶部２４から読み出して、図２０（ａ）及び図２０（ｂ）に示すように３Ｄ画像２０３上に重畳するように、脊柱配列推定部１２により推定された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７及び曲線Ｌ３とともに、コブ角θ２を出力装置４を構成するディスプレイ等に出力（表示）させてもよい。
　＜脊柱配列推定方法＞
　次に、図２１のフローチャートを参照しながら、本発明の第２の実施の形態に係る脊柱配列推定方法の一例を説明する。なお、以下に示す脊柱配列推定方法はあくまでも一例であり、この手順に限定されるものではない。
　ステップＳ４１において、撮像装置３が人体表面の立体的形状を表す３Ｄ画像を撮像する。撮像された未知の３Ｄ画像は、記憶装置２の学習用画像記憶部２２に格納される。なお、未知の３Ｄ画像が、撮像装置３で撮像されたものではなく、インターネットやイントラネット等の情報網等を介して記憶装置２の学習用画像記憶部２２に予め格納されていてもよい。また、未知の３Ｄ画像は、機械学習時のデータセットの３Ｄ画像と同一の３Ｄ撮像機を用いて撮像されたものでなくても構わず、人体表面の立体形状を表す３Ｄ画像であればよい。画像取得部１１は学習用画像記憶部２２から未知の３Ｄ画像を読み出して取得する。
　ステップＳ４２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データ（蓄積されたデータ）を用いて、画像取得部１１が取得した未知の３Ｄ画像から脊柱配列を推定する。脊柱配列の推定結果は推定データ記憶部２４に格納される。
　ステップＳ４３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角を算出する。算出されたコブ角は推定データ記憶部２４に格納される。
　ステップＳ４４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
　以上説明したように、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、本発明の第１の実施の形態と同様に、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、３Ｄ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。
　更に、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、３Ｄ画像とＣＴ画像とをデータセットとして用いて得られた学習データを用いて、３Ｄ画像から３次元的に脊柱要素の配列を推定することができ、３次元的な最大コブ角を算出することができる。したがって、脊柱配列及びコブ角をより精度良く推定することができる。
　また、モアレ画像撮像機は製造中止となっており、モアレ画像撮像機を用いない新たな脊柱配列推定装置が必要とされている。これに対して、３Ｄ撮像機で撮像した３Ｄ画像から３次元的に脊柱要素の配列を推定することができので、新たな脊柱配列推定装置としての活用が期待できる。
　＜脊柱配列推定プログラム＞
　本発明の第２の実施の形態に係る脊柱配列推定プログラムは、図２１に示した脊柱配列推定方法の手順を、画像処理装置１０を構成するコンピュータに実行させる。即ち、本発明の第２の実施の形態に係る脊柱配列推定プログラムは、（ａ）画像取得部１１に、人体表面の立体形状を表す未知の３Ｄ画像を取得させる手順、（ｂ）脊柱配列推定部１２に、過去に撮像された３Ｄ画像及びＸ線画像（ＣＴ画像）のデータセットから機械学習した学習データを用いて、取得された未知の３Ｄ画像から、人体の脊柱配列を推定させる手順、（ｃ）角度算出部１３に、推定された脊柱配列を用いて人体のコブ角を算出させる手順、（ｄ）画像出力制御部１４に、推定された脊柱配列及び算出されたコブ角を出力装置４に表示する信号を出力させる手順等を画像処理装置１０を構成するコンピュータに実行させる。本発明の第２の実施の形態に係る脊柱配列推定プログラムは、例えば記憶装置２に格納可能である。
　（第２の実施の形体の変形例）
　本発明の第２の実施の形態の変形例として、椎骨のねじれ（回旋）を推定する場合を例示する。脊柱側弯症の評価は主に立位Ｘ線画像（正面像及び側面像）と、ＣＴ画像とで行っている。具体的には、立位Ｘ線正面像を用いて正面から見た変形（側弯）を評価し、立位Ｘ線側面像で前弯や後弯を評価する。回旋に関しては、Nash & Moe法等により、立位Ｘ線正面像での椎骨の見え方から回旋の程度を評価しているが、直接的に回旋の角度を評価しているわけではない。一方、ＣＴ画像では、直接的に椎骨の回旋を評価できるが、通常はＸ線画像の撮像時以上の被爆を生じる。脊柱側弯症の多くが児童であるため、将来的な健康被害の可能性がある。これに対して、本発明の第２の実施の形態の変形例では、ＣＴ画像の撮像を行わずに、椎骨の回旋を精度良く推定するものである。
　＜学習フェーズ＞
　図１７に示す学習フェーズのステップＳ３１において、脊柱配列推定部１２の機械学習の事前準備として、過去に撮像した人体背面の立体的形状を表す３Ｄ画像及びこれに対応するＸ線画像（ＣＴ画像）のデータセットを多数（例えば数千セット）用意する。多数の３Ｄ画像及びＸ線画像のそれぞれは、記憶装置２の学習用画像記憶部２２及びＸ線画像記憶部２１に格納される。
　次に、図１７のステップＳ３２において、機械学習に用いる正解データのラベル付けを行う。脊柱配列推定部１２は、ＣＴ画像２０２から、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１～１７）を算出するとともに、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの棘突起の３Ｄ座標を算出する。例えば図２２（ａ）及び図２２（ｂ）に示すように、棘突起ＳＰ１は、椎骨（胸椎）Ｂ１の後端が隆起し突出した部分を指す。棘突起ＳＰ１は、ＣＴ画像２０２から特徴点として特定可能である。脊柱配列推定部１２は、胸椎Ｂ１の棘突起ＳＰ１のＣＴ画像２０２上の３Ｄ座標（Ｘｓｐ１，Ｙｓｐ１，Ｚｓｐ１）を算出する。図示を省略するが、他の胸椎Ｂ２～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ２～ＳＰ１７のＣＴ画像２０２上の３Ｄ座標（Ｘｃｔｓｐｉ，Ｙｃｔｓｐｉ，Ｚｃｔｓｐｉ）（ｉ＝２～１７）も同様に算出可能である。算出された重心Ｃ１～Ｃ１７のＣＴ画像２０２上の座標（Ｘｃｔｉ，Ｙｃｔｉ，Ｚｃｔｉ）（ｉ＝１～１７）と、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７のＣＴ画像２０２上の３Ｄ座標（Ｘｃｔｓｐｉ，Ｙｃｔｓｐｉ，Ｚｃｔｓｐｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　次に、図１７のステップＳ３３において、脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１から、データセットである３Ｄ画像２０１とＣＴ画像２０２をそれぞれ読み出して、３Ｄ画像２０１とＣＴ画像２０２を３次元的に位置合わせし、３Ｄ画像２０１の座標系とＣＴ画像２０２の座標系を対応付ける。
　脊柱配列推定部１２は更に、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１～１７）を正解データとして算出する。算出された重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘ３ｄｉ，Ｙ３ｄｉ，Ｚ３ｄｉ）（ｉ＝１～１７）の正解データは学習データ記憶部２３に格納される。脊柱配列推定部１２は更に、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘ３ｄｓｐｉ，Ｙ３ｄｓｐｉ，Ｚ３ｄｓｐｉ）（ｉ＝１～１７）を正解データとして算出する。算出された重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘ３ｄｓｐｉ，Ｙ３ｄｓｐｉ，Ｚ３ｄｓｐｉ）（ｉ＝１～１７）の正解データは学習データ記憶部２３に格納される。上述したステップＳ３３の処理は、Ｘ線画像記憶部２１に記憶されている多数のＣＴ画像及び学習用画像記憶部２２に記憶されている多数の３Ｄ画像のそれぞれのデータセットに対して行われ、それぞれのデータセットに対し算出された正解データが学習データ記憶部２３に格納される。
　次に、図１７のステップＳ３４において、脊柱配列推定部１２は、３Ｄ画像２０１を学習用画像記憶部２２から読み出した際に、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）に加えて、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１～１７）が出力されるように機械学習を行う。
　脊柱配列推定部１２で実行されるＣＮＮは、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）とともに、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１～１７）を推定データとして算出する。算出された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）と、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１～１７）は、学習データ記憶部２３に格納される。
　脊柱配列推定部１２は、推定データである胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）と、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１～１７）とを読み出して、誤差逆伝播法（ＢＰ）を用いて、重心Ｃ１～Ｃ１７についての推定データと正解データとの誤差（Ｘｐｉ－Ｘ３ｄｉ，Ｙｐｉ－Ｙ３ｄｉ，Ｚｐｉ－Ｚ３ｄｉ）（ｉ＝１～１７）と、棘突起ＳＰ１～ＳＰ１７についての推定データと正解データとの誤差（Ｘｓｐｉ－Ｘ３ｄｓｐｉ，Ｙｓｐｉ－Ｙ３ｄｓｐｉ，Ｚｓｐｉ－Ｚ３ｄｓｐｉ）（ｉ＝１～１７）が小さくなるように、重みパラメータを修正する。
　脊柱配列推定部１２は、学習用画像記憶部２２及びＸ線画像記憶部２１に格納された多数の３Ｄ画像とＣＴ画像のデータセットを用いて上述した誤差逆伝播法の処理を繰り返して重みを修正していくことにより学習する。その結果、脊柱配列推定部１２は、未知の３Ｄ画像を学習用画像記憶部２２から読み出した際に、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｃ１～Ｃ１７の３Ｄ画像２０１上の座標（Ｘｐｉ，Ｙｐｉ，Ｚｐｉ）（ｉ＝１～１７）に加えて、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の棘突起ＳＰ１～ＳＰ１７の３Ｄ画像２０１上の３Ｄ座標（Ｘｓｐｉ，Ｙｓｐｉ，Ｚｓｐｉ）（ｉ＝１～１７）を出力するようなＣＮＮのアルゴリズムを獲得することが出来る。
　＜推定フェーズ＞
　次に、図２１の推定フェーズのステップＳ４１において、撮像装置３が人体背面の立体的形状を表す３Ｄ画像を撮像する。撮像された未知の３Ｄ画像は、記憶装置２の学習用画像記憶部２２に格納される。画像取得部１１は学習用画像記憶部２２から未知の３Ｄ画像を読み出して取得する。
　ステップＳ４２において、ＣＰＵ１の脊柱配列推定部１２が、学習データ記憶部２３に格納された機械学習後の学習データを用いて、画像取得部１１が取得した未知の３Ｄ画像から１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の重心Ｐ１～Ｐ１７の３Ｄ座標からなる脊柱配列を推定するとともに、１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの棘突起の３Ｄ座標を推定する。例えば図２３に示すように、脊柱配列推定部１２は、胸椎Ｂ１の棘突起ＳＰ１の位置ｐ１の３Ｄ座標を推定する。なお、他の胸椎Ｂ２～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの棘突起ＳＰ２～ＳＰ１７の位置ｐ２～ｐ１７の３Ｄ座標も同様に推定する。脊柱配列及び棘突起の３Ｄ座標の推定結果は推定データ記憶部２４に格納される。
　ステップＳ４３において、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列を推定データ記憶部２４から読み出してコブ角θ２を算出する。算出されたコブ角θ２は推定データ記憶部２４に格納される。更に、ＣＰＵ１の角度算出部１３が、脊柱配列推定部１２により推定された脊柱配列及び棘突起の３Ｄ座標から、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の回旋角を算出する。胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の回旋角は、人体を上下方向に垂直な平面において、人体の前後方向に対して、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の正中線が傾く角度として算出され、側弯症を判断する際の指標となる。
　例えば図２３に示すように、胸椎Ｂ１の重心Ｐ１の３Ｄ座標と、棘突起ＳＰ１の位置ｐ１の３Ｄ座標とを通過する直線Ｌ４を正中線として算出する。そして、正中線Ｌ４と３Ｄ画像のｚ軸方向に平行な直線Ｌ５とのなす角θ３を回旋角として算出する。角度算出部１３は、他の胸椎Ｂ２～Ｂ１２及び腰椎Ｂ１３～Ｂ１７についても同様に回旋角θ３を算出する。算出された胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３は推定データ記憶部２４に格納される。
　ステップＳ４４において、ＣＰＵ１の画像出力制御部１４が、脊柱配列推定部１２により推定された脊柱配列と、角度算出部１３により算出されたコブ角θ２と、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３を推定データ記憶部２４から読み出して、例えば出力装置４であるディスプレイの画面に表示する。
　以上説明したように、本発明の第２の実施の形態に係る脊柱配列推定装置及び脊柱配列推定方法によれば、本発明の第１の実施の形態と同様に、ＣＰＵ１が機械学習の手法で実行する人工知能を用いて、３Ｄ画像から脊柱要素の配列を精度良く推定することができる。したがって、医師は、推定された脊柱配列及びコブ角を参照して側弯症の有無及び程度を精度良く診断でき、医師間の診断のバラツキも低減できる。
　更に、本発明の第２の実施の形態の変形例に係る脊柱配列推定装置及び脊柱配列推定方法によれば、３Ｄ画像とＣＴ画像とをデータセットとして用いて得られた学習データを用いて、３Ｄ画像から３次元的に脊柱要素の配列を推定することができる。そして、３次元的な脊柱要素の配列から、コブ角θ２及び脊柱要素の回旋角θ３を算出することができる。したがって、Ｘ線画像のコブ角の大きさという現在の評価基準に加えて、更に立位時の３次元的な脊柱配列、３次元的な最大コブ角、各椎体の回旋角の情報が得られるようになるので、側弯の進行の予測、予後予測、病態解明等が可能となり、新たな治療法や治療体系が確立される可能性がある。
　なお、本発明の第２の実施の形態の変形例では、３次元的な脊柱要素の配列からコブ角θ２及び脊柱要素の回旋角θ３を算出する場合を例示したが、脊柱要素の回旋角θ３のみを算出してもよい。脊柱要素の回旋角θ３を算出して出力（表示）することにより、医師による側弯症の判断の際の材料として活用できる。
　また、ＣＰＵ１の角度算出部１３が、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３を推定データ記憶部２４から読み出して、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３を所定の閾値と比較して大小を判定したり、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３のうちの最大値を抽出したり、胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７のそれぞれの回旋角θ３を所定の閾値を用いて段階的に分類したりしてもよい。そして、ＣＰＵ１の角度算出部１３のよる演算結果は、出力装置４であるディスプレイの画面に適宜表示してもよい。
　（その他の実施の形態）
　上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
　例えば、本発明の第１及び第２の実施の形態において、１２個の胸椎及び５個の腰椎からなる１７個の胸椎Ｂ１～Ｂ１２及び腰椎Ｂ１３～Ｂ１７の脊柱要素の配列を推定する場合を説明したが、推定する脊柱要素の配列は１７個の脊柱要素に限定されない。例えば、１７個未満の胸椎や腰椎を対象としてもよく、胸椎より上側の頸椎や腰椎より下側の仙椎、尾椎を含む１７個より多数の脊柱要素を対象としてもよい。
　また、本発明の第１の実施の形態では、２次元のデータであるモアレ画像と、Ｘ線画像としての２次元のデータである立位Ｘ線正面画像のデータセットを用いて得られた学習データを用いて、未知のモアレ画像から２次元で脊柱配列等を推定する場合を例示した。また、本発明の第２の実施の形態では、３次元のデータである３Ｄ画像と、Ｘ線画像としての３次元のデータであるＣＴ画像のデータセットを用いて得られた学習データを用いて、未知の３Ｄ画像から３次元で脊柱要素等を推定する場合を例示した。ここで、本発明の第１及び第２の実施の形態を組み合わせて、モアレ画像と、Ｘ線画像としてのＣＴ画像のデータセットを用いて得られた学習データを用いて、未知のモアレ画像から２次元又は３次元で脊柱配列等を推定してもよい。或いは、３Ｄ画像と、Ｘ線画像としての立位Ｘ線正面画像のデータセットを用いて得られた学習データを用いて、未知の３Ｄ画像から２次元で脊柱配列等を推定してもよい。
　更に、本発明の第２の実施の形態では、３Ｄ撮像機により撮像された３Ｄ画像と、Ｘ線画像としてのＣＴ画像とを個別に用意する場合を例示したが、ＣＴ画像から人体背部等の人体表面の立体的形状を３Ｄ画像として抽出してもよい。この抽出した３Ｄ画像とＣＴ画像をデータセットとして用いて得られた学習データを用いて、３Ｄ撮像機で得られる未知の３Ｄ画像から３次元で脊柱配列等を推定することも可能である。
　更に、本発明の第１及び第２の実施の形態では、人体背部（人体後面側）の立体的形状に着目して説明したが、人体後面側の人体表面の形状を示す３Ｄ画像は、人体後面側から距離イメージセンサを用いて撮像した距離画像であっても構わない。なお、脊柱配列等を推定に必要な３Ｄ画像は、人体後面側の３Ｄ画像のみに必ずしも限定されるものではない。脊柱配列が反映される位置を含む３Ｄ画像であれば、人体前面側を含む人体の全面を３６０°方向から見た表面画像を元データとしてもよい。また、取得された３６０°方向から見た表面画像の元データ内から、人体後面側の立体的形状のデータを選択するようにしてもよい。
　更には、脊柱配列は人体背面側に最も反映されるため、人体背面側の３Ｄ画像を利用することが好適であるが、十分なデータの蓄積があれば、人体前面側の３Ｄ画像を利用することも可能で、人体前面側の３Ｄ画像をＣＴ画像等とデータセットとして用いて得られた学習データを用いる等により、３次元の脊柱配列等を推定することができる。即ち、３次元の脊柱配列が反映できる人体表面の３Ｄ画像のデータであれば脊柱配列等を推定することができるので、人体背部の３Ｄ画像にのみに限定されるものではない。
　また、本発明の第２の実施の形態に係る撮像装置３としての、３Ｄ画像の撮像に用いる３Ｄ撮像機の波長を赤外線やサブミリ波にすれば、薄い布を透過して人体表面の３Ｄ画像を取得することができる。したがって、着衣の状態であっても人体表面の３Ｄ画像を精度良く撮像でき、脊柱配列等を推定することができる。また、赤外線やサブミリ波以外の波長の３Ｄ撮像機であっても、ノイズを除去することにより、着衣の状態であっても人体表面の３Ｄ画像を撮像することは可能である。
　本発明は、３Ｄ画像やモアレ画像から脊柱要素の配列を推定でき、医師による脊柱側弯症の診断や、判定員による脊柱の確認等を容易にするとともに、不必要なＸ線検査による医療被曝を軽減できる脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラムに利用可能である。
１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…撮像装置
４…出力装置
１０…画像処理装置
１１…画像取得部
１２…脊柱配列推定部
１３…角度算出部
１４…画像出力制御部
２１…Ｘ線画像記憶部
２２…学習用画像記憶部
２３…学習データ記憶部
２４…推定データ記憶部
３１…投光部
３２…カメラ
１００…人体
１０１，１０１ａ，１０１ｂ，１０１ｃ，１０３…モアレ画像
１０２…Ｘ線画像（立位Ｘ線正面画像）
２０１，２０３…３Ｄ画像
２０２…Ｘ線画像（ＣＴ画像）
Ｂ１～Ｂ１２…脊柱要素（胸椎）
Ｂ１３～Ｂ１７…脊柱要素（腰椎）
Ｃ１～Ｃ１７，Ｐ１～Ｐ１７…重心
Ｆ１～Ｆ４…胸椎の４角の点
Ｌ１，Ｌ２，Ｌ３…曲線
Ｎ１～Ｎ４…首の付け根の点
Ｖ１～Ｖ１７…垂直線
θ１，θ２…コブ角
θ３…回旋角

Claims (8)

  1. 　人体表面の立体形状を表す画像を取得する画像取得部と、
    　蓄積したデータを用いて、前記取得された画像から脊柱配列を推定する脊柱配列推定部と、
    　前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出する角度算出部
    　とを備えることを特徴とする脊柱配列推定装置。
  2. 　前記脊柱配列推定部は、前記画像が取得される前記人体の脊柱を構成している複数の脊柱要素の重心の座標を前記脊柱配列として推定することを特徴とする請求項１に記載の脊柱配列推定装置。
  3. 　前記脊柱配列推定部は、前記複数の脊柱要素の前記重心の座標を連続させる曲線を算出することを特徴とする請求項２に記載の脊柱配列推定装置。
  4. 　前記脊柱配列推定部は、前記複数の脊柱要素の棘突起の座標を推定し、
    　前記複数の脊柱要素の前記重心の座標及び前記棘突起の座標に基づいて、前記回旋角を推定する
    　ことを特徴とする請求項２又は３に記載の脊柱配列推定装置。
  5. 　前記画像取得部が取得する画像が、３次元撮像機により撮像された３次元画像であることを特徴とする請求項１～４のいずれか１項に記載の脊柱配列推定装置。
  6. 　前記画像取得部が取得する画像が、モアレ撮像機により撮像された人体背面のモアレ縞を含むモアレ画像であることを特徴とする請求項１～４のいずれか１項に記載の脊柱配列推定装置。
  7. 　人体表面の立体形状を表す画像を取得するステップと、
    　蓄積したデータを用いて、前記取得された画像から脊柱配列を推定するステップと、
    　前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出するステップ
    　とを含むことを特徴とする脊柱配列推定方法。
  8. 　画像取得部に、人体表面の立体形状を表す画像を取得させる手順と、
    　脊柱配列推定部に、蓄積したデータを用いて、前記取得された画像から脊柱配列を推定させる手順と、
    　角度算出部に、前記推定された脊柱配列に基づいて、前記脊柱配列のコブ角及び回旋角の少なくとも一方を算出させる手順
    　とをコンピュータに実行させることを特徴とする脊柱配列推定プログラム。
PCT/JP2017/005504 2016-02-15 2017-02-15 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム WO2017141958A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP17753214.0A EP3417776A4 (en) 2016-02-15 2017-02-15 SPINAL ALIGNMENT APPARATUS, SPINAL ALIGNMENT APPARATUS PROCESS AND SPINAL ALIGNMENT ASSESSMENT PROGRAM
CN201780011447.0A CN108697375B (zh) 2016-02-15 2017-02-15 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序
KR1020187024830A KR102199152B1 (ko) 2016-02-15 2017-02-15 척주배열 추정장치, 척주배열 추정방법 및 척주배열 추정프로그램
US16/077,872 US11331039B2 (en) 2016-02-15 2017-02-15 Spinal-column arrangement estimation-apparatus, spinal-column arrangement estimation method, and spinal-column arrangement estimation program
JP2017553279A JP6280676B2 (ja) 2016-02-15 2017-02-15 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-025824 2016-02-15
JP2016025824 2016-02-15

Publications (1)

Publication Number Publication Date
WO2017141958A1 true WO2017141958A1 (ja) 2017-08-24

Family

ID=59626091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005504 WO2017141958A1 (ja) 2016-02-15 2017-02-15 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム

Country Status (6)

Country Link
US (1) US11331039B2 (ja)
EP (1) EP3417776A4 (ja)
JP (1) JP6280676B2 (ja)
KR (1) KR102199152B1 (ja)
CN (1) CN108697375B (ja)
WO (1) WO2017141958A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108309334A (zh) * 2017-12-08 2018-07-24 李书纲 一种脊柱x线影像的数据处理方法
KR101962033B1 (ko) * 2017-10-24 2019-03-25 김홍래 척추 측만도 검사 장치
JP2019121283A (ja) * 2018-01-10 2019-07-22 株式会社Ｉｆ 予測モデル生成システム及び予測システム
JP2020503075A (ja) * 2017-11-17 2020-01-30 ヨンセム アン、 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム
JP2020074876A (ja) * 2018-11-07 2020-05-21 株式会社スペースビジョン 脊椎骨姿勢推定装置
JP2020171785A (ja) * 2018-09-10 2020-10-22 京セラ株式会社 推定装置
KR20210068490A (ko) 2018-11-05 2021-06-09 가부시키가이샤 시마쓰세사쿠쇼 X 선 촬상 장치
CN113473896A (zh) * 2018-12-24 2021-10-01 躯体构成技术私人有限公司 分析主体
WO2021241140A1 (ja) * 2020-05-29 2021-12-02 株式会社日本医療機器開発機構 背部画像の読影支援装置、読影支援方法、及びプログラム
JP7007777B1 (ja) * 2021-02-19 2022-01-25 国立大学法人東北大学 脊柱アライメント推定装置，脊柱アライメント推定システム，脊柱アライメント推定システムの作動方法，脊柱アライメント推定プログラム及び脊柱アライメント推定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7076154B1 (ja) 2020-12-17 2022-05-27 株式会社スペースビジョン 脊柱配列推定装置、方法及びプログラム
EP3843629A4 (en) * 2018-08-28 2022-06-01 Technion Research & Development Foundation Limited DETECTION OF SPINE SHAPE BY OPTICAL SCAN
WO2022185644A1 (ja) * 2021-03-03 2022-09-09 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習方法
JP7261342B1 (ja) 2022-09-22 2023-04-19 三菱ケミカルグループ株式会社 情報処理装置、方法、プログラム、およびシステム
WO2023074880A1 (ja) * 2021-10-29 2023-05-04 Jsr株式会社 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
US12033318B2 (en) 2018-09-10 2024-07-09 Kyocera Corporation Estimation apparatus, estimation system, and computer-readable non-transitory medium storing estimation program

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885629B2 (en) * 2018-01-31 2021-01-05 Ricoh Company, Ltd. Medical image processing apparatus, medical image processing method, medium, and medical image processing system
US10902587B2 (en) * 2018-05-31 2021-01-26 GE Precision Healthcare LLC Methods and systems for labeling whole spine image using deep neural network
CN108986891A (zh) * 2018-07-24 2018-12-11 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
WO2020259600A1 (en) * 2019-06-24 2020-12-30 Conova Medical Technology Limited A device, process and system for diagnosing and tracking of the development of the spinal alignment of a person
KR102268758B1 (ko) * 2019-07-03 2021-06-24 제이피아이헬스케어 주식회사 X-선 영상 처리 방법 및 컴퓨터 판독 가능한 저장매체
EP3760125A1 (en) * 2019-07-05 2021-01-06 Koninklijke Philips N.V. Self-learning distributed system with automated ground-truth generation
KR102163701B1 (ko) * 2020-04-17 2020-10-12 주식회사 딥노이드 척추 분류 장치 및 분류 방법
KR102218900B1 (ko) * 2020-04-17 2021-02-23 주식회사 딥노이드 질환 진단 장치 및 진단 방법
KR102610915B1 (ko) 2020-06-22 2023-12-06 한국전자통신연구원 의료영상 분석 방법 및 장치
CN112535489B (zh) * 2020-12-25 2023-12-05 四川大学华西医院 一种利用波形图测量脊柱侧弯Cobb角的方法及其系统
CN112915472B (zh) * 2021-04-22 2023-11-10 上海铼锶信息技术有限公司 一种健腹轮及其行程计数方法、装置
CN113951874B (zh) * 2021-10-25 2023-12-26 中国科学院长春光学精密机械与物理研究所 一种脊柱侧弯风险评估系统
CN114557681B (zh) * 2022-04-27 2023-01-10 深圳市中医院 一种脊柱侧凸检测装置及方法
WO2024033897A1 (en) * 2022-08-11 2024-02-15 Momentum Health Inc. Method and system for determining spinal curvature

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250998A (ja) * 2010-06-02 2011-12-15 Kyushu Institute Of Technology 対称性判定装置、その方法、及びプログラム
WO2013081030A1 (ja) * 2011-11-29 2013-06-06 学校法人 東洋大学 脊椎側弯症の評価システムおよび同システムに適用される評価用器具
US20150287184A1 (en) * 2012-10-12 2015-10-08 École De Technologie Supérieure System and method for predicting scoliosis progression
JP2015535451A (ja) * 2012-11-23 2015-12-14 ディアース エンジニアリング ゲーエムベーハーＤｉｅｒｓ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｍｂｈ 脊柱中の椎骨の空間位置および向きの判定

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60142838A (ja) * 1983-10-28 1985-07-29 吉澤　徹 脊柱側彎症の検診方法及びその装置
DE10306793A1 (de) * 2002-05-21 2003-12-04 Plus Endoprothetik Ag Rotkreuz Anordnung und Verfahren zur intraoperativen Festlegung der Lage eines Gelenkersatzimplantats
US20050113663A1 (en) * 2003-11-20 2005-05-26 Jose Tamez-Pena Method and system for automatic extraction of load-bearing regions of the cartilage and measurement of biomarkers
CN1972732A (zh) * 2004-02-05 2007-05-30 莫托里卡股份有限公司 康复锻炼和训练的方法和装置
US9820658B2 (en) * 2006-06-30 2017-11-21 Bao Q. Tran Systems and methods for providing interoperability among healthcare devices
CA2580726A1 (en) * 2004-09-16 2006-03-30 Imaging Therapeutics, Inc. System and method of predicting future fractures
JP4734631B2 (ja) * 2005-06-07 2011-07-27 独立行政法人理化学研究所 神経細胞の三次元形態解析方法
CN1969756A (zh) * 2005-09-07 2007-05-30 美国西门子医疗解决公司 用图像和测角来计算机辅助检测脊柱弯曲度的系统和方法
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
AU2009244382A1 (en) * 2008-05-05 2009-11-12 Spinalmotion, Inc. Polyaryletherketone artificial intervertebral disc
CN201260672Y (zh) * 2008-07-25 2009-06-24 黄祖武 全脊柱、长腿x线摄影定位标尺
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航系统精度的方法
WO2013041446A1 (en) * 2011-09-20 2013-03-28 Brian Francis Mooney Apparatus and method for analysing a golf swing
KR101280821B1 (ko) 2011-09-27 2013-07-02 주식회사 모든넷 모아레 이미지 기반 척추 변형 검출 시스템 및 방법
EP2639763B1 (en) * 2012-03-15 2015-10-21 Agfa Healthcare Method, Apparatus and System for Localizing a Spine
CN104936528B (zh) * 2013-01-22 2018-04-24 东芝医疗系统株式会社 推定装置、x射线诊断装置以及推定方法
CN104800039B (zh) * 2014-01-29 2017-09-05 余木村 脊椎复健器
CN104851107B (zh) * 2015-06-08 2017-11-28 武汉联影医疗科技有限公司 基于ct序列图像的脊椎定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250998A (ja) * 2010-06-02 2011-12-15 Kyushu Institute Of Technology 対称性判定装置、その方法、及びプログラム
WO2013081030A1 (ja) * 2011-11-29 2013-06-06 学校法人 東洋大学 脊椎側弯症の評価システムおよび同システムに適用される評価用器具
US20150287184A1 (en) * 2012-10-12 2015-10-08 École De Technologie Supérieure System and method for predicting scoliosis progression
JP2015535451A (ja) * 2012-11-23 2015-12-14 ディアース エンジニアリング ゲーエムベーハーＤｉｅｒｓ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｍｂｈ 脊柱中の椎骨の空間位置および向きの判定

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERRYMAN, FIONA ET AL.: "A new system for measuring three-dimensional back shape in scoliosis", EUROPEAN SPINE JOURNAL, vol. 17, no. 5, May 2008 (2008-05-01), pages 663 - 672, XP055548924 *
PHAN, PHILIPPE ET AL.: "Computer algorithms and applications used to assist the evaluation and treatment of adolescent idiopathic scoliosis: a review of published articles 2000-2009", EUR SPINE J, vol. 20, no. 7, July 2011 (2011-07-01), pages 1058 - 1068, XP019926303 *
RAMIREZ,LINO: "A Support Vector Machines Classifier to Assess the Severity of Idiopathic Scoliosis From Surface Topography", IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, vol. 10, 2006, pages 84 - 91, XP055410566 *
See also references of EP3417776A4 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962033B1 (ko) * 2017-10-24 2019-03-25 김홍래 척추 측만도 검사 장치
JP2020503075A (ja) * 2017-11-17 2020-01-30 ヨンセム アン、 診断映像変換装置、診断映像変換モジュール生成装置、診断映像撮影装置、診断映像変換方法、診断映像変換モジュール生成方法、診断映像撮影方法、及びプログラム
CN108309334A (zh) * 2017-12-08 2018-07-24 李书纲 一种脊柱x线影像的数据处理方法
JP2019121283A (ja) * 2018-01-10 2019-07-22 株式会社Ｉｆ 予測モデル生成システム及び予測システム
US12016697B2 (en) 2018-08-28 2024-06-25 Technion Research & Development Foundation Limited Detecting spinal shape from optical scan
EP3843629A4 (en) * 2018-08-28 2022-06-01 Technion Research & Development Foundation Limited DETECTION OF SPINE SHAPE BY OPTICAL SCAN
JP7260886B2 (ja) 2018-09-10 2023-04-19 京セラ株式会社 推定装置及び推定方法
JP2022180589A (ja) * 2018-09-10 2022-12-06 京セラ株式会社 推定装置及び推定方法
JP7283672B1 (ja) 2018-09-10 2023-05-30 京セラ株式会社 学習モデル生成方法、プログラム、記録媒体及び装置
JP7283673B1 (ja) 2018-09-10 2023-05-30 京セラ株式会社 推定装置、プログラム及び記録媒体
JP2023085344A (ja) * 2018-09-10 2023-06-20 京セラ株式会社 推定装置、プログラム及び記録媒体
JP2023062093A (ja) * 2018-09-10 2023-05-02 京セラ株式会社 装置
JP2020171785A (ja) * 2018-09-10 2020-10-22 京セラ株式会社 推定装置
US12033318B2 (en) 2018-09-10 2024-07-09 Kyocera Corporation Estimation apparatus, estimation system, and computer-readable non-transitory medium storing estimation program
JP2022106895A (ja) * 2018-09-10 2022-07-20 京セラ株式会社 推定装置及び推定方法
JP2022106894A (ja) * 2018-09-10 2022-07-20 京セラ株式会社 推定装置、システム及び推定方法
JP7266230B2 (ja) 2018-09-10 2023-04-28 京セラ株式会社 装置及びシステム
JP7385228B2 (ja) 2018-09-10 2023-11-22 京セラ株式会社 装置
JP7157425B2 (ja) 2018-09-10 2022-10-20 京セラ株式会社 推定装置、システム及び推定方法
JP7157426B2 (ja) 2018-09-10 2022-10-20 京セラ株式会社 装置及び方法
JP2022180590A (ja) * 2018-09-10 2022-12-06 京セラ株式会社 推定装置及び推定方法
JP7264364B2 (ja) 2018-09-10 2023-04-25 京セラ株式会社 装置及びシステム
JP2023002781A (ja) * 2018-09-10 2023-01-10 京セラ株式会社 推定装置、システム及び推定方法
JP7217906B2 (ja) 2018-09-10 2023-02-06 京セラ株式会社 推定装置、システム及び推定方法
JP2023056029A (ja) * 2018-09-10 2023-04-18 京セラ株式会社 装置及びシステム
JP2023056026A (ja) * 2018-09-10 2023-04-18 京セラ株式会社 装置及びシステム
JP2023056028A (ja) * 2018-09-10 2023-04-18 京セラ株式会社 装置及びシステム
JP2023082022A (ja) * 2018-09-10 2023-06-13 京セラ株式会社 学習モデル生成方法、プログラム、記録媒体及び装置
JP7385229B2 (ja) 2018-09-10 2023-11-22 京セラ株式会社 装置及びシステム
JP7260887B2 (ja) 2018-09-10 2023-04-19 京セラ株式会社 推定装置及び推定方法
KR20210068490A (ko) 2018-11-05 2021-06-09 가부시키가이샤 시마쓰세사쿠쇼 X 선 촬상 장치
JP2020074876A (ja) * 2018-11-07 2020-05-21 株式会社スペースビジョン 脊椎骨姿勢推定装置
CN113473896A (zh) * 2018-12-24 2021-10-01 躯体构成技术私人有限公司 分析主体
JP2022516586A (ja) * 2018-12-24 2022-02-28 ボディ コンポジション テクノロジーズ プロプライアタリー リミテッド ボディの分析
JP7514252B2 (ja) 2018-12-24 2024-07-10 ボディ コンポジション テクノロジーズ プロプライアタリー リミテッド ボディの分析
WO2021241140A1 (ja) * 2020-05-29 2021-12-02 株式会社日本医療機器開発機構 背部画像の読影支援装置、読影支援方法、及びプログラム
JP7076154B1 (ja) 2020-12-17 2022-05-27 株式会社スペースビジョン 脊柱配列推定装置、方法及びプログラム
JP2022096047A (ja) * 2020-12-17 2022-06-29 株式会社スペースビジョン 脊柱配列推定装置、方法及びプログラム
WO2022176176A1 (ja) * 2021-02-19 2022-08-25 国立大学法人東北大学 脊柱アライメント推定装置，脊柱アライメント推定システム，脊柱アライメント推定方法，脊柱アライメント推定プログラム及び脊柱アライメント推定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7007777B1 (ja) * 2021-02-19 2022-01-25 国立大学法人東北大学 脊柱アライメント推定装置，脊柱アライメント推定システム，脊柱アライメント推定システムの作動方法，脊柱アライメント推定プログラム及び脊柱アライメント推定プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2022185644A1 (ja) * 2021-03-03 2022-09-09 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習方法
WO2023074880A1 (ja) * 2021-10-29 2023-05-04 Jsr株式会社 椎体推定モデル学習装置、椎体推定装置、固定条件推定装置、椎体推定モデル学習方法、椎体推定方法、固定条件推定方法及びプログラム
JP7261342B1 (ja) 2022-09-22 2023-04-19 三菱ケミカルグループ株式会社 情報処理装置、方法、プログラム、およびシステム
WO2024062642A1 (ja) * 2022-09-22 2024-03-28 株式会社Shosabi 情報処理装置、方法、プログラム、およびシステム
JP2024045823A (ja) * 2022-09-22 2024-04-03 三菱ケミカルグループ株式会社 情報処理装置、方法、プログラム、およびシステム

Also Published As

Publication number Publication date
US20200069243A1 (en) 2020-03-05
CN108697375B (zh) 2022-03-01
US11331039B2 (en) 2022-05-17
EP3417776A1 (en) 2018-12-26
CN108697375A (zh) 2018-10-23
JPWO2017141958A1 (ja) 2018-03-01
EP3417776A4 (en) 2019-07-10
KR102199152B1 (ko) 2021-01-06
JP6280676B2 (ja) 2018-02-14
KR20180105703A (ko) 2018-09-28

Similar Documents

Publication Publication Date Title
JP6280676B2 (ja) 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP5337845B2 (ja) デジタル画像上での測定の実施法
JP5486197B2 (ja) 椎骨中心検出装置および方法並びにプログラム
CN107481228A (zh) 基于计算机视觉的人体背部脊柱侧弯角度测量方法
CHOI et al. CNN-based spine and Cobb angle estimator using moire images
Varnavas et al. Increasing the automation of a 2D-3D registration system
JP6741305B2 (ja) 脊椎骨姿勢推定装置
WO2021155373A1 (en) Systems and methods for detection of musculoskeletal anomalies
Novosad et al. Three-dimensional (3-D) reconstruction of the spine from a single X-ray image and prior vertebra models
Hashemirad et al. Validity and reliability of skin markers for measurement of intersegmental mobility at L2–3 and L3–4 during lateral bending in healthy individuals: a fluoroscopy study
Hiasa et al. Recovery of 3D rib motion from dynamic chest radiography and CT data using local contrast normalization and articular motion model
Hu et al. Multi-image stitching for smartphone-based retinal fundus stitching
Ryu et al. Automated landmark identification for diagnosis of the deformity using a cascade convolutional neural network (FlatNet) on weight-bearing lateral radiographs of the foot
CHOI et al. Measurement of vertebral rotation from moire image for screening of adolescent idiopathic scoliosis
Chang et al. A Photogrammetric system for 3D reconstruction of a scoliotic torso
JP6129145B2 (ja) 医療用ｘ線測定装置
Mutsvangwa et al. Interactive patient-specific 3D approximation of scapula bone shape from 2D X-ray images using landmark-constrained statistical shape model fitting
Kumar et al. Improving visibility of stereo-radiographic spine reconstruction with geometric inferences
Jiang et al. A novel method for spine ultrasound and X-ray radiograph registration
Fujinuma et al. Evaluation of tibiofibular joint alignment in ankle osteoarthritis based on 3D bone thickness
Song et al. A novel iterative matching scheme based on homography method for X-ray image
US20230326017A1 (en) System and method for automatically measuring spinal parameters
Roy et al. A Computational Algorithm for Scoliosis Assessment from a Noninvasive 3D Body Scanner.
MONTEIRO DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES
Adibatti et al. Design and performance analysis of Cobb angle measurement from X-ray images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753214

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017553279

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187024830

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187024830

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2017753214

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017753214

Country of ref document: EP

Effective date: 20180917