WO2020095343A1 - Ｘ線撮像装置 - Google Patents

Ｘ線撮像装置 Download PDF

Info

Publication number
WO2020095343A1
WO2020095343A1 PCT/JP2018/040975 JP2018040975W WO2020095343A1 WO 2020095343 A1 WO2020095343 A1 WO 2020095343A1 JP 2018040975 W JP2018040975 W JP 2018040975W WO 2020095343 A1 WO2020095343 A1 WO 2020095343A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
bone region
image
machine learning
extracted
Prior art date
Application number
PCT/JP2018/040975
Other languages
English (en)
French (fr)
Inventor
知宏 中矢
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to PCT/JP2018/040975 priority Critical patent/WO2020095343A1/ja
Priority to JP2020556372A priority patent/JP7188450B2/ja
Priority to CN201880099224.9A priority patent/CN112996440A/zh
Priority to KR1020217012342A priority patent/KR20210068490A/ko
Publication of WO2020095343A1 publication Critical patent/WO2020095343A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an X-ray imaging apparatus, and more particularly, to an X-ray imaging apparatus including an image processing unit that extracts a bone region of a subject from a captured image of the subject based on machine learning.
  • a spinal column array estimating device that estimates a spinal column array (spine column shape) based on machine learning from an image of a subject.
  • a spinal column alignment estimating device is disclosed in, for example, WO 2017/141958.
  • a moire image including moire fringes representing a three-dimensional shape of the back of a human body and a bone region of the back of the human body are imaged of the same person.
  • a large number of data sets with different X-ray images are prepared.
  • the data set (correct answer data) used for machine learning is labeled. For example, the centers of gravity of the thoracic spine and the lumbar spine reflected in the X-ray image are approximated by curves.
  • the moire image and the X-ray image are aligned, and the coordinates of the moire image and the coordinates of the X-ray image are aligned.
  • the coordinates of the centers of gravity of the thoracic spine and the lumbar spine on the moire image are used as the correct answer data for learning.
  • learning is performed so that array information (coordinates of the center of gravity of the thoracic spine and lumbar spine) of the spinal column elements is output.
  • the learning for example, deep learning is used.
  • the spinal column array estimating device described in International Publication No. 2017/141958 based on the learned result (discriminator), from an unknown moire image (the array information of spinal column elements is unknown) imaged by the imaging device.
  • the array information of spinal column elements is estimated. Further, the estimated array information of the spinal column elements is displayed on the display unit in a state of being superimposed on the moire image.
  • an image (correct data) of a region where bone density is measured such as the lumbar spine and femur, is learned, and based on the learned result (discriminator), a bone region is extracted from an unknown image. Is extracted. If the extracted bone region is out of alignment with the actual bone region, the user corrects the bone region.
  • the present invention has been made to solve the above problems, and one object of the present invention is to input an unknown image that is different from the image (correct answer data) used for machine learning. Even in such a case, it is an object of the present invention to provide an X-ray imaging apparatus capable of suppressing an increase in the burden on the user for correcting the extracted bone region.
  • an X-ray imaging apparatus is an X-ray irradiator that irradiates a subject with X-rays, and an X-ray irradiator that detects X-rays emitted from the X-ray irradiator to the subject.
  • the bone region of the subject is extracted based on machine learning, and in a predetermined case, in the acquired image,
  • the image processing unit that extracts the bone region of the subject based on the rule of 1.
  • the display unit that displays the image processed by the image processing unit, and whether the bone region of the subject that is extracted based on machine learning is appropriate or not.
  • the control unit displays an image in which the bone region of the subject is extracted based on machine learning. Displayed in the section for machine learning If the bone area of the object extracted by Zui is determined to be inappropriate, it is configured to perform control to display an image bone region is extracted in the object based on a predetermined rule.
  • the control unit determines the subject based on the machine learning.
  • the image in which the bone region is extracted is displayed on the display unit and it is determined that the bone region of the subject extracted based on machine learning is not appropriate, the image in which the bone region of the subject is extracted is determined based on a predetermined rule. It is configured to perform display control.
  • a predetermined rule It is configured to perform display control.
  • the accuracy of extracting a bone region based on a predetermined rule is lower than the accuracy of extracting a bone region based on machine learning, while extracting a bone region based on a relatively simple rule. Since it is performed, the bone region can be extracted with a certain degree of accuracy even in an image in which the bone region cannot be properly extracted by machine learning. As a result, the amount of correction is smaller in the case of correcting the bone region extracted based on the predetermined rule than in the case of correcting the bone region that is not properly extracted based on machine learning. As a result, even when an unknown image that is different from the image (correct answer data) used for machine learning is input, it is possible to prevent the user's burden on the correction of the extracted bone region from increasing.
  • the control unit is based on at least one of the area of the extracted bone region of the subject and the center of gravity of the extracted bone region of the subject in the acquired image. Then, it is configured to determine whether the bone region of the subject extracted based on the machine learning is appropriate. According to this structure, at least one of the area and the center of gravity of the bone region of the subject extracted by machine learning is compared with at least one of the area and the center of gravity of the bone region of the typical subject. For example, it is possible to easily determine whether or not the bone region of the subject extracted based on machine learning is appropriate.
  • the control unit includes, in the acquired image, a predetermined extraction inappropriate image that makes it impossible to appropriately extract the bone region of the subject based on machine learning.
  • the control is performed so that the bone region of the subject is not extracted based on machine learning, but the bone region of the subject is extracted based on a predetermined rule.
  • an image displayed on the display unit in which a bone region of the subject is extracted based on machine learning and a bone region of the subject is extracted based on a predetermined rule is extracted based on a predetermined rule.
  • a switching operation unit for switching between the displayed images is switched and compared.
  • the switching operation unit includes a button on the display image displayed on the display unit.
  • the bone region of the subject includes the bone region of the femur.
  • the machine learning includes deep learning.
  • the bone region extraction accuracy in deep learning is relatively high, it is possible to appropriately extract the bone region in most subjects, while it is impossible to properly extract the bone region even in deep learning.
  • an image backup an image in which the bone region of the subject is extracted can be displayed as a backup.
  • the predetermined rule is that the bone region of the subject is extracted based on the pixel value in the acquired image, and the subject is determined based on the gradient of the pixel values of adjacent pixels. At least one of extracting the bone region of. According to this structure, the bone region of the subject can be easily extracted based on the pixel value.
  • the X-ray imaging apparatus 100 includes an X-ray irradiation unit 1, an X-ray detection unit 2, an image processing unit 3, and a control unit 4.
  • the X-ray imaging apparatus 100 also includes a display unit 5 that displays the image processed by the image processing unit 3.
  • the X-ray irradiation unit 1 irradiates the subject T with X-rays.
  • the X-ray detection unit 2 detects the X-rays emitted from the X-ray irradiation unit 1 to the subject T.
  • the X-ray imaging apparatus 100 is used to measure the bone density of the subject T, for example. In the measurement of bone density, for example, by irradiating the measurement site of the subject T with X-rays of two types of energy from the X-ray irradiation unit 1, DEXA (Dual-Energy X) that distinguishes a bone component from other tissues -The Ray Absorbometry method is used.
  • DEXA Dual-Energy X
  • the X-ray irradiation unit 1 includes an X-ray source 1a.
  • the X-ray source 1a is an X-ray tube that is connected to a high voltage generator (not shown) and generates X-rays when a high voltage is applied.
  • the X-ray source 1a is arranged with the X-ray emission direction facing the detection surface of the X-ray detection unit 2.
  • the X-ray detection unit 2 detects the X-rays emitted from the X-ray irradiation unit 1 and transmitted through the subject T, and outputs a detection signal according to the detected X-ray intensity.
  • the X-ray detection unit 2 is composed of, for example, an FPD (Flat Panel Detector).
  • the image processing unit 3 includes an image acquisition unit 31, a machine learning base region extraction unit 32, a rule base region extraction unit 33, and a bone density measurement unit 34.
  • Each of the image acquisition unit 31, the machine learning base region extraction unit 32, the rule base region extraction unit 33, and the bone density measurement unit 34 is a functional block as software in the image processing unit 3. That is, each of the image acquisition unit 31, the machine learning base region extraction unit 32, the rule base region extraction unit 33, and the bone density measurement unit 34 is configured to function based on the command signal of the control unit 4.
  • the image acquisition unit 31 acquires an image I (see FIG. 3) of the subject T based on the X-rays detected by the X-ray detection unit 2. Specifically, the image acquisition unit 31 acquires the image I (X-ray image) based on the X-ray detection signal of a predetermined resolution output from the X-ray detection unit 2.
  • the image I is an example of the “acquired image” in the claims.
  • the machine learning base region extraction unit 32 extracts the bone region A (see FIG. 3) of the subject T in the image I acquired based on the X-rays detected by the X-ray detection unit 2 based on the machine learning. Is configured. Specifically, in this embodiment, deep learning is used as machine learning.
  • the bone region A includes the bone region A of the femur.
  • deep learning technology typified by deep neural networks is used to understand an image at the pixel level, and an object class is assigned to each pixel of the image.
  • U-net a U-shaped convolutional network is used to perform area extraction of "what, where, and how" in an image.
  • the output of each convolutional layer (Conv) of the encoder arranged on the left side of the U-net is directly coupled to each convolutional layer (Deconv) of the right side decoder, and is configured to concatenate the data in the channel direction. Has been done.
  • the lower-dimensional feature amount is skipped, and it becomes possible to retain the position information while extracting the feature as in the conventional case. As a result, deterioration of the output image can be suppressed.
  • multi-resolution local contrast normalization (LCN) is performed before inputting the input image to the first convolutional layer. After that, the data are sequentially input to the convolutional layer.
  • the activation function the most general ReLu function is used for all layers except the output layer.
  • batch normalization is performed after the activation function of each convolutional layer in order to speed up and stabilize the learning convergence.
  • the cross entropy error is used as the loss function.
  • the rule-based area extraction unit 33 in the image I (see FIG. 3) acquired based on the X-rays detected by the X-ray detection unit 2, based on a predetermined rule, the subject T Bone region A of is extracted (see FIG. 4).
  • the rule-based area extraction unit 33 extracts the bone area A of the subject T based on the pixel value in the image I and whether or not the gradient of the pixel values of adjacent pixels is equal to or more than a threshold value. That is, in the image I, the boundary of the bone region A of the subject T is obtained based on a predetermined rule.
  • the control unit 4 is configured to determine whether or not the bone region A of the subject T extracted based on machine learning is appropriate.
  • the control unit 4 determines that the bone region A of the subject T extracted based on the machine learning is appropriate, the bone region A of the subject T is extracted based on the machine learning.
  • the display unit 5 controls to display the image (image Im, see FIG. 3).
  • the image image Ir, the bone region A of the subject T extracted based on a predetermined rule. (See FIG. 4) is displayed.
  • the case where the bone region A of the subject T extracted based on the machine learning is not appropriate is, for example, the posture of the subject T when the image I (correct answer data) used for the machine learning is captured, and the unknown posture.
  • Image I estimate image I
  • Image I is significantly different from the posture of the subject T when the image is captured.
  • the control unit 4 controls the area S of the bone region A of the extracted subject T and the center of gravity G of the bone region A of the extracted subject T in the image I. Based on at least one of the above, it is configured to determine whether or not the bone region A of the subject T extracted based on machine learning is appropriate. Specifically, the area S of the extracted bone region A of the subject T is compared with the area S of the typical bone region A. Then, if the difference between the area S of the bone region A of the extracted subject T and the area S of the typical bone region A is larger than a predetermined area threshold, the subject T extracted based on machine learning. It is determined that the bone area A of is not appropriate.
  • the center of gravity G of the bone region A of the extracted subject T is compared with the center of gravity G of the typical bone region A. Then, if the difference between the coordinates of the center of gravity G of the bone region A of the extracted subject T and the coordinates of the center of gravity G of the typical bone region A is larger than a predetermined center of gravity threshold value, extraction is performed based on machine learning.
  • the determined bone area A of the subject T is determined to be inappropriate. Note that it may be determined whether the bone region A is appropriate based on only one of the area S and the center of gravity G, or whether the bone region A is appropriate based on both the area S and the center of gravity G. May be.
  • the control unit 4 includes, in the image I, a predetermined image P in which extraction of the bone region A of the subject T based on machine learning cannot be appropriately performed.
  • the bone area A of the subject T is not extracted based on machine learning, but the bone area A of the subject T is extracted based on a predetermined rule.
  • the image I includes an image P such as a metal (bolt)
  • the bone region A of the subject T is not extracted based on machine learning, but the bone region A of the subject T is extracted based on a predetermined rule.
  • the bone area A is extracted based on a relatively simple rule. Therefore, even if the bone area A cannot be properly extracted by machine learning, the bone area A can be extracted with a certain degree of accuracy. It is possible to extract the area A.
  • the image P is an example of the “unsuitable extraction image” in the claims.
  • an image (image Im) in which the bone region A of the subject T is extracted based on machine learning which is displayed on the display unit 5, and based on a predetermined rule.
  • a button 5b on the display image 5a displayed on the display unit 5 is provided to switch the image (image Ir) in which the bone region A of the subject T is extracted.
  • the button 5b is composed of, for example, a pull-down menu. When the user clicks the button 5b with the mouse, it is possible to select (switch) the image Im based on the machine learning included in the pull-down menu and the image Ir based on a predetermined rule.
  • the pull-down menu also includes images used in the previous bone density measurement.
  • the button 5b is an example of the "switching operation unit" in the claims.
  • the user corrects the bone area A.
  • the bone area A is corrected, for example, by the user operating the mouse so that the bone area A is filled (or erased).
  • the area shown by the dotted line in FIG. 7 shows the bone area A of the subject T extracted based on the predetermined rule shown in FIG.
  • the bone density measuring unit 34 measures the bone density in the extracted bone area A of the subject T (or the corrected bone area A when the bone area A is corrected). ..
  • the bone density is measured in the area shown by the dotted line in FIG.
  • step S1 the image I (image data) composed of an unknown X-ray image is input to the image processing unit 3.
  • step S2 it is determined whether or not the unknown image I includes a predetermined image P (see FIG. 5) that makes it impossible to appropriately extract the bone region A of the subject T based on machine learning. It Note that this determination is performed by the control unit 4 using a general image recognition technique, for example. When it is determined in step S2 that the image P is not included, the process proceeds to step S3. On the other hand, when it is determined in step S2 that the image P is included, the process proceeds to step S6.
  • step S3 the bone region A of the subject T is extracted based on machine learning in the image I acquired based on the X-rays detected by the X-ray detection unit 2.
  • the image I is input to a classifier (model, see FIG. 3) generated in advance by learning by machine learning, and the classifier extracts the bone region A of the subject T.
  • step S4 the control unit 4 determines whether or not the bone region A of the subject T extracted based on machine learning is appropriate. If it is determined in step S4 that the extracted bone region A of the subject T is appropriate, the process proceeds to step S5, and the image Im in which the bone region A of the subject T is extracted based on machine learning is displayed on the display unit 5. Displayed in. The bone region A displayed on the display unit 5 is corrected by the user, if necessary.
  • step S4 If it is determined in step S4 that the extracted bone region A of the subject T is not appropriate, the process proceeds to step S6.
  • step S6 the bone region A of the subject T is extracted based on a predetermined rule. Then, the process proceeds to step S5, and the image Ir in which the bone region A of the subject T is extracted based on a predetermined rule is displayed on the display unit 5.
  • step S7 the bone density measuring unit 34 measures the bone density.
  • the bone region A of the subject T is determined based on the machine learning.
  • the extracted image Im is displayed on the display unit 5 and it is determined that the bone region A of the subject T extracted based on machine learning is not appropriate, the bone region A of the subject T is extracted based on a predetermined rule. It is configured to perform control to display the image Ir.
  • the bone region A of the subject T extracted based on machine learning is not appropriate.
  • the image Ir in which the bone region A of the subject T is extracted based on the predetermined rule is displayed.
  • the accuracy of extracting the bone region A based on a predetermined rule is lower than the accuracy of extracting the bone region A based on machine learning, while the bone region A based on a relatively simple rule.
  • the bone region A can be extracted with a certain degree of accuracy even in the image I where the bone region A cannot be properly extracted by machine learning.
  • the amount of correction is smaller in the case of correcting the bone region A extracted based on a predetermined rule than in the case of correcting the bone region A that is not properly extracted based on machine learning.
  • the control unit 4 sets the area S of the bone region A of the extracted subject T and the center of gravity G of the bone region A of the extracted subject T in the image Im. Based on at least one of the above, it is determined whether or not the bone region A of the subject T extracted based on machine learning is appropriate. Accordingly, at least one of the area S and the center of gravity G of the bone region A of the subject T extracted by machine learning, and at least one of the area S and the center of gravity G of the bone region A of the typical subject T. By comparing with, it is possible to easily determine whether or not the bone region A of the subject T extracted based on machine learning is appropriate.
  • the image I includes the predetermined image P that cannot appropriately extract the bone region A of the subject T based on the machine learning
  • the bone area A of the subject T is not extracted based on machine learning, but the bone area A of the subject T is extracted based on a predetermined rule.
  • the bone region A of the subject T is not extracted based on machine learning, which imposes a burden on the image processing unit 3. Can be reduced.
  • a button 5b for switching the image Ir from which A is extracted is provided.
  • the button 5b is the button 5b on the display image displayed on the display unit 5.
  • the displayed image Ir can be switched.
  • the bone area A of the subject T includes the bone area A of the femur.
  • the machine learning is deep learning.
  • the bone region A in the deep learning is relatively high, the bone region A can be appropriately extracted in most of the subjects T, while the bone region A cannot be extracted properly even in the deep learning.
  • the image Ir in which the bone region A of the subject T is extracted based on a predetermined rule can be displayed.
  • the predetermined rule is that the bone region of the subject is extracted based on the pixel value in the image I, and the subject T is extracted based on the gradient of the pixel values of the adjacent pixels. At least one of extracting the bone region A is included. Accordingly, the bone region A of the subject T can be easily extracted based on the pixel value.
  • the bone region of the subject extracted based on machine learning is Although the example in which it is determined whether or not it is appropriate is shown, the present invention is not limited to this. In the present invention, whether or not the bone region of the subject extracted based on machine learning is appropriate may be determined based on criteria other than the area of the bone region and the center of gravity.
  • the above embodiment shows an example in which the image in which the bone region of the subject is extracted based on machine learning and the image in which the bone region of the subject is extracted based on a predetermined rule are switchable
  • the present invention is not limited to this.
  • the image in which the bone region of the subject is extracted based on machine learning and the image in which the bone region of the subject is extracted based on a predetermined rule may be displayed in parallel on the display unit.
  • a button on the display image switches between an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule
  • the invention is not so limited.
  • the images may be switched by a method (a physical switch or the like) other than the button on the display image.
  • a bone region other than the subject's femur (such as the lumbar spine) may be extracted.
  • the control unit determines that the bone region of the subject extracted based on the machine learning is not appropriate, an image in which the bone region of the subject is extracted based on a predetermined rule is displayed.
  • the present invention is not limited to this.
  • the control unit determines that the bone region of the subject extracted based on machine learning is appropriate and displays it, the user determines that the bone region of the subject extracted based on machine learning is not appropriate.
  • the bone region of the subject may be extracted based on a predetermined rule and the extracted bone region of the subject may be displayed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

Ｘ線撮像装置（１００）において、制御部（４）は、機械学習に基づいて抽出された被写体（Ｔ）の骨領域（Ａ）が適切でないと判定した場合、所定のルールに基づいて被写体（Ｔ）の骨領域（Ａ）が抽出された画像（Ｉｒ）を表示させる制御を行うように構成されている。

Description

Ｘ線撮像装置
　この発明は、Ｘ線撮像装置に関し、特に、被写体が撮像された画像から機械学習に基づいて、被写体の骨領域を抽出する画像処理部を備えるＸ線撮像装置に関する。
　従来、被写体が撮像された画像から機械学習に基づいて、脊柱配列（脊柱形状）を推定する脊柱配列推定装置が知られている。このような脊柱配列推定装置は、たとえば、国際公開第２０１７／１４１９５８号に開示されている。
　国際公開第２０１７／１４１９５８号に記載の脊柱配列推定装置では、まず、同一人物について撮像された、人体の背部の立体形状を表すモアレ縞を含むモアレ画像と、人体の背部の骨領域が撮像されたＸ線画像とのデータセットが多数準備される。次に、機械学習に用いられるデータセット（正解データ）のラベル付けが行われる。たとえば、Ｘ線画像に写り込む胸椎および腰椎の重心が曲線により近似される。その後、モアレ画像とＸ線画像とを位置合わせして、モアレ画像の座標とＸ線画像の座標とが位置合わせされる。そして、モアレ画像上の胸椎および腰椎の重心の座標が学習用の正解データとされる。そして、入力されたモアレ画像に基づいて、脊柱要素の配列情報（胸椎および腰椎の重心の座標）が出力されるように学習が行われる。なお、学習として、たとえば、深層学習が用いられる。
　そして、国際公開第２０１７／１４１９５８号に記載の脊柱配列推定装置では、学習された結果（識別器）に基づいて、撮像装置により撮像された未知（脊柱要素の配列情報が未知）のモアレ画像から脊柱要素の配列情報が推定される。また、推定された脊柱要素の配列情報が、モアレ画像上に重畳された状態で表示部に表示される。
　また、国際公開第２０１７／１４１９５８号には記載されていないが、従来、腰椎や大腿骨などの骨密度測定では、２種類の互いに異なるエネルギのＸ線を被写体に照射することにより撮像された画像において、骨成分と他の組織とを区別して骨密度の測定が行われている。この場合、撮像された画像において腰椎や大腿骨などの骨密度の測定を行う領域を正確に抽出（指定）する必要がある。従来では、ユーザの負担を軽減するために、骨領域の抽出を、機械学習を用いて行うこと（自動セグメンテーション）が行われている。また、自動セグメンテーションの精度向上のために、機械学習として、国際公開第２０１７／１４１９５８号のように、深層学習が用いられている。深層学習では、腰椎や大腿骨などの骨密度の測定が行われる部位が撮像された画像（正解データ）が学習されるとともに学習された結果（識別器）に基づいて、未知の画像から骨領域が抽出される。また、抽出された骨領域が実際の骨領域とずれていた場合には、ユーザによって骨領域が修正される。
国際公開第２０１７／１４１９５８号
　ここで、深層学習などの機械学習を用いた骨領域の自動セグメンテーションの精度は比較的高い一方、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合、自動セグメンテーション（骨領域の抽出）が大きく失敗するという不都合がある。この場合、機械学習に基づいて抽出された骨領域に対してユーザが比較的大きな修正を施す必要があるため、ユーザの負担が増加するという問題点がある。
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することが可能なＸ線撮像装置を提供することである。
　上記目的を達成するために、この発明の一の局面におけるＸ線撮像装置は、被写体にＸ線を照射するＸ線照射部と、Ｘ線照射部から被写体に照射されたＸ線を検出するＸ線検出部と、Ｘ線検出部により検出されたＸ線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されている。
　この発明の一の局面におけるＸ線撮像装置では、上記のように、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合などにおいて、機械学習に基づいて抽出された被写体の骨領域が適切でない場合でも、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される。なお、一般的には、所定のルールに基づいた骨領域の抽出の精度は、機械学習に基づいた骨領域の抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域の抽出が行われるので、機械学習では適切に骨領域の抽出が行えない画像でもある程度の精度でもって骨領域の抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域を修正する場合に比べて、所定のルールに基づいて抽出された骨領域を修正する方が、修正量が少ない。その結果、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、制御部は、取得画像において、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定するように構成されている。このように構成すれば、機械学習によって抽出された被写体の骨領域の面積と重心とのうちの少なくとも一方と、典型的な被写体の骨領域の面積と重心とのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定することができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、制御部は、取得画像に、機械学習に基づいた被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、機械学習に基づいた被写体の骨領域の抽出は行わずに、所定のルールに基づいて被写体の骨領域の抽出を行うように制御するように構成されている。このように構成すれば、被写体の骨領域の抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体の骨領域の抽出は行われないので、画像処理部の負担を軽減することができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、表示部に表示される、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える切替操作部をさらに備える。このように構成すれば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えて比較することができる。
　この場合、好ましくは、切替操作部は、表示部に表示される表示画像上のボタンを含む。このように構成すれば、ユーザがボタンを操作するだけで、容易に、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えることができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、被写体の骨領域は、大腿骨の骨領域を含む。このように構成すれば、大腿骨の骨密度測定において、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、機械学習は、深層学習を含む。このように構成すれば、深層学習の骨領域の抽出精度は比較的高いので、ほとんどの被写体において適切に骨領域を抽出することができる一方、深層学習でも適切に骨領域の抽出ができない未知の画像に対して、バックアップとして、所定のルールに基づいて被写体の骨領域が抽出された画像を表示することができる。
　上記一の局面によるＸ線撮像装置において、好ましくは、所定のルールは、取得画像における画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体の骨領域を抽出することのうちの少なくとも一方を含む。このように構成すれば、画素値に基づいて、容易に、被写体の骨領域を抽出することができる。
　本発明によれば、上記のように、機械学習に用いられた画像（正解データ）とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
一実施形態によるＸ線撮像装置の構成を示した図である。 深層学習（Ｕ－ｎｅｔ）を説明するための図である。 深層学習による骨領域の抽出を説明するための図である。 所定のルールに基づいて抽出された骨領域を示す図である。 機械学習に基づいた骨領域の抽出が適切に行えなくなる所定の画像（パターン）が含まれる画像を示す図である。 表示部に表示された表示画像を示す図である。 ユーザによって補正された骨領域を示す図である。 一実施形態によるＸ線撮像装置の動作を示すフロー図である。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　図１～図７を参照して、本実施形態によるＸ線撮像装置１００の構成について説明する。
　（Ｘ線撮像装置の構成）
　図１に示すように、Ｘ線撮像装置１００は、Ｘ線照射部１と、Ｘ線検出部２と、画像処理部３と、制御部４とを備えている。また、Ｘ線撮像装置１００は、画像処理部３に処理された画像を表示する表示部５を備えている。
　Ｘ線照射部１は、被写体ＴにＸ線を照射する。Ｘ線検出部２は、Ｘ線照射部１から被写体Ｔに照射されたＸ線を検出する。Ｘ線撮像装置１００は、たとえば、被写体Ｔの骨密度の測定に用いられる。骨密度の測定においては、たとえば、Ｘ線照射部１から２種類のエネルギのＸ線を被写体Ｔの測定部位に照射することにより、骨成分と他の組織とを区別するＤＥＸＡ（Ｄｕａｌ－Ｅｎｅｒｇｙ　Ｘ－ｒａｙ　Ａｂｓｏｒｐｔｉｏｍｅｔｒｙ）法が用いられる。
　Ｘ線照射部１は、Ｘ線源１ａを含んでいる。Ｘ線源１ａは、図示しない高電圧発生部に接続されており、高電圧が印加されることによりＸ線を発生させるＸ線管である。Ｘ線源１ａは、Ｘ線出射方向をＸ線検出部２の検出面に向けて配置されている。
　Ｘ線検出部２は、Ｘ線照射部１から照射され、被写体Ｔを透過したＸ線を検出し、検出したＸ線強度に応じた検出信号を出力する。なお、Ｘ線検出部２は、たとえば、ＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｅｔｅｃｔｏｒ）により構成されている。
　画像処理部３は、画像取得部３１と、機械学習ベース領域抽出部３２と、ルールベース領域抽出部３３と、骨密度測定部３４と、を含む。なお、画像取得部３１、機械学習ベース領域抽出部３２、ルールベース領域抽出部３３、および、骨密度測定部３４の各々は、画像処理部３の中のソフトウェアとしての機能ブロックである。すなわち、画像取得部３１、機械学習ベース領域抽出部３２、ルールベース領域抽出部３３、および、骨密度測定部３４の各々は、制御部４の指令信号に基づき機能するように構成されている。
　画像取得部３１は、Ｘ線検出部２により検出されたＸ線に基づいて被写体Ｔの画像Ｉ（図３参照）を取得する。具体的には、画像取得部３１は、Ｘ線検出部２から出力される所定の解像度のＸ線検出信号に基づいて画像Ｉ（Ｘ線画像）を取得する。なお、画像Ｉは、特許請求の範囲の「取得画像」の一例である。
　機械学習ベース領域抽出部３２は、Ｘ線検出部２により検出されたＸ線に基づいて取得された画像Ｉにおいて、機械学習に基づいて、被写体Ｔの骨領域Ａ（図３参照）を抽出するように構成されている。具体的には、本実施形態では、機械学習として、深層学習が用いられる。また、骨領域Ａは、大腿骨の骨領域Ａを含む。
　深層学習によるセマンティック・セグメンテーションでは、従来の画像セグメンテーションと異なり、ディープニューラルネットワークを代表とする深層学習技術を用いて、ピクセルレベルで画像を理解し、画像の各ピクセルにオブジェクトのクラスが割り当てられる。たとえば、図２に示すように、深層学習として、Ｕ－ｎｅｔに基づいた深層学習が用いられる。Ｕ－ｎｅｔでは、Ｕ字型の畳み込みネットワークを用いて、画像中に「何が、どこに、どのように」写っているのかという領域抽出が行われる。Ｕ－ｎｅｔの左側に配置されたｅｎｃｏｄｅｒの各畳み込み層（Ｃｏｎｖ）の出力が、右側のｄｅｃｏｄｅｒの各畳み込み層（Ｄｅｃｏｎｖ）に直接に結合され、データをチャネル方向に連結（ｃｏｎｃａｔ）するように構成されている。これにより、より低次元の特徴量がスキップされ、従来通りの特徴を抽出しながら位置情報を保持することが可能になる。その結果、出力画像の劣化を抑制することができる。
　また、多重解像度で骨領域Ａを判定するため、入力画像を最初の畳み込み層に入力する前に、多重解像度の局所コントラスト正規化（ＬＣＮ：Ｌｏｃａｌ　Ｃｏｎｔｒａｓｔ　Ｎｏｒｍａｌｉｚａｔｉｏｎ）が行われる。その後、順次、畳み込み層に入力される。また、活性化関数として、出力層以外の全ての層に、最も一般的なＲｅＬｕ関数が用いられる。また、学習の収束を高速化および安定化するために、各畳み込み層の活性化関数の後においてバッチ正規化が行われる。また、損失関数として、交差エントロピー誤差が用いられる。
　図１に示すように、ルールベース領域抽出部３３は、Ｘ線検出部２により検出されたＸ線に基づいて取得された画像Ｉ（図３参照）において、所定のルールに基づいて、被写体Ｔの骨領域Ａを抽出（図４参照）する。たとえば、ルールベース領域抽出部３３は、画像Ｉにおける画素値や、隣り合う画素の画素値の勾配がしきい値以上か否かに基づいて、被写体Ｔの骨領域Ａを抽出する。つまり、画像Ｉにおいて、被写体Ｔの骨領域Ａの境界が所定のルールに基づいて求められる。
　制御部４は、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切か否かを判定するように構成されている。ここで、本実施形態では、制御部４は、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切であると判定した場合、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像（画像Ｉｍ、図３参照）を表示部５に表示させる制御を行う。一方、制御部４は、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でないと判定した場合、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像（画像Ｉｒ、図４参照）を表示させる制御を行う。なお、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でない場合とは、たとえば、機械学習に用いられた画像Ｉ（正解データ）が撮像された際の被写体Ｔの姿勢と、未知の画像Ｉ（推定用の画像Ｉ）が撮像された際の被写体Ｔの姿勢とが大きく異なっていた場合などである。
　また、本実施形態では、図３に示すように、制御部４は、画像Ｉにおいて、抽出された被写体Ｔの骨領域Ａの面積Ｓと、抽出された被写体Ｔの骨領域Ａの重心Ｇとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切か否かを判定するように構成されている。具体的には、抽出された被写体Ｔの骨領域Ａの面積Ｓが、典型的な骨領域Ａの面積Ｓと比較される。そして、抽出された被写体Ｔの骨領域Ａの面積Ｓと、典型的な骨領域Ａの面積Ｓとの差が所定の面積しきい値よりも大きければ、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でないと判定される。また、抽出された被写体Ｔの骨領域Ａの重心Ｇが、典型的な骨領域Ａの重心Ｇと比較される。そして、抽出された被写体Ｔの骨領域Ａの重心Ｇの座標と、典型的な骨領域Ａの重心Ｇの座標との差が所定の重心しきい値よりも大きければ、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でないと判定される。なお、面積Ｓまたは重心Ｇの一方のみに基づいて骨領域Ａが適切か否かを判定してもよいし、面積Ｓおよび重心Ｇの両方に基づいて骨領域Ａが適切か否かを判定してもよい。
　また、本実施形態では、図５に示すように、制御部４は、画像Ｉに、機械学習に基づいた被写体Ｔの骨領域Ａの抽出が適切に行えなくなる所定の画像Ｐが含まれている場合、機械学習に基づいた被写体Ｔの骨領域Ａの抽出は行わずに、所定のルールに基づいて被写体Ｔの骨領域Ａの抽出を行うように制御する。たとえば、画像Ｉに金属（ボルト）などの画像Ｐが含まれている場合、機械学習に基づいた被写体Ｔの骨領域Ａの抽出が不適切になることが予め既知であるとする。この場合、機械学習に基づいた被写体Ｔの骨領域Ａの抽出は行わずに、所定のルールに基づいて被写体Ｔの骨領域Ａの抽出を行う。なお、所定のルールに基づいた抽出では、比較的簡単なルールに基づいて骨領域Ａの抽出が行われるので、機械学習では適切に骨領域Ａの抽出が行えない画像でもある程度の精度でもって骨領域Ａの抽出を行うことが可能である。なお、画像Ｐは、特許請求の範囲の「抽出不適切画像」の一例である。
　また、本実施形態では、図６に示すように、表示部５に表示される、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像（画像Ｉｍ）と、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像（画像Ｉｒ）とを切り替える、表示部５に表示される表示画像５ａ上のボタン５ｂが設けられている。ボタン５ｂは、たとえば、プルダウンメニューにより構成されている。ユーザがマウスによってボタン５ｂをクリックすることにより、プルダウンメニューに含まれる機械学習に基づいた画像Ｉｍと、所定のルールに基づいた画像Ｉｒとを選択する（切り替える）ことが可能である。また、プルダウンメニューには、前回の骨密度測定時に用いられた画像も含まれる。なお、ボタン５ｂは、特許請求の範囲の「切替操作部」の一例である。
　また、図７に示すように、表示部５に表示された画像Ｉｒ（または画像Ｉｍ）において、骨領域Ａの修正が必要な場合には、ユーザによって骨領域Ａの修正が行われる。骨領域Ａの修正は、たとえば、ユーザがマウスを操作することによって、骨領域Ａを塗りつぶすように（または消すように）、骨領域Ａの修正が行われる。なお、図７の点線で示される領域は、図４に示される所定のルールに基づいて抽出された被写体Ｔの骨領域Ａを示している。
　また、図１に示すように、骨密度測定部３４は、抽出された被写体Ｔの骨領域Ａ（骨領域Ａが修正された場合は、修正後の骨領域Ａ）において、骨密度を測定する。なお、図６の点線で示される領域において、骨密度の測定が行われる。
　（Ｘ線撮像装置の動作）
　次に、図８を参照して、本実施形態のＸ線撮像装置１００の動作について説明する。なお、画像処理部３において機械学習による学習は既に行われているとする。
　まず、ステップＳ１において、画像処理部３に未知のＸ線画像からなる画像Ｉ（画像データ）が入力される。
　次に、ステップＳ２において、未知の画像Ｉに、機械学習に基づいた被写体Ｔの骨領域Ａの抽出が適切に行えなくなる所定の画像Ｐ（図５参照）が含まれているか否かが判定される。なお、この判定は、たとえば、一般的な画像認識技術を用いて制御部４によって行われる。ステップＳ２において、画像Ｐが含まれていないと判定された場合、ステップＳ３に進む。一方、ステップＳ２において、画像Ｐが含まれていると判定された場合、ステップＳ６に進む。
　次に、ステップＳ３において、Ｘ線検出部２により検出されたＸ線に基づいて取得された画像Ｉにおいて、機械学習に基づいて被写体Ｔの骨領域Ａが抽出される。具体的には、予め機械学習による学習によって生成された識別器（モデル、図３参照）に画像Ｉが入力されるとともに、識別器によって、被写体Ｔの骨領域Ａが抽出される。
　次に、ステップＳ４において、制御部４により、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが、適切か否かが判定される。ステップＳ４において、抽出された被写体Ｔの骨領域Ａが適切であると判定された場合、ステップＳ５に進んで、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｍが表示部５に表示される。なお、必要であれば、ユーザによって表示部５に表示された骨領域Ａが修正される。
　ステップＳ４において、抽出された被写体Ｔの骨領域Ａが適切でないと判定された場合、ステップＳ６に進む。ステップＳ６では、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出される。そして、ステップＳ５に進んで、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒが表示部５に表示される。
　そして、ステップＳ７において、骨密度測定部３４によって骨密度が測定される。
　（本実施形態の効果）
　本実施形態では、以下のような効果を得ることができる。
　本実施形態では、上記のように、制御部４は、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切であると判定した場合、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｍを表示部５に表示させ、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でないと判定した場合、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒを表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像Ｉ（正解データ）とは乖離した未知の画像Ｉが入力された場合などにおいて、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切でない場合でも、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒが表示される。なお、一般的には、所定のルールに基づいた骨領域Ａの抽出の精度は、機械学習に基づいた骨領域Ａの抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域Ａの抽出が行われるので、機械学習では適切に骨領域Ａの抽出が行えない画像Ｉでもある程度の精度でもって骨領域Ａの抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域Ａを修正する場合に比べて、所定のルールに基づいて抽出された骨領域Ａを修正する方が、修正量が少ない。その結果、機械学習に用いられた画像Ｉ（正解データ）とは乖離した未知の画像Ｉが入力された場合でも、抽出された骨領域Ａの修正に対するユーザの負担が大きくなるのを抑制することができる。
　また、本実施形態では、上記のように、制御部４は、画像Ｉｍにおいて、抽出された被写体Ｔの骨領域Ａの面積Ｓと、抽出された被写体Ｔの骨領域Ａの重心Ｇとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切か否かを判定する。これにより、機械学習によって抽出された被写体Ｔの骨領域Ａの面積Ｓと重心Ｇとのうちの少なくとも一方と、典型的な被写体Ｔの骨領域Ａの面積Ｓと重心Ｇとのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体Ｔの骨領域Ａが適切か否かを判定することができる。
　また、本実施形態では、上記のように、制御部４は、画像Ｉに、機械学習に基づいた被写体Ｔの骨領域Ａの抽出が適切に行えなくなる所定の画像Ｐが含まれている場合、機械学習に基づいた被写体Ｔの骨領域Ａの抽出は行わずに、所定のルールに基づいて被写体Ｔの骨領域Ａの抽出を行うように制御する。これにより、被写体Ｔの骨領域Ａの抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体Ｔの骨領域Ａの抽出は行われないので、画像処理部３の負担を軽減することができる。
　また、本実施形態では、上記のように、表示部５に表示される、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｍと、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒとを切り替えるボタン５ｂが設けられている。これにより、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｍと、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒとを切り替えて比較することができる。
　また、本実施形態では、上記のように、ボタン５ｂは、表示部５に表示される表示画像上のボタン５ｂである。これにより、ユーザがボタン５ｂを操作するだけで、容易に、機械学習に基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｍと、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒとを切り替えることができる。
　また、本実施形態では、上記のように、被写体Ｔの骨領域Ａは、大腿骨の骨領域Ａを含む。これにより、大腿骨の骨密度測定において、機械学習に用いられた画像Ｉ（正解データ）とは乖離した未知の画像Ｉが入力された場合でも、抽出された骨領域Ａの修正に対するユーザの負担が大きくなるのを抑制することができる。
　また、本実施形態では、上記のように、機械学習は、深層学習である。これにより、深層学習の骨領域Ａの抽出精度は比較的高いので、ほとんどの被写体Ｔにおいて適切に骨領域Ａを抽出することができる一方、深層学習でも適切に骨領域Ａの抽出ができない未知の画像Ｉに対して、バックアップとして、所定のルールに基づいて被写体Ｔの骨領域Ａが抽出された画像Ｉｒを表示することができる。
　また、本実施形態では、上記のように、所定のルールは、画像Ｉにおける画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体Ｔの骨領域Ａを抽出することのうちの少なくとも一方を含む。これにより、画素値に基づいて、容易に、被写体Ｔの骨領域Ａを抽出することができる。
　［変形例］
　なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
　たとえば、上記実施形態では、機械学習として深層学習が用いられる例を示したが、本発明はこれに限られない。本発明では、深層学習以外の機械学習を用いることも可能である。
　また、上記実施形態では、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が、適切か否かが判定される例を示したが、本発明はこれに限られない。本発明では、骨領域の面積および重心以外の基準に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定してもよい。
　また、上記実施形態では、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とが切り替え可能に構成されている例を示したが、本発明はこれに限られない。たとえば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを、並列した状態で表示部に表示してもよい。
　また、上記実施形態では、表示画像上のボタンによって、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える例を示したが、本発明はこれに限られない。たとえば、表示画像上のボタン以外の方法（物理的なスイッチなど）によって画像を切り替えてもよい。
　また、上記実施形態では、被写体の大腿骨の骨領域を抽出する例を示したが、本発明はこれに限られない。たとえば、被写体の大腿骨以外（腰椎など）の骨領域を抽出してもよい。
　また、上記実施形態では、制御部が機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合に、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される例を示したが、本発明はこれに限られない。たとえば、制御部が機械学習に基づいて抽出された被写体の骨領域が適切であると判定し表示した場合でも、ユーザが、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域を抽出するとともに抽出した被写体の骨領域を表示してもよい。
　１　Ｘ線照射部
　２　Ｘ線検出部
　３　画像処理部
　４　制御部
　５　表示部
　５ｂ　ボタン（切替操作部）
　１００　Ｘ線撮像装置
　Ａ　骨領域
　Ｇ　重心
　Ｉ　画像（取得画像）
　Ｐ　画像（抽出不適切画像）
　Ｓ　面積
　Ｔ　被写体

Claims (8)

  1. 　被写体にＸ線を照射するＸ線照射部と、
    　前記Ｘ線照射部から前記被写体に照射されたＸ線を検出するＸ線検出部と、
    　前記Ｘ線検出部により検出されたＸ線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
    　前記画像処理部に処理された画像を表示する表示部と、
    　前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
    　前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されている、Ｘ線撮像装置。
  2. 　前記制御部は、前記取得画像において、抽出された前記被写体の骨領域の面積と、抽出された前記被写体の骨領域の重心とのうちの少なくとも一方に基づいて、前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定するように構成されている、請求項１に記載のＸ線撮像装置。
  3. 　前記制御部は、前記取得画像に、前記機械学習に基づいた前記被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、前記機械学習に基づいた前記被写体の骨領域の抽出は行わずに、前記所定のルールに基づいて前記被写体の骨領域の抽出を行うように制御するように構成されている、請求項１または２に記載のＸ線撮像装置。
  4. 　前記表示部に表示される、前記機械学習に基づいて前記被写体の骨領域が抽出された画像と、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像とを切り替える切替操作部をさらに備える、請求項１または２に記載のＸ線撮像装置。
  5. 　前記切替操作部は、前記表示部に表示される表示画像上のボタンを含む、請求項４に記載のＸ線撮像装置。
  6. 　前記被写体の骨領域は、大腿骨の骨領域を含む、請求項１または２に記載のＸ線撮像装置。
  7. 　前記機械学習は、深層学習を含む、請求項１または２に記載のＸ線撮像装置。
  8. 　前記所定のルールは、前記取得画像における画素値に基づいて前記被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて前記被写体の骨領域を抽出することのうちの少なくとも一方を含む、請求項１または２に記載のＸ線撮像装置。
PCT/JP2018/040975 2018-11-05 2018-11-05 Ｘ線撮像装置 WO2020095343A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/040975 WO2020095343A1 (ja) 2018-11-05 2018-11-05 Ｘ線撮像装置
JP2020556372A JP7188450B2 (ja) 2018-11-05 2018-11-05 Ｘ線撮像装置
CN201880099224.9A CN112996440A (zh) 2018-11-05 2018-11-05 X射线摄像装置
KR1020217012342A KR20210068490A (ko) 2018-11-05 2018-11-05 X 선 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040975 WO2020095343A1 (ja) 2018-11-05 2018-11-05 Ｘ線撮像装置

Publications (1)

Publication Number Publication Date
WO2020095343A1 true WO2020095343A1 (ja) 2020-05-14

Family

ID=70610864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040975 WO2020095343A1 (ja) 2018-11-05 2018-11-05 Ｘ線撮像装置

Country Status (4)

Country Link
JP (1) JP7188450B2 (ja)
KR (1) KR20210068490A (ja)
CN (1) CN112996440A (ja)
WO (1) WO2020095343A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2003265462A (ja) * 2002-03-19 2003-09-24 Hitachi Ltd 関心領域抽出方法及び画像処理サーバ
US20130336553A1 (en) * 2010-08-13 2013-12-19 Smith & Nephew, Inc. Detection of anatomical landmarks
JP2015530193A (ja) * 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドＳｉｅｍｅｎｓ Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ Ｉｎｃ． ３ｄコンピュータ断層撮影のための複数の骨のセグメンテーション

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4201939B2 (ja) * 1999-10-22 2008-12-24 三菱電機株式会社 画像処理装置及び放射線治療計画システム
JP2007135858A (ja) * 2005-11-18 2007-06-07 Hitachi Medical Corp 画像処理装置
WO2008044441A1 (en) * 2006-10-10 2008-04-17 Hitachi Medical Corporation Medical image diagnostic apparatus, medical image measuring method, and medical image measuring program
JP5300569B2 (ja) * 2009-04-14 2013-09-25 株式会社日立メディコ 画像処理装置
US8437521B2 (en) * 2009-09-10 2013-05-07 Siemens Medical Solutions Usa, Inc. Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
EP2803037A1 (en) * 2012-01-10 2014-11-19 Koninklijke Philips N.V. Image processing apparatus
US9646229B2 (en) * 2012-09-28 2017-05-09 Siemens Medical Solutions Usa, Inc. Method and system for bone segmentation and landmark detection for joint replacement surgery
US10039513B2 (en) * 2014-07-21 2018-08-07 Zebra Medical Vision Ltd. Systems and methods for emulating DEXA scores based on CT images
JP2018517207A (ja) * 2015-05-18 2018-06-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己認識画像セグメント化方法及びシステム
WO2017141958A1 (ja) 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
CN106228561B (zh) * 2016-07-29 2019-04-23 上海联影医疗科技有限公司 血管提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2003265462A (ja) * 2002-03-19 2003-09-24 Hitachi Ltd 関心領域抽出方法及び画像処理サーバ
US20130336553A1 (en) * 2010-08-13 2013-12-19 Smith & Nephew, Inc. Detection of anatomical landmarks
JP2015530193A (ja) * 2012-09-27 2015-10-15 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドＳｉｅｍｅｎｓ Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ Ｉｎｃ． ３ｄコンピュータ断層撮影のための複数の骨のセグメンテーション

Also Published As

Publication number Publication date
KR20210068490A (ko) 2021-06-09
JPWO2020095343A1 (ja) 2021-09-24
JP7188450B2 (ja) 2022-12-13
CN112996440A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
JP5393245B2 (ja) 画像処理装置、画像処理装置の制御方法、ｘ線画像撮影装置およびｘ線画像撮影装置の制御方法
US6862364B1 (en) Stereo image processing for radiography
JP4104054B2 (ja) 画像の位置合わせ装置および画像処理装置
US9734574B2 (en) Image processor, treatment system, and image processing method
WO2016051603A1 (ja) Ｘ線撮影装置
EP1530162A2 (en) Radiation image processing apparatus, radiation image processing method, program, and computer-readable medium
US20130051527A1 (en) Image processing apparatus and method, and x-ray diagnostic apparatus
JP6684909B2 (ja) 造影剤濃度マップを生成する方法
US20160206266A1 (en) X-ray imaging apparatus and method for controlling the same
JP2017131427A (ja) Ｘ線画像診断装置及び骨密度計測方法
US10182783B2 (en) Visualization of exposure index values in digital radiography
CN110876627B (zh) X射线摄影装置和x射线图像处理方法
JP7345653B2 (ja) 放射線医学的撮像方法
JP4416823B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US10299752B2 (en) Medical image processing apparatus, X-ray CT apparatus, and image processing method
CN108074219A (zh) 一种图像校正方法、装置及医疗设备
EP2823465A1 (en) Stereo x-ray tube based suppression of outside body high contrast objects
WO2020095343A1 (ja) Ｘ線撮像装置
US20160278727A1 (en) Determination of an x-ray image data record of a moving target location
JP2016131805A (ja) Ｘ線画像診断装置およびｘ線画像を作成する方法
JP2022530298A (ja) Ｘ線歯科ボリュームトモグラフィにおける金属アーチファクト低減の方法
WO2016096833A1 (en) Motion correction method in dual energy radiography
JP2021108758A (ja) Ｘ線診断装置及び医用画像処理装置
JP7310239B2 (ja) 画像処理装置、放射線撮影システム及びプログラム
KR101676304B1 (ko) 산란선 대 일차선비를 이용한 영상 보정 방법 및 컴퓨터 판독가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18939241

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556372

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217012342

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18939241

Country of ref document: EP

Kind code of ref document: A1