WO2024096039A1 - 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム - Google Patents

情報処理装置、放射線撮影システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024096039A1
WO2024096039A1 PCT/JP2023/039370 JP2023039370W WO2024096039A1 WO 2024096039 A1 WO2024096039 A1 WO 2024096039A1 JP 2023039370 W JP2023039370 W JP 2023039370W WO 2024096039 A1 WO2024096039 A1 WO 2024096039A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
radiation
unit
optical image
information processing
Prior art date
Application number
PCT/JP2023/039370
Other languages
English (en)
French (fr)
Inventor
秀昭 宮本
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2024096039A1 publication Critical patent/WO2024096039A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment

Definitions

  • the present disclosure relates to an information processing device, a radiography system, an information processing method, and a program.
  • radiography In order to retain this information in the radiography image, it is common to perform radiography so that character-shaped structures (annotation markers) made of a material with high radiation absorption rate are captured together with the subject. This is called an annotation.
  • annotation markers include “RL”, which indicates the position when radiation enters from the right side of the body during lateral chest radiography, “LR”, which indicates the position when radiation enters from the left side of the body, and “L” and “R”, which indicate left or right for parts of the body that have a left and right side, such as the limbs.
  • annotation markers such as "standing position”, “supine position”, and “sitting position”.
  • Patent Document 1 uses annotation markers with wireless communication means to solve the problems of placing annotation markers incorrectly and forgetting to remove them.
  • Patent Document 1 does not address the workflow issue of the need for technicians to place and remove annotation markers.
  • One of the objectives of one embodiment of the present disclosure is to improve workflow by eliminating the need for an operator to place and remove annotation markers.
  • An information processing device includes a radiological image analysis unit that analyzes a radiological image acquired by radiography of a subject, and a placement unit that places annotation information on the radiological image based on the analysis results of the radiological image.
  • FIG. 1 shows a schematic configuration of a radiation imaging system according to an embodiment.
  • 1 shows a schematic configuration of an information processing apparatus according to an embodiment.
  • 4 is a flowchart showing a processing procedure according to the first embodiment.
  • FIG. 4 is a diagram for explaining a display example according to the first embodiment.
  • 4A to 4C are diagrams illustrating examples of radiation images according to the first embodiment.
  • FIG. 4 is a diagram for explaining a display example according to the first embodiment.
  • 13 is a flowchart showing a processing procedure according to a second embodiment.
  • 13 is a flowchart showing a processing procedure according to a third embodiment.
  • 13A to 13C are diagrams illustrating examples of optical images according to the third embodiment.
  • FIG. 13 is a diagram illustrating an example of an annotated optical image according to the third embodiment.
  • radiation can include, for example, electromagnetic radiation such as X-rays and gamma rays, as well as particulate radiation such as alpha rays, beta rays, particle beams, proton beams, heavy ion beams, and meson beams.
  • electromagnetic radiation such as X-rays and gamma rays
  • particulate radiation such as alpha rays, beta rays, particle beams, proton beams, heavy ion beams, and meson beams.
  • a machine learning model refers to a learning model based on a machine learning algorithm.
  • machine learning algorithms include nearest neighbor methods, naive Bayes methods, decision trees, and support vector machines.
  • deep learning which uses a neural network to generate features and connection weighting coefficients for learning.
  • a method using gradient boosting such as LightGBM and XGBoost can be used. Any of the above algorithms that can be used can be used as appropriate and applied to the following embodiments and examples.
  • teacher data refers to learning data, and is composed of pairs of input data and output data.
  • the output data of the learning data is also called correct answer data.
  • a trained model refers to a model that has been trained (learned) in advance using appropriate teacher data (learning data) for a machine learning model that follows any machine learning algorithm, such as deep learning.
  • learning data teacher data
  • a trained model has been obtained in advance using appropriate learning data, this does not mean that no further learning is performed, and additional learning can also be performed. Additional learning can also be performed after the device is installed at the site of use.
  • Fig. 1A shows a schematic configuration of a radiation imaging system 1 according to an embodiment of the present disclosure
  • Fig. 1B shows a schematic configuration of an information processing device 100 according to an embodiment of the present disclosure.
  • Fig. 1A shows a state in which the subject O is in a supine position, but the subject O may be, for example, in an upright position or a sitting position.
  • the imaging table used to support the subject O may be a table according to the position of the subject O.
  • the radiation imaging system 1 is provided with an information processing device 100, a radiation generating device 20, a radiation detector 30, and a camera 40.
  • the information processing device 100 is connected to the radiation generating device 20, the radiation detector 30, and the camera 40, and can control them.
  • the information processing device 100 can also perform image processing and analysis processing of various images obtained using the radiation detector 30 and the camera 40.
  • the information processing device 100 is also connected to an external storage device 60, such as a server, via an arbitrary network 50, such as the Internet or an intranet, and can exchange data with the external storage device 60.
  • the external storage device 60 may also be directly connected to the information processing device 100.
  • the radiation generating device 20 includes, for example, a radiation generator such as a radiation tube, a collimator, a collimator lamp, etc., and can irradiate a radiation beam under the control of the information processing device 100.
  • the radiation beam irradiated from the radiation generating device 20 passes through the subject O while being attenuated, and enters the radiation detector 30.
  • the radiation detector 30 can detect the incident radiation beam and transmit a signal corresponding to the detected radiation beam to the information processing device 100.
  • the radiation detector 30 may be any radiation detector that detects radiation and outputs a corresponding signal, and may be configured using, for example, an FPD (Flat Panel Detector).
  • the radiation detector 30 may be an indirect conversion type detector that converts radiation into visible light using a scintillator or the like and then converts the visible light into an electrical signal using an optical sensor or the like, or it may be a direct conversion type detector that directly converts the incident radiation into an electrical signal.
  • the camera 40 is an example of an optical device that captures optical images of the subject O under the control of the information processing device 100, and acquires the optical images.
  • the camera 40 transmits the optical images acquired by the capture to the information processing device 100.
  • the camera 40 may have any known configuration, and may be configured as a camera capable of capturing moving images, such as a video camera, or as a camera that only captures still images.
  • the camera 40 may also be configured to capture images using visible light, or may be configured to capture images using invisible light other than radiation, such as infrared light.
  • the information processing device 100 is provided with an optical image acquisition unit 101, an optical image analysis unit 102, a radiographic image acquisition unit 103, a radiographic image analysis unit 104, an annotation placement unit 105, an image processing unit 106, and a display control unit 107.
  • the information processing device 100 also is provided with a CPU 131, a storage unit 132, a main memory 133, an operation unit 134, and a display unit 135.
  • the various units of the information processing device 100 are connected via a CPU bus 130 and are capable of exchanging data with each other.
  • the optical image acquisition unit 101 can acquire an optical image of the subject O captured by the camera 40.
  • the optical image acquisition unit 101 may also acquire an optical image of the subject O from an external storage device 60 or an optical device (not shown) connected to the information processing device 100 via an arbitrary network.
  • the optical image acquisition unit 101 may also acquire an optical image stored in the storage unit 132.
  • the optical image analysis unit 102 can perform image analysis of the optical image. Specifically, the optical image analysis unit 102 can analyze the optical image to obtain annotation information corresponding to the optical image.
  • the annotation information may include, for example, information indicating at least one of the posture, orientation, and left/right of the part of the subject O shown in the optical image.
  • the optical image analysis unit 102 can also perform other analysis processing, such as segmentation, on the optical image. The analysis processing of the optical image will be described later.
  • the radiation image acquisition unit 103 controls the radiation generating device 20 and the radiation detector 30 to perform radiography of the subject O and acquire a radiation image of the subject O from the radiation detector 30.
  • the radiation image acquisition unit 103 may also acquire a radiation image of the subject O from an external storage device 60 or a radiation detector (not shown) connected to the information processing device 100 via an arbitrary network.
  • the radiation image acquisition unit 103 may also acquire a radiation image stored in the storage unit 132.
  • the radiological image analysis unit 104 can perform image analysis of the radiological image. Specifically, the radiological image analysis unit 104 can analyze the radiological image and perform segmentation to identify and recognize each area of the radiological image. The analysis process of the radiological image will be described later.
  • the annotation placement unit 105 can function as an example of a placement unit that places (superimposes) the annotation information determined by the optical image analysis unit 102 on the radiological image. The annotation information placement process will be described later.
  • the annotation placement unit 105 can also function as an example of an annotation unit that associates the annotation information determined by the optical image analysis unit 102 with the radiological image.
  • the image processing unit 106 performs image processing on the radiation image.
  • the image processing may include any image processing depending on the desired configuration, and may include, for example, image rotation, left-right inversion, enlargement/reduction, tone conversion processing, noise reduction processing, etc.
  • the image processing unit 106 may also perform similar image processing on the optical image.
  • the display control unit 107 can control the display of the display unit 135.
  • the display control unit 107 can display, for example, patient information on the patient who is the subject O, imaging conditions, parameters set by the operator, generated optical images and radiation images, annotation information, segmentation information, and the like on the display unit 135.
  • the display control unit 107 can display any display or GUI, such as a button or slider for accepting operations by the operator, on the display unit 135 according to the desired configuration.
  • the CPU (Central Processing Unit) 131 is an example of a processor that controls the operation of the information processing device 100.
  • the CPU 131 uses the main memory 133 to control the operation of the entire device in accordance with operations from the operation unit 134 and parameters stored in the storage unit 132.
  • the processor in the information processing device 100 is not limited to a CPU, and may include, for example, a microprocessing unit (MPU) and a graphics processing unit (GPU).
  • the processor may also include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit
  • the storage unit 132 can store various images and data processed by the information processing device 100.
  • the storage unit 132 can also store patient information, imaging conditions, parameters set by the operator, and the like.
  • the storage unit 132 may be configured with any storage medium, such as an optical disk or memory.
  • the main memory 133 is configured with memory, etc., and can be used for temporary data storage, etc.
  • the operation unit 134 includes input devices for operating the information processing device 100, such as a keyboard and a mouse.
  • the display unit 135 includes, for example, any display, and displays various information such as subject information and various images under the control of the display control unit 107.
  • the display unit 135 may be a monitor of a console for operating a radiation imaging device including the radiation generation device 20 and the radiation detector 30, a sub-monitor installed in a position where the subject can be observed while supporting positioning, or a console monitor of a radiation irradiator.
  • a head-mounted display that the operator can wear while working can be used, allowing the operator to reliably check the display with minimal eye movement.
  • the display unit 135 may be configured with a touch panel display, in which case the display unit 135 can also be used as the operation unit 134.
  • the information processing device 100 can be configured by a computer provided with a processor and memory.
  • the information processing device 100 may be configured by a general computer, or may be configured by a computer dedicated to a radiation imaging system.
  • the information processing device 100 may be, for example, a personal computer (PC), and a desktop PC, a notebook PC, or a tablet PC (portable information terminal), etc. may be used.
  • the information processing device 100 may be configured as a cloud-type computer in which some of the components are located in an external device.
  • optical image acquisition unit 101 the optical image analysis unit 102, the radiographic image acquisition unit 103, the radiographic image analysis unit 104, the annotation placement unit 105, the image processing unit 106, and the display control unit 107 may be configured as software modules executed by the CPU 131.
  • each of these components may be configured as a circuit that performs a specific function, such as an ASIC, or an independent device.
  • the information processing device 100 starts optical image acquisition by the optical image acquisition unit 101 via the CPU 131.
  • the imaging order information is information corresponding to the unit of examination ordered by the doctor, and is information including, for example, patient information, imaging (scheduled) date and time, and the part, direction, and posture of the subject to be imaged based on the doctor's findings.
  • the imaging order information includes information necessary for radiography, such as the type of radiation detector to be used (upright, supine, portable, etc.), the patient's posture (imaging part and direction, etc.), and radiography conditions (tube voltage, tube current, presence or absence of grid, etc.).
  • the optical image acquisition unit 101 controls the camera 40 to capture an optical image of the subject O, and acquires the optical image from the camera 40.
  • the optical images acquired by the optical image acquisition unit 101 are sequentially transferred via the CPU bus 130 to, for example, the main memory 133 and the optical image analysis unit 102.
  • the optical image analysis unit 102 acquires annotation information from the transferred optical image.
  • the optical image and annotation information are transferred via the CPU bus 130 to, for example, the storage unit 132 and the display control unit 107.
  • the storage unit 132 stores the transferred annotation information and optical image.
  • the display control unit 107 displays the transferred annotation information and optical image on the display unit 135.
  • the operator checks the displayed annotation information and optical image, and issues instructions as necessary via the operation unit 134. For example, if it is determined from the annotation information and optical image that appropriate preparations for imaging have been made, the operator issues instructions to capture a radiographic image via the operation unit 134. This imaging instruction is transmitted to the radiographic image acquisition unit 103 by the CPU 131.
  • the radiation image acquisition unit 103 When the radiation image acquisition unit 103 receives an instruction to perform imaging, it controls the radiation generation device 20 and the radiation detector 30 to perform radiation imaging. In radiation imaging, first, a radiation beam is irradiated from the radiation generation device 20 toward the subject O, and the radiation beam that passes through the subject O while being attenuated is detected by the radiation detector 30. The radiation image acquisition unit 103 acquires a signal corresponding to the intensity of the radiation beam detected by the radiation detector 30 as a radiation image. This radiation image is transferred sequentially to the main memory 133 and image processing unit 106 via the CPU bus 130.
  • the image processing unit 106 performs processes such as rotation, left-right inversion, enlargement/reduction, and tone conversion on the transferred radiographic image, and outputs the image-processed radiographic image.
  • the radiographic image analysis unit 104 performs segmentation on the image-processed radiographic image and obtains segmentation information.
  • the image-processed radiographic image, the segmentation information, and the annotation information stored in the memory unit 132 are transferred to the annotation placement unit 105 via the CPU bus 130.
  • the annotation placement unit 105 places the annotation information on the image-processed radiographic image based on the segmentation information, and outputs the radiographic image for display.
  • the display radiographic image is transferred via the CPU bus 130 to, for example, the storage unit 132 and the display control unit 107.
  • the storage unit 132 stores the transferred display radiographic image.
  • the display unit 135 displays the transferred display radiographic image on the display unit 135. The operator can check the displayed display radiographic image and issue operation instructions via the operation unit 134 as necessary.
  • Example 1 A radiography system, an information processing device, and an information processing method according to a first embodiment of the present disclosure will be described below with reference to Fig. 2 to Fig. 5.
  • a video camera is used as the camera 40 to obtain optical images as moving images at a predetermined frame rate while a still image is obtained by radiographing a "right hand," and an "R" mark is automatically annotated.
  • Fig. 2 is a flowchart showing the processing steps according to this embodiment. When the processing steps according to this embodiment are started, the process proceeds to step S201.
  • step S201 the optical image acquisition unit 101 acquires an optical image of the subject taking a posture for radiography. More specifically, the optical image acquisition unit 101 controls the camera 40 to capture a moving image of the subject's "right hand" on the radiation detector 30 arranged on the supine table until the subject takes the correct posture for radiography. In this way, the optical image acquisition unit 101 acquires an optical image, which is a moving image at a predetermined frame rate, from the camera 40.
  • Step S202 the optical image analysis unit 102 analyzes the optical image acquired by the optical image acquisition unit 101, and outputs the analysis result as annotation information.
  • the optical image analysis unit 102 analyzes the optical image at a predetermined frame rate, recognizes that the part to be photographed in the image is the "right hand”, and outputs the annotation information "R".
  • annotation information here is, for example, the symbol “PA” for frontal chest radiography in which the subject is in a position where radiation enters from the back, and "AP” for radiography in which the subject is in a position where radiation enters from the chest.
  • the symbols “RL” and “LR” are also used as annotation information for radiography in which radiation enters from the right side and the left side, respectively.
  • the symbols "R” and “L” are also commonly used as annotation information for radiography in which the right hand or right foot is imaged, and in which the left hand or left foot is imaged.
  • annotation information include information that indicates the subject's position, such as "standing position” when the subject is imaged while standing, “sitting position” when the subject is imaged while sitting, and “supine position” when the subject is imaged while lying on a bed.
  • This information is lost in a radiation image in which three-dimensional information is projected onto a two-dimensional image, and so must be acquired by other means.
  • it can be acquired by being registered in the information processing device 100 as radiography order information, or by the operator visually recognizing the subject and inputting the information via the operation unit 134.
  • annotation information is not registered as radiography order information, nor is it input by the operator, and the explanation will be given assuming that the annotation information is acquired by analytical processing of the optical image.
  • a specific means by which the optical image analysis unit 102 obtains annotation information from an optical image may be, for example, a method of performing image classification using an inference unit (trained model) generated using a machine learning model.
  • the optical image analysis unit 102 is configured to use an optical image as an input to the inference unit and obtain annotation information as the output of the inference unit.
  • the information processing device 100 is configured to include an inference unit, but the inference unit may be provided outside the information processing device 100.
  • training data consisting of pairs of a large number of optical images as input data and class numbers (labels) indicating annotation information corresponding to the posture of the subject shown in the optical images as output data is prepared.
  • the training data is then provided to a neural network such as a CNN, and training proceeds to optimize the parameters of the neural network so that a correct result is output for the input.
  • the neural network with optimized parameters generated as a result is called an inference device.
  • the information processing device 100 functions as an example of a learning unit that trains the inference device used in optical image analysis, but the optical image analysis unit 102 may use an inference device that has been trained by another learning device or the like.
  • a neural network-based "hand left-right inferor” is generated by machine learning using this training data. If machine learning is performed using a sufficient amount of training data, this inferor, when given an input image, can output 0 if the subject in the input image appears to be a right hand, and 1 if it appears to be a left hand.
  • inference machine In order to realize an inference machine that can identify the unique postures of many body parts, such as the chest and feet, in addition to images of the hands, it is sufficient to perform learning by adding learning data including optical images of those body parts and postures and class numbers assigned to each body part and posture. Also, a single inference machine that takes an optical image as input and outputs a class number may be generated by machine learning, but a configuration in which multiple inference machines are combined may also be used.
  • a configuration may be used in which a "body part inference machine” that recognizes the imaging body part is first used to recognize the imaging body part of the subject, such as the chest, hand, or foot, and if the result is "hand,” a “hand left/right inference machine” is operated, and if the result is "foot,” a “foot left/right inference machine” is operated.
  • a flexible optical image analysis unit 102 such as by partially upgrading or adding inference machines.
  • the optical image analysis unit 102 may also be realized by applying skeletal estimation technology that estimates joint positions from human body images. Such skeletal estimation can be performed by an inference device generated by machine learning that outputs class numbers assigned to joints and joint positions for major joint positions of the human body from optical images.
  • the desired optical image analysis unit 102 can be realized by associating the output combinations of class numbers of multiple joints and combinations of multiple joint positions with annotation information using a clustering algorithm such as k-means. In this case, the optical image analysis unit 102 uses the optical image as an input for the inference device and can obtain annotation information associated with the output from the inference device.
  • the processing by the information processing device 100 functioning as an example of a learning unit may use a GPU in addition to a CPU.
  • a learning program including a learning model learning can be performed by the CPU and GPU working together to perform calculations.
  • calculations may be performed only by the CPU or the GPU in the processing of the learning unit.
  • the image analysis processing according to this embodiment may also be realized using a GPU, similar to the learning unit.
  • the inference device is provided in an external device, the information processing device 100 does not need to function as a learning unit.
  • the learning unit may also include an error detection unit and an update unit, both of which are not shown.
  • the error detection unit obtains the error between correct data and output data output from the output layer of the neural network in response to input data input to the input layer.
  • the error detection unit may use a loss function to calculate the error between the output data from the neural network and correct data.
  • the update unit updates the connection weighting coefficients between the nodes of the neural network, etc., based on the error obtained by the error detection unit, so as to reduce the error.
  • This update unit updates the connection weighting coefficients, etc., using, for example, an error backpropagation method.
  • the error backpropagation method is a method of adjusting the connection weighting coefficients between the nodes of each neural network so as to reduce the above-mentioned error.
  • FCN Full Convolutional Network
  • SegNet SegNet
  • RCNN Regular CNN
  • fastRCNN fastRCNN
  • fasterRCNN fasterRCNN
  • YOLO You Only Look Once
  • SSD Single Shot Detector, or Single Shot MultiBox Detector
  • Step S203 the display control unit 107 displays the optical image 301 acquired by the optical image acquisition unit 101 and the annotation information 302 determined by the optical image analysis unit 102 on the display unit 135.
  • FIG. 3 shows an example of display of the optical image 301 and the annotation information 302 according to this embodiment.
  • the display control unit 107 displays the optical image 301 showing the "right hand" which is the imaging site, as a moving image at a predetermined frame rate, together with the annotation information 302 "R", on, for example, the console monitor 300 which is an example of the display unit 135.
  • the display control unit 107 can update the optical image 301 which is a moving image, and the annotation information 302 corresponding to each frame of the optical image 301, at a predetermined frame rate, and display them on the console monitor 300.
  • the operator can confirm whether the subject about to be radiographed is in the position intended by the operator.
  • the operator can also confirm whether appropriate annotation information has been requested by step S202.
  • the operator can assist the subject in assuming an appropriate position while observing the subject's condition in real time, and wait for the right timing for the appropriate annotation information to be displayed.
  • the operator confirms the error via the display on the console monitor 300 and corrects the annotation information via the operation unit 134.
  • the operator can, for example, operate the correction button 303 via the operation unit 134 to input annotation information and correct the annotation information to the desired information.
  • the storage unit 132 can store the annotation information corrected by the operator.
  • the annotation information corrected by the operator may be added, together with the corresponding optical image, to the learning data for additional learning of the inference device used in the analysis processing of the optical image.
  • Step S204 the radiation image acquisition unit 103 controls the radiation generation device 20 and the radiation detector 30 to perform radiation imaging of the subject and acquire a radiation image in response to a radiation imaging instruction given by the operator via the operation unit 134.
  • the radiation imaging performed here may be either still image imaging for acquiring a single radiation image or video imaging for generating radiation images continuously at a predetermined frame rate, but in this embodiment, still image imaging of a right hand will be described as an example.
  • Step S205 the image processing unit 106 performs image processing on the radiographic image acquired by the radiographic image acquisition unit 103.
  • the image processing may include, for example, image rotation, left-right inversion, enlargement/reduction, tone conversion, noise reduction, and the like.
  • Step S206 the radiation image analysis unit 104 applies segmentation to the radiation image that has been subjected to image processing by the image processing unit 106.
  • Fig. 4 shows an example of a radiation image 400 according to this embodiment.
  • the radiation image analysis unit 104 classifies the radiation image 400, in which the subject's right hand is captured, into an outside radiation field region 401, a direct radiation region 402, and anatomical regions (subject's soft tissue region 403 and subject's bone region 404).
  • the outside irradiation field region 401 is a region that contains almost no information and is shielded from radiation by a radiation aperture attached to a radiation generator in order to narrow the radiation irradiation region in radiography.
  • This outside irradiation field region 401 has a relatively clear edge at the boundary with the irradiation field region irradiated with radiation. Therefore, in segmentation, it is relatively easy to apply rule-based processing such as edge detection processing and straight line extraction using the Hough transform.
  • an outside-irradiation field area inference device that performs semantic segmentation may be generated and used by machine learning.
  • a machine learning model may be trained using training data that includes a radiation image and a label image in which the outside-irradiation field area in the radiation image is set to 1 and other areas are set to 0, and an outside-irradiation field area inference device may be generated and used.
  • the direct radiation region 402 is a region in radiography where radiation emitted from a radiation generator directly enters the radiation detector 30 without passing through a radiation aperture or the subject. This region is depicted with very large pixel values in a radiographic image, where the pixel values increase as the amount of incident radiation increases. Therefore, in segmentation, rule-based processing such as threshold processing using histogram analysis can be applied.
  • a direct radiation area inference device that performs semantic segmentation may be generated by machine learning and used.
  • a machine learning model may be trained using training data that includes a radiation image and a label image in which direct radiation areas in the radiation image are assigned a value of 1 and other areas are assigned a value of 0, and a direct radiation area inference device may be generated and used.
  • segmentation can be performed using rule-based processing using statistical information on each region, or an inference device generated by machine learning.
  • the inference device may be obtained by training a machine learning model using training data including radiographic images and label images with labels indicating the subject's soft tissue region and the subject's bone region in the radiographic images.
  • the method of segmentation to be adopted can be determined, for example, based on cost, performance, and the necessity for updating by machine learning.
  • the subject's soft tissue region 403 and the subject's bone region 404 are considered to be anatomical regions, but the anatomical regions are not limited to these and may include, for example, lung fields, depending on the imaging site.
  • the learning data can include a labeled image that uses a radiographic image as input data and is labeled for each region as output data.
  • the information processing device 100 functions as an example of a learning unit that trains an inference device used in radiographic image analysis, but the radiographic image analysis unit 104 may use an inference device that has been trained by another learning device, etc.
  • Step S207 the annotation placement unit 105 places (superimposes) the annotation information determined by the optical image analysis unit 102 or the annotation information corrected by the operator on the radiographic image, avoiding the diagnostic region of interest, based on the analysis result of the radiographic image analysis unit 104.
  • the annotation placement unit 105 places the annotation information in a region different from the region of interest in the radiographic image, based on the result of the radiographic image analysis unit 104.
  • the annotation placement unit 105 generates and acquires an annotated radiographic image.
  • the annotation placement unit 105 places the letter "R" as annotation information 405 indicating that the photographed subject is a right hand in the direct radiation region 402 of the radiographic image 400, which is a region different from the region of interest.
  • the annotation placement unit 105 can avoid the region of diagnostic interest by placing the annotation information in the above-mentioned outside the irradiation field region or direct radiation region, which are regions other than the region of interest.
  • the annotation placement unit 105 must place the annotation information while avoiding the outside irradiation field region.
  • the annotation placement unit 105 has no choice but to place the annotation information within the subject's region.
  • the annotation placement unit 105 may place the annotation information in a region other than the lung field region, avoiding the lung field, which may be the region of diagnostic interest. Also, in imaging of the cervical vertebrae or lumbar vertebrae, which does not produce a direct radiation region because the collimator is narrowed, the annotation placement unit 105 may place the annotation information in the soft tissue region, which is a region other than the region of interest, while avoiding the bone region, which is the region of diagnostic interest.
  • the operator may set an initial position for the annotation information placement position for each imaging technique in advance.
  • the annotation placement unit 105 can operate as an optimization means for placing annotation information that absorbs variations in the subject's physique and posture by finely adjusting the placement position for each radiological image from the set initial position and placing the annotation information. For example, if the radiological image is a frontal chest image, the initial position may be the lower right or lower left of the image, which corresponds to the armpit, which is relatively likely to be a direct radiation area. If there are multiple candidates for the initial position, the operator may set a priority order for the candidates for each analysis result of the radiological image, and a candidate may be selected according to the analysis result of the radiological image and the set priority order.
  • the annotation placement unit 105 may also adjust the size of the annotation information based on the size of the placement candidate area. For example, if the placement candidate area is smaller than a predetermined size, the size of the annotation information may be adjusted to a size smaller than the predetermined size. Furthermore, the annotation placement unit 105 may change the display color of the annotation information based on a brightness pattern such as the display brightness of the placement candidate area. For example, in a direct radiation area that is generally depicted in black, the display color of the annotation information may be white, and in soft tissue that is depicted in gray, the display color of the annotation information may be white with a black border. Note that the display color setting is not limited to this, and may be set arbitrarily according to a desired configuration. The font of the annotation information may also be changed by processing similar to that for changing the size and display color of the annotation information.
  • the radiological image is generally subjected to image processing such as the enlargement/reduction process, left-right inversion process, rotation process, and tone conversion process performed in step S205.
  • the annotation placement can be performed on the radiological image after the image processing has been performed so that it is not affected by these processes.
  • By performing the annotation placement after these image processing processes it is possible to prevent the annotation from being left-right inverted by the left-right inversion process, for example, and becoming difficult to read.
  • by performing the annotation placement process after the tone conversion process it is possible to prevent the contrast of the annotation information from being reduced or visibility from being impaired by the tone change process.
  • the radiographic image analysis unit 104 extracts the subject's movement in the radiographic image for each frame, and the annotation placement unit 105 places the annotation information so as to track the optimal placement position. In this case, it is possible to control the amount of displacement caused by tracking so that it does not become too large.
  • the radiological image analysis unit 104 segments the radiological image into multiple regions including anatomical regions, and the annotation placement unit 105 performs placement according to the segmentation results. This allows for flexible annotation placement that meets a wide range of needs.
  • Step S208 the display control unit 107 causes the display unit 135 to display the radiographic image 502 on which the annotation information 503 has been arranged by the annotation arrangement unit 105.
  • the display control unit 107 causes the display unit 135 to display the radiographic image 502 on which the annotation information 503 has been arranged by the annotation arrangement unit 105.
  • Fig. 5 shows a display example of an optical image 501, a radiographic image 502, and annotation information 503 and 504 according to this embodiment.
  • the console monitor 500 is an example of the display unit 135, and may be the same as the console monitor 300 in Fig. 3.
  • the operator can correct the annotation information to be appropriate by operating the correction button 505 via the operation unit 134. Also, if the annotation information is not placed in an appropriate position or in an easily visible display color due to a failure of the analysis by the radiation image analysis unit 104 or the like, the operator can adjust the position, change the display color, etc. by operating the correction button 505 via the operation unit 134.
  • the display control unit 107 can be configured to display the optical image 501 and the radiation image 502 side by side on the display unit 135. This allows the operator to easily confirm that appropriate annotation information is arranged by comparing the optical image with the annotation information.
  • the optical image displayed here may be a real-time image acquired as a video by the optical image acquisition unit 101, or a still image captured at approximately the same timing as when the radiation image is acquired. Note that approximately the same timing does not have to be strictly the same timing, and the optical image and the radiation image may be acquired before or after each other. By comparing the optical image and the radiation image acquired at approximately the same timing during radiation imaging, the subject's posture during radiation imaging and the annotation information can be more appropriately compared.
  • the radiation imaging system 1 includes a radiation generating device 20 and a radiation detector 30 that perform radiation imaging of a subject, a camera 40 that functions as an example of an optical device that performs optical imaging of the subject, and an information processing device 100.
  • the information processing device 100 includes a radiation image analysis unit 104 and an annotation placement unit 105.
  • the radiation image analysis unit 104 analyzes a radiation image acquired by radiation imaging of the subject.
  • the annotation placement unit 105 functions as an example of a placement unit that places annotation information on a radiation image based on the analysis result of the radiation image.
  • the annotation placement unit 105 can also function as an example of a generation unit that generates a radiation image on which annotation information is superimposed based on the analysis result of the radiation image.
  • the annotation information includes information indicating at least one of the posture, orientation, and left and right of the subject.
  • the information processing device 100 can optimize the annotation information placement process by analyzing the radiological image and placing annotations in optimal positions suitable for viewing, absorbing the individual differences and posture variations of the subject.
  • This type of automatic annotation process eliminates the need for an operator to place and remove annotation markers. This improves the workflow and suppresses human error.
  • the information processing device 100 further includes an optical image analysis unit 102 that analyzes an optical image acquired by optically capturing an image of the subject.
  • the optical image analysis unit 102 acquires annotation information using the optical image.
  • the optical image analysis unit 102 can acquire annotation information related to the acquired optical image using the output of an inference unit obtained by inputting the acquired optical image into an inference unit obtained by using the optical image and a label corresponding to the annotation information based on the optical image as learning data.
  • the optical image analysis unit 102 can recognize the imaging site of the subject using the optical image, and acquire annotation information related to the acquired optical image using the output of the inference unit obtained by inputting the acquired optical image into an inference unit corresponding to the recognized imaging site.
  • the optical image analysis unit 102 can also acquire multiple joint positions of the subject using the optical image, and obtain annotation information based on a combination of the multiple joint positions.
  • This automated annotation process which includes automating the setting of annotation information based on optical image analysis and automating the placement of annotation information based on radiological image analysis, can further improve workflow and reduce human error.
  • the information processing device 100 may further include an operation unit 134 that accepts operations for modifying annotation information.
  • the operator can appropriately modify the automatically set annotation information.
  • the optical image may also be a moving image acquired at a predetermined frame rate.
  • the optical image analysis unit 102 can analyze the moving image and output the analysis results.
  • the information processing device 100 can further include a display control unit 107 that causes the display unit 135 to display the optical image and annotation information.
  • the display control unit 107 can update the optical image and annotation information at a predetermined frame rate and display them on the display unit 135.
  • the operator can assist the subject to assume an appropriate posture while observing the subject's condition in real time, and wait for the timing when the appropriate annotation information is to be displayed.
  • the display control unit 107 can also display the radiation image on which the annotation information is arranged (superimposed) on the display unit 135.
  • the display control unit 107 can also display the optical image and the radiation image on which the annotation information is arranged on the display unit 135 in a state in which they can be compared.
  • the operator can compare the posture of the subject at the time of radiation imaging with the annotation information by comparing the optical image and the radiation image.
  • the display control unit 107 can display the optical image and the radiation image on which the annotation information is arranged on the display unit 135 in synchronization with each other so that the times at which the optical image and the radiation image were acquired are approximately the same.
  • the operator can more appropriately compare the posture of the subject at the time of radiation imaging with the annotation information by comparing the optical image and the radiation image acquired at approximately the same timing.
  • the annotation placement unit 105 places annotation information for each frame of the radiological image, and can adjust the amount of displacement of the placement position of the annotation information based on the continuity between the frames of the radiological image. For example, when the movement of the subject between consecutive frames of the radiological image is greater than a threshold, the annotation placement unit 105 can adjust the amount of displacement of the placement position of the annotation information to be equal to or less than a predetermined amount. With this configuration, it is possible to suppress a decrease in visibility of the annotation information due to, for example, a large movement of the placement position of the annotation information.
  • the radiographic image analysis unit 104 can also identify a region of interest from the radiographic image, and the annotation placement unit 105 can place annotation information in a region different from the region of interest.
  • the radiographic image analysis unit 104 can identify a direct radiation region in which radiation is detected from the radiographic image without passing through the subject, as a region different from the region of interest, and the annotation placement unit 105 can place annotation information in the direct radiation region.
  • the radiographic image analysis unit 104 can also identify an anatomical region including at least one of a bone region, a soft tissue region, and a lung field region from the subject region included in the radiographic image, and identify the region of interest from the anatomical region.
  • the radiation image analysis unit 104 can also identify the region of interest using the output of an inference device obtained by inputting the acquired radiation image into the inference device.
  • the inference device can be obtained using learning data including a radiation image and a label image in which different label values are assigned to the outside radiation field region, the direct radiation region, and the subject region in the radiation image.
  • the radiographic image analysis unit 104 may also identify a partial area from the radiographic image, and the annotation placement unit 105 may place annotation information within the identified partial area.
  • the radiographic image analysis unit 104 can identify an outside irradiation field area from the radiographic image where irradiation of radiation is blocked by the aperture and an irradiation field area where radiation is irradiated, and identify the irradiation field area as the partial area.
  • the annotation placement unit 105 can also place annotation information at a position adjusted according to the analysis results of the radiographic image from the initial placement position set for each imaging technique. Note that the annotation placement unit 105 may place annotation information at a position selected according to the analysis results of the radiographic image from a plurality of initial placement candidate positions set for each imaging technique.
  • the information processing device 100 may further include an image processing unit 106 that performs image processing on the radiation image, including at least one of a zoom-in/zoom-out process, a left-right inversion process, a rotation process, and a tone conversion process.
  • the annotation placement unit 105 can place annotation information on the image after the image processing unit. With this configuration, it is possible to prevent a decrease in visibility of annotation information due to image processing, etc.
  • the annotation placement unit 105 can also adjust at least one of the display color, size, and font of the annotation information depending on at least one of the size and brightness pattern of the area in which the annotation information is placed. With this configuration, it is possible to prevent a decrease in visibility of the annotation information, etc.
  • the optical image is analyzed to obtain annotation information, but the annotation information may be input by the operator.
  • the operation unit 134 functions as an example of an input unit that inputs annotation information.
  • the optical image acquisition unit 101 acquires an optical image captured using one camera 40.
  • the optical image acquisition unit 101 may be configured to acquire optical images of the subject O captured using multiple cameras.
  • multiple cameras for example, stereo photography can be performed, and the positional relationship between the radiation generator, radiation detector 30, and the subject can be accurately grasped, allowing the optical image analysis unit 102 to perform more accurate analysis processing.
  • the inference unit used by the optical image analysis unit 102 may be obtained using learning data that includes stereo images captured using multiple cameras as input data.
  • the image processing unit 106 performed image processing of the radiographic image in step S205.
  • the inference unit used in step S206 may be obtained using learning data that includes, as input data, radiographic images that have been subjected to similar image processing.
  • the image processing unit 106 may also perform image processing of the radiographic image before step S207.
  • the radiographic image analysis unit 104 may perform segmentation of the radiographic image before image processing is performed.
  • the image processing unit 106 may perform image processing of the optical image before step S202 or step S203. If image processing of the optical image is performed before step S202, the inference unit used in step S203 may be obtained using training data that includes, as input data, an optical line image that has been subjected to similar image processing.
  • the display control unit 107 may display a warning on the display unit 135 if the annotation information to be displayed does not match the information on the subject's posture, direction, left/right of a body part, etc. included in the imaging order information.
  • the warning may include, for example, a message to the effect that the annotation information obtained by analyzing the optical image does not match the information included in the imaging order information, or a message to encourage correction of the subject's posture.
  • Example 2 In the first embodiment, the case where the camera 40 is a video camera that outputs optical images at a predetermined frame rate has been described, but the camera 40 may also capture still images.
  • a radiation imaging system, an information processing device, and an information processing method according to a second embodiment of the present disclosure will be described with reference to Figs. 5 and 6.
  • the optical image acquisition unit 101 captures still images using the camera 40 and the optical images are not provided to the display control unit 107 as moving images that support the timing of imaging will be described. Note that a description of the contents described in detail in the first embodiment will be omitted.
  • Fig. 6 is a flowchart showing the processing steps according to this embodiment. When the processing steps according to this embodiment are started, the process proceeds to step S601.
  • Step S601 the optical image acquisition unit 101 acquires an optical image of the subject, and the radiation image acquisition unit 103 acquires a radiation image of the subject, in response to an image capture instruction from the operator via the operation unit 134.
  • the optical image acquisition unit 101 acquires a still image as an optical image of the subject obtained using the camera 40.
  • the timing of capturing the optical image and the radiation image does not necessarily need to be the same, and the respective capture times may be different as long as the subject is in the same imaging position.
  • the optical image acquisition unit 101 may acquire the optical image and the radiation image from the external storage device 60.
  • Step S602 similarly to step S202 in the first embodiment, the optical image analysis unit 102 analyzes the optical image acquired by the optical image acquisition unit 101, and outputs annotation information.
  • step S603 the image processing unit 106 performs image processing on the radiation image in the same manner as in step S205 according to the first embodiment.
  • Step S604 the radiographic image analysis unit 104 applies segmentation to the radiographic image that has been subjected to image processing, similar to step S206 according to Example 1. Note that the processing order of steps S602, S603, and S604 may be interchanged.
  • Step S605 the annotation placement unit 105 places the annotation information determined by the optical image analysis unit 102 in an area of the radiological image other than the area of diagnostic interest based on the results of the radiological image analysis unit 104, similar to step S207 in the first embodiment.
  • Step S606 the display control unit 107 causes the display unit 135 to display the radiographic image on which the annotation information has been arranged by the annotation arrangement unit 105. This allows the operator to check whether the ordered radiographic image has been acquired and whether appropriate annotation information has been arranged in an appropriate position so as to be easily visible.
  • the optical image is not displayed at a timing prior to the acquisition of the radiation image. Therefore, as shown in FIG. 5, the display control unit 107 more preferably causes the optical image and the radiation image to be displayed side by side on the display unit 135. This allows the operator to easily confirm that appropriate annotation information has been placed by comparing the optical image with the annotation information.
  • the optical image displayed here is a still image acquired at approximately the same timing as the radiation image was acquired.
  • the operator can correct the annotation information to be appropriate by operating the correction button 505 via the operation unit 134. Also, if the annotation information is not placed in an appropriate position or in an easily visible display color due to a failure of the analysis by the radiation image analysis unit 104, the operator can adjust the position, change the display color, etc. by operating the correction button 505 via the operation unit 134.
  • Example 1 information that would be lost in a radiographic image can be obtained by analyzing an optical image, and annotation information can be set. Furthermore, by analyzing a radiographic image and placing annotations in optimal positions suitable for viewing, it is possible to optimize the placement process of annotation information, absorbing individual differences and variations in posture of subjects. Therefore, by automating annotation, it is possible to improve the workflow and suppress human error. Furthermore, the configuration of this example makes it possible to reduce the costs associated with video cameras and video display.
  • Example 3 In the first and second embodiments, an example has been shown in which an annotation placement position is determined using the analysis result of the radiation image analysis unit 104.
  • an example in which an annotation placement position is determined using the analysis result of the optical image analysis unit 102 will be described with reference to Figs. 7 to 9. Note that the contents described in detail in the first embodiment will not be described again.
  • Fig. 7 is a flowchart showing the processing steps according to this embodiment. When the processing steps according to this embodiment are started, the process proceeds to step S701.
  • Step S701 the optical image acquisition unit 101 acquires an optical image of a subject in an imaging position for performing radiation imaging, similarly to step S201 according to the first embodiment.
  • Step S702 similarly to step S202 according to the first embodiment, the optical image analysis unit 102 analyzes the optical image 800 acquired by the optical image acquisition unit 101, and outputs annotation information.
  • the optical image analysis unit 102 also applies segmentation to the optical image 800 as shown in FIG. 8 to identify a radiation detector region 801, a collimator lamp irradiation region 802, and a subject region 803.
  • FIG. 8 shows an example of an optical image 800 according to this embodiment.
  • the identified radiation detector region 801, collimator lamp irradiation region 802, and subject region 803 of the optical image 800 correspond to the entire image, the irradiation field region, and the subject region in the radiation image, respectively.
  • the collimator lamp irradiation area 802 is an area formed by visible light that is irradiated in order to confirm the area to be irradiated with radiation during radiography. By visually checking this collimator lamp irradiation area 802, the operator can adjust the position of the radiation generating device 20 and the size of the collimator aperture.
  • the optical image analysis unit 102 performs segmentation using an inference device.
  • the inference device used here can be obtained using learning data that uses an optical image as input data and includes, as output data, a label image in which labels are assigned to the radiation detector region, the collimator lamp irradiation region, and the subject region in the optical image.
  • the accuracy of extraction can be improved by fine-tuning an inference device that performs segmentation using such learning data.
  • Semantic segmentation of optical images is not limited to methods that use an inference device, and any method may be used depending on the desired configuration. For example, rule-based segmentation may be performed.
  • the information processing device 100 functions as an example of a learning unit that learns an inference device used for segmenting optical images, but the optical image analysis unit 102 may use an inference device that has been trained by another learning device, etc.
  • step S703 the annotation placement unit 105 places (superimposes) the annotation information determined by the optical image analysis unit 102 on the optical image based on the segmentation result of the optical image, avoiding the diagnostic region of interest.
  • the annotation placement unit 105 places the annotation information in a region different from the region of interest in the optical image based on the segmentation result of the optical image. In this way, the annotation placement unit 105 generates and acquires an annotated optical image.
  • Possible regions other than the region of interest that are candidates for the placement of annotation information include, first, regions that are not subject regions within the radiation detector region. Furthermore, regions that are within the collimator lamp irradiation region but are not subject regions are more preferable candidates because they correspond to direct radiation regions in the radiation image.
  • Figure 9 shows an example of an annotated optical image 900 according to this embodiment, in which annotation information 903 is placed in a region that is within the collimator lamp irradiation region 901 but is not subject region 902. Since the internal structure of the human body is not reflected in optical images, it is difficult to avoid regions of interest such as lung fields and bones, but annotation information may be placed in a region other than the region of interest by estimating the approximate region of interest from the segmentation results.
  • step S206 in embodiment 1 the annotation placement in this embodiment is essentially the same as that described in detail in step S206 in embodiment 1. Specifically, the contents described in detail in step S206 in embodiment 1 can be applied to considerations when trimming, setting of initial positions, optimization of size, display color, and font, consideration of the effects of image processing, and adjustment of tracking and displacement amount in videos, but are omitted here.
  • Step S704 the display control unit 107 causes the display unit 135 to display the annotated optical image acquired by the annotation placement unit 105.
  • the operator can check whether the subject about to be radiographed is in the posture intended by the operator. This allows the operator to assist the subject in taking an appropriate posture while observing the state of the subject in real time with moving images, and wait for the timing when appropriate annotation information is to be displayed.
  • the operator can check whether the annotation information obtained in step S702 is placed in an appropriate position.
  • the operator can confirm the error via the display unit 135 and correct the annotation information or the positioning position via the operation unit 134.
  • the storage unit 132 can also store the annotation information corrected by the operator and the optical image in which the positioning of the annotation information has been corrected.
  • the annotation information corrected by the operator and the optical image in which the positioning of the annotation information has been corrected may be added to the learning data for additional learning of the inference device together with the corresponding optical image.
  • Step S705 the radiation image acquisition unit 103 acquires a radiation image of the subject in response to a radiation imaging instruction from the operator via the operation unit 134, similar to step S204 in the first embodiment.
  • Step S706 the image processing unit 106 performs image processing on the radiation image in the same manner as in step S205 according to the first embodiment.
  • Step S707 the radiation image analysis unit 104 applies segmentation to the radiation image that has been subjected to image processing, similarly to step S206 in Example 1.
  • an exposure field region and a subject region are extracted from the radiation image.
  • Step S708 the annotation placement unit 105 projects the annotation information and the position in the annotated optical image onto the radiographic image.
  • the annotation placement unit 105 obtains a coordinate transformation formula (correspondence) between the irradiation field region and the subject region in the optical image specified in step S702 and the irradiation field region and the subject in the radiographic image specified in step S707.
  • the annotation placement unit 105 uses the obtained coordinate transformation formula to project the annotation position in the optical image onto the annotation position in the radiographic image, and places the annotation information at a position on the radiographic image corresponding to the annotation position in the optical image.
  • the coordinate conversion formula can be generated based on, for example, the physical spatial arrangement coordinates of the radiation generating device 20, the radiation detector 30, and the camera 40 that captures the optical image.
  • the coordinate conversion formula may also be stored in advance in the storage unit 132, etc., as a conversion table based on these physical spatial arrangement coordinates, arrangement angles, etc.
  • step S709 the display control unit 107 causes the display unit 135 to display the radiographic image on which the annotation information has been placed by the annotation placement unit 105, similar to step S208 according to the first embodiment.
  • the optical image analysis unit 102 performs segmentation as an analysis process on the optical image, and the annotation placement unit 105 places annotation information on the optical image based on the analysis results of the optical image.
  • the annotation placement unit 105 can place annotation information at a position on the radiographic image that corresponds to the position of the annotation information placed on the optical image, based on the correspondence between the analysis results of the radiographic image and the analysis results of the optical image.
  • the optical image analysis unit 102 can identify at least one of the radiation detector region, the collimator lamp irradiation region, and the subject region from the optical image by segmentation.
  • the optical image analysis unit 102 can perform segmentation using the output of an inference unit obtained by inputting the acquired optical image into the inference unit.
  • the inference unit can be obtained using learning data including an optical image and a label image in which different label values are assigned to the radiation detector region, the collimator lamp irradiation region, and the subject region in the optical image.
  • annotations can be placed in a way that is suitable for viewing, and the automation of annotations eliminates the need for the operator to place and remove annotation markers. This improves workflow and reduces human error.
  • the information processing device 100 of this embodiment not only places annotations in radiological images, but also places annotations in optical images, making it possible to generate optical images that look as if actual annotation markers had been placed. This allows the operator to more intuitively check annotation information via the display unit 135, improving workflow and reducing human error.
  • the annotation placement unit 105 places annotation information on the radiographic image or optical image.
  • the annotation placement unit 105 may function as an example of an annotation unit that associates annotation information with the radiographic image or optical image.
  • the annotation unit can, for example, add annotation information to the radiographic image or optical image, or associate these images with the annotation information and store them in the storage unit 132 or the like.
  • the display control unit 107 can control the display unit 135 to display the annotation information associated with the radiographic image or optical image, for example, around these images or superimposed on these images.
  • Example 1 information that would be lost in a radiological image can be obtained by analyzing an optical image, and annotation information can be set. Therefore, by automating annotation, the workflow can be improved and human error can be reduced.
  • the optical image acquisition unit 101 and the radiation image acquisition unit 103 acquired the optical image and the radiation image using the camera 40 and the radiation detector 30.
  • the optical image acquisition unit 101 and the radiation image acquisition unit 103 may acquire these images from the external storage device 60, an imaging device connected to the information processing device 100 via any network, etc.
  • the optical image and the radiation image may be captured while the subject is in the same imaging position, and the acquisition (imaging) times of the respective images may be different.
  • the display screens described in the above embodiments 1 to 3 are merely examples. Therefore, the layout and display format of various images, buttons, etc. on the display screen displayed on the display unit 135 may be arbitrary.
  • the workflow can be improved by eliminating the need for the operator to place and remove annotation markers.
  • the inference devices for estimating annotation information and for segmentation mentioned above are thought to extract the brightness values of the input data images, the order and gradient of light and dark areas, position, distribution, continuity, etc. as part of the features and use them in the inference process.
  • the inference device for estimating the annotation information and the inference device for segmentation described above can be provided in the information processing device 100.
  • the inference device (trained model) may be configured, for example, as a software module executed by a processor such as a CPU, MPU, GPU, or FPGA, or may be configured as a circuit that performs a specific function such as an ASIC.
  • the inference device may be provided in another device such as a server connected to the information processing device 100.
  • the information processing device 100 can use the inference device by connecting to a server equipped with the inference device via any network such as the Internet.
  • the server equipped with the inference device may be, for example, a cloud server, a fog server, or an edge server.
  • the reliability of the network may be improved by configuring the network to use radio waves in a dedicated wavelength band that is limited to the facility, site, area, or the like.
  • the network may also be configured by wireless communication that is capable of high speed, large capacity, low latency, and multiple simultaneous connections.
  • the present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments and examples is supplied to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device read and execute the program. It can also be realized by a circuit (e.g., an ASIC) that implements one or more functions.
  • a computer may have one or more processors or circuits, and may include separate computers or a network of separate processors or circuits to read and execute computer-executable instructions.
  • the processor or circuitry may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA).
  • the processor or circuitry may also include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

被検体の放射線撮影によって取得した放射線画像を解析する放射線画像解析部と、放射線画像の解析結果に基づいて、アノテーション情報を放射線画像に配置する配置部とを備える情報処理装置が提供される。

Description

情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
　本開示は、情報処理装置、放射線撮影システム、情報処理方法、及びプログラムに関する。
　一般に医療検査用の放射線撮影で取得した放射線画像からは、撮影時の患者の姿勢や放射線の入射方向などの情報が失われてしまう。具体的には、胸部正面放射線撮影において、放射線が背中から入射した姿勢である「ＰＡ」撮影か、それとも胸部から入射した姿勢である「ＡＰ」撮影かは、放射線画像からは判断できない。そこで、このような情報を放射線画像に残すために、放射線吸収率の高い素材で作った文字型構造物（アノテーションマーカ）を、被検体と一緒に写り込むように放射線撮影することが一般に行われている。これをアノテーションと呼ぶ。
　アノテーションマーカには、上述した「ＰＡ」、「ＡＰ」の他に、胸部側面撮影で放射線が右半身から入射した姿勢を表す「ＲＬ」、左半身から入射した姿勢を表す「ＬＲ」、及び四肢など左右がある部位に関して左右のいずれかを表す「Ｌ」、「Ｒ」などがある。また、医療施設によっては「立位」、「臥位」、及び「座位」といったアノテーションマーカも用いられている。これらの運用にあたっては、誤ったアノテーションマーカの配置や、撮影後のアノテーションマーカの除去し忘れが問題となっており、特許文献１では無線通信手段を有するアノテーションマーカを用いて問題解決を図っている。
特開２００９－１７８５２２号公報
　特許文献１に記載の技術では、無線通信手段を有するアノテーションマーカを用いることで、間違ったアノテーションマーカの配置やアノテーションマーカの除去し忘れという問題を解決している。しかしながら、特許文献１では、技師によるアノテーションマーカ配置・除去作業が必要である、というワークフロー上の問題は課題とされていなかった。
　本開示に係る一実施態様は、操作者によるアノテーションマーカの配置・除去作業を排して、ワークフローを改善することを目的の一つとする。
　本開示の一実施態様に係る情報処理装置は、被検体の放射線撮影によって取得した放射線画像を解析する放射線画像解析部と、前記放射線画像の解析結果に基づいて、アノテーション情報を前記放射線画像に配置する配置部とを備える。
　本発明のさらなる特徴が、添付の図面を参照して以下の例示的な実施形態の説明から明らかになる。
一実施形態に係る放射線撮影システムの概略構成を示す。 一実施形態に係る情報処理装置の概略構成を示す。 実施例１に係る処理手順を示すフローチャートである。 実施例１に係る表示例を説明する図である。 実施例１に係る放射線画像の例を説明する図である。 実施例１に係る表示例を説明する図である。 実施例２に係る処理手順を示すフローチャートである。 実施例３に係る処理手順を示すフローチャートである。 実施例３に係る光学画像の例を説明する図である。 実施例３に係るアノテーション済みの光学画像の例を説明する図である。
　以下、本開示を実施するための例示的な実施形態及び実施例を、図面を参照して詳細に説明する。ただし、以下の実施形態及び実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
　なお、以下において、放射線という用語は、例えば、Ｘ線及びγ線等の電磁放射線、並びにα線、β線、粒子線、陽子線、重イオン線、及び中間子線等の粒子放射線を含むことができる。
　また、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。また、決定木を用いたアルゴリズムとして、ＬｉｇｈｔＧＢＭやＸＧＢｏｏｓｔのように勾配ブースティングを用いた手法も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び実施例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、学習データの出力データのことを正解データともいう。
　さらに、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
（概略構成）
　まず、図１Ａ及び図１Ｂを参照して、本開示の一実施形態に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本開示の一実施形態は、例えば図１Ａ及び図１Ｂに示すような放射線撮影システム１及び情報処理装置１００に適用される。図１Ａは本開示の一実施形態に係る放射線撮影システム１の概略構成を示し、図１Ｂは本開示の一実施形態に係る情報処理装置１００の概略構成を示す。なお、図１Ａでは、被検体Ｏが臥位の体勢である状態を示すが、被検体Ｏは、例えば立位であってもよいし、座位であってもよい。また、被検体Ｏを支えるために用いられる撮影テーブルは、被検体Ｏの体位に応じたテーブルであってよい。
　放射線撮影システム１には、情報処理装置１００、放射線発生装置２０、放射線検出器３０、及びカメラ４０が設けられている。情報処理装置１００は、放射線発生装置２０、放射線検出器３０、及びカメラ４０に接続されており、これらを制御することができる。また、情報処理装置１００は、放射線検出器３０及びカメラ４０を用いて得られた各種画像の画像処理や解析処理を行うことができる。また、情報処理装置１００は、インターネットやイントラネット等の任意のネットワーク５０を介してサーバ等の外部記憶装置６０に接続され、外部記憶装置６０とデータ授受を行うことができる。なお、外部記憶装置６０は、情報処理装置１００に直接接続されてもよい。
　放射線発生装置２０は、例えば放射線管等の放射線発生器やコリメータ、コリメータランプ等を含み、情報処理装置１００の制御に従い放射線ビームを照射することができる。放射線発生装置２０から照射された放射線ビームは、被検体Ｏを減衰しながら透過し、放射線検出器３０に入射する。
　放射線検出器３０は、入射した放射線ビームを検出し、検出した放射線ビームに対応する信号を情報処理装置１００に送信することができる。放射線検出器３０は、放射線を検出して、対応する信号を出力する任意の放射線検出器であればよく、例えば、ＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｅｔｅｃｔｏｒ）等を用いて構成されることができる。また、放射線検出器３０は、シンチレータ等を用いて放射線を一旦可視光に変換し、光センサ等により可視光を電気信号に変換するような間接変換型の検出器であってもよいし、入射した放射線を電気信号に直接変換する直接変換型の検出器であってもよい。
　カメラ４０は、情報処理装置１００の制御に従って被検体Ｏについて光学画像撮影を行い、光学画像を取得する光学機器の一例である。カメラ４０は、撮影により得た光学画像を情報処理装置１００に送信する。なお、カメラ４０は、公知の任意の構成を有してよく、ビデオカメラ等の動画撮影が可能なカメラとして構成されてもよいし、静止画撮影のみを行うカメラとして構成されてもよい。また、カメラ４０は、可視光による撮影を行う構成であってもよいし、赤外光等の放射線以外の不可視光による撮影を行う構成であってもよい。
　情報処理装置１００には、図１Ｂに示されるように、光学画像取得部１０１、光学画像解析部１０２、放射線画像取得部１０３、放射線画像解析部１０４、アノテーション配置部１０５、画像処理部１０６、及び表示制御部１０７が設けられている。また、情報処理装置１００には、ＣＰＵ１３１、記憶部１３２、メインメモリ１３３、操作部１３４、及び表示部１３５が設けられている。情報処理装置１００の各部は、ＣＰＵバス１３０を介して接続され、互いにデータ授受が可能である。
　光学画像取得部１０１は、カメラ４０により撮影された被検体Ｏの光学画像を取得することができる。また、光学画像取得部１０１は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された不図示の光学機器等から被検体Ｏの光学画像を取得してもよい。また、光学画像取得部１０１は、記憶部１３２に記憶された光学画像を取得してもよい。
　光学画像解析部１０２は、光学画像の画像解析を行うことができる。具体的には、光学画像解析部１０２は、光学画像を解析して、光学画像に対応するアノテーション情報を取得することができる。アノテーション情報には、例えば、光学画像に示されている被検体Ｏの姿勢と、向きと、部位の左右との少なくとも一つを示す情報が含まれてよい。また、光学画像解析部１０２は、光学画像に対してセグメンテーション等の他の解析処理を行うこともできる。当該光学画像の解析処理については後述する。
　放射線画像取得部１０３は、放射線発生装置２０及び放射線検出器３０を制御し、被検体Ｏの放射線撮影を行い、放射線検出器３０から被検体Ｏの放射線画像を取得することができる。また、放射線画像取得部１０３は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された不図示の放射線検出器等から被検体Ｏの放射線画像を取得してもよい。また、放射線画像取得部１０３は、記憶部１３２に記憶された放射線画像を取得してもよい。
　放射線画像解析部１０４は、放射線画像の画像解析を行うことができる。具体的には、放射線画像解析部１０４は、放射線画像を解析して、放射線画像の各領域を特定・認識するセグメンテーションを行うことができる。当該放射線画像の解析処理については後述する。
　アノテーション配置部１０５は、光学画像解析部１０２が求めたアノテーション情報を放射線画像に配置（重畳）する配置部の一例として機能することができる。アノテーション情報の配置処理については後述する。また、アノテーション配置部１０５は、光学画像解析部１０２が求めたアノテーション情報を放射線画像に関連付けるアノテーション部の一例として機能することもできる。
　画像処理部１０６は、放射線画像について画像処理を行う。画像処理には、所望の構成に応じて任意の画像処理が含まれてよく、例えば、画像の回転や、左右反転、拡大縮小等の処理、階調変換処理、及びノイズ低減処理等が含まれてよい。また、画像処理部１０６は、光学画像についても同様に画像処理を行ってもよい。
　表示制御部１０７は、表示部１３５の表示を制御することができる。表示制御部１０７は、例えば、被検体Ｏである患者に関する患者情報、撮影条件、操作者によって設定されたパラメータ、生成された光学画像や放射線画像、アノテーション情報、及びセグメンテーション情報等を表示部１３５に表示させることができる。また、表示制御部１０７は、所望の構成に応じて、操作者の操作を受け付けるためのボタンやスライダ等の任意の表示やＧＵＩ等を表示部１３５に表示させることができる。
　ＣＰＵ（セントラルプロセッシングユニット）１３１は、情報処理装置１００の動作制御を行うプロセッサの一例である。ＣＰＵ１３１は、メインメモリ１３３を用いて、操作部１３４からの操作、及び記憶部１３２に記憶されているパラメータに従った装置全体の動作制御等を行う。なお、情報処理装置１００におけるプロセッサはＣＰＵに限られず、例えば、マイクロプロセッシングユニット（ＭＰＵ）、及びグラフィクスプロセッシングユニット（ＧＰＵ）を含みうる。また、プロセッサは、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　記憶部１３２は、情報処理装置１００により処理された各種画像やデータ等を記憶することができる。また、記憶部１３２は、患者情報、撮影条件、及び操作者によって設定されたパラメータ等を記憶することができる。記憶部１３２は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。メインメモリ１３３は、メモリ等で構成され、一時的なデータの記憶等に用いられることができる。
　操作部１３４は、情報処理装置１００を操作するための入力機器を含み、例えばキーボードとマウスを含む。表示部１３５は、例えば、任意のディスプレイを含み、表示制御部１０７の制御に従い、被検体情報等の各種の情報や各種画像等を表示する。表示部１３５は、放射線発生装置２０及び放射線検出器３０を含む放射線撮影装置を操作するコンソールのモニタの他、被検体のポジショニングを支援しながらでも観察できる位置に設置されたサブモニタ、放射線照射器のコンソールモニタであってもよい。また、操作者が装着したまま作業可能なヘッドマウントディスプレイなど、操作者が少ない視線移動で確実に表示を確認できるものを用いることもできる。なお、表示部１３５はタッチパネル式のディスプレイにより構成されてもよく、この場合には表示部１３５は操作部１３４として兼用されることができる。
　なお、情報処理装置１００は、プロセッサ及びメモリが設けられたコンピュータによって構成されることができる。なお、情報処理装置１００は、一般的なコンピュータによって構成されてもよいし、放射線撮影システム専用のコンピュータによって構成されてもよい。また、情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）であってもよく、デスクトップＰＣ、ノート型ＰＣ、又はタブレット型ＰＣ（携帯型の情報端末）等が用いられてもよい。さらに、情報処理装置１００は、一部の構成要素が外部装置に配置されるようなクラウド型のコンピュータとして構成されてもよい。
　また、光学画像取得部１０１、光学画像解析部１０２、放射線画像取得部１０３、放射線画像解析部１０４、アノテーション配置部１０５、画像処理部１０６、及び表示制御部１０７は、ＣＰＵ１３１によって実行されるソフトウェアモジュールで構成されてよい。さらに、これら各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
　次に、ＣＰＵ１３１の制御に従った情報処理装置１００の動作について説明する。まず、図示しない情報管理装置から送信される撮影オーダー情報に基づき、情報処理装置１００は、ＣＰＵ１３１により光学画像取得部１０１による光学画像取得を開始する。ここで撮影オーダー情報とは、医師がオーダーする検査の単位に対応する情報であり、例えば、患者情報、撮影（予定）日時、並びに医師の所見に基づく撮影対象の部位、向き、及び姿勢等を含む情報である。撮影オーダー情報には、放射線撮影に必要な情報として、例えば、用いる放射線検出器の種類（立位用、臥位用、及びポータブルなど）、患者の姿勢（撮影部位、及び方向など）、及び放射線撮影条件（管電圧、管電流、及びグリッド有無など）が含まれる。
　光学画像取得部１０１は、カメラ４０を制御して被検体Ｏの光学画像撮影を行い、カメラ４０から光学画像を取得する。光学画像取得部１０１が取得した光学画像は、ＣＰＵバス１３０を介して、例えば、メインメモリ１３３、及び光学画像解析部１０２に順次転送される。
　光学画像解析部１０２は、転送された光学画像からアノテーション情報を取得する。光学画像及びアノテーション情報は、ＣＰＵバス１３０を介して、例えば記憶部１３２、及び表示制御部１０７に転送される。記憶部１３２は、転送されたアノテーション情報と光学画像を記憶する。表示制御部１０７は、転送されたアノテーション情報と光学画像を表示部１３５に表示させる。
　操作者は、表示されたアノテーション情報と光学画像を確認し、操作部１３４を介して必要に応じた指示を行う。例えば、アノテーション情報と光学画像から適切な撮影準備が行われたと判断できれば、操作者は操作部１３４を介して放射線画像の撮影指示を行う。この撮影指示は、ＣＰＵ１３１により放射線画像取得部１０３に伝えられる。
　放射線画像取得部１０３は、撮影指示を受けると、放射線発生装置２０及び放射線検出器３０を制御して放射線撮影を実行する。放射線撮影では、まず放射線発生装置２０から放射線ビームを被検体Ｏに向けて照射し、被検体Ｏを減衰しながら透過した放射線ビームを放射線検出器３０で検出する。放射線画像取得部１０３は、放射線検出器３０で検出された放射線ビームの強度に応じた信号を放射線画像として取得する。この放射線画像は、ＣＰＵバス１３０を介して、メインメモリ１３３、及び画像処理部１０６に順次転送される。
　画像処理部１０６は、転送された放射線画像に対して、例えば、回転処理、左右反転処理、拡大縮小処理、及び階調変換処理等を行い、画像処理済みの放射線画像を出力する。放射線画像解析部１０４は、画像処理済みの放射線画像に対してセグメンテーションを行い、セグメンテーション情報を取得する。画像処理済みの放射線画像、セグメンテーション情報、及び記憶部１３２に保存されたアノテーション情報は、ＣＰＵバス１３０を介して、アノテーション配置部１０５に転送される。アノテーション配置部１０５は、セグメンテーション情報に基づいてアノテーション情報を画像処理済みの放射線画像に配置し、表示用放射線画像を出力する。
　表示用放射線画像は、ＣＰＵバス１３０を介して例えば記憶部１３２、及び表示制御部１０７に転送される。記憶部１３２は、転送された表示用放射線画像を記憶する。表示部１３５は、転送された表示用放射線画像を表示部１３５に表示させる。操作者は、表示された表示用放射線画像を確認し、操作部１３４を介して必要に応じた操作指示を行うことができる。
（実施例１）
　以下、図２乃至図５を参照しながら、本開示の実施例１に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本実施例では、カメラ４０としてビデオカメラを用いて、光学画像を所定のフレームレートの動画として取得しながら、「右手」を放射線撮影して静止画像を取得し、「Ｒ」というマークを自動アノテーションする場合について説明する。
（処理フロー）
　以下、本実施例に係る一連の処理手順について図２を参照して説明する。図２は、本実施例に係る処理手順を示すフローチャートである。本実施例に係る処理手順が開始されると、処理はステップＳ２０１に移行する。
（ステップＳ２０１）
　ステップＳ２０１では、光学画像取得部１０１が、放射線撮影を行うために撮影姿勢をとる被検体の光学画像を取得する。より具体的には、光学画像取得部１０１は、カメラ４０を制御して、臥位テーブルの上に配置された放射線検出器３０の上で、撮影対象である「右手」が正しい撮影姿勢をとるまでの様子を動画撮影する。これにより、光学画像取得部１０１は、カメラ４０から所定のフレームレートの動画像である光学画像を取得する。
（ステップＳ２０２）
　ステップＳ２０２では、光学画像解析部１０２が、光学画像取得部１０１が取得した光学画像を解析し、解析結果をアノテーション情報として出力する。本実施例においては、光学画像解析部１０２は、所定のフレームレートの光学画像を解析して、画像中の撮影対象部位が「右手」であることを認識し、アノテーション情報「Ｒ」を出力する。
　ここでアノテーション情報とは、例えば胸部正面撮影において放射線が被検体に背中から入射する姿勢の撮影であれば「ＰＡ」、胸部から入射する姿勢の撮影であれば「ＡＰ」という記号である。また、胸部側面撮影においては、放射線が被検体の右側から入射する姿勢の撮影であれば「ＲＬ」、左側から入射する姿勢の撮影であれば「ＬＲ」という記号もアノテーション情報として用いられる。さらに、人体の四肢のような左右がある部位の撮影において、右手や右足を撮影した場合は「Ｒ」、左手や左足を撮影した場合は「Ｌ」という記号もアノテーション情報として一般に用いられる。その他、被検体が立った状態で撮影した「立位」、座った状態で撮影した「座位」、寝台に横たわって撮影した「臥位」などの被検体の体位を表す情報もアノテーション情報の一例である。
　これらの情報は、３次元情報を２次元画像に投影した放射線画像からは失われてしまうため、別の手段での取得が必要である。例えば、撮影オーダー情報として情報処理装置１００に登録されたり、操作者が被検体を視認して操作部１３４を介して入力したりして取得することができる。本実施例では、撮影オーダー情報としてアノテーション情報は登録されず、また操作者によっても入力されない場合を想定し、光学画像に対する解析処理によって取得するものとして説明する。
　光学画像解析部１０２が光学画像からアノテーション情報を取得するための具体的な手段としては、例えば機械学習モデルを用いて生成した推論器（学習済モデル）により画像分類を行う方法が考えられる。本実施例では、光学画像解析部１０２は、推論器の入力として光学画像を用いて、推論器の出力としてアノテーション情報を取得する構成とする。なお、本実施例では、情報処理装置１００が推論器を備える構成とするが、推論器は情報処理装置１００の外部に設けられてもよい。
　本実施例に係る推論器の機械学習では、多数の光学画像を入力データとし、光学画像に示される被検体の姿勢等に対応するアノテーション情報を示すクラス番号（ラベル）を出力データとしたペアからなる学習データを用意する。そして、学習データをＣＮＮなどのニューラルネットワークに与え、入力に対して正しい結果が出力されるようにニューラルネットワークのパラメータを最適化するように学習を進める。ここでは、その結果として生成されるパラメータが最適化されたニューラルネットワークを推論器と呼ぶ。なお、本実施例においては、情報処理装置１００が、光学画像解析に用いる推論器の学習を行う学習部の一例として機能するが、光学画像解析部１０２は、他の学習装置等により学習が行われた推論器を用いてもよい。
　本実施例では、画像中の撮影対象部位が「右手」か「左手」であることを認識するため、様々な被検体及び様々な姿勢の手の光学画像を収集し、それぞれに「右手」であれば０、「左手」であれば１といったクラス番号を与えることで学習データを用意する。そして、この学習データを用いた機械学習により、ニューラルネットワークベースの「手の左右推論器」を生成する。十分な量の学習データを用いて機械学習が行われれば、この推論器は、入力画像が与えられたとき、入力画像に写っている被検体が右手らしければ０、左手らしければ１を出力することができる。
　手の画像の他にも、胸部や足など多くの部位について、それぞれ固有の姿勢を識別するような推論器を実現するには、それらの部位・姿勢の光学画像と、それぞれの部位・姿勢に割り当てたクラス番号とを含む学習データを追加して学習を行えばよい。また、光学画像を入力としてクラス番号を出力するひとつの推論器を機械学習で生成してもよいが、複数の推論器を組み合わせる構成としてもよい。例えば、まず撮影部位を認識する「部位推論器」を用いて、胸部、手、又は足といった被検体の撮影部位を認識し、その結果が「手」であれば「手の左右推論器」、「足」であれば「足の左右推論器」を動作させるという構成を用いてもよい。このような構成では、部分的な推論器のバージョンアップや追加など、柔軟な光学画像解析部１０２の実現することができる。
　また、人体画像から関節位置を推定する骨格推定の技術を応用して光学画像解析部１０２を実現してもよい。このような骨格推定は、光学画像から、人体の主要な関節位置について、関節に与えられたクラス番号と関節位置を出力するように機械学習によって生成された推論器によって行うことができる。出力された複数の関節のクラス番号の組み合わせと、複数の関節位置の組み合わせとを、ｋ平均法などのクラスタリングアルゴリズムを用いてアノテーション情報に関連付けることで、所望の光学画像解析部１０２を実現することができる。この場合には、光学画像解析部１０２は、推論器の入力として光学画像を用い、推論器からの出力に関連付けられたアノテーション情報を取得することができる。
　なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような機械学習アルゴリズムを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例では、学習部の一例として機能する情報処理装置１００による処理には、ＣＰＵに加えてＧＰＵを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行うことができる。なお、学習部の処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、本実施例に係る画像解析処理についても、学習部と同様にＧＰＵを用いて実現してもよい。なお、推論器が外部装置に設けられている場合には、情報処理装置１００は学習部として機能しなくてもよい。
　また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
　なお、本実施例に係る機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ　ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）を用いることもできる。
（ステップＳ２０３）
　ステップＳ２０３では、表示制御部１０７が、光学画像取得部１０１が取得した光学画像３０１と、光学画像解析部１０２が求めたアノテーション情報３０２を表示部１３５に表示させる。ここで、図３は、本実施例に係る光学画像３０１とアノテーション情報３０２との表示例を示す。本実施例においては、表示制御部１０７は、撮影部位である「右手」を写した光学画像３０１を所定のフレームレートの動画像として、アノテーション情報３０２である「Ｒ」とともに、例えば表示部１３５の一例であるコンソールモニタ３００に表示させる。なお、表示制御部１０７は、動画像である光学画像３０１と光学画像３０１の各フレームに対応するアノテーション情報３０２とを、所定のフレームレートで更新してコンソールモニタ３００に表示させることができる。
　操作者は、コンソールモニタ３００の表示を確認することで、これから放射線撮影しようとしている被検体が、操作者が意図した姿勢を取っているかを確認できる。また、操作者は、ステップＳ２０２によって適切なアノテーション情報が求められているか否かを確認できる。特に動画像を用いることで、操作者は被検体の状態をリアルタイムに観察しながら、適切な姿勢をとれるように被検体を支援し、適切なアノテーション情報が表示されるタイミングを待つことができる。
　また、光学画像解析部１０２が出力するアノテーション情報が誤っている場合、操作者はコンソールモニタ３００の表示を介して誤りを確認し、操作部１３４を介してアノテーション情報を修正する。この場合、操作者は、例えば、操作部１３４を介して修正ボタン３０３を操作してアノテーション情報を入力し、アノテーション情報を所望の情報に修正することができる。また、記憶部１３２は、操作者によって修正されたアノテーション情報を記憶することができる。さらに、操作者によって修正されたアノテーション情報は、対応する光学画像とともに、光学画像の解析処理に用いられる推論器の追加学習用の学習データに追加されてもよい。
（ステップＳ２０４）
　ステップＳ２０４では、放射線画像取得部１０３が、操作者による操作部１３４を介した放射線撮影指示により、放射線発生装置２０及び放射線検出器３０を制御して被検体放射線撮影を行い、放射線画像を取得する。ここで行われる放射線撮影は、一枚の放射線画像を取得する静止画撮影と、所定のフレームレートで連続的に放射線画像を生成する動画撮影のいずれであってもよいが、本実施例においては、右手画像の静止画撮影を行うものを例に説明する。
（ステップＳ２０５）
　ステップＳ２０５では、画像処理部１０６が、放射線画像取得部１０３が取得した放射線画像に画像処理を施す。画像処理には、例えば、画像の回転や、左右反転、拡大縮小等の処理、階調変換処理、及びノイズ低減処理等が含まれてよい。
（ステップＳ２０６）
　ステップＳ２０６では、放射線画像解析部１０４が、画像処理部１０６が画像処理を施した放射線画像にセグメンテーションを適用する。図４は、本実施例に係る放射線画像４００の一例を示す。本実例においては、放射線画像解析部１０４は、被検体の右手が撮影された放射線画像４００を、照射野外領域４０１、直接放射線領域４０２、及び解剖学的領域（被検体軟部領域４０３及び被検体骨部領域４０４）に分類する。
　照射野外領域４０１とは、放射線撮影において、放射線照射領域を絞るために放射線発生器に取り付けられた放射線絞りによって放射線が遮蔽された、ほとんど情報を持たない領域である。この照射野外領域４０１は、放射線が照射された照射野領域との境界において比較的に明瞭なエッジを生じる。したがって、セグメンテーションでは、エッジ検出処理とハフ変換による直線抽出など、ルールベース処理の適用が比較的容易である。
　ただし、境界に被検体が入り込んだり、放射線検出器３０と放射線発生器とのアライメント不良によりシェーディングを生じたり、エッジが不明瞭になったりすると、ルールベース処理の適用ではセグメンテーションが難しくなる可能性がある。そのため、機械学習により、セマンティックセグメンテーションを行う照射野外領域推論器を生成して用いてもよい。具体的には、機械学習モデルに対して、放射線画像と、放射線画像における照射野外領域を１、それ以外の領域を０としたラベル画像とを含む学習データを用いた学習を行い、照射野外領域推論器を生成して用いてもよい。
　直接放射線領域４０２とは、放射線撮影において、放射線発生器から照射された放射線が、放射線絞りや被検体を透過せずに放射線検出器３０に直接入射した領域である。この領域は、入射した放射線が多いほど高い画素値で表される放射線画像において、非常に大きな画素値で描出される。したがって、セグメンテーションではヒストグラム解析による閾値処理など、ルールベース処理の適用が可能である。
　ただし、放射線が透過しやすいシーツや服等の布が入り込んだり、放射線検出器３０と放射線発生器が水平にアライメントされずにシェーディングを生じたりすると、直接放射線領域としてセグメンテーションしたい領域にも画素値分布が生じる。この場合には、ルールベース処理の適用ではセグメンテーションが難しくなる可能性がある。そのため、機械学習により、セマンティックセグメンテーションを行う直接放射線領域推論器を生成して用いてもよい。具体的には、機械学習モデルに対して、放射線画像と、放射線画像における直接放射線領域を１、それ以外の領域を０としたラベル画像とを含む学習データを用いた学習を行い、直接放射線領域推論器を生成して用いてもよい。
　その他、被検体軟部領域４０３及び被検体骨部領域４０４など解剖学的領域についても同様に、各領域に関する統計情報を用いたルールベース処理、あるいは機械学習によって生成した推論器によるセグメンテーションを行うことができる。この場合の推論器は、機械学習モデルに対して、放射線画像と、放射線画像における被検体軟部領域や被検体骨部領域を示すラベルを付したラベル画像とを含む学習データを用いた学習を行って得てよい。なお、セグメンテーションの手法としてどのような手法を採用するかは、例えば、コスト、性能、及び機械学習による更新の必要性の有無等によって決めることができる。また、本実施例では、被検体軟部領域４０３及び被検体骨部領域４０４を解剖学的領域としたが、解剖学的領域はこれに限られず、撮影部位に応じて、例えば肺野等を含んでよい。
　なお、上記では領域毎に推論器を生成する例について述べたが、放射線画像を入力データとし、放射線画像の各領域のセグメンテーション結果を出力データとする一つの推論器を生成して用いてもよい。この場合の学習データは、放射線画像を入力データとし、領域毎にラベル付けされたラベル画像を出力データとして含むことができる。なお、本実施例においては、情報処理装置１００が、放射線画像解析に用いる推論器の学習を行う学習部の一例として機能するが、放射線画像解析部１０４は、他の学習装置等により学習が行われた推論器を用いてもよい。
（ステップＳ２０７）
　ステップＳ２０７では、アノテーション配置部１０５は、光学画像解析部１０２が決定したアノテーション情報又は操作者が修正したアノテーション情報を、放射線画像解析部１０４の解析結果に基づき、診断上の関心領域を避けて、放射線画像に配置（重畳）する。言い換えると、アノテーション配置部１０５は、アノテーション情報を、放射線画像解析部１０４の結果に基づき、放射線画像における関心領域とは異なる領域に配置する。これにより、アノテーション配置部１０５は、アノテーション済みの放射線画像を生成、取得する。図４の例においては、アノテーション配置部１０５は、関心領域とは異なる領域である、放射線画像４００の直接放射線領域４０２に、撮影された被検体が右手であることを示すアノテーション情報４０５として、文字「Ｒ」を配置する。
　アノテーション情報の配置位置候補である、関心領域とは異なる領域は複数考えることができる。例えば、アノテーション配置部１０５は、関心領域とは異なる領域である上述した照射野外領域や直接放射線領域に配置することで、診断上の関心領域を避けることができる。しかしながら、照射野外領域をトリミングする領域切り出し処理が行われる場合は、アノテーション配置部１０５は、照射野外領域を避けて配置しなければならない。また、体格がよい被検体の胸部正面撮影など、アノテーション配置に十分な直接放射線領域がない場合には、アノテーション配置部１０５は、被検体の領域内にアノテーション情報を配置するしかない。その場合には、例えば、アノテーション配置部１０５は、診断上の関心領域であろう肺野を避けて、言い換えると、肺野領域とは異なる領域にアノテーション情報を配置すればよい。また、頸椎や腰椎など、コリメータを絞って撮影するため直接放射線領域を生じない撮影においては、アノテーション配置部１０５は、診断上の関心領域である骨部領域を避けて、関心領域とは異なる領域である軟部組織領域にアノテーション情報を配置すればよい。
　アノテーション情報の配置位置は、予め操作者が撮影手技毎に初期位置を設定しておいてもよい。アノテーション配置部１０５は、設定された初期位置から、放射線画像毎に配置位置を微調整してアノテーション情報の配置を行うことで、被検体の体格や姿勢のばらつきを吸収したアノテーション情報の配置を行う最適化手段として動作することができる。初期位置は、例えば、放射線画像が胸部正面画像であれば、直接放射線領域である可能性が比較的高い脇の下に相当する画像右下又は左下等であってよい。初期位置の候補が複数ある場合は、操作者が候補について放射線画像の解析結果毎に優先順序を設定しておき、放射線画像の解析結果及び設定された優先順序に応じて候補が選択されてもよい。
　また、アノテーション配置部１０５は、配置候補領域の大きさに基づいて、アノテーション情報のサイズを調整してもよい。例えば、配置候補の領域が所定の大きさより小さい場合には、アノテーション情報のサイズを所定のサイズより小さいサイズに調整することができる。さらに、アノテーション配置部１０５は、配置候補領域の表示輝度等の輝度パターンに基づいて、アノテーション情報の表示色を変更してもよい。例えば、一般に黒で描出される直接放射線領域においては、アノテーション情報の表示色を白とし、灰色で描出される軟部組織においては、アノテーション情報の表示色を黒で縁取りした白とすることができる。なお、表示色の設定はこれに限られず、所望の構成に応じて任意に設定されてよい。また、アノテーション情報のサイズや表示色の変更と同様の処理により、アノテーション情報のフォントを変更してもよい。
　なお、放射線画像には、ステップＳ２０５で行われるような拡大縮小処理、左右反転処理、回転処理、及び階調変換処理といった画像処理が一般に行われる。アノテーション配置は、これらの影響を受けないように、画像処理が行われた後の放射線画像に対して行うことができる。アノテーション配置をこれら画像処理の後に行うことで、例えば、左右反転処理によりアノテーションも左右反転されてしまい読み取りづらくなることを防止することができる。拡大縮小処理や回転処理についても同様である。また、階調変換処理の後にアノテーション配置処理を行うことで、階調変化処理によりアノテーション情報のコントラストが低下したり、視認性を損なったりすることを防止することができる。
　放射線撮影が複数の画像を連続して取得する動画撮影の場合は、放射線画像解析部１０４が放射線画像における被検体の動きをフレーム毎に抽出して、アノテーション配置部１０５が、最適な配置位置を追跡するようにアノテーション情報を配置するとよい。その際には、追跡による変位量が大きくなりすぎないように制御することができる。
　このように、本実施例では、放射線画像解析部１０４が解剖学的領域を含む複数の領域に放射線画像をセグメンテーションし、アノテーション配置部１０５がセグメンテーション結果に応じた配置を行う。これにより、幅広い要望に対応した柔軟なアノテーションの配置を行うことができる。
（ステップＳ２０８）
　ステップＳ２０８では、表示制御部１０７が、アノテーション配置部１０５によってアノテーション情報５０３が配置された放射線画像５０２を表示部１３５に表示させる。これにより、操作者はオーダーされた放射線画像が取得できているか、また適切なアノテーション情報が適切な位置に視認しやすく配置されているかを確認することができる。ここで、図５は、本実施例に係る光学画像５０１と、放射線画像５０２と、アノテーション情報５０３，５０４との表示例を示す。なお、コンソールモニタ５００は、表示部１３５の一例であり、図３におけるコンソールモニタ３００と同一の物であってよい。
　ここで、光学画像解析部１０２による解析の失敗等により、適切なアノテーション情報が配置されていない場合には、操作者は操作部１３４を介して修正ボタン５０５を操作することで、適切なアノテーション情報に修正することができる。また、放射線画像解析部１０４による解析の失敗等により、適切な位置や視認しやすい表示色でアノテーション情報が配置されていない場合も、操作者は操作部１３４を介して修正ボタン５０５を操作することで位置の調整や表示色の変更等を行うことができる。
　表示制御部１０７は、光学画像５０１と放射線画像５０２とを並べて表示部１３５に表示させる構成とすることができる。これにより、操作者は、光学画像とアノテーション情報とを比較することで適切なアノテーション情報が配置されていることを容易に確認できる。ここで表示される光学画像は、光学画像取得部１０１が動画として取得したリアルタイム画像であってもよいが、放射線画像取得時と略同一のタイミングで撮影された静止画でもよい。なお、略同一のタイミングとは、厳密に同じタイミングである必要はなく、光学画像と放射線画像の取得タイミングが互いに前後してもかまわない。放射線撮影時に略同一のタイミングで取得された光学画像と放射線画像とを比較することで、放射線撮影時の被検体の姿勢とアノテーション情報をより適切に比較することができる。
　上記のように、本実施例に係る放射線撮影システム１は、被検体を放射線撮影する放射線発生装置２０及び放射線検出器３０と、被検体を光学画像撮影する光学機器の一例として機能するカメラ４０と、情報処理装置１００とを備える。情報処理装置１００は、放射線画像解析部１０４と、アノテーション配置部１０５とを備える。放射線画像解析部１０４は、被検体の放射線撮影によって取得した放射線画像を解析する。アノテーション配置部１０５は、放射線画像の解析結果に基づいて、アノテーション情報を放射線画像に配置する配置部の一例として機能する。また、アノテーション配置部１０５は、放射線画像の解析結果に基づいてアノテーション情報が重畳された放射線画像を生成する生成部の一例として機能することもできる。なお、アノテーション情報は、被検体の姿勢と、向きと、部位の左右との少なくとも一つを示す情報を含む。
　以上の構成により、本実施例に係る情報処理装置１００は、放射線画像を解析して最適な位置に視認に適したアノテーション配置を行うことで、被検体の個人差や姿勢のばらつきを吸収したアノテーション情報の配置処理の最適化を行うことができる。このような自動アノテーション処理により、操作者がアノテーションマーカを配置・除去するという作業が不要になる。そのため、ワークフローを改善するとともにヒューマンエラーを抑制することができる。
　また、情報処理装置１００は、被検体の光学画像撮影によって取得した光学画像を解析する光学画像解析部１０２を更に備える。光学画像解析部１０２は、光学画像を用いてアノテーション情報を取得する。光学画像解析部１０２は、光学画像と、光学画像に基づくアノテーション情報に対応するラベルとを学習データとして用いて得た推論器に取得した光学画像を入力して得た該推論器の出力を用いて、取得した光学画像に関するアノテーション情報を取得することができる。さらに、光学画像解析部１０２は、光学画像を用いて被検体の撮影部位を認識し、該認識した撮影部位に応じた推論器に取得した光学画像を入力して得た該推論器の出力を用いて、取得した光学画像に関するアノテーション情報を取得することもできる。また、光学画像解析部１０２は、光学画像を用いて被検体の複数の関節位置を取得し、複数の関節位置の組み合わせに基づいてアノテーション情報を求めてもよい。
　上記構成によれば、放射線画像では失われてしまう情報を、光学画像の解析により取得して、アノテーション情報を設定することができる。このような光学画像の解析に基づいたアノテーション情報設定の自動化と、放射線画像の解析に基づいたアノテーション情報配置の自動化とを含む自動アノテーション処理により、ワークフローを更に改善するとともにヒューマンエラーを抑制することができる。
　なお、情報処理装置１００は、アノテーション情報を修正するための操作を受け付ける操作部１３４を更に備えることができる。この場合には、操作者は自動で設定されたアノテーション情報を適宜修正できる。
　また、光学画像は所定のフレームレートで取得された動画像であってもよい。この場合、光学画像解析部１０２は動画像を解析して解析結果を出力することができる。また、情報処理装置１００は、光学画像とアノテーション情報とを表示部１３５に表示させる表示制御部１０７を更に備えることができる。表示制御部１０７は、光学画像とアノテーション情報とを所定のフレームレートで更新して表示部１３５に表示させることができる。この場合には、操作者は被検体の状態をリアルタイムに観察しながら、適切な姿勢をとれるように被検体を支援し、適切なアノテーション情報が表示されるタイミングを待つことができる。
　また、表示制御部１０７は、アノテーション情報が配置（重畳）された放射線画像を表示部１３５に表示させることができる。なお、表示制御部１０７は、光学画像と、アノテーション情報が配置された放射線画像とを比較可能な状態で表示部１３５に表示させることができる。この場合には、操作者は、光学画像と放射線画像とを比較することで、放射線撮影時の被検体の姿勢とアノテーション情報とを比較することができる。さらに、表示制御部１０７は、光学画像とアノテーション情報が配置された放射線画像とを、光学画像及び放射線画像が取得された時刻が略一致するように同期させて表示部１３５に表示させることができる。このような構成では、操作者は略同一のタイミングで取得された光学画像と放射線画像とを比較することで、放射線撮影時の被検体の姿勢とアノテーション情報とをより適切に比較することができる。
　アノテーション配置部１０５は、放射線画像が所定のフレームレートで連続して取得される場合、放射線画像のフレーム毎にアノテーション情報を配置し、放射線画像のフレーム間の連続性に基づいてアノテーション情報の配置位置の変位量を調整することができる。アノテーション配置部１０５は、例えば、放射線画像の連続するフレーム間における被検体の移動が閾値より大きい場合は、アノテーション情報の配置位置の変位量を所定量以下になるように調整することができる。このような構成によれば、アノテーション情報の配置位置が大きく移動すること等による、アノテーション情報の視認性の低下を抑制することができる。
　また、放射線画像解析部１０４は、放射線画像から関心領域を特定することができ、アノテーション配置部１０５は、関心領域とは異なる領域にアノテーション情報を配置することができる。この場合、放射線画像解析部１０４は、関心領域とは異なる領域として、放射線画像から被検体を介さずに放射線が検出された直接放射線領域を特定し、アノテーション配置部１０５は、直接放射線領域にアノテーション情報を配置することができる。また、放射線画像解析部１０４は、放射線画像に含まれる被検体領域から骨領域、軟部組織領域、及び肺野領域の少なくとも一つを含む解剖学的領域を特定し、解剖学的領域から、関心領域を特定してもよい。
　放射線画像解析部１０４は、推論器に取得した放射線画像を入力して得た該推論器の出力を用いて関心領域を特定することもできる。なお、推論器は、放射線画像と、放射線画像における照射野外領域、直接放射線領域、及び被検体領域にそれぞれ異なるラベル値を与えたラベル画像とを含む学習データを用いて得ることができる。
　また、放射線画像解析部１０４は、放射線画像から一部領域を特定し、アノテーション配置部１０５は、当該特定された一部領域内にアノテーション情報を配置してもよい。この場合、放射線画像解析部１０４は、放射線画像から絞りによって放射線の照射が遮蔽された照射野外領域と放射線が照射された照射野領域とを特定し、照射野領域を一部領域として特定することができる。
　また、アノテーション配置部１０５は、撮影手技毎に設定された初期配置位置から、放射線画像の解析結果に応じて調整した位置にアノテーション情報を配置することもできる。なお、アノテーション配置部１０５は、撮影手技毎に設定された複数の初期配置候補の位置から、放射線画像の解析結果に応じて選択された位置にアノテーション情報を配置してもよい。
　情報処理装置１００は、放射線画像に拡大縮小処理、左右反転処理、回転処理、及び階調変換処理の少なくとも一つを含む画像処理を行う画像処理部１０６を更に備えることができる。この場合、アノテーション配置部１０５は、画像処理部後の画像に対してアノテーション情報を配置することができる。このような構成によれば、画像処理によるアノテーション情報の視認性の低下等を防止することができる。
　また、アノテーション配置部１０５は、アノテーション情報を配置する領域の大きさ及び輝度パターンの少なくとも一方に応じて、アノテーション情報の表示色、大きさ、及びフォントの少なくとも一つを調整することができる。このような構成によれば、アノテーション情報の視認性の低下等を防止することができる。
　本実施例では、光学画像を解析しアノテーション情報を取得する構成としたが、アノテーション情報は操作者によって入力されてもよい。この場合、操作部１３４は、アノテーション情報を入力する入力部の一例として機能する。
　なお、本実施例では、光学画像取得部１０１は、一つのカメラ４０を用いて撮影された光学画像を取得した。これに対して、光学画像取得部１０１は、複数のカメラを用いて撮影された被検体Ｏの光学画像を取得可能な構成であってもよい。複数のカメラを用いることで例えばステレオ撮影を行い、放射線発生器、放射線検出器３０、及び被検体の位置関係を正確に把握することができ、光学画像解析部１０２によってより精度の高い解析処理を行うことができる。なお、この場合、光学画像解析部１０２によって用いられる推論器は、複数のカメラを用いて得たステレオ画像を入力データとして含む学習データを用いて得られてよい。
　また、本実施例では、画像処理部１０６は、ステップＳ２０５において、放射線画像の画像処理を行った。この場合、ステップＳ２０６で用いられる推論器は、同様の画像処理が施された放射線画像を入力データとして含む学習データを用いて得られてもよい。また、画像処理部１０６は、ステップＳ２０７の前に放射線画像の画像処理を行ってもよい。この場合には、ステップＳ２０６において、放射線画像解析部１０４は、画像処理が施される前の放射線画像についてセグメンテーションを行ってよい。
　また、画像処理部１０６は、ステップＳ２０２又はステップＳ２０３の前に光学画像の画像処理を行ってもよい。ステップＳ２０２の前に光学画像の画像処理が行われる場合には、ステップＳ２０３で用いられる推論器は、同様の画像処理が施された光学線画像を入力データとして含む学習データを用いて得られてもよい。
　なお、ステップＳ２０２及びステップＳ２０６における画像解析処理の前に、画像処理部１０６が光学画像及び放射線画像についてノイズ低減処理等を行うことで、各画像解析処理において画像の特徴を抽出し易くなることが期待できる。そのため、より適切な画像解析処理が行えることが期待できる。
　また、本実施例では、撮影オーダー情報にアノテーション情報は登録されない場合を想定した。これに対し、撮影オーダー情報にアノテーション情報が登録される場合にも、本実施例に係る光学画像の解析処理やアノテーション情報の配置処理が行われてもよい。この場合、表示制御部１０７は、ステップＳ２０３やステップＳ２０８における画像表示の際に、表示するアノテーション情報と撮影オーダー情報に含まれる被検体の姿勢や向き、部位の左右等の情報が一致しない場合に、警告を表示部１３５に表示させてもよい。警告としては、例えば、光学画像を解析して得たアノテーション情報と撮影オーダー情報に含まれる情報が一致しない旨や、被検体の姿勢の修正を促す旨が含まれてよい。
　このような構成では、撮影オーダーに含まれる被検体の姿勢や向き、部位の左右等と、実際の撮影時の被検体の姿勢や向き、部位の左右等が異なっていることを検出し、撮影部位の誤りや撮影部位の向きの誤り等について警告を表示させることができる。このため、操作者による撮影の支援を行うことができる。また、放射線撮影の前に当該警告を表示させることで、被検体の不必要な放射線被ばくを防止することができる。
（実施例２）
　実施例１では、カメラ４０が所定のフレームレートで光学画像を出力するビデオカメラである場合を説明したが、カメラ４０は静止画を撮影するものであってもよい。以下、図５及び図６を参照して本開示の実施例２に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本実施例では、光学画像取得部１０１がカメラ４０を用いて静止画撮影を行い、光学画像が撮影タイミングを支援する動画像として表示制御部１０７に提供されない場合について説明する。なお、実施例１で詳細を述べた内容については記述を省略する。
（処理フロー）
　図６を参照して、本実施例に係る一連の処理手順について説明する。図６は、本実施例に係る処理手順を示すフローチャートである。本実施例に係る処理手順が開始されると、処理はステップＳ６０１に移行する。
（ステップＳ６０１）
　ステップＳ６０１では、操作者による操作部１３４を介した撮影指示により、光学画像取得部１０１は被検体の光学画像を取得し、放射線画像取得部１０３は被検体の放射線画像を取得する。ここで、光学画像取得部１０１は、カメラ４０を用いて得た被検体の光学画像として静止画を取得する。光学画像と放射線画像の撮影タイミングは必ずしも一致する必要はなく、被検体が同じ撮影姿勢をとっている限り、それぞれ取得時間が前後してもよい。なお、光学画像取得部１０１は、光学画像と放射線画像を外部記憶装置６０から取得してもよい。
（ステップＳ６０２）
　ステップＳ６０２では、光学画像解析部１０２は、実施例１に係るステップＳ２０２と同様に、光学画像取得部１０１が取得した光学画像を解析し、アノテーション情報を出力する。
（ステップＳ６０３）
　ステップＳ６０３では、画像処理部１０６は、実施例１に係るステップＳ２０５と同様に、放射線画像に対して画像処理を行う。
（ステップＳ６０４）
　ステップＳ６０４では、放射線画像解析部１０４は、実施例１に係るステップＳ２０６と同様に、画像処理が行われた放射線画像に対してセグメンテーションを適用する。なお、ステップＳ６０２、ステップＳ６０３、及びステップＳ６０４はそれぞれ処理順番が前後してもよい。
（ステップＳ６０５）
　ステップＳ６０５では、アノテーション配置部１０５は、実施例１に係るステップＳ２０７と同様に、光学画像解析部１０２が決定したアノテーション情報を、放射線画像解析部１０４の結果に基づき、診断上の関心領域とは異なる領域に放射線画像に配置する。
（ステップＳ６０６）
　ステップＳ６０６では、表示制御部１０７は、実施例１に係るステップＳ２０８と同様に、アノテーション配置部１０５によってアノテーション情報が配置された放射線画像を表示部１３５に表示させる。これにより、操作者はオーダーされた放射線画像が取得されているか、また適切なアノテーション情報が適切な位置に視認しやすく配置されているかを確認することができる。
　本実施例においては、実施例１と異なり、放射線画像取得より前のタイミングで光学画を表示していない。そのため、表示制御部１０７は、図５に示すように、より好適には光学画像と放射線画像を並べて表示部１３５に表示させる。これにより、操作者は光学画像とアノテーション情報とを比較することで適切なアノテーション情報が配置されていることを容易に確認できる。ここで表示される光学画像は、放射線画像取得時と略同一のタイミングで取得された静止画である。
　なお、光学画像解析部１０２による解析の失敗等により、適切なアノテーション情報が配置されていない場合には、操作者は操作部１３４を介して修正ボタン５０５を操作することで適切なアノテーション情報に修正することができる。また、放射線画像解析部１０４による解析の失敗等により、適切な位置や視認しやすい表示色でアノテーション情報が配置されていない場合も、操作者は操作部１３４を介して修正ボタン５０５を操作することで位置の調整及び表示色の変更等を行うことができる。
　以上のような構成であっても、実施例１と同様に、放射線画像では失われてしまう情報を、光学画像の解析により取得して、アノテーション情報を設定することができる。また、放射線画像を解析して最適な位置に視認に適したアノテーション配置を行うことで、被検体の個人差や姿勢のばらつきを吸収したアノテーション情報の配置処理の最適化を行うことができる。このため、アノテーションの自動化によって、ワークフローを改善するとともにヒューマンエラーを抑制することができる。さらに、本実施例の構成では、ビデオカメラや動画表示にかかるコストを抑えることができる。
（実施例３）
　実施例１及び２では、放射線画像解析部１０４の解析結果を用いてアノテーション配置位置を決定する例を示した。これに対し、本開示の実施例３として、光学画像解析部１０２の解析結果を用いてアノテーション配置位置を決定する例を、図７乃至図９を参照しながら説明する。なお、実施例１で詳細を述べた内容については記述を省略する。
（処理フロー）
　図７を参照して、本実施例に係る一連の処理手順について説明する。図７は、本実施例に係る処理手順を示すフローチャートである。本実施例に係る処理手順が開始されると、処理はステップＳ７０１に移行する。
（ステップＳ７０１）
　ステップＳ７０１では、光学画像取得部１０１は、実施例１に係るステップＳ２０１と同様に、放射線撮影を行うために撮影姿勢をとる被検体の光学画像を取得する。
（ステップＳ７０２）
　ステップＳ７０２では、光学画像解析部１０２は、実施例１に係るステップＳ２０２と同様に、光学画像取得部１０１が取得した光学画像８００を解析し、アノテーション情報を出力する。
　また、光学画像解析部１０２は、図８に示すように、光学画像８００にセグメンテーションを適用し、放射線検出器領域８０１、コリメータランプ照射領域８０２、及び被検体領域８０３を特定する。図８は、本実施例に係る光学画像８００の一例を示す。特定された光学画像８００の放射線検出器領域８０１、コリメータランプ照射領域８０２、及び被検体領域８０３はそれぞれ、放射線画像における画像全体、照射野領域、及び被検体領域に対応する。
　なお、コリメータランプ照射領域８０２とは、放射線撮影において、放射線が照射される領域を確認するために照射される可視光によって形成される領域である。操作者は、このコリメータランプ照射領域８０２を目視で確認することで、放射線発生装置２０の位置やコリメータ絞りの大きさを調整することができる。
　このような光学画像のセマンティックセグメンテーションについては、様々な手法があるが、一般には機械学習によって生成された推論器によって精度よく行うことができる。このため、本実施例では、光学画像解析部１０２は、推論器を用いてセグメンテーションを行う。
　ここで用いられる推論器は、光学画像を入力データとし、光学画像中の放射線検出器領域、コリメータランプ照射領域、及び被検体領域にラベルを与えたラベル画像を出力データとして含む学習データを用いて得ることができる。なお、このような学習データを用いて、セグメンテーションを行う推論器等をファインチューニングすることで抽出精度を高めることができる。なお、光学画像のセマンティックセグメンテーションについては、推論器を用いる方法に限られず、所望の構成に応じて任意の方法が用いられてよい。例えば、ルールベースのセグメンテーションが行われてもよい。なお、本実施例においては、情報処理装置１００が、光学画像のセグメンテーションに用いる推論器の学習を行う学習部の一例として機能するが、光学画像解析部１０２は、他の学習装置等により学習が行われた推論器を用いてもよい。
（ステップＳ７０３）
　ステップＳ７０３において、アノテーション配置部１０５は、光学画像解析部１０２が決定したアノテーション情報を、光学画像のセグメンテーション結果に基づき、診断上の関心領域を避けて光学画像に配置（重畳）する。言い換えると、アノテーション配置部１０５は、アノテーション情報を、光学画像のセグメンテーション結果に基づき、光学画像における関心領域とは異なる領域に配置する。これにより、アノテーション配置部１０５は、アノテーション済みの光学画像を生成、取得する。
　アノテーション情報の配置位置候補である、関心領域とは異なる領域としては、まず、放射線検出器領域内部の被検体領域ではない領域が考えられる。さらに、コリメータランプ照射領域内かつ被検体領域ではない領域は、放射線画像における直接放射線領域に対応するため、より候補として好ましい。図９は、本実施例に係るアノテーション済みの光学画像９００の例であり、コリメータランプ照射領域９０１内かつ被検体領域９０２ではない領域にアノテーション情報９０３が配置されている。光学画像には人体の内部構造は写り込まないため、肺野や骨部といった関心領域を避けることは難しいが、セグメンテーション結果からおおよその関心領域を推定して、関心領域とは異なる領域にアノテーション情報を配置してもよい。
　本実施例におけるアノテーション配置は、放射線画像と光学画像の違いはあるが、本質的には実施例１に係るステップＳ２０６で詳述した内容が適用できる。具体的には、トリミングされる場合の考慮、初期位置の設定、サイズや表示色、フォントの最適化、画像処理の影響の考慮、動画における追跡と変位量の調整について、実施例１に係るステップＳ２０６で詳述した内容が適用できるが、ここでは省略する。
（ステップＳ７０４）
　ステップＳ７０４では、表示制御部１０７は、アノテーション配置部１０５によって取得されたアノテーション済みの光学画像を表示部１３５に表示させる。操作者は、表示部１３５の表示を確認することで、これから放射線撮影しようとしている被検体が、操作者が意図した姿勢を取っているかを確認できる。これにより、操作者は、被検体の状態を動画像でリアルタイムに観察しながら、被検体が適切な姿勢をとるよう支援し、適切なアノテーション情報が表示されるタイミングを待つことができる。また、操作者は、ステップＳ７０２で求めたアノテーション情報が適切な位置に配置されているか否かを確認できる。
　光学画像解析部１０２が出力するアノテーション情報や配置位置が誤っている場合、操作者は表示部１３５を介して誤りを確認し、操作部１３４を介してアノテーション情報や配置位置を修正することができる。また、記憶部１３２は、操作者によって修正されたアノテーション情報やアノテーション情報の配置が修正された光学画像を記憶することができる。また、操作者によって修正されたアノテーション情報やアノテーション情報の配置が修正された光学画像は、対応する光学画像とともに、推論器の追加学習用の学習データに追加されてもよい。
（ステップＳ７０５）
　ステップＳ７０５では、放射線画像取得部１０３は、実施例１に係るステップＳ２０４と同様に、操作者による操作部１３４を介した放射線撮影指示により被検体の放射線画像を取得する。
（ステップＳ７０６）
　ステップＳ７０６では、画像処理部１０６は、実施例１に係るステップＳ２０５と同様に、放射線画像に対して画像処理を行う。
（ステップＳ７０７）
　ステップＳ７０７では、放射線画像解析部１０４は、実施例１に係るステップＳ２０６と同様に、画像処理が行われた放射線画像に対してセグメンテーションを適用する。本実施例では、放射線画像から照射野領域及び被検体領域を抽出する。
（ステップＳ７０８）
　ステップＳ７０８では、アノテーション配置部１０５は、アノテーション済みの光学画像中のアノテーション情報と位置を、放射線画像に投影する。例えば、アノテーション配置部１０５は、ステップＳ７０２で特定された光学画像における照射野領域及び被検体領域と、ステップＳ７０７で特定された放射線画像における照射野領域及び被検体との間の座標変換式（対応関係）を求める。アノテーション配置部１０５は、求めた座標変換式を用いて、光学画像におけるアノテーション位置を放射線画像におけるアノテーション位置に投影し、光学画像におけるアノテーション位置に対応する放射線画像上の位置にアノテーション情報を配置する。
　なお、座標変換式の生成は、例えば、放射線発生装置２０、放射線検出器３０、及び光学画像を取得するカメラ４０の物理的な空間配置座標に基づいて生成することができる。また、座標変換式は、これらの物理的な空間配置座標や配置角度等に基づく変換テーブル等として予め記憶部１３２等に保存されていてもよい。
（ステップＳ７０９）
　ステップＳ７０９では、表示制御部１０７が、実施例１に係るステップＳ２０８と同様に、アノテーション配置部１０５によってアノテーション情報が配置された放射線画像を表示部１３５に表示させる。
　上記のように、本実施例に係る光学画像解析部１０２は、光学画像に対する解析処理としてセグメンテーションを行い、アノテーション配置部１０５は、光学画像の解析結果に基づいて光学画像にアノテーション情報を配置する。ここで、アノテーション配置部１０５は、放射線画像の解析結果と光学画像の解析結果との間の対応関係に基づいて、光学画像に配置したアノテーション情報の位置に対応する放射線画像上の位置にアノテーション情報を配置することができる。
　光学画像解析部１０２は、セグメンテーションにより、光学画像から放射線検出器領域、コリメータランプ照射領域、及び被検体領域の少なくとも一つを特定することができる。ここで、光学画像解析部１０２は、推論器に取得した光学画像を入力して得た該推論器の出力を用いてセグメンテーションを行うことができる。当該推論器は、光学画像と、光学画像における放射線検出器領域、コリメータランプ照射領域、及び被検体領域にそれぞれ異なるラベル値を与えたラベル画像とを含む学習データを用いて得ることができる。
　このような構成でも、視認に適したアノテーション配置を行うことができ、アノテーションの自動化によって、操作者がアノテーションマーカを配置・除去するという作業が不要になる。そのため、ワークフローを改善するとともにヒューマンエラーを抑制することができる。また、本実施例に係る情報処理装置１００は、放射線画像でのアノテーション配置だけではなく、光学画像におけるアノテーション配置も行うことで、あたかも実際のアノテーションマーカを配置したかのような光学画像を生成することができる。これにより、操作者は表示部１３５を介したアノテーション情報の確認をより直感的に行うことができ、ワークフローを改善するとともにヒューマンエラーを抑制することができる。
　なお、上記実施例１乃至３では、アノテーション配置部１０５は、放射線画像や光学画像にアノテーション情報を配置することとした。これに対して、アノテーション配置部１０５は、放射線画像や光学画像にアノテーション情報を関連付けるアノテーション部の一例として機能してもよい。アノテーション部は、例えば、放射線画像や光学画像にアノテーション情報を追加したり、これら画像とアノテーション情報とを対応付けて記憶部１３２等に記憶させたりすることができる。この場合には、表示制御部１０７は、放射線画像や光学画像に関連付けられたアノテーション情報を、例えばこれら画像の周囲に表示したり、これら画像に重畳して表示したりするように表示部１３５を制御することができる。
　以上のような構成であっても、実施例１と同様に、放射線画像では失われてしまう情報を、光学画像の解析により取得して、アノテーション情報を設定することができる。このため、アノテーションの自動化によって、ワークフローを改善するとともにヒューマンエラーを抑制することができる。
　また、上記実施例１乃至３では、光学画像取得部１０１及び放射線画像取得部１０３は、カメラ４０及び放射線検出器３０を用いて光学画像及び放射線画像を取得した。これに対し、光学画像取得部１０１及び放射線画像取得部１０３は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された撮影装置等からこれら画像を取得してもよい。この場合、光学画像及び放射線画像は、被検体が同じ撮影姿勢をとっている際に撮影されたものであればよく、それぞれ取得（撮影）時間が前後してもよい。
　なお、上記実施例１乃至３で述べた表示画面は一例である。そのため、表示部１３５に表示される表示画面における各種画像やボタン等の配置や表示態様は任意であってよい。
　上記実施例１乃至３によれば、操作者によるアノテーションマーカの配置・除去作業を排して、ワークフローを改善することができる。
　なお、上述したアノテーション情報の推定用の推論器やセグメンテーション用の推論器は、入力データの画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推論処理に用いているものと考えられる。
　また、上述したアノテーション情報の推定用の推論器やセグメンテーション用の推論器は情報処理装置１００に設けられることができる。推論器（学習済モデル）は、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、推論器は、情報処理装置１００と接続される別のサーバ等の装置に設けられてもよい。この場合には、情報処理装置１００は、インターネット等の任意のネットワークを介して推論器を備えるサーバ等に接続することで、推論器を用いることができる。ここで、推論器を備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
（その他の実施例）
　本発明は、上述の実施形態及び実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
　プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２２年１１月４日提出の日本国特許出願特願２０２２－１７６８６１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (41)

  1. 　被検体の放射線撮影によって取得した放射線画像を解析する放射線画像解析部と、
    　前記放射線画像の解析結果に基づいて、アノテーション情報を前記放射線画像に配置する配置部と、
    を備える情報処理装置。
  2. 　前記アノテーション情報は、前記被検体の姿勢と、向きと、部位の左右との少なくとも一つを示す情報を含む、請求項１に記載の情報処理装置。
  3. 　前記被検体の光学画像撮影によって取得した光学画像を解析する光学画像解析部を更に備え、
    　前記光学画像解析部は、前記光学画像を用いて前記アノテーション情報を取得する、請求項１に記載の情報処理装置。
  4. 　前記光学画像解析部は、光学画像と、光学画像に基づくアノテーション情報に対応するラベルとを学習データとして用いて得た推論器に前記取得した光学画像を入力して得た該推論器の出力を用いて、前記取得した光学画像に関する前記アノテーション情報を取得する、請求項３に記載の情報処理装置。
  5. 　前記光学画像解析部は、前記光学画像を用いて被検体の撮影部位を認識し、該認識した撮影部位に応じた推論器に前記光学画像を入力して得た該推論器の出力を用いて、前記取得した光学画像に関する前記アノテーション情報を取得する、請求項４に記載の情報処理装置。
  6. 　前記光学画像解析部は、前記光学画像を用いて前記被検体の複数の関節位置を取得し、前記複数の関節位置の組み合わせに基づいて前記アノテーション情報を取得する、請求項３に記載の情報処理装置。
  7. 　前記光学画像は所定のフレームレートで取得された動画像であり、
    　前記光学画像解析部は動画像を解析して解析結果を出力する、請求項３に記載の情報処理装置。
  8. 　前記光学画像と前記アノテーション情報とを表示部に表示させる表示制御部を更に備える、請求項３に記載の情報処理装置。
  9. 　前記表示制御部は、前記光学画像と前記アノテーション情報とを所定のフレームレートで更新して前記表示部に表示させる、請求項８に記載の情報処理装置。
  10. 　前記アノテーション情報を修正するための操作を受け付ける操作部を更に備える、請求項１に記載の情報処理装置。
  11. 　前記アノテーション情報を入力する入力部を更に備える、請求項１に記載の情報処理装置。
  12. 　前記放射線画像解析部は、前記放射線画像から関心領域を特定し、
    　前記配置部は、前記関心領域とは異なる領域に前記アノテーション情報を配置する請求項１に記載の情報処理装置。
  13. 　前記放射線画像解析部は、前記関心領域とは異なる領域として、前記放射線画像から前記被検体を介さずに放射線が検出された直接放射線領域を特定し、
    　前記配置部は、前記直接放射線領域に前記アノテーション情報を配置する、請求項１２に記載の情報処理装置。
  14. 　前記放射線画像解析部は、
    　　前記放射線画像に含まれる被検体領域から骨領域、軟部組織領域、及び肺野領域の少なくとも一つを含む解剖学的領域を特定し、
    　　前記解剖学的領域から、前記関心領域を特定する、請求項１２に記載の情報処理装置。
  15. 　前記放射線画像解析部は、放射線画像と、放射線画像における照射野外領域、直接放射線領域、及び被検体領域にそれぞれ異なるラベル値を与えたラベル画像とを含む学習データを用いて得た推論器に前記取得した放射線画像を入力して得た該推論器の出力を用いて、前記関心領域を特定する、請求項１２に記載の情報処理装置。
  16. 　前記放射線画像解析部は、前記放射線画像から一部領域を特定し、
    　前記配置部は、前記一部領域内に前記アノテーション情報を配置する、請求項１に記載の情報処理装置。
  17. 　前記放射線画像解析部は、前記放射線画像から絞りによって放射線の照射が遮蔽された照射野外領域と放射線が照射された照射野領域とを特定し、前記照射野領域を前記一部領域として特定する、請求項１６に記載の情報処理装置。
  18. 　前記配置部は、撮影手技毎に設定された初期配置位置から、前記放射線画像の解析結果に応じて調整した位置に前記アノテーション情報を配置する、請求項１に記載の情報処理装置。
  19. 　前記配置部は、撮影手技毎に設定された複数の初期配置候補の位置から、前記放射線画像の解析結果に応じて選択された位置に前記アノテーション情報を配置する、請求項１に記載の情報処理装置。
  20. 　前記放射線画像に拡大縮小処理、左右反転処理、回転処理、及び階調変換処理の少なくとも一つを含む画像処理を行う画像処理部を更に備え、
    　前記配置部は、前記画像処理部後の画像に対して前記アノテーション情報を配置する、請求項１に記載の情報処理装置。
  21. 　前記配置部は、前記アノテーション情報を配置する領域の大きさ及び輝度パターンの少なくとも一方に応じて、前記アノテーション情報の表示色、大きさ、及びフォントの少なくとも一つを調整する、請求項１に記載の情報処理装置。
  22. 　前記配置部は、前記放射線画像が所定のフレームレートで連続して取得される場合、前記放射線画像のフレーム毎に前記アノテーション情報を配置し、前記放射線画像のフレーム間の連続性に基づいて前記アノテーション情報の配置位置の変位量を調整する、請求項１に記載の情報処理装置。
  23. 　前記光学画像解析部は、前記光学画像に対する解析処理としてセグメンテーションを行い、
    　前記配置部は、前記光学画像の解析結果に基づいて前記光学画像に前記アノテーション情報を配置する、請求項３に記載の情報処理装置。
  24. 　前記配置部は、前記放射線画像の解析結果と前記光学画像の解析結果との間の対応関係に基づいて、前記光学画像に配置した前記アノテーション情報の位置に対応する前記放射線画像上の位置に前記アノテーション情報を配置する、請求項２３に記載の情報処理装置。
  25. 　前記光学画像解析部は、前記セグメンテーションにより、前記光学画像から放射線検出器領域、コリメータランプ照射領域、及び被検体領域の少なくとも一つを特定する、請求項２３に記載の情報処理装置。
  26. 　前記光学画像解析部は、光学画像と、光学画像における放射線検出器領域、コリメータランプ照射領域、及び被検体領域にそれぞれ異なるラベル値を与えたラベル画像とを含む学習データを用いて得た推論器に前記取得した光学画像を入力して得た該推論器の出力を用いて、前記セグメンテーションを行う、請求項２５に記載の情報処理装置。
  27. 　前記アノテーション情報が配置された放射線画像を表示部に表示させる表示制御部を更に備える、請求項３に記載の情報処理装置。
  28. 　前記表示制御部は、前記光学画像と、前記アノテーション情報が配置された放射線画像とを比較可能な状態で前記表示部に表示させる、請求項２７に記載の情報処理装置。
  29. 　前記表示制御部は、前記光学画像と前記アノテーション情報が配置された放射線画像とを、前記光学画像及び前記放射線画像が取得された時刻が略一致するように同期させて前記表示部に表示させる、請求項２８に記載の情報処理装置。
  30. 　前記取得されたアノテーション情報と、放射線撮影の撮影オーダーに含まれる被検体の姿勢、向き、及び部位の左右のうち少なくとも一つを示す情報とが一致しない場合に、表示部に警告を表示させる表示制御部を更に備える、請求項３に記載の情報処理装置。
  31. 　被検体の放射線撮影によって取得した放射線画像を解析する放射線画像解析部と、
    　前記放射線画像の解析結果に基づいてアノテーション情報が重畳された放射線画像を表示部に表示させる表示制御部と、
    を備える情報処理装置。
  32. 　被検体の放射線撮影によって取得した放射線画像を解析する放射線画像解析部と、
    　前記放射線画像の解析結果に基づいてアノテーション情報が重畳された放射線画像を生成する生成部と、
    を備える情報処理装置。
  33. 　被検体の光学画像撮影によって取得した光学画像を解析して、アノテーション情報を取得する光学画像解析部と、
    　前記アノテーション情報を、前記被検体の放射線撮影によって取得した放射線画像に関連付けるアノテーション部と、
    を備える情報処理装置。
  34. 　被検体の放射線撮影を行う放射線発生装置及び放射線検出器と、
    　請求項１乃至３３のいずれか一項に記載の情報処理装置と、
    を備える放射線撮影システム。
  35. 　前記被検体の光学画像撮影を行う光学機器を更に備える、請求項３４に記載の放射線撮影システム。
  36. 　被検体の放射線撮影によって取得した放射線画像を解析することと、
    　前記放射線画像の解析結果に基づいて、アノテーション情報を前記放射線画像に配置することと、
    を含む情報処理方法。
  37. 　前記被検体の光学画像撮影によって取得した光学画像を解析することを更に含み、
    　前記光学画像を解析することは、前記光学画像から前記アノテーション情報を取得することを含む、請求項３６に記載の情報処理方法。
  38. 　被検体の放射線撮影によって取得した放射線画像を解析することと、
    　前記放射線画像の解析結果に基づいてアノテーション情報が重畳された放射線画像を表示部に表示させることと、
    を含む情報処理方法。
  39. 　被検体の放射線撮影によって取得した放射線画像を解析することと、
    　前記放射線画像の解析結果に基づいてアノテーション情報が重畳された放射線画像を生成することと、
    を含む情報処理方法。
  40. 　被検体の光学画像撮影によって取得した光学画像を解析して、アノテーション情報を取得することと、
    　前記アノテーション情報を、前記被検体の放射線撮影によって取得した放射線画像に関連付けることと、
    を含む情報処理方法。
  41. 　コンピュータによって実行されると、該コンピュータに請求項３６乃至４０のいずれか一項に記載の情報処理方法の各工程を実行させるプログラム。
PCT/JP2023/039370 2022-11-04 2023-11-01 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム WO2024096039A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022176861A JP2024067064A (ja) 2022-11-04 2022-11-04 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
JP2022-176861 2022-11-04

Publications (1)

Publication Number Publication Date
WO2024096039A1 true WO2024096039A1 (ja) 2024-05-10

Family

ID=90930568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039370 WO2024096039A1 (ja) 2022-11-04 2023-11-01 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2024067064A (ja)
WO (1) WO2024096039A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221847A (ja) * 1988-07-12 1990-01-24 Mitsubishi Electric Corp 断層像表示装置
JP2002072386A (ja) * 2000-08-31 2002-03-12 Konica Corp 放射線画像撮影装置および放射線画像読み取り装置ならびに放射線画像情報記録媒体
JP2003323613A (ja) * 2003-03-06 2003-11-14 Konica Minolta Holdings Inc 放射線画像撮影システム
JP2007185215A (ja) * 2006-01-11 2007-07-26 Hitachi Medical Corp 医用画像表示装置
JP2013165755A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 医用画像診断装置
US20180206810A1 (en) * 2017-01-23 2018-07-26 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method thereof
WO2021049478A1 (ja) * 2019-09-10 2021-03-18 富士フイルム株式会社 検像装置、コンソール及び放射線撮影システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221847A (ja) * 1988-07-12 1990-01-24 Mitsubishi Electric Corp 断層像表示装置
JP2002072386A (ja) * 2000-08-31 2002-03-12 Konica Corp 放射線画像撮影装置および放射線画像読み取り装置ならびに放射線画像情報記録媒体
JP2003323613A (ja) * 2003-03-06 2003-11-14 Konica Minolta Holdings Inc 放射線画像撮影システム
JP2007185215A (ja) * 2006-01-11 2007-07-26 Hitachi Medical Corp 医用画像表示装置
JP2013165755A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 医用画像診断装置
US20180206810A1 (en) * 2017-01-23 2018-07-26 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method thereof
WO2021049478A1 (ja) * 2019-09-10 2021-03-18 富士フイルム株式会社 検像装置、コンソール及び放射線撮影システム

Also Published As

Publication number Publication date
JP2024067064A (ja) 2024-05-17

Similar Documents

Publication Publication Date Title
Shi et al. Review of artificial intelligence techniques in imaging data acquisition, segmentation, and diagnosis for COVID-19
US10507002B2 (en) X-ray system and method for standing subject
US7158661B2 (en) Radiographic image processing method, radiographic image processing apparatus, radiographic image processing system, program, computer-readable storage medium, image diagnosis assisting method, and image diagnosis assisting system
US10825190B2 (en) Dynamic image processing apparatus for aligning frame images obtained by photographing dynamic state of chest based on movement of lung-field region
CN110742631B (zh) 一种医学图像的成像方法和装置
JP7092190B2 (ja) 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
CN110956633A (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
US20230169666A1 (en) Methods and systems for image registration
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
CN113129343A (zh) 用于x射线成像中的解剖结构/视图分类的方法和系统
KR101909125B1 (ko) 컴퓨터 기반 진단 방법 및 그에 따른 컴퓨터 기반 진단 장치
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
Zhou et al. Transfer learning from an artificial radiograph-landmark dataset for registration of the anatomic skull model to dual fluoroscopic X-ray images
WO2021049478A1 (ja) 検像装置、コンソール及び放射線撮影システム
CN114502075A (zh) 用于x射线管检测器校准的用户界面
JP7422459B2 (ja) 放射線撮影制御装置、放射線撮影制御方法、プログラムおよび放射線撮影システム
WO2024096039A1 (ja) 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
Zheng et al. Self-supervised 3d patient modeling with multi-modal attentive fusion
WO2024095999A1 (ja) 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
CN114067994A (zh) 一种目标部位的方位标记方法及系统
US20240090864A1 (en) Radiographic imaging support system, radiographic imaging support method, and recording medium
JP2021097864A (ja) 画像判定装置、画像判定方法及びプログラム
Sénégas et al. Evaluation of collimation prediction based on depth images and automated landmark detection for routine clinical chest X-ray exams
Tanaka et al. Time-series analysis of lung texture on bone-suppressed dynamic chest radiograph for the evaluation of pulmonary function: a preliminary study
WO2024117042A1 (ja) 画像処理装置、放射線撮影システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23885793

Country of ref document: EP

Kind code of ref document: A1