WO2024095999A1 - 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム - Google Patents

情報処理装置、放射線撮影システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024095999A1
WO2024095999A1 PCT/JP2023/039214 JP2023039214W WO2024095999A1 WO 2024095999 A1 WO2024095999 A1 WO 2024095999A1 JP 2023039214 W JP2023039214 W JP 2023039214W WO 2024095999 A1 WO2024095999 A1 WO 2024095999A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
information
optical image
unit
region
Prior art date
Application number
PCT/JP2023/039214
Other languages
English (en)
French (fr)
Inventor
秀昭 宮本
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2024095999A1 publication Critical patent/WO2024095999A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment

Definitions

  • the present disclosure relates to an information processing device, a radiography system, an information processing method, and a program.
  • Patent Document 1 provides a mechanism for performing efficient radiography that is not dependent on the skill or experience of the technician by determining the imaging position of the subject from an optical image and outputting information regarding the suitability of the imaging position.
  • Patent Document 1 determines the subject's shooting position from an optical image.
  • image analysis technology applied to such shooting position determination faces the challenge of further and continuous improvement of accuracy for a wider range of subjects and shooting conditions.
  • radiography when an optical image is acquired using an optical imaging means that captures the entire radiography site within the angle of view, people other than the subject, such as the operator of the radiography device or a caregiver, may appear in the optical image. In this case, before determining the subject's imaging position, it is necessary to narrow down which of the multiple candidate subject parts that appear in the image is the subject.
  • one of the objectives of one embodiment of the present disclosure is to obtain information for narrowing down the subjects to be imaged in the radiography from among multiple subject candidates in the optical image.
  • An information processing device includes an information processing device including a first recognition unit that recognizes a region of interest using an optical image including a subject acquired at a site where a radiographic image is to be captured, a second recognition unit that recognizes candidate information indicating candidates for a subject to be captured in the radiographic image using the optical image, and a determination unit that determines subject information indicating the subject to be captured using at least one of the recognition results by the first recognition unit and the second recognition unit.
  • FIG. 1 shows a schematic configuration of a radiation imaging system according to an embodiment.
  • 1 shows a schematic configuration of an information processing apparatus according to an embodiment.
  • 4 is a flowchart showing a processing procedure according to the first embodiment.
  • 4A to 4C are diagrams illustrating examples of optical images according to the first embodiment.
  • 10A and 10B are diagrams illustrating an example of an output of a first recognition unit according to the first embodiment.
  • 11A and 11B are diagrams illustrating an example of an output of a second recognition unit according to the first embodiment.
  • 5A to 5C are diagrams illustrating examples of display on a display unit according to the first embodiment.
  • 11A and 11B are diagrams illustrating an example of outputs of a first recognition unit and a second recognition unit according to a modified example of the first embodiment.
  • FIG. 13 is a flowchart showing a processing procedure according to a second embodiment.
  • FIG. 11 is a diagram illustrating an example of an output of a first recognition unit according to the second embodiment.
  • FIG. 11 is a diagram illustrating a template and a marker according to a second embodiment.
  • 13 is a diagram illustrating an example of an output from a recognition result integration unit according to the second embodiment.
  • FIG. 13 is a diagram illustrating an example of an output of an annotation part according to the second embodiment.
  • FIG. 13 is a diagram illustrating an example of an output of a first recognition unit according to a third embodiment.
  • radiation can include, for example, electromagnetic radiation such as X-rays and gamma rays, as well as particulate radiation such as alpha rays, beta rays, particle beams, proton beams, heavy ion beams, and meson beams.
  • electromagnetic radiation such as X-rays and gamma rays
  • particulate radiation such as alpha rays, beta rays, particle beams, proton beams, heavy ion beams, and meson beams.
  • a machine learning model refers to a learning model based on a machine learning algorithm.
  • machine learning algorithms include nearest neighbor methods, naive Bayes methods, decision trees, and support vector machines.
  • deep learning which uses a neural network to generate features and connection weighting coefficients for learning.
  • a method using gradient boosting such as LightGBM and XGBoost can be used. Any of the above algorithms that can be used can be used as appropriate and applied to the following embodiments and examples.
  • teacher data refers to learning data, and is composed of pairs of input data and output data.
  • the output data of the learning data is also called correct answer data.
  • a trained model refers to a model that has been trained (learned) in advance using appropriate teacher data (learning data) for a machine learning model that follows any machine learning algorithm, such as deep learning.
  • learning data teacher data
  • a trained model has been obtained in advance using appropriate learning data, this does not mean that no further learning is performed, and additional learning can also be performed. Additional learning can also be performed after the device is installed at the site of use.
  • a radiography system in contrast, in a radiography system according to one embodiment of the present disclosure, image analysis is performed on the optical image, and information is obtained for narrowing down the subjects to be imaged for radiography from among the multiple subject candidates in the optical image. Specifically, a region of interest and subject candidate information are recognized from the optical image, and the recognized region of interest and subject candidate information are used to narrow down the subjects to be imaged for radiography from among the multiple subject candidates in the optical image.
  • Fig. 1A shows a schematic configuration of a radiation imaging system 1 according to an embodiment of the present disclosure
  • Fig. 1B shows a schematic configuration of an information processing device 100 according to an embodiment of the present disclosure.
  • Fig. 1A shows a state in which the subject O is in a supine position, but the subject O may be, for example, in an upright position or a sitting position.
  • an imaging table used to support the subject O may be a table according to the position of the subject O.
  • the radiation imaging system 1 is provided with an information processing device 100, a radiation generating device 20, a radiation detector 30, and a camera 40.
  • the information processing device 100 is connected to the radiation generating device 20, the radiation detector 30, and the camera 40, and can control them.
  • the information processing device 100 can also perform image processing and analysis processing of various images obtained using the radiation detector 30 and the camera 40.
  • the information processing device 100 is also connected to an external storage device 60, such as a server, via an arbitrary network 50, such as the Internet or an intranet, and can exchange data with the external storage device 60.
  • the external storage device 60 may also be directly connected to the information processing device 100.
  • the radiation generating device 20 includes, for example, a radiation generator such as a radiation tube, a collimator, a collimator lamp, etc., and can irradiate a radiation beam under the control of the information processing device 100.
  • the radiation beam irradiated from the radiation generating device 20 passes through the subject O while being attenuated, and enters the radiation detector 30.
  • the radiation detector 30 can detect the incident radiation beam and transmit a signal corresponding to the detected radiation beam to the information processing device 100.
  • the radiation detector 30 may be any radiation detector that detects radiation and outputs a corresponding signal, and may be configured using, for example, an FPD (Flat Panel Detector).
  • the radiation detector 30 may be an indirect conversion type detector that converts radiation into visible light using a scintillator or the like and then converts the visible light into an electrical signal using an optical sensor or the like, or it may be a direct conversion type detector that directly converts the incident radiation into an electrical signal.
  • the camera 40 is an example of an optical device that captures optical images of the subject O under the control of the information processing device 100, and acquires the optical images.
  • the camera 40 transmits the optical images acquired by the capture to the information processing device 100.
  • the camera 40 may have any known configuration, and may be configured as a camera capable of capturing moving images, such as a video camera, or as a camera that only captures still images.
  • the camera 40 may also be configured to capture images using visible light, or may be configured to capture images using invisible light other than radiation, such as infrared light.
  • the information processing device 100 is provided with an optical image acquisition unit 101, a first recognition unit 102, a second recognition unit 103, a recognition result integration unit 104, a consistency determination unit 105, a radiographic image acquisition unit 106, an annotation unit 107, and a display control unit 108.
  • the information processing device 100 also is provided with a CPU 131, a storage unit 132, a main memory 133, an operation unit 134, and a display unit 135.
  • the various units of the information processing device 100 are connected via a CPU bus 130 and are capable of exchanging data with one another.
  • the optical image acquisition unit 101 can control the camera 40 and acquire an optical image of the subject O captured by the camera 40.
  • the optical image acquisition unit 101 may also acquire an optical image of the subject O from an external storage device 60 or an optical device (not shown) connected to the information processing device 100 via an arbitrary network.
  • the optical image acquisition unit 101 may also acquire an optical image stored in the storage unit 132.
  • the first recognition unit 102 performs image analysis of the optical image and is capable of identifying and recognizing a region of interest in the optical image.
  • the second recognition unit 103 performs image analysis of the optical image and is capable of identifying and recognizing candidate subject information indicative of candidates for the subject O to be imaged in the optical image. The recognition processes performed by the first recognition unit 102 and the second recognition unit 103 will be described later.
  • the recognition result integration unit 104 can determine subject information indicating the subject O to be the subject of radiographic imaging, using at least one of the recognition results by the first recognition unit 102 and the second recognition unit 103.
  • the recognition result integration unit 104 can also integrate the recognition results by the first recognition unit 102 and the second recognition unit 103, and use the integrated recognition result to determine subject information including information indicating the position, type, and posture of a human body part.
  • the consistency determination unit 105 can determine whether there is consistency between the subject information determined by the recognition result integration unit 104 and the information about the subject O included in the radiography order. By providing the operator with the determination result, the information processing device 100 can assist in determining whether the subject information determined using the optical image matches the radiography instructions.
  • the radiation image acquisition unit 106 controls the radiation generation device 20 and the radiation detector 30 to perform radiography of the subject O and acquire a radiation image of the subject O from the radiation detector 30.
  • the radiation image acquisition unit 106 may also acquire a radiation image of the subject O from an external storage device 60 or a radiation detector (not shown) connected to the information processing device 100 via an arbitrary network.
  • the radiation image acquisition unit 106 may also acquire a radiation image stored in the storage unit 132.
  • the annotation unit 107 annotates the subject information determined by the recognition result integration unit 104 onto the radiation image.
  • annotation refers to a process of embedding subject information indicating the posture, orientation, and left/right location of the subject O into the radiation image.
  • the annotation unit 107 may be configured to annotate the subject information onto the optical image.
  • the display control unit 108 can control the display of the display unit 135.
  • the display control unit 108 can display, for example, patient information on the patient who is the subject O, imaging conditions, parameters set by the operator, generated optical images and radiation images, determined subject information, and segmentation information on the display unit 135.
  • the display control unit 108 can display any display or GUI, such as a button or slider for accepting operations by the operator, on the display unit 135 according to the desired configuration.
  • the CPU (Central Processing Unit) 131 is an example of a processor that controls the operation of the information processing device 100.
  • the CPU 131 uses the main memory 133 to control the operation of the entire device in accordance with operations from the operation unit 134 and parameters stored in the storage unit 132.
  • the processor in the information processing device 100 is not limited to a CPU, and may include, for example, a microprocessing unit (MPU) and a graphics processing unit (GPU).
  • the processor may also include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit
  • the storage unit 132 can store various images and data processed by the information processing device 100.
  • the storage unit 132 can also store patient information, imaging conditions, parameters set by the operator, and the like.
  • the storage unit 132 may be configured with any storage medium, such as an optical disk or memory.
  • the main memory 133 is configured with memory, etc., and can be used for temporary data storage, etc.
  • the operation unit 134 includes input devices for operating the information processing device 100, such as a keyboard and a mouse.
  • the display unit 135 includes, for example, any display, and displays various information such as subject information and various images under the control of the display control unit 108.
  • the display unit 135 may be a monitor of a console for operating a radiation imaging device including the radiation generation device 20 and the radiation detector 30, a sub-monitor installed at a position where the subject O can be observed while supporting positioning, or a console monitor of a radiation irradiator.
  • a head-mounted display that the operator can wear while working can be used, allowing the operator to reliably check the display with minimal eye movement.
  • the display unit 135 may be configured with a touch panel display, in which case the display unit 135 can also be used as the operation unit 134.
  • the information processing device 100 can be configured by a computer provided with a processor and memory.
  • the information processing device 100 may be configured by a general computer, or may be configured by a computer dedicated to a radiation imaging system.
  • the information processing device 100 may be, for example, a personal computer (PC), and a desktop PC, a notebook PC, or a tablet PC (portable information terminal), etc. may be used.
  • the information processing device 100 may be configured as a cloud-type computer in which some of the components are located in an external device.
  • optical image acquisition unit 101, the first recognition unit 102, the second recognition unit 103, the recognition result integration unit 104, the consistency determination unit 105, the radiation image acquisition unit 106, the annotation unit 107, and the display control unit 108 may be configured as software modules executed by the CPU 131. Furthermore, each of these components may be configured as a circuit that performs a specific function, such as an ASIC, or an independent device.
  • the imaging order information is information corresponding to the unit of examination ordered by the doctor, and is information including, for example, patient information, imaging (scheduled) date and time, and the part, direction, and posture of the subject to be imaged based on the doctor's findings.
  • the imaging order information includes information necessary for radiography, such as the type of radiation detection device to be used (standing, lying, portable, etc.), the patient's posture (imaging part and direction, etc.), and radiography conditions (tube voltage, tube current, grid and presence or absence, etc.).
  • the optical image acquisition unit 101 controls the camera 40 to capture an optical image of the subject O, and acquires the optical image from the camera 40.
  • the optical image acquired by the optical image acquisition unit 101 is transferred sequentially via the CPU bus 130 to the main memory 133, the first recognition unit 102, and the second recognition unit 103.
  • the first recognition unit 102 obtains a region of interest from the transferred optical image.
  • the second recognition unit 103 obtains candidate subject information from the transferred optical image. There is no set order for the processing of the first recognition unit 102 and the second recognition unit 103, and processing may be performed in parallel.
  • the region of interest and candidate subject information are transferred to the recognition result integration unit 104 via the CPU bus 130.
  • the recognition result integration unit 104 integrates the transferred region of interest and the subject candidate information to obtain subject information.
  • the subject information is transferred to the consistency determination unit 105 via the CPU bus 130.
  • the consistency determination unit 105 compares the imaging order information with the subject information and outputs a consistency determination result.
  • the optical image, region of interest, subject candidate information, subject information, and consistency determination result are transferred to the memory unit 132 and display control unit 108 via the CPU bus 130.
  • the memory unit 132 stores the various transferred information.
  • the display control unit 108 causes the display unit 135 to display the various transferred information.
  • the operator checks the various displayed information and issues operation instructions as necessary via the operation unit 134. For example, if the consistency determination result is correct, the operator issues an instruction to capture a radiographic image via the operation unit 134. This image capture instruction is transmitted to the radiographic image acquisition unit 106 by the CPU 131.
  • the radiation image acquisition unit 106 When the radiation image acquisition unit 106 receives an instruction to perform imaging, it controls the radiation generator 20 and the radiation detector 30 to perform radiation imaging. In radiation imaging, the radiation generator 20 first irradiates the subject O, and the radiation beam that passes through the subject O while attenuating is detected by the radiation detector 30. The radiation image acquisition unit 106 acquires a signal corresponding to the intensity of the radiation beam detected by the radiation detector 30 as a radiation image. This radiation image data is transferred sequentially to the main memory 133 and the annotation unit 107 via the CPU bus 130.
  • the annotation unit 107 annotates the transferred radiographic image with the subject information stored in the memory unit 132.
  • the annotated radiographic image is transferred to the memory unit 132 and the display control unit 108 via the CPU bus 130.
  • the memory unit 132 stores the transferred annotated radiographic image.
  • the display control unit 108 displays the transferred annotated radiographic image on the display unit 135. The operator can check the displayed annotated radiographic image and issue operation instructions as necessary via the operation unit 134.
  • Example 1 A radiation imaging system, an information processing device, and an information processing method according to a first embodiment of the present disclosure will be described below with reference to Fig. 2 to Fig. 6.
  • a video camera is used as the camera 40 to acquire optical images at a predetermined frame rate, while checking the consistency between the imaging order and subject information, and performing radiation imaging.
  • Fig. 2 is a flowchart showing the processing steps according to this embodiment. When the processing steps according to this embodiment are started, the process proceeds to step S201.
  • step S201 the optical image acquisition unit 101 controls the camera 40 to acquire optical images of the radiation imaging site including the subject of radiation imaging.
  • the camera 40 is a video camera attached to the radiation generator, and images the subject in an imaging position on the radiation detector 30 arranged on a supine table, and outputs optical images at a predetermined frame rate.
  • FIG. 3 shows an example of an optical image according to the first embodiment.
  • the radiation detector area 301 in the optical image 300 is an area showing the radiation detector 30.
  • a collimator lamp is irradiated onto the subject's right hand, and a collimator lamp irradiation area 304 is depicted on the right hand 302 in the optical image 300.
  • the collimator lamp is a device that irradiates visible light and is attached to a collimator in order to confirm the radiation irradiation area, which is the area to be irradiated with radiation, before radiation irradiation.
  • the collimator lamp irradiation area 304 generated by the collimator lamp coincides with the radiation irradiation area during radiation imaging.
  • Step S202 the first recognition unit 102 recognizes a region of interest from the optical image acquired by the optical image acquisition unit 101.
  • the region of interest is a region in which a subject, which is an imaging target to be radiographed, is assumed to exist.
  • the collimator lamp irradiation region 304 is the region of interest.
  • the collimator lamp irradiation region 304 coincides with the radiation irradiation region during radiography, and therefore corresponds to the region of interest in which the subject exists. Therefore, as shown in FIG.
  • the first recognition unit 102 recognizes, for example, a circumscribing rectangle of the collimator lamp irradiation region 304 from the optical image 300, and outputs the center position (cx0, cy0), width w0, and height h0 of the circumscribing rectangle as information indicating the recognized region of interest.
  • the collimator lamp irradiation area 304 can be recognized by using a relatively simple image analysis process for the optical image, such as threshold processing of high-brightness areas using histogram analysis, or rectangular area recognition processing using high-brightness edge detection.
  • the collimator lamp irradiation area 304 may also be recognized by using a cross-shaped shadow indicating the center of the collimator as a characteristic.
  • a neural network-based inference device may be generated by machine learning and used.
  • the inference device may be obtained using learning data including an optical image captured at the radiation image capture site as input data and information indicating the area of interest in the optical image as output data.
  • the information indicating the area of interest may be position information of the collimator lamp irradiation area
  • the position information of the collimator lamp irradiation area may include the center position, width, and height of the collimator lamp irradiation area.
  • the position information of the collimator lamp irradiation area for example, a label image in which a label is attached to the collimator lamp irradiation area in the optical image may be used.
  • a more robust inference device than a rule-based algorithm can be generated by using a large amount of learning data obtained under various shooting conditions and types of collimator lamps.
  • the information processing device 100 functions as an example of a learning unit that learns the inference device used in the recognition process of the area of interest, but the first recognition unit 102 may use an inference device that has been trained by another learning device, etc.
  • the GPU can perform efficient calculations by processing more data in parallel. For this reason, when performing learning multiple times using a machine learning algorithm such as deep learning, it is effective to perform the processing using the GPU. Therefore, in this embodiment, the processing by the information processing device 100 functioning as an example of a learning unit may use a GPU in addition to the CPU. Specifically, when executing a learning program including a learning model, learning can be performed by the CPU and GPU working together to perform calculations. Note that, in the processing of the learning unit, calculations may be performed only by the CPU or the GPU. Furthermore, the recognition processing according to this embodiment may also be realized using a GPU, similar to the learning unit. Note that, when the inference unit is provided in an external device, the information processing device 100 does not need to function as a learning unit.
  • the learning unit may also include an error detection unit and an update unit, both of which are not shown.
  • the error detection unit obtains the error between correct data and output data output from the output layer of the neural network in response to input data input to the input layer.
  • the error detection unit may use a loss function to calculate the error between the output data from the neural network and correct data.
  • the update unit updates the connection weighting coefficients between the nodes of the neural network, etc., based on the error obtained by the error detection unit, so as to reduce the error.
  • This update unit updates the connection weighting coefficients, etc., using, for example, an error backpropagation method.
  • the error backpropagation method is a method of adjusting the connection weighting coefficients between the nodes of each neural network so as to reduce the above-mentioned error.
  • FCN Full Convolutional Network
  • SegNet SegNet
  • RCNN Regular CNN
  • fastRCNN fastRCNN
  • fasterRCNN fasterRCNN
  • YOLO You Only Look Once
  • SSD Single Shot Detector, or Single Shot MultiBox Detector
  • Step S203 the second recognition unit 103 recognizes candidate subject information from the optical image 300 acquired by the optical image acquisition unit 101.
  • the candidate subject information is information indicating a candidate subject who is a subject to be imaged for a radiation image and who is captured in the optical image, and can include the position, type, and posture of a human body part captured in the optical image.
  • the second recognition unit 103 detects the right hand 302 and the left hand 303 as objects, as shown in FIG. 5, and outputs their positions as different bounding boxes 501 and 502.
  • the center of the bounding box n is expressed as the center position (cxn, cyn), the width as width wn, and the height as height hn.
  • the second recognition unit 103 can output information on the center position, width, and height of the bounding boxes 501 and 502 as the positions of the right hand 302 and left hand 303, which are the subject candidates, as the recognition results.
  • the second recognition unit 103 recognizes the positions of the human body parts as bounding boxes, but the recognition of the positions of the human body parts is not limited to this.
  • the second recognition unit 103 may, for example, recognize an area along the contour of the subject candidate included in the optical image as the position of the human body part, or may recognize an area of any geometric shape that includes the subject candidate as the position of the human body part.
  • the second recognition unit 103 classifies the types of the right hand 302 and the left hand 303, which are the subject candidates, into a right hand and a left hand, respectively. Specifically, the second recognition unit 103 assigns a class number (label) representing the type to the detected object or bounding box, and in this example, the right hand is assigned class number 1 and the left hand is assigned class number 2.
  • the second recognition unit 103 may also recognize the posture of the potential subject depending on the granularity of the imaging order for which consistency is judged. For example, if the potential subject is a hand, the second recognition unit 103 may recognize the posture of the hand, such as the front and back, the side, and the way the fingers are folded, for the detected object or bounding box as a posture defined according to the granularity of the imaging order. In this case, the second recognition unit 103 may assign a class number corresponding to each posture to the detected object or bounding box.
  • the second recognition unit 103 can recognize the subject candidate information.
  • the subject candidate information can be recognized using an inference device generated by machine learning that is capable of object detection and class classification for parts such as the human face, limbs, and trunk.
  • inference devices related to skeletal estimation technology that have been machine-learned to recognize the positions and types of joints are generally known to be able to estimate these with high accuracy.
  • a clustering algorithm such as k-means as the feature values of the obtained joint positions and types, flexible recognition processing targeting human parts can be realized.
  • the second recognition unit 103 may recognize the subject candidate information using an inference device obtained using learning data including an optical image as input data and subject candidate information in the optical image as output data.
  • an inference device for each object to be recognized may be generated and used using learning data including a label image to which a label corresponding to the object to be recognized (for example, the type or posture of the human body part) is attached.
  • a single inference device that infers the object to be recognized at one time may be generated and used using learning data including a label image to which a label corresponding to a combination of objects to be recognized (for example, a combination of the type and posture of the human body part) is attached.
  • the information processing device 100 functions as an example of a learning unit that learns an inference device used in the recognition process of the subject candidate information, but the second recognition unit 103 may use an inference device that has been trained by another learning device, etc.
  • the recognition result integration unit 104 integrates the region of interest output by the first recognition unit 102 and the candidate subject information output by the second recognition unit 103 to determine and output the subject information indicating the subject to be imaged for the radiation image.
  • the subject information includes information indicating which subject will be radiographed.
  • the subject information can be used to determine consistency with the imaging order.
  • the recognition result integration unit 104 can narrow down the subject candidates output by the second recognition unit 103 to the subject candidate that is closest to the position of the region of interest output by the first recognition unit 102.
  • the recognition result integration unit 104 can also determine the type and posture of the narrowed down subject candidates as the type and posture of the subject.
  • the distance Dn between the region of interest and the subject candidate n can be defined as the distance between the coordinates of their respective center positions. Specifically, since the center of the region of interest is the center position (cx0, cy0) and the center of the subject candidate n is the center position (cxn, cyn), the distance Dn can be calculated according to the following formula 1.
  • the recognition result integration unit 104 can calculate the distance Dn for all subject candidates n output by the second recognition unit 103, recognize the subject candidate nmin for which the distance Dn is the smallest as the subject to be imaged, and output subject information indicating the subject.
  • the recognition result integration unit 104 can also output information (class) indicating the type and posture of the human body contained in the subject candidate information indicating the subject candidate nmin as subject information.
  • the recognition result integration unit 104 calculates the distance D501 between the center position (cx0, cy0) of the region of interest and the center position (cx501, cy501) of the bounding box 501.
  • the recognition result integration unit 104 also calculates the distance D502 between the center position (cx0, cy0) of the region of interest and the center position (cx502, cy502) of the bounding box 502. Since the distance D501 is smaller than the distance D502, the subject candidate nmin is the subject candidate indicated by the bounding box 501, and the class indicating the type of human body part included in the subject candidate is 1. Therefore, the recognition result integration unit 104 can output the subject candidate information including the bounding box 501 and its class number 1 (right hand) as subject information.
  • Step S205 the consistency determination unit 105 compares the imaging order with the subject information output by the recognition result integrating unit 104, determines the consistency between them, and outputs "matching" or "inconsistency" as the determination result.
  • the imaging order is for the right hand, and the output of the recognition result integrating unit 104 is also class number 1 (right hand), so the consistency determination unit 105 outputs "matching" as the determination result.
  • the recognition result integrating unit 104 outputs "inconsistency" as the determination result.
  • step S206 the display control unit 108 causes the display unit 135 to display the optical image acquired by the optical image acquisition unit 101, the subject information output by the recognition result integration unit 104, the imaging order, and the consistency determination result.
  • the display control unit 108 can also cause the display unit 135 to display the region of interest output by the first recognition unit 102 and the subject candidate information output by the second recognition unit 103.
  • the display control unit 108 displays an optical image 601 on a console monitor 600, which is an example of the display unit 135, and displays a bounding box 602 indicating the right hand position as subject information on the optical image 601. Furthermore, the display control unit 108 displays information 603 that the subject information included in the imaging order is a right hand, information 604 that the recognized type of subject is a right hand, and a consistency determination result 605 on the console monitor 600.
  • FIG. 6 shows an example of display on the display unit 135 according to this embodiment.
  • the display control unit 108 can also display the recognition results of the first recognition unit 102 and the second recognition unit 103 on the display unit 135.
  • the display control unit 108 can also switch between displays on the display unit 135 in response to instructions from the operator via the operation unit 134. By checking these, the operator can understand what results the first recognition unit 102, the second recognition unit 103, the recognition result integration unit 104, and the consistency determination unit 105 are outputting.
  • the information processing device 100 can perform image processing such as cropping, enlarging/reducing, and rotating on the displayed optical image based on the region of interest, the subject candidate information, and the subject information.
  • image processing is useful, for example, when the camera 40 is placed at a position that allows a wider range in the examination room to be captured in the angle of view, rather than at the position of the radiation generator.
  • the display control unit 108 can cause the display unit 135 to display an optical image that is limited to the area required by the operator, related to the region of interest, the subject candidate information, the subject information, etc., rather than an optical image that captures a wide range in the angle of view.
  • the display control unit 108 can display an optical image with a size and rotation angle that is easy to recognize.
  • the display control unit 108 may cause the display unit 135 to display a warning.
  • the warning may, for example, be a message indicating that the determined subject information is inconsistent with the information included in the imaging order, or a message urging the subject to correct the subject's body part or posture. This type of processing can prevent radiation imaging different from that intended by the imaging order from being performed, and can prevent the subject from being exposed to unnecessary radiation.
  • Step S207 the operator checks the optical image and information displayed on the display unit 135, and performs an appropriate operation for capturing a radiographic image via the operation unit 134. Specifically, if the result of the consistency determination unit 105 indicates that consistency is achieved, the operator can input an instruction to capture a radiographic image. Furthermore, if the determination result indicates that consistency is not achieved, or if there is some abnormality in the information shown on the display unit 135, the operator can take the necessary measures to resolve the abnormality.
  • the radiographic image is captured in response to an instruction from the operator, but the information processing device 100 may determine whether or not to capture a radiographic image. For example, the information processing device 100 may start capturing a radiographic image when the result of the determination by the consistency determination unit 105 for the optical image, which is a moving image, is "consistent" for a predetermined period of time. On the other hand, when the result of the determination by the consistency determination unit 105 is "inconsistent," the information processing device 100 may not start capturing a radiographic image and may cause the display control unit 108 to display a warning on the display unit 135.
  • the warning may be, for example, a message indicating that the recognized subject information and the information included in the imaging order are not consistent, or a message prompting the user to correct the subject's part or posture. This process can prevent radiation imaging other than that intended by the imaging order from being performed, and prevent unnecessary radiation exposure to the subject.
  • the radiation imaging system 1 includes a radiation generating device 20 and a radiation detector 30 that perform radiation imaging of a subject, a camera 40 that functions as an example of an optical device that performs optical imaging of the subject, and an information processing device 100.
  • the information processing device 100 includes a first recognition unit 102 and a second recognition unit 103.
  • the first recognition unit 102 recognizes a region of interest using an optical image including the subject acquired at the site where the radiation image is to be captured.
  • the second recognition unit 103 recognizes candidate subject information indicating candidate subjects to be the subject of radiation image capture using the optical image.
  • the candidate subject information includes at least one of the position, type, and posture of a human body part.
  • the information processing device 100 can acquire information for narrowing down the subjects to be imaged in the radiography from multiple subject candidates in the optical image. Therefore, the information processing device 100 can more appropriately support the operator in determining whether the subject's imaging position is appropriate.
  • the information processing device 100 further includes a recognition result integration unit 104 that functions as an example of a determination unit that integrates the recognition results by the first recognition unit 102 and the second recognition unit 103 and determines subject information indicating the subject to be imaged using the integrated recognition result. Therefore, the information processing device 100 can narrow down the subjects to be imaged in the radiography from multiple subject candidates in the optical image using the recognition results by the first recognition unit 102 and the second recognition unit 103. Therefore, the information processing device 100 can more appropriately support the operator in determining whether the subject's imaging position is appropriate.
  • the recognition result integration unit 104 can determine the subject information using one of the distance and overlap area between the recognized region of interest and the subject candidate indicated by the recognized subject candidate information.
  • the information processing device 100 further includes a consistency determination unit 105 that functions as an example of a determination unit that determines whether consistency is achieved between the subject information and the information included in the radiographic image capture order.
  • the information processing device 100 further includes a display control unit 108 that causes the display unit 135 to display at least one of the optical image, the region of interest, the candidate information, the subject information, and the consistency determination result.
  • the information processing device 100 can determine the consistency between the subject information determined by analyzing the optical image and the imaging order, and present the consistency determination result to the operator performing the radiographic imaging.
  • the imaging order consistency determination function can be applied even in cases where multiple subject candidates appear in the optical image. Therefore, the information processing device 100 can more efficiently support the operator in determining whether the imaging position of the subject is appropriate.
  • the subject information may include at least one of the position, type, and posture of the human body part.
  • the display control unit 108 can display a warning on the display unit 135. In this case, it is possible to prevent radiation imaging other than that intended by the imaging order from being performed, and to prevent the subject from being exposed to unnecessary radiation.
  • the first recognition unit 102 can recognize the region of interest using the output from an inference unit obtained by inputting the acquired optical image into the inference unit.
  • the inference unit in this case can be obtained using learning data including an optical image and information indicating the region of interest in the optical image.
  • the second recognition unit 103 can recognize candidate information related to the acquired optical image using the output from the inference unit obtained by inputting the acquired optical image into the inference unit.
  • the inference unit in this case can be obtained using learning data including an optical image and subject candidate information indicating subject candidates in the optical image who will be the subject of radiographic imaging. In this way, the first recognition unit 102 and the second recognition unit 103 can each perform recognition processing with high accuracy by using an inference unit.
  • the first recognition unit 102 can also use the optical image to recognize the collimator lamp irradiation area where the collimator lamp is irradiated as a region of interest.
  • the information processing device 100 can acquire information on the collimator lamp irradiation area, which is the region of interest, as information for narrowing down multiple candidate subjects to one. This makes it possible to acquire information for efficiently narrowing down the candidate subjects even when multiple candidate subjects appear in the optical image.
  • the display control unit 108 can also display on the display unit 135 an optical image that has been subjected to at least one of the following image processes: cropping, enlargement/reduction, and rotation. With this configuration, the display control unit 108 can display on the display unit 135 an optical image that is limited to the area required by the operator, such as the area of interest, candidate subject information, and subject information, rather than an optical image that covers a wide range within the angle of view.
  • the first recognition unit 102 in step S202 and the second recognition unit 103 in step S203 operate independently, and the results are integrated by the recognition result integration unit 104 in step S204.
  • the first recognition unit 102 may recognize a region of interest
  • the second recognition unit 103 may apply a recognition process of the subject candidate information limited to the recognized region of interest.
  • FIG. 7 shows an example of the output of the first recognition unit 102 and the second recognition unit 103 according to this modified example.
  • the second recognition unit 103 performs a recognition process of the subject candidate information within the radiation detector region 301 in the optical image, which is indicated by the center position (cx0, cy0), width w0, and height h0 included in the information on the region of interest output from the first recognition unit 102.
  • the only subject candidate within the collimator lamp irradiation region 304 which is the region of interest recognized by the first recognition unit 102, is the right hand 302. Therefore, the second recognition unit 103 can perform object detection for the right hand 302 within the region of interest, and output the bounding box 501 and its class number 1 as the recognition result.
  • the recognition result integration unit 104 can determine the subject candidate information including the bounding box 501 and its class number 1 (right hand) as subject information based on the recognition result of the second recognition unit 103, and output it.
  • the first recognition unit 102 and the second recognition unit 103 do not operate independently, and the results of the first recognition unit 102 affect the performance of the second recognition unit 103, but by limiting the processing target of the second recognition unit 103, it is possible to speed up processing.
  • the recognition result integration unit 104 can determine and output specimen information based only on the recognition result of the second recognition unit 103.
  • the recognition result integration unit 104 can determine and output specimen information from the specimen candidate information based on the distance between the recognition result of the second recognition unit 103 and the center position of the region of interest.
  • the second recognition unit 103 first recognizes a plurality of candidate specimen information (a plurality of candidate information) indicating a plurality of candidate specimens (a plurality of candidates).
  • the first recognition unit 102 may then recognize a region of interest based on the area that each of the plurality of candidate specimens indicated by the plurality of candidate specimen information occupies in the optical image.
  • the first recognition unit 102 can recognize a candidate specimen that occupies a larger area in the optical image than the other candidate specimens among the plurality of candidate specimens indicated by the plurality of candidate specimen information as a region of interest.
  • the recognition result integration unit 104 can determine the candidate specimen information recognized by the second recognition unit 103, which corresponds to the region of interest recognized by the first recognition unit 102, as the candidate specimen information.
  • This configuration is based on the premise that the subject will occupy the largest area in the optical image. With this configuration, the subject can be accurately determined by a relatively simple method.
  • the first recognition unit 102 may also recognize a region of interest based on the distance from each of the multiple subject candidates indicated by the multiple subject candidate information recognized by the second recognition unit 103 to the center of the optical image. More specifically, the first recognition unit 102 can recognize, as a region of interest, a subject candidate that is closer to the center of the optical image than the other subject candidates among the multiple subject candidates. In this case, the recognition result integration unit 104 can also determine, as subject information, the subject candidate information recognized by the second recognition unit 103 that corresponds to the region of interest recognized by the first recognition unit 102. Although the applicable conditions of such a configuration are limited, for example, when the camera 40 is attached to the radiation generating device 20, the subject can be accurately determined by a relatively simple method.
  • the information processing device 100 may recognize the presence or absence of motion of the subject candidate from the optical images acquired at a predetermined frame rate, and determine the subject as one without motion.
  • the second recognition unit 103 uses the optical images acquired at a predetermined frame rate to recognize a plurality of subject candidate information indicating a plurality of subject candidates in a time series, and recognizes the time series movements of the plurality of subject candidates.
  • the first recognition unit 102 recognizes a subject candidate whose time series movements are smaller than those of other subject candidates as a region of interest based on the recognized time series movements.
  • the recognition result integration unit 104 can determine the subject candidate information recognized by the second recognition unit 103, which corresponds to the region of interest recognized by the first recognition unit 102, as subject information. This configuration is based on the assumption that the subject will be stationary for radiation imaging. Even with this configuration, the subject can be accurately determined by a relatively simple method.
  • the recognition result integration unit 104 may determine and output subject information indicating the position of the subject's body part based only on the recognition result by the first recognition unit 102.
  • the recognition result integration unit 104 can function as an example of a determination unit that determines subject information indicating the subject to be imaged using at least one of the recognition results by the first recognition unit 102 and the second recognition unit 103.
  • the information processing device 100 can narrow down the subjects to be imaged in the radiography even in a situation where multiple subject candidates are captured in the radiography image, and can more appropriately support the operator's judgment on the suitability of the subject's imaging position.
  • the first recognition unit 102 may perform the function of determining and outputting the specimen information indicating the specimen based on the region of interest.
  • the first recognition unit 102 may determine the specimen information using not only the region of interest but also the candidate specimen information recognized by the second recognition unit 103.
  • the second recognition unit 103 may perform the function of determining and outputting the specimen information indicating the specimen based on the candidate specimen information.
  • the second recognition unit 103 may determine the specimen information using not only the candidate specimen information but also the region of interest recognized by the first recognition unit 102.
  • the information processing device 100 can narrow down the subjects to be imaged in the radiography even in situations where multiple potential subjects appear in the study image, and can more appropriately support the operator in determining whether the subject's imaging position is appropriate.
  • Example 2 Hereinafter, a radiography system, an information processing device, and an information processing method according to a second embodiment of the present disclosure will be described with reference to Fig. 8 to Fig. 12.
  • a video camera is used to acquire optical images at a predetermined frame rate while acquiring subject information, and the subject information is annotated on the images acquired by radiography. Note that the contents described in detail in the first embodiment will not be described.
  • annotation refers to embedding information indicating the posture, orientation, left and right of the subject, etc., in a radiation image.
  • information such as the patient's posture at the time of imaging and the direction of radiation incidence is lost from radiation images acquired by radiation imaging for medical examinations. Therefore, by performing annotation, information that is lost from radiation images in which three-dimensional information is projected onto a two-dimensional image can be embedded in the radiation image, making it easier to confirm the conditions under which the radiation image was captured.
  • annotation is performed by performing radiation imaging so that a character-shaped structure (annotation marker) made of a material with high radiation absorption rate is captured together with the subject.
  • annotation is performed by embedding (superimposing) the subject information in the image.
  • the subject information in this embodiment can include information indicating the subject's posture, orientation, left and right of the subject, etc.
  • the subject's orientation may correspond to the direction of radiation incidence.
  • An example of annotation includes embedding the letter symbol "PA” in the radiation image when the subject is in a position where radiation enters from the back in frontal chest imaging, and "AP” when the subject is in a position where radiation enters from the chest.
  • Other examples of annotation include embedding the letter symbol “RL” in the radiation image when the subject is in a position where radiation enters from the right side in lateral chest imaging, and "LR” when the subject is in a position where radiation enters from the left side.
  • annotation also includes embedding the letter symbol "R” in the radiation image when the right hand or right foot is imaged, and “L” in the radiation image when the left hand or left foot is imaged.
  • Other annotations include embedding the letter symbol “standing position” when the subject is in a standing position, “sitting position” when the subject is in a sitting position, “supine position” when the subject is lying on a bed, and so on in the radiation image.
  • Fig. 8 is a flowchart showing the processing steps according to this embodiment. When the processing steps according to this embodiment are started, the process proceeds to step S801.
  • step S801 the optical image acquisition unit 101 controls the camera 40 to acquire an optical image of an area including a subject to be radiographed.
  • the camera 40 is a video camera attached to a radiation generator, which images the subject in a radiography position on the radiation detector 30 arranged on a supine table, and outputs optical images at a predetermined frame rate.
  • Step S802 the first recognition unit 102 recognizes a region of interest from the optical image acquired by the optical image acquisition unit 101.
  • the region of interest is a region in which a subject, which is an imaging target to be radiographed, is assumed to exist.
  • a radiation detector region 301 in an optical image is set as the region of interest.
  • the radiation detector 30 is a device that acquires a radiation image during radiography, and since a subject exists in a region in which radiation imaging is performed by the radiation detector 30, the radiation detector region 301 in the optical image corresponds to the region of interest in which the subject exists. Therefore, as shown in FIG.
  • the first recognition unit 102 recognizes, for example, a circumscribing rectangle of the radiation detector region 301 from the optical image 300, and outputs the center position (cx0, cy0), width w0, and height h0 of the circumscribing rectangle as information indicating the recognized region of interest as the region of interest.
  • the information processing device 100 may hold the external appearance of the radiation detector 30 to be recognized as a template, and the first recognition unit 102 may extract and recognize the radiation detector region 301 from the optical image by template matching.
  • Figure 10 shows examples of templates and markers related to template matching in this embodiment.
  • the entire radiation detector 1001 may be used as the template, or a distinctive external feature 1002 such as a square, an edge, or a logo may be used as the template.
  • an easily detectable marker 1003 may be attached to the radiation detector region 301, and the first recognition unit 102 may extract and recognize a region of interest based on the marker 1003 in the optical image.
  • the first recognition unit 102 may recognize an area surrounded by the marker 1003 as the region of interest.
  • the marker can be designed so that it can be extracted with high accuracy by combining feature amounts extracted by edge detection or threshold processing, instead of template matching.
  • the templates and markers undergo three-dimensional deformation, such as enlargement, reduction, and rotation, depending on the positional relationship with the camera 40, so it is possible to use extraction rules for the templates and markers that take this into account.
  • a neural network-based inference device may be generated and used by machine learning.
  • the inference device may be generated using learning data that includes optical images captured at various positions, angles, and lighting conditions, including the appearance and markers of the radiation detector used as the template, and label images in which the templates and markers in the optical images are labeled. Note that information indicating the positions of the templates and markers may be used instead of the label images.
  • Step S803 the second recognition unit 103 recognizes the subject candidate information from the optical image 300 acquired by the optical image acquisition unit 101.
  • This step is the same process as step S203 in the first embodiment, and therefore the description thereof is omitted here.
  • the subject candidate information includes information on the orientation of the subject
  • a labeled image in which a label is attached regarding the orientation of the subject may also be used for the learning data of the inference unit used by the second recognition unit 103.
  • the recognition result integration unit 104 determines and outputs object information indicating the object to be captured in the radiographic image by integrating the region of interest output by the first recognition unit 102 and the object candidate information output by the second recognition unit 103.
  • the object information includes annotation information indicating the posture, direction, and left and right of the object to be annotated in the radiographic image, such as the radiation incidence direction (PA/AP) and the left and right of the object (R/L).
  • the recognition result integration unit 104 determines, from among the subject candidates, the subject candidate that is closest to the position of the region of interest output by the first recognition unit 102 as the subject. In addition, the recognition result integration unit 104 obtains annotation information such as the direction of radiation incidence on the subject (PA/AP) and the left/right of the subject (R/L) based on the subject candidate information determined as the subject information.
  • annotation information such as the direction of radiation incidence on the subject (PA/AP) and the left/right of the subject (R/L) based on the subject candidate information determined as the subject information.
  • the subject information determination process may use a method similar to that of step S204 in the first embodiment, but other methods may also be used.
  • a method of narrowing down subjects based on the area of subject candidates contained within the region of interest will be described here.
  • the recognition result integration unit 104 determines regions that are both regions of interest and subject candidates, compares the areas of the determined regions, and determines the one with the larger area as the subject.
  • Figure 11 shows an example of a region that is both a region of interest and a subject candidate in this process by using a shaded area. This method is based on the assumption that most of the subject will be contained within the region of interest (the radiation detector in this embodiment).
  • the recognition result integration unit 104 may set a criterion for the size of the area when narrowing down the subject, based on the information on the imaging subject included in the imaging order.
  • the recognition result integration unit 104 narrows down the subject candidates, which are the left and right hands and have similar sizes, to the right hand, which is included more in the region of interest, as the subject. This enables the recognition result integration unit 104 to output the bounding box 501 and class number 1 (right hand), which indicates the left and right parts of the subject included in the bounding box 501, as subject information.
  • Step S805 the operator performs an appropriate operation for capturing a radiographic image via the operation unit 134, and the radiographic image acquisition unit 106 acquires the radiographic image.
  • a consistency determination may be performed similarly to steps S205 and S206 of the first embodiment, and the display control unit 108 may display the region of interest, the candidate subject information, the subject information, and the consistency determination result on the display unit 135.
  • the information processing device 100 may determine whether or not to capture a radiographic image.
  • Step S806 the annotation unit 107 annotates the information on the subject output by the recognition result integration unit 104 on the radiographic image output by the radiographic image acquisition unit 106.
  • class number 1 (right hand) is output as the subject information
  • the annotation unit 107 places R1201, which is a symbol indicating a right hand, on the radiographic image as shown in Fig. 12, and outputs an annotated image 1200.
  • Fig. 12 shows an example of the output of the annotation unit 107.
  • the output annotated image 1200 may be displayed on the display unit 135 by the display control unit 108, may be stored in the storage unit 132, or may be transmitted to the external storage device 60 or the like.
  • the information processing device 100 further includes an annotation unit 107 that superimposes the subject information on the radiation image as annotation information.
  • the display control unit 108 can cause the display unit 135 to display at least one of the optical image, the region of interest, the candidate information, the subject information, the consistency determination result, and the annotation information.
  • the information processing device 100 can recognize subject information by analyzing the optical image and perform automatic annotation. Furthermore, the information processing device 100 can acquire information for narrowing down the subjects to be imaged in the radiography from multiple subject candidates in the optical image. This makes it possible to perform subject recognition for automatic annotation even when multiple subject candidates appear in the optical image. Therefore, the information processing device 100 can more appropriately support the operator in determining whether the subject's imaging position is appropriate.
  • the first recognition unit 102 can use the optical image to recognize either the detector region in which the radiation detector is shown or the region indicated by the marker as the region of interest.
  • the information processing device 100 can acquire information for efficiently narrowing down the subjects based on the radiation detectors and markers in the optical image, which are the region of interest, even when multiple subject candidates are captured in the optical image.
  • the annotation unit 107 performed annotation on the radiological image.
  • the annotation unit 107 may perform annotation on the optical image, or may perform annotation on both the optical image and the radiological image. Even with this configuration, subject recognition for automatic annotation can be performed when multiple subject candidates appear in the optical image. Therefore, the information processing device 100 can more appropriately support the operator in determining whether the subject's imaging position is appropriate.
  • Example 3 A radiation imaging system, an information processing device, and an information processing method according to a third embodiment of the present disclosure will be described below. Note that the contents described in detail in the first embodiment will not be described.
  • the coordinates (spatial coordinates) of the radiation generator or radiation detector 30 in a camera coordinate system in which the optical center of the camera 40 is the origin, the optical axis direction of the camera 40 is the Z axis direction, and the horizontal and vertical directions of the image are the X axis direction and the Y axis direction, respectively, are known.
  • Such coordinates may be obtained, for example, by installing the radiation generator or radiation detector 30 while measuring its position with a tape measure or the like relative to the camera 40.
  • the coordinates may be obtained based on the drive amount from the installation position of the radiation generator or radiation detector 30 using a configuration that can mechanically grasp the drive amount.
  • the coordinates may be obtained by attaching a gyro mechanism or acceleration sensor to the radiation generator or radiation detector 30 to obtain the amount of displacement of the position or angle from the initial position and inputting the obtained amount of displacement to the information processing device 100.
  • the coordinates (x, y) in the acquired optical image corresponding to the coordinates (X, Y, Z) in the camera coordinate system can be expressed by the following equation 2 when the focal length of the camera is normalized to 1.
  • FIG. 13 is a diagram illustrating an example of the output of the first recognition unit 102 in this embodiment. Note that the method of obtaining subject information from the acquired region of interest and using it for consistency determination and annotation is similar to the method in embodiments 1 and 2, and therefore will not be described here.
  • the first recognition unit 102 recognizes a region of interest from the optical image 300 acquired by the optical image acquisition unit 101.
  • the region of interest is a region in which it is assumed that a subject, which is the subject to be radiographed, is present.
  • the radiation detector region 301 in the optical image 300 is the region of interest.
  • the first recognition unit 102 can calculate the coordinates (x0, y0) to (x3, y3) of the square of the corresponding effective pixel region on the optical image 300 using Equation 2. Therefore, the first recognition unit 102 in this embodiment can recognize the region surrounded by the calculated coordinates (x0, y0) to (x3, y3) as the region of interest.
  • the first recognition unit 102 can calculate the radiation irradiation area by determining the intersection of a straight line connecting the center of the radiation generator and the collimator with the radiation detector 1301 or the imaging table. In this case, the first recognition unit 102 can recognize the determined radiation irradiation area as the area of interest. The first recognition unit 102 may also calculate the collimator irradiation area as the radiation irradiation area.
  • the first recognition unit 102 in this embodiment uses the spatial coordinates between the camera 40 that captures the optical image and the radiation detector 30 to determine the radiation detector region in the acquired optical image where the radiation detector is indicated, and recognizes it as a region of interest.
  • the first recognition unit 102 may also use the spatial coordinates between the camera 40 and the radiation generator to determine the radiation irradiation region in the acquired optical image where radiation is irradiated, and recognize it as a region of interest.
  • the region of interest in the optical image is hidden by the subject, it is possible to obtain information to narrow down the subject to be imaged in the radiography. Furthermore, the information obtained in this way can be used to perform consistency determination and automatic annotation.
  • the first recognition unit 102 calculates the coordinates of the area of interest in the optical image from the spatial coordinates of each component in the camera coordinate system using Equation 2.
  • the first recognition unit 102 may use a table relating to the coordinates of the area of interest in the optical image corresponding to the spatial coordinates of each component in the camera coordinate system to determine the coordinates of the area of interest in the optical image from the spatial coordinates of each component in the camera coordinate system.
  • the table may be stored in advance in the storage unit 132, etc.
  • the optical image acquisition unit 101 and the radiation image acquisition unit 106 acquired the optical image and the radiation image using the camera 40 and the radiation detector 30, and performed annotation.
  • the optical image acquisition unit 101 and the radiation image acquisition unit 106 may acquire these images from the external storage device 60, an imaging device connected to the information processing device 100 via any network, etc.
  • the optical image and the radiation image may be captured while the subject is in the same imaging position, and the acquisition (imaging) times of each may be different.
  • the display screens described in the above embodiments 1 to 3 are merely examples. Therefore, the layout and display format of various images, buttons, etc. on the display screen displayed on the display unit 135 may be arbitrary.
  • the inference device for recognizing the above-mentioned regions of interest and candidate subject information is thought to extract the brightness values of the input data images, the order and gradient of light and dark areas, position, distribution, continuity, etc. as part of the features and use them in the inference process.
  • an inference device for the recognition processing of the above-mentioned region of interest and candidate subject information can be provided in the information processing device 100.
  • the inference device (trained model) may be configured, for example, as a software module executed by a processor such as a CPU, MPU, GPU, or FPGA, or may be configured as a circuit that performs a specific function such as an ASIC.
  • the inference device may also be provided in another device such as a server connected to the information processing device 100.
  • the information processing device 100 can use the inference device by connecting to a server equipped with the inference device via any network such as the Internet.
  • the server equipped with the inference device may be, for example, a cloud server, a fog server, or an edge server.
  • a network when a network is configured to be capable of wireless communication within a facility, a site including a facility, or an area including multiple facilities, the reliability of the network may be improved by configuring it to use radio waves in a dedicated wavelength band allocated exclusively to the facility, site, area, etc.
  • the network may be configured by wireless communication that is capable of high speed, large capacity, low latency, and multiple simultaneous connections.
  • the present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments and examples is supplied to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device read and execute the program. It can also be realized by a circuit (e.g., an ASIC) that implements one or more functions.
  • a computer may have one or more processors or circuits, and may include separate computers or a network of separate processors or circuits to read and execute computer-executable instructions.
  • the processor or circuitry may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA).
  • the processor or circuitry may also include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
  • DSP digital signal processor
  • DFP data flow processor
  • NPU neural processing unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識する第一の認識部と、光学画像を用いて、放射線画像の撮影対象となる被検体の候補を示す候補情報を認識する第二の認識部と、第一の認識部及び第二の認識部による認識結果の少なくとも一方を用いて、撮影対象となる被検体を示す被検体情報を決定する決定部とを備える情報処理装置が提供される。

Description

情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
　本開示は、情報処理装置、放射線撮影システム、情報処理方法、及びプログラムに関する。
　近年、医療検査用の放射線撮影において、撮影現場を光学画像撮影して光学画像を取得し、光学画像を解析して得られる付加的な情報をライブ画像と併せて操作者に提供する、光学画像による撮影支援が行われるようになってきた。特許文献１では、光学画像から被検体の撮影体位を判定し、撮影体位の適否に関する情報を出力することで、技師の技量や経験に依らない効率的な放射線撮影を行える仕組みを提供している。
特開２０２０－１９９１６３号公報
　特許文献１に記載の技術では、光学画像から被検体の撮影体位を判定する。しかしながら、このような撮影体位判定に適用される画像解析技術では、より広い対象や撮影条件における更なる継続的な精度向上が課題となっている。
　例えば、放射線撮影において、放射線撮影の現場全体を画角に収めるような光学画像撮影手段により光学画像を取得した場合、光学画像中に被検体の他に放射線撮影装置の操作者や介助者など、被検体以外の人物が写り込むことがある。この場合、被検体の撮影体位判定の前に、写り込んだ複数の被検体部位候補からどれが被検体かを絞り込む必要がある。
　そこで、本開示の一実施態様では、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むための情報を取得することを目的の一つとする。
　本開示の一実施態様に係る情報処理装置は、放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識する第一の認識部と、前記光学画像を用いて、前記放射線画像の撮影対象となる被検体の候補を示す候補情報を認識する第二の認識部と、前記第一の認識部及び前記第二の認識部による認識結果の少なくとも一方を用いて、前記撮影対象となる被検体を示す被検体情報を決定する決定部とを備える情報処理装置を備える。
　本発明のさらなる特徴が、添付の図面を参照して以下の例示的な実施形態の説明から明らかになる。
一実施形態に係る放射線撮影システムの概略構成を示す。 一実施形態に係る情報処理装置の概略構成を示す。 実施例１に係る処理手順を示すフローチャートである。 実施例１に係る光学画像の例を説明する図である。 実施例１に係る第一の認識部の出力の例を説明する図である。 実施例１に係る第二の認識部の出力の例を説明する図である。 実施例１に係る表示部への表示例を説明する図である。 実施例１の変形例に係る第一の認識部と第二の認識部の出力の例を説明する図である。 実施例２に係る処理手順を示すフローチャートである。 実施例２に係る第一の認識部の出力の例を説明する図である。 実施例２に係るテンプレートとマーカを説明する図である。 実施例２に係る認識結果統合部の出力の例を説明する図である。 実施例２に係るアノテーション部の出力の例を説明する図である。 実施例３に係る第一の認識部の出力の例を説明する図である。
　以下、本開示を実施するための例示的な実施形態及び実施例を、図面を参照して詳細に説明する。ただし、以下の実施形態及び実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
　なお、以下において、放射線という用語は、例えば、Ｘ線及びγ線等の電磁放射線、並びにα線、β線、粒子線、陽子線、重イオン線、及び中間子線等の粒子放射線を含むことができる。
　また、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。また、決定木を用いたアルゴリズムとして、ＬｉｇｈｔＧＢＭやＸＧＢｏｏｓｔのように勾配ブースティングを用いた手法も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び実施例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、学習データの出力データのことを正解データともいう。
　さらに、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
　上記のように、従来の技術では、例えば、放射線撮影の現場全体を画角に収めるような光学画像撮影手段により光学画像を取得した場合、光学画像中に被検体の他に放射線撮影装置の操作者や介助者など、被検体以外の人物が写り込むことがある。また、光学画像撮影装置を放射線撮影装置の放射線発生器に取り付けて狭い範囲を画角に収めるような撮影であっても、例えば、四肢の撮影では、姿勢を固定するために撮影部位を手で押さえたりするため、撮影対象部位ではない手が光学画像に写り込んだりする。これらのような場合には、被検体の撮影体位判定の前に、写り込んだ複数の被検体部位候補から、どの部位が被検体かを絞り込む必要がある。
　これに対し、本開示の一実施態様に係る放射線撮影システムでは、光学画像の画像解析を行い、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むための情報を取得する。具体的には、光学画像から関心領域及び被検体候補情報を認識し、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むために、認識した関心領域及び被検体候補情報を用いる。
（概略構成）
　まず、図１Ａ及び図１Ｂを参照して、本開示の一実施形態に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本開示の一実施形態は、例えば図１Ａ及び図１Ｂに示すような放射線撮影システム１及び情報処理装置１００に適用される。図１Ａは本開示の一実施形態に係る放射線撮影システム１の概略構成を示し、図１Ｂは本開示の一実施形態に係る情報処理装置１００の概略構成を示す。なお、図１Ａでは、被検体Ｏが臥位の体勢である状態を示すが、被検体Ｏは、例えば立位であってもよいし、座位であってもよい。また、被検体Ｏを支えるために用いられる撮影テーブルは、被検体Ｏの体位に応じたテーブルであってよい。
　放射線撮影システム１には、情報処理装置１００、放射線発生装置２０、放射線検出器３０、及びカメラ４０が設けられている。情報処理装置１００は、放射線発生装置２０、放射線検出器３０、及びカメラ４０に接続されており、これらを制御することができる。また、情報処理装置１００は、放射線検出器３０及びカメラ４０を用いて得られた各種画像の画像処理や解析処理を行うことができる。また、情報処理装置１００は、インターネットやイントラネット等の任意のネットワーク５０を介してサーバ等の外部記憶装置６０に接続され、外部記憶装置６０とデータ授受を行うことができる。なお、外部記憶装置６０は、情報処理装置１００に直接接続されてもよい。
　放射線発生装置２０は、例えば放射線管等の放射線発生器やコリメータ、コリメータランプ等を含み、情報処理装置１００の制御に従い放射線ビームを照射することができる。放射線発生装置２０から照射された放射線ビームは、被検体Ｏを減衰しながら透過し、放射線検出器３０に入射する。
　放射線検出器３０は、入射した放射線ビームを検出し、検出した放射線ビームに対応する信号を情報処理装置１００に送信することができる。放射線検出器３０は、放射線を検出して、対応する信号を出力する任意の放射線検出器であればよく、例えば、ＦＰＤ（Ｆｌａｔ　Ｐａｎｅｌ　Ｄｅｔｅｃｔｏｒ）等を用いて構成されることができる。また、放射線検出器３０は、シンチレータ等を用いて放射線を一旦可視光に変換し、光センサ等により可視光を電気信号に変換するような間接変換型の検出器であってもよいし、入射した放射線を電気信号に直接変換する直接変換型の検出器であってもよい。
　カメラ４０は、情報処理装置１００の制御に従って被検体Ｏについて光学画像撮影を行い、光学画像を取得する光学機器の一例である。カメラ４０は、撮影により得た光学画像を情報処理装置１００に送信する。なお、カメラ４０は、公知の任意の構成を有してよく、ビデオカメラ等の動画撮影が可能なカメラとして構成されてもよいし、静止画撮影のみを行うカメラとして構成されてもよい。また、カメラ４０は、可視光による撮影を行う構成であってもよいし、赤外光等の放射線以外の不可視光による撮影を行う構成であってもよい。
　情報処理装置１００には、光学画像取得部１０１、第一の認識部１０２、第二の認識部１０３、認識結果統合部１０４、整合性判定部１０５、放射線画像取得部１０６、アノテーション部１０７、及び表示制御部１０８が設けられている。また、情報処理装置１００には、ＣＰＵ１３１、記憶部１３２、メインメモリ１３３、操作部１３４、及び表示部１３５が設けられている。情報処理装置１００の各部は、ＣＰＵバス１３０を介して接続され、互いにデータ授受が可能である。
　光学画像取得部１０１は、カメラ４０を制御し、カメラ４０により撮影された被検体Ｏの光学画像を取得することができる。また、光学画像取得部１０１は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された不図示の光学機器等から被検体Ｏの光学画像を取得してもよい。また、光学画像取得部１０１は、記憶部１３２に記憶された光学画像を取得してもよい。
　第一の認識部１０２は、光学画像の画像解析を行い、光学画像における関心領域を特定・認識することができる。第二の認識部１０３は、光学画像の画像解析を行い、光学画像における、放射線画像の撮影対象となる被検体Ｏの候補を示す被検体候補情報を特定・認識することができる。当該第一の認識部１０２及び第二の認識部１０３による認識処理については後述する。
　認識結果統合部１０４は、第一の認識部１０２及び第二の認識部１０３による認識結果の少なくとも一方を用いて、放射線画像の撮影対象となる被検体Ｏを示す被検体情報を決定することができる。また、認識結果統合部１０４は、第一の認識部１０２及び第二の認識部１０３による認識結果を統合し、統合した認識結果を用いて、人体部位の位置、種類、及び姿勢を示す情報を含む被検体情報を決定することができる。
　整合性判定部１０５は、認識結果統合部１０４によって決定された被検体情報と、放射線画像の撮影オーダーに含まれる被検体Ｏに関する情報との間で整合性がとれているかを判定することができる。情報処理装置１００は、当該判定結果を操作者に提供することで、光学画像を用いて求められた被検体情報が、放射線撮影の指示と一致するかの判断を支援することができる。
　放射線画像取得部１０６は、放射線発生装置２０及び放射線検出器３０を制御し、被検体Ｏの放射線撮影を行い、放射線検出器３０から被検体Ｏの放射線画像を取得することができる。また、放射線画像取得部１０６は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された不図示の放射線検出器等から被検体Ｏの放射線画像を取得してもよい。また、放射線画像取得部１０６は、記憶部１３２に記憶された放射線画像を取得してもよい。
　アノテーション部１０７は、認識結果統合部１０４が決定した被検体情報を放射線画像にアノテーションする。ここで、アノテーションとは、被検体Ｏの姿勢、向き、及び部位の左右等を示す被検体情報を放射線画像中に埋め込む処理をいう。なお、アノテーション部１０７は、被検体情報を光学画像にアノテーションできるように構成されてもよい。
　表示制御部１０８は、表示部１３５の表示を制御することができる。表示制御部１０８は、例えば、被検体Ｏである患者に関する患者情報、撮影条件、操作者によって設定されたパラメータ、生成された光学画像や放射線画像、決定された被検体情報、及びセグメンテーション情報等を表示部１３５に表示させることができる。また、表示制御部１０８は、所望の構成に応じて、操作者の操作を受け付けるためのボタンやスライダ等の任意の表示やＧＵＩ等を表示部１３５に表示させることができる。
　ＣＰＵ（セントラルプロセッシングユニット）１３１は、情報処理装置１００の動作制御を行うプロセッサの一例である。ＣＰＵ１３１は、メインメモリ１３３を用いて、操作部１３４からの操作、及び記憶部１３２に記憶されているパラメータに従った装置全体の動作制御等を行う。なお、情報処理装置１００におけるプロセッサはＣＰＵに限られず、例えば、マイクロプロセッシングユニット（ＭＰＵ）、及びグラフィクスプロセッシングユニット（ＧＰＵ）を含みうる。また、プロセッサは、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　記憶部１３２は、情報処理装置１００により処理された各種画像やデータ等を記憶することができる。また、記憶部１３２は、患者情報、撮影条件、及び操作者によって設定されたパラメータ等を記憶することができる。記憶部１３２は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。メインメモリ１３３は、メモリ等で構成され、一時的なデータの記憶等に用いられることができる。
　操作部１３４は、情報処理装置１００を操作するための入力機器を含み、例えばキーボードとマウスを含む。表示部１３５は、例えば、任意のディスプレイを含み、表示制御部１０８の制御に従い、被検体情報等の各種の情報や各種画像等を表示する。表示部１３５は、放射線発生装置２０及び放射線検出器３０を含む放射線撮影装置を操作するコンソールのモニタの他、被検体Ｏのポジショニングを支援しながらでも観察できる位置に設置されたサブモニタ、放射線照射器のコンソールモニタであってもよい。また、操作者が装着したまま作業可能なヘッドマウントディスプレイなど、操作者が少ない視線移動で確実に表示を確認できるものを用いることもできる。なお、表示部１３５はタッチパネル式のディスプレイにより構成されてもよく、この場合には表示部１３５は操作部１３４として兼用されることができる。
　なお、情報処理装置１００は、プロセッサ及びメモリが設けられたコンピュータによって構成されることができる。なお、情報処理装置１００は、一般的なコンピュータによって構成されてもよいし、放射線撮影システム専用のコンピュータによって構成されてもよい。また、情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）であってもよく、デスクトップＰＣ、ノート型ＰＣ、又はタブレット型ＰＣ（携帯型の情報端末）等が用いられてもよい。さらに、情報処理装置１００は、一部の構成要素が外部装置に配置されるようなクラウド型のコンピュータとして構成されてもよい。
　また、光学画像取得部１０１、第一の認識部１０２、第二の認識部１０３、認識結果統合部１０４、整合性判定部１０５、放射線画像取得部１０６、アノテーション部１０７、及び表示制御部１０８は、ＣＰＵ１３１によって実行されるソフトウェアモジュールで構成されてよい。さらに、これら各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
　次に、ＣＰＵ１３１の制御に従った情報処理装置１００の動作について説明する。まず、図示しない情報管理装置から送信される撮影オーダー情報に基づき、情報処理装置１００は撮影準備を開始し、ＣＰＵ１３１の制御により光学画像取得部１０１が光学画像取得を開始する。ここで撮影オーダー情報とは、医師がオーダーする検査の単位に対応する情報であり、例えば、患者情報、撮影（予定）日時、並びに医師の所見に基づく撮影対象の部位、向き、及び姿勢等を含む情報である。撮影オーダー情報には、放射線撮影に必要な情報として、例えば、用いる放射線検出装置の種類（立位用、臥位用、及びポータブルなど）、患者の姿勢（撮影部位、及び方向など）、及び放射線撮影条件（管電圧、管電流、グリッド及び有無など）が含まれる。
　光学画像取得部１０１は、カメラ４０を制御して被検体Ｏの光学画像撮影を行い、カメラ４０から光学画像を取得する。光学画像取得部１０１が取得した光学画像は、ＣＰＵバス１３０を介して、メインメモリ１３３、第一の認識部１０２、及び第二の認識部１０３に順次転送される。
　第一の認識部１０２は、転送された光学画像から関心領域を求める。また、第二の認識部１０３は、転送された光学画像から被検体候補情報を求める。なお、第一の認識部１０２、及び第二の認識部１０３の処理順序に決まりはなく、並列に処理が行われてもよい。関心領域、及び被検体候補情報は、ＣＰＵバス１３０を介して認識結果統合部１０４に転送される。
　認識結果統合部１０４は、転送された関心領域と被検体候補情報とを統合し、被検体情報を求める。被検体情報は、ＣＰＵバス１３０を介して整合性判定部１０５に転送される。整合性判定部１０５は、撮影オーダー情報と被検体情報とを対比し、整合性の判定結果を出力する。光学画像、関心領域、被検体候補情報、被検体情報、及び整合性の判定結果は、ＣＰＵバス１３０を介して記憶部１３２、及び表示制御部１０８に転送される。記憶部１３２は転送された各種情報を記憶する。表示制御部１０８は、転送された各種情報を表示部１３５に表示させる。
　操作者は、表示された各種情報を確認し、操作部１３４を介して必要に応じた操作指示を行う。例えば、整合性の判定結果が正しければ、操作者は操作部１３４を介して放射線画像の撮影指示を行う。この撮影指示は、ＣＰＵ１３１により放射線画像取得部１０６に伝えられる。
　放射線画像取得部１０６は、撮影指示を受けると、放射線発生装置２０及び放射線検出器３０を制御して放射線撮影を実行させる。放射線撮影では、まず放射線発生装置２０から被検体Ｏに向けて照射し、被検体Ｏを減衰しながら透過した放射線ビームを放射線検出器３０で検出する。放射線画像取得部１０６は、放射線検出器３０で検出された放射線ビームの強度に応じた信号を放射線画像として取得する。この放射線画像データは、ＣＰＵバス１３０を介して、メインメモリ１３３、及びアノテーション部１０７に順次転送される。
　アノテーション部１０７は転送された放射線画像に、記憶部１３２に記憶されている被検体情報をアノテーションする。アノテーション済みの放射線画像は、ＣＰＵバス１３０を介して記憶部１３２、及び表示制御部１０８に転送される。記憶部１３２は、転送されたアノテーション済みの放射線画像を記憶する。表示制御部１０８は、転送されたアノテーション済みの放射線画像を表示部１３５に表示させる。操作者は、表示されたアノテーション済みの放射線画像を確認し、操作部１３４を介して必要に応じた操作指示を行うことができる。
（実施例１）
　以下、図２乃至図６を参照しながら、本開示の実施例１に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本実施例では、カメラ４０としてビデオカメラを用いて光学画像を所定のフレームレートで取得しながら、撮影オーダーと被検体情報との整合性を確認し、放射線撮影を行う場合について説明する。
（処理フロー）
　以下、本実施例に係る一連の処理手順について図２を参照して説明する。図２は、本実施例に係る処理手順を示すフローチャートである。本実施例に係る処理手順が開始されると、処理はステップＳ２０１に移行する。
（ステップＳ２０１）
　ステップＳ２０１において、光学画像取得部１０１は、カメラ４０を制御して、放射線撮影の被検体を含む、放射線の撮影現場の光学画像を取得する。本実施例では、カメラ４０は、放射線発生器に取り付けられたビデオカメラであり、臥位テーブルの上に配置された放射線検出器３０上で撮影姿勢をとる被検体を撮影し、所定のフレームレートの光学画像を出力する。
　ここでは、図３を用いて、撮影オーダーが「右手」であり、光学画像３００に放射線検出器３０、右手３０２、及び左手３０３が写り込んでいる場合を例に説明する。図３は、実施例１に係る光学画像の一例を示す。ここで、光学画像３００における放射線検出器領域３０１は、放射線検出器３０を示す領域である。さらに、図３に示す例では、被検体の右手の上にコリメータランプが照射されており、光学画像３００の右手３０２の上にコリメータランプ照射領域３０４が描出されているものとする。ここでコリメータランプとは、放射線照射前に、放射線が照射される領域である放射線照射領域を確認するためにコリメータに装着された可視光を照射する装置である。コリメータランプによって生成されるコリメータランプ照射領域３０４は、放射線撮影時に放射線照射領域に一致する。
（ステップＳ２０２）
　ステップＳ２０２において、第一の認識部１０２は、光学画像取得部１０１が取得した光学画像から、関心領域を認識する。ここで関心領域とは、放射線撮影される撮影対象である被検体が存在すると想定される領域である。本実施例では、コリメータランプ照射領域３０４を関心領域とした場合について説明する。コリメータランプ照射領域３０４は、放射線撮影時の放射線照射領域に一致するため、被検体が存在する関心領域に対応する。従って、第一の認識部１０２は、図４に示すように、光学画像３００から、例えばコリメータランプ照射領域３０４の外接矩形を認識し、認識した関心領域を示す情報として、当該外接矩形の中心位置（ｃｘ０，ｃｙ０）、幅ｗ０、及び高さｈ０を出力する。
　コリメータランプ照射領域３０４の特定・認識方法は様々な方法が考えられる。例えば、コリメータランプ照射領域３０４は、操作者が放射線照射領域の位置を確認するために、一般に暗めの部屋で視認性が高くなるように照射される可視光で形成される領域であることを利用した方法を用いることができる。この場合には、例えば、光学画像について、ヒストグラム解析による高輝度領域の閾値処理や、高輝度エッジ検出による矩形領域認識処理など比較的簡単な画像解析処理を用いてコリメータランプ照射領域３０４を認識することができる。また、コリメータ中心を示す十字形状の影を特徴として、コリメータランプ照射領域３０４を認識してもよい。
　また、コリメータランプ照射領域３０４を認識するために、機械学習によりニューラルネットワークベースの推論器（学習済モデル）を生成して用いてもよい。この場合の推論器は、放射線画像の撮影現場を撮影した光学画像を入力データとし、光学画像における関心領域を示す情報を出力データとして含む学習データを用いて得られてよい。ここで、関心領域を示す情報としては、コリメータランプ照射領域の位置情報が用いられてよく、コリメータランプ照射領域の位置情報には、コリメータランプ照射領域の中心位置、幅、及び高さが含まれてよい。また、コリメータランプ照射領域の位置情報としては、例えば、光学画像についてコリメータランプ照射領域にラベルが付されたラベル画像が用いられてもよい。機械学習では、様々な撮影条件やコリメータランプの種類等で得られた多くの学習データを用いることで、ルールベースのアルゴリズムよりもロバストな推論器が生成できる。この場合、情報処理装置１００が、関心領域の認識処理に用いる推論器の学習を行う学習部の一例として機能するが、第一の認識部１０２は、他の学習装置等により学習が行われた推論器を用いてもよい。
　なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような機械学習アルゴリズムを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本実施例では、学習部の一例として機能する情報処理装置１００による処理には、ＣＰＵに加えてＧＰＵを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行うことができる。なお、学習部の処理では、ＣＰＵ又はＧＰＵのみにより演算が行われてもよい。また、本実施例に係る認識処理についても、学習部と同様にＧＰＵを用いて実現してもよい。なお、推論器が外部装置に設けられている場合には、情報処理装置１００は学習部として機能しなくてもよい。
　また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
　なお、本実施例に係る機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ　ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ）を用いることもできる。
（ステップＳ２０３）
　ステップＳ２０３において、第二の認識部１０３は、光学画像取得部１０１が取得した光学画像３００から、被検体候補情報を認識する。被検体候補情報とは、光学画像に写っている、放射線画像の撮影対象である被検体の候補を示す情報であり、光学画像に写っている人体部位の位置、種類、及び姿勢を含むことができる。
　例えば、図３に示される光学画像３００を例に説明すると、第二の認識部１０３は、図５に示されるように、右手３０２と左手３０３をオブジェクト検出して、その位置をそれぞれ異なるバウンディングボックス５０１，５０２として出力する。なお、ここでは、バウンディングボックスｎの中心を中心位置（ｃｘｎ，ｃｙｎ）、幅を幅ｗｎ、高さを高さｈｎと表記する。第二の認識部１０３は、被検体候補である右手３０２と左手３０３の位置として、バウンディングボックス５０１，５０２の中心位置、幅、及び高さの情報を認識結果として出力することができる。なお、本実施例では、第二の認識部１０３は、人体部位の位置をバウンディングボックスとして認識することとしたが、人体部位の位置の認識はこれに限られない。第二の認識部１０３は、例えば、光学画像に含まれる被検体候補の輪郭に沿った領域を人体部位の位置として認識してもよいし、被検体候補を含む任意の幾何学形状の領域を人体部位の位置として認識してもよい。
　さらに、第二の認識部１０３は、被検体候補である右手３０２と左手３０３の種類に関して、右手３０２を右手、左手３０３を左手という種類に分類する。具体的には、第二の認識部１０３は、検出されたオブジェクト又はバウンディングボックスに対して、種類を表すクラス番号（ラベル）を与えるものとし、この例では右手にはクラス番号１、左手にはクラス番号２を与えるものとする。
　また、第二の認識部１０３は、整合性の判定を行う撮影オーダーの粒度によっては、被検体候補の姿勢まで認識してもよい。例えば、被検体候補が手であれば、第二の認識部１０３は、撮影オーダーの粒度に応じて定義された姿勢として、検出されたオブジェクト又はバウンディングボックスに対して、手の裏表、側面、及び指の折り方等の姿勢を認識することができる。この場合、第二の認識部１０３は、検出されたオブジェクト又はバウンディングボックスに対して、それぞれの姿勢に対応するクラス番号を与えることができる。
　第二の認識部１０３による被検体候補情報の認識処理には様々な方法が考えられる。当該被検体候補情報の認識処理は、例えば、人間の顔、四肢、及び体幹部といった部分へのオブジェクト検出とクラス分類が可能な、機械学習によって生成された推論器を用いて行うことができる。特に、関節部位の位置と種類を認識するように機械学習された骨格推定技術に関する推論器は、一般に精度よくこれらの推定が可能であることが知られている。また、得られた関節の位置と種類を特徴量として、例えばｋ平均法のようなクラスタリングアルゴリズムを用いると、人間の部分を対象とする柔軟な認識処理が実現できる。
　また、第二の認識部１０３は、光学画像を入力データとし、光学画像における被検体候補情報を出力データとして含む学習データを用いて得た推論器を用いて、被検体候補情報を認識してもよい。ここで、光学画像における被検体候補情報としては、例えば、人体の部位を含む領域にラベルが付されたラベル画像が用いられてもよい。この際、認識する対象（例えば、人体部位の種類又は姿勢）に応じたラベルが付されたラベル画像を含む学習データを用いて、認識する対象毎の推論器を生成し用いてもよい。また、認識する対象の組み合わせ（例えば、人体部位の種類及び姿勢の組み合わせ）に応じたラベルが付されたラベル画像を含む学習データを用いて、認識する対象を一度に推論する一つの推論器を生成し用いてもよい。なお、本実施例では、情報処理装置１００が、被検体候補情報の認識処理に用いる推論器の学習を行う学習部の一例として機能するが、第二の認識部１０３は、他の学習装置等により学習が行われた推論器を用いてもよい。
（ステップＳ２０４）
　ステップＳ２０４において、認識結果統合部１０４は、第一の認識部１０２が出力した関心領域と、第二の認識部１０３が出力した被検体候補情報とを統合することで、放射線画像の撮影対象である被検体を示す被検体情報を決定し、出力する。本実施例において被検体情報とは、これから放射線撮影される被検体は何かを示す情報を含む。被検体情報は、撮影オーダーとの整合性判定を行うために用いられることができる。認識結果統合部１０４は、具体的には、第二の認識部１０３が出力した被検体候補の中から、第一の認識部１０２が出力した関心領域の位置に最も距離が近い被検体候補を被検体として絞り込むことができる。また、認識結果統合部１０４は、絞り込んだ被検体候補の種類や姿勢を被検体の種類や姿勢として求めることができる。
　関心領域と被検体候補ｎとの距離Ｄｎは、それぞれの中心位置の座標間の距離で定義することができる。具体的には、関心領域の中心は中心位置（ｃｘ０，ｃｙ０）、被検体候補ｎの中心は中心位置（ｃｘｎ，ｃｙｎ）であるから、距離Ｄｎは下記式１に従って求めることができる。
Figure JPOXMLDOC01-appb-M000001
　認識結果統合部１０４は、第二の認識部１０３が出力したすべての被検体候補ｎについて距離Ｄｎを求め、距離Ｄｎが最小になる被検体候補ｎｍｉｎを撮影対象となる被検体として認識し、当該被検体を示す被検体情報を出力することができる。また、認識結果統合部１０４は、当該被検体候補ｎｍｉｎを示す被検体候補情報に含まれる人体の種類や姿勢を示す情報（クラス）を被検体情報として出力することができる。
　図３乃至図５に示された光学画像３００を例に説明すると、認識結果統合部１０４は、関心領域の中心位置（ｃｘ０，ｃｙ０）と、バウンディングボックス５０１の中心位置（ｃｘ５０１，ｃｙ５０１）との距離Ｄ５０１を計算する。また、認識結果統合部１０４は、関心領域の中心位置（ｃｘ０，ｃｙ０）と、バウンディングボックス５０２の中心位置（ｃｘ５０２，ｃｙ５０２）との距離Ｄ５０２を計算する。距離Ｄ５０１と距離Ｄ５０２では距離Ｄ５０１の方が小さいため、被検体候補ｎｍｉｎはバウンディングボックス５０１で示される被検体候補となり、当該被検体候補に含まれる人体部位の種類を示すクラスは１である。従って、認識結果統合部１０４は、バウンディングボックス５０１及びそのクラス番号１（右手）を含む被検体候補情報を被検体情報として出力することができる。
（ステップＳ２０５）
　ステップＳ２０５において、整合性判定部１０５は、撮影オーダーと認識結果統合部１０４の出力する被検体情報とを比較し、それらの間の整合性を判定し、判定結果として「整合」あるいは「非整合」を出力する。本実施例では、撮影オーダーが右手であり、認識結果統合部１０４の出力もクラス番号１（右手）であるから、整合性判定部１０５は判定結果として「整合」を出力する。一方で、撮影オーダーが左手であったり、認識結果統合部１０４の結果がクラス番号１以外であったりした場合には、認識結果統合部１０４は、判定結果として「非整合」を出力する。
（ステップＳ２０６）
　ステップＳ２０６において、表示制御部１０８は、光学画像取得部１０１が取得した光学画像、認識結果統合部１０４が出力した被検体情報、撮影オーダー、及び整合性の判定結果を表示部１３５に表示させる。また、表示制御部１０８は、第一の認識部１０２が出力した関心領域、及び第二の認識部１０３が出力した被検体候補情報を表示部１３５に表示させることもできる。
　本実施例では、表示制御部１０８は、図６に示すように、例えば表示部１３５の一例であるコンソールモニタ６００上に、光学画像６０１を表示させ、光学画像６０１上に、被検体情報として右手位置を示すバウンディングボックス６０２を表示させる。さらに、表示制御部１０８は、撮影オーダーに含まれる被検体に関する情報が右手であるという情報６０３、認識した被検体の種類が右手であるという情報６０４、及び整合性の判定結果６０５をコンソールモニタ６００に表示させる。ここで、図６は、本実施例に係る表示部１３５への表示例を示す。
　表示制御部１０８は、その他に、第一の認識部１０２の認識結果や、第二の認識部１０３の認識結果を表示部１３５に表示させることができる。また、表示制御部１０８は、操作部１３４を介した操作者の指示に応じて、表示部１３５上の各表示を切り替えることができる。操作者は、これらを確認することで第一の認識部１０２、第二の認識部１０３、認識結果統合部１０４、及び整合性判定部１０５がどのような結果を出力しているかを把握することが可能である。
　なお、情報処理装置１００は、関心領域、被検体候補情報、及び被検体情報に基づいて、表示する光学画像に対して、例えばトリミング、拡大縮小、及び回転等の画像処理を施すことができる。このような画像処理は、例えば、カメラ４０が、放射線発生装器の位置ではなく、検査室内のより広い範囲を画角に収めるための位置に配置された場合に有用である。具体的には、表示制御部１０８は、広い範囲を画角に収めた光学画像ではなく、関心領域、被検体候補情報、及び被検体情報等に関する、操作者が必要とする領域に絞った光学画像を表示部１３５に表示させることができる。さらに、表示制御部１０８は、認識しやすいサイズ及び回転角度の光学画像を表示させることができる。
　また、表示制御部１０８は、整合性判定部１０５による判定結果が「不整合」である場合には、表示部１３５に警告を表示させてもよい。当該警告としては、例えば、決定された被検体情報と撮影オーダーに含まれる情報とが整合しない旨や、被検体の部位や姿勢の修正を促す旨等が表示されてよい。このような処理によれば、撮影オーダーによって意図された放射線撮影とは異なる放射線撮影が行われることを防止し、被検体の不必要な放射線被ばくを防止することができる。
（ステップＳ２０７）
　ステップＳ２０７において、操作者は表示部１３５に表示された光学画像や情報を確認し、操作部１３４を介して放射線画像の撮影について適切な操作を行う。具体的には、整合性判定部１０５の結果が、整合性がとれていることを示すものであれば、操作者は放射線画像撮影を行うように指示を入力することができる。また、操作者は、判定結果が整合していないことを示す場合や、表示部１３５に示される情報に何らかの異常がある場合は、異常を解消すべく必要な処置を行うことができる。
　なお、本実施例では、操作者の指示に応じて、放射線画像の撮影が行われる構成としたが、情報処理装置１００が放射線画像の撮影を行うか否かを判断してもよい。例えば、情報処理装置１００は、動画像である光学画像に関して、整合性判定部１０５による判定結果が所定の期間「整合」である場合には、放射線画像の撮影を開始してもよい。一方で、情報処理装置１００は、整合性判定部１０５による判定結果が「不整合」である場合には、放射線画像の撮影を開始せず、表示制御部１０８によって表示部１３５に警告を表示させることができる。当該警告としては、例えば、認識された被検体情報と撮影オーダーに含まれる情報とが整合しない旨や、被検体の部位や姿勢の修正を促す旨等が表示されてよい。このような処理によれば、撮影オーダーによって意図された放射線撮影とは異なる放射線撮影が行われることを防止し、被検体の不必要な放射線被ばくを防止することができる。
　上記のように、本実施例に係る放射線撮影システム１は、被検体を放射線撮影する放射線発生装置２０及び放射線検出器３０と、被検体を光学画像撮影する光学機器の一例として機能するカメラ４０と、情報処理装置１００とを備える。情報処理装置１００は、第一の認識部１０２と、第二の認識部１０３とを備える。第一の認識部１０２は、放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識する。第二の認識部１０３は、光学画像を用いて、放射線画像の撮影対象となる被検体の候補を示す被検体候補情報を認識する。なお、被検体候補情報には、人体部位の位置、種類、及び姿勢のうち少なくとも一つが含まれる。
　以上の構成により、本実施例に係る情報処理装置１００は、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むための情報を取得することができる。そのため、情報処理装置１００は、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。
　また、情報処理装置１００は、第一の認識部１０２及び第二の認識部１０３による認識結果を統合し、該統合された認識結果を用いて撮影対象となる被検体を示す被検体情報を決定する決定部の一例として機能する認識結果統合部１０４を更に備える。このため、情報処理装置１００は、第一の認識部１０２及び第二の認識部１０３による認識結果を用いて、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むことができる。従って、情報処理装置１００は、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。なお、認識結果統合部１０４は、認識された関心領域と、認識された被検体候補情報によって示される被検体候補との距離及び重複面積のうち一方を用いて、被検体情報を決定することができる。
　さらに、情報処理装置１００は、被検体情報と、放射線画像の撮影オーダーに含まれる情報との間で整合性がとれているかを判定する判定部の一例として機能する整合性判定部１０５を更に備える。また、情報処理装置１００は、光学画像と、関心領域と、候補情報と、被検体情報と、整合性判定結果とのうち少なくとも一つを表示部１３５に表示させる表示制御部１０８を更に備える。
　このような構成によれば、本実施例に係る情報処理装置１００は、光学画像の解析により決定された被検体情報と撮影オーダーとの整合性を判定し、放射線画像撮影を行う操作者に整合性の判定結果を提示することができる。この場合には、光学画像に被検体候補が複数写り込むような場合でも、撮影オーダーの整合性判定機能を適用することができる。このため、情報処理装置１００は、被検体の撮影体位の適否に関する操作者の判断をより効率的に支援することができる。なお、被検体情報としては、人体部位の位置、種類、及び姿勢のうち少なくとも一つが含まれてよい。
　なお、整合性判定部１０５によって、整合性がとれていないことを示す判定結果が出力された場合、表示制御部１０８は表示部１３５に警告を表示させることができる。この場合には、撮影オーダーによって意図された放射線撮影とは異なる放射線撮影が行われることを防止し、被検体の不必要な放射線被ばくを防止することができる。
　また、第一の認識部１０２は、推論器に取得した光学画像を入力して得た該推論器からの出力を用いて、関心領域を認識することができる。この場合の推論器は、光学画像と、光学画像における関心領域を示す情報とを含む学習データを用いて得られることができる。また、第二の認識部１０３は、推論器に取得した光学画像を入力して得た該推論器からの出力を用いて、取得した光学画像に関する候補情報を認識することができる。この場合の推論器は、光学画像と、光学画像における、放射線画像の撮影対象となる被検体の候補を示す被検体候補情報とを含む学習データを用いて得ることができる。このように、第一の認識部１０２及び第二の認識部１０３は、それぞれ、推論器を用いることで精度よく認識処理を行うことができる。
　また、第一の認識部１０２は、光学画像を用いて、コリメータランプが照射されているコリメータランプ照射領域を関心領域として認識することができる。このような構成によれば、本実施例に係る情報処理装置１００は、関心領域であるコリメータランプ照射領域の情報を、複数の被検体候補から被検体を一つに絞り込むための情報として取得することができる。これにより、光学画像に被検体候補が複数写り込むような場合でも、効率的に被検体を絞り込むための情報を取得することができる。
　また、表示制御部１０８は、光学画像に対して、トリミングと、拡大縮小処理と、回転処理とのうち少なくとも一つの画像処理を行った光学画像を表示部１３５に表示させることもできる。このような構成によれば、表示制御部１０８は、広い範囲を画角に収めた光学画像ではなく、関心領域、被検体候補情報、及び被検体情報等に関する、操作者が必要とする領域に絞った光学画像を表示部１３５に表示させることができる。
　なお、以上の説明では、ステップＳ２０２における第一の認識部１０２と、ステップＳ２０３における第二の認識部１０３とはそれぞれ独立して動作し、その結果をステップＳ２０４の認識結果統合部１０４で統合する場合について説明した。これに対し、変形例として、図７に示すように、第一の認識部１０２で関心領域を認識し、認識した関心領域に限定して第二の認識部１０３による被検体候補情報の認識処理を適用してもよい。図７は、本変形例に係る第一の認識部１０２と第二の認識部１０３の出力の例を示す。
　この場合には、第二の認識部１０３は、第一の認識部１０２から出力される関心領域の情報に含まれる中心位置（ｃｘ０，ｃｙ０）、幅ｗ０、及び高さｈ０で示される、光学画像における放射線検出器領域３０１内で、被検体候補情報の認識処理を行う。図７に示される例では、第一の認識部１０２で認識された関心領域であるコリメータランプ照射領域３０４内における被検体候補は右手３０２のみである。そのため、第二の認識部１０３は、関心領域内における右手３０２についてオブジェクト検出し、バウンディングボックス５０１及びそのクラス番号１を認識結果として出力することができる。その後、認識結果統合部１０４は、第二の認識部１０３の認識結果に基づいて、バウンディングボックス５０１及びそのクラス番号１（右手）を含む被検体候補情報を被検体情報として決定し、出力することができる。
　この場合、第一の認識部１０２と第二の認識部１０３は独立して動作することはなく、第一の認識部１０２の結果が第二の認識部１０３の性能に影響するが、第二の認識部１０３の処理対象を限定することで処理の高速化を見込むことができる。なお、上述したように、関心領域内に含まれる被検体候補は一つだけである場合には、認識結果統合部１０４は、第二の認識部１０３の認識結果のみに基づいて、被検体情報を決定し、出力することができる。これに対し、関心領域内に複数の被検体候補が含まれる可能性もある。この場合には、上述した実施例１と同様に、認識結果統合部１０４は、第二の認識部１０３の認識結果と関心領域の中心位置との距離に基づいて、被検体候補情報から被検体情報を決定し、出力することができる。
　また、別の変形例では、まず、第二の認識部１０３が複数の被検体候補（複数の候補）を示す複数の被検体候補情報（複数の候補情報）を認識する。その後、第一の認識部１０２は、複数の被検体候補情報によって示される複数の被検体候補の各々が光学画像を占める面積に基づいて関心領域を認識してもよい。具体的には、第一の認識部１０２は、複数の被検体候補情報によって示される複数の被検体候補のうち、他の被検体候補よりも光学画像を占める面積が大きい被検体候補を関心領域として認識することができる。この場合には、認識結果統合部１０４は、第一の認識部１０２で認識された関心領域に対応する、第二の認識部１０３で認識された被検体候補情報を被検体情報として決定することができる。このような構成は、被検体が光学画像中で最も大きな領域を占めるであろうという前提に従ったものである。当該構成では、比較的簡易な方法で精度よく被検体を求めることができる。
　また、第一の認識部１０２は、第二の認識部１０３が認識した複数の被検体候補情報によって示される複数の被検体候補の各々から光学画像の中心までの距離に基づいて、関心領域を認識してもよい。より具体的には、第一の認識部１０２は、複数の被検体候補のうち、他の被検体候補よりも光学画像の中心に近い被検体候補を関心領域として認識することができる。この場合にも、認識結果統合部１０４は、第一の認識部１０２で認識された関心領域に対応する、第二の認識部１０３で認識された被検体候補情報を被検体情報として決定することができる。このような構成は、例えば、カメラ４０が放射線発生装置２０に取り付けられた場合等に適用条件が限られるが、比較的簡易な方法で精度よく被検体を求めることができる。
　さらに、情報処理装置１００は、所定のフレームレートで取得される光学画像から、被検体候補の動きの有無を認識し、動きがないものを被検体して決定してもよい。具体的には、第二の認識部１０３は、所定のフレームレートで取得される光学画像を用いて、複数の被検体候補を示す複数の被検体候補情報を時系列で認識して、複数の被検体候補の時系列の動きを認識する。第一の認識部１０２は、認識された時系列の動きに基づいて、時系列の動きが他の被検体候補よりも小さい被検体候補を関心領域として認識する。認識結果統合部１０４は、第一の認識部１０２で認識された関心領域に対応する、第二の認識部１０３で認識された被検体候補情報を被検体情報として決定することができる。このような構成は、被検体は放射線撮影のために静止しているであろうという前提に従ったものである。当該構成でも、比較的簡易な方法で精度よく被検体を求めることができる。
　なお、上述の変形例は、適宜互いに組み合わせることも可能である。また、第一の認識部１０２が第二の認識部１０３による認識結果に基づいて関心領域を認識する場合には、認識結果統合部１０４は、第一の認識部１０２による認識結果のみに基づいて、被検体である人体部位の位置を示す被検体情報を決定し、出力してもよい。このように、これら変形例によれば、認識結果統合部１０４は、第一の認識部１０２及び第二の認識部１０３による認識結果の少なくとも一方を用いて、撮影対象となる被検体を示す被検体情報を決定する決定部の一例として機能することができる。この場合にも、情報処理装置１００は、学画像中に被検体候補が複数写り込むような状況でも、放射線撮影の撮影対象である被検体を絞り込むことができ、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。
　また、第一の認識部１０２が第二の認識部１０３によって認識された被検体候補情報に基づいて関心領域を認識する場合には、第一の認識部１０２が、関心領域に基づいて被検体を示す被検体情報を決定し、出力する機能を果たしてもよい。この場合、第一の認識部１０２は、関心領域だけでなく、第二の認識部１０３によって認識された被検体候補情報も用いて、被検体情報を決定してもよい。同様に、第二の認識部１０３が第一の認識部１０２によって認識された関心領域に基づいて被検体候補情報を認識する場合には、第二の認識部１０３が、被検体候補情報に基づいて被検体を示す被検体情報を決定し、出力する機能を果たしてもよい。この場合、第二の認識部１０３は、被検体候補情報だけでなく、第一の認識部１０２によって認識された関心領域も用いて、被検体情報を決定してもよい。これらの場合にも、情報処理装置１００は、学画像中に被検体候補が複数写り込むような状況でも、放射線撮影の撮影対象である被検体を絞り込むことができ、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。
（実施例２）
　以下、図８乃至図１２を参照して、本開示の実施例２に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。本実施例では、ビデオカメラを用いて光学画像を所定のフレームレートで取得しながら被検体情報を取得し、放射線撮影によって得られた画像に対して被検体情報をアノテーションする場合について説明する。なお、実施例１にて詳述した内容については説明を省略する。
　ここでアノテーションとは、被検体の姿勢、向き、及び部位の左右等を示す情報を放射線画像に埋め込むことをいう。一般に医療検査用の放射線撮影で取得した放射線画像からは、撮影時の患者の姿勢や放射線の入射方向などの情報が失われてしまう。そのため、アノテーションを行うことで、３次元情報を２次元画像に投影した放射線画像からは失われてしまう情報を放射線画像に埋め込み、どのような条件で撮影された放射線画像であるかを容易に確認しやすくすることができる。一般的には、アノテーションは、放射線吸収率の高い素材で作った文字型構造物（アノテーションマーカ）を、被検体と一緒に写り込むように放射線撮影することが一般に行われる。これに対し、本実施例では、被検体情報を画像内に埋め込む（重畳する）ことでアノテーションを行う。アノテーションに関連して、本実施例に係る被検体情報は、被検体の姿勢、向き、及び部位の左右等を示す情報を含むことができる。ここで、被検体の向きは放射線の入射方向に対応してよい。
　アノテーションの一例としては、例えば、胸部正面撮影において放射線が被検体に背中から入射する姿勢の撮影であれば「ＰＡ」、胸部から入射する姿勢の撮影であれば「ＡＰ」という文字記号を、放射線画像中に埋め込むことを含む。他にも例えば、アノテーションは、胸部側面撮影においては、放射線が被検体の右側から入射する姿勢の撮影であれば「ＲＬ」、左側から入射する姿勢の撮影であれば「ＬＲ」という文字記号を放射線画像内に埋め込むことを含む。さらに、アノテーションは、人体の四肢のような左右がある部位の場合、右手や右足を撮影した場合は「Ｒ」、左手や左足を撮影した場合は「Ｌ」という文字記号を放射線画像に埋め込むことも含む。その他、アノテーションは、被検体が立った状態で撮影した「立位」、座った状態で撮影した「座位」、寝台に横たわって撮影した「臥位」等の文字を放射線画像に埋め込むことも含む。
（処理フロー）
　図８を参照して、本実施例に係る一連の処理手順について説明する。図８は、本実施例に係る処理手順を示すフローチャートである。本実施例に係る処理手順が開始されると、処理はステップＳ８０１に移行する。
（ステップＳ８０１）
　ステップＳ８０１において、光学画像取得部１０１は、カメラ４０を制御して、放射線撮影の被検体を含む領域の光学画像を取得する。本実施例では、カメラ４０は放射線発生器に取り付けられたビデオカメラであり、臥位テーブルの上に配置された放射線検出器３０上で撮影姿勢をとる被検体を撮影し、所定のフレームレートの光学画像を出力する。
（ステップＳ８０２）
　ステップＳ８０２において、第一の認識部１０２は、光学画像取得部１０１が取得した光学画像から、関心領域を認識する。ここで関心領域とは、放射線撮影される撮影対象である被検体が存在すると想定される領域である。本実施例では、光学画像内の放射線検出器領域３０１を関心領域とした場合について説明する。放射線検出器３０は、放射線撮影時に放射線画像を取得する装置であり、放射線検出器３０により放射線画像化が行われる領域内には被検体が存在するため、光学画像内の放射線検出器領域３０１は被検体が存在する関心領域に対応する。従って、第一の認識部１０２は、図９に示すように、光学画像３００から、例えば放射線検出器領域３０１の外接矩形を認識し、認識した関心領域を示す情報として、当該外接矩形の中心位置（ｃｘ０、ｃｙ０）、幅ｗ０、及び高さｈ０を関心領域として出力する。
　光学画像における放射線検出器領域３０１の認識方法は様々な方法が考えられる。例えば、情報処理装置１００によって、認識対象である放射線検出器３０の外観をテンプレートとして保有し、第一の認識部１０２が、テンプレートマッチングによって、光学画像から放射線検出器領域３０１を抽出し認識する手法が考えられる。図１０は、本実施例に係るテンプレートマッチングに関するテンプレートとマーカの例を示す。このようなテンプレートマッチングでは、放射線検出器全体１００１をテンプレートとして用いてもよいし、四角や端部、ロゴなど特徴的な外観特徴１００２をテンプレートとして用いてもよい。
　さらに、例えば、検出が容易なマーカ１００３を放射線検出器領域３０１に貼りつけ、第一の認識部１０２が、光学画像におけるマーカ１００３に基づいて関心領域を抽出し認識するものであってもよい。例えば、第一の認識部１０２は、マーカ１００３で囲まれた領域を関心領域として認識することができる。なお、マーカを用いる場合、テンプレートマッチングでなくとも、エッジ検出や閾値処理によって抽出した特徴量を組み合わせて精度よく抽出できるようにマーカをデザインすることができる。
　テンプレートやマーカには、カメラ４０との位置関係によって、例えば、拡大縮小、及び回転といった３次元的な変形が生じるため、それを考慮したテンプレートやマーカの抽出ルールを用いることができる。また、例えば、機械学習により、ニューラルネットワークベースの推論器を生成して用いてもよい。この場合、推論器は、例えば、テンプレートとして用いる放射線検出器の外観やマーカを含む、様々な位置、角度、及び照明条件で撮影した光学画像と、光学画像におけるテンプレートやマーカにラベルが付されたラベル画像とを含む学習データを用いて生成されてよい。なお、ラベル画像の代わりに、テンプレートやマーカの位置を示す情報を用いてもよい。
（ステップＳ８０３）
　ステップＳ８０３において、第二の認識部１０３は、光学画像取得部１０１が取得した光学画像３００から、被検体候補情報を認識する。本ステップは実施例１のステップＳ２０３と同様の処理であるため、ここでは記載を省略する。なお、被検体候補情報に被検体の向きの情報が含まれる場合には、第二の認識部１０３が用いる推論器の学習データにも、被検体の向きについてラベルが付されたラベル画像が用いられてよい。
（ステップＳ８０４）
　ステップＳ８０４において、認識結果統合部１０４は、第一の認識部１０２が出力した関心領域と、第二の認識部１０３が出力した被検体候補情報とを統合することで、放射線画像の撮影対象である被検体を示す被検体情報を決定し、出力する。本実施例において、被検体情報には、放射線入射方向（ＰＡ／ＡＰ）や被検体の左右（Ｒ／Ｌ）といった、放射線画像にアノテーションされる被検体の姿勢、向き、及び部位の左右を示すアノテーション情報が含まれる。
　本ステップでは、認識結果統合部１０４は、実施例１のステップＳ２０４と同様に、被検体候補の中から、第一の認識部１０２が出力した関心領域の位置に最も距離が近い被検体候補を被検体として決定する。また、認識結果統合部１０４は、被検体情報として決定した被検体候補情報に基づいて、被検体への放射線入射方向（ＰＡ／ＡＰ）や被検体の左右（Ｒ／Ｌ）といったアノテーション情報を求める。
　なお、被検体情報の決定処理には、第一の実施例のステップＳ２０４と同様の手法を用いてよいが、他の方法を用いてもよい。ここでは変形例として、関心領域内に含まれる被検体候補の面積に基づいて被検体を絞り込む方法を説明する。この方法では、認識結果統合部１０４は、関心領域かつ被検体候補である領域を求め、求められた領域の面積の大小を比較し、面積が大きい方を被検体として決定する。図１１は、当該処理における関心領域かつ被検体候補である領域の例を網掛け部分により示す。このような方法は、被検体が関心領域（本実施例では放射線検出器）の中に大部分が収まっているだろうという前提に基づくものである。
　ただし、撮影オーダーで「指」の撮影が指定されている場合などには、面積が小さい方の領域を被検体として絞り込んだ方がよい場合もある。そのため、認識結果統合部１０４は、撮影オーダーに含まれる撮影対象の情報に基づいて、被検体を絞り込む際の領域の大小に関する基準を設定してもよい。
　図１１に示される例では、認識結果統合部１０４は、手の撮影において、手の左右という同じような大きさの被検体候補から、より関心領域に大きく含まれる右手を被検体として絞り込むものとする。これにより、認識結果統合部１０４は、バウンディングボックス５０１、及びバウンディングボックス５０１に含まれる被検体の部位の左右を示すクラス番号１（右手）を被検体情報として出力することができる。
（ステップＳ８０５）
　ステップＳ８０５において、操作者は、操作部１３４を介して放射線画像の撮影について適切な操作を行い、放射線画像取得部１０６は放射線画像を取得する。なお、本実施例では省略するが、実施例１のステップＳ２０５及びＳ２０６と同様に整合性判定を行い、表示制御部１０８によって、関心領域、被検体候補情報、被検体情報、及び整合性の判定結果を表示部１３５に表示させてもよい。また、実施例１と同様に、情報処理装置１００が放射線画像の撮影を行うか否かを判断してもよい。
（ステップＳ８０６）
　ステップＳ８０６において、アノテーション部１０７は、放射線画像取得部１０６が出力した放射線画像に、認識結果統合部１０４が出力した被検体の情報をアノテーションする。例えば、図１１に示される例では、被検体情報としてクラス番号１（右手）が出力されているので、アノテーション部１０７は、図１２に示すように、放射線画像に右手を示す記号であるＲ１２０１を配置し、アノテーション済画像１２００を出力する。図１２は、アノテーション部１０７の出力の例を示す。なお、出力されたアノテーション済画像１２００は、表示制御部１０８により表示部１３５に表示させられてもよいし、記憶部１３２に記憶されてもよいし、外部記憶装置６０等に送信されてもよい。
　以上のように、本実施例に係る情報処理装置１００は、被検体情報を、放射線画像中にアノテーション情報として重畳するアノテーション部１０７を更に備える。この場合、表示制御部１０８は、光学画像と、関心領域と、候補情報と、被検体情報と、整合性の判定結果と、アノテーション情報とのうち少なくとも一つを表示部１３５に表示させることができる。
　このような構成では、情報処理装置１００は、光学画像の解析により被検体情報を認識し、自動でアノテーションを行うことができる。また、情報処理装置１００は、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むための情報を取得することができる。これにより、光学画像に被検体候補が複数写り込むような場合でも、自動アノテーションのための被検体認識を行うことができる。そのため、情報処理装置１００は、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。
　また、本実施例に係る第一の認識部１０２は、光学画像を用いて、放射線検出器が示されている検出器領域と、マーカによって示される領域とのうちいずれか一つを関心領域として認識することができる。このような構成によれば、本実施例に係る情報処理装置１００は、光学画像に被検体候補が複数写り込むような場合でも、関心領域である光学画像における放射線検出器やマーカに基づいて効率的に被検体を絞り込むための情報を取得することができる。
　なお、本実施例では、アノテーション部１０７は、放射線画像に対してアノテーションを行った。これに対し、アノテーション部１０７は、光学画像に対してアノテーションを行ってもよいし、光学画像と放射線画像の両方にアノテーションを行ってもよい。このような構成であっても、光学画像に被検体候補が複数写り込むような場合に、自動アノテーションのための被検体認識を行うことができる。そのため、情報処理装置１００は、被検体の撮影体位の適否に関する操作者の判断をより適切に支援することができる。
（実施例３）
　以下、本開示の実施例３に係る放射線撮影システム、情報処理装置、及び情報処理方法について説明する。なお、実施例１にて詳述した内容については説明を省略する。
　本実施例では、カメラ４０の光学中心を原点とし、カメラ４０の光軸方向をＺ軸方向、画像の横方向と縦方向をそれぞれＸ軸方向とＹ軸方向としたカメラ座標系における放射線発生器又は放射線検出器３０の座標（空間座標）が既知の場合を考える。このような座標は、例えば、カメラ４０に対して、メジャーなどで位置を計測しながら、放射線発生器や放射線検出器３０を設置することで得られてよい。また、当該座標は、メカ的に駆動量が把握可能な構成を用いて、放射線発生器や放射線検出器３０の設置位置からの駆動量等に基づいて得られてもよい。さらに、当該座標は、放射線発生器や放射線検出器３０にジャイロ機構や加速度センサなどを取り付けることで、初期位置からの位置や角度の変位量を取得し、情報処理装置１００に入力することで得られてもよい。
　この場合、カメラ座標系における座標（Ｘ，Ｙ，Ｚ）に対応する、取得した光学画像における座標（ｘ，ｙ）は、カメラの焦点距離を１に正規化すると下記式２で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　本実施例では、図１３を参照して、このような座標を用いて、第一の認識部１０２が関心領域を取得する方法を説明する。図１３は、本実施例に係る第一の認識部１０２の出力の例を説明する図である。なお、取得した関心領域から被検体情報を求め、整合性判定やアノテーションに用いる方法は、実施例１及び２における方法と同様であるため、ここでは記述を省略する。
　第一の認識部１０２は、光学画像取得部１０１が取得した光学画像３００から、関心領域を認識する。ここで関心領域とは、放射線撮影される撮影対象である被検体が存在すると想定される領域である。本実施例では、実施例２と同様に、光学画像３００における放射線検出器領域３０１を関心領域とした場合について説明する。本実施例では、放射線検出器１３０１は、その有効画素領域の四角のカメラ座標系における座標（Ｘ０，Ｙ０，Ｚ０）～（Ｘ３，Ｙ３，Ｚ３）が既知であるものとする。このとき、第一の認識部１０２は、光学画像３００上での対応する有効画素領域の四角の座標（ｘ０，ｙ０）～（ｘ３，ｙ３）を式２によりそれぞれ計算することができる。このため、本実施例に係る第一の認識部１０２は、求めた座標（ｘ０，ｙ０）～（ｘ３，ｙ３）で囲まれた領域を関心領域として認識することができる。
　また同様に、第一の認識部１０２は、放射線発生器及び開閉時のコリメータの座標が既知であれば、放射線発生器の中心及びコリメータを結ぶ直線と、放射線検出器１３０１や撮影テーブルとの交点を求めて、放射線照射領域を計算することができる。この場合には、第一の認識部１０２は、求めた放射線照射領域を関心領域として認識することができる。なお、第一の認識部１０２は、放射線照射領域としてコリメータ照射領域を計算してもよい。
　上記のように、本実施例に係る第一の認識部１０２は、光学画像を撮影するカメラ４０と、放射線検出器３０との空間座標を用いて、取得した光学画像における放射線検出器が示されている放射線検出器領域を求め、関心領域として認識する。また、第一の認識部１０２は、カメラ４０と、放射線発生器との空間座標を用いて、取得した光学画像における放射線が照射される放射線照射領域を求め、関心領域として認識してもよい。
　以上の構成によれば、光学画像において関心領域が被検体に隠れているような場合でも、放射線撮影の撮影対象である被検体を絞り込むための情報を取得することができる。また、このようにして求めた情報を用いて、整合性判定や自動アノテーションを行うことができる。
　なお、本実施例では、第一の認識部１０２は、式２を用いてカメラ座標系における各構成要素の空間座標から光学画像における関心領域の座標を計算した。これに対して、第一の認識部１０２が、カメラ座標系における各構成要素の空間座標に対応する光学画像における関心領域の座標に関するテーブルを用いて、カメラ座標系の各構成要素の空間座標から光学画像における関心領域の座標を求めてもよい。この場合、当該テーブルは予め記憶部１３２等に保存されていてよい。
　また、上記実施例２及び３では、光学画像取得部１０１及び放射線画像取得部１０６は、カメラ４０及び放射線検出器３０を用いて光学画像及び放射線画像を取得し、アノテーションを行った。これに対し、光学画像取得部１０１及び放射線画像取得部１０６は、外部記憶装置６０や、情報処理装置１００に任意のネットワークを介して接続された撮影装置等からこれら画像を取得してもよい。この場合、光学画像及び放射線画像は、被検体が同じ撮影姿勢をとっている際に撮影されたものであればよく、それぞれ取得（撮影）時間が前後してもよい。
　なお、上記実施例１乃至３で述べた表示画面は一例である。そのため、表示部１３５に表示される表示画面における各種画像やボタン等の配置や表示態様は任意であってよい。
　上記実施例１乃至３によれば、光学画像中の複数の被検体候補から、放射線撮影の撮影対象である被検体を絞り込むための情報を取得することができる。
　なお、上述した関心領域や被検体候補情報の認識処理用の推論器は、入力データの画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推論処理に用いているものと考えらえる。
　また、上述した関心領域や被検体候補情報の認識処理用の推論器は情報処理装置１００に設けられることができる。推論器（学習済モデル）は、例えば、ＣＰＵや、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。また、推論器は、情報処理装置１００と接続される別のサーバ等の装置に設けられてもよい。この場合には、情報処理装置１００は、インターネット等の任意のネットワークを介して推論器を備えるサーバ等に接続することで、推論器を用いることができる。ここで、推論器を備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
（その他の実施例）
　本発明は、上述の実施形態及び実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。コンピュータは、１つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
　プロセッサ又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
　本開示は上記実施の形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本開示の範囲を公にするために以下の請求項を添付する。
　本願は、２０２２年１１月４日提出の日本国特許出願特願２０２２－１７６８５８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (23)

  1. 　放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識する第一の認識部と、
    　前記光学画像を用いて、前記放射線画像の撮影対象となる被検体の候補を示す候補情報を認識する第二の認識部と、
    　前記第一の認識部及び前記第二の認識部による認識結果の少なくとも一方を用いて、前記撮影対象となる被検体を示す被検体情報を決定する決定部と、
    を備える情報処理装置。
  2. 　前記決定部は、前記第一の認識部及び前記第二の認識部による認識結果を統合し、該統合された認識結果を用いて前記被検体情報を決定する、請求項１に記載の情報処理装置。
  3. 　前記決定部は、前記認識された関心領域と、前記認識された候補情報によって示される前記候補との距離及び重複面積のうち一方を用いて、前記被検体情報を決定する、請求項１に記載の情報処理装置。
  4. 　前記被検体情報と、前記放射線画像の撮影オーダーに含まれる情報との間で整合性がとれているかを判定する判定部を更に備える、請求項１に記載の情報処理装置。
  5. 　前記光学画像と、前記関心領域と、前記候補情報と、前記被検体情報と、前記判定部による判定結果とのうち少なくとも一つを表示部に表示させる表示制御部を更に備える、請求項４に記載の情報処理装置。
  6. 　前記判定部によって前記整合性がとれていないことを示す判定結果が出力された場合、表示部に警告を表示させる表示制御部を更に備える、請求項４に記載の情報処理装置。
  7. 　前記被検体情報を、前記光学画像又は前記放射線画像中にアノテーション情報として重畳するアノテーション部を更に備える、請求項１に記載の情報処理装置。
  8. 　前記光学画像と、前記関心領域と、前記候補情報と、前記被検体情報と、前記アノテーション情報とのうち少なくとも一つを表示部に表示させる表示制御部を更に備える、請求項７に記載の情報処理装置。
  9. 　放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識する第一の認識部と、
    　前記光学画像を用いて、前記放射線画像の撮影対象となる被検体の候補を示す候補情報を認識する第二の認識部と、
    を備える情報処理装置。
  10. 　前記第一の認識部は、前記光学画像を用いて、コリメータランプが照射されているコリメータランプ照射領域と、放射線検出器が示されている検出器領域と、マーカによって示される領域とのうちいずれか一つを前記関心領域として認識する、請求項１又は９に記載の情報処理装置。
  11. 　前記第一の認識部は、前記光学画像を撮影する光学機器と、放射線発生器及び放射線検出器のうちの少なくとも一方との空間座標を用いて、前記取得した光学画像における放射線が照射される放射線照射領域と、放射線検出器が示されている検出器領域とのうちいずれかを求め、該いずれかを前記関心領域として認識する、請求項１又は９に記載の情報処理装置。
  12. 　前記候補情報には、人体部位の位置、種類、及び姿勢のうち少なくとも一つが含まれる、請求項１又は９に記載の情報処理装置。
  13. 　前記第一の認識部は、光学画像と、光学画像における関心領域を示す情報とを含む学習データを用いて得た推論器に前記取得した光学画像を入力して得た該推論器からの出力を用いて、前記取得した光学画像に関する前記関心領域を認識する、請求項１又は９に記載の情報処理装置。
  14. 　前記第二の認識部は、光学画像と、光学画像における、放射線画像の撮影対象となる被検体の候補を示す候補情報とを含む学習データを用いて得た推論器に前記取得した光学画像を入力して得た該推論器からの出力を用いて、前記取得した光学画像に関する前記候補情報を認識する、請求項１又は９に記載の情報処理装置。
  15. 　前記第二の認識部は、前記認識された関心領域内における前記候補情報を認識する、請求項１又は９に記載の情報処理装置。
  16. 　前記第二の認識部は、前記光学画像を用いて、複数の前記候補を示す複数の前記候補情報を認識し、
    　前記第一の認識部は、前記複数の候補情報によって示される前記複数の候補の各々が前記光学画像を占める面積に基づいて、前記関心領域を認識する、請求項１又は９に記載の情報処理装置。
  17. 　前記第二の認識部は、前記光学画像を用いて、複数の前記候補を示す複数の前記候補情報を認識し、
    　前記第一の認識部は、前記複数の候補情報によって示される前記複数の候補の各々から前記光学画像の中心までの距離に基づいて、前記関心領域を認識する、請求項１又は９に記載の情報処理装置。
  18. 　前記第二の認識部は、所定のフレームレートで取得される光学画像を用いて、複数の前記候補を示す複数の前記候補情報を時系列で認識して、前記複数の候補の時系列の動きを認識し、
    　前記第一の認識部は、前記時系列の動きに基づいて、前記関心領域を認識する、請求項１又は９に記載の情報処理装置。
  19. 　前記光学画像に対して、トリミングと、拡大縮小処理と、回転処理とのうち少なくとも一つの画像処理を行った光学画像を表示部に表示させる表示制御部を更に備える、請求項１又は９に記載の情報処理装置。
  20. 　被検体の光学画像撮影を行う光学機器と、
    　前記被検体の放射線撮影を行う放射線発生装置及び放射線検出器と、
    　請求項１又は９に記載の情報処理装置と、
    を備える放射線撮影システム。
  21. 　放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識することと、
    　前記光学画像を用いて、前記放射線画像の撮影対象となる被検体の候補を示す候補情報を認識することと、
    　前記関心領域及び前記候補情報の認識結果の少なくとも一方を用いて、前記撮影対象となる被検体を示す被検体情報を決定することと、
    を含む情報処理方法。
  22. 　放射線画像の撮影現場において取得された被検体を含む光学画像を用いて、関心領域を認識することと、
    　前記光学画像を用いて、前記放射線画像の撮影対象となる被検体の候補を示す候補情報を認識することと、
    を含む情報処理方法。
  23. 　コンピュータによって実行されると、該コンピュータに請求項２１又は２２に記載の情報処理方法の各工程を実行させるプログラム。
PCT/JP2023/039214 2022-11-04 2023-10-31 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム WO2024095999A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-176858 2022-11-04
JP2022176858A JP2024067063A (ja) 2022-11-04 2022-11-04 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024095999A1 true WO2024095999A1 (ja) 2024-05-10

Family

ID=90930514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039214 WO2024095999A1 (ja) 2022-11-04 2023-10-31 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2024067063A (ja)
WO (1) WO2024095999A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102037A (ja) * 2018-12-21 2020-07-02 キヤノン株式会社 情報処理装置、放射線撮影システムおよび支援方法
JP2021097726A (ja) * 2019-12-19 2021-07-01 キヤノン株式会社 放射線撮影制御装置、放射線撮影制御方法、プログラムおよび放射線撮影システム
JP2021097727A (ja) * 2019-12-19 2021-07-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102037A (ja) * 2018-12-21 2020-07-02 キヤノン株式会社 情報処理装置、放射線撮影システムおよび支援方法
JP2021097726A (ja) * 2019-12-19 2021-07-01 キヤノン株式会社 放射線撮影制御装置、放射線撮影制御方法、プログラムおよび放射線撮影システム
JP2021097727A (ja) * 2019-12-19 2021-07-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2024067063A (ja) 2024-05-17

Similar Documents

Publication Publication Date Title
EP3666339B1 (en) Radiation therapy
EP3501600B1 (en) Medical apparatus and method
US20030190064A1 (en) Radiographic image processing method, radiographic image processing apparatus, radiographic image processing system, program, computer-readable storage medium, image diagnosis assisting method, and image diagnosis assisting system
US10751021B2 (en) System and method for acquiring an x-ray image
JPWO2020036225A1 (ja) 放射線撮影装置
US10729395B2 (en) Image processing device and method for operating image processing device
KR20140092437A (ko) 엑스선 영상 장치 및 엑스선 영상 장치의 제어 방법
JP2008017965A (ja) Ｘ線撮影装置
CN105266831A (zh) 对x光源的调节变量进行姿势控制的调节的设备和方法
JP2004105746A (ja) マンモグラフィ装置
US9361684B2 (en) Feature validation using orientation difference vector
JP2022022249A (ja) 放射線画像表示装置および画像表示方法
WO2024095999A1 (ja) 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
JP2009160313A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
Qian et al. Knowledge-based automatic detection of multitype lung nodules from multidetector CT studies
WO2024096039A1 (ja) 情報処理装置、放射線撮影システム、情報処理方法、及びプログラム
JP6614861B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
WO2024117042A1 (ja) 画像処理装置、放射線撮影システム、画像処理方法、及びプログラム
US20240090864A1 (en) Radiographic imaging support system, radiographic imaging support method, and recording medium
JP2007330419A (ja) 画像表示装置および方法並びにプログラム
JP2008099929A (ja) 異常陰影候補表示装置
JP2004097830A (ja) マンモグラフィ装置
Seçkin et al. Deep learning structures used in pulmonary cancer diagnosis
WO2021124982A1 (ja) 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム
WO2023195443A1 (ja) 画像処理装置、画像処理装置の作動方法、およびプログラム