WO2021124982A1 - 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム - Google Patents

放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム Download PDF

Info

Publication number
WO2021124982A1
WO2021124982A1 PCT/JP2020/045642 JP2020045642W WO2021124982A1 WO 2021124982 A1 WO2021124982 A1 WO 2021124982A1 JP 2020045642 W JP2020045642 W JP 2020045642W WO 2021124982 A1 WO2021124982 A1 WO 2021124982A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
foreign matter
abnormality
unit
radiography
Prior art date
Application number
PCT/JP2020/045642
Other languages
English (en)
French (fr)
Inventor
愛美 彦坂
勇一 池田
康友 清水
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019229707A external-priority patent/JP2021097727A/ja
Priority claimed from JP2019229706A external-priority patent/JP7422459B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2021124982A1 publication Critical patent/WO2021124982A1/ja
Priority to US17/841,101 priority Critical patent/US20220311956A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/32—Transforming X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a radiography control device, an image processing device, a radiography control method, an image processing method, a program, and a radiography system.
  • the radiation emitted by the radiation generator irradiates the radiation imaging device through the target patient, and the radiation imaging device generates a radiation image so that the user can confirm the radiation image immediately after the radiation imaging. It will be possible.
  • Patent Document 1 discloses a radiological diagnostic apparatus that suppresses reimaging by radiography.
  • An optical camera is attached to the radiation generator, and the captured image taken by the optical camera is displayed on the screen of the radiation diagnostic device. Then, the positioning image when the user positions the posture of the target patient is compared with the captured image taken by the optical camera, and if the postures of the target patient do not match between the images, the user is notified. , It is possible to suppress the occurrence of re-imaging of radiographic images due to the body movement of the target patient.
  • Patent Document 1 does not disclose a configuration that suppresses re-imaging of a radiation image due to a foreign substance reflected in the radiation image.
  • the present invention has been made in view of the above problems, and by detecting a foreign substance that may be reflected in the radiation image and displaying a warning before taking the radiation image, the occurrence of re-photographing of the radiation image can be caused. It is an object of the present invention to provide a radiography control device that suppresses radiography.
  • the radiography control device described in the present invention is used. From the image acquisition unit that acquires the captured image of the subject and the captured image acquired by the image acquisition unit, foreign matter that may be reflected in the radiation image when acquiring the radiation image of the subject is detected.
  • a foreign matter detection unit a warning information generation unit that generates warning information regarding the imaging of a radiation image based on the detection of foreign matter in the captured image by the foreign matter detection unit, and It includes a display control unit that gives a notification based on the warning information.
  • the present invention it is possible to suppress the occurrence of re-imaging of a radiation image by detecting a foreign substance that may be reflected in the radiation image and displaying a warning before the acquisition of the radiation image.
  • FIG. 5 is a flow chart of the image treatment apparatus according to the fourth embodiment.
  • An example of an abnormality input screen according to the fourth embodiment An example of a setting screen according to the fifth embodiment Flow chart of the image processing apparatus according to the fifth embodiment Modification example of system configuration in radiography system
  • the foreign matter that may be reflected in the radiographic image used below refers to an object that may be reflected in the radiological image acquired by radiography.
  • Objects that may appear in radiographic images include, for example, plastics such as eyeglasses and buttons, metals such as belts and fasteners, T-shirt prints, compresses, and cairo.
  • the foreign matter that may be reflected in the radiographic image is not limited to these objects.
  • FIG. 1 is a configuration example of the entire radiography system of this embodiment.
  • This radiography system is composed of a radiography control device 100, a radiography imaging device 110, a radiation generator 120, and an image acquisition device 130 via a network 140.
  • the network 140 may be a wired network or a wireless network.
  • the radiography control device 100 is a device constructed by an information processing device such as a computer that communicates with the radiography imaging device 110 via a network 140 to control radiography.
  • the radiography control device 100 also communicates with the radiation generator 120 via the network 140, and acquires information when radiation is emitted from the radiation generator 120.
  • the radiography control device 100 further communicates with the image acquisition device 130 to control the image acquisition device 130 and acquire the captured image captured by the image acquisition device 130.
  • a part of each configuration of the radiography control device 100 may be configured by the same device.
  • the radiographic imaging device 110 transitions to a state in which a radiographic image can be captured according to an instruction from the radiographic imaging control device 100.
  • the radiation imaging device 110 is a device that performs radiography while synchronizing with the radiation generator 120 and generates a radiographic image based on the radiation emitted from the radiation generator 120.
  • the number of radiographic imaging devices 110 is not limited to one, and a plurality of radiographic imaging devices 110 may be used.
  • the radiation generator 120 is a device that receives a radiation irradiation instruction from the exposure switch 121 and generates radiation from the tube 122 based on the irradiation conditions set by an input device or the like that accepts user operations such as an operation panel. ..
  • the image acquisition device 130 is a device that photographs a subject according to an instruction from the radiography control device 100 and acquires a captured image.
  • an optical camera is used as the image acquisition device 130, and a photographed image captured by the optical camera is acquired.
  • the image acquisition device 130 will be described as being attached to the tube 122 and photographing the radiation generation direction of the tube 122. That is, the photographing range of the photographed image is characterized in that it is a photographing range having at least an overlapping area with the photographing range of the radiation image.
  • the position where the image acquisition device 130 is attached is not limited to the tube 122, and there is no limitation on the installation position as long as the foreign matter of the subject can be photographed.
  • an indoor camera may be used as the image acquisition device 130 and installed on the ceiling of the photographing room.
  • FIG. 2 is a hardware configuration example of the radiography control device 100 constituting the radiography system of the present embodiment.
  • the radiography control device 100 includes a network device 201 connected to the network 140, an input device 202 that accepts user operations such as a keyboard, and the like. Further, the radiography control device 100 includes an operation screen such as a liquid crystal display, a display device 203 for displaying a radiographic image, and a CPU (Central Processing Unit) 204 for controlling the entire device. Further, the radiography control device 100 stores a RAM (Random Access Memory) 205 that provides a workspace of the CPU 204, various control programs, a radiography image received from the radiography camera 110, a photographed image received from the image acquisition device 130, and the like. It has a storage device 206 to be used. Each device constituting the radiography control device 100 is connected by a main bus 207, and data can be transmitted and received to and from each other.
  • the input device 202 and the display device 203 are described as separate devices, a device in which these devices are integrated, for example, a device provided with a touch panel may be used.
  • FIG. 3 is a software configuration example of the radiography control device 100 constituting the radiography imaging system of the present embodiment.
  • Each functional unit shown in FIG. 3 is realized by the CPU 204 on the radiography control device 100 reading the control program stored in the storage device 206 onto the RAM 205 and executing the control program.
  • the radiography control device 100 includes a communication unit 301, a system control unit 302, an image acquisition unit 303, a radiation image processing unit 304, a display control unit 305, a foreign matter detection unit 306, and a warning information generation unit 309.
  • the communication unit 301 is software that controls the network device 201 to perform communication.
  • the system control unit 302 controls the image acquisition device 130, acquires irradiation information of the radiation generator 120 and imaging information of the radiation imaging device 110, and manages the respective states via the communication unit 301. Further, the system control unit 302 is a program that realizes the basic functions of the radiography control device 100, and controls the operation of each unit.
  • the image acquisition unit 303 acquires a radiation image from the radiography imaging device 110 and an image taken from the image acquisition device 130 via the communication unit 301.
  • the radiation image processing unit 304 processes the radiation image acquired via the system control unit 302 to generate an image to be used on the radiography control device 100.
  • the display control unit 305 displays the image generated by the radiation image processing unit 304 via the display device 203.
  • the display control unit 305 displays a notification based on the warning information generated by the warning information generation unit 309 via the display device 203.
  • the notification based on the warning information performed by the display control unit 305 may be in any form as long as the user can be prompted to confirm by, for example, a voice message notification or an alert sound.
  • the display control unit 305 performs processing reflection on the image instructed by the system control unit 302 based on the operation from the input device 202, processing for switching the screen display of the display device 203, and the like.
  • the foreign matter detection unit 306 detects a foreign matter in the captured image by using the captured image acquired by the image acquisition unit 303 from the image acquisition device 130.
  • the foreign matter detection unit 306 is composed of a foreign matter identification unit 307 and a feature amount storage unit 308.
  • the feature amount storage unit 308 is provided with the foreign matter identification unit 307 in advance so that the foreign matter identification unit 307 can identify the foreign matter. It is assumed that the feature amount for identifying a foreign substance from the learned photographed image is retained.
  • the foreign matter identification unit 307 recognizes the foreign matter in the captured image by using the feature amount for identifying the foreign matter stored in the feature amount storage unit 308 with respect to the captured image. That is, the foreign matter detection unit 306 is characterized by having a foreign matter identification unit 307 that identifies a foreign matter by using a machine learning algorithm.
  • ResNet may be used as the architecture of the CNN (Convolutional Neural Network) for the identification of the foreign matter identification unit 307, or a plurality of machine learning techniques. May be performed by combining the above.
  • the foreign matter detection unit 306 is not limited in configuration as long as the foreign matter detection unit 306 can detect the foreign matter from the photographed image by using the photographed image obtained from the image acquisition device 130 by the image acquisition unit 303.
  • a machine learning-based discriminator such as CNN is composed of a learning phase in which the discriminator is learned and an inference phase in which inference is performed using the learned discriminator.
  • the foreign matter discriminating unit 307 learns a discriminator for discriminating foreign matter that may be reflected in a radiographic image.
  • CNN is classified as supervised learning in machine learning technology.
  • supervised learning learning is performed using teacher data in which a learning image for learning and a correct answer image showing information on a correct answer region on the learning image are paired.
  • the correct image corresponds to each of the foreign substances that may be reflected in the radiographic image in the present specification, and each of the foreign substances is referred to as a class.
  • the output of the class-identifying classifier can be broadly divided into an extraction that identifies the pixels of the class (foreign substance) identified from the image and a classification that identifies the class of the foreign substance that exists on the image. Further, by using the Softmax function for the output layer, the output by the discriminator can be obtained with the likelihood. That is, the foreign matter identification unit 307 is characterized in that the identification result is output with the likelihood.
  • model and the network structure described here are examples, and the classifier used in the foreign body identification unit 307 may be configured by other machine learning techniques or rule-based techniques.
  • the foreign matter identification unit 307 stores the learned feature amount for detecting the foreign matter in the feature amount storage unit 308.
  • the learning phase of the classifier constituting the foreign matter identification unit 307 may be terminated by a specified number of times by the user, or the learning termination condition may be defined by a determination of overfitting, early stopping, or the like.
  • a plurality of classes corresponding to each of the plurality of foreign substances may be trained by the classifier, or each foreign substance may be trained by the respective classifiers.
  • the feature amount for identifying a plurality of foreign objects is stored in the feature amount storage unit 308.
  • the abnormality identification unit 307 identifies the foreign matter using the feature amount stored in the feature amount storage unit 308. Both phases may be executed by different devices, and the device configuration does not matter as long as the feature amount for foreign matter identification generated by the learning phase can be acquired when inferring in the inference phase.
  • the foreign matter detection unit 306 determines whether or not the foreign matter is present on the captured image acquired by the image acquisition unit 303 by, for example, threshold processing. ..
  • the likelihood can be rephrased as the certainty of the identification result of the classifier based on the machine learning in the foreign body identification unit 307. Therefore, the foreign matter identification unit 306 sets a threshold value in advance, and detects a foreign matter corresponding to a class equal to or higher than a predetermined threshold value as a foreign matter existing on the captured image. That is, the foreign matter detecting unit 306 is characterized in that it detects a foreign matter having a likelihood equal to or higher than a threshold value among the output results of the foreign matter identifying unit 307.
  • the warning information generation unit 309 When the foreign matter detection unit 306 detects a foreign matter, the warning information generation unit 309 generates warning information indicating that the foreign matter has been detected. After that, the warning information generation unit 309 instructs the display control unit 305 to display the generated warning information on the screen. Details will be described in the configuration diagram of the warning screen of the warning information generation unit 309.
  • the radiography control device 100 has an image acquisition unit 303 that acquires a photographed image of the target patient as a subject, and a foreign substance that may be reflected in the radiation image from the photographed image acquired by the image acquisition unit 303. It has a foreign matter detecting unit 306 for detecting the above. Further, the radiography control device 100 includes a warning information generation unit 309 and a warning information generation unit that generate warning information regarding the imaging of a radiation image based on the detected foreign matter when the foreign matter is detected by the foreign matter detection unit 306. It is characterized by having a display control unit 305 that displays a notification based on the warning information generated by 309.
  • FIG. 4 is a flowchart of the notification display process of the radiography control device 100.
  • step S401 the system control unit 302 sets the radiography control device 100 in the inspection start state based on the user operation. Specifically, the system control unit 302 transmits an instruction to prepare for imaging to the radiography imaging device 110 via the communication unit 301 based on the imaging conditions of the target patient inspected by the user operation. When the radiography imaging device 110 is ready for imaging, the radiography imaging device 110 returns and sends a notification of completion of preparation for radiography to the radiography imaging control device 100. After the radiography control device 100 receives the preparation completion notification, the system control unit 302 sets the radiography control device 100 in the inspection start state and accepts step S406 described later. The system control unit 302 also transmits an instruction to start shooting to the image acquisition device 130 via the communication unit 301. After receiving the imaging start instruction, the image acquisition device 130 returns and sequentially transmits the captured images acquired by itself to the radiological imaging control device 100.
  • steps S403 and S405 is executed by the system control unit 302 until step S406 is executed or it is decided to cancel the inspection by the user operation.
  • step S402 the image acquisition unit 303 displays the captured image acquired from the image acquisition device 130 via the communication unit 301 on the display device 203 via the display control unit 305.
  • step S403 the foreign matter detection unit 306 detects a foreign matter in the captured image based on the captured image acquired via the image acquisition unit 303.
  • the warning information generation unit 309 When a foreign matter is detected in the captured image by the foreign matter detection unit 306 in step S403, the warning information generation unit 309 generates warning information in step S404.
  • step S405 the display control unit 305 notifies the display device 203 based on the warning information.
  • the radiography control device 100 does not generate warning information. That is, the radiography control device 100 does not execute the processes of steps S404 and S405.
  • step S406 the user presses the exposure switch 121 of the radiation generator 120 to start photographing.
  • the radiation generator 120 generates radiation from the tube 122, the radiation that has passed through the target patient is notified to the radiographic imaging apparatus 110, and the radiographic imaging apparatus generates the radiographic image.
  • the radiographic imaging device 110 transmits a radiographic imaging image to the radiographic imaging control device 100.
  • the radiation generator 120 transmits radiation irradiation information related to the radiography to the radiography control device 100.
  • FIG. 5 is a schematic diagram of a notification displayed by the radiography control device 100 of the present embodiment.
  • the display screen 500 displayed by the display device 203 is a screen including a captured image acquired from the image acquisition device 130 displayed on the display device 203 in step S402.
  • an object within the imaging range of the image acquisition device 130 is reflected, such as the radiography apparatus 110 existing behind the target patient, but for convenience, the target patient is displayed on the display screen 500.
  • a diagram expressing only the physical information of the target patient is used in the same manner.
  • Notification 501 in FIG. 5 is a notification based on warning information indicating the presence of a foreign substance generated by the warning information generation unit 309 in step S404.
  • FIG. 5A when the foreign matter detection unit 306 detects a foreign matter, a warning sentence is displayed on the captured image 500 as a notification 501 to prompt the user for confirmation.
  • the notification 501 and the foreign matter detection information 502 indicating a region on the captured image determined to be a foreign matter may be displayed. The user can immediately grasp on the display screen 500 that the foreign matter has been detected and the position of the foreign matter.
  • the display control unit 304 may display the warning information 501 and the foreign matter content information 503 representing the foreign matter information on the captured image determined to be foreign matter. Further, by combining the foreign matter detection information 502 and the foreign matter content information 503, the foreign matter content information 503 can grasp the foreign matter information to be confirmed by the user, and the foreign matter detection information 502 grasps the position of the foreign matter. It is possible to check foreign matter.
  • the warning information generation unit 309 is characterized in that the foreign matter detected by the foreign matter detection unit 306 and warning information indicating the position of the foreign matter are generated.
  • the foreign matter detection unit 305 may reflect the foreign matter in the radiographic image with respect to the photographed image acquired before the radiological image is acquired. Upon detection, the display control unit 305 notifies the display device 203 based on the warning. As a result, the user can notice the foreign substance, which leads to suppression of the occurrence of re-imaging of the radiographic image, and as a result, it is possible to suppress invalid exposure to the target patient.
  • the foreign matter detecting unit 306 detects a plurality of foreign matters.
  • the foreign matter identification unit 307 of the foreign matter detection unit 306 may identify the foreign matter as a class of a plurality of different discriminators, or may discriminate a plurality of foreign matters as each of the same class of discriminators.
  • the foreign matter detection unit 306 When the discriminator in the foreign matter identification unit 307 identifies a foreign matter for different image regions on the captured image, the foreign matter detection unit 306 performs threshold processing for the likelihood corresponding to each foreign matter by the foreign matter identification unit 307. Is executed, and a foreign substance corresponding to a class having a likelihood equal to or higher than the threshold value is detected as a foreign substance.
  • the foreign matter identification unit 307 detects a plurality of foreign matter in an image area including the same image area on the captured image, the likelihoods of the classes corresponding to each of the plurality of foreign matter are compared and the likelihood is determined. Foreign matter corresponding to the highest class is detected as foreign matter.
  • a plurality of foreign substances by the discriminator in the foreign object identification unit 307 are used. Each of the identification results may be detected as a foreign substance.
  • the warning information generation unit 309 generates the notification 501 so that the foreign matter corresponding to the plurality of foreign matter information acquired from the foreign matter detection unit 306 can be identified. For example, when it is difficult to display a notification based on each warning information on the same display screen 500 as the number of foreign substances detected by the foreign matter detecting unit 306, the warning information generating unit 309 applies to each foreign matter. On the other hand, the notification 501 is generated and the switching display is performed. Alternatively, if the warning information generation unit 309 can display the detected foreign matter on the display screen 500, the warning information generation unit 309 generates warning information so that a plurality of foreign matter information is displayed as warning information on the same display screen. When displaying a plurality of foreign matter information on the same display screen on the display control unit 305, for example, processing such as changing the display density or color so that the foreign matter can be distinguished from each other. May be done.
  • step S405 the display control unit 305 displays the warning information acquired from the warning information generation unit 309 on the display screen 500.
  • the display control unit 305 displays each of the plurality of foreign substances in an identifiable manner. Further, the display by the display control unit 305 allows each of the plurality of foreign substances to be displayed in a switchable manner, and the information on a plurality of foreign substances is displayed on the same display screen.
  • the display by the display control unit 305 is not limited to this, and for example, foreign matter to be confirmed may be displayed in a list format. Further, when a plurality of foreign substances are present, the display control unit 305 may display a checklist (item) for inputting whether or not the confirmation has been made by the user.
  • the user can grasp the presence / absence of the foreign matter, the position of the foreign matter, and the information of the foreign matter, and invalid exposure due to re-imaging of the radiation image. Can be suppressed.
  • the foreign matter detection unit 306 may detect the foreign matter by using the near-infrared camera on the image acquisition device 130 and the near-infrared image as the acquired captured image, or is close to the captured image captured by the optical camera. Foreign matter may be detected in combination with a captured image taken by an infrared camera. That is, the captured image acquired by the image acquisition unit 303 is a captured image captured by at least one of the optical camera and the near-infrared camera.
  • the foreign matter identification unit 307 of the foreign matter detection unit 306 performs identification based on machine learning such as CNN, teacher data is required as described above.
  • the foreign matter identification unit 307 uses the teacher data as the teacher data, which is a pair of the image taken by the optical camera and the correct answer image showing the information of the correct answer region corresponding to the class indicating the foreign matter as the correct answer image.
  • the discriminator was trained in the above, and the feature quantity for identifying the foreign matter generated by the learning was stored in the feature quantity storage unit 308.
  • the captured image is composed of a plurality of captured images by an optical camera or a near-infrared camera, for example, as in the teacher data of the classifier described above, the captured image by the optical camera and the correct answer region.
  • the classifier can learn different characteristics from the teacher data including the image taken by the optical camera and the teacher data including the image taken by the near-infrared camera, and both are based on the identification result of the foreign matter by each classifier.
  • Another method is to use a photographed image taken by an optical camera and a photographed image taken by a near-infrared camera as a learning image and train a classifier as a correct image corresponding to a correct area.
  • a photographed image taken by an optical camera and a photographed image taken by a near-infrared camera as a learning image
  • train a classifier as a correct image corresponding to a correct area.
  • a near-infrared camera has been described as an example of an infrared camera, but the wavelength band acquired by the infrared camera is not limited to near-infrared.
  • the information given to the foreign matter detection unit 306 is not limited to the above, and even if the image is taken by another photographing device capable of acquiring image information that cannot be acquired by the optical camera, information other than the photographed image such as a metal detector is used. It may be configured to input.
  • Modification example 3 In the second modification, a configuration in which a captured image taken by an optical camera or a near-infrared camera is input and a foreign matter is detected by the foreign matter detecting unit 306 has been described. In this modified example, a configuration is described in which at least one of the captured image to be detected by the foreign body detection unit 306 or the feature amount of the foreign body classifier is adjusted according to the state of the target patient as the subject. do.
  • the state of the imaging range differs depending on the target patient.
  • the photographed images taken with clothes and without clothes differ in the difficulty level of detecting foreign substances from the photographed images and the feature amount for detecting foreign substances. Therefore, in this modified example, the state of the target patient is input or determined by the user, and the input to the foreign matter detection unit 306 for detecting the foreign matter and the feature amount by the foreign matter identification unit 307 in the foreign matter detection unit 306 are included. , Adjust at least one. When the user wears clothes, it becomes more difficult to detect foreign matter from the captured image taken by the optical camera as compared with the case where the user does not wear clothes.
  • the feature amount acquired by the foreign matter classifier 307 in the foreign matter detection unit 306 from the feature amount storage unit 308 also selects the feature amount generated by learning the teacher data including at least the captured image taken by the near-infrared camera.
  • the foreign matter detection unit 306 can detect foreign matter adapted to the condition of the target patient, and can suppress the reflection of foreign matter.
  • the foreign matter detection unit 306 detects a foreign matter that may be reflected in the radiographic image from the photographed image acquired by the image acquisition unit 303. However, as long as it does not appear in the radiographic image, it may be desirable not to detect it as a foreign substance and not to notify it even if the user wears an object detected as a foreign substance in the captured image. ..
  • the radiation emitted from the radiation generator 120 is irradiated to a limited area on the subject by a collimator or the like, and this area is called an irradiation field.
  • the irradiation field is the chest of the target patient, for example, even if the compress attached to the arm is shown in the photographed image, it is not shown in the radiographic image, so the compress attached to the arm is detected as a foreign substance. It is desirable not to do so and not to notify. This is because when a foreign substance is detected in a range that does not appear in the radiation image and a warning is displayed to the user, the user needs to confirm the foreign substance even though the object does not affect the imaging of the radiation image. This is because it may increase the labor of work.
  • the irradiation field information is generated by the radiography control device 100 and the foreign matter detection process in the foreign matter detection unit 306 is added.
  • the first embodiment will be described with reference to FIGS. 6 and 7.
  • FIG. 6 is a software configuration example of the radiography control device 100.
  • the radiography control device 100 has an irradiation field information generation unit 600 in addition to the configuration described in the first embodiment.
  • the irradiation field information generation unit 600 generates irradiation field information representing the position information of the irradiation field region in the captured image.
  • the irradiation field information generation unit 600 generates the irradiation field information by image-analyzing the change in the brightness in the captured image when the irradiation field lamp of the tube 122 obtained from the image acquisition device 130 is lit, for example. To do. Specifically, after the irradiation field lamp of the tube 122 is turned off, the radiography control device keeps the irradiation field information immediately before the light is turned off in the storage device 206.
  • the radiation imaging device 100 has an irradiation field information generation unit 600 that detects the position of the irradiation field by the radiation generator from the captured image and generates irradiation field information, and the foreign matter detection unit 306 is performed by the image acquisition unit 303. Among the acquired captured images, foreign matter is detected from the image region corresponding to the irradiation field information generated by the irradiation field information generation unit 600.
  • the irradiation field area is calculated by acquiring the aperture information of the tube 122 from the radiation generator 120 in advance. It may be calculated based on machine learning such as CNN.
  • FIG. 7 is a flowchart showing a process of displaying warning information of the radiography control device 100 of the present embodiment.
  • step S701 the irradiation field information generation unit 600 generates irradiation field information indicating the irradiation field region from the captured image by the above-mentioned image analysis.
  • step S702 the foreign matter detection unit 306 performs a foreign matter detection process on the image region on the captured image corresponding to the irradiation field region based on the irradiation field information from the captured image acquired by the image acquisition unit 303.
  • step S403 described in the first embodiment, when foreign matter is detected in the image region corresponding to the irradiation field region on the captured image based on the irradiation field information by the foreign matter detection in step S702, the subsequent step.
  • the processing of S404 and step S405 is executed.
  • the radiation imaging control device 100 generates the irradiation field information from the captured image acquired by the image acquisition unit 303 at the start of the inspection, and the irradiation field information generation unit 600 generates the irradiation field information, and the foreign matter detection unit 306 irradiates.
  • a warning is displayed on the display device 203 as to whether or not there is a foreign substance that may be reflected in the radiographic image in the image area corresponding to the irradiation field area in the field information.
  • the radiographic image can acquire image information in the body of the subject that cannot be acquired by the optical image.
  • the position of a foreign substance such as a broken piece of glass that has entered the body can be specified, so that the operation can be performed based on the specified position and the foreign substance can be removed.
  • an image processing device that assists an operator in finding a foreign substance by detecting an abnormality from an optical image and displaying anomaly information about the detected abnormality together with a radiographic image. The purpose.
  • FIG. 15 is a diagram showing an example of the configuration of the radiography system according to the embodiment of the present invention.
  • This system has, for example, an image processing device 1100, a radiography control device 1110, a radiation generator 1120, and an optical image acquisition via a network 1140 composed of a LAN (Local Area Network), a WAN (Wide Area Network), or the like. It is composed of the device 1130.
  • the network 1140 may be a wired network or a wireless network.
  • the image processing device 1100 acquires an optical image optically photographed by the optical image acquisition device 1130 and a radiographic image radiographed by the radiographic imaging device 1115. Then, the image processing device 1100 performs abnormality detection processing on the acquired optical image, and displays the detected abnormality information together with the acquired radiation image.
  • the image processing device 1100 is a device composed of an information processing device such as a computer.
  • the computer is provided with, for example, a main control unit such as a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the configuration of the image processing device 1100 or a part of the configuration may be on the cloud. Further, the configuration of the image processing device 1100 described later may be realized as a part of the devices constituting the system.
  • the radiography control device 1110 is a device constructed by an information processing device such as a computer that communicates with the radiography imaging device 1115 to control radiography.
  • the computer is provided with, for example, a main control unit such as a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the radiography control device 1110 received from a network device connected to the network 1140, an operation unit 1111 that accepts operations by an operator such as a keyboard and a mouse, a control unit 1112 that controls the entire device, various control programs, and a radiography image control device 1115.
  • the radiography control device 1110 also communicates with the radiation generator 1120 and acquires information when radiation is emitted from the radiation generator 1120.
  • the radiography control device 1110 communicates with the optical image acquisition device 1130 to control the optical image acquisition device 1130 and acquire the optical image optically photographed by the optical image acquisition device 1130.
  • PACS1150 Panicture Archiving and Communication Systems
  • the radiography control device 1110 adds inspection information to the radiological image taken and transfers it to the PACS 1150.
  • the radiography apparatus 1115 transitions to a state in which it can be imaged according to an instruction from the radiography control device 1110, performs radiography while synchronizing with the radiation generator 1120, and emits radiation based on the radiation emitted from the radiation generator 1120. It is a device that generates an image.
  • the number of radiographic imaging devices 1115 is not limited to one, and a plurality of radiographic imaging devices may be used.
  • the radiation generator 1120 detects a radiation irradiation instruction by the operator and generates radiation from the tube 1121 based on the irradiation conditions set by the operator via an operation unit such as an operation panel that accepts the operation by the operator. It is a device.
  • the optical image acquisition device 1130 is a device that acquires an optical image by performing optical photography according to an instruction from the radiography control device 1110.
  • an optical camera is used in the optical image acquisition device 1130 to acquire an optical image.
  • the image acquisition device 1130 is attached to the tube 1121 to take an image of the radiation generation direction of the tube 1121, and has an imaging range equivalent to that of the radiation image.
  • FIG. 15 is merely an example and can be changed as appropriate.
  • various devices are connected to the image processing device 1100 and the radiography control device 1110 via the network 1140, but the radiography system does not necessarily have to have the device configuration as described above. .. Further, each device may exist in a plurality of devices on the network.
  • the image processing device 1100 constituting the radiography system is for the optical image from the storage unit 1113 in the radiography control device 1110, the image acquisition unit 1102 for acquiring the radiation image, and the optical image acquired by the image acquisition unit 1102. It is composed of an abnormality detection unit 1103 that detects an abnormality, and a display control unit 1104 that displays an object based on the abnormality information about the detected abnormality on the display unit 1114 of the radiography control device 1110 together with the acquired radiographic image.
  • the image acquisition unit 1102 acquires the optical image and the radiographic image stored in the storage unit 1113. Then, the acquired image is transmitted to the abnormality detection unit 1103.
  • the abnormality detection unit 1103 performs an abnormality detection process on the optical image among the images transmitted from the image acquisition unit 1103.
  • an abnormality is detected using CNN (Convolutional Neural Network), which is one of machine learning. That is, the abnormality detection unit 1103 is characterized in that it detects an abnormality based on machine learning. For abnormality detection, even if other deep learning technologies are applied, other machine learning technologies are applied, or conventional rule-based image processing technologies are applied, each technology is combined. May be done.
  • the abnormality detection unit 1103 displays the abnormality information indicating the type of the detected abnormality and the position of the abnormality on the image, and the acquired radiation image. Send to 1104. That is, the abnormality information is characterized by the type of abnormality and the coordinates on the optical image of the abnormality.
  • the display control unit 1104 displays an object based on the abnormality information transmitted by the abnormality detection unit 1103 and a radiographic image on the display unit 1114 of the radiography control device 1110.
  • the image processing apparatus 1100 detects an abnormality from the image acquisition unit 1102 that acquires the optical image obtained by optically photographing the subject and the radiation image obtained by radiographing the subject, and the optical image acquired by the image acquisition unit 1102.
  • An abnormality detection unit 1103 is provided, and when an abnormality is detected from an optical image by the abnormality detection unit 1103, a display control unit that displays an object based on the abnormality information regarding the detected abnormality together with a radiation image is provided.
  • FIG. 17 is a diagram showing an example of a display screen 1200 displayed on the display unit 1114.
  • the operator operates the operation unit 1111 of the radiography control device 1110, inputs the patient information and the examination information of the subject, and starts the examination.
  • the patient information includes a patient name, a patient ID, and the like
  • the examination information includes imaging information that defines the content of imaging to be performed on the subject.
  • the radiography control device 1110 displays the display screen 1200 as shown in FIG. 17 on the display unit 1114.
  • the patient information display unit 1204 representing the patient information input before the start of the examination and the imaging method button 1206 representing the examination information are displayed.
  • the imaging method button 1206 includes, for example, information on the imaging region and the radiography apparatus 1110 used for imaging. According to the input inspection information, the control unit 1112 of the radiography control device 1110 radiates the radiography conditions (tube voltage, tube current, irradiation time, etc.) set corresponding to the radiography method button 1206 (imaging method). It transmits to the generator 1120 and controls the radiographing device 1115 to prepare for taking a radiographic image.
  • the radiography conditions tube voltage, tube current, irradiation time, etc.
  • the radiological radiography control device 1110 transitions to a state in which radiography can be taken.
  • the radiological imaging control device 1110 changes to the imaging ready state, a "Ready message" indicating that the radiography imaging control device 1110 is in the imaging ready state is displayed in the message area 1203.
  • the operator confirms the imaging method of the radiographic image from the display screen 1200 displayed on the display unit 1114, sets the imaging, and positions the subject.
  • the operator refers to the message area 1203, confirms that shooting is possible, and then presses the irradiation switch.
  • the radiography control device 1110 irradiates the subject with radiation by the radiation generator 1120, and causes the radiography device 1115 to detect the radiation transmitted through the subject.
  • a radiographic image is taken.
  • the optical image acquisition device 1130 also takes an optical image.
  • the control unit 1112 of the radiographic imaging control device 1110 acquires the radiographic image from the radiographic imaging device 1110 and the optical image from the optical image acquisition device 1130 and stores them in the storage unit 1113.
  • the radiography control device 1110 performs image processing on the acquired radiographic image based on predetermined image processing conditions. Predetermined image processing conditions are predetermined according to the photographing method.
  • the radiography control device 1110 displays the image-processed radiographic image in the radiographic image display area 1201.
  • the radiation image display area 1201 is a part of the display content displayed on the display unit 1114.
  • the image processing device 1100 acquires the radiographic image and the optical image from the storage unit 1113 by the image acquisition unit 1102.
  • the abnormality detection unit 1103 detects an abnormality in the acquired optical image.
  • the abnormality refers to trauma such as discoloration, swelling, and bleeding of the skin.
  • the display control unit 1104 causes the display unit 1114 to display an object based on the abnormality information regarding the detected abnormality and the acquired radiation image. The operator can search the radiographic image for a foreign substance related to the abnormality based on the object based on the abnormality information.
  • the display control unit 1104 in the image processing device 1100 causes the display unit 1114 to display the object 1209 for displaying the abnormality notification at the position of the radiation image corresponding to the place where the abnormality is determined in the optical image, for example.
  • the operator wants to change the contrast or the like of the radiation image, the operator operates a button such as the contrast or the brightness provided in the image processing setting area 1207.
  • the adjustment button provided in the image operation area 1202. For example, when a character string to be image diagnosis information is given, the annotation button 1202d or the like is operated to display the character string as shown in the annotation 1208 on the image. If the orientation of the image is not suitable for diagnosis, geometric transformation is performed using the rotation button 1202a, the inversion button 1202b, and the like. As described above, the operator can perform additional image editing on the image displayed in the radiation image display area 1201.
  • the operator repeats the above-mentioned procedure to capture all the radiographic images according to the imaging method of the imaging information display area 1205.
  • the operator presses the inspection end button 1208.
  • the radiography control device 1110 adds the inspection information, the imaging conditions, and the like as incidental information to the captured image, and then outputs the captured image to, for example, the PACS 1150.
  • the optical image acquired from the optical image acquisition device 1130 may be discarded, or may be output to the PACS 1150 and stored in association with the radiographic image.
  • FIG. 11 is a flow chart of the image processing device 100.
  • step S1401 the image acquisition unit 1102 acquires a radiographic image and an optical image from the storage unit 1113.
  • the abnormality detection unit 1103 detects an abnormality in the optical image acquired by the image acquisition unit 1102.
  • Abnormalities are, for example, trauma such as discoloration, swelling, bleeding, bruises, and fractures of the skin, and detection of abnormalities uses, for example, CNN, which is one of the techniques based on machine learning.
  • CNN is classified as supervised learning of machine learning.
  • Supervised learning can be used for anomaly detection tasks by learning CNN using teacher data that is a pair of learning data and correct answer data with correct answers to the learning data. ..
  • teacher data is configured as correct answer data corresponding to each abnormality, and learning is performed on the CNN.
  • the learned CNN outputs the type of abnormality and the coordinates of the abnormality when the optical image of the subject is input.
  • the detection process may be performed by a conventional rule-based image processing technique.
  • the display control unit 1104 generates associative information for associating the coordinates of the radiation image acquired by the image acquisition unit 1102 with the optical image.
  • the association information is generated based on, for example, irradiation field information.
  • the irradiation field information is information indicating a range to be captured as a radiographic image. In the acquired optical image, the region corresponding to the irradiation field region is displayed brighter than the other regions due to the light indicating the irradiation field. Therefore, by trimming the irradiation field region of the optical image based on the brightness, the association information with the coordinate correspondence with the radiation image is acquired.
  • the method of generating the association information is not determined only by the irradiation field information, but for example, the positional deviation of the optical image acquisition device 1130 and the tube 1121 for photographing radiation, and the position information of each device are used. May be good.
  • enlargement / reduction, rotation, and angle correction processing may be performed according to both acquired images.
  • features may be extracted from the image by a technique such as machine learning, and association may be performed based on the extracted features.
  • the association information may be realized by any known technique as long as the two images can be associated with each other on the coordinates. When the coordinates are associated, it is possible to convert the specific coordinates of one image to the coordinates corresponding to the image to the other based on the association information.
  • step S1404 the display control unit 1104 converts the object into a radiation image based on the abnormality information including the abnormality type and the coordinates of the abnormality detected by the abnormality detection unit 1103 and the calculated coordinate association information between the images.
  • the object attached to the radiographic image may be in any form as long as the display unit 1114 can display the coordinates corresponding to the detected abnormality on the radiographic image. That is, the display control unit 1104 is characterized in that an object based on the abnormality information detected from the optical image based on the association information is displayed on the radiographic image. For example, the area corresponding to the coordinates of the detected abnormality may be highlighted on the radiographic image, and the detected abnormality information may be superimposed in the vicinity of the display area.
  • the display control unit 1104 transmits the radiation image and the abnormality information to the display unit 1114. That is, the display control unit 1104 is characterized in that the abnormality detected from the optical image is displayed on the coordinates of the radiation image corresponding to the coordinates of the optical image based on the detected abnormality information and the association information. To do.
  • the display unit 1114 displays the information transmitted from the display control unit 1104 in the radiation image display area 1201.
  • the operator can detect the foreign matter while reducing the load on the operator by searching for the foreign matter related to the abnormality detected by the abnormality detection unit 1103 based on the coordinates corresponding to the abnormality.
  • FIG. 12 is a diagram showing an example of the configuration of the image processing device 1500 in the radiography system according to the embodiment of the present invention.
  • the image processing device 1500 has an abnormality input unit 1501 that operates an operation unit 1103 such as the radiography control device 1110 and receives an input of abnormality information of the operator.
  • the operator operates the operation unit 1103 and inputs a portion corresponding to the abnormality with respect to the optical image to the abnormality input unit 1501 with a mouse or the like.
  • FIG. 13 is a flow chart of the image processing device 1500 of the present embodiment.
  • step S1602 the abnormality information such as the type of abnormality and the coordinates of the abnormality determined by the operator is input to the optical image acquired by the image acquisition unit 1102.
  • the abnormality information input by the operator is processed in the same manner as in the third embodiment and displayed in the radiation image display area 1201 on the display unit 1114.
  • the image processing device 1500 may have the abnormality detection unit 1103 described in the third embodiment. By comparing the abnormality detected by the abnormality detection unit 1103 with the abnormality input to the abnormality input unit 1501 by the operator, the abnormality detection accuracy is improved.
  • the image processing device 1100 has an abnormality detection unit 1103 and an abnormality input unit 1501, for example, the area where the abnormality detection unit 1103 detects an abnormality is outside the abnormality coordinate area input by the abnormality input unit 1501. May be.
  • the abnormality detection unit 1103 can detect the abnormality information input by the operator and the abnormality from the area where the operator's abnormality information is not input, and while reducing the load on the operator, the foreign matter can be overlooked. It can be suppressed.
  • FIG. 14 is a diagram showing an example of a GUI in the display unit 1114 for the operator to input abnormality information to the abnormality input unit 1501 by, for example, the operation unit 1111.
  • the radiation image capturing control device 1110 acquires an optical image from the optical image acquisition device 1130
  • the radiation image capturing control device 1110 displays the abnormality input screen 1600 on the display unit 1114.
  • the abnormal input screen 1600 may be realized so that the abnormal input screen 1600 and the above-mentioned display screen 1200 can be displayed and switched on the same liquid crystal display, or another liquid crystal display is provided to provide the abnormal input screen 1600 and the display screen 1200. May be realized so as to be displayed at the same time.
  • the acquired optical image is displayed on the optical image display unit 1601.
  • the operator checks the displayed optical image, and if it determines that there is an abnormality, inputs the abnormality information.
  • the operator first specifies the coordinates of the abnormality. Specifically, the coordinate specification start button 1610 is pressed to shift to the coordinate specification mode. After that, the coordinates of the abnormality on the optical image display unit 1601 are specified via the operation unit 1103 of a mouse, tablet, or the like.
  • the coordinates corresponding to the designated abnormality are superimposed and displayed on the optical image display unit 1601 as the abnormality location designation area 1640.
  • the position of the abnormal location designation area 1640 may be adjusted by an operation such as dragging after the designation.
  • the input of the abnormal location may be deleted by pressing the abnormal location release button 1611 with the abnormal location designation area 1640 selected.
  • the abnormality type is input by the abnormality type selection unit 1620 that selects the abnormality type.
  • the abnormality type selection unit 1620 is realized by a drop box for selecting an abnormality type from a preset list, a text box for inputting an arbitrary character string by an operator, and the like.
  • the abnormal part designation completion button 1630 is pressed. As a result, the input of the abnormal portion to the optical image is completed, and the abnormal input screen 1600 ends.
  • the image processing device 1500 When the abnormality information is input by the operator, the image processing device 1500 performs coordinate conversion and information addition in the display control unit 1104 based on the abnormality location input on the abnormality input screen 1600, and the display unit 1114 displays. The radio image to be displayed and the abnormality information are generated.
  • the operator inputs abnormality information to the optical image
  • the display control unit 1104 emits radiation based on the abnormality information received by the image processing device 1500 via the abnormality input unit 1501.
  • the coordinates of the image and the optical image are associated with each other, and the information is transmitted to the display unit 1114 of the radiography control device 1110.
  • FIG. 15 is a diagram showing an example of a GUI in which the operator on the display unit 1114 sets the type of abnormality reflected in the radiographic image.
  • the abnormality type setting screen 1700 on the display unit 1114 includes an abnormality type 1720 and a check box 1710 for setting whether or not to reflect the abnormality information corresponding to each abnormality in the radiographic image.
  • FIG. 15 shows an example when bleeding and fracture are effective as abnormalities reflected in the radiographic image and notification of bruises and rash is set as invalid.
  • the display control unit 1104 in the image processing device 1100 gives a notification based on the set information.
  • FIG. 16 is a data flow diagram of the abnormality notification display processing of the image processing device 1100 in this embodiment.
  • the image acquisition unit 1102 acquires the radiation image, the optical image, and the abnormality setting information to be reflected in the radiation image from the storage unit 1113.
  • step S1901 the abnormality detection unit 1103 determines whether or not the abnormality detected by the abnormality detection unit 1103 is an abnormality to be reflected in the radiographic image, based on the abnormality setting information acquired by the image acquisition unit 1102.
  • the abnormality detected by the abnormality detection unit 1103 is the set abnormality
  • the subsequent processing is executed for the corresponding abnormality, and if there is no abnormality corresponding to the set abnormality, the processing is terminated. ..
  • FIG. 15 a case where bleeding and fracture are effective and notification of bruises and rash is invalid is described. In this case, it is determined whether or not the abnormality detected by the abnormality detection unit 1103 includes an abnormality corresponding to bleeding or fracture.
  • the display control unit 1104 When there is bleeding or fracture in the detected abnormality, the display control unit 1104 generates a radiation display image to be displayed on the display unit 1114 based on the radiation image and the abnormality information determined to match the setting information.
  • the abnormality detected by the abnormality detection unit 1103 includes an abnormality corresponding to a bruise or a rash
  • the radiation display image to be displayed on the display unit 1114 is not generated for the corresponding abnormality. That is, the image processing device 1100 acquires the abnormality setting information to be reflected in the radiation image set by the user, and among the abnormalities detected by the abnormality detection unit 1103, the abnormality information that satisfies the setting information is displayed together with the radiation image. It is characterized by.
  • the abnormal portion displayed on the radiation image display area 1201 is limited to the abnormality desired by the operator, so that only the necessary abnormality is displayed on the radiation image. Even if an abnormality that does not affect the inspection is detected, the display is not performed, so that the load on the operator can be reduced.
  • the image processing device 1100 that performs image processing has been described as an independent device.
  • the configuration of the image processing device 100 may be a part of the configuration in the radiography control device as the image processing unit 1001.
  • the image processing device 1100 and the image processing unit 1001 may be a part of the configuration in another device or may be realized on the cloud.
  • the present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiment is supplied to the system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本発明の一態様に係る放射線撮影制御装置は、被検体を撮影した撮影画像を取得する画像取得部と、前記画像取得部によって取得された撮影画像から、前記被検体の放射線画像を取得する場合に当該放射線画像に写り込む可能性のある異物を検出する異物検出部と、前記異物検出部によって前記撮影画像中に異物を検出したことに基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成部と、前記警告情報に基づく通知を行う表示制御部と、を備える。

Description

放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム
　本発明は、放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システムに関する。
　医療分野における撮影システムとして、放射線を利用した放射線撮影システムが知られている。放射線撮影システムは、放射線発生装置が照射した放射線から対象患者を介して放射線撮影装置に放射線を照射し、放射線撮影装置が放射線画像を生成することで、放射線撮影直後にユーザによる放射線画像の確認が可能となる。
　特許文献１には放射線撮影による再撮影を抑制する放射線診断装置が開示されている。放射線発生装置に光学カメラを取り付け、光学カメラで撮影した撮影画像を放射線診断装置の画面上に表示する。そして、ユーザが対象患者の姿勢の位置決めをした際の位置決め画像と、光学カメラによって撮影された撮影画像とを比較し、画像間で対象患者の姿勢が一致しなければユーザに通知を行うことで、対象患者の体動による放射線画像の再撮影の発生を抑制することができる。
特開２０１１－２４７２１号公報
　しかしながら、衣服のボタンやネックレスなどの放射線画像に写り込む異物によっても放射線画像の再撮影が必要となる場合がある。近年では、対象患者のプライバシーの観点から対象患者が衣服を身につけたまま放射線画像を撮影する場合や、集団検診などで多数の対象患者に対して放射線画像を撮影する場合など、ユーザが放射線画像に写り込む異物に注意を払いきれないことがある。特許文献１には、放射線画像に写り込む異物による放射線画像の再撮影を抑制する構成について開示されていない。
　本発明は上記問題を鑑みてなされたものであり、放射線画像の撮影より前に、放射線画像に写り込む可能性のある異物を検出し警告表示をすることで、放射線画像の再撮影の発生を抑制する放射線撮影制御装置を提供することを目的とする。
　上記課題を解決するために、本発明に記載の放射線撮影制御装置は、
　被検体を撮影した撮影画像を取得する画像取得部と、画像取得部によって取得された撮影画像から、被検体の放射線画像を取得する場合に当該放射線画像に写り込む可能性のある異物を検出する異物検出部と、異物検出部によって撮影画像中に異物を検出したことに基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成部と、
　前記警告情報に基づく通知を行う表示制御部と、を備える。
　本発明によれば、放射線画像の撮影より前に、放射線画像に写り込む可能性のある異物を検出し警告表示をすることで、放射線画像の再撮影の発生を抑制することができる。
実施形態１に係る放射線撮影システムのシステム構成図 実施形態１に係る放射線撮影制御装置のハードウェア構成図 実施形態１に係る放射線撮影制御装置のソフトウェア構成図 実施形態１に係る放射線撮影制御装置のフローチャート図 実施形態１に係る放射線撮影制御装置の警告画面の概略図 実施形態１に係る放射線撮影制御装置の警告画面の概略図 実施形態１に係る放射線撮影制御装置の警告画面の概略図 実施形態２に係る放射線撮影制御装置のソフトウェア構成図 実施形態２に係る放射線撮影制御装置のフローチャート図 実施形態３に係る放射線撮影システムのシステム構成図 実施形態３に係る画像処理装置の構成図 実施形態３に係る放射線撮影制御装置の表示画面図 実施形態３に係る画像処理装置のフロー図 実施形態４に係る画像処理装置の構成図 実施形態４に係る画像処置装置のフロー図 実施形態４に係る異常入力画面の一例 実施形態５に係る設定画面の一例 実施形態５に係る画像処理装置のフロー図 放射線撮影システムにおけるシステム構成の変形例
　以下、本発明を実施するための実施形態について図面を用いて説明する。なお、本発明は、以下に開示する実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　以下で用いる放射線画像に写り込む可能性のある異物は、放射線撮影によって取得される放射線画像に写り込む可能性がある物体を指す。放射線画像に写り込む可能性がある物体として例えば、眼鏡、ボタンなどのプラスチック類、ベルト、ファスナーなどの金属類、Ｔシャツのプリント、湿布、カイロなどがある。なお、放射線画像に写り込む可能性のある異物は、これらの物体に限定されるものではない。
　［実施形態１］
　まず、本実施形態の放射線撮影システムの構成について、図１から図３を用いて説明する。
　図１は、本実施形態の放射線撮影システム全体の構成例である。本放射線撮影システムは、ネットワーク１４０を介して、放射線撮影制御装置１００と放射線撮影装置１１０、放射線発生装置１２０、画像取得装置１３０から構成される。なお、ネットワーク１４０は、有線ネットワークでも無線ネットワークでもよい。
　放射線撮影制御装置１００は、放射線撮影装置１１０とネットワーク１４０を介して通信し放射線撮影を制御する、コンピュータなどの情報処理装置で構築される装置である。放射線撮影制御装置１００は、また、放射線発生装置１２０とネットワーク１４０を介して通信し、放射線発生装置１２０から放射線を照射した際の情報を取得する。放射線撮影制御装置１００は、さらに画像取得装置１３０と通信し、画像取得装置１３０の制御、及び、画像取得装置１３０が撮影した撮影画像を取得する。なお、放射線撮影制御装置１００の各構成の一部が同一の装置で構成されてもよい。
　放射線撮影装置１１０は、放射線撮影制御装置１００からの指示により放射線画像を撮影できる放射線画像の撮影可能状態へと遷移する。そして放射線撮影装置１１０は、放射線発生装置１２０と同期を取りながら放射線撮影を実施し、放射線発生装置１２０から照射された放射線に基づき放射線画像を生成する装置である。なお、放射線撮影装置１１０の台数は一台に限定されるものではなく、複数台の放射線撮影装置１１０を用いる構成でも良い。
　放射線発生装置１２０は、曝射スイッチ１２１による放射線照射指示を受けて、操作パネルなどのユーザ操作を受け付ける入力装置等により設定された照射条件を基に、管球１２２より放射線を発生させる装置である。
　画像取得装置１３０は、放射線撮影制御装置１００からの指示により被検体の撮影を行い、撮影画像を取得する装置である。本実施形態では、画像取得装置１３０に光学カメラを用い、光学カメラにより撮影された撮影画像を取得するものとする。なお、本実施形態では、画像取得装置１３０は管球１２２に取り付けられ、管球１２２の放射線発生方向の撮影を行うものとして説明する。即ち、撮影画像の撮影範囲は、放射線画像の撮影範囲と少なくとも重複領域を有する撮影範囲であることを特徴とする。しかしながら、画像取得装置１３０が取り付けられる位置は管球１２２に限定されず、被写体の異物を撮影可能な位置であれば設置位置に制限はない。例えば画像取得装置１３０として室内カメラを用い、撮影室の天井に設置してもよい。図２は、本実施形態の放射線撮影システムを構成する放射線撮影制御装置１００のハードウェア構成例である。
　放射線撮影制御装置１００は、ネットワーク１４０に接続するネットワーク装置２０１、キーボードなどユーザ操作を受け付ける入力装置２０２を有する。更に放射線撮影制御装置１００は、液晶ディスプレイなど操作画面、放射線画像を表示する表示装置２０３、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０４を有する。また放射線撮影制御装置１００は、ＣＰＵ２０４のワークスペースを提供するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０５、各種制御プログラム、及び放射線撮影装置１１０から受信した放射線画像、画像取得装置１３０から受信した撮影画像などを記憶する記憶装置２０６を有する。放射線撮影制御装置１００を構成する各装置は、メインバス２０７で接続されており、相互にデータの送受信が可能である。
　なお、入力装置２０２と表示装置２０３を別々の装置として記載しているが、これらの装置が一体となった、例えばタッチパネルを備えた装置としてもよい。
　図３は、本実施形態の放射線撮影システムを構成する放射線撮影制御装置１００のソフトウェア構成例である。
　図３に示す各機能部は、放射線撮影制御装置１００上のＣＰＵ２０４が、記憶装置２０６に記憶される制御プログラムをＲＡＭ２０５上に読み出して実行することで実現される。
　放射線撮影制御装置１００は、通信部３０１、システム制御部３０２、画像取得部３０３、放射線画像処理部３０４、表示制御部３０５、異物検出部３０６、警告情報生成部３０９を有する。
　通信部３０１は、ネットワーク装置２０１を制御して通信を行うソフトウェアである。
　システム制御部３０２は、通信部３０１を介して、画像取得装置１３０の制御、及び放射線発生装置１２０の照射情報や放射線撮影装置１１０の撮影情報の取得、並びに各々の状態管理を行う。また、システム制御部３０２は、放射線撮影制御装置１００の基本的な機能を実現するプログラムであり、各部の動作制御を行う。
　画像取得部３０３は、通信部３０１を介して放射線撮影装置１１０から放射線画像を、画像取得装置１３０から撮影画像を、各々取得する。
　放射線画像処理部３０４は、システム制御部３０２を介して取得した放射線画像を処理し、放射線撮影制御装置１００上で使用する画像を生成する。
　表示制御部３０５は、放射線画像処理部３０４により生成された画像を、表示装置２０３を介して表示する。
　更に表示制御部３０５は、警告情報生成部３０９が生成した警告情報に基づく通知を、表示装置２０３を介して表示する。ここで、表示制御部３０５が行う、警告情報に基づく通知は、例えば、音声メッセージによる通知でも、アラート音でもユーザに確認を促すことができれば形態は問わない。
　また、表示制御部３０５は、入力装置２０２からの操作に基づきシステム制御部３０２で指示される画像への処理反映や、表示装置２０３の画面表示の切り替え処理などを行う。
　異物検出部３０６は、画像取得部３０３が画像取得装置１３０から取得した撮影画像を用いて、撮影画像内の異物を検出する。
　異物検出部３０６は、異物識別部３０７、特徴量格納部３０８から構成される。異物識別部３０７が機械学習に基づいて放射線画像に写り込む可能性のある異物を撮影画像中から識別する場合に、特徴量格納部３０８には、異物識別部３０７が異物を識別できるように予め学習を行った撮影画像から異物を識別するための特徴量を保持しているものとする。異物識別部３０７が撮影画像に対して、特徴量格納部３０８に格納されている異物を識別するための特徴量を用いて撮影画像内の異物を認識する。即ち、異物検出部３０６は、機械学習アルゴリズムを用いて異物を識別する異物識別部３０７を有することを特徴とする。
　なお、本実施形態で機械学習に用いる具体的な方法に制限はなく、例えば異物識別部３０７の識別にＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のアーキテクチャとしてＲｅｓＮｅｔを用いても良いし、複数の機械学習の技術を組み合わせた識別を行っても良い。また、異物検出部３０６は、画像取得部３０３によって画像取得装置１３０から得られた撮影画像を用いて、撮影画像から異物を検出できれば、構成に制限はない。
　ここでは異物検出部３０６における異物識別部３０７における識別器としてＣＮＮを用いる場合の構成について説明する。ＣＮＮを始めとする機械学習に基づく識別器は、識別器を学習する学習フェーズと、学習された識別器を用いて推論を行う推論フェーズから構成される。
　以下、ＣＮＮを用いた識別器の構成について説明をする。学習フェーズでは、異物識別部３０７は放射線画像に写り込む可能性のある異物を識別するための識別器の学習を行う。ＣＮＮは機械学習技術の中で、教師あり学習に分類される。教師あり学習とは、学習を行う学習画像と、学習画像上で正解領域の情報を示した正解画像を対にした教師データを用いた学習が実施される。正解画像は、本明細書においては放射線画像に写り込む可能性のある異物のそれぞれに対応し、異物のそれぞれをクラスと呼ぶ。クラスを識別する識別器の出力には、大きく分けて画像上から識別されたクラス（異物）の画素を識別する抽出と、画像上に存在する異物のクラスを識別する分類とに分けられる。また出力層にＳｏｆｔｍａｘ関数を用いることで、識別器による出力を尤度で得ることができる。即ち、異物識別部３０７は、識別の結果を尤度で出力することを特徴とする。
　本発明においては、ここで説明したモデルや、ネットワーク構造は一例であり、異物識別部３０７で用いられる識別器は、他の機械学習技術でも、ルールベースの技術によって構成されてもよい。
　学習フェーズによる識別器の学習が終了すると、異物識別部３０７は学習された異物検出のための特徴量を特徴量格納部３０８に記憶する。異物識別部３０７を構成する識別器の学習フェーズの終了は、ユーザの規定回数により行われても、過学習の判定やｅａｒｌｙ　ｓｔｏｐｐｉｎｇ等の判定により学習の終了条件が規定されてもよい。複数の異物のそれぞれに対応する複数のクラスを識別器に学習させても、それぞれの異物をそれぞれの識別器に学習させてもよい。複数の識別器を学習させた場合は、複数の異物識別のための特徴量を特徴量格納部３０８に記憶する構成になる。
　推論フェーズにて、異常識別部３０７は、特徴量格納部３０８に記憶されている特徴量を用いて異物の識別を行う。なお、両フェーズは異なる装置にて実行されてもよく、推論フェーズで推論をする際に、学習フェーズによって生成された異物識別のための特徴量を取得できれば装置構成は問わない。
　異物識別部３０７における識別器による出力結果が尤度である場合に、異物検出部３０６は、例えば閾値処理によって画像取得部３０３によって取得された撮影画像上に異物が存在するか否かを判定する。尤度はすなわち、異物識別部３０７における機械学習に基づく識別器の識別結果への確信度と言い換えてもよい。よって、異物識別部３０６は閾値をあらかじめ設定し、所定の閾値以上のクラスに対応する異物を撮影画像上に存在する異物として検出をする。即ち、異物検出部３０６は、異物識別部３０７による出力結果のうち閾値以上の尤度を有する異物を検出することを特徴とする。
　警告情報生成部３０９は、異物検出部３０６が異物を検出した際、異物を検出したことを表す警告情報を生成する。その後、警告情報生成部３０９は、生成した警告情報を画面表示するように表示制御部３０５に指示する。詳細については、警告情報生成部３０９の警告画面の構成図にて記載する。
　即ち、放射線撮影制御装置１００は、被検体である対象患者を撮影した撮影画像を取得する画像取得部３０３と、画像取得部３０３によって取得された撮影画像から放射線画像に写り込む可能性のある異物を検出する異物検出部３０６を有する。また放射線撮影制御装置１００は、異物検出部３０６によって異物が検出された場合に、検出された異物に基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成部３０９と、警告情報生成部３０９によって生成された警告情報に基づく通知を表示する表示制御部３０５を有することを特徴とする。
　本実施形態における、放射線撮影制御装置１００の対象患者撮影時の表示処理の方法を図４で、警告画像の表示に関する構成図を図５で説明する。
　図４は、放射線撮影制御装置１００の通知表示処理のフローチャート図である。
　ステップＳ４０１では、システム制御部３０２が、ユーザ操作に基づき、放射線撮影制御装置１００を検査開始の状態とする。具体的には、システム制御部３０２が、ユーザ操作により検査指示された対象患者の撮影条件に基づき、放射線撮影装置１１０へ撮影のための準備を行う指示を、通信部３０１を介して送信する。放射線撮影装置１１０は、自身の撮影準備が完了となると、放射線撮影制御装置１００へ折り返し準備完了通知を送信する。　放射線撮影制御装置１００が準備完了通知を受けた後、システム制御部３０２は、放射線撮影制御装置１００を検査開始の状態とし、後述するステップＳ４０６を受け付けるようになる。システム制御部３０２はまた、画像取得装置１３０へ撮影開始を行う指示を、通信部３０１を介して送信する。画像取得装置１３０は、撮影開始指示を受けた後、放射線撮影制御装置１００へ折り返し自身が取得した撮影画像を逐次送信する。
　ステップＳ４０３からＳ４０５間の処理は、ステップＳ４０６が実行されるか、ユーザ操作による検査の中止が決定されるまで、システム制御部３０２により実行される。
　ステップＳ４０２では、画像取得部３０３が、通信部３０１を介して画像取得装置１３０から取得した撮影画像を、表示制御部３０５を介して表示装置２０３上へ表示する。
　ステップＳ４０３では、異物検出部３０６が、画像取得部３０３を介して取得した撮影画像を元に、撮影画像内に異物の検出を行う。
　ステップＳ４０３で異物検出部３０６により撮影画像中に異物が検出された場合、ステップＳ４０４として、警告情報生成部３０９が、警告情報を生成する。
　ステップＳ４０５では、表示制御部３０５が、表示装置２０３上へ警告情報に基づく通知を行う。
　ステップＳ４０３で異物検出部３０６によって異物が検出されなかった場合、放射線撮影制御装置１００は、警告情報の生成を行わない。すなわち、放射線撮影制御装置１００はステップＳ４０４およびステップＳ４０５の処理を実行しない。
　ステップＳ４０６では、ユーザが放射線発生装置１２０の曝射スイッチ１２１を押下し、撮影を開始する。放射線画像の撮影が開始されると、放射線発生装置１２０が管球１２２から放射線を発生させ、対象患者を通過した放射線が放射線撮影装置１１０へ通知され、放射線撮影装置が放射線撮影画像を生成する。その後、放射線撮影装置１１０は、放射線撮影制御装置１００へ放射線撮影画像を送信する。また、前記処理と並行して、放射線発生装置１２０が、前記放射線撮影に関する放射線の照射情報を、放射線撮影制御装置１００へ送信する。
　図５は、本実施形態の放射線撮影制御装置１００で表示される通知の概略図である。
　表示装置２０３によって表示される表示画面５００は、ステップＳ４０２にて表示装置２０３上へ表示される画像取得装置１３０から取得した撮影画像を含む画面である。なお、実際の撮影画像には対象患者の背後に放射線撮影装置１１０が存在しているなど、画像取得装置１３０の撮影範囲内の物体が映り込むが、簡便のため、表示画面５００には対象患者の身体情報のみ表現した図を用いる。また、以降の表示画面５００に表示される撮影画像及び撮影画像に関連する画像に関しても、特記されない限り同様に対象患者の身体情報のみ表現した図を用いる。
　図５における通知５０１は、ステップＳ４０４で警告情報生成部３０９が生成する異物の存在を示す警告情報に基づく通知である。図５Ａでは、異物検出部３０６が、異物を検出した場合に、撮影画像５００上に警告する文章を通知５０１として表示し、ユーザに確認を促す構成としている。しかしながら、ユーザに異物が存在することを提示可能であれば、構成に制限はない。例えば、図５Ｂの構成のように、通知５０１及び異物と判断した撮影画像上の領域を示す異物検出情報５０２を表示してもよい。ユーザは異物が検出された旨と、当該異物の位置を表示画面５００上で即座に把握することができる。また、表示画面５００において図５Ｃの構成のように、表示制御部３０４は、警告情報５０１及び異物と判断した撮影画像上の異物情報を表す異物内容情報５０３を表示してもよい。また、異物検出情報５０２と、異物内容情報５０３を組み合わせることで、異物内容情報５０３によって、ユーザが確認すべき異物情報を把握でき、また異物検出情報５０２によって当該異物の位置に対して、把握した異物を確認することが可能となる。
　即ち、警情報生成部３０９は、異物検出部３０６によって検出された異物と該異物の位置を示す警告情報を生成することを特徴とする。
　なお、上述の表示方法は組み合わされても、構成の一部のみが表示画面５００に表示されてもよい。
　以上により、実施形態１に記載の放射線撮影制御装置１００では、放射線画像を取得するより前に取得される撮影画像に対して、異物検出部３０５が放射線撮影画像に映り込む可能性のある異物を検出し、表示制御部３０５が表示装置２０３上に警告に基づく通知を行う。これにより、ユーザは異物に気付くことができるので、放射線画像の再撮影発生の抑制につながり、結果として対象患者への無効被ばくを抑止することが可能となる。
　（変形例１）
　ここでは、異物検出部３０６によって検出された異物が複数ある場合の処理について図４を用いて説明する。ステップＳ４０３において異物検出部３０６が複数の異物を検出する。異物検出部３０６における異物識別部３０７は異物を複数の異なる識別器のクラスとして識別しても、複数の異物を同一の識別器のクラスのそれぞれとして識別してもよい。
　異物識別部３０７における識別器が、撮影画像上の異なる画像領域に対して異物を識別した場合に、異物検出部３０６は、異物識別部３０７によるそれぞれの異物に対応する尤度に対して閾値処理を実行し、閾値以上の尤度を有するクラスに対応する異物を異物として検出する。また撮影画像上の同一の画像領域を含む画像領域に対して異物識別部３０７が複数の異物を検出した場合には、複数の異物のそれぞれに対応するクラスの尤度を比較し、尤度の最も高いクラスに対応する異物を、異物として検出する。もしくは、撮影画像上の同一の画像領域の面積が一定以下、もしくは検出された異物領域に対する異物を示す画像領域の割合が一定以下である場合には、異物識別部３０７における識別器による複数の異物の識別結果をそれぞれ異物として検知してもよい。
　ステップＳ４０４において警告情報生成部３０９は、異物検出部３０６から取得した複数の異物情報に対応する異物をそれぞれ識別可能となるように通知５０１を生成する。例えば、異物検出部３０６によって検出された異物の数が、同一の表示画面５００に対してそれぞれの警告情報に基づく通知の表示が困難である場合には、警告情報生成部３０９はそれぞれの異物に対して、通知５０１を生成し、切り替え表示をする。もしくは、警告情報生成部３０９は、表示画面５００に検出された異物を表示できる場合には、複数の異物情報を警告情報として同一の表示画面上に表示させるように警告情報を生成する。表示制御部３０５に複数の異物情報を同一の表示画面上に表示させる場合には、それぞれの異物が互いに識別可能となるように、例えば表示の濃度や、色を変更して表示させる等の処理を行ってもよい。
　ステップＳ４０５において、表示制御部３０５は、警告情報生成部３０９から取得した警告情報を表示画面５００に表示をする。表示制御部３０５は、複数の異物のそれぞれを識別可能に表示する。また表示制御部３０５による表示は複数の異物のそれぞれを切り替え可能に表示したり、複数の異物情報を同一の表示画面上に表示したりさせる。表示制御部３０５による表示はこれだけに限定されず、例えば確認すべき異物をリスト形式で表示してもよい。また、異物が複数存在する場合には、表示制御部３０５はユーザによる確認がなされたか否かを入力するチェックリスト（項目）を表示してもよい。
　本変形例により、異物検出部３０６によって複数の異物が検出された場合においても、ユーザは異物の有無や、異物の位置、異物の情報を把握することができ、放射線画像の再撮影による無効被ばくを抑制することができる。
　（変形例２）
　なお、実施形態１では、画像取得装置１３０に光学カメラ、および取得した撮影画像として光学画像を用いた撮影画像を対象にした異物検出部３０６が異物の検出を行っている構成について説明を行った。しかしながら、異物検出部３０６は、画像取得装置１３０に近赤外線カメラ、および取得した撮影画像として近赤外線画像を用いて異物の検出を行ってもよいし、光学カメラによって撮影された撮影画像と、近赤外線カメラによって撮影された撮影画像とを組み合わせて、異物を検出してもよい。即ち、画像取得部３０３によって取得される撮影画像は、光学カメラ及び近赤外線カメラのすくなくとも一方のカメラによって撮影された撮影画像である。
　以下では、複数の撮影画像を用いて異物を検出する方法として、異物検出部３０６における異物識別部３０７がＣＮＮに基づく識別器によって異物の識別をする場合の構成について説明をする。
　異物検出部３０６における異物識別部３０７がＣＮＮ等の機械学習に基づく識別を行う場合、上述のように教師データが必要となる。上述までは教師データとして、光学カメラによる撮影画像と、正解画像として該当の異物を示すクラスに対応する正解領域の情報を示した正解画像とを対にした教師データを用いて、異物識別部３０７における識別器の学習を行い、学習によって生成された異物を識別するための特徴量を特徴量格納部３０８に記憶した。撮影画像が光学カメラや、近赤外線カメラによる複数の撮影画像から構成される場合には、例えば、上述までに説明をした識別器の教師データのように、光学カメラによる撮影画像と、正解領域の情報を示した正解画像を対にした教師データによって学習される識別器と、さらに近赤外線カメラによって撮影される撮影画像と正解領域の情報を示した正解画像を対にした教師データによって学習される識別器とを別途学習する方法がある。光学カメラによる撮影画像を含む教師データと、近赤外線カメラによる撮影画像を含む教師データとで、識別器は異なる特徴を学習することができ、それぞれの識別器による異物の識別結果に基づいて、両者を比較することで異物の検出漏れを防ぐことができ、また異物識別の整合性を担保することができる。
　また、光学カメラによって撮影された撮影画像と、近赤外線カメラによって撮影された撮影画像とを学習画像とし、正解領域に対応する正解画像として識別器に学習させる方法も挙げられる。光学カメラによる撮影画像と、近赤外線カメラによる撮影画像とを同時に学習画像とすることで、撮影画像間の関係性を踏まえた特徴量を学習にて生成することが可能となる。
　ここでは、赤外線カメラとして近赤外線カメラを例にとって説明したが、赤外線カメラで取得する波長帯域を近赤外線のみに限定するものではない。
　なお、異物検出部３０６に与える情報は、上述のみに限定されず、光学カメラでは取得できないような画像情報を取得できる他の撮影装置によって撮影された画像でも、金属探知機など撮影画像以外の情報を入力する構成でもよい。
　（変形例３）
　変形例２において光学カメラや、近赤外線カメラによって撮影された撮影画像を入力し、異物検出部３０６によって異物を検出する構成について説明をした。本変形例では、被検体である対象患者の状態に合わせて、異物検出部３０６が検出を行う対象となる撮影画像もしくは、異物識別器の特徴量とのうち、少なくとも一方を調整する構成について説明をする。
　例えば、放射線画像の撮影の際に、対象患者によって撮影範囲の状態が異なることが考えられる。例えば衣服を着用した状態と、衣服を着用していない状態とで撮影される撮影画像は撮影画像から異物を検出する難易度も、異物を検出するための特徴量も異なることが考えられる。故に、本変形例においては対象患者の状態をユーザによって入力、もしくは判定することで、異物を検出する異物検出部３０６への入力と、異物検出部３０６における異物識別部３０７による特徴量とのうち、すくなくとも一方を調整する。ユーザが衣服を着用している場合は、ユーザが衣服を着用していない場合に比べ、光学カメラによって撮影された撮影画像から異物を検出することが困難になる。ユーザが衣服を着用している場合には、近赤外線カメラによって撮影された画像をすくなくとも異物検出部３０６への入力とする。また異物検出部３０６における異物識別器３０７が特徴量格納部３０８から取得する特徴量も近赤外線カメラによって撮影された撮影画像を少なくとも含む教師データを学習することによって生成された特徴量を選択する。
　本変形例により、異物検出部３０６は対象患者の状態に適応した異物検出を行うことが可能となり、異物の写り込みを抑制できる。
　［実施形態２］
　次に、本発明の実施形態２を説明する。
　実施形態１の構成では、画像取得部３０３が取得した撮影画像から、異物検出部３０６が放射線撮影画像に写り込む可能性のある異物の検出をしていた。しかしながら、放射線画像には写らない範囲であれば、撮影画像中に異物として検出される物体をユーザが身に着けていても、異物として検出を行わず、通知を行わないことが望ましい場合がある。
　一般に、放射線発生装置１２０から発せられた放射線は、コリメータ等によって被検体上の限られた領域に照射され、この領域を照射野と呼ぶ。照射野が対象患者の胸部であった場合、例えば腕に貼った湿布類が撮影画像中に写っていても、放射線画像には写らない範囲であるため、腕に貼った湿布類を異物として検出をせず、通知を行わないほうが望ましい。なぜなら放射線画像に写らない範囲から異物が検出され、ユーザに対して警告表示がなされると、放射線画像の撮影には当該物体が影響しないにも関わらず、ユーザは異物の確認を行う必要があり、作業の手間を増加させてしまう可能性があるためである。
　そこで実施形態２の構成では、放射線撮影制御装置１００による、照射野情報の生成および異物検出部３０６における異物検出の処理を追加する。以下、図６及び図７を用いて、実施形態１との差分のみ説明する。
　図６は、放射線撮影制御装置１００のソフトウェア構成例である。本実施形態に係る放射線撮影制御装置１００は、実施形態１で説明した構成に加えて照射野情報生成部６００を有する。ここで照射野情報生成部６００は、撮影画像内の照射野領域の位置情報を表す照射野情報を生成する。本実施形態では、照射野情報生成部６００は、例えば画像取得装置１３０から得られる管球１２２の照射野ランプ点灯時の撮影画像内の輝度の変化を画像解析し照射野情報を生成するものとする。具体的には、管球１２２の照射野ランプ消灯後は、放射線撮影制御装置は、記憶装置２０６にて消灯直前の照射野情報を保持し続けるものとする。
　即ち、放射線撮影装置１００は、撮影画像から放射線発生装置による照射野の位置を検出して照射野情報を生成する照射野情報生成部６００を有し、異物検出部３０６は、画像取得部３０３により取得された撮影画像のうち、照射野情報生成部６００によって生成された照射野情報に対応する画像領域から異物を検出することを特徴とする。
　なお、照射野情報生成部６００によって照射野領域の位置情報を取得できれば具体的な方法に制限はなく、例えば放射線発生装置１２０から管球１２２の絞り情報を事前に取得し照射野領域を計算してもよいし、ＣＮＮ等の機械学習に基づいて計算されてもよい。
　図７は、本実施形態の放射線撮影制御装置１００の警告情報を表示する処理を示すフローチャート図である。
　ステップＳ７０１では、照射野情報生成部６００が、撮影画像から、上述した画像解析によって照射野領域を示す照射野情報を生成する。
　ステップＳ７０２では、異物検出部３０６が、画像取得部３０３が取得した撮影画像から照射野情報に基づいて、照射野領域に対応する撮影画像上の画像領域に対して異物検出の処理を行う。実施形態１で説明をしたステップＳ４０３とは異なり、ステップＳ７０２の異物検出によって、照射野情報に基づいて撮影画像上の照射野領域に対応する画像領域に異物が検出された場合に、後段のステップＳ４０４、ステップＳ４０５の処理を実行する。
　以上により、実施形態２では、放射線撮影制御装置１００が、検査開始時に画像取得部３０３が取得した撮影画像から、照射野情報生成部６００が照射野情報を生成し、異物検出部３０６は、照射野情報における照射野領域に対応する画像領域に放射線撮影画像に写り込む可能性のある異物が存在するかを表示装置２０３上に警告表示する。これにより、撮影には影響しない領域から放射線画像に写り込む可能性のある異物を検出しても警告表示を行うことがなくなり、ユーザの確認作業発生による手間の増加を抑止することが可能となる。
　［実施形態３］
　放射線画像は光学画像では取得できないような被検体の体内の画像情報を取得することができる。放射線画像を用いることで、例えば体内に入ったガラスの破片などの異物の位置を特定できるので、特定した位置に基づいて手術を行い、異物を除去することができる。
　放射線画像によっては被検体の体内の異物が骨等の硬組織と重なっていることがある。放射線画像上で異物が硬組織と重なると、放射線画像から異物を発見することが困難になり、見落としのリスクが高くなる。体内の異物が放射線画像で発見されず、手術で異物が除去されない場合には、被検体の症状が重篤化することがある。
　そこで、本実施形態では、光学画像から異常を検出し、検出された異常に関する異常情報を放射線画像とともに表示することで、操作者が異物を発見することを支援する画像処理装置を提供することを目的とする。
　図１５は、本発明の実施の形態に係る放射線撮影システムの構成の一例を示す図である。
　本システムは、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等で構成されるネットワーク１１４０を介して、画像処理装置１１００、放射線撮影制御装置１１１０と、放射線発生装置１１２０、光学画像取得装置１１３０から構成される。なお、ネットワーク１１４０は、有線ネットワークでも無線ネットワークでもよい。
　画像処理装置１１００は、光学画像取得装置１１３０により光学撮影された光学画像と、放射線撮影装置１１１５により放射線撮影された放射線画像を取得する。そして画像処理装置１１００は取得した光学画像に対して異常検出処理を行い、検出された異常情報を取得した放射線画像とともに表示をする。画像処理装置１１００はコンピュータなどの情報処理装置で構成される装置である。コンピュータには、例えば、ＣＰＵ等の主制御部、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等が具備される。画像処理装置１００は、放射線撮影システムとネットワーク１４０を介して接続されていれば、例えば画像処理装置１１００の構成または、構成の一部がクラウド上にあってもよい。また後述する画像処理装置１１００の構成がシステムを構成する装置の一部として実現されてもよい。
　放射線撮影制御装置１１１０は、放射線撮影装置１１１５と通信して放射線撮影を制御する、コンピュータなどの情報処理装置で構築される装置である。コンピュータには、例えば、ＣＰＵ等の主制御部、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等が具備される。放射線撮影制御装置１１１０は、ネットワーク１１４０に接続するネットワーク装置、キーボードやマウスなど操作者による操作を受け付ける操作部１１１１、装置全体を制御する制御部１１１２、各種制御プログラム、及び放射線撮影装置１１１５から受信した放射線画像、並びに光学画像取得装置１１３０受信した画像情報などを記憶する記憶部１１１３、液晶ディスプレイなど放射線画像を表示する表示部１１１４から構成される。なお、操作部１１１１と表示部１１１４を別々の装置として記載しているが、これらの装置が一体となった操作部としてもよい。放射線撮影制御装置１１１０は、また、放射線発生装置１１２０と通信し、放射線発生装置１１２０から放射線を照射した際の情報を取得する。放射線撮影制御装置１１１０は、光学画像取得装置１１３０と通信し、光学画像取得装置１１３０の制御、及び、光学画像取得装置１１３０が光学撮影した光学画像を取得する。ＰＡＣＳ１１５０（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍｓ）は画像サーバである。放射線撮影制御装置１１１０では撮影された放射線画像に検査情報を付与し、ＰＡＣＳ１１５０への転送が行われる。
　放射線撮影装置１１１５は、放射線撮影制御装置１１１０からの指示により撮影可能状態へと遷移し、放射線発生装置１１２０と同期を取りながら放射線撮影を実施し、放射線発生装置１１２０から照射された放射線に基づき放射線画像を生成する装置である。なお、放射線撮影装置１１１５の台数は一台に限定されるものではなく、複数台の放射線撮影装置を用いる構成でも良い。
　放射線発生装置１１２０は、操作者による放射線照射指示を検知し、操作パネルなど操作者による操作を受け付ける操作部を介して操作者により設定された照射条件を元に、管球１１２１より放射線を発生させる装置である。
　光学画像取得装置１１３０は、放射線撮影制御装置１１１０からの指示により光学撮影を行い、光学画像を取得する装置である。本実施形態では、光学画像取得装置１１３０に光学カメラを用い、光学画像を取得するものとする。なお、本実施形態では、画像取得装置１１３０は管球１１２１に取り付けられ、管球１１２１の放射線発生方向の撮影を行い、放射線画像と同等の撮影範囲を持つものとする。
　以上が、本発明の実施形態に係る放射線撮影システムの構成の一例についての説明である。なお、図１５に示す構成は、あくまで一例であり、適宜変更できる。例えば、図１５では、画像処理装置１１００や放射線撮影制御装置１１１０に対してネットワーク１１４０を介して各種装置が接続されているが、必ずしも、放射線撮影システムは上述したような装置構成である必要はない。また、各装置はネットワーク上に複数存在しても良い。
　ここで図１６を用いて、放射線撮影システムを構成する画像処理装置１１００の各構成とそれぞれの機能について述べる。
　放射線撮影システムを構成する画像処理装置１１００は、放射線撮影制御装置１１１０における記憶部１１１３から光学画像と、放射線画像を取得する画像取得部１１０２と、画像取得部１１０２によって取得された光学画像に対して異常を検出する異常検出部１１０３、そして、検出された異常に関する異常情報に基づくオブジェクトを、取得した放射線画像とともに放射線撮影制御装置１１１０の表示部１１１４に表示をさせる表示制御部１１０４から構成される。
　画像取得部１１０２は、記憶部１１１３に記憶した光学画像と放射線画像を取得する。そして取得された画像を異常検出部１１０３に送信する。
　異常検出部１１０３は、画像取得部１１０３から送信された画像のうち、光学画像に対して異常検出処理を行う。異常検出処理には、例えば機械学習のひとつであるＣＮＮ　（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて異常が検出される。即ち、異常検出部１１０３は、機械学習に基づいて異常を検出することを特徴とする。なお、異常の検出には、他のディープラーニング技術が適用されても、他の機械学習の技術が適用されても、従来のルールベースの画像処理技術が適用されても、それぞれの技術が組み合わされてもよい。異常検出部１１０３によって被検体に関する異常が検出されると、異常検出部１１０３は検出された異常の種別と、当該異常の画像上の位置とを示す異常情報および、取得した放射線画像を表示制御部１１０４に送信する。即ち、異常情報は、異常の種別と異常の光学画像上の座標であることを特徴とする。
　表示制御部１１０４は、異常検出部１１０３により送信された異常情報に基づくオブジェクトと放射線画像とを放射線撮影制御装置１１１０の表示部１１１４に表示する。
　即ち、画像処理装置１１００は、被検体を光学撮影した光学画像と、被検体を放射線撮影した放射線画像とを取得する画像取得部１１０２と、画像取得部１１０２によって取得された光学画像から異常を検出する異常検出部１１０３と、異常検出部１１０３によって光学画像から異常が検出された場合に、検出された異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを備える。
　ここで、図１５に示す放射線撮影システムによる検査の流れに沿って、光学画像に対して異常検出処理を実施し、検出された異常に基づいて生成された異常情報を放射線画像とともに表示をする手順について図１７を用いて説明をする。
　図１７は表示部１１１４に表示される表示画面１２００の一例を示した図である。まず操作者は放射線撮影制御装置１１１０の操作部１１１１を操作し、被検体の患者情報および検査情報を入力し、検査を開始する。患者情報は、患者名、患者ＩＤなどを含み、検査情報は、被検体に対して実施する撮影の内容を規定した撮影情報を含む。検査開始操作に従って、放射線撮影制御装置１１１０は、図１７に示すような表示画面１２００を表示部１１１４に表示する。
　表示部１１１４に表示される表示画面１２００における撮影情報表示領域１２０５内には、検査開始前に入力した患者情報を表す患者情報表示部１２０４と検査情報を表す撮影方法ボタン１２０６が表示される。撮影方法ボタン１２０６には、たとえば撮影部位や撮影に使用する放射線撮影装置１１１０の情報が含まれる。入力した検査情報に伴って、放射線撮影制御装置１１１０の制御部１１１２は、当該撮影方法ボタン１２０６（撮影方法）に対応して設定された撮影条件（管電圧、管電流、照射時間等）を放射線発生装置１１２０に向けて送信し、放射線撮影装置１１１５を制御することで放射線画像の撮影の準備を整える。
　放射線画像の撮影の準備が整うと、放射線撮影制御装置１１１０は、撮影可能状態へ遷移する。放射線撮影制御装置１１１０が、撮影可能状態に推移すると、メッセージ領域１２０３には、撮影可能状態であることを示す「Ｒｅａｄｙメッセージ」が表示される。
　続いて、操作者は、表示部１１１４に表示された表示画面１２００から、放射線画像の撮影方法を確認し、撮影のセッティング及び被検体のポジショニングを行う。一連の撮影準備が完了すると、操作者は、メッセージ領域１２０３を参照して撮影可能状態であることを確認した後、放射線照射スイッチを押下する。放射線撮影照射スイッチが押下されると、放射線撮影制御装置１１１０は、放射線発生装置１１２０により被検体に対して放射線を照射させ、放射線撮影装置１１１５により被検体を透過した放射線を検出させる。これにより、放射線画像の撮影が行われる。放射線撮影の撮影に伴って、光学画像取得装置１１３０で光学画像の撮影も行われる。
　放射線画像の撮影が完了すると、放射線撮影制御装置１１１０の制御部１１１２は、放射線撮影装置１１１０から放射線画像、光学画像取得装置１１３０から光学画像を取得し記憶部１１１３に記憶させる。放射線撮影制御装置１１１０は、取得した放射線画像に対して所定の画像処理条件に基づいて画像処理を実施する。所定の画像処理条件は、撮影方法に対応して予め規定されている。画像処理が終了すると、放射線撮影制御装置１１１０は、当該画像処理された放射線画像を放射線画像表示領域１２０１に表示する。放射線画像表示領域１２０１は表示部１１１４に表示される表示内容の一部である。
　放射線画像および光学画像が取得されると画像処理装置１１００は、画像取得部１１０２によって放射線画像および光学画像を記憶部１１１３から取得する。次に、取得された光学画像に対して異常検出部１１０３が異常を検出する。ここで異常とは、皮膚の変色、腫れ、出血などの外傷をさす。光学画像から異常検出部１１０３が異常を検出すると、表示制御部１１０４は検出された異常に関する異常情報に基づくオブジェクトと、取得した放射線画像を表示部１１１４に表示をさせる。操作者は、異常情報に基づくオブジェクトを基に、該異常に関連する異物を放射線画像に対して探索することができる。画像処理装置１１００における表示制御部１１０４は、表示部１１１４に対して例えば光学画像で異常が判定された箇所に該当する放射線画像の位置に、異常通知表示のためのオブジェクト１２０９を表示させる。操作者は、当該放射線画像のコントラスト等を変更したい場合、画像処理設定領域１２０７に設けられたコントラストや輝度等のボタンを操作する。
　同様に、出力画像の切り出し領域を変更したい場合は、画像操作領域１２０２に設けられた調整ボタンを操作する。例えば、画像診断情報となる文字列を付与する場合は、アノテーションボタン１２０２ｄ等を操作してアノテーション１２０８に示すような文字列を画像上に重ねて表示させる。また、画像の向きが診断に適さない場合、回転ボタン１２０２ａ、反転ボタン１２０２ｂ等を使って幾何変換を行う。以上のように、操作者は、当該放射線画像表示領域１２０１に表示された画像に対して追加の画像編集を実施できる。
　操作者は、上述した手順を繰り返して撮影情報表示領域１２０５の撮影方法に即して、すべての放射線画像の撮影を実施する。全ての撮影が終了すると、操作者は、検査終了ボタン１２０８を押下する。これにより、一連の検査が終了する。一連の検査が終了すると、放射線撮影制御装置１１１０は、撮影画像をその検査情報、撮影条件等を付帯情報として付与したうえで、例えば、ＰＡＣＳ１１５０に出力する。検査終了時には、光学画像取得装置１１３０から取得した光学画像は破棄されてもよいし、ＰＡＣＳ１１５０に出力して放射線画像と関連付けて保存されてもよい。
　図１１は、画像処理装置１００のフロー図である。
　まずステップＳ１４０１において、画像取得部１１０２は、記憶部１１１３から放射線画像および光学画像を取得する。
　次にステップＳ１４０２において、異常検出部１１０３は画像取得部１１０２が取得した光学画像に対して異常検出を行う。異常は例えば皮膚の変色、腫れ、出血、痣、骨折などの外傷であり、異常の検出は機械学習に基づく技術のひとつである例えばＣＮＮが用いられる。
　ＣＮＮは機械学習の教師あり学習に分類される。教師あり学習は、学習用のデータと、学習用のデータに対する正解を付した正解データとを対にした教師データを用いて、ＣＮＮを学習することで、異常の検出のタスクに利用可能になる。ここでは、異常のそれぞれに対応する正解データとして教師データを構成し、ＣＮＮに学習を行う。
　学習されたＣＮＮは、被検体の光学画像が入力されると、異常の種別と、異常の座標を出力する。なお、異常検出部１１０３の検出を機械学習によって検出する処理を説明したが、従来のルールベースの画像処理技術によって検出処理が実施されてもよい。
　ステップＳ１４０３において、表示制御部１１０４は、画像取得部１１０２によって取得された放射線画像と、光学画像との座標を対応付ける対応付け情報を生成する。対応付け情報は、例えば、照射野情報に基づいて生成される。照射野情報とは、放射線画像として撮影される範囲を示す情報である。取得した光学画像には、照射野領域に対応する領域が照射野を示す光によって、他の領域に比べて明るく表示される。よって光学画像の照射野領域を明るさに基づいてトリミングすることで、放射線画像との座標上の対応関係がとれた対応付け情報が取得される。対応付け情報の生成方法は、照射野情報のみにより決定されるものではなく例えば、光学画像取得装置１１３０、放射線を撮影するための管球１１２１の位置ずれや、それぞれの装置の位置情報を用いてもよい。また、取得される両者の画像に合わせて拡大や縮小、回転や角度の補正処理が実施されてもよい。また、画像上から機械学習等の技術により特徴を抽出し、抽出された特徴をもとに対応付けが行われてもよい。対応付け情報は、両画像の座標上の対応付けができればよく、公知技術のいずれにより実現されてもよい。座標の対応付けがなされると、対応付け情報に基づいて、一方の画像の特定の座標から、もう一方への画像に対応する座標への変換が可能となる。
　ステップＳ１４０４において、表示制御部１１０４は、異常検出部１１０３により検出された異常の種別と異常の座標を含む異常情報と、算出した画像間の座標の対応付け情報とに基づいてオブジェクトを放射線画像に付与する。放射線画像に付与されるオブジェクトは、検出された異常に対応する座標を放射線画像上で確認できるように、表示部１１１４が表示できれば形態は問わない。即ち、表示制御部１１０４は、対応付け情報に基づいて光学画像から検出された異常情報に基づくオブジェクトを、放射線画像上で表示させることを特徴とする。例えば、放射線画像上で、検出された異常の座標に対応する領域を強調表示し、表示領域付近に検出された異常情報を重畳してもよい。放射線画像に対して異常情報が付与されると、表示制御部１１０４は、表示部１１１４へ放射線画像と、異常情報の送信を行う。即ち、表示制御部１１０４は、検出された異常情報と、対応付け情報とに基づいて、光学画像より検出された異常を光学画像の座標と対応する放射線画像の座標上に表示させることを特徴とする。
　表示部１１１４は、表示制御部１１０４から送信された情報を放射線画像表示領域１２０１に表示をする。操作者は、異常検出部１１０３によって検出された異常に関係する異物を、異常に対応する座標を基に探索することで操作者の負荷を軽減しながら異物を検出することが可能となる。
　また、本実施形態によれば、光学画像から異常検出を行い、検出された異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示することで、操作者が異物を発見することを支援することが可能となる。
　［実施形態４］
　実施形態３では、異常検出部１１０３が光学画像から異常と異常の座標を検出し、表示制御部１１０４によって、検出された異常に関する異常情報を放射線画像に反映する例を説明した。実施形態４では、操作者が光学画像の異常情報を入力する例について説明する。
　なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
　図１２は、本発明の一実施の形態に係る放射線撮影システムのおける画像処理装置１５００の構成の一例を示す図である。本実施形態では放射線撮影制御装置１１１０等の操作部１１０３を操作し、画像処理装置１５００が操作者かの異常情報の入力を受け付ける異常入力部１５０１を有する。操作者は操作部１１０３を操作し、光学画像に対して異常に該当する箇所をマウス等で異常入力部１５０１に入力する。
　図１３は、本実施形態の画像処理装置１５００におけるフロー図である。
　ステップＳ１６０２において、画像取得部１１０２が取得した光学画像に対して、操作者が判断した異常の種別と異常の座標等の異常情報を入力する。操作者によって入力された異常情報は、実施形態３と同様に処理をされ、表示部１１１４における放射線画像表示領域１２０１に表示される。なお、画像処理装置１５００は実施形態３で説明をした異常検出部１１０３を有していてもよい。異常検出部１１０３によって検出された異常と、操作者によって異常入力部１５０１に入力された異常とを対比することで、異常検出精度が向上する。また、画像処理装置１１００が異常検出部１１０３と、異常入力部１５０１を有する場合には、例えば、異常検出部１１０３が異常を検出する領域を、異常入力部１５０１で入力された異常の座標領域外としてもよい。この構成により、操作者による入力による異常情報と、操作者の異常情報の入力がされなかった領域から異常検出部１１０３が異常を検出でき、操作者の負荷を軽減しながらも、異物の見逃しを抑制することができる。
　図１４は、例えば操作部１１１１により操作者が異常情報を異常入力部１５０１へ入力するための表示部１１１４におけるＧＵＩの一例を示す図である。放射線画像撮影制御装置１１１０は、光学画像取得装置１１３０から光学画像を取得すると、表示部１１１４に異常入力画面１６００を表示する。異常入力画面１６００は、異常入力画面１６００と上述の表示画面１２００を同じ液晶ディスプレイに表示して切り替えできるように実現してもよいし、別の液晶ディスプレイを設けて異常入力画面１６００と表示画面１２００を同時に表示するように実現してもよい。
　取得した光学画像は、光学画像表示部１６０１に表示される。操作者は表示された光学画像を確認し、異常があると判断した場合、異常情報を入力する。異常情報の入力として、まず操作者は異常の座標を指定する。具体的には座標指定開始ボタン１６１０を押下し、座標指定モードに移行する。その後、マウスやタブレット等の操作部１１０３を介して、光学画像表示部１６０１上の異常の座標を指定する。指定された異常に対応する座標は、異常箇所指定領域１６４０として光学画像表示部１６０１上に重畳表示される。異常箇所指定領域１６４０は、指定後にドラッグなどの操作で位置を調整できてもよい。また、指定した異常箇所に誤りがある場合は異常箇所指定領域１６４０を選択した状態で異常箇所解除ボタン１６１１を押下することで、異常箇所の入力を削除されてもよい。異常箇所の座標として異常箇所指定領域１６４０を指定したのち、異常の種別を選択する異常の種別選択部１６２０により、異常の種別を入力する。異常の種別選択部１６２０はプリセットされた一覧から異常の種別を選択するドロップボックスや、操作者による任意の文字列を入力するテキストボックスなどで実現される。光学画像上の異常箇所を入力した後、異常箇所指定完了ボタン１６３０を押下する。これにより、光学画像に対する異常箇所の入力が完了し、異常入力画面１６００が終了する。操作者によって異常情報が入力されると、異常入力画面１６００で入力された異常箇所を基に、画像処理装置１５００は、表示制御部１１０４における座標の変換および情報付与が実施され、表示部１１１４で表示をする放射線画像と異常情報が生成される。
　本実施形態によれば、操作者が光学画像に対して、異常情報を入力し、画像処理装置１５００が異常入力部１５０１を介して入力を受け付けた異常情報を基に、表示制御部１１０４が放射線画像と光学画像の座標の対応付けを行い、放射線撮影制御装置１１１０の表示部１１１４に送信をする。これにより、操作者が放射線画像上で確認が必要と判断した異常のみを放射線画像に表示し、検査には影響しない異常を検知しても表示を行うことがなくなるため、操作者の負担を軽減することが可能となる。
　［実施形態５］
　実施形態３や実施形態４では、画像処理装置が異常を検出もしくは入力された異常情報に対して、表示制御を行い、表示部１１１４に表示をさせる例について説明をした。実施形態５では、操作者が表示部１１１４に表示をさせる異物の種別を設定する構成について説明をする。
　なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
　図１５は、表示部１１１４における操作者が放射線画像に反映する異常の種別を設定するＧＵＩの一例を示す図である。表示部１１１４における異常の種別設定画面１７００には、異常の種別１７２０と、それぞれの異常に対応する異常情報を放射線画像へ反映するかどうかを設定するチェックボックス１７１０が含まれる。図１５では、放射線画像へ反映する異常として出血および骨折が有効で、痣および発疹の通知が無効として設定された際の例を示す。確定ボタン１７３０の押下により、操作者の設定が記憶部１１１３に記憶される。画像処理装置１１００における表示制御部１１０４は、設定された情報に基づいて通知を行う。
　図１６は、本実施例における画像処理装置１１００の異常通知表示処理のデータフロー図である。ステップＳ１９００において、画像取得部１１０２は、記憶部１１１３より放射線画像と、光学画像とさらに放射線画像に反映させる異常の設定情報を取得する。
　ステップＳ１９０１では、画像取得部１１０２が取得した異常の設定情報に基づいて、異常検出部１１０３は、異常検出部１１０３により検出された異常が、放射線画像に反映させる異常かどうかを判定する。ここで、異常検出部１１０３により検出された異常が、設定された異常であれば、該当する異常に関して後段の処理を実行し、設定された異常に該当する異常がない場合は、処理を終了する。例えば図１５で示したように出血および骨折が有効で、痣および発疹の通知が無効な設定情報の場合について述べる。この場合に、異常検出部１１０３によって検出された異常に出血または骨折に該当する異常があるかを判定する。検出された異常に出血または骨折がある場合には、表示制御部１１０４は放射線画像と設定情報に合致すると判定された異常情報を基に、表示部１１１４に表示させる放射線表示画像を生成する。一方で、異常検出部１１０３による検出された異常に痣または発疹に該当する異常がある場合には、該当する異常に関しては、表示部１１１４に表示させる放射線表示画像の生成を行わない。即ち、画像処理装置１１００は、ユーザが設定した放射線画像に反映させる異常の設定情報を取得し、異常検出部１１０３によって検出された異常のうち、設定情報を満たす異常を放射線画像とともに表示する異常情報とすることを特徴とする。
　本実施形態によれば、放射線画像表示領域１２０１上に表示される異常箇所が、操作者の望む異常にだけに限定されることにより、必要な異常のみを放射線画像上に表示をすることで、検査には影響しない異常を検知しても表示を行うことがなくなるため、操作者の負荷を軽減することが可能となる。
　（変形例４）
　上述までの実施形態３乃至５では、画像処理を行う画像処理装置１１００が独立した装置として説明を行った。しかしながら、図１５０に示すように、画像処理装置１００の構成が、画像処理部１００１として放射線撮影制御装置内の構成の一部とされてもよい。また、画像処理装置１１００や画像処理部１００１は、他の装置内の構成の一部とされても、クラウド上に実現されても構わない。
　（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１９年１２月１９日提出の日本国特許出願特願２０１９－２２９７０６と特願２０１９－２２９７０７を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (24)

  1. 　被検体を撮影した撮影画像を取得する画像取得部と、
    　前記画像取得部によって取得された撮影画像から、前記被検体の放射線画像を取得する場合に当該放射線画像に写り込む可能性のある異物を検出する異物検出部と、
    　前記異物検出部によって前記撮影画像中に異物を検出したことに基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成部と、
    　前記警告情報に基づく通知を行う表示制御部と、を有することを特徴とする放射線撮影制御装置。
  2. 　前記画像取得部によって取得される前記撮影画像は、光学カメラ及び赤外線カメラのすくなくとも一方のカメラによって撮影された撮影画像であることを特徴とする請求項１に記載の放射線撮影制御装置。
  3. 　前記異物検出部は、機械学習アルゴリズムを用いて前記撮影画像から異物を識別する異物識別部を有することを特徴とする請求項１または２に記載の放射線撮影制御装置。
  4. 　前記異物識別部は、識別の結果を尤度で出力することを特徴とする請求項３に記載の放射線撮影制御装置。
  5. 　前記異物検出部は、前記異物識別部による出力結果のうち、閾値以上の尤度を有する異物を検出することを特徴とする請求項４に記載の放射線撮影制御装置。
  6. 　前記警告情報生成部は、前記異物検出部によって検出された異物と該異物の位置を示す警告情報を生成することを特徴とする請求項１乃至５のいずれか一項に記載の放射線撮影制御装置。
  7. 　前記放射線撮影制御装置は、前記撮影画像から放射線発生装置による照射野の位置を検出し照射野情報を生成する照射野情報生成部を有し、
    　前記異物検出部は、前記画像取得部により取得された前記撮影画像のうち、前記照射野情報生成部によって生成された照射野情報に対応する画像領域から異物を検出することを特徴とする請求項１乃至６のいずれか一項に記載の放射線撮影制御装置。
  8. 　前記異物検出部によって検出された異物が複数あった場合に、前記表示制御部は検出された複数の異物のそれぞれを識別可能に表示することを特徴とする請求項１乃至７のいずれか一項に記載の放射線撮影制御装置。
  9. 　前記異物検出部によって検出された異物が複数あった場合に、前記表示制御部は検出された複数の異物のそれぞれを切り替え可能に表示することを特徴とする請求項８に記載の放射線撮影制御装置。
  10. 　前記表示制御部は、前記異物検出部によって検出された異物をユーザが確認したか否かを入力する項目を表示することを特徴とする請求項１乃至９のいずれか一項に記載の放射線撮影制御装置。
  11. 　被検体を撮影した撮影画像を取得する画像取得ステップと、
    　前記画像取得ステップによって取得された撮影画像から、前記被検体の放射線画像を取得する場合に当該放射線画像に写り込む可能性のある異物を検出する異物検出ステップと、
    　前記異物検出ステップによって前記撮影画像中に異物を検出したことに基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成ステップと、
    　前記警告情報に基づく通知を行う表示制御ステップと、を有することを特徴とする放射線撮影制御方法。
  12. 　請求項１１に記載の放射線撮影制御方法をコンピュータに実行させるためのプログラム。
  13. 　被検体を撮影し撮影画像を取得する画像取得装置と、前記被検体を放射線撮影し放射線画像を取得する放射線撮影装置と、放射線の撮影を制御する放射線撮影制御装置とを含む放射線撮影システムであって、
    　前記放射線撮影制御装置は、
    　前記画像取得装置によって取得された前記撮影画像から、前記被検体の放射線画像を取得する場合に当該放射線画像に写り込む可能性のある異物を検出する異物検出部と、
    　前記異物検出部が前記撮影画像中に異物を検出したことに基づいて、放射線画像の撮影に関する警告情報を生成する警告情報生成部と、
    　前記警告情報に基づく通知を行う表示制御部と、を有することを特徴とする放射線撮影システム。
  14. 　前記画像取得装置による前記撮影画像の撮影範囲が、前記放射線撮影装置による放射線画像の撮影範囲と少なくとも重複領域を有する撮影範囲であることを特徴とする請求項１３に記載の放射線撮影システム。
  15. 　被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得部と、前記画像取得部によって取得された前記光学画像から前記被検体に関する異常を検出する異常検出部と、前記異常検出部によって前記光学画像から異常が検出された場合に、検出された前記異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを備える画像処理装置。
  16. 　前記異常検出部は、機械学習に基づいて前記異常を検出することを特徴とする請求項１５に記載の画像処理装置。
  17. 　前記異常情報は、前記異常の種別と、前記異常の前記光学画像上の座標を含むことを特徴とする請求項１５または１６に記載の画像処理装置。
  18. 　前記表示制御部は、前記光学画像上の座標と、前記放射線画像上の座標を対応付ける対応付け情報を生成することを特徴とする請求項１７に記載の画像処理装置。
  19. 　前記表示制御部は、前記対応付け情報に基づいて光学画像から検出された異常情報を、放射線画像上で表示させることを特徴とする請求項１８に記載の画像処理装置。
  20. 　前記表示制御部は、前記異常情報と対応付け情報とに基づいて、前記光学画像より検出された前記異常を光学画像の座標と対応する放射線画像の座標上に表示させることを特徴とする請求項１９に記載の画像処理装置。
  21. 　前記画像処理装置は、操作者から前記操作者が発見した異物に関する異常情報の入力を受け付ける異常入力部を有することを特徴とする請求項１５乃至２０のいずれか一項に記載の画像処理装置。
  22. 　前記画像処理装置は、操作者が設定した前記放射線画像に反映させる異常の設定情報を取得し、前記異常検出部によって検出された異常のうち、前記設定情報を満たす異常を前記放射線画像とともに表示する異常情報とすることを特徴とする請求項１５乃至２１のいずれか一項に記載の画像処理装置。
  23. 　前記異常検出部は、前記被検体の皮膚の変色、腫れ、出血、痣、骨折のうちのすくなくともいずれかを前記異常として検出することを特徴とする請求項１５乃至２２のいずれか一項に記載の画像処理装置。
  24. 　被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得ステップと、画像取得ステップによって取得された光学画像から異常を検出する異常検出ステップと、異常検出ステップによって前記光学画像から前記異常が検出された場合に、検出された異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御ステップとを備える画像処理方法。
PCT/JP2020/045642 2019-12-19 2020-12-08 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム WO2021124982A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/841,101 US20220311956A1 (en) 2019-12-19 2022-06-15 Radiation imaging control apparatus, image processing apparatus, radiation imaging control method, image processing method, storage medium, and radiation imaging system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019229707A JP2021097727A (ja) 2019-12-19 2019-12-19 画像処理装置、画像処理方法およびプログラム
JP2019-229706 2019-12-19
JP2019-229707 2019-12-19
JP2019229706A JP7422459B2 (ja) 2019-12-19 2019-12-19 放射線撮影制御装置、放射線撮影制御方法、プログラムおよび放射線撮影システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/841,101 Continuation US20220311956A1 (en) 2019-12-19 2022-06-15 Radiation imaging control apparatus, image processing apparatus, radiation imaging control method, image processing method, storage medium, and radiation imaging system

Publications (1)

Publication Number Publication Date
WO2021124982A1 true WO2021124982A1 (ja) 2021-06-24

Family

ID=76476829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045642 WO2021124982A1 (ja) 2019-12-19 2020-12-08 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム

Country Status (2)

Country Link
US (1) US20220311956A1 (ja)
WO (1) WO2021124982A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0242436A (ja) * 1988-04-20 1990-02-13 Fuji Photo Film Co Ltd 放射線照射野認識方法
JP2001307069A (ja) * 2000-04-24 2001-11-02 Anritsu Corp 画像処理による異物検出方法および装置
JP2005210467A (ja) * 2004-01-23 2005-08-04 Shimadzu Corp 画像表示装置およびそれを備えた異物検査装置
US20130136323A1 (en) * 2010-02-22 2013-05-30 The Johns Hopkins University Method of detecting foreign bodies
JP2017035294A (ja) * 2015-08-10 2017-02-16 株式会社島津製作所 Ｘ線撮影装置
US20180188191A1 (en) * 2016-12-14 2018-07-05 Battelle Memorial Institute Dual-energy microfocus radiographic imaging method for meat inspection
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0242436A (ja) * 1988-04-20 1990-02-13 Fuji Photo Film Co Ltd 放射線照射野認識方法
JP2001307069A (ja) * 2000-04-24 2001-11-02 Anritsu Corp 画像処理による異物検出方法および装置
JP2005210467A (ja) * 2004-01-23 2005-08-04 Shimadzu Corp 画像表示装置およびそれを備えた異物検査装置
US20130136323A1 (en) * 2010-02-22 2013-05-30 The Johns Hopkins University Method of detecting foreign bodies
JP2017035294A (ja) * 2015-08-10 2017-02-16 株式会社島津製作所 Ｘ線撮影装置
US20180188191A1 (en) * 2016-12-14 2018-07-05 Battelle Memorial Institute Dual-energy microfocus radiographic imaging method for meat inspection
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning

Also Published As

Publication number Publication date
US20220311956A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP2006116313A (ja) ３次元画像化における診断方法
CN102204827B (zh) 放射线照相成像系统
US11763930B2 (en) Information processing apparatus, radiographing apparatus, radiographing system, information processing method, and storage medium
WO2020129464A1 (ja) 情報処理装置、放射線撮影システムおよび支援方法
JP2024038298A (ja) 放射線撮影制御装置、放射線撮影制御方法、プログラムおよび放射線撮影システム
CA3072091A1 (en) Methods and apparatus for the application of machine learning to radiographic images of animals
CN105266831A (zh) 对x光源的调节变量进行姿势控制的调节的设备和方法
US20220028075A1 (en) Radiography apparatus and radiography system
JP4802883B2 (ja) 医用画像システム
WO2019207800A1 (ja) 眼科画像処理装置および眼科画像処理プログラム
CN104809331A (zh) 一种计算机辅助诊断技术(cad)检测放射图像发现病灶的方法和系统
WO2021124982A1 (ja) 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム
JP2002165782A (ja) 医用診断装置
JP2021097727A (ja) 画像処理装置、画像処理方法およびプログラム
JP2016209267A (ja) 医用画像処理装置及びプログラム
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP5170287B2 (ja) 医用画像システム
US20230410297A1 (en) Control device, control method, and recording medium
JP2020146381A (ja) 画像処理装置、画像処理システム及びプログラム
US20230410311A1 (en) Control device, control method, and recording medium
WO2024117042A1 (ja) 画像処理装置、放射線撮影システム、画像処理方法、及びプログラム
WO2021187188A1 (ja) 放射線撮影システム、画像処理方法、及びプログラム
KR102612527B1 (ko) 말의 방사선영상의 촬영정보를 획득하기 위한 의료영상장치 및 동작 방법
US11587232B1 (en) Systems and methods for preventing errors in medical imaging
JP6860050B2 (ja) 放射線撮影システム、撮影制御装置、放射線撮影方法及び放射線撮影プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20902814

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20902814

Country of ref document: EP

Kind code of ref document: A1