WO2021210612A1 - 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 - Google Patents

放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 Download PDF

Info

Publication number
WO2021210612A1
WO2021210612A1 PCT/JP2021/015464 JP2021015464W WO2021210612A1 WO 2021210612 A1 WO2021210612 A1 WO 2021210612A1 JP 2021015464 W JP2021015464 W JP 2021015464W WO 2021210612 A1 WO2021210612 A1 WO 2021210612A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise
ray
radiation
pixel
Prior art date
Application number
PCT/JP2021/015464
Other languages
English (en)
French (fr)
Inventor
達也 大西
須山 敏康
智 土屋
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to CN202180028373.8A priority Critical patent/CN115427795A/zh
Priority to US17/918,380 priority patent/US20230135988A1/en
Priority to JP2022515416A priority patent/JPWO2021210612A1/ja
Priority to KR1020227038922A priority patent/KR20230002581A/ko
Priority to EP21789365.0A priority patent/EP4130724A4/en
Publication of WO2021210612A1 publication Critical patent/WO2021210612A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/20Measuring radiation intensity with scintillation detectors
    • G01T1/208Circuits specially adapted for scintillation detectors, e.g. for the photo-multiplier section
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4233Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/17Circuit arrangements not adapted to a particular type of detector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/10Different kinds of radiation or particles
    • G01N2223/101Different kinds of radiation or particles electromagnetic radiation
    • G01N2223/1016X-ray
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/50Detectors
    • G01N2223/501Detectors array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/50Detectors
    • G01N2223/505Detectors scintillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Definitions

  • One aspect of the embodiment relates to a radiation image acquisition device, a radiation image acquisition system, and a radiation image acquisition method.
  • electromagnetic waves such as X-rays transmitted through an object are transmitted by providing a plurality of rows of line sensors arranged orthogonally to the transport direction of the object and adding detection data output from the line sensors in the plurality of rows.
  • An apparatus is used to acquire the distribution of X-rays as image data. According to such a device, the integrated exposure effect can be obtained in the image data in which the electromagnetic wave transmitted through the object is detected.
  • the S / N ratio may not be sufficiently improved in the image data.
  • one aspect of the embodiment is made in view of such a problem, and provides a radiographic image acquisition device, a radiographic image acquisition system, and a radiological image acquisition method capable of effectively improving the S / N ratio in a radiographic image.
  • the task is to do.
  • the radiation image acquisition device is provided on an imaging device that scans the radiation transmitted through an object in one direction and captures an image to acquire a radiation image, and a radiation image acquisition device that converts the radiation into light. It is equipped with a scintillator to be converted and an image processing module that executes noise removal processing to remove noise from the radiation image by inputting the radiation image into a trained model constructed by machine learning using image data in advance.
  • a pixel line having M pixels (M is an integer of 2 or more) arranged along one direction is arranged in N columns (N is an integer on 2) in a direction orthogonal to one direction.
  • a detection element that outputs a detection signal related to light for each pixel and a detection signal output from at least two of the M pixels are added to each pixel line in the N column of the detection element.
  • a reading circuit that outputs a radiographic image by sequentially outputting the added N detection signals is included.
  • the radiation image acquisition system transports the above-mentioned radiation image acquisition device, a source for irradiating the object with radiation, and the object in one direction with respect to the image pickup device. It is equipped with a device.
  • the radiation image acquisition method includes a step of scanning the scintillation light corresponding to the radiation transmitted through the object in one direction and capturing the image to acquire the radiation image, and the radiation image in advance. It includes a step of inputting to a trained model constructed by machine learning using image data to perform a noise removal process for removing noise from a radiation image, and a step of acquiring the image data arranged along one direction. Pixel lines having M (M is an integer of 2 or more) are arranged in N columns (N is an integer on 2) in a direction orthogonal to one direction, and scintillation light is applied to each pixel. By using a detection element that outputs a detection signal related to A radiographic image is output by sequentially outputting the detection signals.
  • the scintillation light corresponding to the radiation transmitted through the object is arranged in N rows of pixel lines having M pixels arranged in the scanning direction of the object.
  • the detection signals of at least two pixels out of the detection signals of M pixels detected by the detected detection element and output for each pixel line are added, and the added N detection signals are sequentially output.
  • a radiographic image is output.
  • noise removal processing is performed on the radiation image.
  • the noise component can be removed while increasing the signal component in the radiographic image, and the S / N ratio in the radiographic image can be effectively improved.
  • the S / N ratio in the radiographic image can be effectively improved.
  • FIG. 5 is a graph showing an example of a simulation calculation result of the relationship between the thickness of an object and the transmittance of X-rays by the calculation unit 202A of FIG.
  • FIG. 5 is a graph showing an example of a simulation calculation result of the relationship between the thickness of an object and the average energy of transmitted X-rays by the calculation unit 202A of FIG.
  • FIG. 5 is a graph showing an example of the relationship between the pixel value and the standard deviation of the noise value when the material of the object changes, which is derived from the calculation unit 202A of FIG.
  • FIG. 5 is a block diagram which shows the functional structure of the control device 20B which concerns on another modification of this disclosure.
  • It is a flowchart which shows the procedure of the observation processing by the image acquisition apparatus 1 which concerns on another modification of this disclosure.
  • FIG. 23 It is a perspective view which shows an example of the structure of the jig used for image pickup in the image acquisition apparatus 1 which concerns on another modification of this disclosure. It is a figure which shows an example of the captured image of the jig of FIG. 23. It is a block diagram which shows the functional structure of the control device 20C which concerns on 2nd Embodiment. It is a figure which shows an example of the image data which is the teacher data used for constructing the trained model 206C of FIG. It is a figure which shows an example of the X-ray transmission image of the analysis target of the selection part 204C of FIG. It is a figure which shows an example of the characteristic graph of the thickness-luminance acquired by the selection part 204C of FIG.
  • FIG. 1 is a configuration diagram of a radiation image acquisition device and an image acquisition device 1 which is a radiation image acquisition system according to the present embodiment.
  • the image acquisition device 1 irradiates the object F transported in the transport direction TD with X-rays (radiation), and obtains the object F based on the X-rays transmitted through the object F. It is a device that acquires an captured X-ray transmission image (radiation image).
  • the image acquisition device 1 uses an X-ray transmission image to perform foreign matter inspection, weight inspection, inspection inspection, etc. on the object F, and its applications include food inspection, baggage inspection, substrate inspection, battery inspection, and material. Inspection etc. can be mentioned.
  • the image acquisition device 1 includes a belt conveyor (conveyor device) 60, an X-ray irradiator (radiation source) 50, an X-ray detection camera (imaging device) 10, a control device (image processing module) 20, and a display device. 30 and an input device 40 for performing various inputs are provided.
  • the radiation image in the embodiment of the present disclosure is not limited to an X-ray image, but also includes an image by electromagnetic radiation other than X-rays such as ⁇ -rays.
  • the belt conveyor 60 has a belt portion on which the object F is placed, and by moving the belt portion in the transport direction (one direction) TD, the object F is transported in the transport direction at a predetermined transport speed. Transport to TD.
  • the transport speed of the object F is, for example, 48 m / min.
  • the belt conveyor 60 can change the transport speed to, for example, 24 m / min, 96 m / min, or the like, if necessary. Further, the belt conveyor 60 can change the height position of the belt portion as appropriate to change the distance between the X-ray irradiator 50 and the object F.
  • the object F transported by the belt conveyor 60 includes, for example, foods such as meat, seafood, agricultural products, and confectionery, rubber products such as tires, resin products, metal products, resource materials such as minerals, waste, and the like. And various articles such as electronic parts and electronic boards can be mentioned.
  • the X-ray irradiator 50 is a device that irradiates (outputs) X-rays to the object F as an X-ray source.
  • the X-ray irradiator 50 is a point light source, and irradiates X-rays by diffusing them in a predetermined angle range in a fixed irradiation direction.
  • the X-ray irradiator 50 uses the belt conveyor 60 so that the X-ray irradiation direction is directed toward the belt conveyor 60 and the diffused X-rays cover the entire width direction (direction intersecting the transport direction TD) of the object F. It is arranged above the belt conveyor 60 at a predetermined distance from the above. Further, in the X-ray irradiator 50, in the length direction of the object F (direction parallel to the transport direction TD), a predetermined division range in the length direction is set as the irradiation range, and the object F is placed on the belt conveyor 60. By being transported in the transport direction TD, X-rays are irradiated to the entire length direction of the object F.
  • the X-ray irradiator 50 has a tube voltage and a tube current set by the control device 20, and irradiates the belt conveyor 60 with X-rays having a predetermined energy and radiation amount corresponding to the set tube voltage and tube current. .. Further, a filter 51 for transmitting a predetermined wavelength range of X-rays is provided in the vicinity of the X-ray irradiator 50 on the belt conveyor 60 side.
  • the X-ray detection camera 10 detects the X-rays transmitted through the object F among the X-rays irradiated to the object F by the X-ray irradiator 50, and acquires and outputs a detection signal based on the X-rays.
  • the image acquisition device 1 sequentially outputs a detection signal based on X-rays transmitted through the object F conveyed by the belt conveyor 60, thereby scanning the X-ray transmission image in the transfer direction TD and imaging the image. Outputs the X-ray transmission image.
  • the X-ray detection camera 10 includes a filter 19, a scintillator 11, a scan camera 12 (detection element), a sensor control unit 13, an amplifier 14, an AD converter 15, a correction circuit 16, an output interface 17, and an amplifier. It has a control unit 18.
  • the scintillator 11, the scan camera 12, the amplifier 14, the AD converter 15, the correction circuit 16, and the output interface 17 are each electrically connected.
  • the scintillator 11 is fixed on the scan camera 12 by adhesion or the like, and converts X-rays transmitted through the object F into scintillation light.
  • the scintillator 11 outputs the scintillation light to the scan camera 12.
  • the filter 19 transmits a predetermined wavelength region of X-rays toward the scintillator 11.
  • FIG. 2 is a plan view showing the configuration of the scan camera 12.
  • a plurality of pixels 72 which are photodiodes (photoelectric conversion elements) two-dimensionally arranged on the substrate 71, and the plurality of pixels 72 photoelectrically convert scintillation light. It includes a read-out circuit 73 that outputs a detection signal to be output to the outside, and a wiring unit W that electrically connects the read-out circuit 73 and each of the plurality of pixels 72.
  • pixel lines (pixel groups) 74 composed of M pixels (M is an integer of 2 or more) arranged along the transport direction TD on the substrate 71 are arranged in the transport direction. It has a configuration in which N columns (N is an integer of 2 or more) are arranged in a direction substantially orthogonal to the TD.
  • N is an integer of 2 or more
  • the number of pixels M is 4, and the number of pixel lines N is an arbitrary integer of 200 or more and 30,000 or less.
  • the readout circuit 73 sequentially receives detection signals output from M pixels 72 for each pixel line 74 at intervals of a predetermined detection cycle (details will be described later) in response to control by the sensor control unit 13, and M Of the detection signals from the pixels 72, the detection signals of at least two pixels 72 are added (added), and the detection signals subjected to the addition processing are combined for each pixel line 74 to combine the detection signals in the transport direction TD. It is output to the outside as a detection signal of one line of the object F orthogonal to. In the present embodiment, the read circuit 73 performs addition processing on all M detection signals.
  • the readout circuit 73 performs addition processing on the detection signals sequentially output from the M pixels 72 with a predetermined detection cycle shifted, so that the reading circuit 73 is the next one of the object F orthogonal to the transport direction TD. Output the line detection signal. Similarly, the reading circuit 73 sequentially outputs detection signals of a plurality of lines of the object F orthogonal to the transport direction TD.
  • the sensor control unit 13 repeatedly takes an image of the scan camera 12 at a predetermined detection cycle so that all the pixels 72 in the pixel line 74 of the scan camera 12 can take an image of X-rays transmitted through the same region of the object F. Control.
  • the predetermined detection cycle may be set based on the pixel width of the pixel 72 in the pixel line 74 in the scan camera 12.
  • the predetermined detection cycle is, for example, the distance between the pixels 72 in the pixel line 74 in the scan camera 12, the speed of the belt conveyor 60, and the distance between the X-ray irradiator 50 and the object F on the belt conveyor 60 (FOD (Focus)).
  • a deviation (delay time) in the detection timing of the pixel 72 may be specified, and a predetermined detection cycle may be set based on the deviation.
  • the amplifier 14 amplifies the detection signal at a predetermined amplification factor to generate an amplification signal, and outputs the amplification signal to the AD converter 15.
  • the set amplification factor is an amplification factor set by the amplifier control unit 18.
  • the amplifier control unit 18 sets the set amplification factor of the amplifier 14 based on a predetermined imaging condition.
  • the AD converter 15 converts the amplified signal (voltage signal) output by the amplifier 14 into a digital signal and outputs it to the correction circuit 16.
  • the correction circuit 16 performs a predetermined correction such as signal amplification on the digital signal, and outputs the corrected digital signal to the output interface 17.
  • the output interface 17 outputs a digital signal to the outside of the X-ray detection camera 10.
  • the control device 20 is, for example, a computer such as a PC (Personal Computer).
  • the control device 20 generates an X-ray transmission image based on a digital signal (amplified signal) corresponding to a plurality of lines of detection signals sequentially output from the X-ray detection camera 10 (more specifically, an output interface 17).
  • the control device 20 generates one X-ray transmission image based on the digital signals for 128 lines output from the output interface 17.
  • the generated X-ray transmission image is output to the display device 30 after being subjected to noise removal processing described later, and is displayed by the display device 30.
  • the control device 20 controls the X-ray irradiator 50, the amplifier control unit 18, and the sensor control unit 13.
  • the control device 20 of the present embodiment is a device independently provided outside the X-ray detection camera 10, it may be integrated inside the X-ray detection camera 10.
  • FIG. 3 shows the hardware configuration of the control device 20.
  • the control device 20 is physically a processor CPU (Central Processing Unit) 101 and GPU 105 (Graphic Processing Unit), a recording medium RAM (Random Access Memory) 102, and a ROM (Read). Only Memory) 103, a communication module 104, an input / output module 106, and the like, each of which is electrically connected.
  • the control device 20 may include a display, a keyboard, a mouse, a touch panel display, and the like as the input device 40 and the display device 30, or may include a data recording device such as a hard disk drive and a semiconductor memory. Further, the control device 20 may be composed of a plurality of computers.
  • FIG. 4 is a block diagram showing a functional configuration of the control device 20.
  • the control device 20 includes an input unit 201, a calculation unit 202, an image acquisition unit 203, a noise map generation unit 204, a processing unit 205, and a construction unit 206.
  • Each functional unit of the control device 20 shown in FIG. 4 controls the CPU 101 and the GPU 105 by loading a program (radiation image processing program of the first embodiment) on the hardware such as the CPU 101, the GPU 105, and the RAM 102. This is achieved by operating the communication module 104, the input / output module 106, and the like, and reading and writing data in the RAM 102.
  • the CPU 101 and GPU 105 of the control device 20 make the control device 20 function as each functional unit of FIG.
  • the CPU 101 and GPU 105 may be single-unit hardware, or only one of them may be used. Further, the CPU 101 and the GPU 105 may be implemented in a programmable logic such as an FPGA such as a soft processor.
  • the RAM and ROM may be single-unit hardware, or may be built in programmable logic such as FPGA.
  • Various data necessary for executing this computer program and various data generated by executing this computer program are all stored in an internal memory such as ROM 103 and RAM 102, or a storage medium such as a hard disk drive.
  • the built-in memory or storage medium in the control device 20 is read by the CPU 101 and the GPU 105, so that the CPU 101 and the GPU 105 execute a noise removal process on the X-ray image (X-ray transmission image). Is stored in advance (described later).
  • the input unit 201 receives input of condition information indicating either the condition of the radiation source or the imaging condition when the object F is imaged by irradiating the radiation.
  • the input unit 201 is a condition indicating an operating condition of the X-ray irradiator (radiation source) 50 when capturing an X-ray image of the object F, an imaging condition by the X-ray detection camera 10, and the like.
  • the input of information is accepted from the user of the image acquisition device 1.
  • the operating conditions include all or part of the tube voltage, target angle, target material, and the like.
  • the condition information indicating the imaging conditions includes the material and thickness of the filters 51 and 19 arranged between the X-ray irradiator 50 and the X-ray detection camera 10, and the X-ray irradiator 50 and the X-ray detection camera 10.
  • Information on distance (FDD) type of window material of X-ray detection camera 10, material and thickness of scintillator 11 of X-ray detection camera 10, X-ray detection camera information (for example, gain setting value, circuit noise value, All or part of the saturated charge amount, conversion coefficient value (e- / count), camera line rate (Hz) or line speed (m / min)), information on the object F, and the like can be mentioned.
  • the input unit 201 may accept the input of the condition information as a direct input of information such as a numerical value, or may accept the input of the information such as a numerical value set in the internal memory in advance as a selective input.
  • the input unit 201 accepts the input of the above-mentioned condition information from the user, but may acquire some condition information (tube voltage, etc.) according to the detection result of the control state by the control device 20.
  • the calculation unit 202 calculates the average energy related to X-rays (radiation) transmitted through the object F based on the condition information.
  • the condition information includes any one of the tube voltage of the source, the information about the object F, the filter information of the camera used for imaging the object F, the scintillator information of the camera, and the filter information of the X-ray source. At least one is included.
  • the calculation unit 202 transmits the object F using the image acquisition device 1 based on the condition information received by the input unit 201, and causes the X-ray detection camera 10 to detect the X-rays. Calculate the average energy value.
  • the calculation unit 202 includes the tube voltage, the target angle, the target material, the materials and thicknesses of the filters 51 and 19, and the presence or absence thereof, the type of the window material of the X-ray detection camera 10, and the presence or absence thereof. Based on information such as the material and thickness of the scintillator 11 of the X-ray detection camera 10, the spectrum of X-rays detected by the X-ray detection camera 10 is calculated using, for example, an approximate expression such as a known Tucker. Then, the calculation unit 202 further calculates the spectral intensity integrated value and the photon number integrated value from the X-ray spectrum, and divides the spectral intensity integrated value by the photon number integrated value to obtain the value of the average energy of the X-ray. calculate.
  • Em can be determined from the information on the tube voltage, A, ⁇ , and ⁇ (E) can be determined from the information on the material of the object F, and ⁇ can be determined from the information on the angle of the object F.
  • the calculation unit 202 can calculate the X-ray energy spectrum that passes through the filter and the object F and is absorbed by the scintillator by using the X-ray attenuation formula of the following formula (2).
  • is the attenuation coefficient of the object F, the filter, the scintillator, etc.
  • x is the thickness of the object F, the filter, the scintillator, etc.
  • can be determined from the information on the material of the object F, the filter, and the scintillator
  • x can be determined from the information on the thickness of the object F, the filter, and the scintillator.
  • the X-ray photon number spectrum can be obtained by dividing this X-ray energy spectrum by the energy of each X-ray.
  • the calculation unit 202 calculates the average energy of X-rays using the following equation (3) by dividing the integrated value of the energy intensity by the integrated value of the number of photons.
  • Average energy E Integral spectrum intensity / Integral photon number ... (3)
  • the calculation unit 202 calculates the average energy of X-rays.
  • an approximate expression by known Kramers, Birch et al. May be used.
  • the image acquisition unit 203 acquires a radiation image in which the object F is irradiated with radiation and the radiation transmitted through the object F is captured. Specifically, the image acquisition unit 203 generates an X-ray image based on the digital signal (amplified signal) output from the X-ray detection camera 10 (more specifically, the output interface 17). The image acquisition unit 203 generates one X-ray image based on the digital signals for a plurality of lines output from the output interface 17.
  • FIG. 5 is a diagram showing an example of an X-ray image acquired by the image acquisition unit 203.
  • the noise map generation unit 204 derives an evaluation value from the pixel value of each pixel of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value, and each pixel of the radiation image.
  • a noise map which is data associated with the evaluation values derived from, is generated.
  • the noise map generation unit 204 derives an evaluation value from the average energy related to the radiation transmitted through the object F and the pixel value of each pixel of the radiation image.
  • the noise map generation unit 204 was calculated by the calculation unit 202 using the relational expression (relationship data) between the pixel value and the standard deviation of the noise value (evaluation value for evaluating the spread of the noise value).
  • the standard deviation of the noise value is derived from the average energy of the X-ray and the pixel value of each pixel of the X-ray image (radio image) acquired by the image acquisition unit 203.
  • the noise map generation unit 204 generates a noise standard deviation map (noise map) by associating each pixel of the X-ray image with the standard deviation of the derived noise value.
  • the variable Noise is the standard deviation of the noise value
  • the variable Signal is the signal value (pixel value) of the pixel
  • the constant F is the noise factor
  • the constant M is the multiplication factor by the scintillator
  • the constant C is.
  • the coupling efficiency between the scan camera 12 and the scintillator 11 Coupling Efficiency
  • the constant Q is the quantum efficiency of the scan camera 12
  • the constant cf is the charge of the pixel signal value in the scan camera 12.
  • the conversion coefficient to be converted the variable Em is the average energy of X-rays
  • the constant D is the dark current noise generated by the thermal noise in the image sensor
  • the constant R is the reading noise in the scan camera 12.
  • the noise map generation unit 204 substitutes the pixel value of each pixel of the X-ray image acquired by the image acquisition unit 203 into the variable Signal, and the calculation unit 202 into the variable Em. The numerical value of the average energy calculated by is substituted. Then, the noise map generation unit 204 obtains the variable Noise calculated using the above equation (4) as a numerical value of the standard deviation of the noise value. Other parameters including the average energy may be acquired by receiving the input by the input unit 201, or may be set in advance.
  • FIG. 6 is a diagram showing an example of generating a noise standard deviation map by the noise map generation unit 204.
  • the noise map generation unit 204 uses the relational expression (4) between the pixel value and the standard deviation of the noise value, substitutes various pixel values into the variable Signal, and acquires the correspondence between the pixel value and the variable Noise. Therefore, a relationship graph G3 showing the correspondence between the pixel value and the standard deviation of the noise value is derived. Then, the noise map generation unit 204 derives the relationship data G2 representing the correspondence relationship between each pixel position and the pixel value from the X-ray image G1 acquired by the image acquisition unit 203.
  • the noise map generation unit 204 derives the standard deviation of the noise value corresponding to the pixel at each pixel position in the X-ray image by applying the correspondence relationship shown in the relationship graph G3 to each pixel value in the relationship data G2. do. As a result, the noise map generation unit 204 associates the derived noise standard deviation with each pixel position, and derives the relational data G4 showing the correspondence between each pixel position and the noise standard deviation. Then, the noise map generation unit 204 generates the noise standard deviation map G5 based on the derived relational data G4.
  • the processing unit 205 inputs the radiation image and the noise map into the trained model 207 constructed in advance by machine learning, and executes image processing for removing noise from the radiation image. That is, as shown in FIG. 7, the processing unit 205 acquires the learned model 207 (described later) constructed by the construction unit 206 from the built-in memory or storage medium in the control device 20. The processing unit 205 inputs the X-ray image G1 acquired by the image acquisition unit 203 and the noise standard deviation map G5 generated by the noise map generation unit 204 into the trained model 207. As a result, the processing unit 205 generates the output image G6 by executing image processing for removing noise from the X-ray image G1 using the trained model 207. Then, the processing unit 205 outputs the generated output image G6 to the display device 30 or the like.
  • the construction unit 206 includes a training image which is a radiation image, a noise map generated from the training image based on the relational expression between the pixel value and the standard deviation of the noise value, and noise which is data obtained by removing noise from the training image. Using the removed image data as training data, a trained model 207 that outputs noise-removed image data based on the training image and the noise map is constructed by machine learning. The construction unit 206 stores the constructed trained model 207 in the built-in memory or storage medium in the control device 20.
  • Machine learning includes supervised learning, unsupervised learning, and enhanced learning, and among these learnings are deep learning and neural network learning.
  • the two-dimensional convolutional neural network described in the paper "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising” by Kai Zhang et al. Is adopted.
  • the trained model 207 may be generated by an external computer or the like and downloaded to the control device 20 in addition to being constructed by the construction unit 206.
  • the radiographic image used for machine learning includes a radiological image obtained by capturing a known structure or an image reproducing the radiological image.
  • FIG. 8 is an example of a training image which is one of the training data used for constructing the trained model 207.
  • the training image an X-ray image in which patterns of various thicknesses, various materials, and various resolutions are captured can be used.
  • the example shown in FIG. 8 is a training image G7 generated for chicken.
  • As the training image G7 an X-ray image actually generated by using the image acquisition device 1 for a plurality of types of known structures may be used, or an image generated by simulation calculation may be used. ..
  • the X-ray image may be acquired by using an apparatus different from the image acquisition apparatus 1.
  • the construction unit 206 calculates an evaluation value from the pixel value of each pixel of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value.
  • a noise map is generated, which is data obtained by associating the derived evaluation values with each pixel of the radiographic image.
  • the construction unit 206 acquires a training image generated by actual imaging, simulation calculation, or the like from the image acquisition unit 203 or the like. Then, the construction unit 206 sets, for example, the operating conditions of the X-ray irradiator 50 of the image acquisition device 1, the imaging conditions of the image acquisition device 1, and the like.
  • the construction unit 206 sets the operating conditions or imaging conditions of the X-ray irradiator 50 at the time of simulation calculation.
  • the construction unit 206 calculates the average energy of X-rays based on the above-mentioned operating conditions or imaging conditions by using the same method as the calculation unit 202. Further, the construction unit 206 generates a noise standard deviation map based on the average energy of X-rays and the training image by using the same method as the method by the noise map generation unit 204 as shown in FIG.
  • the evaluation value is derived from the pixel value of each pixel of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value, and the radiation is emitted. It includes a noise map generation step of generating a noise map which is data in which evaluation values derived from each pixel of an image are associated with each other.
  • the construction unit 206 constructs the trained model 207 by machine learning using the training image, the noise map generated from the training image, and the noise removal image data which is the data obtained by removing noise from the training image in advance as training data. do. Specifically, the construction unit 206 acquires noise-removed image data in which noise is removed from the training image in advance.
  • the construction unit 206 uses the image before noise is added in the training image generation process as the noise removal image data.
  • the construction unit 206 sets an average value filter or a median from the X-ray image.
  • the construction unit 206 constructs a trained model 207 that outputs noise removal image data based on the training image and the noise standard deviation map by executing training by machine learning.
  • FIG. 9 is a flowchart showing a procedure for creating image data which is teacher data (training data) used for constructing the trained model 207 by the construction unit 206.
  • Image data (also called teacher image data), which is teacher data, is created by a computer in the following procedure.
  • structure image an image of a structure having a predetermined structure
  • an image of a structure having a predetermined structure may be created by simulation calculation.
  • an X-ray image of a structure such as a chart having a predetermined structure may be acquired to create a structure image.
  • the sigma value which is the standard deviation of the pixel values, is calculated for one pixel selected from the plurality of pixels constituting the structure image (step S302).
  • a normal distribution (Poisson distribution) showing a noise distribution is set based on the sigma value obtained in step S302 (step S303).
  • step S304 the noise value set at random is calculated along the normal distribution set based on the sigma value in step S303. Further, by adding the noise value obtained in step S304 to the pixel value of one pixel, the pixel value constituting the image data which is the teacher data is generated (step S305). The processes from step S302 to step S305 are performed for each of the plurality of pixels constituting the structure image (step S306), and teacher image data to be teacher data is generated (step S307).
  • the teacher image data is further required, it is determined that the processes from step S301 to step S307 are performed on another structure image (step S308), and another teacher image data to be the teacher data is used. Generate.
  • the other structure image may be an image of a structure having the same structure or an image of a structure having another structure.
  • the structure image is preferably an image with less noise, and ideally, an image without noise is preferable. Therefore, if the structure image is generated by the simulation calculation, many noise-free images can be generated. Therefore, it is effective to generate the structure image by the simulation calculation.
  • FIG. 10 is a flowchart showing the procedure of the observation process by the image acquisition device 1.
  • the construction unit 206 uses the training image, the noise standard deviation map generated from the training image based on the relational expression, and the noise removal image data as training data, and noise based on the training image and the noise standard deviation map.
  • a trained model 207 that outputs the removed image data is constructed by machine learning.
  • the input unit 201 receives input of condition information indicating the operating conditions of the X-ray irradiator 50 or the imaging conditions by the X-ray detection camera 10 from the operator (user) of the image acquisition device 1 (step S101). ..
  • the calculation unit 202 calculates the value of the average energy of the X-rays detected by the X-ray detection camera 10 based on the condition information (step S102).
  • the object F is set in the image acquisition device 1, the object F is imaged, and the control device 20 acquires an X-ray image of the object F (step S103). Further, the control device 20 derives and derives the standard deviation of the noise value from the average energy of the X-ray and the pixel value of each pixel of the X-ray image based on the relational expression between the pixel value and the standard deviation of the noise value. A noise standard deviation map is generated by associating the noise standard deviation with each pixel value (step S104).
  • the processing unit 205 inputs the X-ray image of the object F and the noise standard deviation map to the trained model 207 constructed and stored in advance, and performs noise removal processing on the X-ray image (Step S105). Further, the processing unit 205 outputs an output image, which is an X-ray image subjected to noise removal processing, to the display device 30. (Step S106).
  • the pixel line 74 having M pixels 72 arranged in the scanning direction TD of the object F by the scintillation light corresponding to the X-ray transmitted through the object F is N.
  • the detection signals of at least two pixels 72 out of the detection signals of M pixels 72 detected by the scan cameras 12 arranged in a row and output for each pixel line 74 are added, and the added N N elements are added.
  • an X-ray image is output.
  • noise removal processing is performed on the X-ray image.
  • the noise component can be removed while increasing the signal component in the X-ray image, and the S / N ratio in the X-ray image can be effectively improved.
  • the CNR Contrast to Noise Ratio
  • the improvement effect was larger than the improvement effect of about 1.9 times the CNR by the noise removal treatment by the bilateral filter.
  • the trained model 207 is constructed by machine learning using image data obtained by adding noise values along a normal distribution to an X-ray image of a predetermined structure as teacher data. Will be done. As a result, it becomes easy to prepare image data which is teacher data used for constructing the trained model 207, and the trained model 207 can be efficiently constructed.
  • the standard deviation of the noise value is derived from the pixel value of each image of the X-ray image by using the relational expression of the standard deviation of the pixel value and the noise value, and each pixel of the X-ray image is derived.
  • a noise standard deviation map which is data associated with the standard deviations of the noise values derived from, is generated. Then, the X-ray image and the noise standard deviation map are input to the trained model 207 constructed in advance by machine learning, and image processing for removing noise from the X-ray image is executed.
  • the standard deviation of the noise value derived from the pixel value of each pixel of the X-ray image is taken into consideration, and the noise in each pixel of the X-ray image is removed by machine learning.
  • the trained model 207 noise removal corresponding to the relationship between the pixel value and the standard deviation of the noise value in the X-ray image can be realized.
  • noise in the X-ray image can be effectively removed.
  • X-ray images include tube voltage, filters, scintillators, X-ray detection camera conditions (gain setting value, circuit noise value, saturated charge amount, conversion coefficient value (e- / count), camera line rate), and target.
  • the mode of noise changes depending on the difference in objects. Therefore, when trying to realize noise removal by machine learning, it is conceivable to prepare a learning model trained under various conditions. That is, as a comparative example, a method of constructing a plurality of learning models according to the conditions at the time of measuring the X-ray image, selecting the learning models for each condition, and executing the noise removal processing can be adopted.
  • a learning model must be constructed for each noise condition such as the average energy of the X-ray, the gain of the X-ray detection camera, and the type of the X-ray camera, and a huge number of learning models must be constructed.
  • the training model needs to be generated and can take a lot of time to build. As an example, when the average energy of X-rays is 10 ways, the gain of the X-ray detection camera is 8 ways, and the product types are 3 types, 240 trained models are required. If one day is required for one model, it takes 240 days for machine learning.
  • the present embodiment by generating a noise map from an X-ray image and using the noise map as input data for machine learning, it is possible to reduce noise conditions that require generation of a trained model. , The training time for constructing the trained model 207 is greatly reduced.
  • FIG. 11 is a block diagram showing a functional configuration of the control device 20A in the modified example of the first embodiment.
  • the control device 20A has a function of deriving the average energy of X-rays from the pixel values of the X-ray image in the calculation unit 202A, and the X-ray image in the noise map generation unit 204A.
  • the difference is that it has a function of deriving a noise standard deviation map based on the pixel value of the above and the average energy of X-rays derived from the X-ray image.
  • FIG. 12 is a flowchart showing a procedure of observation processing by the image acquisition device 1 including the control device 20A of FIG. As shown in FIG.
  • step S103 of the control device 20 according to the first embodiment shown in FIG. 10 is performed immediately after step S100. Then, in the control device 20A, the processes shown in S102A and S104A are replaced with the processes in steps S102 and S104 of the control device 20 and executed.
  • the calculation unit 202A calculates the average energy from the pixel values of each pixel of the radiation image (step S102A). Specifically, the calculation unit 202A derives the relationship between the pixel value and the average energy in advance for each condition information by simulation calculation of the X-ray spectrum or the like. The calculation unit 202A acquires condition information including at least the tube voltage acquired by the input unit 201 and the information of the scintillator included in the X-ray detection camera 10. Then, the calculation unit 202A selects the relationship corresponding to the condition information from the relationship between the pixel value and the average energy derived in advance based on the condition information. Further, the calculation unit 202A derives the average energy for each pixel from the pixel value of each pixel of the X-ray image acquired by the image acquisition unit 203 based on the selected relationship.
  • the calculation unit 202A shows the graph G18 showing the relationship between the thickness of the object F and the transmittance of X-rays, and the relationship between the thickness of the object F and the average energy of X-rays, based on the condition information.
  • the graph G19 is derived.
  • the calculation unit 202A is a target based on condition information including at least information on the tube voltage and the scintillator included in the X-ray detection camera 10.
  • the energy spectra G14 to G17 of the X-rays transmitted when the thickness of the object F is changed variously are calculated by simulation calculation.
  • FIG. 13 is a graph showing an example of a simulation calculation result of an X-ray energy spectrum transmitted through an object F by the calculation unit 202A.
  • the energy spectra G14 to G17 of the transmitted X-rays when the thickness of the object F composed of water is gradually increased and the simulation calculation is performed are illustrated.
  • the calculation unit 202A calculates the average energy of X-rays transmitted when the thickness of the object F is variously changed based on the calculated energy spectra G14 to G17.
  • the calculation unit 202A obtains the relationship between the thickness of the object F and the average energy based on the X-ray image obtained by imaging a structure having a known thickness. May be good.
  • the calculation unit 202A also derives the relationship between the thickness of the object F and the X-ray transmittance based on the above simulation result.
  • FIG. 14 is a chart showing an example of the relationship between the thickness of the object F and the average energy and the transmittance, which is derived by the calculation unit 202A. As shown in FIG. 14, the average energy of transmitted X-rays and the transmittance of X-rays are derived corresponding to each of the energy spectra G14 to G17 calculated for each thickness of the object F.
  • the calculation unit 202A derives a graph G18 showing the relationship between the thickness of the object F and the X-ray transmittance from the X-ray transmittances derived for the objects F having various thicknesses.
  • FIG. 15 is a graph derived by the calculation unit 202A showing the relationship between the thickness of the object F and the transmittance of X-rays with respect to the object F.
  • the calculation unit 202A derives a graph G19 showing the relationship between the thickness of the object F and the average energy of the X-rays from the average energy of the X-rays derived for the objects F having various thicknesses.
  • FIG. 16 is a graph showing the relationship between the thickness of the object F and the average energy of X-rays transmitted through the object F, which is derived by the calculation unit 202A.
  • the calculation unit 202A displays a graph G20 showing the relationship between the pixel value of the X-ray image and the average energy as shown in FIG. 17 based on the two graphs G18 and G19 derived for each of various condition information. Derived for each of various condition information.
  • FIG. 17 is a graph showing the relationship between the pixel value of the X-ray image derived by the calculation unit 202A and the average energy.
  • the calculation unit 202A derives the pixel value I 0 of the X-ray image transmission image when the object F does not exist, based on the condition information.
  • the calculation unit 202A sets the pixel value I of the X-ray image when the object F is present, and calculates I / I 0, which is the transmittance of the X-ray. Further, the calculation unit 202A calculates the thickness of the object F from I / I 0, which is the calculated transmittance of the X-rays, based on the graph G18 of the thickness of the object F and the transmittance of the X-rays with respect to the object F. Is derived.
  • the calculation unit 202A is based on the graph G19 of the derived thickness of the object F, the thickness of the object F, and the average energy of the transmitted X-rays, and the calculation unit 202A has the average energy of the transmitted X-rays corresponding to the thickness. Is derived. Subsequently, the calculation unit 202A performs the above derivation for each of various condition information while changing the pixel value I of the X-ray image in various ways, so that the pixel value of the X-ray image and the average energy of the transmitted X-rays are averaged. A graph G20 showing the relationship with is derived for each condition information.
  • I 500 is set.
  • the calculation unit 202A has a thickness of 30 mm corresponding to the X-ray transmittance of 0.1 based on the graph G18 showing the relationship between the thickness of the object F and the X-ray transmittance with respect to the object F. Derived that there is. Further, the calculation unit 202A derives that the average energy corresponding to the pixel value 500 is 27 keV based on the graph G19 showing the relationship between the thickness of the object F and the average energy of the transmitted X-rays. Finally, the calculation unit 202A repeats the derivation of the average energy of the X-ray for each pixel value, and derives the graph G20 showing the relationship between the pixel value of the X-ray image and the average energy.
  • the calculation unit 202A selects the graph G20 corresponding to the condition information acquired by the input unit 201 from the plurality of graphs G20 derived in advance by the above procedure. Based on the selected graph G20, the calculation unit 202A derives the average energy of transmitted X-rays corresponding to the pixel values of each pixel of the X-ray image acquired by the image acquisition unit 203.
  • the calculation unit 202A does not derive the relationship between the pixel value and the average energy of the X-ray for each condition information in advance, but uses the condition information acquired by the input unit 201 and the pixel value of each pixel of the X-ray image.
  • the average energy of X-rays may be derived with reference to the graphs G18 and G19.
  • the calculation unit 202A derives the pixel value I 0 of the X-ray image when the object does not exist based on the condition information. Then, the calculation unit 202A calculates the transmittance by obtaining the ratio to the pixel value I 0 for each pixel value I of each pixel of the X-ray image acquired by the image acquisition unit 203.
  • the calculation unit 202A derives the thickness based on the graph G18 showing the relationship between the thickness and the X-ray transmittance and the calculated transmittance. Then, the calculation unit 202A derives the average energy for each pixel value of each pixel of the X-ray image by deriving the average energy based on the graph G19 showing the relationship between the thickness and the average energy and the derived thickness. do.
  • the noise map generation unit 204A generates a noise standard deviation map from the X-ray image acquired by the image acquisition unit 203 and the average energy of the X-rays corresponding to each pixel of the X-ray image derived by the calculation unit 202A. (Step S104A). Specifically, the noise map generation unit 204A calculates the pixel value of each pixel of the X-ray image acquired by the image acquisition unit 203 and the average energy derived for each pixel by the calculation unit 202A in the relational expression (4). By substituting into), the standard deviation of the noise value for each pixel is derived in consideration of the thickness of the object. The noise map generation unit 204A generates a standard deviation of the noise value corresponding to each pixel of the X-ray image as a noise standard deviation map.
  • FIG. 18 is a graph showing an example of the relationship between the pixel value and the standard deviation of the noise value.
  • This graph shows the relationship between the standard deviation of the noise value derived from the pixel value of the X-ray image by the calculation unit 202A and the noise map generation unit 204A according to this modification and the pixel value of the X-ray image. ..
  • the standard deviation of the noise value is derived in consideration of the thickness of the object, the thickness of the object becomes smaller as the pixel value increases, and the average energy in the pixel decreases. Therefore, as estimated from the relational expression (4), the change in the standard deviation of the noise value when the pixel value increases differs between the first embodiment and the present modification.
  • the graph G22 of the present modification has a smaller degree of increase in the standard deviation of the noise value when the pixel value is increased than the graph G21 of the first embodiment.
  • the average energy is calculated from the pixel value of each pixel of the X-ray image.
  • the average energy differs greatly for each object, and noise cannot be sufficiently removed from the X-ray image.
  • the average energy of X-rays transmitted through the object F is calculated for each pixel value of each pixel of the X-ray image. Therefore, for example, considering the difference in thickness and material, the X-ray image It is possible to realize noise removal corresponding to the relationship between the pixel value of each pixel and noise. As a result, noise in the X-ray image can be effectively removed.
  • the control device 20A derives the average energy from the pixel values of the X-ray image using the graph G20 derived for each of various condition information.
  • the average energy may be derived from the pixel value while ignoring the difference in the material of the object F.
  • FIG. 19 is a graph showing the relationship between the pixel value of the X-ray image derived by the calculation unit 202A and the standard deviation of the noise value.
  • the relationship is derived by taking into consideration the change in the material of the object F as condition information.
  • the graph G24 shows the graph G25 when the material is aluminum
  • the graph G23 shows the graph G25 when the material is PET (polyethylene terephthalate). Shows an example of derivation when the material is copper.
  • the control device 20A can derive the average energy from the pixel value of the X-ray image, ignoring the difference in the material of the object F as the condition information. Even in such a case, according to the control device 20A of the present modification, noise removal corresponding to the relationship between the pixel value and the standard deviation of noise can be realized. As a result, noise in the X-ray image can be removed more effectively.
  • FIG. 20 is a block diagram showing a functional configuration of the control device 20B according to another modification of the first embodiment.
  • the control device 20B has a function of acquiring an X-ray image of the jig in the image acquisition unit 203B, and an X-ray image of the jig in the noise map generation unit 204B. The difference is that it has a function of deriving a graph showing the relationship between the pixel value and the standard deviation of the noise value.
  • FIG. 21 is a flowchart showing a procedure of observation processing by the image acquisition device 1 including the control device 20B of FIG. 20. As shown in FIG. 21, in the control device 20B according to the present modification, the processing shown in steps S201 and S202 is the processing of steps S101, S102 and S104 by the control device 20 according to the first embodiment shown in FIG. Is replaced with and executed.
  • the image acquisition unit 203B acquires a radiation image of the jig in which the jig is irradiated with radiation and the radiation transmitted through the jig is imaged (step S201). Specifically, the image acquisition unit 203B acquires an X-ray image captured by irradiating the jig and the object F with X-rays using the image acquisition device 1. As the jig, a flat plate-shaped member or the like whose thickness and material are known is used. That is, the image acquisition unit 203B acquires an X-ray image of the jig captured by the image acquisition device 1 prior to the observation process of the object F.
  • the image acquisition unit 203B acquires an X-ray image of the object F imaged by using the image acquisition device 1.
  • the acquisition timing of the X-ray image of the jig and the object F is not limited to the above, and may be simultaneous or vice versa (step S103).
  • the image acquisition unit 203B acquires an X-ray image in which the object F is irradiated with X-rays and the X-rays transmitted through the object F are captured, similarly to the image acquisition unit 203.
  • the jig is set in the image acquisition device 1, the jig is imaged, and the noise map generation unit 204B has a relationship between the pixel value and the evaluation value that evaluates the spread of the noise value from the radiation image of the jig obtained as a result.
  • the relational data representing the above is derived (step S202).
  • the noise map generation unit 204B derives a noise standard deviation map representing the relationship between the pixel value and the standard deviation of the noise value from the X-ray image of the jig.
  • FIG. 22 is a diagram showing an example of generating a noise standard deviation map by the noise map generation unit 204B.
  • the noise map generation unit 204B derives a relationship graph G27 showing the correspondence between the pixel value and the standard deviation of the noise value from the X-ray image G26 of the jig. Then, the noise map generation unit 204B derives the relational data G2 representing the correspondence between each pixel position and the pixel value from the X-ray image G1 acquired by the image acquisition unit 203B in the same manner as in the first embodiment. do.
  • the noise map generation unit 204 derives the standard deviation of the noise value corresponding to the pixel at each pixel position in the X-ray image by applying the correspondence relationship shown in the relationship graph G27 to each pixel in the relationship data G2. .. As a result, the noise map generation unit 204 associates the derived noise standard deviation with each pixel position, and derives the relational data G4 showing the correspondence between each pixel position and the noise standard deviation. Then, the noise map generation unit 204 generates the noise standard deviation map G5 based on the derived relational data G4.
  • FIG. 23 shows an example of the structure of the jig used for imaging in this modified example.
  • a member P1 whose thickness changes stepwise in one direction can be used.
  • FIG. 24 shows an example of an X-ray image of the jig of FIG. 23.
  • the noise map generation unit 204B derives a pixel value (hereinafter referred to as a true pixel value) when there is no noise for each step of the jig in the X-ray image G26 of the jig, and derives a true pixel value.
  • the standard deviation of the noise value is derived based on.
  • the noise map generation unit 204B derives the average value of the pixel values in the step with the jig.
  • the noise map generation unit 204B sets the average value of the derived pixel values as the true pixel value in that step.
  • the noise map generation unit 204B derives the difference between each pixel value and the true pixel value as a noise value.
  • the noise map generation unit 204B derives the standard deviation of the noise value from the derived noise value for each pixel value.
  • the noise map generation unit 204B derives the relationship between the true pixel value and the standard deviation of the noise value as the relationship graph G27 between the pixel value and the standard deviation of the noise value. Specifically, the noise map generation unit 204B derives the true pixel value and the standard deviation of the noise value for each step of the jig.
  • the noise map generator 204B plots the relationship between the derived true pixel value and the standard deviation of the noise value on a graph, and draws an approximate curve to represent the relationship between the pixel value and the standard deviation of the noise value.
  • the graph G27 is derived. For the approximate curve, exponential approximation, linear approximation, logarithmic approximation, polynomial approximation, power approximation, or the like is used.
  • control device 20B In the control device 20B according to this modification, related data is generated based on a radiation image obtained by imaging an actual jig. As a result, the optimum relational data for removing noise from the radiation image of the object F can be obtained. As a result, noise in the radiographic image can be removed more effectively.
  • the noise map generation unit 204B derives the relationship between the pixel value and the standard deviation of the noise value from the captured image when the tube current or the exposure time is changed in the absence of an object without using a jig. You may. According to such a configuration, since the relational data is generated based on the radiation image actually obtained by imaging and the noise map is generated, noise removal corresponding to the relation between the pixel value and the spread of noise can be realized. As a result, noise in the radiographic image can be removed more effectively.
  • the image acquisition unit 203B acquires a plurality of radiation images captured in the absence of an object (step S201), and the noise map generation unit 204B obtains the radiation images acquired by the image acquisition unit 203B.
  • the relationship between the pixel value and the standard deviation of the noise value may be derived (step S202).
  • the plurality of radiographic images are a plurality of images in which at least one of the conditions of the source of radiation and the imaging condition is different from each other.
  • the image acquisition unit 203B receives a plurality of X-rays captured by the image acquisition device 1 in the absence of the object F prior to the observation process of the object F while the tube current or the exposure time is changed. Get an image.
  • the noise map generation unit 204B derives a true pixel value for each X-ray image, and derives a standard deviation of noise based on the true pixel value in the same manner as in this modification. Further, the noise map generation unit 204B plots the relationship between the true pixel value and the standard deviation of the noise on a graph and draws an approximate curve in the same manner as in this modification, thereby drawing a standard deviation of the pixel value and the noise value. A relationship graph showing the relationship with is derived. Finally, the noise map generation unit 204B generates a noise standard deviation map from the X-ray image acquired by the image acquisition unit 203B based on the derived relationship graph in the same manner as in the first embodiment.
  • FIG. 25 is a block diagram showing a functional configuration of the control device 20C according to the second embodiment.
  • the control device 20C includes an input unit 201C, a calculation unit 202C, a narrowing unit 203C, a selection unit 204C, and a processing unit 205C.
  • a plurality of trained models 206C for executing noise removal processing on the X-ray transmission image are stored in advance.
  • Each of the plurality of trained models 206C is a learning model by machine learning constructed in advance using image data as teacher data.
  • Machine learning includes supervised learning, deep learning, reinforcement learning, neural network learning, and the like.
  • the deep learning algorithm the two-dimensional convolutional neural network described in the paper "Beyonda Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising" by Kai Zhang et al. Is adopted.
  • the plurality of trained models 206C may be generated by an external computer or the like and downloaded to the control device 20C, or may be generated in the control device 20C.
  • FIG. 26 shows an example of image data which is teacher data used for constructing the trained model 206C.
  • the teacher data an X-ray transmission image in which patterns of various thicknesses, various materials, and various resolutions are captured can be used.
  • the example shown in FIG. 26 is an example of an X-ray transmission image generated for chicken.
  • an X-ray transmission image actually generated by using the image acquisition device 1 for a plurality of types of objects may be used, or image data generated by simulation calculation may be used.
  • the X-ray transmission image may be acquired by using an apparatus different from the image acquisition apparatus 1. Further, the X-ray transmission image and the image data generated by the simulation calculation may be used in combination.
  • Each of the plurality of trained models 206C is image data obtained for transmitted X-rays having different average energies, and is pre-constructed using image data having a known noise distribution.
  • the average energy of X-rays in the image data can be determined by setting the operating conditions of the X-ray irradiator (radiation source) 50 of the image acquisition device 1, the imaging conditions of the image acquisition device 1, etc., or at the time of simulation calculation. By setting the operating conditions or the imaging conditions of the X-ray irradiator 50, different values are set in advance (the method of setting the average energy according to the operating conditions or the imaging conditions will be described later).
  • the plurality of trained models 206C indicate the operating conditions of the X-ray irradiator (radiation source) 50 when capturing the X-ray transmission image of the object F, the imaging conditions by the X-ray detection camera 10, and the like. It is constructed by machine learning using a training image which is an X-ray image corresponding to the average energy of X-rays transmitted through the object F calculated based on the condition information as training data (construction step).
  • the plurality of trained models 206C have a plurality of frames (for example, 20, It is constructed using (000 frames).
  • the image data which is the teacher data used for constructing the trained model 206C, is generated by the same creation procedure as the creation procedure in the first embodiment described above.
  • the input unit 201C inputs condition information indicating the operating conditions of the X-ray irradiator (radiation source) 50 when capturing the X-ray transmission image of the object F, the imaging conditions by the X-ray detection camera 10, and the like. , Accepted from the user of the image acquisition device 1.
  • the operating conditions include all or part of the tube voltage, target angle, target material, and the like.
  • the condition information indicating the imaging conditions includes filters 51 and 19 (filters included in the camera used for imaging the object or filters provided in the source) arranged between the X-ray irradiator 50 and the X-ray detection camera 10.
  • the input unit 201C may accept the input of the condition information as a direct input of information such as a numerical value, or may accept the input of the information such as a numerical value set in the internal memory in advance as a selective input.
  • the input unit 201C accepts the input of the above-mentioned condition information from the user, but may acquire some condition information (tube voltage, etc.) according to the detection result of the control state by the control device 20C.
  • the calculation unit 202C transmits the object F using the image acquisition device 1 and causes the X-ray detection camera 10 to detect the average energy value of the X-ray (radiation). Is calculated.
  • the calculation unit 202C includes the tube voltage, the target angle, the target material, the filter material and thickness and the presence or absence thereof, the type of the window material and the presence or absence thereof, and the scintillator 11 of the X-ray detection camera 10. Based on information such as material and thickness, the spectrum of X-rays detected by the X-ray detection camera 10 is calculated using, for example, an approximate expression such as a known Tucker.
  • the calculation unit 202C further calculates the spectral intensity integrated value and the photon number integrated value from the X-ray spectrum, and divides the spectral intensity integrated value by the photon number integrated value to obtain the value of the X-ray average energy. calculate.
  • a calculation method using a known Tucker approximation formula will be described.
  • Em kinetic energy at the time of electron target collision
  • T electron kinetic energy in the target
  • A proportionality constant determined by the atomic number of the target substance.
  • Target density
  • ⁇ (E) Line attenuation coefficient of target material
  • B Slowly changing functions of Z and T
  • C Thomson-Whiddington constant
  • Target angle
  • c Light velocity in vacuum , Can be determined.
  • the calculation unit 202C can calculate the irradiation X-ray spectrum by calculating the above equation (1) based on them.
  • the calculation unit 202C can calculate the X-ray energy spectrum that passes through the filter and the object F and is absorbed by the scintillator by using the X-ray attenuation formula of the above formula (2).
  • the X-ray photon number spectrum can be obtained by dividing this X-ray energy spectrum by the energy of each X-ray.
  • the calculation unit 202C calculates the average energy of X-rays using the above equation (3) by dividing the integrated value of the energy intensity by the integrated value of the number of photons. Through the above calculation process, the calculation unit 202C calculates the average energy of X-rays.
  • an approximate expression by known Kramers, Birch et al. May be used.
  • the narrowing unit 203C narrows down the candidates of the trained model from the plurality of trained models 206C constructed in advance based on the value of the average energy calculated by the calculation unit 202C. That is, the narrowing unit 203C compares the calculated average energy value with the X-ray average energy value in the image data used for constructing the plurality of trained models 206C, and the average energy values are close to each other.
  • a plurality of trained models 206C constructed from image data are narrowed down as candidates. More specifically, when the average energy value calculated by the calculation unit 202C is 53 keV, the narrowing unit 203C has an average energy value of 40 keV in which the difference from the value is less than a predetermined threshold value (for example, 15 keV).
  • the trained model 206C constructed from the image data of 50 keV and 60 keV is used as a candidate for the trained model.
  • the selection unit 204C finally selects the trained model 206C to be used for the noise removal processing of the X-ray transmission image of the object F from the candidates narrowed down by the narrowing unit 203C. Specifically, the selection unit 204C acquires an X-ray transmission image captured by irradiating the jig with X-rays in the image acquisition device 1, and finally obtains an X-ray transmission image based on the image characteristics of the X-ray transmission image. Select the trained model 206C to use. At this time, the selection unit 204C analyzes the energy characteristic, the noise characteristic, the resolution characteristic, etc. as the image characteristic of the X-ray transmission image, and selects the trained model 206C based on the analysis result.
  • the selection unit 204C transmits X-rays to a flat plate member whose thickness and material are known as a jig and whose relationship between the average energy of X-rays and the X-ray transmittance is known.
  • An image is acquired, and the brightness of the X-ray image transmitted through the jig is compared with the brightness of the X-ray image transmitted through the air to determine the transmittance of one point (or the average of multiple points) of the X-ray in the jig. calculate. For example, when the brightness of the X-ray image transmitted through the jig is 5,550 and the brightness of the X-ray image transmitted through the air is 15,000, the transmittance is calculated to be 37%.
  • the selection unit 204C specifies the average energy of transmitted X-rays (for example, 50 keV) estimated from the transmittance of 37% as the energy characteristics of the X-ray transmitted image of the jig.
  • the selection unit 204C selects one trained model 206C constructed by the image data of the average energy closest to the specified average energy value.
  • the selection unit 204C may analyze the characteristics at a plurality of points of the jig whose thickness or material changes as the energy characteristics of the X-ray transmission image of the jig.
  • FIG. 27 is a diagram showing an example of an X-ray transmission image to be analyzed by the selection unit 204C.
  • FIG. 27 is an X-ray transmission image for a jig having a shape in which the thickness changes in steps.
  • the selection unit 204C selects a plurality of measurement regions (ROI: Region Of Interest) having different thicknesses from such an X-ray transmission image, analyzes the brightness average value for each of the plurality of measurement areas, and analyzes the thickness-luminance. Acquire the characteristic graph as the energy characteristic.
  • FIG. 28 shows an example of the thickness-luminance characteristic graph acquired by the selection unit 204C.
  • the selection unit 204C similarly acquires a thickness-brightness characteristic graph for the image data used for constructing the trained model 206C narrowed down by the narrowing unit 203C, and targets the jig.
  • the trained model 206C constructed by the image data having the characteristics closest to the acquired characteristic graph is selected as the final trained model 206C.
  • the image characteristics of the image data used for constructing the trained model 206C may refer to those calculated in advance outside the control device 20C.
  • the selection unit 204C can analyze the brightness value and noise for each of a plurality of measurement regions as the noise characteristic of the X-ray transmission image of the jig, and acquire the characteristic graph of the brightness-noise ratio as the noise characteristic. That is, the selection unit 204C selects a plurality of measurement region ROIs having different thicknesses or materials from the X-ray transmission image, analyzes the standard deviation of the brightness values and the average value of the brightness values of the plurality of measurement region ROIs, and performs brightness-.
  • the characteristic graph of SNR (SN ratio) is acquired as a noise characteristic.
  • FIG. 29 shows an example of the characteristic graph of luminance-SNR acquired by the selection unit 204C. Then, the selection unit 204C selects the trained model 206C constructed by the image data having the noise characteristic closest to the acquired characteristic graph as the final trained model 206C.
  • the selection unit 204C may acquire a characteristic graph in which the vertical axis is noise calculated from the standard deviation of the luminance value instead of the above-mentioned luminance-SNR characteristic graph.
  • noise factors shot noise, readout noise
  • the trained model 206C can be selected based on the specific result.
  • FIG. 30 is a diagram for explaining the selection function of the trained model based on the image characteristics by the selection unit 204C.
  • (a) portion characteristic graphs G 1 of the luminance -SNR of each image data used for constructing a plurality of the learned model 206C, shows the G 2, G 3, part (b) is in addition to these characteristic graphs G 1, G 2, G 3 , shows a characteristic graph G T luminance -SNR of X-ray transmission image of the captured jig.
  • the learning constructed by the nearest characteristic graph G 2 of the image data on the characteristics of the characteristic graph G T It functions to select the finished model 206C.
  • the selection unit 204C is between a characteristic graph G T and the characteristic graphs G 1, G 2, G 3 , and calculates an error of SNR of each luminance value of the predetermined intervals, the average of those errors square error (RMSE: root mean squared error) is calculated, and the mean square error selects the smallest characteristic graphs G 1, G 2, learned model 206C corresponding to G 3. Further, the selection unit 204C can also select the trained model 206C in the same manner when selecting using the energy characteristics.
  • RMSE root mean squared error
  • the selection unit 204C can also select the trained model 206C based on the characteristics of the image after applying the plurality of trained models and executing the noise removal processing on the X-ray transmission image of the jig. ..
  • the selection unit 204C applies a plurality of trained models 206C to the X-ray transmission images obtained by imaging jigs having various resolution charts, and the resulting noise-removed image is generated. To evaluate. Then, the selection unit 204C selects the trained model 206C used for the image having the smallest change in resolution before and after the noise removal processing.
  • FIG. 31 shows an example of an X-ray transmission image used for evaluating the resolution. In this X-ray transmission image, a chart whose resolution changes stepwise along one direction is targeted for imaging. The resolution of the X-ray transfer image can be measured by using MTF (Modulation Transfer Function) or CTF (Contrast Transfer Function).
  • the selection unit 204C evaluates the characteristics of the brightness-noise ratio of the image after noise removal, and selects the trained model 206C used to generate the image having the highest characteristics.
  • FIG. 32 shows an example of the structure of the jig used for evaluating the brightness-noise ratio.
  • a jig a jig in which foreign substances P2 having various materials and various sizes are scattered in a member P1 whose thickness changes in a step-like manner in one direction can be used.
  • FIG. 33 shows an X-ray transmission image of the jig of FIG. 32 after noise removal processing.
  • the selection unit 204C selects an image region R1 containing an image of a foreign matter P2 in an X-ray transmission image and an image region R2 not including an image of a foreign matter P2 in the vicinity of the region R1, and minimizes the brightness in the image region R1.
  • the value L MIN , the average value L AVE of the brightness in the image region R2, and the standard deviation L SD of the brightness in the image region R2 are calculated.
  • the selection unit 204C calculates the brightness-noise ratio CNR for each of the X-ray transmission images after the application of the plurality of trained models 206C, and generates an X-ray transmission image having the highest brightness-noise ratio CNR. Select the trained model 206C used.
  • calculating selection unit 204C includes a mean value L AVE_R1 of luminance in the image area R1, and the average value L AVE_R2 of luminance in the image area R2, based on the standard deviation L SD of luminance in the image area R2, the following formula You may.
  • CNR (L AVE_R1- L MIN_R2 ) / L SD
  • the processing unit 205C applies the trained model 206C selected by the selection unit 204C to the X-ray transmission image acquired for the object F, and executes image processing for removing noise to output an output image. Generate. Then, the processing unit 205C outputs the generated output image to the display device 30 or the like.
  • FIG. 34 is a flowchart showing the procedure of the observation process by the image acquisition device 1.
  • control device 20C receives input of condition information indicating the operating conditions of the X-ray irradiator 50, the imaging conditions by the X-ray detection camera 10, and the like from the operator (user) of the image acquisition device 1 (step S1). .. Next, the control device 20C calculates the value of the average energy of the X-rays detected by the X-ray detection camera 10 based on the condition information (step S2).
  • control device 20C specifies the value of the average energy of X-rays in the image data used for constructing the trained model 206C stored in the control device 20C (step S3). After that, the specification of the average energy value of the X-ray is repeated for all the trained models 206C stored in the control device 20C (step S4).
  • control device 20C compares the calculated average energy values of the X-rays, so that a plurality of trained model 206C candidates are narrowed down (step S5). Further, when the jig is set in the image acquisition device 1 and the jig is imaged, an X-ray transmission image of the jig is acquired (step S6).
  • control device 20C uses the image characteristics of the X-ray transmission image of the jig (X-ray average energy value, thickness-luminance characteristics, brightness-noise ratio characteristics, brightness-noise characteristics, resolution change characteristics). Etc.) are acquired (step S7). Then, the control device 20C selects the final trained model 206C based on the acquired image characteristics (step S8).
  • step S9 when the object F is set in the image acquisition device 1 and the object F is imaged, an X-ray transmission image of the object F is acquired (step S9).
  • the control device 20C applies the finally selected trained model 206C to the X-ray transmission image of the object F, so that noise removal processing is executed on the X-ray transmission image (step S10). ..
  • the control device 20C outputs an output image, which is an X-ray transmission image that has been subjected to noise removal processing, to the display device 30 (step S11).
  • the image acquisition device 1 described above can also remove the noise component while increasing the signal component in the X-ray transmission image, and can effectively improve the S / N ratio in the X-ray transmission image. Further, the average energy of the X-rays transmitted through the object F is calculated based on the operating conditions of the X-ray source when acquiring the X-ray transmission image of the object F or the imaging conditions of the X-ray transmission image. .. Then, based on the average energy, candidates for the trained model 206C used for noise removal are narrowed down from the trained model 206C constructed in advance.
  • the trained model 206C corresponding to the average energy of the X-ray to be imaged is used for noise removal, noise removal corresponding to the relationship between the brightness and the noise in the X-ray transmission image can be realized.
  • noise in the X-ray transmission image can be effectively removed, and for example, foreign matter detection performance can be improved.
  • tube voltage, filter, scintillator, X-ray detection camera conditions gain setting value, circuit noise value, saturation charge amount, conversion coefficient value (e- / count), camera line rate
  • the mode of noise changes depending on the difference in the object and the like. Therefore, when trying to realize noise removal by machine learning, it is necessary to prepare a plurality of learning models trained under various conditions.
  • the X-ray transmission image contains noise derived from X-ray generation. It is conceivable to increase the X-ray dose in order to improve the signal-to-noise ratio of the X-ray transmission image, but in that case, increasing the X-ray dose increases the exposure dose of the sensor and shortens the life of the sensor. There is a problem that the life of the source is shortened, and it is difficult to achieve both an improvement in the SN ratio and a long life. In the present embodiment, since it is not necessary to increase the X dose, it is possible to achieve both an improvement in the SN ratio and a long life.
  • control device 20C of the present embodiment has a function of executing image processing for removing noise from the X-ray transmission image of the object F using the selected learned model 206C. With such a function, noise removal corresponding to the relationship between the brightness and noise in the X-ray transmission image can be realized, and the noise in the X-ray transmission image can be effectively removed.
  • control device 20C of the present embodiment compares the value of the average energy of X-rays calculated from the selection information with the value of the average energy specified from the image data used for constructing the trained model 206C. As a result, it has a function to narrow down the candidates of the trained model. With such a function, noise removal corresponding to the relationship between the brightness and the noise in the X-ray transmission image can be surely realized.
  • control device 20C of the present embodiment has a function of selecting the trained model 206C from the candidates based on the image characteristics of the X-ray transmission image of the jig. With such a function, the trained model 206C that is most suitable for removing noise from the X-ray transmission image of the object F can be selected. As a result, noise removal corresponding to the relationship between the brightness and the noise in the X-ray transmission image can be realized more reliably.
  • the control device 20C of the second embodiment has selected the candidate of the trained model 206C based on the value of the average energy of X-rays calculated from the condition information, but the performance deterioration of the X-ray detection camera 10 and the X-rays It may have a function corresponding to the output fluctuation or the performance deterioration of the irradiator 50.
  • FIG. 35 is a block diagram showing a functional configuration of the control device 20D according to the modified example of the second embodiment.
  • the control device 20D is different from the control device 20C according to the second embodiment in that it has the measurement unit 207C and the functions of the calculation unit 202D and the narrowing unit 203D.
  • the relationship between the brightness and noise in the X-ray transmission image is estimated from the average energy of the X-rays.
  • the trained model 206C is narrowed down on the premise that it can be done.
  • the X-ray conversion coefficient is calculated in consideration of the performance deterioration of the X-ray detection camera 10, the output fluctuation of the X-ray irradiator 50, or the performance deterioration thereof.
  • the X-ray conversion coefficient is a parameter indicating the efficiency of X-rays being converted into visible light by a scintillator and then converted into electrons (electrical signals) by a camera sensor.
  • the X-ray transform coefficient FT is assumed that the average energy of X-rays is E [keV], the scintillator emission amount is EM [photon / keV], the coupling efficiency in the sensor is C, and the quantum efficiency of the sensor is QE.
  • the following formula; F T E ⁇ EM ⁇ C ⁇ QE Can be calculated by.
  • the measuring unit 207C of the control device 20D has a decrease in the amount of light emission EM as a performance deterioration of the scintillator 11, a decrease in the quantum efficiency QE of the sensor as a performance deterioration of the scan camera 12, and an output fluctuation and performance of the X-ray irradiator 50. It has a function of measuring the amount of change in the average energy E as deterioration. For example, the measuring unit 207C measures the amount of decrease in the amount of light emitted between the scintillator 11 without deterioration in performance (state when new) and the current amount of light emitted between the scintillator 11 and uses the amount of decrease to the current amount of light emitted EM. To estimate.
  • the measuring unit 207C measures the amount of decrease in brightness between the scan camera 12 in a state where there is no performance deterioration (state in a new state) and the current scan camera 12, and the current quantum efficiency QE is obtained from the amount of decrease. To estimate. Further, the measuring unit 207C calculates the current average energy E from the amount of change in the average energy between the state where the performance of the X-ray irradiator 50 is not deteriorated (the state when it is new) and the current X-ray irradiator 50. presume.
  • the average energy E is a jig whose thickness or material is known and can be obtained from imaging data of a flat plate member whose thickness and material are known and the relationship between the average energy of X-rays and X-ray transmittance is known. It may be obtained from the imaging data at a plurality of points.
  • Calculator 202D of the control unit 20D includes the average energy E of the calculated X-ray, to calculate the X-ray conversion coefficient F T by using the light emission amount EM and quantum efficiency QE estimated by measuring unit 207C.
  • Narrowing part 203D of the control unit 20D includes a X-ray conversion coefficient F T that calculated, by comparing the X-ray conversion factor F T in the image data used to construct the learned model 206C, learned model 206C It has a function to narrow down the candidates.
  • FIG. 36 is a flowchart showing a procedure of observation processing by the image acquisition device 1 according to another modification. As described above, the processing of steps S6 to S8 in FIG. 34 can be omitted, and the noise removal processing can be executed using the trained model narrowed down based on the average energy.
  • FIG. 37 is a block diagram showing a functional configuration of the control device 20E according to the third embodiment.
  • the control device 20E includes an acquisition unit 201E, a specific unit 202E, a selection unit 204E, and a processing unit 205E.
  • a plurality of trained models 206E for executing noise removal processing on the X-ray transmission image are stored in advance.
  • Each of the plurality of trained models 206E is a learning model by machine learning constructed in advance using image data as teacher data.
  • Machine learning includes supervised learning, deep learning, reinforcement learning, neural network learning, and the like.
  • the deep learning algorithm the two-dimensional convolutional neural network described in the paper "Beyonda Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising" by Kai Zhang et al. Is adopted.
  • the plurality of trained models 206E may be generated by an external computer or the like and downloaded to the control device 20E, or may be generated in the control device 20E.
  • FIG. 38 shows an example of image data which is teacher data used for constructing the trained model 206E.
  • the teacher data an X-ray transmission image in which patterns of various thicknesses, various materials, and various resolutions are captured can be used.
  • the example shown in FIG. 38 is an example of an X-ray transmission image generated for chicken.
  • an X-ray transmission image actually generated by using the image acquisition device 1 for a plurality of types of objects may be used, or image data generated by simulation calculation may be used.
  • the X-ray transmission image may be acquired by using an apparatus different from the image acquisition apparatus 1. Further, the X-ray transmission image and the image data generated by the simulation calculation may be used in combination.
  • Each of the plurality of trained models 206E is image data obtained for transmitted X-rays having different average energies, and is pre-constructed using image data having a known noise distribution.
  • the average energy of X-rays in the image data can be determined by setting the operating conditions of the X-ray irradiator (radiation source) 50 of the image acquisition device 1, the imaging conditions of the image acquisition device 1, etc., or at the time of simulation calculation. By setting the operating conditions or the imaging conditions of the X-ray irradiator 50, different values are set in advance.
  • the plurality of trained models 206E indicate the operating conditions of the X-ray irradiator (radiation source) 50 when capturing the X-ray transmission image of the object F, the imaging conditions by the X-ray detection camera 10, and the like. It is constructed by machine learning using a training image which is an X-ray image corresponding to the average energy of X-rays transmitted through the object F calculated based on the condition information as training data (construction step).
  • the plurality of trained models 206E have a plurality of frames (for example, 20, It is constructed using (000 frames).
  • the image data which is the teacher data used for constructing the trained model 206E, is generated by the same creation procedure as the creation procedure in the first embodiment described above.
  • the acquisition unit 201E acquires an X-ray transmission image captured by irradiating the jig and the object F with X-rays using the image acquisition device 1.
  • the jig a flat plate member whose thickness and material are known and whose relationship between the average energy of X-rays and the X-ray transmittance is known, or a jig having a chart imaged at various resolutions. Used. That is, the acquisition unit 201E acquires an X-ray transmission image of the jig captured by the image acquisition device 1 prior to the observation process of the object F.
  • the acquisition unit 201E acquires the X-ray transmission image of the object F captured by the image acquisition device 1 at the timing after the trained model 206E is selected based on the X-ray transmission image of the jig. do.
  • the acquisition timing of the X-ray transmission image of the jig and the object F is not limited to the above, and may be simultaneous or vice versa.
  • the identification unit 202E specifies the image characteristics of the X-ray transmission image of the jig acquired by the acquisition unit 201E. Specifically, the selection unit 204E specifies energy characteristics, noise characteristics, resolution characteristics, frequency characteristics, and the like as image characteristics of the X-ray transmission image.
  • the specific portion 202E has the brightness of the X-ray image transmitted through the jig and the brightness of the X-ray image transmitted through the air.
  • the X-ray transmittance of one point (or the average of a plurality of points) in the jig is calculated by comparing with. For example, when the brightness of the X-ray image transmitted through the jig is 5,550 and the brightness of the X-ray image transmitted through the air is 15,000, the transmittance is calculated to be 37%.
  • the identification unit 202E specifies the average energy of transmitted X-rays (for example, 50 keV) estimated from the transmittance of 37% as the energy characteristics of the X-ray transmitted image of the jig.
  • the specific unit 202E may analyze the characteristics at a plurality of points of the jig whose thickness or material changes as the energy characteristics of the X-ray transmission image of the jig.
  • FIG. 39 is a diagram showing an example of an X-ray transmission image to be analyzed by the specific unit 202E.
  • FIG. 39 is an X-ray transmission image for a jig having a shape in which the thickness changes in steps.
  • the specific unit 202E selects a plurality of measurement regions (ROI: Region Of Interest) having different thicknesses from such an X-ray transmission image, analyzes the brightness average value for each of the plurality of measurement areas, and analyzes the thickness-luminance. Acquire the characteristic graph as the energy characteristic.
  • FIG. 40 shows an example of the thickness-luminance characteristic graph acquired by the specific unit 202E.
  • the specific unit 202E can analyze the brightness value and noise for each of a plurality of measurement regions as the noise characteristic of the X-ray transmission image of the jig, and acquire the characteristic graph of the brightness-noise ratio as the noise characteristic. That is, the specific unit 202E selects a plurality of measurement region ROIs having different thicknesses or materials from the X-ray transmission image, analyzes the standard deviation of the brightness values of the plurality of measurement region ROIs, and analyzes the average value of the brightness values, and the brightness-.
  • the characteristic graph of SNR (SN ratio) is acquired as a noise characteristic.
  • FIG. 41 shows an example of the characteristic graph of luminance-SNR acquired by the specific unit 202E.
  • the specific unit 202E may acquire a characteristic graph in which the vertical axis is noise calculated from the standard deviation of the luminance value instead of the above-mentioned characteristic graph of luminance-SNR.
  • the specific unit 202E can also acquire the distribution of the resolution in the X-ray transmission image of the jig as a resolution characteristic. Further, the specific unit 202E has a function of acquiring the resolution characteristic of the image after the noise removal processing is performed by applying the plurality of trained models 206E to the X-ray transmission image of the jig.
  • FIG. 42 shows an example of an X-ray transmission image used for evaluating the resolution. In this X-ray transmission image, a chart whose resolution changes stepwise along one direction is targeted for imaging. The resolution of the X-ray transfer image can be measured by using MTF (Modulation Transfer Function) or CTF (Contrast Transfer Function).
  • the selection unit 204E finally selects the object F from among the plurality of trained models 206E stored in the control device 20E based on the image characteristics acquired by the specific unit 202E.
  • the trained model 206E used for the noise removal processing of the X-ray transmission image of is selected. That is, the selection unit 204E compares the image characteristics specified by the specific unit 202E with the image characteristics specified from the image data used for constructing the plurality of trained models 206E, and both are similar trained models. Select 206E.
  • the selection unit 204E selects one trained model 206E constructed by the image data of the average energy closest to the value of the average energy of the transmitted X-rays specified by the specific unit 202E.
  • the selection unit 204E acquires a thickness-brightness characteristic graph for the image data used for constructing the plurality of trained models 206E in the same manner as the identification method by the specific unit 202E, and targets the jig.
  • the trained model 206E constructed from the image data having the characteristics closest to the thickness-brightness characteristic graph acquired in is selected as the final trained model 206E.
  • the image characteristics of the image data used for constructing the trained model 206E may refer to those calculated in advance outside the control device 20E.
  • the selection unit 204E uses the trained model 206E constructed by the image data having the characteristics of the brightness-noise ratio closest to the characteristics of the brightness-noise ratio acquired by the specific unit 202E as the final trained model 206E. May be selected as.
  • the image characteristics of the image data used for constructing the trained model 206E may be acquired by the selection unit 204E from the image data, or may refer to those calculated in advance outside the control device 20E. ..
  • the selection unit 204E may select the trained model 206E as the noise characteristic by using the luminance-noise characteristic instead of the luminance-noise ratio characteristic.
  • noise factors shots noise, readout noise, etc.
  • the trained model 206E can be selected based on the specific result.
  • FIG. 43 is a diagram for explaining the selection function of the trained model based on the image characteristics by the selection unit 204E.
  • G T luminance -SNR of X-ray transmission image of the captured jig.
  • the selection unit 204E is between a characteristic graph G T and the characteristic graphs G 1, G 2, G 3 , and calculates an error of SNR of each luminance value of the predetermined intervals, the average of those errors square error (RMSE: root mean squared error) is calculated, and the mean square error selects the smallest characteristic graphs G 1, G 2, learned model 206E corresponding to G 3. Further, the selection unit 204E can also select the trained model 206E in the same manner when selecting using the energy characteristics.
  • RMSE root mean squared error
  • the selection unit 204E generates an image having relatively excellent characteristics based on the characteristics of the image after applying a plurality of trained models and performing noise removal processing on the X-ray transmission image of the jig. It is also possible to select the trained model 206E used in.
  • the selection unit 204E applies a plurality of trained models 206E to the X-ray transmission images obtained by imaging jigs having charts having various resolutions, and the resulting image after noise removal. Evaluate the resolution characteristics of. Then, the selection unit 204E selects the trained model 206E used for the image in which the change in the resolution of each distribution before and after the noise removal processing is the smallest.
  • the selection unit 204E evaluates the characteristics of the brightness-noise ratio of the image after noise removal, and selects the trained model 206E used to generate the image having the highest characteristics.
  • FIG. 44 shows an example of the structure of the jig used for evaluating the brightness-noise ratio. For example, as a jig, a jig in which foreign substances P2 having various materials and various sizes are scattered in a member P1 whose thickness changes in a step-like manner in one direction can be used.
  • FIG. 45 shows an X-ray transmission image obtained for the jig of FIG. 44 after noise removal processing.
  • the selection unit 204E selects an image region R1 containing an image of a foreign matter P2 in an X-ray transmission image and an image region R2 not including an image of a foreign matter P2 in the vicinity of the region R1, and minimizes the brightness in the image region R1.
  • the value L MIN , the average value L AVE of the brightness in the image region R2, and the standard deviation L SD of the brightness in the image region R2 are calculated.
  • the selection unit 204E calculates the brightness-noise ratio CNR for each of the X-ray transmission images after the application of the plurality of trained models 206E, and generates an X-ray transmission image having the highest brightness-noise ratio CNR. Select the trained model 206E used.
  • calculating selection section 204E includes a mean value L AVE_R1 of luminance in the image area R1, and the average value L AVE_R2 of luminance in the image area R2, based on the standard deviation L SD of luminance in the image area R2, the following formula You may.
  • CNR (L AVE_R1- L MIN_R2 ) / L SD
  • the processing unit 205E applies the trained model 206E selected by the selection unit 204E to the X-ray transmission image acquired for the object F, and executes image processing for removing noise to output an output image. Generate. Then, the processing unit 205E outputs the generated output image to the display device 30 or the like.
  • FIG. 46 is a flowchart showing the procedure of the observation process by the image acquisition device 1.
  • the operator (user) of the image acquisition device 1 sets the imaging conditions in the image acquisition device 1 such as the tube voltage of the X-ray irradiator 50 or the gain in the X-ray detection camera 10 (step S1E).
  • a jig is set in the image acquisition device 1, and an X-ray transmission image is acquired by the control device 20E for the jig (step S2E).
  • X-ray transmission images of a plurality of types of jigs may be sequentially acquired.
  • control device 20E specifies the image characteristics (energy characteristics, noise characteristics, and resolution characteristics) of the X-ray transmission image of the jig (step S3E). Further, the control device 20E applies a plurality of trained models 206E to the X-ray transmission images of the jig, and the image characteristics (resolution characteristics or resolution characteristics) of the respective X-ray transmission images after the application of the plurality of trained models 206E. The brightness-noise ratio value, etc.) is specified (step S4E).
  • the control device 20E compares the energy characteristics of the X-ray transmission image of the jig with the energy characteristics of the image data used for constructing the trained model 206E, and the resolution of the X-ray transmission image of the jig.
  • the trained model 206E is selected based on the degree of change before and after the application of the trained model of the characteristic (step S5E).
  • the trained model 206E may be selected based on the state of change before and after the application of. Further, in step S5E, instead of the above processing, the trained model 206E having the highest brightness-noise ratio CNR after the trained model of the X-ray transmission image of the jig is applied may be selected.
  • step S7E when the object F is set in the image acquisition device 1 and the object F is imaged, an X-ray transmission image of the object F is acquired (step S7E).
  • the control device 20E applies the finally selected trained model 206E to the X-ray transmission image of the object F, so that noise removal processing is executed on the X-ray transmission image (step S8E). ..
  • the control device 20E outputs an output image, which is an X-ray transmission image that has been subjected to noise removal processing, to the display device 30 (step S9E).
  • the image acquisition device 1 described above can also remove the noise component while increasing the signal component in the X-ray transmission image, and can effectively improve the S / N ratio in the X-ray transmission image.
  • the image characteristics of the X-ray transmission image of the jig are specified, and a trained model to be used for noise removal is selected from the trained models constructed in advance based on the image characteristics.
  • the characteristics of the X-ray transmission image that changes depending on the operating conditions of the X-ray irradiator 50 in the image acquisition device 1 can be estimated, and the trained model 206E selected according to the estimation result is used for noise removal.
  • Noise removal corresponding to the relationship between brightness and noise in an X-ray transmission image can be realized.
  • noise in the X-ray transmission image can be effectively removed.
  • the X-ray transmission image contains noise derived from X-ray generation. It is conceivable to increase the X-ray dose in order to improve the signal-to-noise ratio of the X-ray transmission image, but in that case, increasing the X-ray dose increases the exposure dose of the sensor and shortens the life of the sensor. There is a problem that the life of the source is shortened, and it is difficult to achieve both an improvement in the SN ratio and a long life. In the present embodiment, since it is not necessary to increase the X dose, it is possible to achieve both an improvement in the SN ratio and a long life.
  • the image characteristics of the X-ray transmission image of the jig and the image characteristics of the image data used for constructing the trained model are compared.
  • the trained model 206E constructed with the image data corresponding to the image characteristics of the X-ray transmission image of the jig is selected, so that the noise in the X-ray transmission image of the object F can be effectively removed.
  • the trained model is selected by using the image characteristics of the image obtained by applying the plurality of trained models 206E to the X-ray transmission image of the jig.
  • the trained model 206E is selected according to the image characteristics of the X-ray transmission image of the jig to which the plurality of trained models 206E are actually applied, the noise in the X-ray transmission image of the object F is effectively eliminated. Can be removed.
  • energy characteristics or noise characteristics are used as image characteristics.
  • the trained model 206E constructed by an image having characteristics similar to the energy characteristics or noise characteristics of the X-ray transmission image of the jig that changes depending on the imaging conditions of the image acquisition device 1 is selected. As a result, it is possible to remove noise in the X-ray transmission image of the object F corresponding to the change in the conditions of the image acquisition device 1.
  • the resolution characteristic or the brightness-noise ratio is also used as the image characteristic. According to such a configuration, by applying the selected trained model 206E, it becomes possible to obtain an X-ray transmission image having a good resolution characteristic or a brightness-noise ratio. As a result, it is possible to remove noise in the X-ray transmission image of the object corresponding to the change in the conditions of the image acquisition device 1.
  • the trained model may be constructed by machine learning using image data obtained by adding noise values along a normal distribution to a radiation image of a predetermined structure as teacher data. Suitable. As a result, it becomes easy to prepare image data which is teacher data used for constructing the trained model, and the trained model can be efficiently constructed.
  • the image processing module derives an evaluation value from the pixel value of each pixel of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value.
  • a noise map generator that generates a noise map that is data associated with the evaluation values derived for each pixel of the radiation image, and the radiation image and noise map are input to the trained model to remove noise from the radiation image. It is also preferable to have a processing unit that executes noise removal processing.
  • the evaluation value is derived from the pixel value of each pixel of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value, and each pixel of the radiation image is derived. It is also preferable to generate a noise map which is data associated with the evaluation values derived from the above, input the radiation image and the noise map to the trained model, and execute the noise removal processing for removing the noise from the radiation image. be.
  • the evaluation value is derived from the pixel value of each image of the radiation image based on the relational data representing the relationship between the pixel value and the evaluation value for evaluating the spread of the noise value, and the evaluation derived to each pixel of the radiation image is derived.
  • a noise map which is data associated with values, is generated. Then, the radiation image and the noise map are input to the trained model constructed in advance by machine learning, and the noise removal process for removing noise from the radiation image is executed.
  • the spread of the noise value evaluated from the pixel value of each pixel of the radiation image is taken into consideration, the noise in each pixel of the radiation image is removed by machine learning, and the pixel value in the radiation image is removed using the trained model. It is possible to realize noise removal corresponding to the relationship between the noise spread and the noise spread. As a result, noise in the radiographic image can be effectively removed.
  • the image processing module has an input unit and a condition for receiving input of condition information indicating either the condition of the radiation source or the imaging condition when irradiating the object with radiation to image the object.
  • input of condition information indicating either the condition of the radiation source or the imaging condition when irradiating the object with radiation is accepted, and the object is transmitted based on the condition information.
  • the average energy related to the radiation and narrow down the trained models used for noise removal processing from a plurality of trained models constructed by machine learning in advance using image data based on the average energy. Suitable.
  • the average energy of the radiation transmitted through the object is calculated based on the condition of the source of the radiation or the imaging condition when acquiring the radiation image of the object.
  • candidates for the trained model used for noise removal are narrowed down from the trained models constructed in advance.
  • the image processing module is a machine that uses image data in advance based on a specific unit that specifies the image characteristics of a radiation image acquired by an imaging device for a jig and the image characteristics. It is also preferable to have a selection unit that selects a trained model from a plurality of trained models constructed by learning, and a processing unit that executes noise removal processing using the selected trained model. Is.
  • the image characteristics of the radiation image acquired for the jig are specified, and based on the image characteristics, among a plurality of trained models constructed by machine learning in advance using image data. Therefore, it is also preferable to select a trained model and perform noise removal processing using the selected trained model.
  • the image characteristics of the radiation image of the jig are specified, and the trained model used for noise removal is selected from the trained models constructed in advance based on the image characteristics.
  • This makes it possible to estimate the characteristics of the radiation image that change depending on the conditions of the radiation source in the system, and the trained model selected according to this estimation result is used for noise removal. Noise removal corresponding to the relationship can be realized. As a result, noise in the radiographic image can be effectively removed.
  • a radiographic image acquisition device In the embodiment, a radiographic image acquisition device, a radiographic image acquisition system, and a radiological image acquisition method are used, and the S / N ratio in the radiographic image can be effectively improved.
  • Image acquisition device radio image acquisition device, radiation image acquisition system
  • 10 ... X-ray detection camera (imaging device), 11 ... scintillator, 12 ... scan camera (detection element), 20, 20A to 20E ... control device ( Image processing module), 50 ... X-ray irradiator (radiation source), 60 ... belt conveyor (conveyor), 72 ... pixels, 74 ... pixel lines (pixel group), 73 ... readout circuit, 201, 201C ... input unit , 202, 202A, 202C, 202D ... Calculation unit, 202E ... Specific unit, 203C, 203D ... Narrowing unit, 204, 204A, 204B ...
  • Noise map generation unit 204C, 204E ... Selection unit, 205, 205C, 205E ... Processing Part, 206C, 206E, 207 ... Trained model, F ... Object, TD ... Transport direction (one direction).

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Toxicology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

画像取得装置1は、対象物を透過した放射線を一の方向にスキャンして撮像してX線画像を取得するカメラ10と、カメラ10上に設けられ、X線を光に変換するシンチレータ11と、X線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、X線画像からノイズを除去するノイズ除去処理を実行する制御装置20と、を備え、カメラ10は、一の方向に沿って配列されたM個(Mは、2以上の整数)の画素72を有する画素ライン74が、一の方向に直交する方向にN列(Nは2上の整数)配列されて構成され、画素72毎に光に関する検出信号を出力するスキャンカメラ12と、スキャンカメラ12のN列の画素ライン74毎に、M個の画素のうちの少なくとも2個の画素72から出力される検出信号を加算し、加算したN個の検出信号を順次出力することにより、X線画像を出力する読み出し回路73と、を含む。

Description

放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
 実施形態の一側面は、放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法に関する。
 従来から、対象物の搬送方向に直交して配置されたラインセンサを複数列設けて、複数列のラインセンサから出力された検出データを加算することにより、対象物を透過したX線等の電磁波の分布を画像データとして取得する装置が用いられている。このような装置によれば、対象物を透過した電磁波を検出した画像データにおいて積分露光効果を得ることができる。
再公表特許WO2019/082276号公報 特開2019-158663号公報
 上述したような従来の装置においては、複数列のラインセンサから得られる検出データを加算することにより、加算結果において信号値が向上するとともにノイズ値も増加する傾向にある。そのため、画像データにおいてS/N比が十分に向上しない場合があった。
 そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、放射線画像におけるS/N比を効果的に向上できる放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法を提供することを課題とする。
 実施形態の一側面に係る放射線画像取得装置は、対象物を透過した放射線を一の方向にスキャンして撮像して放射線画像を取得する撮像装置と、撮像装置上に設けられ、放射線を光に変換するシンチレータと、放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、放射線画像からノイズを除去するノイズ除去処理を実行する画像処理モジュールと、を備え、撮像装置は、一の方向に沿って配列されたM個(Mは、2以上の整数)の画素を有する画素ラインが、一の方向に直交する方向にN列(Nは2上の整数)配列されて構成され、画素毎に光に関する検出信号を出力する検出素子と、検出素子のN列の画素ライン毎に、M個の画素のうちの少なくとも2個の画素から出力される検出信号を加算し、加算したN個の検出信号を順次出力することにより、放射線画像を出力する読出回路と、を含む。
 あるいは、実施形態の他の側面に係る放射線画像取得システムは、上記の放射線画像取得装置と、対象物に放射線を照射する発生源と、対象物を撮像装置に対して一の方向に搬送する搬送装置と、を備える。
 あるいは、実施形態の他の側面に係る放射線画像取得方法は、対象物を透過した放射線に応じたシンチレーション光を一の方向にスキャンして撮像して放射線画像を取得するステップと、放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、放射線画像からノイズを除去するノイズ除去処理を実行するステップと、を備え、取得するステップでは、一の方向に沿って配列されたM個(Mは、2以上の整数)の画素を有する画素ラインが、一の方向に直交する方向にN列(Nは2上の整数)配列されて構成され、画素毎にシンチレーション光に関する検出信号を出力する検出素子を用いて、検出素子のN列の画素ライン毎に、M個の画素のうちの少なくとも2個の画素から出力される検出信号を加算し、加算したN個の検出信号を順次出力することにより、放射線画像を出力する。
 上記一側面あるいは他の側面のいずれかによれば、対象物を透過した放射線に応じたシンチレーション光が、対象物のスキャンの方向に配列されたM個の画素を有する画素ラインがN列で配列された検出素子によって検出され、画素ライン毎に出力されたM個の画素の検出信号のうちの少なくとも2個の画素の検出信号が加算され、加算されたN個の検出信号が順次出力されることにより、放射線画像が出力される。加えて、出力された放射線画像を、予め画像データを用いた機械学習により構築された学習済みモデルに入力させることにより、その放射線画像に対してノイズ除去処理が施される。これにより、放射線画像において信号成分を大きくしつつノイズ成分を除去することができ、放射線画像におけるS/N比を効果的に向上させることができる。
 実施形態によれば、放射線画像におけるS/N比を効果的に向上させることができる。
第1実施形態にかかる画像取得装置1の概略構成図である。 図1のスキャンカメラ12の構成を示す平面図である。 図1の制御装置20のハードウェア構成の一例を示すブロック図である。 図1の制御装置20の機能構成を示すブロック図である。 図4の画像取得部203が取得したX線画像の一例を示す図である。 図4のノイズマップ生成部204によるノイズ標準偏差マップの生成例を示す図である。 図4の学習済みモデル207の入出力データの一例を示す図である。 学習済みモデル207の構築に用いられる訓練データの1つである訓練画像の一例を示す図である。 構築部206による学習済みモデル207の構築に用いられる教師データ(訓練データ)である画像データの作成手順を示すフローチャートである。 画像取得装置1による観察処理の手順を示すフローチャートである。 本開示の変形例に係る制御装置20Aの機能構成を示すブロック図である。 本開示の変形例に係る画像取得装置1による観察処理の手順を示すフローチャートである。 図11の算出部202Aによる透過X線のエネルギースペクトルのシミュレーション計算結果の一例を示すグラフである。 図11の算出部202Aによる、対象物の厚さと平均エネルギー及び透過率との関係のシミュレーション計算結果の一例を示す図表である。 図11の算出部202Aによる、対象物の厚さとX線の透過率との関係のシミュレーション計算結果の一例を示すグラフである。 図11の算出部202Aによる、対象物の厚さと透過X線の平均エネルギーとの関係のシミュレーション計算結果の一例を示すグラフである。 図11の算出部202AによるX線画像の画素値と平均エネルギーとの関係のシミュレーション計算結果の一例を示すグラフである。 X線画像の画素値とノイズ値の標準偏差との関係のシミュレーション計算結果の一例を示すグラフである。 図11の算出部202Aにおいて導出される、対象物の材質が変化した場合の画素値とノイズ値の標準偏差との関係の一例を示すグラフである。 本開示の別の変形例に係る制御装置20Bの機能構成を示すブロック図である。 本開示の別の変形例に係る画像取得装置1による観察処理の手順を示すフローチャートである。 図20のノイズマップ生成部204Bによるノイズ標準偏差マップの生成例を示す図である。 本開示の別の変形例に係る画像取得装置1において撮像に用いられる治具の構造の一例を示す斜視図である。 図23の治具の撮像画像の一例を示す図である。 第2実施形態に係る制御装置20Cの機能構成を示すブロック図である。 図25の学習済みモデル206Cの構築に用いられる教師データである画像データの一例を示す図である。 図25の選択部204Cの解析対象のX線透過画像の一例を示す図である。 図25の選択部204Cが取得した厚さ-輝度の特性グラフの一例を示す図である。 図25の選択部204Cが取得した輝度-SNRの特性グラフの一例を示す図である。 図25の選択部204Cによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。 図25の選択部204Cによる解像度の評価に用いられるX線透過画像の一例を示す図である。 図25の選択部204Cによる輝度-ノイズ比の評価に用いられる治具の構造の一例を示す斜視図である。 図32の治具を対象に得られたノイズ除去処理後のX線透過画像を示す図である。 第2実施形態に係る画像取得装置1を用いた観察処理の手順を示すフローチャートである。 第2実施形態の変形例に係る制御装置20Dの機能構成を示すブロック図である。 第2実施形態の変形例に係る画像取得装置1を用いた観察処理の手順を示すフローチャートである。 第3実施形態に係る制御装置20Eの機能構成を示すブロック図である。 図37の学習済みモデル206Eの構築に用いられる教師データである画像データの一例を示す図である。 図37の特定部202Eの解析対象のX線透過画像の一例を示す図である。 図37の特定部202Eが取得した厚さ-輝度の特性グラフの一例を示す図である。 図37の特定部202Eが取得した輝度-SNRの特性グラフの一例を示す図である。 図37の特定部202Eによる解像度の評価に用いられるX線透過画像の一例を示す図である。 図37の選択部204Eによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。 図37の選択部204Eによる輝度-ノイズ比の評価に用いられる治具の構造の一例を示す斜視図である。 図44の治具を対象に得られたノイズ除去処理後のX線透過画像を示す図である。 第3実施形態に係る画像取得装置1を用いた観察処理の手順を示すフローチャートである。
 以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
[第1実施形態]
 図1は、本実施形態に係る放射線画像取得装置および放射線画像取得システムである画像取得装置1の構成図である。図1に示されるように、画像取得装置1は、搬送方向TDに搬送される対象物Fに対してX線(放射線)を照射し、対象物Fを透過したX線に基づき対象物Fを撮像したX線透過画像(放射線画像)を取得する装置である。画像取得装置1は、X線透過画像を用いて、対象物Fを対象にした異物検査、重量検査、検品検査などを行い、用途としては、食品検査、手荷物検査、基板検査、電池検査、材料検査等が挙げられる。画像取得装置1は、ベルトコンベア(搬送装置)60と、X線照射器(放射線発生源)50と、X線検出カメラ(撮像装置)10と、制御装置(画像処理モジュール)20と、表示装置30と、各種入力を行うための入力装置40と、を備えて構成されている。なお、本開示の実施形態における放射線画像とは、X線画像に限らず、γ線などのX線以外の電磁放射線による画像も含む。
 ベルトコンベア60は、対象物Fが載置されるベルト部を有しており、該ベルト部を搬送方向(一の方向)TDに移動させることにより、対象物Fを所定の搬送速度で搬送方向TDに搬送する。対象物Fの搬送速度は、例えば48m/分である。ベルトコンベア60は、必要に応じて、搬送速度を、例えば24m/分、96m/分等の搬送速度に変更することができる。また、ベルトコンベア60は、ベルト部の高さ位置を適宜変更し、X線照射器50と対象物Fとの距離を変更することができる。なお、ベルトコンベア60で搬送される対象物Fとしては、例えば、食肉、魚介類、農作物、菓子等の食品、タイヤ等のゴム製品、樹脂製品、金属製品、鉱物等の資源材料、廃棄物、及び電子部品や電子基板等、様々な物品を挙げることができる。X線照射器50は、X線源としてX線を対象物Fに照射(出力)する装置である。X線照射器50は、点光源であり、一定の照射方向に所定の角度範囲でX線を拡散させて照射する。X線照射器50は、X線の照射方向がベルトコンベア60に向けられると共に、拡散するX線が対象物Fの幅方向(搬送方向TDと交差する方向)全体に及ぶように、ベルトコンベア60から所定の距離を離れてベルトコンベア60の上方に配置されている。また、X線照射器50は、対象物Fの長さ方向(搬送方向TDと平行な方向)においては、長さ方向における所定の分割範囲が照射範囲とされ、対象物Fがベルトコンベア60にて搬送方向TDへ搬送されることにより、対象物Fの長さ方向全体に対してX線が照射されるようになっている。X線照射器50は、制御装置20により管電圧及び管電流が設定され、設定された管電圧及び管電流に応じた所定のエネルギー、放射線量のX線を、ベルトコンベア60に向けて照射する。また、X線照射器50のベルトコンベア60側の近傍には、X線の所定波長域を透過させるフィルタ51が設けられている。
 X線検出カメラ10は、X線照射器50により対象物Fに照射されたX線のうち、対象物Fを透過したX線を検出し、該X線に基づく検出信号を取得及び出力する。本実施形態に係る画像取得装置1は、ベルトコンベア60によって搬送される対象物Fを透過するX線に基づく検出信号を順次出力することにより、X線透過像を搬送方向TDにスキャンして撮像したX線透過画像を出力する。
 X線検出カメラ10は、フィルタ19、シンチレータ11と、スキャンカメラ12(検出素子)と、センサ制御部13と、アンプ14と、AD変換器15と、補正回路16と、出力インターフェース17と、アンプ制御部18と、を有している。シンチレータ11、スキャンカメラ12、アンプ14、AD変換器15、補正回路16、及び出力インターフェース17はそれぞれ電気的に接続されている。
 シンチレータ11は、スキャンカメラ12上に接着等により固定されており 、対象物Fを透過したX線をシンチレーション光に変換する。シンチレータ11は、シンチレーション光をスキャンカメラ12に出力する。フィルタ19は、X線の所定波長域をシンチレータ11に向けて透過させる。
 スキャンカメラ12は、シンチレータ11からのシンチレーション光を検出し、電荷に変換して、検出信号(電気信号)としてアンプ14に出力する。図2は、スキャンカメラ12の構成を示す平面図である。図2に示すように、スキャンカメラ12は、基板71上に2次元的に配列されたフォトダイオード(光電変換素子)である複数の画素72と、複数の画素72がシンチレーション光を光電変換して出力する検出信号を外部に出力する読み出し回路73と、読み出し回路73と複数の画素72のそれぞれとの間を電気的に接続する配線部Wとを備える。
 詳細には、スキャンカメラ12は、基板71上に、搬送方向TDに沿って配列されたM個(Mは、2以上の整数)の画素72からなる画素ライン(画素群)74が、搬送方向TDに略直交する方向にN列(Nは、2以上の整数)で配列された構成を有する。例えば、画素数Mは、4個であり、画素ライン数Nは、200以上30,000以下の任意の整数である。
 読み出し回路73は、センサ制御部13による制御に応じて、画素ライン74毎にM個の画素72から所定の検出周期(詳細は後述する。)の間隔で出力される検出信号を順次受け、M個の画素72からの検出信号のうち、少なくとも2個の画素72の検出信号を加算する(足し合わせる)処理を行い、画素ライン74毎に加算処理を施した検出信号を組み合わせて、搬送方向TDに直交する対象物Fの1ラインの検出信号として、外部に出力する。本実施形態では、読み出し回路73は、M個の全ての検出信号を対象に加算処理を行う。加えて、読み出し回路73は、所定の検出周期をずらしてM個の画素72から順次出力される検出信号を対象に加算処理を行うことにより、搬送方向TDに直交する対象物Fの次の1ラインの検出信号を出力する。同様にして、読み出し回路73は、搬送方向TDに直交する対象物Fの複数ラインの検出信号を順次出力する。
 センサ制御部13は、スキャンカメラ12における画素ライン74内の全画素72が、対象物Fの同じ領域を透過したX線を撮像できるように、スキャンカメラ12を、所定の検出周期で繰り返し撮像するよう制御する。所定の検出周期は、スキャンカメラ12における画素ライン74内の画素72の画素幅に基づいて設定されてもよい。所定の検出周期は、例えば、スキャンカメラ12における画素ライン74内の画素72間の距離、ベルトコンベア60の速度、X線照射器50とベルトコンベア60上の対象物Fとの距離(FOD(Focus Object Distance:線源物体間距離))、並びに、X線照射器50とスキャンカメラ12との距離(FDD(Focus Detector Distance:線源センサ間距離))に基づいてスキャンカメラ12における画素ライン74内の画素72の検出タイミングのズレ(遅延時間)を特定し、そのズレを基に所定の検出周期が設定されてもよい。
 アンプ14は、所定の設定増幅率にて検出信号を増幅して増幅信号を生成し、該増幅信号をAD変換器15に出力する。設定増幅率は、アンプ制御部18によって設定される増幅率である。アンプ制御部18は、所定の撮像条件に基づいて、アンプ14の設定増幅率を設定する。
 AD変換器15は、アンプ14により出力された増幅信号(電圧信号)をデジタル信号に変換し、補正回路16に出力する。補正回路16は、デジタル信号に対して、信号増幅等の所定の補正を行い、補正後のデジタル信号を出力インターフェース17に出力する。出力インターフェース17は、デジタル信号をX線検出カメラ10外部に出力する。
 制御装置20は、例えばPC(Personal Computer)等のコンピュータである。制御装置20は、X線検出カメラ10(より詳細には、出力インターフェース17)から順次出力された複数ラインの検出信号に対応するデジタル信号(増幅信号)に基づいてX線透過画像を生成する。本実施形態では、制御装置20は、出力インターフェース17から出力された128ライン分のデジタル信号を基に、1つのX線透過画像を生成する。生成されたX線透過画像は、後述するノイズ除去処理が施された後に表示装置30に出力され、表示装置30によって表示される。また、制御装置20は、X線照射器50、アンプ制御部18、及びセンサ制御部13を制御する。なお、本実施形態の制御装置20は、X線検出カメラ10の外部に独立に設けられた装置であるが、X線検出カメラ10の内部に一体化されていてもよい。
 図3は、制御装置20のハードウェア構成を示している。図3に示すように、制御装置20は、物理的には、プロセッサであるCPU(Central Processing Unit)101及びGPU105(Graphic Processing Unit)、記録媒体であるRAM(Random Access Memory)102及びROM(Read Only Memory)103、通信モジュール104、及び入出力モジュール106等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、制御装置20は、入力装置40及び表示装置30として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、制御装置20は、複数のコンピュータによって構成されていてもよい。
 図4は、制御装置20の機能構成を示すブロック図である。制御装置20は、入力部201、算出部202、画像取得部203、ノイズマップ生成部204、処理部205、及び構築部206を備える。図4に示す制御装置20の各機能部は、CPU101、GPU105、及びRAM102等のハードウェア上にプログラム(第1実施形態の放射線画像処理プログラム)を読み込ませることにより、CPU101及びGPU105の制御のもとで、通信モジュール104、及び入出力モジュール106等を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。制御装置20のCPU101及びGPU105は、このコンピュータプログラムを実行することによって制御装置20を図4の各機能部として機能させ、後述する放射線画像取得処理方法に対応する処理を順次実行する。なお、CPU101及びGPU105は、単体のハードウェアでもよく、いずれか一方のみでもよい。また、CPU101及びGPU105は、ソフトプロセッサのようにFPGAのようなプログラマブルロジックの中に実装されたものでもよい。RAMやROMについても単体のハードウェアでもよく、FPGAのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ROM103、RAM102等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。また、制御装置20内の内蔵メモリあるいは記憶媒体には、CPU101及びGPU105によって読み込まれることによって、CPU101及びGPU105にX線画像(X線透過画像)を対象にノイズ除去処理を実行させる学習済みモデル207が予め格納されている(後述する)。
 以下、制御装置20の各機能部の機能の詳細について説明する。
 入力部201は、放射線を照射して対象物Fを撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける。具体的には、入力部201は、対象物FのX線画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報の入力を、画像取得装置1のユーザから受け付ける。動作条件としては、管電圧、ターゲット角度、ターゲットの材料等のうちの全部又は一部が挙げられる。撮像条件を示す条件情報としては、X線照射器50とX線検出カメラ10との間に配置されるフィルタ51,19の材質及び厚さ、X線照射器50とX線検出カメラ10との距離(FDD)、X線検出カメラ10の窓材の種類、及び、X線検出カメラ10のシンチレータ11の材料及び厚さに関する情報、X線検出カメラ情報(例えば、ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート(Hz)もしくはラインスピード(m/min))、対象物Fの情報等のうちの全部又は一部が挙げられる。入力部201は、条件情報の入力を、数値等の情報の直接入力として受け付けてもよいし、予め内部メモリに設定された数値等の情報に対する選択入力として受け付けてもよい。入力部201は、上記の条件情報の入力をユーザから受け付けるが、一部の条件情報(管電圧等)を、制御装置20による制御状態の検出結果に応じて取得してもよい。
 算出部202は、条件情報を基に、対象物Fを透過したX線(放射線)に関する平均エネルギーを算出する。条件情報には、発生源の管電圧、対象物Fに関する情報、対象物Fの撮像に用いるカメラが備えるフィルタの情報、カメラが備えるシンチレータの情報、X線発生源が備えるフィルタの情報のいずれか1つが少なくとも含まれる。具体的には、算出部202は、入力部201によって入力を受け付けられた条件情報を基に、画像取得装置1を用いて対象物Fを透過させてX線検出カメラ10によって検出させるX線の平均エネルギーの値を算出する。例えば、算出部202は、条件情報に含まれる、管電圧、ターゲット角度、ターゲットの材料、フィルタ51,19の材質及び厚さ及びその有無、X線検出カメラ10の窓材の種類及びその有無、X線検出カメラ10のシンチレータ11の材料及び厚さ、等の情報に基づいて、X線検出カメラ10で検出されるX線のスペクトルを、例えば公知のTucker等の近似式を用いて算出する。そして、算出部202は、X線のスペクトルから、スペクトル強度積分値と光子数積分値とをさらに算出し、スペクトル強度積分値を光子数積分値で除することによりX線の平均エネルギーの値を算出する。
 公知のTuckerの近似式を用いた算出方法について記載する。例えば、算出部202は、ターゲットをタングステン、ターゲット角度を25°と特定すると、Em:電子ターゲット衝突時の運動エネルギー、T:ターゲット中の電子運動エネルギー、A:ターゲット物質の原子番号で決まる比例定数、ρ:ターゲットの密度、μ(E):ターゲット物質の線減弱係数、B:緩やかに変化するZとTの関数、C:Thomson-Whiddington定数、θ:ターゲット角度、c:真空中の光速度、を決定することができる。さらに、算出部202は、それらを基に下記式(1)を計算することにより、照射X線スペクトルが算出できる。
Figure JPOXMLDOC01-appb-M000001
 
なお、Emは管電圧の情報から決定でき、A、ρ、μ(E)は、対象物Fの材料の情報から決定でき、θは対象物Fの角度の情報から決定できる。
 次に、算出部202は、フィルタ及び対象物Fを透過してシンチレータに吸収されるX線エネルギースペクトルを下記式(2)のX線の減弱式を用いて算出できる。
Figure JPOXMLDOC01-appb-M000002
 
ここで、μは対象物F、フィルタ、シンチレータ等の減弱係数、xは対象物F、フィルタ、シンチレータ等の厚さである。μは対象物F、フィルタ、及びシンチレータの材質の情報から決定でき、xは対象物F、フィルタ、及びシンチレータの厚さの情報から決定できる。X線光子数スペクトルは、このX線エネルギースペクトルを各X線のエネルギーで除することで求まる。算出部202は、X線の平均エネルギーを、エネルギー強度の積分値を光子数の積分値で除することにより、下記式(3)を用いて算出する。
平均エネルギーE=スペクトル強度積分値/光子数積分値  …(3)
上記の計算過程により、算出部202は、X線の平均エネルギーを算出する。なお、X線スペクトルの算出に関しては、公知のKramersや、Birchらによる近似式を使用してもよい。
 画像取得部203は、対象物Fに放射線が照射され、対象物Fを透過した放射線が撮像された放射線画像を取得する。具体的には、画像取得部203は、X線検出カメラ10(より詳細には、出力インターフェース17)から出力されたデジタル信号(増幅信号)に基づいてX線画像を生成する。画像取得部203は、出力インターフェース17から出力された複数ライン分のデジタル信号を基に1つのX線画像を生成する。図5は、画像取得部203が取得したX線画像の一例を示す図である。
 ノイズマップ生成部204は、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成する。このとき、ノイズマップ生成部204は、対象物Fを透過した放射線に関する平均エネルギー、及び、放射線画像の各画素の画素値から、評価値を導出する。具体的には、ノイズマップ生成部204は、画素値とノイズ値の標準偏差(ノイズ値の広がりを評価した評価値)との関係式(関係データ)を用いて、算出部202によって算出されたX線の平均エネルギー、及び画像取得部203によって取得されたX線画像(放射線画像)の各画素の画素値からノイズ値の標準偏差を導出する。ノイズマップ生成部204は、X線画像の各画素に、導出したノイズ値の標準偏差を対応付けることにより、ノイズ標準偏差マップ(ノイズマップ)を生成する。
 ノイズマップ生成部204によって使用される画素値及び平均エネルギーとノイズ値の標準偏差との関係式は、下記式(4)で表される。
Figure JPOXMLDOC01-appb-M000003
 
 上記式(4)中、変数Noiseはノイズ値の標準偏差、変数Signalは画素の信号値(画素値)、定数Fはノイズファクター(Noise Factor)、定数Mはシンチレータによる増倍率、定数Cは、X線検出カメラ10においてスキャンカメラ12とシンチレータ11とのカップリング効率(Coupling Efficiency)、定数Qはスキャンカメラ12の量子効率(Quantum Efficiency)、定数cfはスキャンカメラ12において画素の信号値を電荷に変換する変換係数、変数EmはX線の平均エネルギー、定数Dは、イメージセンサにおいて熱雑音によって発生した暗電流ノイズ、定数Rはスキャンカメラ12における読み出しノイズ、をそれぞれ表す情報である。上記式(4)が使用される際、ノイズマップ生成部204により、変数Signalには画像取得部203によって取得されたX線画像の各画素の画素値が代入され、変数Emには算出部202によって算出された平均エネルギーの数値が代入される。そして、ノイズマップ生成部204により、上記式(4)を用いて計算された変数Noiseが、ノイズ値の標準偏差の数値として得られる。なお、平均エネルギーを含むその他のパラメータは、入力部201によって入力を受け付けられることで取得されてもよいし、予め設定されていてもよい。
 図6は、ノイズマップ生成部204によるノイズ標準偏差マップの生成例を示す図である。ノイズマップ生成部204は、画素値とノイズ値の標準偏差との関係式(4)を用いて、変数Signalに様々な画素値を代入して画素値と変数Noiseとの対応関係を取得することにより、画素値とノイズ値の標準偏差との対応関係を表す関係グラフG3を導出する。そして、ノイズマップ生成部204は、画像取得部203によって取得されたX線画像G1から、それぞれの画素位置と画素値との対応関係を表す関係データG2を導出する。さらに、ノイズマップ生成部204は、関係グラフG3の示す対応関係を、関係データG2における各画素値に適用することによって、X線画像における各画素位置の画素に対応したノイズ値の標準偏差を導出する。その結果、ノイズマップ生成部204は、導出したノイズの標準偏差を各画素位置に対応付け、それぞれの画素位置とノイズの標準偏差との対応関係を示す関係データG4を導出する。そして、ノイズマップ生成部204は、導出した関係データG4を基に、ノイズ標準偏差マップG5を生成する。
 処理部205は、放射線画像及びノイズマップを、予め機械学習によって構築された学習済みモデル207に入力し、放射線画像からノイズを除去する画像処理を実行する。すなわち、図7に示されるように、処理部205は、制御装置20内の内蔵メモリあるいは記憶媒体から、構築部206によって構築された学習済みモデル207(後述する)を取得する。処理部205は、画像取得部203によって取得されたX線画像G1、及びノイズマップ生成部204によって生成されたノイズ標準偏差マップG5を、学習済みモデル207に入力する。これにより、処理部205は、学習済みモデル207を利用してX線画像G1からノイズを除去する画像処理を実行させることにより出力画像G6を生成する。そして、処理部205は、生成した出力画像G6を表示装置30等に出力する。
 構築部206は、放射線画像である訓練画像、画素値とノイズ値の標準偏差との関係式に基づいて訓練画像から生成されたノイズマップ、及び、訓練画像からノイズが除去されたデータであるノイズ除去画像データ、を訓練データとして用いて、訓練画像及びノイズマップを基にノイズ除去画像データを出力する学習済みモデル207を、機械学習によって構築する。構築部206は、構築した学習済みモデル207を、制御装置20内の内蔵メモリあるいは記憶媒体に記憶させる。機械学習には、教師あり学習、教師なし学習、強化学習があり、それらの学習の中には、深層学習(ディープラーニング)、ニューラルネットワーク学習などがある。第1実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。なお、学習済みモデル207は、構築部206によって構築される以外に、外部のコンピュータ等により生成されて制御装置20にダウンロードされてもよい。なお、機械学習に用いられる放射線画像は、既知の構造物を撮像した放射線画像、或いは当該放射線画像を再現した画像を含む。
 図8は、学習済みモデル207の構築に用いられる訓練データの1つである訓練画像の一例である。訓練画像としては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線画像が用いられうる。図8に示す例は、鶏肉を対象に生成された訓練画像G7である。該訓練画像G7は、実際に画像取得装置1を用いて複数種類の既知の構造物を対象に生成されたX線画像を用いてもよいし、シミュレーション計算によって生成された画像を用いてもよい。X線画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。
 構築部206は、機械学習を行うための前処理として、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成する。具体的には、構築部206は、学習済みモデル207を構築する際に、実際の撮像あるいはシミュレーション計算等により生成された訓練画像を、画像取得部203等から取得する。そして、構築部206は、例えば、画像取得装置1のX線照射器50の動作条件あるいは画像取得装置1の撮像条件等を設定する。あるいは、構築部206は、シミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定する。構築部206は、算出部202と同様の手法を用いて、X線の平均エネルギーを、上記の動作条件あるいは撮像条件を基に計算する。さらに、構築部206は、図6に示したようなノイズマップ生成部204による手法と同様の手法を用いて、X線の平均エネルギー及び該訓練画像を基に、ノイズ標準偏差マップを生成する。つまり、機械学習方法の前処理方法は、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成ステップを備える。
 構築部206は、訓練画像、該訓練画像から生成したノイズマップ、及び訓練画像から予めノイズが除去されたデータであるノイズ除去画像データを訓練データとして用いて、学習済みモデル207を機械学習によって構築する。具体的には、構築部206は、該訓練画像からノイズが除去されたノイズ除去画像データを予め取得する。構築部206は、訓練画像がシミュレーション計算によって生成されたX線画像である場合、訓練画像の生成過程においてノイズが付加される前の画像を、ノイズ除去画像データとする。一方、構築部206は、訓練画像が、実際に画像取得装置1を用いて複数種類の既知の構造物を対象に生成されたX線画像である場合、X線画像から平均値フィルタ、或いはメディアンフィルタ、バイラテラルフィルタ、NLMフィルタなどの画像処理を用いてノイズ除去された画像をノイズ除去画像データとする。構築部206は、該訓練画像及びノイズ標準偏差マップを基にノイズ除去画像データを出力する学習済みモデル207を、機械学習によるトレーニングを実行して構築する。
 図9は、構築部206による学習済みモデル207の構築に用いられる教師データ(訓練データ)である画像データの作成手順を示すフローチャートである。
 教師データである画像データ(教師画像データともいう。)はコンピュータによって次の手順で作成される。まず、所定の構造をもつ構造体の画像(構造体画像)を作成する(ステップS301)。例えば、シミュレーション計算により、所定の構造を持つ構造体の画像を作成してもよい。また、所定の構造をもつチャートなどの構造体のX線画像を取得して構造体画像を作成してもよい。次に、この構造体画像を構成する複数の画素のうちから選択した一の画素について、画素値の標準偏差であるシグマ値を算出する(ステップS302)。そして、ステップS302で求めたシグマ値に基づいてノイズ分布を示す正規分布(ポアソン分布)を設定する(ステップS303)。このように、シグマ値に基づいて正規分布を設定することで様々なノイズ条件の教師データを生成することができる。続いて、ステップS303でシグマ値に基づいて設定された正規分布に沿って、ランダムに設定されたノイズ値を算出する(ステップS304)。さらに、一の画素の画素値にステップS304で求めたノイズ値を付加することで、教師データである画像データを構成する画素値を生成する(ステップS305)。ステップS302~ステップS305までの処理を、構造体画像を構成する複数の画素それぞれに対して行い(ステップS306)、教師データとなる教師画像データを生成する(ステップS307)。また、教師画像データがさらに必要な場合は、ステップS301~ステップS307までの処理を、別の構造体画像に対して行うことを判断し(ステップS308)、教師データとなる別の教師画像データを生成する。なお、別の構造体画像は、同じ構造を持つ構造体の画像であってもよいし、別の構造を持つ構造体の画像であってもよい。
 なお、学習済みモデル207の構築に用いられる教師データである画像データは多数用意する必要がある。また、構造体画像は、ノイズが少ない画像がよく、理想的には、ノイズがない画像がよい。そのため、シミュレーション計算によって構造体画像を生成すると、ノイズがない画像を数多く生成することができるので、シミュレーション計算によって、構造体画像を生成することは効果的である。
 次に、第1実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第1実施形態に係る放射線画像取得方法の流れについて説明する。図10は、画像取得装置1による観察処理の手順を示すフローチャートである。
 まず、構築部206によって、訓練画像、関係式に基づいて訓練画像から生成されたノイズ標準偏差マップ、及びノイズ除去画像データ、を訓練データとして用いて、訓練画像及びノイズ標準偏差マップを基にノイズ除去画像データを出力する学習済みモデル207が、機械学習によって構築される。(ステップS100)。次に、入力部201によって、画像取得装置1のオペレータ(ユーザ)から、X線照射器50の動作条件あるいはX線検出カメラ10による撮像条件等を示す条件情報の入力が受け付けられる(ステップS101)。そして、算出部202によって、条件情報を基に、X線検出カメラ10によって検出されるX線の平均エネルギーの値が算出される(ステップS102)。
 続いて、画像取得装置1において対象物Fがセットされて対象物Fが撮像され、制御装置20によって、対象物FのX線画像が取得される(ステップS103)。さらに、制御装置20によって、画素値とノイズ値の標準偏差との関係式に基づいて、X線の平均エネルギー及びX線画像の各画素の画素値からノイズ値の標準偏差が導出され、導出されたノイズの標準偏差が各画素値に対応付けられることにより、ノイズ標準偏差マップが生成される(ステップS104)。
 次に、処理部205によって、予め構築され記憶された学習済みモデル207に、対象物FのX線画像及びノイズ標準偏差マップが入力され、X線画像を対象にノイズ除去処理が実行される(ステップS105)。さらに、処理部205によって、ノイズ除去処理が施されたX線画像である出力画像が、表示装置30に出力される。(ステップS106)。
 以上説明した画像取得装置1によれば、対象物Fを透過したX線に応じたシンチレーション光が、対象物Fのスキャンの方向TDに配列されたM個の画素72を有する画素ライン74がN列で配列されたスキャンカメラ12によって検出され、画素ライン74毎に出力されたM個の画素72の検出信号のうちの少なくとも2個の画素72の検出信号が加算され、加算されたN個の検出信号が順次出力されることにより、X線画像が出力される。加えて、出力されたX線画像を、予め画像データを用いた機械学習により構築された学習済みモデル207に入力させることにより、そのX線画像に対してノイズ除去処理が施される。これにより、X線画像において信号成分を大きくしつつノイズ成分を除去することができ、X線画像におけるS/N比を効果的に向上させることができる。具体的には、学習済みモデル207を用いたノイズ除去処理を施した場合は、ノイズ除去処理を施さない場合に比較して、CNR(Contrast to Noise Ratio)が約6.4倍に改善され、バイラテラルフィルタによるノイズ除去処理によるCNRの約1.9倍の改善効果に比較しても改善効果が大きいことが分かった。
 また、画像取得装置1においては、学習済みモデル207は、所定の構造体のX線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される。これにより、学習済みモデル207の構築に用いられる教師データである画像データを用意することが容易となり、学習済みモデル207を効率的に構築することができる。
 また、画像取得装置1によれば、画素値とノイズ値の標準偏差の関係式を用いて、X線画像の各画像の画素値からノイズ値の標準偏差が導出され、X線画像の各画素に導出したノイズ値の標準偏差を対応付けたデータであるノイズ標準偏差マップが生成される。そして、X線画像及びノイズ標準偏差マップが、予め機械学習によって構築された学習済みモデル207に入力され、X線画像からノイズを除去する画像処理が実行される。かかる構成によれば、X線画像の各画素の画素値から導出されるノイズ値の標準偏差が考慮されて、該X線画像の各画素におけるノイズが機械学習により除去される。これにより、学習済みモデル207を用いて、X線画像における画素値とノイズ値の標準偏差との関係に対応したノイズ除去が実現できる。その結果、X線画像におけるノイズを効果的に除去できる。
 特に、X線画像は、管電圧、フィルタ、シンチレータ、X線検出カメラの条件(ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート)、対象物等の違いによってノイズの態様が変化する。そのため、機械学習によってノイズ除去を実現しようとする場合、様々な条件で学習させた学習モデルを用意しておくことが考えられる。つまり、比較例として、X線画像の測定時の条件に合わせて複数の学習モデルを構築し、条件ごとに学習モデルを選択し、ノイズ除去処理が実行する手法も採りうる。このような比較例の場合、例えば、X線の平均エネルギー、X線検出カメラのゲイン、及びX線カメラの種類などのノイズ条件ごとに、学習モデルを構築しなければならず、膨大な数の学習モデルを生成する必要があり、構築のための多くの時間を要する場合がある。一例として、X線の平均エネルギーが10通り、X線検出カメラのゲインが8通り、製品の種類が3種類であるとき、240個の学習済みモデルが必要になるが、学習済みモデルの構築に1モデルにつき1日を要する場合、機械学習のために、240日もの時間がかかってしまう。この点、本実施形態によれば、X線画像からノイズマップを生成し、当該ノイズマップを機械学習の入力データとすることで、学習済みモデルの生成が必要なノイズ条件を低減することができ、学習済みモデル207を構築するための学習時間が大きく低減される。
[第1実施形態の制御装置20の変形例]
 図11は、第1実施形態の変形例における制御装置20Aの機能構成を示すブロック図である。制御装置20Aは、上述した第1実施形態に比較して、算出部202AにおいてX線画像の画素値からX線の平均エネルギーを導出する機能を有する点、及びノイズマップ生成部204AにおいてX線画像の画素値及び該X線画像から導出されたX線の平均エネルギーに基づいて、ノイズ標準偏差マップを導出する機能を有する点が異なる。図12は、図11の制御装置20Aを含む画像取得装置1による観察処理の手順を示すフローチャートである。図12に示されるように、制御装置20Aにおいては、図10に示す第1実施形態に係る制御装置20のステップS103に示す処理が、ステップS100の直後に行われる。そして、制御装置20Aにおいては、S102A、S104Aに示す処理が、制御装置20のステップS102、S104の処理に置き換えて実行される。
 算出部202Aは、放射線画像の各画素の画素値から平均エネルギーを算出する(ステップS102A)。具体的には、算出部202Aは、X線スペクトルのシミュレーション計算等により、条件情報ごとに画素値と平均エネルギーの関係を予め導出する。算出部202Aは、入力部201によって取得された管電圧、及びX線検出カメラ10が備えるシンチレータの情報を少なくとも含む条件情報を取得する。そして、算出部202Aは、該条件情報を基に、予め導出しておいた画素値と平均エネルギーの関係の中から、該条件情報に対応する関係を選択する。さらに、算出部202Aは、選択した関係に基づいて、画像取得部203によって取得されたX線画像の各画素の画素値から、画素毎の平均エネルギーを導出する。
 以下、算出部202Aによる、該条件情報ごとの画素値と平均エネルギーの関係の導出について図13~図17を用いて説明する。
 最初に、算出部202Aは、条件情報を基に、対象物Fの厚さとX線の透過率との関係を表すグラフG18、及び対象物Fの厚さとX線の平均エネルギーとの関係を表すグラフG19を導出する。具体的には、図13の(a)部~(d)部に示すように、算出部202Aは、管電圧及びX線検出カメラ10が備えるシンチレータの情報を少なくとも含む条件情報を基に、対象物Fの厚さを様々に変更した場合に透過するX線のエネルギースペクトルG14~G17を、シミュレーション計算により算出する。図13は、算出部202Aによる対象物Fを透過したX線のエネルギースペクトルのシミュレーション計算結果の一例を示すグラフである。ここでは、水によって構成される対象物Fの厚さを段階的に増加させてシミュレーション計算を行った場合の透過X線のエネルギースペクトルG14~G17が例示されている。さらに、算出部202Aは、算出したエネルギースペクトルG14~G17を基に、対象物Fの厚さを様々に変更した場合に透過するX線の平均エネルギーを算出する。なお、算出部202Aは、シミュレーション計算以外に、厚さが既知の構造物を対象に撮像することにより得られたX線画像を基に、対象物Fの厚さと平均エネルギーの関係が得られてもよい。
 さらに、算出部202Aは、上記のシミュレーション結果を基に、対象物Fの厚さとX線の透過率との関係も導出する。図14は、算出部202Aによって導出された、対象物Fの厚さと平均エネルギー及び透過率との関係の一例を示す図表である。図14に示されるように、対象物Fの厚さ毎に算出されたエネルギースペクトルG14~G17のそれぞれに対応して、透過X線の平均エネルギー及びX線の透過率が導出される。
 続いて、算出部202Aは、様々な厚さの対象物Fに対して導出したX線の透過率から、対象物Fの厚さとX線の透過率との関係を示すグラフG18を導出する。図15は、算出部202Aによって導出された、対象物Fの厚さと対象物Fに対するX線の透過率との関係を示すグラフである。加えて、算出部202Aは、様々な厚さの対象物Fに対して導出したX線の平均エネルギーから、対象物Fの厚さとX線の平均エネルギーとの関係を示すグラフG19を導出する。図16は、算出部202Aによって導出された、対象物Fの厚さと、対象物Fを透過するX線の平均エネルギーとの関係を示すグラフである。
 そして、算出部202Aは、様々な条件情報ごとに導出した2つのグラフG18,G19に基づいて、図17に示されるようなX線画像の画素値と平均エネルギーとの関係を示すグラフG20を、様々な条件情報ごとに導出する。図17は、算出部202Aによって導出されたX線画像の画素値と平均エネルギーとの関係を示すグラフである。具体的には、算出部202Aは、条件情報を基に、対象物Fが存在しない場合のX線画透過像の画素値Iを導出する。そして、算出部202Aは、対象物Fが存在する場合のX線画像の画素値Iを設定し、X線の透過率であるI/Iを計算する。さらに、算出部202Aは、対象物Fの厚さと対象物Fに対するX線の透過率とのグラフG18に基づいて、計算したX線の透過率であるI/Iから、対象物Fの厚さを導出する。最後に、算出部202Aは、導出した対象物Fの厚さと、対象物Fの厚さと透過X線の平均エネルギーとのグラフG19とに基づいて、その厚さに対応する透過X線の平均エネルギーを導出する。続いて、算出部202Aは、上記の導出を、X線画像の画素値Iを様々に変化させながら、様々な条件情報ごとに行うことにより、X線画像の画素値と透過X線の平均エネルギーとの関係を示すグラフG20を、条件情報ごとに導出する。
 ここで、算出部202Aによる画素値を基にした平均エネルギーの導出例について説明する。例えば、算出部202Aが、条件情報を基に対象物Fが存在しない場合のX線画透過像の画素値をI=5000と導出し、対象物Fが存在する場合のX線画像の画素値がI=500であると設定した場合を想定する。この場合、算出部202Aは、X線の透過率をI/I=0.1であると計算する。続いて、算出部202Aは、対象物Fの厚さと対象物Fに対するX線の透過率との関係を示すグラフG18に基づいて、X線の透過率0.1に対応する厚さが30mmであると導出する。さらに、算出部202Aは、対象物Fの厚さと透過X線の平均エネルギーとの関係を示すグラフG19に基づいて、画素値500に対応する平均エネルギーが27keVであると導出する。最後に、算出部202Aは、各画素値ごとにX線の平均エネルギーの導出を繰り返し、X線画像の画素値と平均エネルギーとの関係を示すグラフG20を導出する。
 さらに、算出部202Aは、以上の手順で予め導出した複数のグラフG20の中からから、入力部201によって取得された条件情報に対応するグラフG20を選択する。算出部202Aは、選択したグラフG20に基づいて、画像取得部203によって取得されたX線画像の各画素の画素値に対応する透過X線の平均エネルギーを導出する。
 なお、算出部202Aは、予め条件情報ごとに画素値とX線の平均エネルギーの関係を導出するのではなく、入力部201によって取得された条件情報とX線画像の各画素の画素値とから、グラフG18,G19を参照してX線の平均エネルギーを導出してもよい。具体的には、算出部202Aは、条件情報を基に対象物が存在しない場合のX線画像の画素値Iを導出する。そして、算出部202Aは、画像取得部203によって取得されたX線画像の各画素の画素値Iごとに画素値Iに対する比率を求めることにより、透過率を計算する。さらに、算出部202Aはし、厚さとX線の透過率との関係を示すグラフG18と、計算した透過率とに基づいて厚さを導出する。そして、算出部202Aは、厚さと平均エネルギーとの関係を示すグラフG19と、導出した厚さとに基づいて平均エネルギーを導出することで、X線画像の各画素の画素値ごとに平均エネルギーを導出する。
 ノイズマップ生成部204Aは、画像取得部203によって取得されたX線画像、及び算出部202Aによって導出された該X線画像の各画素に対応するX線の平均エネルギーから、ノイズ標準偏差マップを生成する(ステップS104A)。具体的には、ノイズマップ生成部204Aは、画像取得部203によって取得されたX線画像の各画素の画素値、及び算出部202Aによって各画素ごとに導出された平均エネルギーを、関係式(4)に代入することで、対象物の厚さを考慮した各画素ごとのノイズ値の標準偏差を導出する。ノイズマップ生成部204Aは、X線画像の各画素に対応したノイズ値の標準偏差を、ノイズ標準偏差マップとして生成する。
 図18は、画素値とノイズ値の標準偏差との関係の一例を表すグラフである。このグラフは、本変形例に係る算出部202A及びノイズマップ生成部204Aによって、X線画像の画素値から導出されたノイズ値の標準偏差と、X線画像の画素値との関係を示している。本変形例では、対象物の厚さを考慮してノイズ値の標準偏差が導出されるため、画素値が増加するほど対象物の厚さが小さくなり、画素における平均エネルギーが低下する。したがって、関係式(4)からも推定されるように、第1実施形態と本変形例とは、画素値が増大したときのノイズ値の標準偏差の変化が異なる。図18に示される例では、本変形例のグラフG22は、第1実施形態のグラフG21より画素値が増大したときのノイズ値の標準偏差の増大の度合いが小さい。
 第1実施形態の変形例の制御装置20Aでは、X線画像の各画素の画素値から平均エネルギーが計算される。ここで、例えば、X線画像中に厚さや材質の異なる複数の対象物が存在する場合、対象物ごとに平均エネルギーが大きく異なり、X線画像から十分にノイズを除去できない。かかる構成によれば、対象物Fを透過するX線の平均エネルギーが、X線画像の各画素の画素値ごとに計算されるため、例えば、厚さや材質の違い等を考慮し、X線画像の各画素の画素値とノイズとの関係に対応したノイズ除去を実現できる。その結果、X線画像におけるノイズを効果的に除去できる。
 なお、本変形例に係る制御装置20Aは、様々な条件情報ごとに導出したグラフG20を用いてX線画像の画素値から平均エネルギーを導出している。このとき、対象物Fの材質の違いは無視して画素値から平均エネルギーを導出してもよい。図19は、算出部202Aによって導出されたX線画像の画素値とノイズ値の標準偏差との関係を示すグラフである。ここでは、対象物Fの材質の変化も条件情報として考慮に入れて関係を導出しており、グラフG24は、材質がアルミニウムの場合、グラフG23は材質がPET(Polyethylene terephthalate)の場合、グラフG25は材質が銅の場合の導出例を示している。このように、対象物Fの材質が変化した場合でも、X線照射器50の管電圧及び対象物Fの撮像に用いるX線検出カメラ10が備えるシンチレータの情報が同一であれば、画素値と透過X線の平均エネルギーとの関係は大きく変化しないため、画素値とノイズ値の標準偏差との関係も大きく変化しない。このような性質を考慮して、制御装置20Aは、条件情報としての対象物Fの材質の違いは無視して、X線画像の画素値から平均エネルギーを導出することができる。このような場合でも、本変形例の制御装置20Aによれば、画素値とノイズの標準偏差との関係に対応したノイズ除去が実現できる。その結果、X線画像におけるノイズをさらに効果的に除去できる。
[第1実施形態の制御装置20の別の変形例]
 図20は、第1実施形態の別の変形例にかかる制御装置20Bの機能構成を示すブロック図である。制御装置20Bは、上述した第1実施形態に比較して、画像取得部203Bにおいて、治具のX線画像を取得する機能を有する点、及びノイズマップ生成部204Bにおいて、治具のX線画像から画素値とノイズ値の標準偏差との関係を示すグラフを導出する機能を有する点が異なる。図21は、図20の制御装置20Bを含む画像取得装置1による観察処理の手順を示すフローチャートである。図21に示されるように、本変形例に係る制御装置20Bにおいては、ステップS201、S202に示す処理が、図10に示す第1実施形態にかかる制御装置20によるステップS101、S102及びS104の処理に置き換えて実行される。
 画像取得部203Bは、治具に放射線が照射され、治具を透過した放射線が撮像された治具の放射線画像を取得する(ステップS201)。具体的には、画像取得部203Bは、画像取得装置1を用いて治具及び対象物Fを対象にX線を照射して撮像したX線画像を取得する。治具としては、厚さ及び材質が既知である平板状部材等が用いられる。すなわち、画像取得部203Bは、対象物Fの観察処理に先立って画像取得装置1を用いて撮像された治具のX線画像を取得する。そして、画像取得部203Bは、画像取得装置1を用いて撮像された対象物FのX線画像を取得する。ただし、治具及び対象物FのX線画像の取得タイミングは上記には限定されず、同時であってもよいし逆のタイミングであってもよい(ステップS103)。また、画像取得部203Bは、画像取得部203と同様に、対象物FにX線が照射され、対象物Fを透過したX線が撮像されたX線画像を取得する。
 画像取得装置1において治具がセットされて治具が撮像され、ノイズマップ生成部204Bは、その結果得られる治具の放射線画像から、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データを導出する(ステップS202)。具体的には、ノイズマップ生成部204Bは、治具のX線画像から、画素値とノイズ値の標準偏差との関係を表すノイズ標準偏差マップを導出する。
 図22は、ノイズマップ生成部204Bによるノイズ標準偏差マップの生成例を示す図である。ノイズマップ生成部204Bは、治具のX線画像G26から、画素値とノイズ値の標準偏差との対応関係を表す関係グラフG27を導出する。そして、ノイズマップ生成部204Bは、第1実施形態と同様にして、画像取得部203Bによって取得されたX線画像G1から、それぞれの画素位置と画素値との対応関係を表す関係データG2を導出する。さらに、ノイズマップ生成部204は、関係グラフG27の示す対応関係を、関係データG2における各画素に適用することによって、X線画像における各画素位置の画素に対応したノイズ値の標準偏差を導出する。その結果、ノイズマップ生成部204は、導出したノイズの標準偏差を各画素位置に対応付け、それぞれの画素位置とノイズの標準偏差との対応関係を示す関係データG4を導出する。そして、ノイズマップ生成部204は、導出した関係データG4を基に、ノイズ標準偏差マップG5を生成する。
 ノイズマップ生成部204Bによる、治具のX線画像G26からの、画素値とノイズ値の標準偏差との関係を表す関係グラフG27の導出について説明する。図23には、本変形例における撮像に用いられる治具の構造の一例を示している。治具には、例えば、厚さが一方向にステップ状に変化する部材P1が用いられうる。図24は、図23の治具のX線画像の一例を示している。まず、ノイズマップ生成部204Bは、治具のX線画像G26において、治具のステップごとにノイズがない場合の画素値(以下、真の画素値と表記する)を導出し、真の画素値に基づいてノイズ値の標準偏差を導出する。具体的には、ノイズマップ生成部204Bは、治具のあるステップにおける画素値の平均値を導出する。そして、ノイズマップ生成部204Bは、導出した画素値の平均値を、そのステップにおける真の画素値とする。ノイズマップ生成部204Bは、そのステップにおいて、各画素値と真の画素値との差をノイズ値として導出する。ノイズマップ生成部204Bは、導出した画素値ごとのノイズ値から、ノイズ値の標準偏差を導出する。
 そして、ノイズマップ生成部204Bは、真の画素値とノイズ値の標準偏差との関係を、画素値とノイズ値の標準偏差との関係グラフG27として導出する。具体的には、ノイズマップ生成部204Bは、治具のステップごとに、真の画素値、及びノイズ値の標準偏差を導出する。ノイズマップ生成部204Bは、導出した真の画素値とノイズ値の標準偏差との関係をグラフにプロットして、近似曲線を引くことにより、画素値とノイズ値の標準偏差との関係を表す関係グラフG27を導出する。なお、近似曲線については、指数近似、或いは線形近似、対数近似、多項式近似、累乗近似などを使用する。
 本変形例にかかる制御装置20Bでは、実際の治具を撮像して得られる放射線画像を基に関係データが生成される。これにより、対象物Fの放射線画像のノイズ除去に最適な関係データが得られる。その結果、放射線画像におけるノイズをより効果的に除去できる。
 なお、ノイズマップ生成部204Bは、治具を用いずに、対象物がない状態で管電流あるいは露光時間を変更した場合の撮像画像から、画素値とノイズ値の標準偏差との関係を導出してもよい。かかる構成によれば、実際に撮像して得られる放射線画像を基に関係データが生成され、ノイズマップが生成されるため、画素値とノイズの広がりとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズをより効果的に除去できる。
 具体的には、画像取得部203Bは、対象物がない状態で撮像された複数の放射線画像を取得し(ステップS201)、ノイズマップ生成部204Bは、画像取得部203Bによって取得された放射線画像から、画素値とノイズ値の標準偏差との関係を導出してもよい(ステップS202)。複数の放射線画像は、放射線の発生源の条件あるいは撮像条件の少なくとも一方の条件が互いに異なる複数の画像である。一例としては、画像取得部203Bは、管電流あるいは露光時間が変更されつつ、対象物Fの観察処理に先立って対象物Fがない状態で画像取得装置1を用いて撮像された複数のX線画像を取得する。そして、ノイズマップ生成部204Bは、X線画像ごとに真の画素値を導出し、本変形例と同様にして、真の画素値に基づいてノイズの標準偏差を導出する。さらに、ノイズマップ生成部204Bは、本変形例と同様にして、真の画素値とノイズの標準偏差との関係をグラフにプロットして近似曲線を引くことにより、画素値とノイズ値の標準偏差との関係を表す関係グラフを導出する。最後に、ノイズマップ生成部204Bは、第1実施形態と同様にして、導出した関係グラフを基に、画像取得部203Bによって取得されたX線画像からノイズ標準偏差マップを生成する。
[第2実施形態]
 図25は、第2実施形態に係る制御装置20Cの機能構成を示すブロック図である。制御装置20Cは、入力部201C、算出部202C、絞込部203C、選択部204C、及び処理部205Cを備える。
 また、制御装置20Cには、X線透過画像を対象にノイズ除去処理を実行させる学習済みモデル206Cが予め複数格納されている。複数の学習済みモデル206Cは、それぞれ、画像データを教師データとして予め構築された機械学習による学習モデルである。機械学習には、教師あり学習、深層学習(ディープラーニング)、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyonda Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。複数の学習済みモデル206Cは、外部のコンピュータ等により生成されて制御装置20Cにダウンロードされてもよいし、制御装置20C内で生成されてもよい。
 図26には、学習済みモデル206Cの構築に用いられる教師データである画像データの一例を示す。教師データとしては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線透過画像が用いられうる。図26に示す例は、鶏肉を対象に生成されたX線透過画像の例である。この画像データは、実際に画像取得装置1を用いて複数種類の対象物を対象に生成されたX線透過画像を用いてもよいし、シミュレーション計算によって生成された画像データを用いてもよい。X線透過画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。また、X線透過画像とシミュレーション計算によって生成された画像データを組み合わせて用いてもよい。複数の学習済みモデル206Cは、それぞれ、平均エネルギーが異なる透過X線を対象に得られた画像データであって、ノイズ分布が既知の画像データを用いて予め構築されている。画像データにおけるX線の平均エネルギーは、それぞれ、画像取得装置1のX線照射器(放射線発生源)50の動作条件あるいは画像取得装置1の撮像条件等を設定することにより、あるいはシミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定することにより、予め異なる値に設定されている(動作条件あるいは撮像条件による平均エネルギーの設定方法については後述する。)。つまり、複数の学習済みモデル206Cは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報を基に算出された対象物Fを透過したX線に関する平均エネルギーに対応するX線画像である訓練画像を訓練データとして用いて、機械学習によって構築される(構築ステップ)。例えば、本実施形態では、複数の学習済みモデル206Cは、それぞれ、平均エネルギーが、10keV、20keV、30keV、…と10keV刻みの値が設定された複数種類の画像データを複数フレーム(例えば、20,000フレーム)用いて構築されている。
 学習済みモデル206Cの構築に用いられる教師データである画像データは、上述した第1実施形態における作成手順と同様な作成手順によって生成される。
 以下、図25に戻って、制御装置20Cの各機能部の機能の詳細について説明する。
 入力部201Cは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報の入力を、画像取得装置1のユーザから受け付ける。動作条件としては、管電圧、ターゲット角度、ターゲットの材料等のうちの全部又は一部が挙げられる。撮像条件を示す条件情報としては、X線照射器50とX線検出カメラ10との間に配置されるフィルタ51,19(対象物の撮像に用いるカメラが備えるフィルタ或いは発生源が備えるフィルタ)の材質及び厚さ、X線照射器50とX線検出カメラ10との距離(FDD)、X線検出カメラ10の窓材の種類、及び、X線検出カメラ10のシンチレータ11の材料及び厚さに関する情報、X線検出カメラ情報(例えば、ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(電子数/count)、カメラのラインレート(Hz)もしくはラインスピード(m/min))、対象物の情報等のうちの全部又は一部が挙げられる。入力部201Cは、条件情報の入力を、数値等の情報の直接入力として受け付けてもよいし、予め内部メモリに設定された数値等の情報に対する選択入力として受け付けてもよい。入力部201Cは、上記の条件情報の入力をユーザから受け付けるが、一部の条件情報(管電圧等)を、制御装置20Cによる制御状態の検出結果に応じて取得してもよい。
 算出部202Cは、入力部201Cによって受け付けられた条件情報を基に、画像取得装置1を用いて対象物Fを透過させてX線検出カメラ10によって検出させるX線(放射線)の平均エネルギーの値を算出する。例えば、算出部202Cは、条件情報に含まれる、管電圧、ターゲット角度、ターゲットの材料、フィルタの材質及び厚さ及びその有無、窓材の種類及びその有無、X線検出カメラ10のシンチレータ11の材料及び厚さ、等の情報に基づいて、X線検出カメラ10で検出されるX線のスペクトルを、例えば公知のTucker等の近似式を用いて算出する。そして、算出部202Cは、X線のスペクトルから、スペクトル強度積分値と光子数積分値とをさらに算出し、スペクトル強度積分値を光子数積分値で除することによりX線の平均エネルギーの値を算出する。
 公知のTuckerの近似式を用いた算出方法について記載する。例えば、算出部202Cは、ターゲットをタングステン、ターゲット角度を25°と特定すると、Em:電子ターゲット衝突時の運動エネルギー、T:ターゲット中の電子運動エネルギー、A:ターゲット物質の原子番号で決まる比例定数、ρ:ターゲットの密度、μ(E):ターゲット物質の線減弱係数、B:緩やかに変化するZとTの関数、C:Thomson-Whiddington定数、θ:ターゲット角度、c:真空中の光速度、を決定することができる。さらに、算出部202Cは、それらを基に上記の式(1)を計算することにより、照射X線スペクトルが算出できる。
 次に、算出部202Cは、フィルタ及び対象物Fを透過してシンチレータに吸収されるX線エネルギースペクトルを上記の式(2)のX線の減弱式を用いて算出できる。X線光子数スペクトルは、このX線エネルギースペクトルを各X線のエネルギーで除することで求まる。算出部202Cは、X線の平均エネルギーを、エネルギー強度の積分値を光子数の積分値で除することにより、上記の式(3)を用いて算出する。上記の計算過程により、算出部202Cは、X線の平均エネルギーを算出する。なお、X線スペクトルの算出に関しては、公知のKramersや、Birchらによる近似式を使用してもよい。
 絞込部203Cは、算出部202Cによって算出された平均エネルギーの値を基に、予め構築された複数の学習済みモデル206Cの中から、学習済みモデルの候補を絞り込む。すなわち、絞込部203Cは、算出された平均エネルギーの値と、複数の学習済みモデル206Cの構築に用いられた画像データにおけるX線の平均エネルギーの値とを比較し、平均エネルギーの値が近い画像データによって構築された複数の学習済みモデル206Cを候補として絞り込む。より具体的には、算出部202Cによって算出された平均エネルギーの値が53keVの場合には、絞込部203Cは、その値との差が所定の閾値(例えば15keV)未満である平均エネルギー値40keV、50keV、60keVの画像データによって構築された学習済みモデル206Cを、学習済みモデルの候補とする。
 選択部204Cは、絞込部203Cによって絞り込まれた候補の中から、最終的に対象物FのX線透過画像のノイズ除去処理に用いる学習済みモデル206Cを選択する。詳細には、選択部204Cは、画像取得装置1において治具を対象にX線を照射して撮像したX線透過画像を取得し、そのX線透過画像の画像特性に基づいて、最終的に用いる学習済みモデル206Cを選択する。このとき、選択部204Cは、X線透過画像の画像特性として、エネルギー特性、ノイズ特性、あるいは、解像度特性等を解析し、その解析結果を基に学習済みモデル206Cを選択する。
 より具体的には、選択部204Cは、治具として、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材を対象にX線透過画像を取得し、治具を透過したX線像の輝度と空気を透過したX線像の輝度とを比較して、治具における1点(あるいは複数点の平均)のX線の透過率を算出する。例えば、治具を透過したX線像の輝度が5,550であり、空気を透過したX線像の輝度が15,000の場合には、透過率37%と算出する。そして、選択部204Cは、透過率37%から推定される透過X線の平均エネルギー(例えば、50keV)を、治具のX線透過画像のエネルギー特性として特定する。選択部204Cは、特定した平均エネルギーの値に最も近い平均エネルギーの画像データによって構築された学習済みモデル206Cを一つ選択する。
 また、選択部204Cは、治具のX線透過画像のエネルギー特性として、厚さあるいは材質が変化する治具の複数点における特性を解析してもよい。図27は、選択部204Cの解析対象のX線透過画像の一例を示す図である。図27は、厚さがステップ状に変化した形状の治具を対象にしたX線透過画像である。選択部204Cは、このようなX線透過画像から厚さの異なる複数の測定領域(ROI:Region Of Interest)を選択し、複数の測定領域ごとの輝度平均値を解析し、厚さ-輝度の特性グラフをエネルギー特性として取得する。図28には、選択部204Cが取得した厚さ-輝度の特性グラフの一例を示している。
 さらに、選択部204Cは、同様にして、絞込部203Cによって絞り込まれた学習済みモデル206Cの構築に用いた画像データを対象に、厚さ-輝度の特性グラフを取得し、治具を対象に取得した特性グラフと最も近い特性を有する画像データによって構築された学習済みモデル206Cを、最終的な学習済みモデル206Cとして選択する。ただし、この学習済みモデル206Cの構築に用いられた画像データの画像特性は予め制御装置20Cの外部で算出されたものを参照してもよい。このように、複数の測定領域を設定することにより、対象物FのX線透過画像のノイズ除去に最適な学習済みモデルを選択することができる。特に、X線透過画像の測定時のX線スペクトルの違いあるいはフィルタの効果の違いを精度よく推定することが可能となる。
 また、選択部204Cは、治具のX線透過画像のノイズ特性として、複数の測定領域ごとの輝度値とノイズを解析し、輝度-ノイズ比の特性グラフをノイズ特性として取得することもできる。すなわち、選択部204Cは、X線透過画像から厚さあるいは材質の異なる複数の測定領域ROIを選択し、複数の測定領域ROIの輝度値の標準偏差及び輝度値の平均値を解析し、輝度-SNR(SN比)の特性グラフをノイズ特性として取得する。このとき、選択部204Cは、測定領域ROI毎のSNRを、SNR=(輝度値の平均値)÷(輝度値の標準偏差)によって算出する。図29には、選択部204Cが取得した輝度-SNRの特性グラフの一例を示している。そして、選択部204Cは、取得した特性グラフと最も近いノイズ特性を有する画像データによって構築された学習済みモデル206Cを、最終的な学習済みモデル206Cとして選択する。
 ここで、選択部204Cは、ノイズ特性として、上記の輝度-SNRの特性グラフに代えて、縦軸を輝度値の標準偏差から計算されるノイズとした特性グラフを取得してもよい。このような輝度-ノイズの特性グラフを用いることにより、X線検出カメラ10によって検出される各信号量に対し、各信号量の領域のグラフの傾きから支配的なノイズ要因(ショットノイズ、読み出しノイズ等)を特定し、その特定の結果を基に学習済みモデル206Cを選択できる。
 図30は、選択部204Cによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。図30において、(a)部は、複数の学習済みモデル206Cの構築に用いられたそれぞれの画像データの輝度-SNRの特性グラフG,G,Gを示し、(b)部には、これらの特性グラフG,G,Gに加えて、治具を撮像したX線透過画像の輝度-SNRの特性グラフGを示している。このような特性グラフG,G,G,Gを対象にした場合には、選択部204Cは、特性グラフGの特性に最も近い特性グラフGの画像データによって構築された学習済みモデル206Cを選択するように機能する。選択の際には、選択部204Cは、各特性グラフG,G,Gと特性グラフGと間で、一定間隔の輝度値毎のSNRの誤差を計算し、それらの誤差の平均二乗誤差(RMSE:Root Mean Squared Error)を計算し、平均二乗誤差が最も小さい特性グラフG,G,Gに対応した学習済みモデル206Cを選択する。また、選択部204Cは、エネルギー特性を用いて選択する場合にも、同様にして学習済みモデル206Cを選択できる。
 選択部204Cは、治具のX線透過画像を対象に、複数の学習済みモデルを適用してノイズ除去処理を実行した後の画像の特性を基に、学習済みモデル206Cを選択することもできる。
 例えば、選択部204Cは、様々な解像度のチャートを有する治具を撮像したX線透過画像を用いて、その画像に複数の学習済みモデル206Cを適用し、その結果生成されたノイズ除去後の画像を評価する。そして、選択部204Cは、ノイズ除去処理前後における解像度の変化が最も小さい画像に用いられた学習済みモデル206Cを選択する。図31には、解像度の評価に用いられるX線透過画像の一例を示している。このX線透過画像においては、一方向に沿ってステップ状に解像度が変化するチャートが撮像対象とされている。X線透過画像の解像度は、MTF(Modulation Transfer Function)又はCTF(Contrast Transfer Function)を用いて測定することができる。
 上記の解像度の変化の評価以外にも、選択部204Cは、ノイズ除去後の画像の輝度-ノイズ比の特性を評価し、その特性が最も高い画像の生成に用いられた学習済みモデル206Cを選択してもよい。図32には、輝度-ノイズ比の評価に用いられる治具の構造の一例を示している。例えば、治具として、厚さが一方向にステップ状に変化する部材P1中に様々な材質及び様々な大きさを有する異物P2が点在したものが用いられうる。図33は、図32の治具を対象に得られたノイズ除去処理後のX線透過画像を示している。選択部204Cは、X線透過画像中において異物P2の像を含む画像領域R1と、その領域R1の近傍の異物P2の像を含まない画像領域R2とを選択し、画像領域R1における輝度の最小値LMINと、画像領域R2における輝度の平均値LAVEと、画像領域R2における輝度の標準偏差LSDとを計算する。そして、選択部204Cは、下記式;
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Cは、複数の学習済みモデル206Cの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Cを選択する。
 または、選択部204Cは、画像領域R1における輝度の平均値LAVE_R1と、画像領域R2における輝度の平均値LAVE_R2と、画像領域R2における輝度の標準偏差LSDとを基に、下記式により計算してもよい。
CNR=(LAVE_R1-LMIN_R2)/LSD
 処理部205Cは、対象物Fを対象に取得されたX線透過画像に、選択部204Cによって選択された学習済みモデル206Cを適用して、ノイズを除去する画像処理を実行することにより出力画像を生成する。そして、処理部205Cは、生成した出力画像を表示装置30等に出力する。
 次に、第2実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第2実施形態に係る放射線画像取得方法の流れについて説明する。図34は、画像取得装置1による観察処理の手順を示すフローチャートである。
 まず、制御装置20Cによって、画像取得装置1のオペレータ(ユーザ)から、X線照射器50の動作条件、あるいはX線検出カメラ10による撮像条件等を示す条件情報の入力が受け付けられる(ステップS1)。次に、制御装置20Cによって、条件情報を基に、X線検出カメラ10によって検出されるX線の平均エネルギーの値が算出される(ステップS2)。
 さらに、制御装置20Cによって、制御装置20Cに格納されている学習済みモデル206Cの構築に用いられた画像データにおけるX線の平均エネルギーの値が特定される(ステップS3)。その後、制御装置20Cに格納されている全ての学習済みモデル206Cに関して、X線の平均エネルギーの値の特定が繰り返される(ステップS4)。
 次に、制御装置20Cによって、算出したX線の平均エネルギーの値が比較されることにより、複数の学習済みモデル206Cの候補が絞り込まれる(ステップS5)。さらに、画像取得装置1において治具がセットされてその治具が撮像されることにより、治具のX線透過画像が取得される(ステップS6)。
 その後、制御装置20Cにより、治具のX線透過画像の画像特性(X線の平均エネルギーの値、厚さ-輝度の特性、輝度-ノイズ比の特性、輝度-ノイズの特性、解像度変化の特性等)が取得される(ステップS7)。そして、制御装置20Cにより、取得した画像特性を基に、最終的な学習済みモデル206Cが選択される(ステップS8)。
 さらに、画像取得装置1において対象物Fがセットされて対象物Fが撮像されることにより、対象物FのX線透過画像が取得される(ステップS9)。次に、制御装置20Cにより、最終的に選択した学習済みモデル206Cを対象物FのX線透過画像に適用することによって、X線透過画像を対象にノイズ除去処理が実行される(ステップS10)。最後に、制御装置20Cにより、ノイズ除去処理が施されたX線透過画像である出力画像が、表示装置30に出力される(ステップS11)。
 以上説明した画像取得装置1によっても、X線透過画像において信号成分を大きくしつつノイズ成分を除去することができ、X線透過画像におけるS/N比を効果的に向上させることができる。また、対象物FのX線透過画像を取得する際のX線の発生源の動作条件あるいはX線透過画像の撮像条件を基に、対象物Fを透過したX線の平均エネルギーが算出される。そして、その平均エネルギーを基に、予め構築された学習済みモデル206Cの中からノイズ除去に用いる学習済みモデル206Cの候補が絞り込まれる。これにより、撮像対象のX線の平均エネルギーに対応した学習済みモデル206Cがノイズ除去に用いられるので、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、X線透過画像におけるノイズを効果的に除去でき、例えば、異物検出性能を向上させることができる。特に、X線透過画像は、管電圧、フィルタ、シンチレータ、X線検出カメラの条件(ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート)、対象物等の違いによってノイズの態様が変化する。そのため、機械学習によってノイズ除去を実現しようとする場合、様々な条件で学習させた複数の学習モデルを用意しておく必要がある。従来は、X線透過画像の測定時の条件に合わせて複数の学習モデルの中からノイズの態様に合った学習モデルを選択することは実現されていなかった。本実施形態によれば、撮像対象のX線の平均エネルギーに対応した学習済みモデル206Cが選択されることで、常にノイズの態様に合った学習モデルの選択が実現される。
 一般に、X線透過画像においては、X線発生由来のノイズが含まれている。X線透過画像のSN比を向上させるためにX線量を増加させることも考えられるが、その場合は、X線量を増加させるとセンサの被ばく量が増加しセンサの寿命が短くなる、X線発生源の寿命が短くなる、という問題があり、SN比の向上と長寿命化との両立が困難である。本実施形態では、X線量を増加させる必要はないので、SN比の向上と長寿命化の両立が可能である。
 また、本実施形態の制御装置20Cは、選択した学習済みモデル206Cを用いて対象物FのX線透過画像からノイズを除去する画像処理を実行する機能を有する。このような機能により、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現でき、X線透過画像におけるノイズを効果的に除去できる。
 また、本実施形態の制御装置20Cは、選択情報から算出されたX線の平均エネルギーの値と、学習済みモデル206Cの構築に用いられた画像データから特定される平均エネルギーの値とを比較することにより、学習済みモデルの候補を絞り込む機能を有している。このような機能により、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が確実に実現できる。
 さらに、本実施形態の制御装置20Cは、治具のX線透過画像の画像特性に基づいて候補から学習済みモデル206Cを選択する機能を有している。このような機能により、対象物FのX線透過画像のノイズ除去に最適な学習済みモデル206Cを選択できる。その結果、X線透過画像における輝度とノイズとの関係に対応したノイズ除去がより確実に実現できる。
[第2実施形態の変形例]
 上記第2実施形態の制御装置20Cは、条件情報から算出したX線の平均エネルギーの値を基に学習済みモデル206Cの候補を選択していたが、X線検出カメラ10の性能劣化、X線照射器50の出力変動あるいは性能劣化に対応した機能を有していてもよい。
 図35は、第2実施形態の変形例に係る制御装置20Dの機能構成を示すブロック図である。制御装置20Dは、上記第2実施形態に係る制御装置20Cに比較して、測定部207Cを有する点と、算出部202D及び絞込部203Dの機能とが異なっている。
 制御装置20Cにおいては、X線検出カメラ10の性能劣化及びX線照射器50の出力変動あるいは性能劣化は無いものとして、X線の平均エネルギーからX線透過画像における輝度とノイズとの関係が推定できるという前提で、学習済みモデル206Cを絞り込んでいる。これに対して、本変形例に係る制御装置20Dにおいては、X線検出カメラ10の性能劣化、X線照射器50の出力変動、あるいはその性能劣化を考慮して、X線変換係数を算出し、X線変換係数を基に学習済みモデル206Cを絞り込む機能を有する。X線変換係数は、X線がシンチレータで可視光に変換された後にカメラのセンサで電子(電気信号)に変換されるまでの効率を示すパラメータである。
 一般に、X線変換係数Fは、X線の平均エネルギーをE[keV]とし、シンチレータ発光量をEM[photon/keV]、センサにおけるカップリング効率をC、センサの量子効率をQEとすると、下記式;
=E×EM×C×QE
により計算できる。また、X線透過画像におけるSN比(SNR)は、X線変換係数Fと、X線フォトン数Nと、カメラの読み出しノイズNrとを用いて、下記式;
SNR=FTNP/{(FTNP+Nr2)1/2}
より求められることから、X線変換係数Fを基に、カメラの性能劣化を考慮した上でのX線透過画像における輝度とノイズとの関係が推定できる。
 制御装置20Dの測定部207Cは、シンチレータ11の性能劣化としての発光量EMの低下量、スキャンカメラ12の性能劣化としてのセンサの量子効率QEの低下量、X線照射器50の出力変動及び性能劣化としての平均エネルギーEの変化量を測定する機能を有する。例えば、測定部207Cは、シンチレータ11の性能劣化の無い状態(新品時での状態)と、現在のシンチレータ11との間の発光量の低下量を測定してその低下量から現在の発光量EMを推定する。また、測定部207Cは、スキャンカメラ12の性能劣化の無い状態(新品時での状態)と、現在のスキャンカメラ12との間の輝度低下量を測定してその低下量から現在の量子効率QEを推定する。また、測定部207Cは、X線照射器50の性能劣化の無い状態(新品時での状態)と、現在のX線照射器50との間の平均エネルギーの変化量から現在の平均エネルギーEを推定する。平均エネルギーEは、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材の撮像データから求めたり、厚さあるいは材質が変化する治具の複数点における撮像データから求めるなどしてもよい。
 制御装置20Dの算出部202Dは、算出したX線の平均エネルギーEと、測定部207Cによって推定された発光量EM及び量子効率QEとを用いてX線変換係数Fを算出する。制御装置20Dの絞込部203Dは、算出したX線変換係数Fと、学習済みモデル206Cの構築に用いられた画像データにおけるX線変換係数Fとを比較することにより、学習済みモデル206Cの候補を絞り込む機能を有する。
 また、上記変形例の制御装置20Dは、学習済みモデルの候補を絞り込んだ後に、治具を撮像して得られた画像特性を基に学習済みモデルを選択していたが、治具の撮像を行うことなく、対象物のX線透過画像に対するノイズ除去処理を実行してもよい。図36は、別の変形例に係る画像取得装置1による観察処理の手順を示すフローチャートである。このように、図34におけるステップS6~S8の処理を省略して、平均エネルギーを基に絞り込んだ学習済みモデルを用いてノイズ除去処理を実行することもできる。
[第3実施形態]
 図37は、第3実施形態に係る制御装置20Eの機能構成を示すブロック図である。制御装置20Eは、取得部201E、特定部202E、選択部204E、及び処理部205Eを備える。
 また、制御装置20Eには、X線透過画像を対象にノイズ除去処理を実行させる学習済みモデル206Eが予め複数格納されている。複数の学習済みモデル206Eは、それぞれ、画像データを教師データとして予め構築された機械学習による学習モデルである。機械学習には、教師あり学習、深層学習(ディープラーニング)、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyonda Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。複数の学習済みモデル206Eは、外部のコンピュータ等により生成されて制御装置20Eにダウンロードされてもよいし、制御装置20E内で生成されてもよい。
 図38には、学習済みモデル206Eの構築に用いられる教師データである画像データの一例を示す。教師データとしては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線透過画像が用いられうる。図38に示す例は、鶏肉を対象に生成されたX線透過画像の例である。この画像データは、実際に画像取得装置1を用いて複数種類の対象物を対象に生成されたX線透過画像を用いてもよいし、シミュレーション計算によって生成された画像データを用いてもよい。X線透過画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。また、X線透過画像とシミュレーション計算によって生成された画像データを組み合わせて用いてもよい。複数の学習済みモデル206Eは、それぞれ、平均エネルギーが異なる透過X線を対象に得られた画像データであって、ノイズ分布が既知の画像データを用いて予め構築されている。画像データにおけるX線の平均エネルギーは、それぞれ、画像取得装置1のX線照射器(放射線発生源)50の動作条件あるいは画像取得装置1の撮像条件等を設定することにより、あるいはシミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定することにより、予め異なる値に設定されている。つまり、複数の学習済みモデル206Eは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報を基に算出された対象物Fを透過したX線に関する平均エネルギーに対応するX線画像である訓練画像を訓練データとして用いて、機械学習によって構築される(構築ステップ)。例えば、本実施形態では、複数の学習済みモデル206Eは、それぞれ、平均エネルギーが、10keV、20keV、30keV、…と10keV刻みの値が設定された複数種類の画像データを複数フレーム(例えば、20,000フレーム)用いて構築されている。
 学習済みモデル206Eの構築に用いられる教師データである画像データは、上述した第1実施形態における作成手順と同様な作成手順によって生成される。
 以下、図37に戻って、制御装置20Eの各機能部の機能の詳細について説明する。
 取得部201Eは、画像取得装置1を用いて治具及び対象物Fを対象にX線を照射して撮像したX線透過画像を取得する。治具としては、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材、あるいは、様々な解像度で撮像されるチャートを有する治具が用いられる。すなわち、取得部201Eは、対象物Fの観察処理に先立って画像取得装置1を用いて撮像された治具のX線透過画像を取得する。そして、取得部201Eは、治具のX線透過画像を基に学習済みモデル206Eが選択された後のタイミングで、画像取得装置1を用いて撮像された対象物FのX線透過画像を取得する。ただし、治具及び対象物FのX線透過画像の取得タイミングは上記には限定されず、同時であってもよいし逆のタイミングであってもよい。
 特定部202Eは、取得部201Eによって取得された治具のX線透過画像の画像特性を特定する。具体的には、選択部204Eは、X線透過画像の画像特性として、エネルギー特性、ノイズ特性、解像度特性、あるいは周波数特性等を特定する。
 例えば、特定部202Eは、治具として、厚さ及び材質が既知である平板状部材が用いられた場合には、治具を透過したX線像の輝度と空気を透過したX線像の輝度とを比較して、治具における1点(あるいは複数点の平均)のX線の透過率を算出する。例えば、治具を透過したX線像の輝度が5,550であり、空気を透過したX線像の輝度が15,000の場合には、透過率37%と算出する。そして、特定部202Eは、透過率37%から推定される透過X線の平均エネルギー(例えば、50keV)を、治具のX線透過画像のエネルギー特性として特定する。
 また、特定部202Eは、治具のX線透過画像のエネルギー特性として、厚さあるいは材質が変化する治具の複数点における特性を解析してもよい。図39は、特定部202Eの解析対象のX線透過画像の一例を示す図である。図39は、厚さがステップ状に変化した形状の治具を対象にしたX線透過画像である。特定部202Eは、このようなX線透過画像から厚さの異なる複数の測定領域(ROI:Region Of Interest)を選択し、複数の測定領域ごとの輝度平均値を解析し、厚さ-輝度の特性グラフをエネルギー特性として取得する。図40には、特定部202Eが取得した厚さ-輝度の特性グラフの一例を示している。
 また、特定部202Eは、治具のX線透過画像のノイズ特性として、複数の測定領域ごとの輝度値とノイズを解析し、輝度-ノイズ比の特性グラフをノイズ特性として取得することもできる。すなわち、特定部202Eは、X線透過画像から厚さあるいは材質の異なる複数の測定領域ROIを選択し、複数の測定領域ROIの輝度値の標準偏差及び輝度値の平均値を解析し、輝度-SNR(SN比)の特性グラフをノイズ特性として取得する。このとき、特定部202Eは、測定領域ROI毎のSNRを、SNR=(輝度値の平均値)÷(輝度値の標準偏差)によって算出する。図41には、特定部202Eが取得した輝度-SNRの特性グラフの一例を示している。ここで、特定部202Eは、ノイズ特性として、上記の輝度-SNRの特性グラフに代えて、縦軸を輝度値の標準偏差から計算されるノイズとした特性グラフを取得してもよい。
 また、特定部202Eは、チャートを有する治具が用いられた場合には、治具のX線透過画像における解像度の分布を解像度特性として取得することもできる。さらに、特定部202Eは、治具のX線透過画像に対して複数の学習済みモデル206Eを適用してノイズ除去処理を施した後の画像に関しても、解像度特性を取得する機能を有する。図42には、解像度の評価に用いられるX線透過画像の一例を示している。このX線透過画像においては、一方向に沿ってステップ状に解像度が変化するチャートが撮像対象とされている。X線透過画像の解像度は、MTF(Modulation Transfer Function)又はCTF(Contrast Transfer Function)を用いて測定することができる。
 再び図37を参照して、選択部204Eは、特定部202Eによって取得された画像特性を基に、制御装置20E内に格納された複数の学習済みモデル206Eの中から、最終的に対象物FのX線透過画像のノイズ除去処理に用いる学習済みモデル206Eを選択する。すなわち、選択部204Eは、特定部202Eによって特定された画像特性と、複数の学習済みモデル206Eの構築に用いられた画像データから特定された画像特性とを比較し、両者が類似する学習済みモデル206Eを選択する。
 例えば、選択部204Eは、特定部202Eが特定した透過X線の平均エネルギーの値に最も近い平均エネルギーの画像データによって構築された学習済みモデル206Eを一つ選択する。
 また、選択部204Eは、特定部202Eによる特定方法と同様にして、複数の学習済みモデル206Eの構築に用いた画像データを対象に、厚さ-輝度の特性グラフを取得し、治具を対象に取得した厚さ-輝度の特性グラフと最も近い特性を有する画像データによって構築された学習済みモデル206Eを、最終的な学習済みモデル206Eとして選択する。ただし、学習済みモデル206Eの構築に用いられた画像データの画像特性は予め制御装置20Eの外部で算出されたものを参照してもよい。このように、複数の測定領域を設定して得られた画像特性を用いることにより、対象物FのX線透過画像のノイズ除去に最適な学習済みモデルを選択することができる。特に、X線透過画像の測定時のX線スペクトルの違いあるいはフィルタの効果の違いを精度よく推定することが可能となる。
 また、選択部204Eは、特定部202Eによって取得された輝度-ノイズ比の特性と最も近い輝度-ノイズ比の特性を有する画像データによって構築された学習済みモデル206Eを、最終的な学習済みモデル206Eとして選択してもよい。ただし、学習済みモデル206Eの構築に用いられた画像データの画像特性は、選択部204Eが画像データから取得してもよいし、予め制御装置20Eの外部で算出されたものを参照してもよい。ここで、選択部204Eは、ノイズ特性として、輝度-ノイズ比の特性に代えて、輝度-ノイズの特性を用いて学習済みモデル206Eを選択してもよい。このような輝度-ノイズの特性を用いることにより、X線検出カメラ10によって検出される各信号量に対し、各信号量の領域のグラフの傾きから支配的なノイズ要因(ショットノイズ、読み出しノイズ等)を特定し、その特定の結果を基に学習済みモデル206Eを選択できる。
 図43は、選択部204Eによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。図43において、(a)部は、複数の学習済みモデル206Eの構築に用いられたそれぞれの画像データの輝度-SNRの特性グラフG,G,Gを示し、(b)部には、これらの特性グラフG,G,Gに加えて、治具を撮像したX線透過画像の輝度-SNRの特性グラフGを示している。このような特性グラフG,G,G,Gを対象にした場合には、選択部204Eは、特性グラフGの特性に最も近い特性グラフGの画像データによって構築された学習済みモデル206Eを選択するように機能する。選択の際には、選択部204Eは、各特性グラフG,G,Gと特性グラフGと間で、一定間隔の輝度値毎のSNRの誤差を計算し、それらの誤差の平均二乗誤差(RMSE:Root Mean Squared Error)を計算し、平均二乗誤差が最も小さい特性グラフG,G,Gに対応した学習済みモデル206Eを選択する。また、選択部204Eは、エネルギー特性を用いて選択する場合にも、同様にして学習済みモデル206Eを選択できる。
 選択部204Eは、治具のX線透過画像を対象に、複数の学習済みモデルを適用してノイズ除去処理を実行した後の画像の特性を基に、特性が相対的に優れた画像の生成に用いられた学習済みモデル206Eを選択することもできる。
 例えば、選択部204Eは、様々な解像度のチャートを有する治具を撮像したX線透過画像を用いて、その画像に複数の学習済みモデル206Eを適用し、その結果生成されたノイズ除去後の画像の解像度特性を評価する。そして、選択部204Eは、ノイズ除去処理前後における各分布の解像度の変化が最も小さい画像に用いられた学習済みモデル206Eを選択する。
 上記の解像度の変化の評価以外にも、選択部204Eは、ノイズ除去後の画像の輝度-ノイズ比の特性を評価し、その特性が最も高い画像の生成に用いられた学習済みモデル206Eを選択してもよい。図44には、輝度-ノイズ比の評価に用いられる治具の構造の一例を示している。例えば、治具として、厚さが一方向にステップ状に変化する部材P1中に様々な材質及び様々な大きさを有する異物P2が点在したものが用いられうる。図45は、図44の治具を対象に得られたノイズ除去処理後のX線透過画像を示している。選択部204Eは、X線透過画像中において異物P2の像を含む画像領域R1と、その領域R1の近傍の異物P2の像を含まない画像領域R2とを選択し、画像領域R1における輝度の最小値LMINと、画像領域R2における輝度の平均値LAVEと、画像領域R2における輝度の標準偏差LSDとを計算する。そして、選択部204Eは、下記式;
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Eは、複数の学習済みモデル206Eの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Eを選択する。
 または、選択部204Eは、画像領域R1における輝度の平均値LAVE_R1と、画像領域R2における輝度の平均値LAVE_R2と、画像領域R2における輝度の標準偏差LSDとを基に、下記式により計算してもよい。
CNR=(LAVE_R1-LMIN_R2)/LSD
 処理部205Eは、対象物Fを対象に取得されたX線透過画像に、選択部204Eによって選択された学習済みモデル206Eを適用して、ノイズを除去する画像処理を実行することにより出力画像を生成する。そして、処理部205Eは、生成した出力画像を表示装置30等に出力する。
 次に、第3実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第3実施形態に係る放射線画像取得方法の流れについて説明する。図46は、画像取得装置1による観察処理の手順を示すフローチャートである。
 まず、画像取得装置1のオペレータ(ユーザ)によって、X線照射器50の管電圧あるいはX線検出カメラ10におけるゲイン等の画像取得装置1における撮像条件が設定される(ステップS1E)。次に、画像取得装置1に治具がセットされて、制御装置20Eによって治具を対象としてX線透過画像が取得される(ステップS2E)。このとき、複数種類の治具のX線透過画像が順次取得されてもよい。
 それに応じて、制御装置20Eによって、治具のX線透過画像の画像特性(エネルギー特性、ノイズ特性、及び解像度特性)が特定される(ステップS3E)。さらに、制御装置20Eによって、治具のX線透過画像に対して複数の学習済みモデル206Eが適用され、複数の学習済みモデル206Eの適用後のそれぞれのX線透過画像の画像特性(解像度特性あるいは輝度-ノイズ比の値、等)が特定される(ステップS4E)。
 次に、制御装置20Eによって、治具のX線透過画像のエネルギー特性と学習済みモデル206Eの構築に用いられた画像データのエネルギー特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化度合いを基に、学習済みモデル206Eが選択される(ステップS5E)。ここでは、治具のX線透過画像のノイズ特性と学習済みモデル206Eの構築に用いられた画像データのノイズ特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化状態を基に、学習済みモデル206Eが選択されてもよい。また、ステップS5Eでは、上記処理に代えて、治具のX線透過画像の学習済みモデルの適用後における輝度-ノイズ比CNRが最も高い学習済みモデル206Eが選択されてもよい。
 さらに、画像取得装置1において対象物Fがセットされて対象物Fが撮像されることにより、対象物FのX線透過画像が取得される(ステップS7E)。次に、制御装置20Eにより、最終的に選択した学習済みモデル206Eを対象物FのX線透過画像に適用することによって、X線透過画像を対象にノイズ除去処理が実行される(ステップS8E)。最後に、制御装置20Eにより、ノイズ除去処理が施されたX線透過画像である出力画像が、表示装置30に出力される(ステップS9E)。
 以上説明した画像取得装置1によっても、X線透過画像において信号成分を大きくしつつノイズ成分を除去することができ、X線透過画像におけるS/N比を効果的に向上させることができる。また、治具のX線透過画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、画像取得装置1におけるX線照射器50の動作条件等により変化するX線透過画像の特性を推定でき、この推定結果に応じて選択された学習済みモデル206Eがノイズ除去に用いられるので、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、X線透過画像におけるノイズを効果的に除去できる。
 一般に、X線透過画像においては、X線発生由来のノイズが含まれている。X線透過画像のSN比を向上させるためにX線量を増加させることも考えられるが、その場合は、X線量を増加させるとセンサの被ばく量が増加しセンサの寿命が短くなる、X線発生源の寿命が短くなる、という問題があり、SN比の向上と長寿命化との両立が困難である。本実施形態では、X線量を増加させる必要はないので、SN比の向上と長寿命化の両立が可能である。
 本実施形態では、学習済みモデルの選択において、治具のX線透過画像の画像特性と、学習済みモデルの構築に用いられた画像データの画像特性とが比較されている。これにより、治具のX線透過画像の画像特性に対応した画像データによって構築された学習済みモデル206Eが選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
 また、本実施形態では、治具のX線透過画像に対して複数の学習済みモデル206Eを適用した画像の画像特性を用いて、学習済みモデルが選択されている。この場合、実際に複数の学習済みモデル206Eを適用した治具のX線透過画像の画像特性により、学習済みモデル206Eが選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
 特に、本実施形態では、画像特性としてエネルギー特性又はノイズ特性が用いられている。この場合、画像取得装置1の撮像条件によって変化する治具のX線透過画像のエネルギー特性又はノイズ特性と類似した特性の画像によって構築された学習済みモデル206Eを選択することとなる。その結果、画像取得装置1の条件変化に対応した対象物FのX線透過画像におけるノイズ除去が可能となる。
 本実施形態では、画像特性として、解像度特性又は輝度-ノイズ比も用いられている。このような構成によれば、選択した学習済みモデル206Eを適用することにより、解像度特性又は輝度-ノイズ比が良好なX線透過画像を得ることができるようになる。その結果、画像取得装置1の条件変化に対応した対象物のX線透過画像におけるノイズ除去が可能となる。
 上述した実施形態では、学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、ことが好適である。これにより、学習済みモデルの構築に用いられる教師データである画像データを用意することが容易となり、学習済みモデルを効率的に構築することができる。
 また、上述した実施形態では、画像処理モジュールは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成部と、放射線画像及びノイズマップを、学習済みモデルに入力し、放射線画像からノイズを除去するノイズ除去処理を実行する処理部と、を有する、ことも好適である。また、実行するステップでは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成し、放射線画像及びノイズマップを、学習済みモデルに入力し、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。この場合、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画像の画素値から評価値が導出され、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップが生成される。そして、放射線画像及びノイズマップが、予め機械学習によって構築された学習済みモデルに入力され、放射線画像からノイズを除去するノイズ除去処理が実行される。これにより、放射線画像の各画素の画素値から評価されるノイズ値の広がりが考慮されて、該放射線画像の各画素におけるノイズが機械学習により除去され、学習済みモデルを用いて放射線画像における画素値とノイズの広がりとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
 さらに、上述した実施形態では、画像処理モジュールは、放射線を照射して対象物を撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける入力部と、条件情報を基に、対象物を透過した放射線に関する平均エネルギーを算出する算出部と、平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、ノイズ除去処理に用いる学習済みモデルを絞り込む絞込部と、を有する、ことが好適である。また、実行するステップでは、放射線を照射して対象物を撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付け、条件情報を基に、対象物を透過した放射線に関する平均エネルギーを算出し、平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、ノイズ除去処理に用いる学習済みモデルを絞り込む、ことも好適である。この場合、対象物の放射線画像を取得する際の放射線の発生源の条件あるいは撮像条件を基に、対象物を透過した放射線の平均エネルギーが算出される。そして、その平均エネルギーを基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルの候補が絞り込まれる。これにより、撮像対象の放射線の平均エネルギーに対応した学習済みモデルがノイズ除去に用いられるので、放射線画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
 またさらに、上述した実施形態では、画像処理モジュールは、治具を対象として撮像装置によって取得された放射線画像の画像特性を特定する特定部と、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、選択された学習済みモデルを用いてノイズ除去処理を実行する処理部と、を有する、ことも好適である。また、実行するステップでは、治具を対象として取得された放射線画像の画像特性を特定し、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択し、選択された学習済みモデルを用いてノイズ除去処理を実行する、ことも好適である。かかる構成によれば、治具の放射線画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、システムにおける放射線発生源の条件等により変化する放射線画像の特性を推定でき、この推定結果に応じて選択された学習済みモデルがノイズ除去に用いられるので、放射線画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
 実施形態は、放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法を使用用途とし、放射線画像におけるS/N比を効果的に向上できるものである。
 1…画像取得装置(放射線画像取得装置、放射線画像取得システム)、10…X線検出カメラ(撮像装置)、11…シンチレータ、12…スキャンカメラ(検出素子)、20,20A~20E…制御装置(画像処理モジュール)、50…X線照射器(放射線発生源)、60…ベルトコンベア(搬送装置)、72…画素、74…画素ライン(画素群)、73…読み出し回路、201,201C…入力部、202,202A,202C,202D…算出部、202E…特定部、203C,203D…絞込部、204,204A,204B…ノイズマップ生成部、204C,204E…選択部、205,205C,205E…処理部、206C,206E,207…学習済みモデル、F…対象物、TD…搬送方向(一の方向)。

Claims (12)

  1.  対象物を透過した放射線を一の方向にスキャンして撮像して放射線画像を取得する撮像装置と、
     前記撮像装置上に設けられ、前記放射線を光に変換するシンチレータと、
     前記放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、前記放射線画像からノイズを除去するノイズ除去処理を実行する画像処理モジュールと、
    を備え、
     前記撮像装置は、
     前記一の方向に沿って配列されたM個(Mは、2以上の整数)の画素を有する画素ラインが、前記一の方向に直交する方向にN列(Nは2上の整数)配列されて構成され、前記画素毎に前記光に関する検出信号を出力する検出素子と、
     前記検出素子のN列の前記画素ライン毎に、M個の前記画素のうちの少なくとも2個の前記画素から出力される前記検出信号を加算し、加算したN個の前記検出信号を順次出力することにより、前記放射線画像を出力する読出回路と、
    を含む、
    放射線画像取得装置。
  2.  前記学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、
    請求項1に記載の放射線画像取得装置。
  3.  前記画像処理モジュールは、
     画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、前記放射線画像の各画素の画素値から前記評価値を導出し、前記放射線画像の各画素に導出した前記評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成部と、
     前記放射線画像及び前記ノイズマップを、前記学習済みモデルに入力し、前記放射線画像からノイズを除去するノイズ除去処理を実行する処理部と、
    を有する請求項1又は2に記載の放射線画像取得装置。
  4.  前記画像処理モジュールは、
     放射線を照射して対象物を撮像する際の前記放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける入力部と、
     前記条件情報を基に、前記対象物を透過した前記放射線に関する平均エネルギーを算出する算出部と、
     前記平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、前記ノイズ除去処理に用いる学習済みモデルを絞り込む絞込部と、
    を有する請求項1又は2に記載の放射線画像取得装置。
  5.  前記画像処理モジュールは、
     治具を対象として前記撮像装置によって取得された放射線画像の画像特性を特定する特定部と、
     前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、
     選択された前記学習済みモデルを用いて前記ノイズ除去処理を実行する処理部と、
    を有する請求項1又は2に記載の放射線画像取得装置。
  6.  請求項1~5のいずれか1項に記載の放射線画像取得装置と、
     前記対象物に放射線を照射する発生源と、
     前記対象物を前記撮像装置に対して前記一の方向に搬送する搬送装置と、
    を備える放射線画像取得システム。
  7.  対象物を透過した放射線に応じたシンチレーション光を一の方向にスキャンして撮像して放射線画像を取得するステップと、
     前記放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、前記放射線画像からノイズを除去するノイズ除去処理を実行するステップと、を備え、
     前記取得するステップでは、
    前記一の方向に沿って配列されたM個(Mは、2以上の整数)の画素を有する画素ラインが、前記一の方向に直交する方向にN列(Nは2上の整数)配列されて構成され、前記画素毎に前記シンチレーション光に関する検出信号を出力する検出素子を用いて、前記検出素子のN列の前記画素ライン毎に、M個の前記画素のうちの少なくとも2個の前記画素から出力される前記検出信号を加算し、加算したN個の前記検出信号を順次出力することにより、前記放射線画像を出力する、
    放射線画像取得方法。
  8.  前記学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、
    請求項7に記載の放射線画像取得方法。
  9.  前記実行するステップでは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、前記放射線画像の各画素の画素値から前記評価値を導出し、前記放射線画像の各画素に導出した前記評価値を対応付けたデータであるノイズマップを生成し、前記放射線画像及び前記ノイズマップを、前記学習済みモデルに入力し、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
    請求項7又は8に記載の放射線画像取得方法。
  10.  前記実行するステップでは、放射線を照射して対象物を撮像する際の前記放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付け、前記条件情報を基に、前記対象物を透過した前記放射線に関する平均エネルギーを算出し、前記平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、前記ノイズ除去処理に用いる学習済みモデルを絞り込む、
    請求項7又は8に記載の放射線画像取得方法。
  11.  前記実行するステップでは、治具を対象として取得された放射線画像の画像特性を特定し、前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択し、選択された前記学習済みモデルを用いて前記ノイズ除去処理を実行する、
    請求項7又は8に記載の放射線画像取得方法。
  12.  前記対象物に放射線を照射するステップと、
     前記対象物を前記検出素子に対して前記一の方向に搬送するステップと、
    をさらに備える請求項7~11のいずれか1項に記載の放射線画像取得方法。
PCT/JP2021/015464 2020-04-16 2021-04-14 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 WO2021210612A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180028373.8A CN115427795A (zh) 2020-04-16 2021-04-14 放射线图像取得装置、放射线图像取得系统及放射线图像取得方法
US17/918,380 US20230135988A1 (en) 2020-04-16 2021-04-14 Radiographic image acquiring device, radiographic image acquiring system, and radiographic image acquisition method
JP2022515416A JPWO2021210612A1 (ja) 2020-04-16 2021-04-14
KR1020227038922A KR20230002581A (ko) 2020-04-16 2021-04-14 방사선 화상 취득 장치, 방사선 화상 취득 시스템, 및 방사선 화상 취득 방법
EP21789365.0A EP4130724A4 (en) 2020-04-16 2021-04-14 DEVICE, SYSTEM AND METHOD FOR ACQUIRING RADIOGRAPHIC IMAGE

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020073578 2020-04-16
JP2020-073576 2020-04-16
JP2020-073578 2020-04-16
JP2020073576 2020-04-16
JP2021021673 2021-02-15
JP2021-021673 2021-02-15

Publications (1)

Publication Number Publication Date
WO2021210612A1 true WO2021210612A1 (ja) 2021-10-21

Family

ID=78083882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015464 WO2021210612A1 (ja) 2020-04-16 2021-04-14 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法

Country Status (6)

Country Link
US (1) US20230135988A1 (ja)
EP (1) EP4130724A4 (ja)
JP (1) JPWO2021210612A1 (ja)
KR (1) KR20230002581A (ja)
CN (1) CN115427795A (ja)
WO (1) WO2021210612A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318103A (ja) * 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP2008229161A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2013512024A (ja) * 2009-11-25 2013-04-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 向上された画像データ/線量低減
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
CN109697476A (zh) * 2019-02-01 2019-04-30 重庆大学 一种基于深度学习的x射线光子计数探测器一致性校准方法
WO2019082276A1 (ja) 2017-10-24 2019-05-02 株式会社システムスクエア 電磁波検出モジュール、電磁波検出モジュール列、及び非破壊検査装置
JP2019111322A (ja) * 2017-12-20 2019-07-11 キヤノンメディカルシステムズ株式会社 医用信号処理装置
JP2019158663A (ja) 2018-03-14 2019-09-19 株式会社 システムスクエア 検査装置
JP2019208990A (ja) * 2018-06-07 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像診断装置
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318103A (ja) * 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP2008229161A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2013512024A (ja) * 2009-11-25 2013-04-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 向上された画像データ/線量低減
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
WO2019082276A1 (ja) 2017-10-24 2019-05-02 株式会社システムスクエア 電磁波検出モジュール、電磁波検出モジュール列、及び非破壊検査装置
JP2019111322A (ja) * 2017-12-20 2019-07-11 キヤノンメディカルシステムズ株式会社 医用信号処理装置
JP2019158663A (ja) 2018-03-14 2019-09-19 株式会社 システムスクエア 検査装置
JP2019208990A (ja) * 2018-06-07 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像診断装置
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Blue Tag株式会社 部品の検査方法及び検査システム
CN109697476A (zh) * 2019-02-01 2019-04-30 重庆大学 一种基于深度学习的x射线光子计数探测器一致性校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4130724A4

Also Published As

Publication number Publication date
CN115427795A (zh) 2022-12-02
US20230135988A1 (en) 2023-05-04
EP4130724A1 (en) 2023-02-08
EP4130724A4 (en) 2024-06-12
JPWO2021210612A1 (ja) 2021-10-21
KR20230002581A (ko) 2023-01-05

Similar Documents

Publication Publication Date Title
EP2951615B1 (en) Method and device for generating an energy-resolved x-ray image with adapted energy threshold
Richard et al. Cascaded systems analysis of noise reduction algorithms in dual‐energy imaging
US7623616B2 (en) Computer tomography apparatus and method for examining an object of interest
JP7073380B2 (ja) 自己較正ct検出器、自己較正を行うためのシステムおよび方法
CN109242920B (zh) 物质分解方法、装置和系统
US9589373B2 (en) Monte carlo modeling of field angle-dependent spectra for radiographic imaging systems
US10559100B2 (en) Method and devices for image reconstruction
WO2023281890A1 (ja) 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
JP7060446B2 (ja) X線ラインセンサ及びそれを用いたx線異物検出装置
TW202234049A (zh) 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法
WO2021210612A1 (ja) 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
JP7546048B2 (ja) 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
WO2021210617A1 (ja) 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法
WO2024157532A1 (ja) 画像処理方法、訓練方法、訓練済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム
TW202307465A (zh) 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式、放射線圖像處理系統及機器學習方法
Kotwaliwale et al. Calibration of a soft X-ray digital imaging system for biological materials
TW202307785A (zh) 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統
WO2024036278A1 (en) System and method for generating denoised spectral ct images from spectral ct image data acquired using a spectral ct imaging system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21789365

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022515416

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021789365

Country of ref document: EP

Effective date: 20221024

ENP Entry into the national phase

Ref document number: 20227038922

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE