WO2024075705A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2024075705A1
WO2024075705A1 PCT/JP2023/035961 JP2023035961W WO2024075705A1 WO 2024075705 A1 WO2024075705 A1 WO 2024075705A1 JP 2023035961 W JP2023035961 W JP 2023035961W WO 2024075705 A1 WO2024075705 A1 WO 2024075705A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sinogram
cnn
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/035961
Other languages
English (en)
French (fr)
Inventor
二三生 橋本
佑弥 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022161438A external-priority patent/JP7859942B2/ja
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to GB2502858.0A priority Critical patent/GB2637415A/en
Priority to KR1020257009399A priority patent/KR20250083467A/ko
Priority to US19/110,517 priority patent/US20260094332A1/en
Priority to CN202380071072.2A priority patent/CN120051712A/zh
Priority to DE112023004219.5T priority patent/DE112023004219T5/de
Publication of WO2024075705A1 publication Critical patent/WO2024075705A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/20—Inverse problem, i.e. transformations from projection space into object space
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Definitions

  • This disclosure relates to an apparatus and method for creating a tomographic image of a subject based on coincidence counting information collected by a radiation tomography apparatus.
  • Radiation tomography devices capable of acquiring tomographic images of a subject (living organism) include PET (Positron Emission Tomography) devices and SPECT (Single Photon Emission Computed Tomography) devices.
  • the PET device is equipped with a detection section that has a large number of small radiation detectors arranged around the measurement space in which the subject is placed.
  • the PET device uses coincidence counting to detect photon pairs with energy of 511 keV that are generated as a result of electron-positron annihilation in a subject that has been administered a positron-emitting isotope (RI source), and collects this coincidence counting information.
  • RI source positron-emitting isotope
  • a tomographic image can be reconstructed that shows the spatial distribution of the frequency of photon pair occurrence in the measurement space (i.e., the spatial distribution of the RI source).
  • Such PET devices play an important role in fields such as nuclear medicine, and can be used to study, for example, biological functions and higher-level brain functions.
  • Non-Patent Document 1 reconstructs a tomographic image using the Deep Image Prior technique, which uses a convolutional neural network, a type of deep neural network.
  • the Convolutional Neural Network is referred to as "CNN”
  • the Deep Image Prior technique is referred to as "DIP technique.”
  • DIP technology takes advantage of the property of CNN that meaningful structures in an image are learned faster than random noise (i.e., random noise is difficult to learn). DIP technology makes it possible to obtain cross-sectional images with reduced noise.
  • Non-Patent Document 1 the image processing method described in Non-Patent Document 1 is as follows: A sinogram (hereinafter referred to as a "measured sinogram") is created based on a large amount of coincidence counting information collected about the subject.
  • a sinogram hereinafter referred to as a "calculated sinogram” is created by performing a forward projection calculation (Radon transform) on the image output from the CNN.
  • the CNN is trained based on the error evaluation results.
  • the calculated sinogram gradually approaches the measured sinogram, and the output image from the CNN approaches the tomographic image of the subject.
  • This image processing method includes a process of forward projecting the CNN output image onto a calculated sinogram, but does not include a process of back projecting the measured sinogram onto a tomographic image, making it possible to obtain a tomographic image with reduced noise.
  • the sinogram is expressed as a histogram showing the frequency with which coincidence information was obtained (frequency of occurrence of coincidence events) in a space (sinogram space) represented by four variables r, ⁇ , z, and ⁇ .
  • the variable r represents the distance from the central axis to the coincidence line (the line connecting the two detectors that simultaneously counted the photon pairs).
  • the variable ⁇ represents the azimuth angle of the coincidence line.
  • the variable z represents the central axial position of the midpoint of the coincidence line. Additionally, the variable ⁇ represents the central axial distance between the two detectors that simultaneously counted the photon pairs.
  • Noise reduction processing using DIP technology has excellent noise reduction performance, but it has the problem of image quality degradation due to overlearning of the CNN.
  • DIP technology takes advantage of the property of CNN that random noise is difficult to learn, but as the number of times CNN learns increases, random noise is also restored. In this way, overlearning of the CNN causes image quality to deteriorate as random noise is also restored.
  • the present invention aims to provide an image processing device and an image processing method that can suppress image quality degradation caused by CNN overlearning in noise reduction processing using DIP technology when creating a tomographic image of a subject by training a CNN based on the evaluation results of the error between a calculated sinogram and a measured sinogram, thereby obtaining a tomographic image with reduced noise.
  • An embodiment of the present invention is an image processing device.
  • the image processing device creates a tomographic image of the subject based on coincidence information collected by a radiation tomography device having multiple detectors arranged around a measurement space in which a subject administered with an RI radiation source is placed, and includes: (1) a sinogram creation unit that creates a sinogram based on the coincidence information collected by the radiation tomography device; (2) a CNN processing unit that inputs an input image to a convolutional neural network and creates an output image by the convolutional neural network; (3) a forward projection calculation unit that creates a sinogram by forward projection calculation of the output image; and (4) a CNN learning unit that uses an evaluation function including an error evaluation term that represents an evaluation value regarding the error between the sinogram created by the sinogram creation unit and the sinogram created by the forward projection calculation unit, and a regularization term that represents an evaluation value regarding the difference in pixel values between adjacent pixels in the output image, and trains the convolutional neural network based on the value of this evaluation function, and the output
  • An embodiment of the present invention is a radiation tomography system.
  • the radiation tomography system includes a radiation tomography device having a plurality of detectors arranged around a measurement space in which a subject administered with an RI radiation source is placed, and collecting coincidence counting information, and an image processing device having the above-described configuration that creates a tomographic image of the subject based on the coincidence counting information collected by the radiation tomography device.
  • An embodiment of the present invention is an image processing method.
  • the image processing method is an image processing method for creating a tomographic image of a subject based on coincidence information collected by a radiation tomography apparatus having multiple detectors arranged around a measurement space in which a subject to which an RI radiation source has been administered is placed, and includes: (1) a sinogram creation step for creating a sinogram based on the coincidence information collected by the radiation tomography apparatus; (2) a CNN processing step for inputting an input image to a convolutional neural network and creating an output image by the convolutional neural network; (3) a forward projection calculation step for creating a sinogram by forward projection calculation of the output image; and (4) a CNN learning step for learning a convolutional neural network based on the value of an evaluation function that includes an error evaluation term that represents an evaluation value regarding the error between the sinogram created in the sinogram creation step and the sinogram created in the forward projection calculation step, and a regularization term that represents an evaluation value regarding the difference in pixel values between adjacent pixels in the output image.
  • a CNN when a CNN is trained based on the evaluation results of the error between the calculated sinogram and the measured sinogram to create a tomographic image of a subject, degradation of image quality caused by CNN over-training can be suppressed in noise reduction processing using DIP technology, and a tomographic image with reduced noise can be obtained.
  • FIG. 1 is a diagram showing the configuration of a radiation tomography system 1.
  • FIG. 2 is a diagram illustrating an example of the configuration of a CNN.
  • FIG. 3 is a flow chart of an image processing method.
  • FIG. 4 is a diagram showing a comparison between examples of the calculated sinogram 24 when no block division is performed and the calculated sinograms 24 1 to 24 16 when block division is performed, in which (a) is a diagram showing a schematic diagram of the calculated sinogram 24 when no block division is performed, and (b) is a diagram showing a schematic diagram of the calculated sinograms 24 1 to 24 16 when block division is performed.
  • FIG. 5 is a diagram illustrating adjacent pixels in an output image.
  • FIG. 6 shows a tomographic image of the brain obtained by image processing method 1.
  • FIG. 7 shows a tomographic image of the brain obtained by image processing method 2.
  • FIG. 8 shows a tomographic image of the brain obtained by image processing method 3.
  • FIG. 1 is a diagram showing the configuration of a radiation tomography system 1.
  • the radiation tomography system 1 includes a radiation tomography device 2 and an image processing device 10.
  • the image processing device 10 includes a sinogram creation unit 11, a CNN processing unit 12, a convolution integral unit 13, a forward projection calculation unit 14, and a CNN learning unit 15.
  • the input image, output image, and tomographic image may be either two-dimensional or three-dimensional images, but the following description will assume that these images are three-dimensional images.
  • the measured sinogram and calculated sinogram may or may not be divided into multiple blocks, but the following description will mainly focus on the case where these sinograms are divided into multiple blocks.
  • the radiation tomography apparatus 2 is an apparatus that collects coincidence counting information for reconstructing a tomographic image of the subject.
  • Examples of the radiation tomography apparatus 2 include a PET apparatus and a SPECT apparatus. In the following description, the radiation tomography apparatus 2 will be described as a PET apparatus.
  • the radiation tomography apparatus 2 is equipped with a detection section having a large number of small radiation detectors arranged around the measurement space in which the subject is placed.
  • the radiation tomography apparatus 2 detects photon pairs with energy of 511 keV that are generated in association with the annihilation of electrons and positrons in a subject administered with an RI radiation source by a coincidence method using the detection section, and collects this coincidence information.
  • the radiation tomography apparatus 2 then outputs this collected coincidence information to the image processing device 10.
  • the image processing device 10 includes a GPU (Graphics Processing Unit) that performs processing using a convolutional neural network (CNN), an input unit (e.g., a keyboard or mouse) that accepts input from an operator, a display unit (e.g., a liquid crystal display) that displays images, etc., and a storage unit that stores programs and data for executing various processes.
  • a GPU Graphics Processing Unit
  • CNN convolutional neural network
  • input unit e.g., a keyboard or mouse
  • a display unit e.g., a liquid crystal display
  • storage unit that stores programs and data for executing various processes.
  • a computer having a CPU, RAM, ROM, hard disk drive, etc. is used as the image processing device 10.
  • the sinogram creation unit 11 creates a measured sinogram 21 based on the coincidence counting information collected by the radiation tomography apparatus 2. At this time, the sinogram creation unit 11 creates measured sinograms 21 1 to 21 K divided into a plurality of (K) blocks.
  • the measured sinogram 21 k is the measured sinogram of the k-th block of the K blocks.
  • K is an integer of 2 or more, and k is an integer of 1 to K.
  • the divided measured sinograms 21 1 to 21 K are combined to form the entire measured sinogram 21.
  • the CNN processing unit 12 inputs a three-dimensional input image 20 to a CNN, which then creates a three-dimensional output image 22.
  • the three-dimensional input image 20 may be an image that represents morphological information of a subject, an MRI image, a CT image, or a static PET image of the subject, or a random noise image.
  • the convolution integral unit 13 performs convolution integral of a point spread function on the three-dimensional output image 22 created by the CNN processing unit 12 to create a new three-dimensional output image 23.
  • the point spread function is a function that represents the response (impulse response) of a radiation tomography device to a point radiation source, and is generally represented by a Gaussian function or an asymmetric Gaussian function that has a different blur depending on the position in the field of view modeled from the actual measurement data of the point radiation source.
  • the forward projection calculation unit 14 performs forward projection calculation on the three-dimensional output image 23 to create a calculated sinogram 24. At this time, the forward projection calculation unit 14 creates calculated sinograms 24 1 to 24 K divided into K blocks.
  • the calculated sinogram 24 k is the calculated sinogram of the k-th block out of the K blocks.
  • the divided calculated sinograms 24 1 to 24 K are combined to form the entire calculated sinogram 24.
  • the calculated sinogram 24 is divided into blocks in the same manner as the measured sinogram 21.
  • the calculated sinogram 24 k of the kth block and the measured sinogram 21 k of the kth block are sinograms of a common region in the entire sinogram space.
  • the manner of block division is arbitrary, and block division may be performed for any one or more variables among the four variables expressing the sinogram space.
  • the sizes of the K blocks may be different or the same.
  • the CNN training unit 15 evaluates the error between the measured sinogram 21 k and the calculated sinogram 24 k for each of the K blocks, and trains the CNN based on the error evaluation results for each of the K blocks.
  • the 3D output image 22 created by the CNN processing unit 12 after multiple repetitions of the processing of the CNN processing unit 12, the convolution integration unit 13, the forward projection calculation unit 14, and the CNN learning unit 15 is the 3D tomographic image of the subject.
  • the 3D output image 23 created by the convolution integration unit 13 may also be the 3D tomographic image of the subject. Since the measured sinogram 21 reflects the response function of the radiation tomography device, it is preferable to use the 3D output image 22 before the convolution integration of the point spread function by the convolution integration unit 13 as the 3D tomographic image of the subject.
  • the convolution integration unit 13 may be provided as the final layer of the CNN, or may be provided separately from the CNN. When the convolution integration unit 13 is provided as the final layer of the CNN, the weighting coefficient of the convolution integration unit 13 is maintained constant during CNN training. The convolution integration unit 13 does not have to be provided. When the convolution integration unit 13 is not provided, the forward projection calculation unit 14 performs a forward projection calculation of the three-dimensional output image 22 output from the CNN processing unit 12 to create a calculated sinogram 24.
  • Figure 2 shows an example of a CNN configuration.
  • the CNN shown in this figure has a three-dimensional U-net structure that includes an encoder and a decoder. This figure shows the size of each layer of the CNN, with the number of pixels of the three-dimensional input image 20 input to the CNN being NxNx64.
  • FIG. 3 is a flowchart of the image processing method.
  • the image processing method includes a sinogram creation step S1 performed by the sinogram creation unit 11, a CNN processing step S2 performed by the CNN processing unit 12, a convolution integration step S3 performed by the convolution integration unit 13, a forward projection calculation step S4 performed by the forward projection calculation unit 14, and a CNN learning step S5 performed by the CNN learning unit 15.
  • a sinogram creation step S1 measured sinograms 21 1 to 21 K divided into K blocks are created based on coincidence counting information collected by the radiation tomography apparatus 2.
  • a CNN processing step S2 a three-dimensional input image 20 is input to a CNN, which creates a three-dimensional output image 22.
  • a convolution integration step S3 a convolution integration of a point spread function is performed on the three-dimensional output image 22 created in the CNN processing step S2, to create a new three-dimensional output image 23.
  • a forward projection calculation step S4 a forward projection calculation is performed on the three-dimensional output image 23 to generate calculated sinograms 24 1 to 24 K divided into K blocks.
  • a CNN learning step S5 an error between the measured sinogram 21 k and the calculated sinogram 24 k for each of the K blocks is evaluated, and a CNN is trained based on the error evaluation results for each of the K blocks.
  • the three-dimensional output image 22 created in the CNN processing step S2 is the three-dimensional tomographic image of the subject.
  • the three-dimensional output image 23 created in the convolution integral step S3 may be the three-dimensional tomographic image of the subject. Note that the convolution integral step S3 does not have to be provided.
  • the processing by the CNN is denoted as f, the three-dimensional input image 20 input to the CNN as z, and the weighting coefficient parameter representing the learning state of the CNN as ⁇ . ⁇ changes as the learning of the CNN progresses.
  • the three-dimensional output image 22 output from the CNN when a three-dimensional input image z is input to a CNN with a weighting coefficient of ⁇ is denoted as x.
  • the three-dimensional output image x is expressed by the following equation (1). In the CNN processing step, the processing represented by this equation is performed to create the three-dimensional output image x.
  • the point spread function is convolved with the 3D output image x created in the CNN processing step to create a new 3D output image x.
  • the 3D output image x after the convolution is written as PSF(f( ⁇
  • the three-dimensional output image x is forward projected to generate a calculated sinogram 24.
  • the calculated sinogram 24 is denoted as y
  • a projection matrix for performing forward projection calculation (Radon transform) from the three-dimensional output image x to the calculated sinogram y is denoted as P.
  • the projection matrix is also called a system matrix or detection probability.
  • the measured sinogram 21 is set to y0 , the error between the measured sinogram y0 and the calculated sinogram y (the above formula (2)) is evaluated, and the CNN is trained based on the error evaluation result.
  • the process performed in the CNN learning step is expressed by the following formula (3).
  • the constrained optimization problem of this formula is a problem of optimizing the CNN parameter ⁇ so as to reduce the value of the evaluation function E(y; y0 ) under the constraint that the three-dimensional output image x created by the CNN is a tomographic image of the subject.
  • the constrained optimization problem of the formula (3) can be transformed into an unconstrained optimization problem of the following formula (4).
  • the evaluation function E can be any function, and for example, the L1 norm, the L2 norm, or the negative log-likelihood in the Poisson distribution can be used.
  • the formula (4) can be transformed into the following formula (5).
  • m is a binary mask function that has a value of 1 in a region in the sinogram space where it is possible to collect coincidence counting information, and has a value of 0 in a region in the sinogram space where it is impossible to collect coincidence counting information.
  • Formula (6) selectively evaluates the error in a region in the sinogram space where it is possible to collect coincidence counting information by taking the Hadamard product of the error (y-y 0 ) and the binary mask function m.
  • the CNN processing step By repeating the CNN processing step, the convolution integral step, the forward projection calculation step, and the CNN learning step multiple times to solve this optimization problem for the CNN parameter ⁇ , the calculated sinogram y approaches the measured sinogram y0 , and the three-dimensional output image x created by the CNN approaches the tomographic image of the subject.
  • a forward projection calculation step a three-dimensional output image x is forward projected to generate calculated sinograms 24 1 to 24 K divided into K blocks.
  • the calculated sinogram 24 k of the kth block is denoted by y k
  • a projection matrix for performing a forward projection calculation (Radon transform) from the three-dimensional output image x to the calculated sinogram y k is denoted by P k .
  • the processing performed in the forward projection calculation step is expressed by the following formula (7).
  • the measured sinogram 21 k of the kth block is defined as y 0 k
  • the error between the measured sinogram y 0 k and the calculated sinogram y k is evaluated for each of the K blocks, and the CNN is trained based on the error evaluation results for each of the K blocks.
  • the process performed in the CNN learning step is expressed by the unconstrained optimization problem of the following formula (8).
  • formula (8) can be transformed into the following formula (9).
  • the error is selectively evaluated in a region in the sinogram space where coincidence information can be collected, it is expressed by the unconstrained optimization problem of the following formula (10).
  • m k is a binary mask function in the kth block.
  • the CNN processing step By repeating the CNN processing step, the convolution integral step, the forward projection calculation step, and the CNN learning step multiple times to solve this optimization problem for the CNN parameter ⁇ , the calculated sinogram y k for each of the K blocks approaches the measured sinogram y 0k , and the three-dimensional output image x created by the CNN approaches the tomographic image of the subject.
  • GPUs are used in processing using CNNs.
  • GPUs are arithmetic processing devices specialized for image processing, and have an arithmetic unit and RAM integrated on a single semiconductor chip.
  • Various types of data used during arithmetic processing by the arithmetic unit of the GPU must be stored in the RAM of the GPU.
  • the data that needs to be stored in the GPU RAM includes, for example, CNN input images, CNN output images, weight coefficients that represent the CNN learning state, feature maps, measured sinograms, calculated sinograms, parameters required for forward projection calculations, etc., and requires a huge amount of storage capacity.
  • CNN input images CNN output images
  • weight coefficients that represent the CNN learning state
  • feature maps feature maps
  • measured sinograms calculated sinograms
  • parameters required for forward projection calculations etc.
  • the number of pixels of the three-dimensional output image created by the CNN is 128 ⁇ 128 ⁇ 64
  • the number of pixels of the sinogram space is 128 ⁇ 128 ⁇ 64 ⁇ 19.
  • Fig. 4 is a diagram showing a comparison between examples of a calculated sinogram 24 when no block division is performed and calculated sinograms 24 1 to 24 16 when block division is performed.
  • Fig. 4(a) shows a schematic diagram of the calculated sinogram 24 when no block division is performed.
  • Fig. 4(b) shows a schematic diagram of the calculated sinograms 24 1 to 24 16 when block division is performed.
  • the number of pixels of the calculated sinogram 24 k of each block when dividing into blocks is 128 ⁇ 8 ⁇ 64 ⁇ 19, which is 1/16 of the number of pixels of the calculated sinogram 24 when dividing into blocks is not performed. Furthermore, the number of elements of the projection matrix P k for performing forward projection calculation from the three-dimensional output image to the calculated sinogram 24 k of the kth block when dividing into blocks is 1/16 of the number of elements of the projection matrix P for performing forward projection calculation from the three-dimensional output image to the calculated sinogram 24 when dividing into blocks is not performed.
  • the memory capacity required to store the data used in the forward projection calculation can be reduced compared to when dividing into blocks is not performed, and this data can be stored in the GPU's RAM. Therefore, when dividing into blocks, it becomes easier to perform 3D forward projection calculations from the CNN output image to the calculated sinogram, and it is possible to easily create 3D tomographic images of the subject by training the CNN based on the evaluation results of the error between the calculated sinogram and the measured sinogram.
  • the evaluation function used by the CNN learning unit 15 in the CNN learning step S5 will be further explained.
  • an evaluation function that includes a regularization term in addition to this error evaluation term.
  • the regularization term is for suppressing CNN overlearning, and represents an evaluation value related to the difference in pixel values between adjacent pixels in the output image.
  • the evaluation function when the sinogram is not divided into blocks is given by the following formula (11) instead of the above formula (5). Also, the evaluation function when the sinogram is divided into blocks is given by the following formula (12) instead of the above formula (9).
  • the first term on the right hand side is an error evaluation term
  • the second term on the right hand side is a regularization term.
  • This regularization term penalizes the difference in pixel values between adjacent pixels in the output image.
  • ⁇ is a hyperparameter that adjusts the degree of the effect of regularization. The smaller ⁇ is, the smaller the effect of regularization is. The larger ⁇ is, the greater the effect of regularization (i.e., the effect of suppressing CNN overlearning).
  • the regularization term may represent an evaluation value regarding the difference in pixel values between adjacent pixels in the output image 22 (f( ⁇
  • the neighbors of a pixel include neighbors in each of two mutually perpendicular directions, and preferably also neighbors in a diagonal direction.
  • the number of neighbors of a pixel is eight, excluding pixels at the edges or corners of the image.
  • the neighbors of a pixel include neighbors in each of three mutually orthogonal directions, and preferably also neighbors in diagonal directions.
  • the number of neighbors of a pixel is 26, excluding pixels at the edges or corners of the image.
  • FIG. 5 is a diagram explaining adjacent pixels in an output image.
  • This diagram shows the output image as a two-dimensional image, with 3 ⁇ 3 pixels shown.
  • the difference in pixel values between adjacent pixels with respect to this center pixel is expressed as
  • the regularization term represents an evaluation value regarding the difference in pixel values for all combinations of adjacent pixels in the output image.
  • the regularization term may be expressed by various formulas as long as it represents an evaluation value related to the difference in pixel values between adjacent pixels in the output image.
  • the regularization term is expressed by the following formula (13).
  • N j represents a set of pixels k adjacent to pixel j.
  • ⁇ represents the magnitude of change in the value of the regularization term with respect to a change in pixel value ⁇ j .
  • This formula (13) includes a term of the difference in pixel values between adjacent pixels in the numerator and a term of the sum of the pixel values of adjacent pixels in the denominator, and represents an evaluation value related to the relative difference in pixel values between adjacent pixels in the output image.
  • equation (13) is similar to the equation described in Non-Patent Document 2. However, in Non-Patent Document 2, an equation similar to equation (13) is used in the process of reconstructing a tomographic image of a subject based on coincidence counting information collected by a PET device, and is not used in the noise reduction process of the tomographic image by DIP technology.
  • Non-Patent Document 3 Gibbs prior (Non-Patent Document 3) or total variation (Non-Patent Document 4) may be used. Note that these documents also describe the technology for reconstructing and processing a tomographic image of a subject, and do not describe the technology for performing noise reduction processing on a tomographic image using DIP technology.
  • image processing method 1 a tomographic image was reconstructed using the ML-EM (Maximum Likelihood Expectation Maximization) method, which is a common image reconstruction method.
  • image processing method 2 a tomographic image was reconstructed using the evaluation function in equation (9) above in the image processing method described with reference to Figures 1 to 4.
  • image processing method 3 a tomographic image was reconstructed using the evaluation functions in equations (12) and (13) above in the image processing method described with reference to Figures 1 to 4.
  • the phantom image used was a 3D brain image obtained from BrainWeb (https://brainweb.bic.mni.mcgill.ca/brainweb/) in which a simulated tumor was embedded in the white matter.
  • the number of pixels in the phantom image was 128 x 128 x 64.
  • the number of pixels in the sinogram space was 128 x 128 x 64 x 19, and the sinogram space was divided equally into two blocks.
  • the error evaluation term of the evaluation function used in image processing methods 2 and 3 was the mean squared error (MSE).
  • MSE mean squared error
  • the input image input to the CNN was a three-dimensional random noise image.
  • the number of iterations was 2000, and in image processing method 1, the number of iterations was 50.
  • FIG. 6 shows a tomographic image of the brain obtained by image processing method 1.
  • FIG. 7 shows a tomographic image of the brain obtained by image processing method 2.
  • FIG. 8 shows a tomographic image of the brain obtained by image processing method 3.
  • PSNR Peak Signal to Noise Ratio
  • dB decibels
  • the image processing device and image processing method are not limited to the above-mentioned embodiments and configuration examples, and various modifications are possible.
  • the image processing device of the first aspect is an image processing device that creates a tomographic image of a subject based on coincidence information collected by a radiation tomography device having a plurality of detectors arranged around a measurement space in which a subject administered with an RI radiation source is placed, and includes: (1) a sinogram creation unit that creates a sinogram based on the coincidence information collected by the radiation tomography device; (2) a CNN processing unit that inputs an input image to a convolutional neural network and creates an output image by the convolutional neural network; (3) a forward projection calculation unit that creates a sinogram by forward projection calculation of the output image; and (4) a CNN learning unit that uses an evaluation function including an error evaluation term that represents an evaluation value regarding the error between the sinogram created by the sinogram creation unit and the sinogram created by the forward projection calculation unit, and a regularization term that represents an evaluation value regarding the difference in pixel values between adjacent pixels in the output image, and trains the convolutional neural network based on the value of this evaluation
  • the sinogram creation unit creates a sinogram divided into multiple blocks based on coincidence counting information collected by the radiation tomography device
  • the forward projection calculation unit performs forward projection calculation on the output image to create a sinogram divided into multiple blocks
  • the CNN learning unit may be configured to train a convolutional neural network based on the value of the evaluation function for each of the multiple blocks.
  • the tomographic image, the input image, and the output image may each be a three-dimensional image.
  • a convolution integral unit may be further provided that performs a convolution integral of the point spread function on the output image
  • the forward projection calculation unit may be configured to perform a forward projection calculation on the output image after processing by the convolution integral unit.
  • the CNN learning unit may be configured to evaluate the error using an error evaluation term in a region in the sinogram space where coincidence information can be collected by the radiation tomography device.
  • the CNN processing unit may be configured to input an image representing morphological information of the subject as an input image to the convolutional neural network.
  • the CNN processing unit may be configured to input an MRI image of the subject as an input image to the convolutional neural network.
  • the CNN processing unit may be configured to input a CT image of the subject as an input image to the convolutional neural network.
  • the CNN processing unit may be configured to input a static PET image of the subject as an input image to the convolutional neural network.
  • the CNN processing unit may be configured to input a random noise image as an input image to the convolutional neural network.
  • the radiation tomography system includes a radiation tomography device having a plurality of detectors arranged around a measurement space in which a subject administered with an RI radiation source is placed, and collecting coincidence counting information, and an image processing device of the above configuration that creates a tomographic image of the subject based on the coincidence counting information collected by the radiation tomography device.
  • the image processing method of the first aspect is an image processing method for creating a tomographic image of a subject based on coincidence counting information collected by a radiation tomography apparatus having a plurality of detectors arranged around a measurement space in which a subject to which an RI radiation source has been administered is placed, and includes: (1) a sinogram creation step for creating a sinogram based on the coincidence counting information collected by the radiation tomography apparatus; (2) a CNN processing step for inputting an input image into a convolutional neural network and creating an output image by the convolutional neural network; and (3) a forward projection calculation of the output image to create a sinogram.
  • the method includes a forward projection calculation step for creating an inogram, and (4) a CNN learning step for using an evaluation function including an error evaluation term that represents an evaluation value related to the error between the sinogram created in the sinogram creation step and the sinogram created in the forward projection calculation step, and a regularization term that represents an evaluation value related to the difference in pixel values between adjacent pixels in the output image, and for training a convolutional neural network based on the value of this evaluation function, and the output image after the CNN processing step, the forward projection calculation step, and the CNN learning step are each repeated multiple times is used as a tomographic image of the subject.
  • a sinogram divided into a plurality of blocks is created based on coincidence counting information collected by a radiation tomography device
  • a sinogram divided into a plurality of blocks is created by performing forward projection calculation on the output image
  • a convolutional neural network may be trained based on the value of an evaluation function for each of the plurality of blocks.
  • the tomographic image, the input image, and the output image may each be a three-dimensional image.
  • a convolution integral step may be further provided in which a convolution integral of a point spread function is performed on the output image, and in the forward projection calculation step, a forward projection calculation may be performed on the output image after processing in the convolution integral step.
  • an error in the configuration of any of the first to fourth aspects, in the CNN learning step, an error may be evaluated using an error evaluation term in an area in the sinogram space where coincidence information can be collected by the radiation tomography device.
  • an image representing morphological information of the subject may be input as an input image to a convolutional neural network.
  • the CNN processing step may be configured to input an MRI image of the subject as an input image to the convolutional neural network.
  • the CNN processing step may be configured to input a CT image of the subject as an input image to a convolutional neural network.
  • a static PET image of the subject may be input as an input image to a convolutional neural network in the CNN processing step.
  • a random noise image may be input as an input image to the convolutional neural network in the CNN processing step.
  • the present invention can be used as an image processing device and image processing method that can suppress image quality degradation caused by CNN overlearning in noise reduction processing using DIP technology when creating a tomographic image of a subject by training a CNN based on the evaluation results of the error between a calculated sinogram and an actual sinogram, thereby obtaining a tomographic image with reduced noise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置（１０）は、サイノグラム作成部（１１）、ＣＮＮ処理部（１２）、畳み込み積分部（１３）、順投影計算部（１４）およびＣＮＮ学習部（１５）を備える。順投影計算部（１４）は、出力画像（２３）を順投影計算して、計算サイノグラム（２４）を作成する。ＣＮＮ学習部（１５）は、実測サイノグラム（２１）と計算サイノグラム（２４）との間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいてＣＮＮを学習させる。これにより、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の断層画像を作成する際に、ＤＩＰ技術を用いたノイズ低減処理においてＣＮＮ過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる画像処理装置が実現される。

Description

画像処理装置および画像処理方法
　本開示は、放射線断層撮影装置により収集された同時計数情報に基づいて被検体の断層画像を作成する装置および方法に関するものである。
　被検体（生体）の断層画像を取得することができる放射線断層撮影装置として、ＰＥＴ（Positron　Emission　Tomography）装置およびＳＰＥＣＴ（Single　Photon　Emission　Computed　Tomography）装置が挙げられる。
　ＰＥＴ装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。ＰＥＴ装置は、陽電子放出アイソトープ（ＲＩ線源）が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。
　そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布（すなわち、ＲＩ線源の空間分布）を表す断層画像を再構成することができる。このようなＰＥＴ装置は核医学分野等で重要な役割を果たしており、これを用いて、例えば生体機能や脳の高次機能の研究を行うことができる。
　収集した多数の同時計数情報に基づいて被検体の断層画像を再構成する手法として種々の方法が知られている。非特許文献１に記載された断層画像再構成の為の画像処理方法は、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いた Deep　Image　Prior技術により断層画像を再構成する。以下では、畳み込みニューラルネットワーク（Convolutional Neural Network）を「ＣＮＮ」といい、Deep Image Prior技術を「ＤＩＰ技術」という。
　ＤＩＰ技術は、画像中の意味のある構造の方がランダムなノイズより早く学習される（すなわち、ランダムなノイズは学習されにくい）というＣＮＮの性質を利用する。ＤＩＰ技術により、ノイズが低減された断層画像を取得することができる。
　非特許文献１に記載された画像処理方法は、具体的には次のようなものである。被検体について収集した多数の同時計数情報に基づいてサイノグラム（以下「実測サイノグラム」という）を作成する。また、入力画像（例えばＭＲＩ画像）をＣＮＮに入力させたときにＣＮＮから出力される画像を順投影計算（ラドン変換）してサイノグラム（以下「計算サイノグラム」という）を作成する。
　そして、この計算サイノグラムと実測サイノグラムとの間の誤差を評価して、この誤差評価結果に基づいてＣＮＮを学習させる。ＤＩＰ技術により、ＣＮＮからの画像出力、順投影計算による計算サイノグラムの作成、誤差の評価およびＣＮＮの学習を繰り返すと、次第に計算サイノグラムは実測サイノグラムに近づいていき、ＣＮＮからの出力画像は被検体の断層画像に近づいていく。
　この画像処理方法は、ＣＮＮ出力画像から計算サイノグラムへ順投影する処理を含む一方で、実測サイノグラムから断層画像へ逆投影する処理を含まないことから、よりノイズが低減された断層画像を取得することができる。
　サイノグラムは、４つの変数ｒ，θ，ｚ，δで表される空間（サイノグラム空間）において、同時計数情報を取得した頻度（同時計数事象の発生頻度）を表すヒストグラムとして表現したものである。変数ｒは、中心軸から同時計数ライン（光子対を同時計数した２個の検出器を互いに結ぶライン）までの距離を表す。変数θは、同時計数ラインの方位角を表す。変数ｚは、同時計数ラインの中点の中心軸方向位置を表す。また、変数δは、光子対を同時計数した２個の検出器の間の中心軸方向距離を表す。
F. Hashimoto, K. Ote and Y. Onishi, "PET Image Reconstruction Incorporating Deep Image Prior and a Forward Projection Model", IEEE Transactions on Radiation and Plasma Medical Sciences, doi: 10.1109/TRPMS.2022.3161569, 2022 J. Nuyts et al., "A concave prior penalizing relative differences for maximum-a-posteriori reconstruction in emission tomography", IEEE TNS, Vol.49, Issue 1, pp.56-60, 2002 工藤博幸, "低被曝ＣＴにおける画像再構成法 －統計的画像再構成，逐次近似画像再構成，圧縮センシングの基礎－", Medical Imaging Technology, Vol.32, No.4, pp.239-248, 2014 Antonin Chambolle, "An Algorithm for Total Variation Minimization and Applications", Journal of Mathematical Imaging and Vision 20, pp.89-97, 2004
　ＤＩＰ技術を用いたノイズ低減処理は、ノイズ低減性能が優れているものの、ＣＮＮの過学習による画質劣化の問題を有している。すなわち、ＤＩＰ技術は、上述したとおり、ランダムなノイズが学習されにくいというＣＮＮの性質を利用するものであるが、ＣＮＮの学習の回数が増えるに従ってランダムなノイズも復元されていくことになる。このように、ＣＮＮの過学習により、ランダムなノイズも復元されていくことで、画質が劣化してしまう。
　本発明は、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の断層画像を作成する際に、ＤＩＰ技術を用いたノイズ低減処理においてＣＮＮ過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる画像処理装置および画像処理方法を提供することを目的とする。
　本発明の実施形態は、画像処理装置である。画像処理装置は、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理装置であって、（１）放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成部と、（２）畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理部と、（３）出力画像を順投影計算してサイノグラムを作成する順投影計算部と、（４）サイノグラム作成部により作成されたサイノグラムと順投影計算部により作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるＣＮＮ学習部と、を備え、ＣＮＮ処理部、順投影計算部およびＣＮＮ学習部それぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
　本発明の実施形態は、放射線断層撮影システムである。放射線断層撮影システムは、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有し同時計数情報を収集する放射線断層撮影装置と、放射線断層撮影装置により収集された同時計数情報に基づいて被検体の断層画像を作成する上記構成の画像処理装置と、を備える。
　本発明の実施形態は、画像処理方法である。画像処理方法は、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理方法であって、（１）放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成ステップと、（２）畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理ステップと、（３）出力画像を順投影計算してサイノグラムを作成する順投影計算ステップと、（４）サイノグラム作成ステップで作成されたサイノグラムと順投影計算ステップで作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるＣＮＮ学習ステップと、を備え、ＣＮＮ処理ステップ、順投影計算ステップおよびＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
　本発明の実施形態によれば、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の断層画像を作成する際に、ＤＩＰ技術を用いたノイズ低減処理においてＣＮＮ過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる。
図１は、放射線断層撮影システム１の構成を示す図である。 図２は、ＣＮＮの構成例を示す図である。 図３は、画像処理方法のフローチャートである。 図４は、ブロック分割しない場合の計算サイノグラム２４およびブロック分割する場合の計算サイノグラム２４１～２４１６それぞれの例を比較して示す図であり、（ａ）ブロック分割しない場合の計算サイノグラム２４を模式的に示す図、及び（ｂ）ブロック分割する場合の計算サイノグラム２４１～２４１６を模式的に示す図である。 図５は、出力画像における隣接画素について説明する図である。 図６は、画像処理方法１で得られた脳の断層画像を示す図である。 図７は、画像処理方法２で得られた脳の断層画像を示す図である。 図８は、画像処理方法３で得られた脳の断層画像を示す図である。
　以下、添付図面を参照して、画像処理装置および画像処理方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　図１は、放射線断層撮影システム１の構成を示す図である。放射線断層撮影システム１は、放射線断層撮影装置２および画像処理装置１０を備える。画像処理装置１０は、サイノグラム作成部１１、ＣＮＮ処理部１２、畳み込み積分部１３、順投影計算部１４およびＣＮＮ学習部１５を備える。
　なお、入力画像、出力画像および断層画像は、２次元の画像および３次元の画像の何れであってもよいが、以下では、これらの画像が３次元の画像であるとして説明をする。また、実測サイノグラムおよび計算サイノグラムは、複数のブロックに分割してもよいし分割しなくてもよいが、以下では、これらのサイノグラムを複数のブロックに分割する場合について主に説明をする。
　放射線断層撮影装置２は、被検体の断層画像を再構成するための同時計数情報を収集する装置である。放射線断層撮影装置２として、ＰＥＴ装置およびＳＰＥＣＴ装置が挙げられる。以下では、放射線断層撮影装置２がＰＥＴ装置であるとして説明をする。
　放射線断層撮影装置２は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。放射線断層撮影装置２は、ＲＩ線源が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、放射線断層撮影装置２は、この収集した同時計数情報を画像処理装置１０へ出力する。
　画像処理装置１０は、畳み込みニューラルネットワーク（ＣＮＮ）を用いた処理を行うＧＰＵ（Graphics　Processing　Unit）、操作者の入力を受け付ける入力部（例えばキーボードやマウス）、画像等を表示する表示部（例えば液晶ディスプレイ）、および、様々な処理を実行する為のプログラムやデータを記憶する記憶部を備える。画像処理装置１０として、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭおよびハードディスクドライブ等を有するコンピュータが用いられる。
　サイノグラム作成部１１は、放射線断層撮影装置２により収集された同時計数情報に基づいて実測サイノグラム２１を作成する。このとき、サイノグラム作成部１１は、複数（Ｋ個）のブロックに分割された実測サイノグラム２１１～２１Ｋを作成する。実測サイノグラム２１ｋは、Ｋ個のブロックのうちの第ｋブロックの実測サイノグラムである。Ｋは２以上の整数であり、ｋは１以上Ｋ以下の整数である。分割された実測サイノグラム２１１～２１Ｋを結合したものが全体の実測サイノグラム２１である。
　ＣＮＮ処理部１２は、ＣＮＮに３次元入力画像２０を入力させて、そのＣＮＮにより３次元出力画像２２を作成する。３次元入力画像２０は、被検体の形態情報を表す画像であってもよいし、被検体のＭＲＩ画像、ＣＴ画像または静的ＰＥＴ画像であってもよいし、ランダムノイズ画像であってもよい。
　畳み込み積分部１３は、ＣＮＮ処理部１２により作成された３次元出力画像２２に対し点像分布関数の畳み込み積分を行って、新たな３次元出力画像２３を作成する。点像分布関数（Point　Spread　Function、ＰＳＦ）は、点線源に対する放射線断層撮影装置の応答（インパルス応答）を表す関数であり、一般に、ガウシアン関数、または、点線源の実測データからモデル化された視野内の位置によってボケ方の異なる非対称なガウシアン関数などで表される。畳み込み積分部１３が設けられていることにより、より画質が優れた断層画像を得ることができ、また、ＣＮＮの学習の安定化を図ることができる。
　順投影計算部１４は、３次元出力画像２３を順投影計算して計算サイノグラム２４を作成する。このとき、順投影計算部１４は、Ｋ個のブロックに分割された計算サイノグラム２４１～２４Ｋを作成する。計算サイノグラム２４ｋは、Ｋ個のブロックのうちの第ｋブロックの計算サイノグラムである。分割された計算サイノグラム２４１～２４Ｋを結合したものが全体の計算サイノグラム２４である。
　計算サイノグラム２４のブロック分割は、実測サイノグラム２１のブロック分割と同様に行われる。第ｋブロックの計算サイノグラム２４ｋと第ｋブロックの実測サイノグラム２１ｋとは、全体のサイノグラム空間のうちの共通の領域のサイノグラムである。ブロック分割の態様は任意であり、サイノグラム空間を表現する４つの変数のうちの何れかの１または２以上の変数についてブロック分割してもよい。Ｋ個のブロックそれぞれのサイズは、異なっていてもよいし、同一であってもよい。
　ＣＮＮ学習部１５は、Ｋ個のブロックそれぞれについて実測サイノグラム２１ｋと計算サイノグラム２４ｋとの間の誤差を評価し、Ｋ個のブロックそれぞれについての当該誤差評価結果に基づいてＣＮＮを学習させる。
　ＣＮＮ処理部１２、畳み込み積分部１３、順投影計算部１４およびＣＮＮ学習部１５それぞれの処理を複数回繰り返し行った後にＣＮＮ処理部１２により作成される３次元出力画像２２を被検体の３次元断層画像とする。畳み込み積分部１３により作成される３次元出力画像２３を被検体の３次元断層画像としてもよい。実測サイノグラム２１が放射線断層撮影装置の応答関数を反映したものであることから、畳み込み積分部１３による点像分布関数の畳み込み積分の前の３次元出力画像２２を被検体の３次元断層画像とするのが好ましい。
　なお、畳み込み積分部１３は、ＣＮＮの最終層として設けられてもよいし、ＣＮＮとは別に設けられてもよい。畳み込み積分部１３がＣＮＮの最終層として設けられる場合、ＣＮＮの学習時に畳み込み積分部１３の重み係数は一定に維持される。また、畳み込み積分部１３は設けられていなくてもよい。畳み込み積分部１３が設けられない場合、順投影計算部１４は、ＣＮＮ処理部１２から出力された３次元出力画像２２を順投影計算して計算サイノグラム２４を作成する。
　図２は、ＣＮＮの構成例を示す図である。この図に示されるＣＮＮは、エンコーダとデコーダとを含む３次元Ｕ-ｎｅｔ構造のものである。この図には、ＣＮＮに入力される３次元入力画像２０の画素数をＮ×Ｎ×６４として、ＣＮＮの各層のサイズが示されている。
　図３は、画像処理方法のフローチャートである。画像処理方法は、サイノグラム作成部１１により行われるサイノグラム作成ステップＳ１、ＣＮＮ処理部１２により行われるＣＮＮ処理ステップＳ２、畳み込み積分部１３により行われる畳み込み積分ステップＳ３、順投影計算部１４により行われる順投影計算ステップＳ４、および、ＣＮＮ学習部１５により行われるＣＮＮ学習ステップＳ５を備える。
　サイノグラム作成ステップＳ１において、放射線断層撮影装置２により収集された同時計数情報に基づいて、Ｋ個のブロックに分割された実測サイノグラム２１１～２１Ｋを作成する。ＣＮＮ処理ステップＳ２において、ＣＮＮに３次元入力画像２０を入力させて、そのＣＮＮにより３次元出力画像２２を作成する。畳み込み積分ステップＳ３において、ＣＮＮ処理ステップＳ２で作成された３次元出力画像２２に対し点像分布関数の畳み込み積分を行って、新たな３次元出力画像２３を作成する。
　順投影計算ステップＳ４において、３次元出力画像２３を順投影計算して、Ｋ個のブロックに分割された計算サイノグラム２４１～２４Ｋを作成する。ＣＮＮ学習ステップＳ５において、Ｋ個のブロックそれぞれについて実測サイノグラム２１ｋと計算サイノグラム２４ｋとの間の誤差を評価し、Ｋ個のブロックそれぞれについての当該誤差評価結果に基づいてＣＮＮを学習させる。
　ＣＮＮ処理ステップＳ２、畳み込み積分ステップＳ３、順投影計算ステップＳ４およびＣＮＮ学習ステップＳ５それぞれの処理を複数回繰り返し行った後にＣＮＮ処理ステップＳ２において作成される３次元出力画像２２を被検体の３次元断層画像とする。畳み込み積分ステップＳ３において作成される３次元出力画像２３を被検体の３次元断層画像としてもよい。なお、畳み込み積分ステップＳ３は設けられていなくてもよい。
　次に、サイノグラムを複数のブロックに分割しない場合の画像処理方法の各ステップの処理内容について説明する。サイノグラムをブロック分割しない場合の画像処理方法では、実測サイノグラムおよび計算サイノグラムそれぞれの全体について処理をする。
　以下では、ＣＮＮによる処理をｆとし、ＣＮＮに入力される３次元入力画像２０をｚとし、ＣＮＮの学習状態を表す重み係数パラメータをθとする。ＣＮＮの学習の進展に従ってθは変化していく。重み係数がθであるＣＮＮに３次元入力画像ｚが入力されたときにＣＮＮから出力される３次元出力画像２２をｘとする。３次元出力画像ｘは下記（１）式で表わされる。ＣＮＮ処理ステップにおいて、この式で表される処理を行って３次元出力画像ｘを作成する。
　畳み込み積分ステップにおいて、ＣＮＮ処理ステップで作成された３次元出力画像ｘに対し点像分布関数の畳み込み積分を行って、新たな３次元出力画像ｘを作成する。なお、図１では、畳み込み積分を行った後の３次元出力画像ｘをPSF(ｆ(θ｜ｚ))と記している。
　順投影計算ステップにおいて、３次元出力画像ｘを順投影計算して計算サイノグラム２４を作成する。計算サイノグラム２４をｙとし、３次元出力画像ｘから計算サイノグラムｙへの順投影計算（ラドン変換）を行う為の投影行列をＰとする。投影行列はシステム行列または検出確率とも呼ばれる。順投影計算ステップにおいて行う処理は、下記（２）式で表される。
　ＣＮＮ学習ステップにおいて、実測サイノグラム２１をｙ０として、実測サイノグラムｙ０と計算サイノグラムｙ（上記（２）式）との間の誤差を評価し、当該誤差評価結果に基づいてＣＮＮを学習させる。ＣＮＮ学習ステップで行う処理は下記（３）式で表される。この式の制約付き最適化問題は、ＣＮＮにより作成される３次元出力画像ｘが被検体の断層画像になっているという制約の下で、評価関数Ｅ(ｙ；ｙ０)の値が小さくなるようＣＮＮパラメータθを最適化する問題となっている。
　この（３）式の制約付き最適化問題は、下記（４）式の制約なし最適化問題に変形することができる。評価関数Ｅは、任意でよいが、例えば、Ｌ１ノルム、Ｌ２ノルム、ポアソン分布における負の対数尤度などを用いることができる。評価関数としてＬ２ノルムを用いると、（４）式は下記（５）式に変形することができる。
　放射線断層撮影装置における複数の検出器の配置を考慮すると、サイノグラム空間において同時計数情報収集が不可能な領域が存在する場合がある。このことから、上記（５）式の最適化問題に替えて、下記（６）式の最適化問題としてもよい。この（６）式中のｍは、バイナリマスク関数であって、サイノグラム空間において同時計数情報収集が可能な領域では値１であり、同時計数情報収集が不可能な領域では値０である。（６）式は、誤差（ｙ－ｙ０）とバイナリマスク関数ｍとのアダマール積をとることで、同時計数情報収集が可能なサイノグラム空間中の領域において選択的に誤差を評価するものである。
　ＣＮＮ処理ステップ、畳み込み積分ステップ、順投影計算ステップおよびＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、この最適化問題をＣＮＮパラメータθについて解くことにより、計算サイノグラムｙは実測サイノグラムｙ０に近づいていき、ＣＮＮにより作成される３次元出力画像ｘは被検体の断層画像に近づいていく。
　次に、サイノグラムをブロック分割する場合の画像処理方法の各ステップの処理内容について詳細に説明する。サイノグラムをブロック分割する場合には、順投影計算ステップにおいて、３次元出力画像ｘを順投影計算して、Ｋ個のブロックに分割された計算サイノグラム２４１～２４Ｋを作成する。第ｋブロックの計算サイノグラム２４ｋをｙｋとし、３次元出力画像ｘから計算サイノグラムｙｋへの順投影計算（ラドン変換）を行う為の投影行列をＰｋとする。順投影計算ステップにおいて行う処理は下記（７）式で表される。
　ＣＮＮ学習ステップにおいて、第ｋブロックの実測サイノグラム２１ｋをｙ０ｋとして、Ｋ個のブロックそれぞれについて実測サイノグラムｙ０ｋと計算サイノグラムｙｋとの間の誤差を評価し、Ｋ個のブロックそれぞれについての当該誤差評価結果に基づいてＣＮＮを学習させる。
　ＣＮＮ学習ステップで行う処理は、下記（８）式の制約なし最適化問題で表される。評価関数としてＬ２ノルムを用いると、（８）式は下記（９）式に変形することができる。また、同時計数情報収集が可能なサイノグラム空間中の領域において選択的に誤差を評価する場合には、下記（１０）式の制約なし最適化問題で表される。ｍｋは、第ｋブロックにおけるバイナリマスク関数である。
　ＣＮＮ処理ステップ、畳み込み積分ステップ、順投影計算ステップおよびＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、この最適化問題をＣＮＮパラメータθについて解くことにより、Ｋ個のブロックそれぞれについて計算サイノグラムｙｋは実測サイノグラムｙ０ｋに近づいていき、ＣＮＮにより作成される３次元出力画像ｘは被検体の断層画像に近づいていく。
　次に、ＧＰＵのＲＡＭにデータを記憶するのに必要な記憶容量に関して、サイノグラムをブロック分割しない場合とブロック分割する場合との比較について説明する。
　一般に、ＣＮＮを用いた処理ではＧＰＵが用いられる。ＧＰＵは、画像処理に特化した演算処理装置であり、１つの半導体チップ上に集積化された演算部およびＲＡＭを有している。ＧＰＵの演算部による演算処理の際に用いる各種のデータは、該ＧＰＵのＲＡＭに記憶しておくことが要求される。
　ＧＰＵのＲＡＭに記憶しておくべきデータは、例えば、ＣＮＮ入力画像、ＣＮＮ出力画像、ＣＮＮの学習状態を表す重み係数、特徴マップ、実測サイノグラム、計算サイノグラム、順投影計算に必要なパラメータ等であり、膨大な記憶容量を必要とする。しかし、ＧＰＵのＲＡＭの容量には限界があることから、上記のような画像処理方法では、２次元の順投影計算を行うことはできるものの、３次元の順投影計算を行うことが困難な場合がある。
　ここでは、ＣＮＮにより作成される３次元出力画像の画素数を１２８×１２８×６４とし、サイノグラム空間の画素数を１２８×１２８×６４×１９とする。サイノグラムをブロック分割する場合の画像処理方法では、Ｋ＝１６として、３次元出力画像を順投影計算して、１６個のブロックに等分割された計算サイノグラム２４１～２４１６を作成するものとする。
　図４は、ブロック分割しない場合の計算サイノグラム２４およびブロック分割する場合の計算サイノグラム２４１～２４１６それぞれの例を比較して示す図である。図４（ａ）は、ブロック分割しない場合の計算サイノグラム２４を模式的に示す。図４（ｂ）は、ブロック分割する場合の計算サイノグラム２４１～２４１６を模式的に示す。
　ブロック分割する場合の各ブロックの計算サイノグラム２４ｋの画素数は、１２８×８×６４×１９となり、ブロック分割しない場合の計算サイノグラム２４の画素数の１／１６となる。また、ブロック分割する場合に３次元出力画像から第ｋブロックの計算サイノグラム２４ｋへの順投影計算を行う為の投影行列Ｐｋの要素数は、ブロック分割しない場合に３次元出力画像から計算サイノグラム２４への順投影計算を行う為の投影行列Ｐの要素数の１／１６となる。
　ブロック分割する場合では、順投影計算の際に用いるデータを記憶するのに必要な記憶容量を、ブロック分割しない場合と比べて少なくすることができ、これらのデータをＧＰＵのＲＡＭに記憶しておくことができる。したがって、ブロック分割する場合では、ＣＮＮ出力画像から計算サイノグラムへの３次元順投影計算が容易となり、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の３次元断層画像を容易に作成することができる。
　次に、ＣＮＮ学習ステップＳ５においてＣＮＮ学習部１５が用いる評価関数について更に説明する。これまでに説明した評価関数（（５）式、（９）式）は、実測サイノグラムｙ０と計算サイノグラムｙ（＝Ｐｆ(θ｜ｚ)）との間の誤差に関する評価値を表す誤差評価項のみを含むものであった。しかし、この誤差評価項に加えて正則化項をも含む評価関数を用いるのが好ましい。正則化項は、ＣＮＮ過学習を抑制する為のものであり、出力画像における隣接画素間の画素値の差に関する評価値を表す。
　すなわち、サイノグラムをブロック分割しない場合の評価関数を、上記（５）式に替えて下記（１１）式とする。また、サイノグラムをブロック分割する場合の評価関数を、上記（９）式に替えて下記（１２）式とする。
　これらの式において、右辺第１項は誤差評価項であり、右辺第２項は正則化項である。この正則化項は、出力画像における隣接画素間の画素値の差にペナルティを課す。βは、正則化の効果の程度を調整するハイパーパラメータである。βが小さいほど、正則化の効果は小さい。βが大きいほど、正則化の効果（すなわち、ＣＮＮ過学習の抑制の効果）は大きい。
　正則化項は、ＣＮＮ処理部１２から出力される出力画像２２（ｆ(θ｜ｚ)）における隣接画素間の画素値の差に関する評価値を表すものであってもよいし、畳み込み積分部１３から出力される出力画像２３（PSF(ｆ(θ｜ｚ))）における隣接画素間の画素値の差に関する評価値を表すものであってもよい。
　２次元画像の場合、或る画素に隣接する画素には、互いに直交する２方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。２次元画像の場合、その画像の端または角に位置する画素を除いて、或る画素に隣接する画素の数は８である。
　３次元画像の場合、或る画素に隣接する画素には、互いに直交する３方向それぞれに隣接する画素が含まれ、また、好適には斜め方向に隣接する画素も含まれる。３次元画像の場合、その画像の端または角に位置する画素を除いて、或る画素に隣接する画素の数は２６である。
　図５は、出力画像における隣接画素について説明する図である。この図は、出力画像を２次元画像として示し、そのうちの３×３画素を示している。この図で中央にある画素の画素値をλｊとし、この中央画素に隣接する８個の画素の画素値をλｋ（ｋ＝１～８）とすると、この中央画素に関して隣接画素間の画素値の差は ｜λｊ－λｋ｜ で表される。正則化項は、出力画像における隣接画素の全ての組合せについて画素値の差に関する評価値を表す。
　正則化項は、出力画像における隣接画素間の画素値の差に関する評価値を表すものであればよく、様々な式で表され得る。例えば正則化項は下記（１３）式で表される。この（１３）式において、Ｎｊは、画素ｊに隣接する画素ｋの集合を表す。γは、画素値λｊの変化に対する正則化項の値の変化の大きさを表す。この（１３）式は、分子に隣接画素の画素値の差の項を含み、分母に隣接画素の画素値の和の項を含んでおり、出力画像における隣接画素間の相対的な画素値の差に関する評価値を表している。
　なお、（１３）式は、非特許文献２に記載された式と類似している。しかし、非特許文献２では、（１３）式に類似する式は、ＰＥＴ装置により収集された同時計数情報に基づいて被検体の断層画像を再構成する処理の際に用いられているのであって、ＤＩＰ技術により断層画像に対してノイズ低減処理をする際に用いられているのではない。
　また、正則化項として、例えば、 Gibbs prior（非特許文献３） や Total variation（非特許文献４）等を用いてもよい。なお、これらの文献も、被検体の断層画像を再構成処理する技術について記載したものであって、ＤＩＰ技術により断層画像に対してノイズ低減処理をする技術について記載したものではない。
　次に、デジタル脳ファントム画像を用いて頭部用ＰＥＴ装置のモンテカルロ・シミュレーションによりシミュレーションデータを作成し、これを用いて画像処理方法１～３それぞれにより断層画像を再構成した結果について説明する。
　画像処理方法１では、一般的な画像再構成法であるＭＬ-ＥＭ（Maximum　Likelihood　Expectation　Maximization）法により断層画像を再構成した。画像処理方法２では、図１～図４を用いて説明した画像処理方法において上記（９）式の評価関数を用いて断層画像を再構成した。画像処理方法３では、図１～図４を用いて説明した画像処理方法において上記（１２）式および（１３）式の評価関数を用いて断層画像を再構成した。
　ファントム画像として、BrainWeb（https://brainweb.bic.mni.mcgill.ca/brainweb/）から入手した脳画像に対し白質部分に模擬腫瘍を埋め込んだ３次元画像を用いた。ファントム画像の画素数は１２８×１２８×６４であった。画像処理方法２，３では、サイノグラム空間の画素数は１２８×１２８×６４×１９であり、サイノグラム空間を２個のブロックに等分割した。
　画像処理方法２，３で用いた評価関数の誤差評価項を平均二乗誤差（Mean　Squared　Error、ＭＳＥ）とした。画像処理方法３で用いた評価関数の正則化項において、β＝１×１０-9とし、γ＝２とした。画像処理方法２，３でＣＮＮに入力される入力画像を３次元のランダムノイズ画像とした。画像処理方法２，３では繰り返し回数を２０００とし、画像処理方法１では繰り返し回数を５０とした。
　図６は、画像処理方法１で得られた脳の断層画像を示す図である。図７は、画像処理方法２で得られた脳の断層画像を示す図である。図８は、画像処理方法３で得られた脳の断層画像を示す図である。
　画像処理方法１の断層画像（図６）のＰＳＮＲは１６.５０ｄＢであり、画像処理方法２の断層画像（図７）のＰＳＮＲは１９.０８ｄＢであり、画像処理方法３の断層画像（図８）のＰＳＮＲは１９.４０ｄＢである。ＰＳＮＲ（Peak　Signal　to　Noise　Ratio）は、画像の品質をデシベル（ｄＢ）で表したものであり、値が高いほど良好な画質であることを意味する。画像処理方法１，２と比べて、画像処理方法３では、断層画像のＰＳＮＲが高く、埋め込んだ腫瘍が低ノイズで再構成され、白質部分の均一性が優れている。
　このように、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の断層画像を作成する際に、ＣＮＮからの出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項を含む評価関数を用いてＣＮＮを学習させることで、ＣＮＮ過学習による画質劣化を抑制することができることが確認され、ノイズ低減性能を向上させることができることも確認された。
　画像処理装置および画像処理方法は、上述した実施形態及び構成例に限定されるものではなく、種々の変形が可能である。
　上記実施形態による第１態様の画像処理装置は、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理装置であって、（１）放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成部と、（２）畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理部と、（３）出力画像を順投影計算してサイノグラムを作成する順投影計算部と、（４）サイノグラム作成部により作成されたサイノグラムと順投影計算部により作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるＣＮＮ学習部と、を備え、ＣＮＮ処理部、順投影計算部およびＣＮＮ学習部それぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
　第２態様の画像処理装置では、第１態様の構成において、サイノグラム作成部は、放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、順投影計算部は、出力画像を順投影計算して、複数のブロックに分割されたサイノグラムを作成し、ＣＮＮ学習部は、複数のブロックそれぞれについての評価関数の値に基づいて畳み込みニューラルネットワークを学習させる構成としてもよい。
　第３態様の画像処理装置では、第１または第２態様の構成において、断層画像、入力画像および出力画像それぞれは３次元の画像である構成としてもよい。
　第４態様の画像処理装置では、第１～第３態様の何れかの構成において、出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分部を更に備え、順投影計算部は、畳み込み積分部による処理の後の出力画像を順投影計算する構成としてもよい。
　第５態様の画像処理装置では、第１～第４態様の何れかの構成において、ＣＮＮ学習部は、放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において誤差評価項により誤差を評価する構成としてもよい。
　第６態様の画像処理装置では、第１～第５態様の何れかの構成において、ＣＮＮ処理部は、被検体の形態情報を表す画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第７態様の画像処理装置では、第１～第５態様の何れかの構成において、ＣＮＮ処理部は、被検体のＭＲＩ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第８態様の画像処理装置では、第１～第５態様の何れかの構成において、ＣＮＮ処理部は、被検体のＣＴ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第９態様の画像処理装置では、第１～第５態様の何れかの構成において、ＣＮＮ処理部は、被検体の静的ＰＥＴ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第１０態様の画像処理装置では、第１～第５態様の何れかの構成において、ＣＮＮ処理部は、ランダムノイズ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　上記実施形態による放射線断層撮影システムは、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有し同時計数情報を収集する放射線断層撮影装置と、放射線断層撮影装置により収集された同時計数情報に基づいて被検体の断層画像を作成する上記構成の画像処理装置と、を備える。
　上記実施形態による第１態様の画像処理方法は、ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、被検体の断層画像を作成する画像処理方法であって、（１）放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成ステップと、（２）畳み込みニューラルネットワークに入力画像を入力させて畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理ステップと、（３）出力画像を順投影計算してサイノグラムを作成する順投影計算ステップと、（４）サイノグラム作成ステップで作成されたサイノグラムと順投影計算ステップで作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて畳み込みニューラルネットワークを学習させるＣＮＮ学習ステップと、を備え、ＣＮＮ処理ステップ、順投影計算ステップおよびＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後の出力画像を被検体の断層画像とする。
　第２態様の画像処理方法では、第１態様の構成において、サイノグラム作成ステップにおいて、放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、順投影計算ステップにおいて、出力画像を順投影計算して、複数のブロックに分割されたサイノグラムを作成し、ＣＮＮ学習ステップにおいて、複数のブロックそれぞれについての評価関数の値に基づいて畳み込みニューラルネットワークを学習させる構成としてもよい。
　第３態様の画像処理方法では、第１または第２態様の構成において、断層画像、入力画像および出力画像それぞれは３次元の画像である構成としてもよい。
　第４態様の画像処理方法では、第１～第３態様の何れかの構成において、出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分ステップを更に備え、順投影計算ステップにおいて、畳み込み積分ステップによる処理の後の出力画像を順投影計算する構成としてもよい。
　第５態様の画像処理方法では、第１～第４態様の何れかの構成において、ＣＮＮ学習ステップにおいて、放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において誤差評価項により誤差を評価する構成としてもよい。
　第６態様の画像処理方法では、第１～第５態様の何れかの構成において、ＣＮＮ処理ステップにおいて、被検体の形態情報を表す画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第７態様の画像処理方法では、第１～第５態様の何れかの構成において、ＣＮＮ処理ステップにおいて、被検体のＭＲＩ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第８態様の画像処理方法では、第１～第５態様の何れかの構成において、ＣＮＮ処理ステップにおいて、被検体のＣＴ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第９態様の画像処理方法では、第１～第５態様の何れかの構成において、ＣＮＮ処理ステップにおいて、被検体の静的ＰＥＴ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　第１０態様の画像処理方法では、第１～第５態様の何れかの構成において、ＣＮＮ処理ステップにおいて、ランダムノイズ画像を入力画像として畳み込みニューラルネットワークに入力させる構成としてもよい。
　本発明は、計算サイノグラムと実測サイノグラムとの間の誤差の評価結果に基づいてＣＮＮを学習させて被検体の断層画像を作成する際に、ＤＩＰ技術を用いたノイズ低減処理においてＣＮＮ過学習による画質劣化を抑制して、ノイズが低減された断層画像を得ることができる画像処理装置および画像処理方法として利用可能である。
　１…放射線断層撮影システム、２…放射線断層撮影装置、１０…画像処理装置、１１…サイノグラム作成部、１２…ＣＮＮ処理部、１３…畳み込み積分部、１４…順投影計算部、１５…ＣＮＮ学習部。

Claims (21)

  1. 　ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、前記被検体の断層画像を作成する画像処理装置であって、
    　前記放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成部と、
    　畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理部と、
    　前記出力画像を順投影計算してサイノグラムを作成する順投影計算部と、
    　前記サイノグラム作成部により作成されたサイノグラムと前記順投影計算部により作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させるＣＮＮ学習部と、
    を備え、
    　前記ＣＮＮ処理部、前記順投影計算部および前記ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後の前記出力画像を前記被検体の断層画像とする、
    画像処理装置。
  2. 　前記サイノグラム作成部は、前記放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、
    　前記順投影計算部は、前記出力画像を順投影計算して、前記複数のブロックに分割されたサイノグラムを作成し、
    　前記ＣＮＮ学習部は、前記複数のブロックそれぞれについての前記評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる、
    請求項１に記載の画像処理装置。
  3. 　前記断層画像、前記入力画像および前記出力画像それぞれは３次元の画像である、請求項１または２に記載の画像処理装置。
  4. 　前記出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分部を更に備え、
    　前記順投影計算部は、前記畳み込み積分部による処理の後の出力画像を順投影計算する、請求項１～３の何れか１項に記載の画像処理装置。
  5. 　前記ＣＮＮ学習部は、前記放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において前記誤差評価項により前記誤差を評価する、請求項１～４の何れか１項に記載の画像処理装置。
  6. 　前記ＣＮＮ処理部は、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１～５の何れか１項に記載の画像処理装置。
  7. 　前記ＣＮＮ処理部は、前記被検体のＭＲＩ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１～５の何れか１項に記載の画像処理装置。
  8. 　前記ＣＮＮ処理部は、前記被検体のＣＴ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１～５の何れか１項に記載の画像処理装置。
  9. 　前記ＣＮＮ処理部は、前記被検体の静的ＰＥＴ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１～５の何れか１項に記載の画像処理装置。
  10. 　前記ＣＮＮ処理部は、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１～５の何れか１項に記載の画像処理装置。
  11. 　ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有し同時計数情報を収集する放射線断層撮影装置と、
    　前記放射線断層撮影装置により収集された同時計数情報に基づいて前記被検体の断層画像を作成する請求項１～１０の何れか１項に記載の画像処理装置と、
    を備える、放射線断層撮影システム。
  12. 　ＲＩ線源が投与された被検体が置かれる測定空間を囲んで配置された複数の検出器を有する放射線断層撮影装置により収集された同時計数情報に基づいて、前記被検体の断層画像を作成する画像処理方法であって、
    　前記放射線断層撮影装置により収集された同時計数情報に基づいてサイノグラムを作成するサイノグラム作成ステップと、
    　畳み込みニューラルネットワークに入力画像を入力させて前記畳み込みニューラルネットワークにより出力画像を作成するＣＮＮ処理ステップと、
    　前記出力画像を順投影計算してサイノグラムを作成する順投影計算ステップと、
    　前記サイノグラム作成ステップで作成されたサイノグラムと前記順投影計算ステップで作成されたサイノグラムとの間の誤差に関する評価値を表す誤差評価項と、前記出力画像における隣接画素間の画素値の差に関する評価値を表す正則化項と、を含む評価関数を用い、この評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させるＣＮＮ学習ステップと、
    を備え、
    　前記ＣＮＮ処理ステップ、前記順投影計算ステップおよび前記ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後の前記出力画像を前記被検体の断層画像とする、
    画像処理方法。
  13. 　前記サイノグラム作成ステップにおいて、前記放射線断層撮影装置により収集された同時計数情報に基づいて、複数のブロックに分割されたサイノグラムを作成し、
    　前記順投影計算ステップにおいて、前記出力画像を順投影計算して、前記複数のブロックに分割されたサイノグラムを作成し、
    　前記ＣＮＮ学習ステップにおいて、前記複数のブロックそれぞれについての前記評価関数の値に基づいて前記畳み込みニューラルネットワークを学習させる、
    請求項１２に記載の画像処理方法。
  14. 　前記断層画像、前記入力画像および前記出力画像それぞれは３次元の画像である、請求項１２または１３に記載の画像処理方法。
  15. 　前記出力画像に対し点像分布関数の畳み込み積分を行う畳み込み積分ステップを更に備え、
    　前記順投影計算ステップにおいて、前記畳み込み積分ステップによる処理の後の出力画像を順投影計算する、請求項１２～１４の何れか１項に記載の画像処理方法。
  16. 　前記ＣＮＮ学習ステップにおいて、前記放射線断層撮影装置による同時計数情報収集が可能なサイノグラム空間中の領域において前記誤差評価項により前記誤差を評価する、請求項１２～１５の何れか１項に記載の画像処理方法。
  17. 　前記ＣＮＮ処理ステップにおいて、前記被検体の形態情報を表す画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１２～１６の何れか１項に記載の画像処理方法。
  18. 　前記ＣＮＮ処理ステップにおいて、前記被検体のＭＲＩ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１２～１６の何れか１項に記載の画像処理方法。
  19. 　前記ＣＮＮ処理ステップにおいて、前記被検体のＣＴ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１２～１６の何れか１項に記載の画像処理方法。
  20. 　前記ＣＮＮ処理ステップにおいて、前記被検体の静的ＰＥＴ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１２～１６の何れか１項に記載の画像処理方法。
  21. 　前記ＣＮＮ処理ステップにおいて、ランダムノイズ画像を前記入力画像として前記畳み込みニューラルネットワークに入力させる、請求項１２～１６の何れか１項に記載の画像処理方法。
PCT/JP2023/035961 2022-10-06 2023-10-02 画像処理装置および画像処理方法 Ceased WO2024075705A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
GB2502858.0A GB2637415A (en) 2022-10-06 2023-10-02 Image processing device and image processing method
KR1020257009399A KR20250083467A (ko) 2022-10-06 2023-10-02 화상 처리 장치 및 화상 처리 방법
US19/110,517 US20260094332A1 (en) 2022-10-06 2023-10-02 Image processing device and image processing method
CN202380071072.2A CN120051712A (zh) 2022-10-06 2023-10-02 图像处理装置和图像处理方法
DE112023004219.5T DE112023004219T5 (de) 2022-10-06 2023-10-02 Bildverarbeitungs-Vorrichtung und Bildverarbeitungs-Verfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022161438A JP7859942B2 (ja) 2022-10-06 画像処理装置および画像処理方法
JP2022-161438 2022-10-06

Publications (1)

Publication Number Publication Date
WO2024075705A1 true WO2024075705A1 (ja) 2024-04-11

Family

ID=90608199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035961 Ceased WO2024075705A1 (ja) 2022-10-06 2023-10-02 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US20260094332A1 (ja)
KR (1) KR20250083467A (ja)
CN (1) CN120051712A (ja)
DE (1) DE112023004219T5 (ja)
GB (1) GB2637415A (ja)
WO (1) WO2024075705A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160260230A1 (en) * 2015-03-05 2016-09-08 Purdue Research Foundation Tomographic reconstruction system
US20160350944A1 (en) * 2015-05-29 2016-12-01 General Electric Company Systems and methods for parallel processing of imaging information
JP2020168352A (ja) * 2019-04-01 2020-10-15 キヤノンメディカルシステムズ株式会社 医用装置及びプログラム
CN111915629A (zh) * 2020-07-06 2020-11-10 天津大学 基于边界检测的超像素分割方法
JP2022159648A (ja) * 2021-04-05 2022-10-18 浜松ホトニクス株式会社 画像処理装置、画像処理方法および断層画像取得システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160260230A1 (en) * 2015-03-05 2016-09-08 Purdue Research Foundation Tomographic reconstruction system
US20160350944A1 (en) * 2015-05-29 2016-12-01 General Electric Company Systems and methods for parallel processing of imaging information
JP2020168352A (ja) * 2019-04-01 2020-10-15 キヤノンメディカルシステムズ株式会社 医用装置及びプログラム
CN111915629A (zh) * 2020-07-06 2020-11-10 天津大学 基于边界检测的超像素分割方法
JP2022159648A (ja) * 2021-04-05 2022-10-18 浜松ホトニクス株式会社 画像処理装置、画像処理方法および断層画像取得システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HASHIMOTO FUMIO, OTE KIBO, ONISHI YUYA: "PET Image Reconstruction Incorporating Deep Image Prior and a Forward Projection Model", IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES, IEEE, vol. 6, no. 8, 1 November 2022 (2022-11-01), pages 841 - 846, XP093112926, ISSN: 2469-7311, DOI: 10.1109/TRPMS.2022.3161569 *
HIROYUKI KUDO: "Image Reconstruction Methods in Low-Dose CT: Fundamentals of Statistical Image Reconstruction, Iterative Image Reconstruction, and Compressed Sensing", MEDICAL IMAGING TECHNOLOGY, vol. 32, no. 4, 1 September 2014 (2014-09-01), pages 239 - 248, XP093156312, DOI: 10.11409/mit.32.239 *
J. NUYTS: "A concave prior penalizing relative differences for maximum-a-posteriori reconstruction in emission tomography", IEEE TRANSACTIONS ON NUCLEAR SCIENCE, vol. 49, no. 1, 1 February 2002 (2002-02-01), pages 56 - 60, XP093156326, DOI: 10.1109/TNS.2002.998681 *
NAOHIRO OKUMURA: "Ordered Subsets EM algorithm for PET Image Reconstruction by use of Dictionary Learning and TV Regularization", MEDICAL IMAGING TECHNOLOGY, vol. 37, no. 5, 1 November 2019 (2019-11-01), pages 217 - 229, XP093156333, DOI: 10.11409/mit.37.217 *

Also Published As

Publication number Publication date
GB2637415A (en) 2025-07-23
DE112023004219T5 (de) 2025-08-07
CN120051712A (zh) 2025-05-27
GB202502858D0 (en) 2025-04-16
US20260094332A1 (en) 2026-04-02
JP2024054952A (ja) 2024-04-18
KR20250083467A (ko) 2025-06-10

Similar Documents

Publication Publication Date Title
Lim et al. Improved low-count quantitative PET reconstruction with an iterative neural network
US7983465B2 (en) Image reconstruction methods based on block circulant system matrices
Lahiri et al. Sparse-view cone beam CT reconstruction using data-consistent supervised and adversarial learning from scarce training data
Ote et al. List-mode PET image reconstruction using deep image prior
Cui et al. Deep reconstruction model for dynamic PET images
Cheng et al. Learned full-sampling reconstruction from incomplete data
Cheng et al. Accelerated iterative image reconstruction using a deep learning based leapfrogging strategy
Zhang et al. Deep generalized learning model for PET image reconstruction
CN119904580A (zh) 一种基于神经网络的高斯泼溅单目重建方法
Kim et al. CNN-based CT denoising with an accurate image domain noise insertion technique
Li et al. Low-dose sinogram restoration enabled by conditional GAN with cross-domain regularization in SPECT imaging
JP7859942B2 (ja) 画像処理装置および画像処理方法
Vlašić et al. Estimating uncertainty in pet image reconstruction via deep posterior sampling
WO2024224878A1 (ja) 画像処理装置および画像処理方法
JP2024054952A (ja) 画像処理装置および画像処理方法
Shireesha et al. Image reconstruction using deep convolutional neural network
WO2023228910A1 (ja) 画像処理装置および画像処理方法
Chen et al. Enhancing low-dose ct image reconstruction by integrating supervised and unsupervised learning
Bai et al. PET image reconstruction: methodology and quantitative accuracy
US20260065437A1 (en) Image processing device and image processing method
Houimli et al. Fast and accurate thoracic SPECT image reconstruction
WO2025142535A1 (ja) 画像処理装置および画像処理方法
Kaur et al. Complex diffusion regularisation-based low dose CT image reconstruction
WO2024224946A1 (ja) 画像処理装置および画像処理方法
Leahy et al. Image reconstruction for PET and SPECT

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23874832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202502858

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20231002

WWE Wipo information: entry into national phase

Ref document number: 2502858.0

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 202380071072.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112023004219

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 202380071072.2

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020257009399

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2502858.0

Country of ref document: GB

WWP Wipo information: published in national office

Ref document number: 112023004219

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23874832

Country of ref document: EP

Kind code of ref document: A1