WO2020162296A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020162296A1
WO2020162296A1 PCT/JP2020/003268 JP2020003268W WO2020162296A1 WO 2020162296 A1 WO2020162296 A1 WO 2020162296A1 JP 2020003268 W JP2020003268 W JP 2020003268W WO 2020162296 A1 WO2020162296 A1 WO 2020162296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tomographic image
tomographic
creating
output
Prior art date
Application number
PCT/JP2020/003268
Other languages
English (en)
French (fr)
Inventor
二三生 橋本
希望 大手
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to EP20752373.9A priority Critical patent/EP3923033A4/en
Priority to US17/428,693 priority patent/US11893660B2/en
Priority to CN202080012799.XA priority patent/CN113454489A/zh
Publication of WO2020162296A1 publication Critical patent/WO2020162296A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/29Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
    • G01T1/2914Measurement of spatial distribution of radiation
    • G01T1/2985In depth localisation, e.g. using positron emitters; Tomographic imaging (longitudinal and transverse section imaging; apparatus for radiation diagnosis sequentially in different planes, steroscopic radiation diagnosis)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/412Dynamic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Definitions

  • the present disclosure relates to an apparatus and a method for creating a tomographic image after noise removal processing based on list data collected by a radiation tomography apparatus.
  • a PET (Positron Emission Tomography) device and a SPECT (Single Photon Emission Computed Tomography) device are examples of radiation tomography devices that can acquire tomographic images of a subject (living body).
  • the PET device is equipped with a detector having a large number of small radiation detectors arranged around the measurement space in which the subject is placed.
  • the PET device detects a photon pair of energy 511 keV generated by the annihilation of electron-positron pairs in a subject into which a positron-emitting isotope (RI radiation source) has been injected by the detection unit by the coincidence counting method, and the coincidence counting is performed. Collect information. Then, a tomographic image representing the spatial distribution of the photon pair occurrence frequency in the measurement space (that is, the spatial distribution of the RI radiation source) can be reconstructed based on the collected large number of coincidence information.
  • the list data in which the coincidence counting information collected by the PET device is arranged in time series is divided into a plurality of frames in the order of collection, and the image reconstruction process is performed using the data group included in each frame of the list data.
  • This PET device plays an important role in the field of nuclear medicine and the like, and can be used to study, for example, biological functions and higher brain functions.
  • Image filters used for noise removal include a Gaussian filter and a guided filter.
  • a Gaussian filter has been used conventionally.
  • the guided filter has been developed in recent years, and is characterized in that it can well preserve the grayscale boundary in an image as compared with the Gaussian filter.
  • Patent Document 1 and Non-Patent Documents 1 and 2 describe a technique for removing noise in a dynamic PET image by a guided filter.
  • the techniques described in Patent Document 1 and Non-Patent Document 1 use, as a guidance image, an image obtained by integrating dynamic PET images composed of tomographic images of a plurality of frames during noise removal processing by a guided filter.
  • the technique described in Non-Patent Document 2 enables more effective noise removal by using a more appropriate guidance image.
  • Non-Patent Document 3 uses the Deep Image Prior technology (Non-Patent Document 4) that uses a Convolutional Neural Network (CNN), which is a type of deep neural network (DNN: Deep Neural Network), to reduce noise in PET images. Techniques for removing are described.
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • the noise removal processing for a PET image by the techniques described in Patent Document 1 and Non-Patent Documents 1 to 3 is superior in noise removal performance to the case where a Gaussian filter is used. However, it is desired to further improve the noise removal performance for PET images and SPECT images.
  • An object of the present invention is to provide an apparatus and method capable of creating a high-performance noise-removed tomographic image based on list data collected by a radiation tomography apparatus.
  • the embodiment of the present invention is an image processing apparatus.
  • the image processing apparatus is an apparatus for creating a noise-removed tomographic image based on list data collected by a radiation tomography apparatus, and (1) divides the list data into a plurality of frames in the order of collection, A first image creation unit that creates a first tomographic image of the frame by performing a reconstruction process using a data group included in the frame of the list data for each of the plurality of frames; A second image creating unit that creates a second tomographic image by performing reconstruction processing using a data group having a larger number of data than the data group used when creating the first tomographic image of each frame in the one image creating unit; (3) With respect to each of the plurality of frames, the convolutional neural network inputs the second tomographic image, the convolutional neural network outputs the output tomographic image, and the convolutional neural network is based on the comparison between the output tomographic image and the first tomographic image. And a CNN processing unit that generates a plurality of
  • the embodiment of the present invention is a radiation tomography system.
  • the radiation tomography system is a radiation tomography apparatus that collects list data for reconstructing a tomographic image of a subject, and creates a tomographic image after noise removal processing based on the list data collected by the radiation tomography apparatus.
  • an image processing apparatus having the above configuration.
  • the embodiment of the present invention is an image processing method.
  • the image processing method is a method for creating a noise-removed tomographic image based on list data collected by a radiation tomography apparatus, and (1) divides the list data into a plurality of frames in the order of collection, A first image creating step of creating a first tomographic image of the frame by performing reconstruction processing using a data group included in the frame of the list data for each of the plurality of frames; A second image creating step of creating a second tomographic image by performing reconstruction processing using a data group having a larger number of data than the data group used when creating the first tomographic image of each frame in the one image creating step; (3) With respect to each of the plurality of frames, the convolutional neural network inputs the second tomographic image, the convolutional neural network outputs the output tomographic image, and the convolutional neural network is based on the comparison between the output tomographic image and the first tomographic image.
  • FIG. 1 is a diagram showing the configuration of a radiation tomography system.
  • FIG. 2 is a diagram illustrating the CNN processing unit.
  • FIG. 3 is a flowchart illustrating the image processing method.
  • FIG. 4 is a flowchart illustrating the operation of the CNN processing unit and the CNN processing step S13.
  • FIG. 5 is a diagram illustrating the list data, the frame, the first tomographic image D m, and the second tomographic image S m .
  • FIG. 6 is a graph showing a temporal change in the acquisition frequency of the coincidence counting information in the subject to which the RI radiation source is applied.
  • FIG. 1 is a diagram showing the configuration of a radiation tomography system.
  • FIG. 2 is a diagram illustrating the CNN processing unit.
  • FIG. 3 is a flowchart illustrating the image processing method.
  • FIG. 4 is a flowchart illustrating the operation of the CNN processing unit and the CNN processing step S13.
  • FIG. 5 is a diagram illustrating the list
  • FIG. 7 is a diagram for explaining the simulation method, and shows (a) a numerical phantom, (b) a sinogram, (c) a noise-added sinogram, and (d) a reconstructed image.
  • FIG. 8 is a graph showing a model of changes over time in the activities of the white matter part (WM) and the gray matter part (GM) used in the simulation.
  • FIG. 9 is a diagram showing a numerical phantom image.
  • FIG. 10 is a diagram showing a first tomographic image of the sixth frame.
  • FIG. 11 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the first tomographic image of FIG. FIG.
  • FIG. 12 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the first tomographic image of FIG.
  • FIG. 13 is a diagram showing an output tomographic image selected by performing the CNN processing of this embodiment on the first tomographic image of FIG.
  • FIG. 14 is a graph showing changes over time in the PSNR of the reconstructed image in each of Comparative Example 1, Comparative Example 2, and this embodiment obtained in the simulation.
  • FIG. 15 is a graph showing a temporal change of SSIM of the reconstructed image in each of Comparative Example 1, Comparative Example 2, and this embodiment obtained in the simulation.
  • FIG. 16 is a diagram showing a second tomographic image created using the entire list data.
  • FIG. 17 is a diagram showing a first tomographic image of the sixth frame.
  • FIG. 18 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the first tomographic image of FIG.
  • FIG. 19 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the first tomographic image of FIG.
  • FIG. 24 is a diagram showing TAC in white matter (WM).
  • FIG. 25 is a diagram showing TAC in gray matter (GM).
  • FIG. 1 is a diagram showing a configuration of a radiation tomography system 1.
  • the radiation tomography system 1 includes a radiation tomography apparatus 2 and an image processing apparatus 10.
  • the image processing apparatus 10 includes a first image creating unit 11, a second image creating unit 12, a CNN processing unit 13, an image selecting unit 14, and a storage unit 15.
  • a computer having a CPU, a RAM, a ROM, a hard disk drive and the like is used.
  • the image processing apparatus 10 also includes an input unit (for example, a keyboard and a mouse) that receives an input from an operator, and a display unit (for example, a liquid crystal display) that displays images and the like.
  • an input unit for example, a keyboard and a mouse
  • a display unit for example, a liquid crystal display
  • the radiation tomography apparatus 2 is an apparatus that collects list data for reconstructing a tomographic image of the subject.
  • Examples of the radiation tomography apparatus 2 include a PET apparatus and a SPECT apparatus.
  • the radiation tomography apparatus 2 will be described as a PET apparatus.
  • the radiation tomography apparatus 2 includes a detection unit having a large number of small radiation detectors arranged around the measurement space in which the subject is placed.
  • the radiation tomography apparatus 2 detects a photon pair of energy 511 keV generated by the annihilation of electron-positron pairs in a subject into which a positron emission isotope (RI ray source) has been injected, by a coincidence counting method, This coincidence counting information is accumulated. Then, the radiation tomography apparatus 2 outputs, to the image processing apparatus 10, a list of a large number of accumulated coincidence counting information arranged in time series as list data.
  • RI ray source positron emission isotope
  • List data includes identification information and detection time information of a pair of radiation detectors that simultaneously count photon pairs.
  • the list data may further include energy information of photons detected by each radiation detector, and detection time difference information of the pair of radiation detectors.
  • the image processing device 10 reconstructs a tomographic image based on the list data.
  • an ML-EM (maximum likelihood expectation maximization) method and an iterative image reconstruction technique by a block iterative method which is an improvement thereof are known.
  • an iterative image reconstruction technique by the block iterative method an OSEM (ordered subset ML-EM) method, a RAMLA (row-action maximum likelihood algorithm) method, a DRAMA (dynamic RAMLA) method, and the like are known.
  • the image processing apparatus 10 creates a tomographic image after noise removal processing using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the first image creation unit 11 divides the list data into a plurality of frames (first to Mth frames) in the order of collection, and uses a data group included in the mth frame of the list data for each of the plurality of frames.
  • the reconstruction process is performed to create the first tomographic image D m of the m-th frame.
  • the first tomographic images D 1 to D M are dynamic PET images.
  • the second image creating unit 12 reconstructs the list data by using a data group having a larger data number than the data group used when creating the first tomographic image D m of the m-th frame in the first image creating unit 11.
  • the second tomographic image S m is created by performing the processing.
  • the second tomographic image S m may be a static PET image.
  • the second tomographic image may be created for each frame, but may be created commonly for all frames, or may be created commonly for some frames.
  • the first image creating unit 11 and the second image creating unit 12 may be common or may be provided separately.
  • the CNN processing unit 13 causes the CNN to input the second tomographic image S m for each of the first to M-th frames, and causes the CNN to output the output tomographic image O m .
  • the CNN processing unit 13 compares the output tomographic image O m with the first tomographic image D m, and learns CNN based on the comparison result.
  • the CNN processing unit 13 repeats this learning operation and generates an output tomographic image O m,n each time learning is performed.
  • the output tomographic image O m,n is an output tomographic image output from the CNN after learning (n ⁇ 1) times of the CNN using the first tomographic image D m and the second tomographic image S m for the m-th frame. is there.
  • the output tomographic image O m,1 is an output tomographic image output from the CNN in a state in which learning has never been performed.
  • the image selection unit 14 selects one of the output tomographic images O m,1 to O m,N for each of the first to Mth frames as a tomographic image after noise removal processing. To do. Preferably, the image selection unit 14 selects one of the plurality of output tomographic images O m,1 to O m,N based on the comparison between the output tomographic image O m,n and the second tomographic image S m . Select the output tomographic image of.
  • the output tomographic image O m, to n and the error between the second tomographic image S m may select the output tomographic image which minimizes the output tomographic image O m, n and a second tomographic image S m
  • Any output tomographic image may be selected from one or two or more output tomographic images in which the error between and is less than or equal to the threshold value.
  • a doctor or a technician may select any output tomographic image from the plurality of output tomographic images O m,1 to O m,N .
  • the storage unit 15 stores the list data and stores the first tomographic image D m and the second tomographic image S m of each frame.
  • the storage unit 15 also stores a plurality of output tomographic images O m,1 to O m,N of each frame , and stores an output tomographic image selected from these.
  • FIG. 3 is a flowchart explaining the image processing method.
  • This image processing method includes a list data acquisition step S10 for acquiring list data collected by the radiation tomography apparatus 2, a first image creation step S11 performed by the first image creation unit 11, and a second image creation unit 12.
  • the second image creating step S12 is performed, the CNN processing step S13 is performed by the CNN processing unit 13, and the image selecting step S14 is performed by the image selecting unit 14.
  • the list data collected by the radiation tomography apparatus 2 is acquired.
  • the list data is divided into a plurality of frames (first to Mth frames) in the order of collection, and a data group included in the mth frame of the list data is used for each of the plurality of frames.
  • the reconstruction process is performed to create the first tomographic image D m of the m-th frame.
  • the second image creating step S12 reconstruction is performed using a data group having a larger number of data than the data group used when creating the first tomographic image D m of the m-th frame in the first image creating unit 11 in the list data.
  • the second tomographic image S m is created by performing the processing.
  • the first image creating step S11 and the second image creating step S12 may be performed in any order, or may be performed in parallel.
  • the second tomographic image S m is input to the CNN and the output tomographic image O m is output from the CNN for each of the first to Mth frames.
  • CNN is learned based on the comparison between the output tomographic image O m and the first tomographic image D m . Then, this learning operation is repeated and an output tomographic image O m,n is generated each time learning is performed.
  • the image selecting step S14 for each of the first to Mth frames, one of the output tomographic images O m,1 to O m,N is selected as a tomographic image after noise removal processing. To do.
  • FIG. 4 is a flowchart illustrating the operation of the CNN processing unit 13 and the CNN processing step S13.
  • CNN is repeatedly learned N times to store N output tomographic images O m,1 to O m,N .
  • Output tomographic image O m output whenever obtaining n tomographic images O m, by comparing the n second tomographic image S m, CNN processing when the error is equal to or less than a predetermined threshold value between the two step S13 May be ended, and the finally obtained output tomographic image may be the tomographic image after the noise removal processing.
  • FIG. 5 is a diagram illustrating the list data, the frame, the first tomographic image D m, and the second tomographic image S m .
  • the horizontal axis represents the time when the list data is collected, and the time axis is divided into a plurality of frames.
  • the first tomographic image D m of the m-th frame is a tomographic image reconstructed using the data group included in the m-th frame of the list data.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame is a tomographic image reconstructed using a data group having a larger data number than the data group included in the m-th frame in the list data. is there.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame is created using a data group having a data number that is at least twice as large as the data group of the m-th frame.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame may be created using a data group including the data group of the m-th frame, or may be created before and after the data group of the m-th frame. It may be created using a data group.
  • FIG. 6 is a graph showing the time change of the acquisition frequency of the coincidence counting information in the subject to which the RI radiation source was input.
  • the frequency of electron-positron pair annihilation (acquisition frequency of coincidence counting information) in the subject in which the RI source is turned on gradually increases as time passes immediately after the RI source is turned on, as shown in FIG. It rises, reaches a peak at a certain time Tp, and then gradually lowers after that peak.
  • the period of each frame is set to be relatively short in the period in which the coincidence counting information is frequently acquired immediately after the RI source is turned on, and the frequency of the subsequent coincidence counting information is gradually decreased.
  • the period of each frame is set relatively long. Further, the tomographic images are greatly different between the period immediately after the RI source is turned on until the frequency of acquisition of coincidence counting reaches the peak (before time Tp) and the period after the peak (after time Tp).
  • Tp the period after the peak
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame is the time of the list data. It is suitable to be created using a data group before Tp.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame is the time Tp in the list data. It is suitable to be created using the following data group.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame may be created using the entire list data.
  • the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame has the maximum pixel value of the second tomographic image S m of the first It is preferable that the tomographic image D m is created by performing normalization so as to be equal to the maximum pixel value. That is, it is preferable to use the normalized second tomographic image S′ m represented by the following equation (1).
  • MaxD m is the maximum pixel value of the first tomographic image D m of the m-th frame.
  • MaxS m is the maximum pixel value of the second tomographic image S m corresponding to the first tomographic image D m of the m-th frame.
  • FIG. 7 is a diagram illustrating a simulation method.
  • a numerical phantom (Fig. 7(a)) was prepared. This numerical phantom simulates a tomographic image of the brain of a monkey into which 18 F-FDG (fluorodeoxyglucose) has been injected. This numerical phantom contains the white matter (WM) and gray matter (GM) of the brain.
  • WM white matter
  • GM gray matter
  • FIG. 8 is a graph showing a model of time change of each activity of the white matter part (WM) and the gray matter part (GM) used in the simulation.
  • TAC Time-Activity Curve
  • the total number of counts was set to 15 million.
  • the sinogram is a histogram of coincidence counting information for each pair of radiation detectors of the radiation tomography apparatus 2.
  • Each period of the first to fourth frames is 20 seconds (subtotal 80 seconds)
  • each period of the fifth to eighth frames is 40 seconds (subtotal 160 seconds)
  • each period of the ninth to twelfth frames Is set to 60 seconds (subtotal 240 seconds)
  • each period of the 13th to 16th frames is set to 180 seconds (subtotal 720 seconds)
  • each period of the 17th to 30th frames is set to 300 seconds (subtotal 4200 seconds)
  • FIG. 9 is a diagram showing a numerical phantom image.
  • FIG. 10 is a diagram showing a first tomographic image of the sixth frame.
  • FIG. 11 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the first tomographic image of FIG.
  • the noise removal processing of Comparative Example 1 is processing by a Gaussian filter.
  • FIG. 12 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the first tomographic image of FIG.
  • the noise removal processing of Comparative Example 2 is the processing described in Non-Patent Document 2.
  • FIG. 13 is a diagram showing an output tomographic image selected by performing the CNN processing of this embodiment on the first tomographic image of FIG.
  • the noise removal processing of the present embodiment preserves the boundary of light and shade in the image well and removes noise well. In addition, the unnaturalness of the processed image is reduced.
  • FIG. 14 is a graph showing a temporal change in PSNR of a reconstructed image in each of Comparative Example 1, Comparative Example 2, and this embodiment obtained in the simulation.
  • PSNR Peak Signal to Noise Ratio
  • dB decibels
  • FIG. 15 is a graph showing the temporal change of the SSIM of the reconstructed image in each of Comparative Example 1, Comparative Example 2, and this embodiment obtained in the simulation.
  • the SSIM Structuretural Similarity Index
  • the SSIM is an index that quantifies changes in image brightness, contrast, and structure, and the higher the value, the better the image quality.
  • Both of the indicators of PSNR and SSIM indicate that the noise removal processing of the present embodiment is superior in performance to the noise removal processing of Comparative Examples 1 and 2. For other frames, the performance of the noise removal processing of this embodiment is superior.
  • a rhesus monkey brain into which 18 F-FDG had been injected was used as a subject.
  • an animal PET device (SHR-38000) manufactured by Hamamatsu Photonics KK was used. Transmission measurement was performed for 30 minutes, emission measurement was performed for 90 minutes, and absorption correction was performed on the emission measurement result based on the transmission measurement result. The list data was divided into the 1st to 30th frames. A reconstructed image of each frame was created by the DRAMA method.
  • FIG. 16 is a diagram showing a second tomographic image created using the entire list data.
  • FIG. 17 is a diagram showing a first tomographic image of the sixth frame.
  • FIG. 18 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 1 on the first tomographic image of FIG.
  • FIG. 19 is a diagram showing an image obtained by performing the noise removal processing of Comparative Example 2 on the first tomographic image of FIG.
  • FIG. 20 to 23 are diagrams showing output tomographic images selected by performing the CNN process of the embodiment on the first tomographic image of FIG.
  • the noise removal process of this example is superior in performance to the noise removal process of Comparative Examples 1 and 2.
  • FIG. 24 is a diagram showing TAC in white matter (WM).
  • FIG. 25 is a diagram showing TAC in gray matter (GM).
  • the TAC changes more slowly with time in the case of the noise removal processing of the present embodiment than in the noise removal processing of Comparative Examples 1 and 2. From this, it can be seen that the performance of the noise removal processing of the present embodiment is superior.
  • Statistical analysis and model analysis can be performed by using this TAC, and a large time variation of TAC may cause a large error in the quantitative value.
  • the radiation tomography apparatus 2 is the PET apparatus in the above embodiment, it may be a SPECT apparatus.
  • the image processing apparatus is an apparatus for creating a tomographic image after noise removal processing based on list data collected by a radiation tomography apparatus.
  • a first image creating unit that creates a first tomographic image of the frame by performing reconstruction processing using a data group included in the frame of the list data for each of the plurality of frames, and (2) list
  • a second tomographic image is created by performing reconstruction processing using a data group having a larger number of data than the data group used when creating the first tomographic image of each frame in the first image creating unit.
  • the image creation unit inputs the second tomographic image to the convolutional neural network, outputs the output tomographic image from the convolutional neural network, and compares the output tomographic image with the first tomographic image.
  • a CNN processing unit that generates a plurality of output tomographic images by repeating learning of a convolutional neural network based on the configuration.
  • the above image processing apparatus may further include an image selection unit that selects one of the output tomographic images for each of the plurality of frames as the tomographic image after the noise removal processing.
  • the image selection unit may be configured to select one of the output tomographic images from the plurality of output tomographic images based on the comparison between the output tomographic image and the second tomographic image for each of the plurality of frames.
  • the second image creating unit creates the first tomographic image of the frame in the first image creating unit when creating the second tomographic image corresponding to the first tomographic image of each frame.
  • a data group including the data group used at that time may be used.
  • the second image creation unit when creating the second tomographic image corresponding to the first tomographic image of each frame, the data used when the first image creating unit creates the first tomographic image of the frame.
  • the data groups before and after the group may be used.
  • the radiation tomography system is a radiation tomography apparatus that collects list data for reconstructing a tomographic image of a subject, and after noise removal processing based on the list data collected by the radiation tomography apparatus.
  • the image processing device having the above-described configuration for creating a tomographic image is provided.
  • the image processing method is a method for creating a tomographic image after noise removal processing based on list data collected by a radiation tomography apparatus.
  • a second tomographic image is created by performing reconstruction processing using a data group having a larger number of data than the data group used to create the first tomographic image of each frame in the first image creating step.
  • the above image processing method may further include an image selection step of selecting one of the output tomographic images for each of the plurality of frames as the tomographic image after the noise removal processing.
  • one of the output tomographic images may be selected from the plurality of output tomographic images based on the comparison between the output tomographic image and the second tomographic image for each of the plurality of frames.
  • the first tomographic image of the frame is created in the first image creating step.
  • a data group including the data group used at that time may be used.
  • the second image creating step when the second tomographic image corresponding to the first tomographic image of each frame is created, the data used in creating the first tomographic image of the frame in the first image creating step The data groups before and after the group may be used.
  • the present invention can be used as an apparatus and method capable of creating a high-performance noise-removed tomographic image based on list data collected by a radiation tomography apparatus.
  • SYMBOLS 1... Radiation tomography system, 2... Radiation tomography apparatus, 10... Image processing apparatus, 11... 1st image creation part, 12... 2nd image creation part, 13... CNN processing part, 14... Image selection part, 15... Memory section.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置10は、第1画像作成部11、第2画像作成部12及びCNN処理部13を備える。第1画像作成部11は、リストデータのうち第mフレームに含まれるデータ群を用いて第mフレームの第1断層画像Dmを作成する。第2画像作成部12は、リストデータのうち第1画像作成部11において第1断層画像Dmを作成する際に用いたデータ群より多いデータ数のデータ群を用いて第2断層画像Smを作成する。CNN処理部13は、CNNに第2断層画像Smを入力させてCNNから出力断層画像Omを出力させ、出力断層画像Omと第1断層画像Dmとの比較に基づいてCNNを学習させ、学習動作を繰り返し行って学習の度に出力断層画像Omを生成する。これにより、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができる装置が実現される。

Description

画像処理装置および画像処理方法
 本開示は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する装置および方法に関するものである。
 被検体(生体)の断層画像を取得することができる放射線断層撮影装置として、PET(Positron Emission Tomography)装置およびSPECT(Single Photon Emission Computed Tomography)装置が挙げられる。
 PET装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。PET装置は、陽電子放出アイソトープ(RI線源)が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布(すなわち、RI線源の空間分布)を表す断層画像を再構成することができる。
 このとき、PET装置により収集された同時計数情報を時系列に並べたリストデータを収集順に複数のフレームに分割し、そのリストデータのうち各フレームに含まれるデータ群を用いて画像再構成処理を行うことで、複数のフレームの断層画像からなる動態PET画像を得ることができる。このPET装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。
 このようにして再構成された断層画像は、ノイズを多く含んでいるので、画像フィルタによるノイズ除去処理が必要である。ノイズ除去の為に用いられる画像フィルタとしては、ガウシアン・フィルタ(Gaussian Filter)およびガイディド・フィルタ(Guided Filter)が挙げられる。従来からガウシアン・フィルタが用いられている。これに対して、ガイディド・フィルタは、近年になって開発されたものであって、ガウシアン・フィルタと比べると画像中の濃淡の境界をよく保存することができるという特徴がある。
 特許文献1および非特許文献1,2には、ガイディド・フィルタにより動態PET画像のノイズを除去する技術が記載されている。特許文献1および非特許文献1に記載された技術は、ガイディド・フィルタによるノイズ除去処理に際して、複数のフレームの断層画像からなる動態PET画像を積算して得られる画像をガイダンス画像として用いている。また、非特許文献2に記載された技術は、より適切なガイダンス画像を用いることで、より効果的なノイズ除去を可能としている。
 非特許文献3には、深層ニューラルネットワーク(DNN: Deep Neural Network)の一種である畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)を用いた Deep Image Prior技術(非特許文献4)によりPET画像のノイズを除去する技術が記載されている。
中国特許出願公開第103955899号
Lijun Lu et al., "Dynamic PET Denoising Incorporating a Composite Image Guided Filter", IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC), 2014 F. Hashimoto et al., "Denoising of Dynamic Sinogram by Image Guided Filtering for Positron Emission Tomography", IEEE Transactions on Radiation and Plasma Medical Sciences, Vol.2 No.6, pp.541-548, 2018 Kuang Gong et al., "PET Image Reconstruction Using Deep Image Prior", IEEE Transactions on Medical Imaging, 2018 Dmitry Ulyanov et al., "Deep Image Prior", arXiv preprint arXiv:1711.10925, 2017
 特許文献1および非特許文献1~3に記載された技術によるPET画像に対するノイズ除去処理は、ガウシアン・フィルタを用いる場合と比べるとノイズ除去性能が優れている。しかし、PET画像およびSPECT画像に対して更なるノイズ除去性能の向上が望まれている。
 本発明は、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができる装置および方法を提供することを目的とする。
 本発明の実施形態は、画像処理装置である。画像処理装置は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための装置であって、(1)リストデータを収集順に複数のフレームに分割し、複数のフレームそれぞれについてリストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成部と、(2)リストデータのうち第1画像作成部において各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成部と、(3)複数のフレームそれぞれについて、畳み込みニューラルネットワークに第2断層画像を入力させて畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と第1断層画像との比較に基づいて畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理部と、を備える。
 本発明の実施形態は、放射線断層撮影システムである。放射線断層撮影システムは、被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する上記構成の画像処理装置と、を備える。
 本発明の実施形態は、画像処理方法である。画像処理方法は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための方法であって、(1)リストデータを収集順に複数のフレームに分割し、複数のフレームそれぞれについてリストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成ステップと、(2)リストデータのうち第1画像作成ステップにおいて各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成ステップと、(3)複数のフレームそれぞれについて、畳み込みニューラルネットワークに第2断層画像を入力させて畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と第1断層画像との比較に基づいて畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理ステップと、を備える。
 本発明の実施形態によれば、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができる。
図1は、放射線断層撮影システムの構成を示す図である。 図2は、CNN処理部を説明する図である。 図3は、画像処理方法を説明するフローチャートである。 図4は、CNN処理部の動作およびCNN処理ステップS13を説明するフローチャートである。 図5は、リストデータ、フレーム、第1断層画像Dおよび第2断層画像Sを説明する図である。 図6は、RI線源が投入された被検体における同時計数情報の取得頻度の時間変化を示すグラフである。 図7は、シミュレーション方法を説明する図であり、(a)数値ファントム、(b)サイノグラム、(c)ノイズ付加サイノグラム、及び(d)再構成画像を示す。 図8は、シミュレーションにおいて用いた白質部(WM)および灰白質部(GM)それぞれのアクティビティの時間変化のモデルを示すグラフである。 図9は、数値ファントム画像を示す図である。 図10は、第6フレームの第1断層画像を示す図である。 図11は、図10の第1断層画像に対して比較例1のノイズ除去処理をして得られた画像を示す図である。 図12は、図10の第1断層画像に対して比較例2のノイズ除去処理をして得られた画像を示す図である。 図13は、図10の第1断層画像に対して本実施形態のCNN処理をして選択された出力断層画像を示す図である。 図14は、シミュレーションにおいて得られた比較例1、比較例2および本実施形態それぞれの場合の再構成画像のPSNRの時間変化を示すグラフである。 図15は、シミュレーションにおいて得られた比較例1、比較例2および本実施形態それぞれの場合の再構成画像のSSIMの時間変化を示すグラフである。 図16は、リストデータの全体を用いて作成された第2断層画像を示す図である。 図17は、第6フレームの第1断層画像を示す図である。 図18は、図17の第1断層画像に対して比較例1のノイズ除去処理をして得られた画像を示す図である。 図19は、図17の第1断層画像に対して比較例2のノイズ除去処理をして得られた画像を示す図である。 図20は、図17の第1断層画像に対し実施例のCNN処理をして選択された出力断層画像(n=30)を示す図である。 図21は、図17の第1断層画像に対し実施例のCNN処理をして選択された出力断層画像(n=100)を示す図である。 図22は、図17の第1断層画像に対し実施例のCNN処理をして選択された出力断層画像(n=200)を示す図である。 図23は、図17の第1断層画像に対し実施例のCNN処理をして選択された出力断層画像(n=300)を示す図である。 図24は、白質(WM)におけるTACを示す図である。 図25は、灰白質(GM)におけるTACを示す図である。
 以下、添付図面を参照して、画像処理装置および画像処理方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではない。
 図1は、放射線断層撮影システム1の構成を示す図である。放射線断層撮影システム1は、放射線断層撮影装置2および画像処理装置10を備える。画像処理装置10は、第1画像作成部11、第2画像作成部12、CNN処理部13、画像選択部14および記憶部15を備える。画像処理装置10として、CPU、RAM、ROMおよびハードディスクドライブ等を有するコンピュータが用いられる。また、画像処理装置10は、操作者の入力を受け付ける入力部(例えばキーボードやマウス)を備え、画像等を表示する表示部(例えば液晶ディスプレイ)を備える。
 放射線断層撮影装置2は、被検体の断層画像を再構成するためのリストデータを収集する装置である。放射線断層撮影装置2として、PET装置およびSPECT装置が挙げられる。以下では、放射線断層撮影装置2がPET装置であるとして説明をする。
 放射線断層撮影装置2は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。放射線断層撮影装置2は、陽電子放出アイソトープ(RI線源)が投入された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ511keVの光子対を検出部により同時計数法で検出し、この同時計数情報を蓄積する。そして、放射線断層撮影装置2は、この蓄積した多数の同時計数情報を時系列に並べたものをリストデータとして画像処理装置10へ出力する。
 リストデータは、光子対を同時計数した1対の放射線検出器の識別情報および検出時刻情報を含む。リストデータは、さらに、各放射線検出器が検出した光子のエネルギ情報、および、1対の放射線検出器の検出時間差情報をも含んでいてもよい。
 画像処理装置10は、リストデータに基づいて断層画像を再構成する。リストデータに基づいて断層画像を再構成する技術としては、ML-EM(maximum likelihood expectation maximization)法、および、これを改良したブロック反復法による逐次近似的画像再構成技術が知られている。また、ブロック反復法による逐次近似的画像再構成技術としては、OSEM(ordered subset ML-EM)法、RAMLA(row-action maximum likelihood algorithm)法およびDRAMA(dynamic RAMLA)法などが知られている。また、画像処理装置10は、畳み込みニューラルネットワーク(CNN)を用いてノイズ除去処理後の断層画像を作成する。
 第1画像作成部11は、リストデータを収集順に複数のフレーム(第1~第Mのフレーム)に分割し、複数のフレームそれぞれについて、リストデータのうち第mフレームに含まれるデータ群を用いて再構成処理を行って、第mフレームの第1断層画像Dを作成する。第1断層画像D~Dは、動態PET画像である。
 第2画像作成部12は、リストデータのうち第1画像作成部11において第mフレームの第1断層画像Dを作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像Sを作成する。第2断層画像Sは静態PET画像であってよい。第2断層画像は、フレーム毎に作成されてもよいが、全フレームに対して共通に作成されてもよく、また、幾つかのフレームに対して共通に作成されてもよい。
 第1画像作成部11および第2画像作成部12は、共通のものであってもよいし、別個に設けられてもよい。
 CNN処理部13は、図2に示されるように、第1~第Mのフレームそれぞれについて、CNNに第2断層画像Sを入力させて、CNNから出力断層画像Oを出力させる。CNN処理部13は、この出力断層画像Oと第1断層画像Dとを比較し、その比較結果に基づいてCNNを学習させる。CNN処理部13は、この学習動作を繰り返し行い、学習の度に出力断層画像Om,nを生成する。
 出力断層画像Om,nは、第mフレームについて第1断層画像Dおよび第2断層画像Sを用いたCNNの(n-1)回の学習の後にCNNから出力された出力断層画像である。出力断層画像Om,1は、一度も学習を行っていない状態でCNNから出力された出力断層画像である。
 画像選択部14は、第1~第Mのフレームそれぞれについて、複数の出力断層画像Om,1~Om,Nのうちから何れかの出力断層画像を、ノイズ除去処理後の断層画像として選択する。好適には、画像選択部14は、出力断層画像Om,nと第2断層画像Sとの比較に基づいて、複数の出力断層画像Om,1~Om,Nのうちから何れかの出力断層画像を選択する。
 例えば、出力断層画像Om,nと第2断層画像Sとの間の誤差が最小となる出力断層画像を選択してもよいし、出力断層画像Om,nと第2断層画像Sとの間の誤差が閾値以下となる1または2以上の出力断層画像のうちから何れかの出力断層画像を選択してもよい。また、医師や技師などが、複数の出力断層画像Om,1~Om,Nのうちから何れかの出力断層画像を選択してもよい。
 記憶部15は、リストデータを記憶し、各フレームの第1断層画像Dおよび第2断層画像Sを記憶する。また、記憶部15は、各フレームの複数の出力断層画像Om,1~Om,Nを記憶し、これらのうちから選択された出力断層画像を記憶する。
 図3は、画像処理方法を説明するフローチャートである。この画像処理方法は、放射線断層撮影装置2により収集されたリストデータを取得するリストデータ取得ステップS10と、第1画像作成部11が行う第1画像作成ステップS11と、第2画像作成部12が行う第2画像作成ステップS12と、CNN処理部13が行うCNN処理ステップS13と、画像選択部14が行う画像選択ステップS14と、を備える。
 リストデータ取得ステップS10では、放射線断層撮影装置2により収集されたリストデータを取得する。第1画像作成ステップS11では、リストデータを収集順に複数のフレーム(第1~第Mのフレーム)に分割し、複数のフレームそれぞれについて、リストデータのうち第mフレームに含まれるデータ群を用いて再構成処理を行って、第mフレームの第1断層画像Dを作成する。第2画像作成ステップS12では、リストデータのうち第1画像作成部11において第mフレームの第1断層画像Dを作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像Sを作成する。第1画像作成ステップS11および第2画像作成ステップS12は、任意の順に行われてもよいし、並列的に行なわれてもよい。
 CNN処理ステップS13では、第1~第Mのフレームそれぞれについて、CNNに第2断層画像Sを入力させて、CNNから出力断層画像Oを出力させる。この出力断層画像Oと第1断層画像Dとの比較に基づいてCNNを学習させる。そして、この学習動作を繰り返して行い、学習の度に出力断層画像Om,nを生成する。画像選択ステップS14では、第1~第Mのフレームそれぞれについて、複数の出力断層画像Om,1~Om,Nのうちから何れかの出力断層画像を、ノイズ除去処理後の断層画像として選択する。
 図4は、CNN処理部13の動作およびCNN処理ステップS13を説明するフローチャートである。この例では、第1~第Mのフレームそれぞれについて、CNNをN回繰り返して学習させてN個の出力断層画像Om,1~Om,Nを保存する。出力断層画像Om,nを得る度に該出力断層画像Om,nと第2断層画像Sとを比較して、両者間の誤差が所定の閾値以下となった時点でCNN処理ステップS13を終了して、最後に得られた出力断層画像をノイズ除去処理後の断層画像としてもよい。
 図5は、リストデータ、フレーム、第1断層画像Dおよび第2断層画像Sを説明する図である。この図において横軸はリストデータを収集した時間を表し、その時間軸が複数のフレームに分割されている。第mフレームの第1断層画像Dは、リストデータのうち第mフレームに含まれるデータ群を用いて再構成された断層画像である。第mフレームの第1断層画像Dに対応する第2断層画像Sは、リストデータのうち第mフレームに含まれるデータ群より多いデータ数のデータ群を用いて再構成された断層画像である。
 第mフレームの第1断層画像Dに対応する第2断層画像Sは、第mフレームのデータ群の2倍以上のデータ数のデータ群を用いて作成されるのが好適である。第mフレームの第1断層画像Dに対応する第2断層画像Sは、第mフレームのデータ群を含むデータ群を用いて作成されてもよいし、第mフレームのデータ群の前後のデータ群を用いて作成されてもよい。
 図6は、RI線源が投入された被検体における同時計数情報の取得頻度の時間変化を示すグラフである。一般に、RI線源が投入された被検体内における電子・陽電子の対消滅の頻度(同時計数情報の取得頻度)は、図6に示されるように、RI線源投入直後から時間の経過とともに次第に高くなっていき、やがて或る時刻Tpでピークに達し、そのピークの後は緩やかに次第に低くなっていく。
 このことから、RI線源投入直後から同時計数情報の取得の頻度が高い期間においては、各フレームの期間は相対的に短く設定され、その後の同時計数情報の取得の頻度が緩やかに低くなっていく期間においては、各フレームの期間は相対的に長く設定される。また、RI線源投入直後から同時計数情報の取得の頻度がピークに達するまでの期間(時刻Tp以前)と、そのピークの後の期間(時刻Tp以降)とでは、断層画像が大きく相違していることが知られている。
 そこで、第mフレームが図6において時刻Tp以前(血流依存領域)である場合には、第mフレームの第1断層画像Dに対応する第2断層画像Sは、リストデータのうち時刻Tp以前のデータ群を用いて作成されるのが好適である。第mフレームが図6において時刻Tp以降(PETリガンド動態依存領域)である場合には、第mフレームの第1断層画像Dに対応する第2断層画像Sは、リストデータのうち時刻Tp以降のデータ群を用いて作成されるのが好適である。第mフレームの第1断層画像Dに対応する第2断層画像Sは、リストデータの全体を用いて作成されてもよい。
 第2画像作成部12(第2画像作成ステップS12)において、第mフレームの第1断層画像Dに対応する第2断層画像Sは、第2断層画像Sの最大画素値が第1断層画像Dの最大画素値と等しくなるよう正規化を行って作成されるのが好適である。すなわち、下記(1)式で表される正規化第2断層画像S'を用いるのが好適である。MaxDは、第mフレームの第1断層画像Dの最大画素値である。MaxSは、第mフレームの第1断層画像Dに対応する第2断層画像Sの最大画素値である。
Figure JPOXMLDOC01-appb-M000001
 次に、シミュレーション結果について説明する。図7は、シミュレーション方法を説明する図である。先ず数値ファントム(図7(a))を用意した。この数値ファントムは、18F-FDG(フルオロデオキシグルコース)を投入したサルの脳の断層画像を模擬したものである。この数値ファントムには、脳の白質部(white matter、WM)および灰白質部(gray matter、GM)が含まれている。
 図8は、シミュレーションにおいて用いた白質部(WM)および灰白質部(GM)それぞれのアクティビティの時間変化のモデルを示すグラフである。アクティビティの時間変化(TAC: Time-Activity Curve)は、一般に、RI線源投入直後から時間の経過とともに次第に高くなっていき、やがて或る時刻でピークに達し、そのピークの後は緩やかに次第に低くなっていく。総カウント数(同時計数情報の数)を1500万とした。
 この数値ファントムに基づいて各フレームのサイノグラム(図7(b))を作成した。サイノグラムは、放射線断層撮影装置2の放射線検出器の対ごとに同時計数情報をヒストグラム化したものである。第1~第4のフレームの各期間を20秒(小計80秒)とし、第5~第8のフレームの各期間を40秒(小計160秒)とし、第9~第12のフレームの各期間を60秒(小計240秒)とし、第13~第16のフレームの各期間を180秒(小計720秒)とし、第17~第30のフレームの各期間を300秒(小計4200秒)として、全体のリストデータの収集時間を5400秒(=90分)とした。
 各フレームのサイノグラムに対して、該フレームのカウント数に応じたポアソンノイズを与えて、ノイズ付加サイノグラム(図7(c))を作成した。このノイズ付加サイノグラムに基づいてML-EM法により再構成画像(図7(d))を作成した。ML-EM法における反復回数は40回であった。
 図9は、数値ファントム画像を示す図である。図10は、第6フレームの第1断層画像を示す図である。図11は、図10の第1断層画像に対して比較例1のノイズ除去処理をして得られた画像を示す図である。比較例1のノイズ除去処理は、ガウシアン・フィルタによる処理である。図12は、図10の第1断層画像に対して比較例2のノイズ除去処理をして得られた画像を示す図である。比較例2のノイズ除去処理は、非特許文献2に記載された処理である。
 図13は、図10の第1断層画像に対して本実施形態のCNN処理をして選択された出力断層画像を示す図である。ここでは、リストデータの全体を用いて作成された正規化第2断層画像S'を用いた。これらの図の対比から分かるように、比較例1,2のノイズ除去処理と比べて、本実施形態のノイズ除去処理では、画像中の濃淡の境界がよく保存された上でノイズがよく除去されており、しかも、処理画像の不自然さが低減されている。
 図14は、シミュレーションにおいて得られた比較例1、比較例2および本実施形態それぞれの場合の再構成画像のPSNRの時間変化を示すグラフである。PSNR(Peak Signal to Noise Ratio)は、画像の品質をデシベル(dB)で表したものであり、値が高いほど良好な画質であることを意味する。
 図15は、シミュレーションにおいて得られた比較例1、比較例2および本実施形態それぞれの場合の再構成画像のSSIMの時間変化を示すグラフである。SSIM(Structural Similarity Index)は、画像の輝度およびコントラストならびに構造の変化を定量化する指標であり、値が高いほど良好な画質であることを意味する。
 PSNRおよびSSIMの何れの指標も、比較例1,2のノイズ除去処理と比べて本実施形態のノイズ除去処理の場合の方が性能が優れていることを示している。他のフレームについても、本実施形態のノイズ除去処理の場合の方が性能が優れている。
 次に、実施例について説明する。実施例では、被検体として、18F-FDGを投入したアカゲサルの脳を用いた。PET装置として、浜松ホトニクス株式会社製の動物用PET装置(SHR-38000)を用いた。トランスミッション計測を30分間に亘って行い、また、エミッション計測を90分間に亘って行って、トランスミッション計測結果に基づいてエミッション計測結果に対して吸収補正を行った。リストデータを第1~第30のフレームに分割した。各フレームの再構成画像をDRAMA法により作成した。
 図16は、リストデータの全体を用いて作成された第2断層画像を示す図である。図17は、第6フレームの第1断層画像を示す図である。図18は、図17の第1断層画像に対して比較例1のノイズ除去処理をして得られた画像を示す図である。図19は、図17の第1断層画像に対して比較例2のノイズ除去処理をして得られた画像を示す図である。
 図20~図23は、図17の第1断層画像に対し実施例のCNN処理をして選択された出力断層画像を示す図である。図20は、n=30の場合の出力断層画像を示す。図21は、n=100の場合の出力断層画像を示す。図22は、n=200の場合の出力断層画像を示す。図23は、n=300の場合の出力断層画像を示す。
 この実施例からも、比較例1,2のノイズ除去処理と比べて本実施例のノイズ除去処理の場合の方が性能が優れていることが分かる。また、本実施例の出力断層画像を示す図20~図23のうち図22の出力断層画像(n=100)が、最も自然な画像であり、図16の第2断層画像との誤差が近い。すなわち、学習回数nを適切に選択することで、より自然な出力断層画像を取得することが可能であることが分かる。
 図24は、白質(WM)におけるTACを示す図である。図25は、灰白質(GM)におけるTACを示す図である。白質および灰白質の何れにおいても、比較例1,2のノイズ除去処理と比べて本実施例のノイズ除去処理の場合の方が、TACが時間的に緩やかに変化している。このことからも、本実施形態のノイズ除去処理の場合の方が性能が優れていることが分かる。このTACを用いることで統計解析やモデル解析を行うことができ、TACの時間的変動が大きいと定量値に大きな誤差が生じる場合がある。
 本発明は、上記実施形態及び構成例に限定されるものではなく、種々の変形が可能である。例えば、放射線断層撮影装置2は、上記の実施形態ではPET装置であるとしたが、SPECT装置であってもよい。
 上記実施形態による画像処理装置は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための装置であって、(1)リストデータを収集順に複数のフレームに分割し、複数のフレームそれぞれについてリストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成部と、(2)リストデータのうち第1画像作成部において各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成部と、(3)複数のフレームそれぞれについて、畳み込みニューラルネットワークに第2断層画像を入力させて畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と第1断層画像との比較に基づいて畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理部と、を備える構成としている。
 上記の画像処理装置は、複数のフレームそれぞれについて複数の出力断層画像のうちから何れかの出力断層画像をノイズ除去処理後の断層画像として選択する画像選択部を更に備える構成としても良い。この場合、画像選択部は、複数のフレームそれぞれについて出力断層画像と第2断層画像との比較に基づいて複数の出力断層画像のうちから何れかの出力断層画像を選択する構成としても良い。
 上記の画像処理装置において、第2画像作成部は、各フレームの第1断層画像に対応する第2断層画像を作成する際に、第1画像作成部において該フレームの第1断層画像を作成する際に用いたデータ群を含むデータ群を用いる構成としても良い。また、第2画像作成部は、各フレームの第1断層画像に対応する第2断層画像を作成する際に、第1画像作成部において該フレームの第1断層画像を作成する際に用いたデータ群の前後のデータ群を用いる構成としても良い。
 上記実施形態による放射線断層撮影システムは、被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する上記構成の画像処理装置と、を備える構成としている。
 上記実施形態による画像処理方法は、放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための方法であって、(1)リストデータを収集順に複数のフレームに分割し、複数のフレームそれぞれについてリストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成ステップと、(2)リストデータのうち第1画像作成ステップにおいて各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成ステップと、(3)複数のフレームそれぞれについて、畳み込みニューラルネットワークに第2断層画像を入力させて畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と第1断層画像との比較に基づいて畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理ステップと、を備える構成としている。
 上記の画像処理方法は、複数のフレームそれぞれについて複数の出力断層画像のうちから何れかの出力断層画像をノイズ除去処理後の断層画像として選択する画像選択ステップを更に備える構成としても良い。この場合、画像選択ステップにおいて、複数のフレームそれぞれについて出力断層画像と第2断層画像との比較に基づいて複数の出力断層画像のうちから何れかの出力断層画像を選択する構成としても良い。
 上記の画像処理方法は、第2画像作成ステップにおいて、各フレームの第1断層画像に対応する第2断層画像を作成する際に、第1画像作成ステップにおいて該フレームの第1断層画像を作成する際に用いたデータ群を含むデータ群を用いる構成としても良い。また、第2画像作成ステップにおいて、各フレームの第1断層画像に対応する第2断層画像を作成する際に、第1画像作成ステップにおいて該フレームの第1断層画像を作成する際に用いたデータ群の前後のデータ群を用いる構成としても良い。
 本発明は、放射線断層撮影装置により収集されたリストデータに基づいて高性能にノイズ除去された断層画像を作成することができる装置および方法として利用可能である。
 1…放射線断層撮影システム、2…放射線断層撮影装置、10…画像処理装置、11…第1画像作成部、12…第2画像作成部、13…CNN処理部、14…画像選択部、15…記憶部。

Claims (11)

  1.  放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための装置であって、
     前記リストデータを収集順に複数のフレームに分割し、前記複数のフレームそれぞれについて前記リストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成部と、
     前記リストデータのうち前記第1画像作成部において各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成部と、
     前記複数のフレームそれぞれについて、畳み込みニューラルネットワークに前記第2断層画像を入力させて前記畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と前記第1断層画像との比較に基づいて前記畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理部と、
    を備える、画像処理装置。
  2.  前記複数のフレームそれぞれについて前記複数の出力断層画像のうちから何れかの出力断層画像をノイズ除去処理後の断層画像として選択する画像選択部を更に備える、請求項1に記載の画像処理装置。
  3.  前記画像選択部は、前記複数のフレームそれぞれについて前記出力断層画像と前記第2断層画像との比較に基づいて前記複数の出力断層画像のうちから何れかの出力断層画像を選択する、請求項2に記載の画像処理装置。
  4.  前記第2画像作成部は、各フレームの第1断層画像に対応する第2断層画像を作成する際に、前記第1画像作成部において該フレームの第1断層画像を作成する際に用いたデータ群を含むデータ群を用いる、請求項1~3の何れか1項に記載の画像処理装置。
  5.  前記第2画像作成部は、各フレームの第1断層画像に対応する第2断層画像を作成する際に、前記第1画像作成部において該フレームの第1断層画像を作成する際に用いたデータ群の前後のデータ群を用いる、請求項1~3の何れか1項に記載の画像処理装置。
  6.  被検体の断層画像を再構成するためのリストデータを収集する放射線断層撮影装置と、
     前記放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成する請求項1~5の何れか1項に記載の画像処理装置と、
    を備える、放射線断層撮影システム。
  7.  放射線断層撮影装置により収集されたリストデータに基づいてノイズ除去処理後の断層画像を作成するための方法であって、
     前記リストデータを収集順に複数のフレームに分割し、前記複数のフレームそれぞれについて前記リストデータのうち該フレームに含まれるデータ群を用いて再構成処理を行って該フレームの第1断層画像を作成する第1画像作成ステップと、
     前記リストデータのうち前記第1画像作成ステップにおいて各フレームの第1断層画像を作成する際に用いたデータ群より多いデータ数のデータ群を用いて再構成処理を行って第2断層画像を作成する第2画像作成ステップと、
     前記複数のフレームそれぞれについて、畳み込みニューラルネットワークに前記第2断層画像を入力させて前記畳み込みニューラルネットワークから出力断層画像を出力させ、この出力断層画像と前記第1断層画像との比較に基づいて前記畳み込みニューラルネットワークを学習させることを繰り返して、複数の出力断層画像を生成するCNN処理ステップと、
    を備える、画像処理方法。
  8.  前記複数のフレームそれぞれについて前記複数の出力断層画像のうちから何れかの出力断層画像をノイズ除去処理後の断層画像として選択する画像選択ステップを更に備える、請求項7に記載の画像処理方法。
  9.  前記画像選択ステップにおいて、前記複数のフレームそれぞれについて前記出力断層画像と前記第2断層画像との比較に基づいて前記複数の出力断層画像のうちから何れかの出力断層画像を選択する、請求項8に記載の画像処理方法。
  10.  前記第2画像作成ステップにおいて、各フレームの第1断層画像に対応する第2断層画像を作成する際に、前記第1画像作成ステップにおいて該フレームの第1断層画像を作成する際に用いたデータ群を含むデータ群を用いる、請求項7~9の何れか1項に記載の画像処理方法。
  11.  前記第2画像作成ステップにおいて、各フレームの第1断層画像に対応する第2断層画像を作成する際に、前記第1画像作成ステップにおいて該フレームの第1断層画像を作成する際に用いたデータ群の前後のデータ群を用いる、請求項7~9の何れか1項に記載の画像処理方法。
PCT/JP2020/003268 2019-02-07 2020-01-29 画像処理装置および画像処理方法 WO2020162296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20752373.9A EP3923033A4 (en) 2019-02-07 2020-01-29 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US17/428,693 US11893660B2 (en) 2019-02-07 2020-01-29 Image processing device and image processing method
CN202080012799.XA CN113454489A (zh) 2019-02-07 2020-01-29 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019020467A JP7237624B2 (ja) 2019-02-07 2019-02-07 画像処理装置および画像処理方法
JP2019-020467 2019-02-07

Publications (1)

Publication Number Publication Date
WO2020162296A1 true WO2020162296A1 (ja) 2020-08-13

Family

ID=71947437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003268 WO2020162296A1 (ja) 2019-02-07 2020-01-29 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US11893660B2 (ja)
EP (1) EP3923033A4 (ja)
JP (1) JP7237624B2 (ja)
CN (1) CN113454489A (ja)
WO (1) WO2020162296A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106479A1 (ko) * 2021-12-10 2023-06-15 광주과학기술원 Ste 및 최적 중단시점 자동 결정 알고리즘을 적용한 dip를 사용하여 노이즈 이미지를 디노이징하는 방법 및 장치
KR102476433B1 (ko) * 2021-12-22 2022-12-12 이화여자대학교 산학협력단 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치
JP2023112818A (ja) * 2022-02-02 2023-08-15 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP2023173737A (ja) * 2022-05-26 2023-12-07 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP2023176348A (ja) * 2022-05-31 2023-12-13 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP2024054668A (ja) * 2022-10-05 2024-04-17 浜松ホトニクス株式会社 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955899A (zh) 2014-05-02 2014-07-30 南方医科大学 基于组合图像引导的动态pet图像去噪方法
US20170039738A1 (en) * 2004-01-13 2017-02-09 Spectrum Dynamics Llc Gating with anatomically varying durations
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
JP2018110866A (ja) * 2017-01-13 2018-07-19 キヤノンメディカルシステムズ株式会社 医用画像生成装置及び医用画像生成方法
JP2019202087A (ja) * 2018-05-25 2019-11-28 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置、放射線診断装置、超音波診断装置、学習用データの生産方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3509696A1 (en) 2016-09-06 2019-07-17 Elekta, Inc. Neural network for generating synthetic medical images
RU2667879C1 (ru) * 2017-05-30 2018-09-24 Общество с ограниченной ответственностью "Аби Продакшн" Обработка и анализ данных на изображениях компьютерной томографии
EP3698269A4 (en) * 2017-11-22 2020-12-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING METHOD AND SYSTEM
CN111656392B (zh) * 2018-02-15 2024-01-05 通用电气公司 用于合成磁共振图像的系统和方法
US10685445B2 (en) * 2018-06-09 2020-06-16 Uih-Rt Us Llc Systems and methods for generating augmented segmented image set
CN109166161B (zh) 2018-07-04 2023-06-30 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109009179B (zh) * 2018-08-02 2020-09-18 浙江大学 基于深度置信网络的相同同位素标记双示踪剂pet分离方法
US10991092B2 (en) * 2018-08-13 2021-04-27 Siemens Healthcare Gmbh Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data
US11446008B2 (en) * 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
CN109272472B (zh) * 2018-10-15 2022-07-15 天津大学 面向医用能谱ct图像的噪声及伪影消除方法
US11222447B2 (en) * 2020-05-06 2022-01-11 Siemens Medical Solutions Usa, Inc. Inter-frame motion correction in whole-body direct parametric image reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039738A1 (en) * 2004-01-13 2017-02-09 Spectrum Dynamics Llc Gating with anatomically varying durations
CN103955899A (zh) 2014-05-02 2014-07-30 南方医科大学 基于组合图像引导的动态pet图像去噪方法
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
JP2018110866A (ja) * 2017-01-13 2018-07-19 キヤノンメディカルシステムズ株式会社 医用画像生成装置及び医用画像生成方法
JP2019202087A (ja) * 2018-05-25 2019-11-28 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置、放射線診断装置、超音波診断装置、学習用データの生産方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
F. HASHIMOTO ET AL.: "Denoising of Dynamic Sinogram by Image Guided Filtering for Positron Emission Tomography", IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES, vol. 2, no. 6, 2018, pages 541 - 548, XP011698873, DOI: 10.1109/TRPMS.2018.2869936
KIBO OTE, AOI TOKUI, FUMIO HASHIMOTO, TAKASHI ISOBE, AKINORI SAITO, TOMOHIDE OMURA: "Using a Convolutional Neural Network to Eliminate PET Image Noise", MEDICAL IMAGING TECHNOLOGY, vol. 37, no. 1, 25 January 2019 (2019-01-25), pages 35 - 45, XP055837428, ISSN: 0288-450X, DOI: 10.11409/mit.37.35 *
KUANG GONG ET AL.: "PET Image Reconstruction Using Deep Image Prior", IEEE TRANSACTIONS ON MEDICAL IMAGING, 2018
LIJUN LU ET AL.: "Dynamic PET Denoising Incorporating a Composite Image Guided Filter", IEEE NUCLEAR SCIENCE SYMPOSIUM AND MEDICAL IMAGING CONFERENCE (NSS/MIC, 2014

Also Published As

Publication number Publication date
US11893660B2 (en) 2024-02-06
CN113454489A (zh) 2021-09-28
JP2020128882A (ja) 2020-08-27
EP3923033A1 (en) 2021-12-15
EP3923033A4 (en) 2022-11-16
JP7237624B2 (ja) 2023-03-13
US20220114772A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2020162296A1 (ja) 画像処理装置および画像処理方法
US10475214B2 (en) Tomographic reconstruction based on deep learning
CN110097611B (zh) 图像重建方法、装置、设备及存储介质
US7949172B2 (en) Iterative image processing
US20100260402A1 (en) Image analysis
Whiteley et al. FastPET: near real-time reconstruction of PET histo-image data using a neural network
CN112770838A (zh) 使用自关注深度学习进行图像增强的系统和方法
CN110415311B (zh) Pet图像重建方法、系统、可读存储介质和设备
CN109741254B (zh) 字典训练及图像超分辨重建方法、系统、设备及存储介质
US20230102661A1 (en) Image processing device and image processing method
Humphries et al. Comparison of deep learning approaches to low dose CT using low intensity and sparse view data
Kim et al. An effective post-filtering framework for 3-D PET image denoising based on noise and sensitivity characteristics
US20210209817A1 (en) Optimization-based reconstruction with an image-total-variation constraint in pet
JP6974159B2 (ja) 画像処理装置および画像処理方法
Nauwynck et al. Ring artifact reduction in sinogram space using deep learning
JP6495615B2 (ja) 画像処理装置および画像処理方法
Chen et al. A novel edge-preserving filter for medical image enhancement
JP6986961B2 (ja) 画像処理装置および画像処理方法
JP7018306B2 (ja) 画像処理装置および画像処理方法
WO2023149403A1 (ja) 画像処理装置および画像処理方法
Liang et al. A model-based deep learning reconstruction for X-Ray CT
EP3889881B1 (en) Method, device and system for generating a denoised medical image
Suzuki et al. Image Correction in Emission Tomography Using Deep Convolution Neural Network
US10636128B2 (en) Recursive filter for space-variant images
WO2024035674A1 (en) Methods and related aspects for producing processed images with controlled images quality levels

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20752373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020752373

Country of ref document: EP

Effective date: 20210907