WO2019186999A1 - イメージングデータ処理装置及びイメージングデータ処理プログラム - Google Patents

イメージングデータ処理装置及びイメージングデータ処理プログラム Download PDF

Info

Publication number
WO2019186999A1
WO2019186999A1 PCT/JP2018/013596 JP2018013596W WO2019186999A1 WO 2019186999 A1 WO2019186999 A1 WO 2019186999A1 JP 2018013596 W JP2018013596 W JP 2018013596W WO 2019186999 A1 WO2019186999 A1 WO 2019186999A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
interest
unit
imaging data
Prior art date
Application number
PCT/JP2018/013596
Other languages
English (en)
French (fr)
Inventor
将弘 池上
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to PCT/JP2018/013596 priority Critical patent/WO2019186999A1/ja
Priority to CN201880091068.1A priority patent/CN111837031B/zh
Priority to US16/964,522 priority patent/US11636598B2/en
Priority to JP2020508789A priority patent/JP6927416B2/ja
Priority to EP18912093.4A priority patent/EP3779427A4/en
Publication of WO2019186999A1 publication Critical patent/WO2019186999A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00—Particle spectrometers or separator tubes
    • H01J49/0004—Imaging particle spectrometry
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00—Particle spectrometers or separator tubes
    • H01J49/004—Combinations of spectrometers, tandem spectrometers, e.g. MS/MS, MSn
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00—Particle spectrometers or separator tubes
    • H01J49/02—Details
    • H01J49/10—Ion sources; Ion guns
    • H01J49/16—Ion sources; Ion guns using surface ionisation, e.g. field-, thermionic- or photo-emission
    • H01J49/161—Ion sources; Ion guns using surface ionisation, e.g. field-, thermionic- or photo-emission using photoionisation, e.g. by laser
    • H01J49/164—Laser desorption/ionisation, e.g. matrix-assisted laser desorption/ionisation [MALDI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an imaging data processing apparatus that processes data, and a data processing program for executing the processing on a computer. More specifically, a user particularly operates on an image that is created based on data for each minute area in a measurement area.
  • ROI Region Of Interest
  • mass spectrometry imaging the spatial distribution of a substance having a specific mass is obtained by performing mass analysis on each of a plurality of microregions (measurement points) in a two-dimensional measurement region on a sample such as a biological tissue section. It is a research method, and its application to drug discovery, biomarker search, investigation of the causes of various diseases and diseases, etc. is being pursued.
  • a mass spectrometer for performing mass spectrometry imaging is generally called an imaging mass spectrometer (see Non-Patent Documents 1 and 2, etc.).
  • an imaging mass spectrometer can obtain mass spectrum data (including MS n spectrum data in which n is 2 or more) over a predetermined mass-to-charge (m / z) range for each of a large number of minute regions on a sample.
  • mass spectrum data including MS n spectrum data in which n is 2 or more
  • m / z mass-to-charge
  • the data processing unit of the imaging mass spectrometer extracts a signal intensity value corresponding to the designated m / z value in each micro area.
  • MS imaging image a two-dimensional image (mass spectrometry imaging image, hereinafter referred to as “MS imaging image”) in which the signal intensity value is visualized according to the gray scale or the color scale and associated with the position of the minute region is created and displayed on the screen of the display unit. Is displayed.
  • continuous slice samples a plurality of slice samples continuously cut out from a mouse organ, and two-dimensional MS in each slice sample is performed. Attempts have also been made to create three-dimensional MS imaging images by stacking imaging images (see Non-Patent Document 3, etc.).
  • an operator performs alignment by manually performing image deformation processing such as movement, rotation, enlargement / reduction, and nonlinear deformation while confirming a plurality of MS imaging images to be aligned on a display screen. It was common. However, these operations are very time consuming and low in efficiency.
  • an MS imaging image shows the intensity distribution of ions derived from a compound having a certain mass, that is, the distribution of abundance, and does not necessarily indicate the contour or boundary of a certain part or tissue structure. Since it is not limited, it has been difficult to accurately align MS imaging images.
  • Patent Document 1 Non-Patent Document 4, and the like describe the positions and sizes of parts that are estimated to be the same by deforming a plurality of MS imaging images that are the targets of comparative analysis and superposition processing.
  • a method of performing alignment so that the shape and the like match is disclosed.
  • alignment is performed by deforming one or more of a plurality of images using such a method, there are the following problems.
  • the user sets one or a plurality of regions of interest (ROI) having an appropriate size and range on one MS imaging image after alignment, and the minute regions included in the region of interest are set.
  • ROI regions of interest
  • multivariate analysis such as principal component analysis, least square regression analysis, discriminant analysis, or analysis by hypothesis testing is performed using mass spectrum data in a region.
  • the region of interest in the same range as the region of interest set on the MS imaging image of one sample must be set accurately on the MS imaging image of the other sample. is important.
  • a method for automatically setting such a region of interest a method described in Patent Document 2 is known.
  • the above problems are not limited to mass spectrometric imaging, but also when performing comparative analysis or difference analysis using imaging data obtained by other measurement and observation techniques such as Raman spectroscopic imaging and infrared spectroscopic imaging. It is the same.
  • the present invention has been made in view of the above problems, and its object is to perform comparative analysis and difference analysis of imaging data such as a plurality of mass spectrometry imaging data obtained from different samples, for example.
  • An object of the present invention is to provide an imaging data processing apparatus and an imaging data processing program capable of accurately setting a region of interest on an image corresponding to each sample when setting the region of interest on an image based on imaging data.
  • the imaging data processing apparatus which has been made to solve the above-mentioned problems, performs predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample.
  • Imaging data which is a set of data obtained in step (1), is processed, and imaging data obtained for a plurality of samples having the same or similar parts to be observed, or parts to be observed are
  • an imaging data processing apparatus for processing imaging data obtained with different analysis or observation techniques or obtained under different parameters for the same sample a) Using one of a plurality of images generated based on a plurality of imaging data to be processed as a reference, the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing unit that performs a deformation process that involves movement of the position of each minute region in an image other than the image that is the reference, b) a region-of-interest setting receiving unit that allows a user to set a region of interest on an image that is used as a reference in the image alignment processing unit or on one of the images deformed in the image alignment processing unit; c) In other images excluding the image in which the region of interest is set in the region-of-interest setting accepting unit among the plurality of images processed by the image alignment processing unit and the reference image, the image alignment processing By considering that the center point of the micro area moved during the processing by the unit is within the frame of the area of interest set by the area of interest setting receiving unit is the micro area included in the region of interest A region-of-interest corresponding microregion determination unit that determines a microregion included in the region of interest in each image; It is characterized by having.
  • the imaging data processing program which has been made to solve the above-described problems, performs predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample.
  • Imaging data which is a set of data obtained in step (1), is processed, and imaging data obtained for a plurality of samples having the same or similar parts to be observed, or parts to be observed are
  • An imaging data processing program for processing imaging data obtained with different analysis or observation techniques or obtained under different parameters for one sample that is the same comprising: a) Using one of a plurality of images generated based on a plurality of imaging data to be processed as a reference, the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing function unit that performs a deformation process that involves movement of the position of each minute region in an image other than the reference image
  • a region-of-interest setting reception function that allows the user to set a region of interest on an image that is used as a reference in the image alignment processing function unit or on one of the images deformed in the image alignment processing function unit
  • the image position A micro-region in which the center point of the micro-region moved during the processing by the matching processing function unit is within the frame of the region of interest set by the region-of-interest setting reception function unit is a micro region included in the region of interest.
  • the region-of-interest corresponding micro region determination function unit that determines the micro region included in the region of interest in each image, It is characterized by operating.
  • the imaging data to be processed according to the present invention includes an imaging mass spectrometer, various microscopes such as an optical microscope, a phase contrast microscope, and a confocal microscope, a Fourier transform infrared spectrophotometric imaging apparatus, a Raman spectroscopic imaging apparatus, an electron beam microscopic apparatus, and the like. Data obtained in an analyzer or the like in each of a plurality of minute areas in a two-dimensional measurement area on the sample can be used.
  • the imaging data to be subjected to image alignment may be obtained by the same analysis or observation method, or may be obtained by different analysis or observation methods.
  • the image alignment processing unit uses one data value (for example, a signal intensity value) per minute area for image alignment. Therefore, for example, when there are data values for a plurality of components such as R, G, and B which are the three primary colors per minute area (pixel) as in an optical microscope, the characteristics of the image are best represented. A data value of one component is selected, or a data value of a component obtained by combining the plurality of components into one is used.
  • a component data value may be selected, or a multivariate analysis such as principal component analysis may be performed for each minute region, and a representative principal component score value or the like may be used as the data value of the minute region.
  • the image alignment processing unit is As described above, an image generated based on a data value (signal intensity value) in a mass-to-charge ratio, which is one characteristic component of a sample, as described above, that is, based on an MS imaging image, By performing the process of deforming the MS imaging image at the same mass-to-charge ratio for the sample, the images are aligned so that the same part matches.
  • the image for example, linear affine transformation such as translation, rotation, and enlargement / reduction, and nonlinear transformation such as B-spline method can be used. In either case, when one image is deformed in order to match the image pattern, the position of each minute region constituting the image moves.
  • the deformation information of the image for performing the alignment does not necessarily have to be obtained from the MS imaging images. Since an MS imaging image is generally an image showing the distribution of a compound having a specific mass, for example, the contour of a certain part in a specific biological tissue may not be accurately represented. Image alignment is easier to implement for images with clear external features (in other words, visual features) of the sample, and the alignment accuracy is higher. Therefore, when an optical microscopic image of the same sample can be obtained together with imaging mass spectrometry data, image deformation information for alignment is acquired using the optical microscopic image, and the acquired deformation information is used. Thus, the MS imaging image may be deformed.
  • the region-of-interest setting reception unit displays an image that has been used as a reference in the image alignment processing unit, that is, an image that has not been deformed, or one of the deformed images on the screen of the display unit. To set the region of interest.
  • the original optical microscopic image is used as a reference. It may be considered as an image and used for setting the region of interest.
  • the region-of-interest setting reception unit may recognize, for example, a region designated on the image by operating a pointing device such as a mouse as the region of interest.
  • the region-of-interest corresponding micro region determination unit includes an image on which the region of interest is set in all comparison target images including the reference image and the image after the deformation process.
  • a region of interest is defined at the same position as the region of interest, and a minute region having a center point within the frame of the region of interest is regarded as a minute region included in the region of interest.
  • the center point of each micro area will not move, so the micro area included in the frame of the area of interest on each image is exactly the same as that of the image in which the area of interest is set. Are the same.
  • the center point of the micro region not included in the region of interest is not included in the image in which the region of interest is set in the image other than the image in which the region of interest is set. , May be within the frame of the region of interest. In that case, at least a part of the minute region included in the region of interest is different from that of the image in which the region of interest is set.
  • the position of each minute region where the imaging data is obtained has moved on the image due to the image deformation processing at the time of image alignment. Even so, it is possible to accurately extract a minute region included in the region of interest set by the user. In this way, multivariate analysis and hypothesis testing based on the data obtained in the micro area accurately included in the region of interest set by the user in all comparison analysis and difference analysis target images including images that have undergone deformation processing. It can be carried out.
  • the imaging data processing apparatus performs predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample.
  • Imaging data which is a set of data obtained in this way, is processed, and imaging data obtained for a plurality of samples having the same or similar parts to be observed, or parts to be observed.
  • the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing unit that performs a deformation process that involves movement of the position of each minute region in an image other than the image that is the reference, b) a region-of-interest setting receiving unit that allows a user to set a region of interest on an image that is used as a reference in the image alignment processing unit or on one of the images deformed in the image alignment processing unit; c) The region-of-interest setting reception in a plurality of images after the processing by the image alignment processing unit and other images excluding the image in which the region of interest setting is set in the region-of-interest setting reception unit.
  • the center point of the minute region existing in the frame of the region of interest set by the region of interest setting reception unit on the image in which the region of interest is set Is calculated by an interpolation process using data values at the positions of the center points of the plurality of micro-regions moved during the processing by the image alignment processing unit, and the calculated data value
  • a region-of-interest data value calculation unit that adopts as a data value of each virtual minute region included in a region of interest on another image excluding the image in which the region of interest is set; It is characterized by having.
  • the imaging data processing program according to the second aspect of the present invention performs predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample.
  • Imaging data which is a set of data obtained in this way, is processed, and imaging data obtained for a plurality of samples having the same or similar parts to be observed, or parts to be observed
  • An imaging data processing program for processing imaging data obtained with different analysis or observation techniques or obtained under different parameters for one sample that is the same comprising: a) Using one of a plurality of images generated based on a plurality of imaging data to be processed as a reference, the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing function unit that performs a deformation process that involves movement of the position of each minute region in an image other than the reference image
  • a region-of-interest setting reception function that allows the user to set a region of interest on an image that is used as a reference in the image alignment processing function unit or on one of the images deformed in the image alignment processing function unit
  • the region of interest in other images excluding the image in which the region of interest is set in the region-of-interest setting reception function unit among the plurality of images processed by the image alignment processing function unit and the reference image
  • a minute existing in the region of interest set by the region of interest setting reception function unit on the image in which the region of interest is set A data value at a position corresponding to the center point of the area is calculated by an interpolation process using data values at the position of the center point of the plurality of minute areas moved during the processing by the image alignment processing function unit, The data value in the region of interest that
  • the processing by the image alignment processing unit and the region-of-interest setting receiving unit is exactly the same as the first aspect.
  • the in-region-of-interest data value calculation unit calculates another image other than the image in which the region of interest is set.
  • the data value in the virtual minute region included in the region of interest corresponding to the region of interest set by the region of interest setting reception unit is calculated by interpolation calculation.
  • the term “virtual microregion” usually refers to the position of the microregion on the image where the region of interest is set and other images because the actual microregion moves during image deformation.
  • the data value calculation unit within the region of interest converts the data value at the center point of the virtual minute region within the region of interest at the position of the center point of the plurality of minute regions that are moved by image deformation. Calculation is performed by interpolation based on data values.
  • the method of the interpolation processing is not particularly limited, and in order to obtain the data value at the position of the central point of a certain minute area, how many data values in the minute area in the surrounding state are used. It doesn't matter. However, the center points of multiple micro-regions that have been moved due to image deformation are likely not aligned on a straight line, and are not likely to be evenly spaced, so interpolation can be performed with high accuracy even under such conditions.
  • the region-of-interest data value calculation unit obtains the data value at the position of the center point of the virtual minute region in the region of interest on each other image except the image in which the region of interest is set by interpolation processing. Then, the temporary minute area where the center point exists within the frame of the interested area is regarded as the minute area included in the interested area. Note that for an image in which a region of interest is set, a minute region having a center point within the frame of the region of interest may be simply a minute region included in the region of interest.
  • the position of each minute region where the imaging data is obtained has moved on the image due to image deformation at the time of image alignment. Even so, it is possible to accurately extract a minute region included in the region of interest set by the user. In this way, multivariate analysis and hypothesis testing based on the data obtained in the micro area accurately included in the region of interest set by the user in all comparison analysis and difference analysis target images including images that have undergone deformation processing. It can be carried out.
  • the imaging data processing apparatus performs predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample.
  • Imaging data that is a set of data obtained by processing, and is imaging data obtained for a plurality of samples having the same or similar parts to be observed, or observation objects
  • an imaging data processing apparatus for processing imaging data obtained by different analysis or observation techniques or obtained under different parameters for one sample having the same site a) Using one of a plurality of images generated based on a plurality of imaging data to be processed as a reference, the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing unit that performs a deformation process that involves movement of the position of each minute region in an image other than the image that is the reference, b) One image selected by the user among the images deformed in the image alignment processing unit is divided into a predetermined minute range, and a data value corresponding to the center point of each minute region is converted into the image alignment processing.
  • Center points of a plurality of micro regions moved during the processing by the image alignment processing unit with data values at positions corresponding to the center points of the micro regions existing within the frame of the region of interest set by the setting reception unit Is calculated by interpolation using the data value at the position of the image, and the calculated data value is calculated with the data value of each virtual minute region included in the region of interest on each image.
  • a region of interest in the data value calculating unit employed Te is characterized by having.
  • the imaging data processing program is a set of data obtained by performing predetermined analysis or observation in each of a plurality of minute regions in a two-dimensional measurement region on a sample. Processes certain imaging data, and the imaging data obtained for a plurality of samples having the same or similar parts to be observed, or different for one sample having the same parts to be observed
  • An imaging data processing program for processing imaging data obtained with an analysis or observation technique or under different parameters comprising: a) Using one of a plurality of images generated based on a plurality of imaging data to be processed as a reference, the same or similar parts are matched with each other for one or a plurality of obtained samples.
  • an image alignment processing function unit that performs a deformation process that involves movement of the position of each minute region in an image other than the reference image, b) One image selected by the user among the images deformed by the image alignment processing function unit is divided into a predetermined minute range, and the data value corresponding to the center point of each minute region is set to the image alignment. Calculated by an interpolation process using data values at the positions of the center points of the plurality of minute regions moved during the deformation process by the processing function unit, and displays an image based on the data values calculated by the interpolation process.
  • a region-of-interest setting reception function unit that allows the user to set a region of interest on the image; c) Among the plurality of images after the processing by the image alignment processing function unit and other images other than the image in which the region of interest is set in the region-of-interest setting reception function unit among the reference images, at least the image For an image that has been subjected to deformation processing by the alignment processing function unit, an image on which the region of interest has been set is included for each image within a region of interest corresponding to the region of interest set by the region-of-interest setting reception function unit.
  • a plurality of data values moved at the time of processing by the image alignment processing function unit at the position corresponding to the center point of the minute region existing within the frame of the region of interest set by the region-of-interest setting reception function unit Is calculated by interpolation processing using the data value at the position of the center point of the micro area, and the calculated data value is virtually included in the region of interest on each image
  • the data value is multiplied by a weight corresponding to the ratio of the included area.
  • Arithmetic processing may be performed. That is, for example, a data value corresponding to a minute region that is entirely included in the region of interest is assigned a weight of 1, and a data value corresponding to a minute region that includes only 1 ⁇ 2 of the area in the region of interest is weighted. What is necessary is just to perform arithmetic processing as 1/2.
  • the imaging data processing apparatus and the imaging data processing program according to the present invention for example, when setting a region of interest on an image derived from a plurality of samples to be subjected to comparative analysis or difference analysis, the user is interested in one image.
  • the region By setting the region, it is possible to accurately set the region of interest corresponding to substantially the same part on the image of another sample in units of minute regions. Thereby, it is possible to improve the accuracy of comparison analysis or difference analysis using data values in a minute region included in a region of interest on each image.
  • FIG. 1 is a configuration diagram of a main part of the imaging mass spectrometer of the first embodiment.
  • the apparatus includes an imaging mass spectrometry unit 1, an optical microscope observation unit 2, a data processing unit 3, an operation unit 4, and a display unit 5.
  • the imaging mass spectrometer 1 includes, for example, a matrix-assisted laser desorption ionization ion trap time-of-flight mass spectrometer (MALDI-IT-TOFMS), and includes a number of two-dimensional measurement regions on a sample 6 such as a biological tissue section. Mass spectrum data (or MS n spectrum data where n is 2 or more) for each measurement point is acquired.
  • the optical microscope observation unit 2 acquires an optical microscope image in a range including at least a measurement region on the same sample 6.
  • the data processing unit 3 receives mass spectrum data for each measurement point obtained by the imaging mass spectrometry unit 1 (hereinafter collectively referred to as MS imaging data) and optical image data obtained by the optical microscope observation unit 2. Perform predetermined processing.
  • the data processing unit 3 includes a data storage unit 30, an optical image creation unit 31, an MS imaging image creation unit 32, an optical image registration processing unit 33, an image deformation information storage unit 34, an MS imaging image registration processing unit 35, a region of interest.
  • the setting unit 36, the micro region determination unit 37 in the region of interest, the analysis processing unit 38, and the display processing unit 39 are included as functional blocks.
  • the entity of the data processing unit 3 is a personal computer (or a higher-performance workstation), and by operating dedicated software (that is, a computer program) installed in the computer on the computer, The function of each block can be achieved.
  • the imaging mass spectrometer 1 and the optical microscope observation unit 2 are integrated and set at a predetermined position of the apparatus.
  • the sample 6 is a device capable of moving between a measurement position by the imaging mass spectrometer 1 and an imaging position by the optical microscope observation unit 2 automatically or according to a manual operation.
  • the imaging mass spectrometer 1 and the optical microscope observation unit 2 are not necessarily integrated, and the user may carry the sample 6 manually.
  • Sample 6 is a slice sample cut from the liver (or other organ) of a laboratory animal such as a mouse.
  • the user sets a sample 6 placed on a dedicated plate and not coated with a matrix at a predetermined position of the apparatus, and performs a predetermined operation with the operation unit 4. Then, the optical microscope observation unit 2 takes an optical image on the sample 6 and displays the image on the screen of the display unit 5. The user confirms this image, determines the measurement region on the sample 6, and designates the measurement region by setting a frame surrounding the measurement region on the optical image by the operation unit 4, for example. As a result, a measurement region to be subjected to imaging mass spectrometry on the sample 6 is determined. Optical image data obtained by photographing the sample 6 is stored in the data storage unit 30 together with information for specifying the position of the measurement region.
  • the operation unit 4 instructs execution of mass spectrometry.
  • the imaging mass spectrometer 1 performs mass analysis for each of a large number of rectangular microregions obtained by dividing the measurement region into a lattice pattern, and acquires mass spectrum data.
  • a set of mass spectrum data corresponding to the number of minute regions in the measurement region, that is, MS imaging data is obtained, and this data is stored in the data storage unit 30.
  • Optical image data and MS imaging data for one sample 6 are stored in association or in the same file.
  • mass spectrum information corresponding to a minute rectangular region cannot be obtained.
  • mass spectrum information corresponding to a rectangular minute region can be obtained by performing a mass analysis by irradiating a laser beam having a predetermined diameter almost in alignment with the center point of each minute region.
  • a plurality of samples to be subjected to comparative analysis for example, a slice sample cut from the liver of a mouse that has developed cancer and a slice sample cut from the liver of a normal mouse, are measured by the imaging mass spectrometer 1 as described above.
  • MS imaging data and optical image data are collected.
  • FIG. 2 is a flowchart showing the procedure of this data processing
  • FIG. 3 is a conceptual diagram for explaining the alignment processing of a plurality of MS imaging images
  • FIGS. 4 and 5 are explanatory diagrams of the region of interest setting processing.
  • step S1 an entire m / z value, a specific m / z value range, or a specific plurality of values are not shown as one MS imaging image but an image showing a signal intensity distribution at a specific m / z value of one sample.
  • An image composed of data values calculated one by one for each minute region based on the signal intensity value at the m / z value may be designated.
  • the principal component analysis is performed on the mass spectrum data obtained from each minute region in the measurement region of one sample, and the score value for each minute region in one representative principal component obtained by the principal component analysis is obtained.
  • the image may be a single MS imaging image. Of course, as long as one data value can be obtained for each minute region, various multivariate analysis methods other than the principal component analysis can be used.
  • the optical image creation unit 31 is an optical microscopic image in the measurement region corresponding to each of the designated plurality of MS imaging images, that is, the samples A and B are almost the same.
  • Optical image data constituting an optical microscopic image in the measurement region is read from the data storage unit 30 (step S2).
  • the optical image creation unit 31 may create an optical microscopic image from the read optical image data and display it on the screen of the display unit 5.
  • the optical image alignment processing unit 33 uses a predetermined algorithm so that the position, size, and shape of the same part are aligned in the optical microscopic image of the reference sample A and the optical microscopic image of the other sample B. Then, the optical microscopic image in the sample B is appropriately deformed to execute the image alignment process. It should be noted that the spatial resolution of the plurality of images to be subjected to the alignment processing, in this case, when the pixel size of the optical microscopic image is not uniform, the pixel size in the other image is the same as the pixel size in the reference image. Interpolation processing or binning processing may be executed so that the values match.
  • a cross-correlation function between different images is obtained for the pixel value of each pixel of each optical microscopic image, and the image is shifted by shifting the position of each pixel of the other image other than the reference image so that the cross-correlation is maximized.
  • a method of deforming can be adopted.
  • the pixel value in the optical microscopic image is a luminance value for any one of the three primary colors R, G, and B, or two or three of the three color components. It is preferable to use a value obtained by synthesizing the luminance values of the values according to a predetermined calculation formula.
  • affine transformation such as linear movement, rotation, enlargement / reduction, and shearing may be performed for each pixel.
  • the affine transformation is a linear deformation, but a non-linear deformation may be performed to deform the image with higher accuracy.
  • an image registration technique widely used in the medical field can be used as an alignment processing algorithm.
  • the MS imaging image creation unit 32 reads MS imaging data constituting the plurality of MS imaging images specified in step S1 from the data storage unit 30 (step S4).
  • the MS imaging image alignment processing unit 35 reads the image deformation information for alignment between the sample A and the sample B from the image deformation information storage unit 34, and uses the image change information, That is, image deformation processing for deforming the MS imaging image on the sample B is performed (step S5).
  • the spatial resolution of a plurality of MS imaging images to be processed that is, the size of the minute region is not uniform even during this alignment processing, the size of the minute region in the reference MS imaging image is changed. Interpolation processing or binning processing may be executed so that the sizes of the minute regions in the images of the images match.
  • each minute region in the image is appropriately moved or deformed based on the given image deformation information regardless of the pattern of the MS imaging image. If the accuracy of the image deformation information obtained in step S3 is high and the positional deviation between the optical microscopic image and the MS imaging image is negligible in each sample, the MS imaging images after the image deformation have almost the same part. The same position, size and shape. That is, alignment of a plurality of MS imaging images is realized with high accuracy by image processing.
  • the region-of-interest setting unit 36 displays the MS imaging image after the alignment in step S5 on the screen of the display unit 5 through the display processing unit 39, and on the MS imaging image of the reference sample A.
  • the designation of the region of interest is accepted (step S6).
  • the user operates a pointing device that is a part of the operation unit 4, and draws a frame of an arbitrary shape and size on the displayed MS imaging image.
  • the region-of-interest setting unit 36 recognizes the range surrounded by the frame on the MS imaging image as the region of interest.
  • FIG. 4 is a diagram illustrating an example of a relationship between a set region of interest and a minute region on the reference image. Since the reference image is not deformed, the minute regions are arranged in a grid.
  • the region-of-interest minute region determination unit 37 obtains a center point of each minute region that is rectangular, and determines whether the center point is within the region of interest. Then, a minute region whose center point is within the region of interest is extracted (step S7). In FIG.
  • the center point of each minute region is indicated by a circle, the center point included in the region of interest is shaded, and the center point not included in the region of interest is indicated by a white circle. Yes.
  • there are four central points included in the region of interest and four micro regions corresponding to these central points are regarded as micro regions included in this region of interest.
  • FIG. 5 is a diagram illustrating an example of a relationship between a set region of interest and a minute region on an MS imaging image that is not a reference image. As in this example, the shape of each minute region is not rectangular but distorted, and its arrangement is not an orderly lattice.
  • the region-of-interest minute region determination unit 37 obtains the center point of each minute region and determines whether the center point exists within the region of interest. Then, a minute region whose center point is within the region of interest is extracted.
  • the center point of each minute region is indicated by a square mark
  • the center point included in the region of interest is indicated by ⁇
  • the center point not included in the region of interest is indicated by ⁇ .
  • there are five central points included in the region of interest and five micro regions corresponding to these central points are regarded as micro regions included in this region of interest.
  • the range of the region of interest on the image is the same, but because the shape and arrangement of the micro region are different, the micro region included in the region of interest is different. It becomes.
  • the number is increased as compared with the minute regions included in the range of the region of interest on the reference image, but the number of minute regions may be decreased depending on the state of image deformation. In this way, when image deformation is performed for alignment of MS imaging images for a plurality of samples, a minute region included in a region of interest can be appropriately extracted on each image.
  • the analysis processing unit 38 performs predetermined multivariate analysis and hypothesis testing based on mass spectrum data corresponding to a plurality of micro regions extracted as included in a region of interest on a plurality of MS imaging images (step S8). And an analysis result is displayed on the display part 5 through the display process part 39 (step S9). Multivariate analysis and hypothesis testing based on mass spectrum data obtained for a minute region included in the range of the region of interest set by the user can be performed. As a result, highly accurate multivariate analysis and hypothesis testing can be performed.
  • FIG. 6 is a configuration diagram of a main part of the imaging mass spectrometer of the second embodiment
  • FIG. 7 is an explanatory diagram of a region of interest setting process in the imaging mass spectrometer of the second embodiment.
  • the imaging mass spectrometer of the second embodiment has substantially the same components as the imaging mass spectrometer of the first embodiment, but the point that the data processing unit 3 includes the center point data value interpolation calculation unit 301 is the first embodiment. And different.
  • the characteristic operation of the imaging mass spectrometer of the second embodiment will be described focusing on this difference.
  • steps S1 to S6 in the flowchart shown in FIG. 2, that is, the alignment of the image and the setting of the region of interest on the aligned image, are performed in the imaging mass spectrometer of the second embodiment. Is exactly the same as the imaging mass spectrometer of the first embodiment.
  • the region-of-interest minute region determination unit 37 determines whether or not the center point of each minute region that is rectangular exists within the region of interest on the reference image, and the center point is within the region of interest region. It is the same as in the first embodiment that a minute area existing in the inside is extracted.
  • the subsequent processing is different from that of the first embodiment.
  • FIG. 7 is a diagram illustrating an example of a relationship between a set region of interest and a minute region on an MS imaging image that is not a reference image.
  • the region-of-interest micro-region determination unit 37 assumes that rectangular micro-regions are arranged in an orderly manner in the same manner as the above-described reference image on the MS imaging image that is not the reference image (here, actually This is called a temporary micro area because the micro area does not exist.)
  • the center point of the temporary minute region is indicated by a circle.
  • the center point data value interpolation calculation unit 301 interpolates mass spectrum data in a temporary minute region in which the center point is included in the region of interest, and mass spectrum data in a plurality of image-modified minute regions near the center point. Calculated by Of course, when only a signal intensity value at a specific m / z value is required, only the signal intensity value may be calculated by interpolation processing. Further, when a calculated value such as a score value of a specific principal component in the principal component analysis is necessary, the calculated value may be obtained by interpolation processing.
  • the mass spectrum data in the temporary minute region having the center point P1 is interpolated based on the mass spectrum data in the minute region having the six center points Q1 to Q6 surrounding the center point. Is calculated by In this interpolation process, it is preferable to perform a calculation reflecting the difference in distance between the center point P1 and each of the center points Q1 to Q6.
  • mass spectrum data is obtained by interpolation processing for all temporary minute regions whose center point is included in the region of interest, and the result can be handled in the same way as the mass spectrum data of each minute region included in the region of interest in the reference image. That's fine.
  • interpolated value corresponding to the temporary micro area corresponding to the micro area on the reference MS imaging image is not obtained, but is different from both the reference MS imaging image and the non-standard MS imaging image.
  • An interpolated value for each temporary minute area in each MS imaging image may be obtained in accordance with the two-dimensional arrangement of the defined minute areas.
  • the score value of the principal component will be used as it is for multivariate analysis and hypothesis testing, but it is a numerical value used for multivariate analysis and hypothesis testing according to the area of the microregion included in the region of interest. May be weighted. That is, when the entire region is included in the region of interest, the weighting coefficient is set to 1, and when only a part of the region is included in the region of interest, it is included. It is preferable to determine a weighting coefficient according to the ratio of the area being used, and perform multivariate analysis or hypothesis testing according to the weighting coefficient. Thereby, analysis with higher accuracy becomes possible.
  • the image deformation information acquired by the alignment of the optical microscopic image is used for the alignment of the MS imaging image, but this is a distribution pattern observed on the MS imaging image. This is because sufficient alignment is often difficult. Therefore, when sufficient alignment is possible with distribution patterns observed on a plurality of MS imaging images, it is not necessary to use image deformation information acquired by alignment of optical microscopic images. The processing itself of steps S2 and S3 is not necessary.
  • the region of interest can be set on the reference image that has not been subjected to the deformation process.
  • the region of interest may be set on the deformed image.
  • the shape of the minute area is not rectangular due to the image deformation, if the image is created as it is based on the original data value of each minute area, the image may be distorted and unnatural. Therefore, without creating an image as it is based on the data value of each original minute area, the data value corresponding to the apparently minute rectangular area is obtained by interpolation similar to that described in the second embodiment, You may make it display the image produced based on this data value.
  • the imaging mass analyzer 1 and the optical microscope observation unit 2 are substantially integrated, and the optical microscope image and the MS imaging image of each sample correspond to each other almost accurately.
  • an optical microscope image and an MS imaging image are assumed. In many cases, the positional relationship between and does not correspond accurately. Therefore, in such an apparatus, in the data obtained for each sample, first, the image alignment process as described above is performed between the optical microscope image and the MS imaging image, and then between the sample A and the sample B. It is preferable to perform the image alignment process. Further, the image alignment between the optical microscope image and the MS imaging image may be performed on the sample A, and the image alignment between the MS imaging image on the sample B and the optical microscope image on the sample A may be performed.
  • the optical microscope image is displayed and the image is displayed.
  • the region of interest may be set above. In this case, the region of interest may be set by displaying the image after deforming the optical microscope image so as to match the MS imaging image as a reference.
  • the first and second embodiments are examples in which the imaging data processing apparatus according to the present invention is applied to an imaging mass spectrometer, but the apparatus and system to which the present invention is applicable are not limited thereto.
  • the imaging data to be processed according to the present invention includes various microscopes such as an optical microscope, a phase contrast microscope, and a confocal microscope, a Fourier transform infrared spectrophotometry (FTIR) imaging apparatus, a Raman spectroscopic imaging apparatus, and an electron beam microanalyzer.
  • FTIR Fourier transform infrared spectrophotometry
  • Raman spectroscopic imaging apparatus and an electron beam microanalyzer.
  • EPMA Fourier transform infrared spectrophotometry
  • the imaging data targeted for image alignment may be data obtained by different analysis methods.
  • image alignment is performed between MS imaging images or between an optical microscope image and an MS imaging image.
  • Image alignment may be performed between the spectral imaging image and the MS imaging image, and the region of interest may be set on any of the images.
  • the data processing described above may be applied to images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Plasma & Fusion (AREA)
  • Image Processing (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

データ処理部では、異なる試料からそれぞれ得られたＭＳイメージング画像上の同じ部位の位置や大きさが揃うように一方の画像を適宜変形させることで位置合わせが行われる（Ｓ１～Ｓ５）。位置合わせされた画像が表示部の画面上に表示され、基準となる画像上でユーザが関心領域を設定すると（Ｓ６）、基準となる画像及び基準でない画像それぞれにおいて、設定された関心領域の範囲内に中心点が含まれる微小領域が抽出される（Ｓ７）。画像変形された画像において各微小領域の形状は歪み、微小領域は整然とした格子状に配列されていないものの、関心領域の範囲内に中心点が含まれる微小領域がその関心領域の範囲内に含まれているとみなすことで、画像変形に拘わらず、関心領域に対応する適切な微小領域におけるデータ値に基づいた比較解析を行うことができる。

Description

イメージングデータ処理装置及びイメージングデータ処理プログラム
　本発明は、試料上の２次元的な測定領域内の多数の微小領域それぞれに対し所定の分析を実施することで得られたデータや該データを処理することでその微小領域毎に得られたデータを処理するイメージングデータ処理装置、及びコンピュータ上でその処理を実施するためのデータ処理プログラムに関し、さらに詳しくは、測定領域内の微小領域毎のデータに基づいて作成される画像上でユーザが特に着目すべき或いは観察するうえで重要である関心領域（ＲＯＩ＝Region Of Interest）を設定するためのイメージングデータ処理装置及びイメージングデータ処理プログラムに関する。
　質量分析イメージング法は、生体組織切片などの試料上の２次元的な測定領域内の複数の微小領域（測定点）に対しそれぞれ質量分析を行うことにより、特定の質量を有する物質の空間分布を調べる手法であり、創薬やバイオマーカ探索、各種疾病・疾患の原因究明などへの応用が鋭意進められている。質量分析イメージングを実施するための質量分析装置は一般にイメージング質量分析装置と呼ばれている（非特許文献１、２等参照）。
　イメージング質量分析装置では一般に、試料上の多数の微小領域それぞれについて所定の質量電荷比（m/z）範囲に亘るマススペクトルデータ（ｎが２以上であるＭＳnスペクトルデータを含む）が得られる。観察したい化合物由来のイオンのm/z値をユーザが指定すると、イメージング質量分析装置のデータ処理部では、各微小領域においてその指定されたm/z値に対応する信号強度値が抽出される。そして、その信号強度値をグレイスケールやカラースケールに従って可視化して微小領域の位置に対応付けた２次元画像（質量分析イメージング画像、以下「ＭＳイメージング画像」という）が作成され、表示部の画面上に表示される。
　近年、生体組織から切り出された試料についてこうしたイメージング質量分析装置を用いた観察を行うことで、生体中の様々な臓器や器官での化合物の分布の相違や病理部位と健常部位での化合物の分布の相違などを調べる研究が盛んに行われている。こうした測定や解析を行う際には、複数の試料間で特定の化合物の分布を比較したいような場合がしばしばある。例えば、医薬品の研究・開発の現場では、マウス等の実験動物の臓器から切り出した切片を試料とし、その臓器中の特定の部位に発生している病変組織の状態の変化を、薬物の投与の有無、投与した薬物の種類や量の相違、薬物投与後の経過時間などについて比較したい場合がよくある。こうした場合に、薬物投与の条件が異なるマウスから採取した同一の臓器の特定の化合物に対応するＭＳイメージング画像を比較すれば、光学的な顕微観察だけでは分からない病変組織の変化を把握することができる。
　また最近は、マウスの臓器から連続的にスライス状に切り出された複数の切片試料（以下「連続切片試料」という）に対してそれぞれイメージング質量分析を実施し、各切片試料における２次元的なＭＳイメージング画像を積み重ねることで３次元のＭＳイメージング画像を作成する試みも行われている（非特許文献３等参照）。
　上述したように異なる実験動物の同一臓器の同一部位からそれぞれ採取された試料に対して取得された質量分析イメージングデータを比較する場合、同一臓器の同一部位であっても個体差があるため、比較すべき部位の形状や大きさに或る程度の差異があることは避けられない。また、同じ個体の同一臓器から切り出された連続切片試料であっても、測定対象部位の形状や大きさが完全に同じではなく、通常は或る程度の差異がある。そのため、複数の試料に由来する質量分析イメージングデータの比較解析や連続切片試料に由来する質量分析イメージングデータを積み重ねる処理を行う際には、同じ部位の位置、大きさ、形状などができるだけ揃うようにＭＳイメージング画像の位置合わせを行う必要がある。
　従来は、オペレータが位置合わせ対象である複数のＭＳイメージング画像を表示画面上で確認しながら、移動、回転、拡大・縮小、非線形変形などの画像変形処理を手作業で行うことで位置合わせを行うのが一般的であった。しかしながら、こうした作業はたいへんに手間が掛かり効率が低い。また、そもそも、ＭＳイメージング画像は或る質量を有する化合物由来のイオンの強度分布、つまりは存在量の分布を示すものであり、必ずしも或る部位や組織構造の輪郭や境界を示しているとは限らないため、ＭＳイメージング画像同士で正確な位置合わせを行うのは困難であった。
　これに対し、特許文献１、非特許文献４などには、比較解析や重合せ処理の対象である複数のＭＳイメージング画像を変形させることで、同一であると推定される部位同士の位置、大きさ、形状などが合うように位置合わせを行う手法が開示されている。
　しかしながら、こうした方法を用いて複数の画像のうちの一つ又は複数を変形させて位置合わせを行っても、次のような問題があった。
　複数のＭＳイメージング画像同士を比較する場合、画像内の一部の領域のみが着目すべき領域であることが多い。そこで、ユーザ（オペレータ）は位置合わせが行われたあとの一つのＭＳイメージング画像上で、適宜の大きさ及び範囲の一又は複数の関心領域（ＲＯＩ）を設定し、その関心領域に含まれる微小領域におけるマススペクトルデータを用いて主成分分析、最小二乗回帰分析、判別分析などの多変量解析を行ったり、仮説検定による解析を行ったりすることがよくある。こうした解析を精度良く行うには、或る一つの試料についてのＭＳイメージング画像上で設定された関心領域と同じ範囲の関心領域が、他の試料についてのＭＳイメージング画像上でも正確に設定されることが重要である。こうした関心領域の自動設定を行う手法として、特許文献２に記載の方法が知られている。
　この特許文献２に記載の方法では、画像の位置合わせが移動、回転等の比較的単純な変形によって行われている場合、適切な関心領域を他の試料についてのＭＳイメージング画像上で設定することができる。ところが、特に試料が生体組織切片であるような場合、位置合わせが行われると画像がかなり複雑に変形する。そのため、複数のＭＳイメージング画像において見かけ上、関心領域の位置、大きさ、形状などがほぼ揃っていたとしても、微小領域に対応する画素単位では必ずしも正確に、ユーザにより設定された関心領域に対応する画素が、自動的に設定された関心領域に含まれているとは限らない。そのため、関心領域に含まれる画素におけるマススペクトルデータに基づき多変量解析や仮説検定を行うと、実際には関心領域から外れる微小領域におけるデータを解析に使用してしまって解析の精度を低下させる可能性があった。
　また上記のような問題は質量分析イメージングに限らず、ラマン分光イメージングや赤外分光イメージングなど、他の測定手法や観察手法で得られたイメージングデータを用いた比較解析や差異解析などを行う際でも同様である。
特開２００９－２５２７５号公報 国際公開第２０１４／０７６７８９号パンフレット
「iMScope TRIO イメージング質量顕微鏡」、［online］、［平成３０年３月２８日検索］、株式会社島津製作所、インターネット＜URL: http://www.an.shimadzu.co.jp/bio/imscope/＞ 緒方是嗣、ほか８名、「イメージング質量顕微鏡iMScopeによるメタボローム解析」イメージング質量顕微鏡」、島津評論編集部、島津評論、第７０巻、第３・４号、２０１４年３月３１日発行 ハーレ（Dominic. J. Hare）、ほか７名、「スリー-デキメンジョナル・アトラス・オブ・アイアン、カッパー、アンド・ジンク・イン・ザ・マウス・セリーブラム・アンド・ブレインステン（Three-Dimensional Atlas of Iron, Copper, and Zinc in the Mouse Cerebrum and Brainsten）」、アナリティカル・ケミストリ（Analytical Chemistry）、2012年、Vol.84、pp.3990-3997 アブデルモーラ（Walid M. Abdelmoula）、ほか９名、「オートマティック・レジストレーション・オブ・マス・スペクトロメトリー・イメージング・データ・セッツ・トゥー・ザ・アレン・ブレイン・アトラス（Automatic Registration of Mass Spectrometry Imaging Data Sets to the Allen Brain Atlas）」、アナリティカル・ケミストリ（Analytical Chemistry）、2014年、Vol.86、pp.3947-3954
　本発明は上記課題に鑑みて成されたものであり、その目的とするところは、例えば異なる試料からそれぞれ得られた複数の質量分析イメージングデータ等のイメージングデータの比較解析や差異解析などを行うべくイメージングデータに基づく画像上で関心領域を設定する際に、各試料にそれぞれ対応する画像上で正確に関心領域を設定することができるイメージングデータ処理装置及びイメージングデータ処理プログラムを提供することにある。
　上記課題を解決するために成された本発明に係る第１の態様のイメージングデータ処理装置は、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
　b)前記画像位置合わせ処理部において基準とされた画像上又は前記画像位置合わせ処理部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付部と、
　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、該画像位置合わせ処理部による処理の際に移動された微小領域の中心点が前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域が該関心領域に含まれる微小領域であるとみなすことにより、各画像において関心領域に含まれる微小領域を決定する関心領域対応微小領域決定部と、
　を備えることを特徴としている。
　上記課題を解決するために成された本発明に係る第１の態様のイメージングデータ処理プログラムは、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
　b)前記画像位置合わせ処理機能部において基準とされた画像上又は前記画像位置合わせ処理機能部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付機能部と、
　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、該画像位置合わせ処理機能部による処理の際に移動された微小領域の中心点が前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域が該関心領域に含まれる微小領域であるとみなすことにより、各画像において関心領域に含まれる微小領域を決定する関心領域対応微小領域決定機能部と、
　して動作させることを特徴としている。
　本発明による処理対象のイメージングデータは、イメージング質量分析装置を始め、光学顕微鏡、位相差顕微鏡、共焦点顕微鏡といった各種の顕微鏡、フーリエ変換赤外分光光度測定イメージング装置、ラマン分光イメージング装置、電子線マイクロアナライザなどにより得られた、試料上の２次元的な測定領域内の複数の微小領域それぞれにおけるデータとすることができる。画像位置合わせを行う対象のイメージングデータは同じ分析又は観察手法で得られたものでもよいし、また異なる分析又は観察手法で得られたものでもよい。
　また、いずれのイメージングデータを処理対象とする場合でも、画像位置合わせ処理部は一つの微小領域当たり一つのデータ値（例えば信号強度値）を画像位置合わせに利用する。したがって、例えば光学顕微鏡などのように一つの微小領域（画素）当たりカラーの三原色であるＲ、Ｇ、Ｂ等の複数の成分についてのデータ値が存在する場合には、画像の特徴を最も良く表す一つの成分のデータ値を選択するか、或いは、それら複数の成分を一つに合成した成分のデータ値を用いる。また、イメージング質量分析装置やフーリエ変換赤外分光光度測定イメージング装置のように一つの微小領域当たり多数の成分（質量電荷比、波長）についてのデータ値が存在する場合にも、その中の一つの成分のデータ値を選択するか、或いは、微小領域毎に主成分分析などの多変量解析を実行し、代表的な主成分のスコア値などをその微小領域のデータ値として用いるとよい。
　本発明に係る第１の態様のイメージングデータ処理装置において、例えば二つの試料をそれぞれイメージング質量分析装置で測定することにより得られたイメージング質量分析データが処理対象である場合、画像位置合わせ処理部は、一つの試料についての上述したように特徴的な一つの成分である質量電荷比におけるデータ値（信号強度値）に基づいて生成された画像、つまりはＭＳイメージング画像を基準とし、他の一つの試料についての同じ質量電荷比におけるＭＳイメージング画像を変形させる処理を行うことで、同じ部位が一致するように画像の位置合わせを行う。この画像の変形の際には例えば、平行移動、回転、拡大縮小などの線形なアフィン変換、B-spline法などの非線形変換を用いることができる。いずれの場合でも、画像のパターンを一致させるために一方の画像を変形させる際に、画像を構成する各微小領域の位置が移動することになる。
　なお、ＭＳイメージング画像同士の位置合わせを行う場合でも、その位置合わせを行うための画像の変形情報は必ずしもＭＳイメージング画像から求めなくてもよい。ＭＳイメージング画像は一般に特定の質量を有する化合物の分布を示す画像であるため、例えば特定の生体組織中の或る部位の輪郭を正確に表さないことがある。画像の位置合わせは試料の外形的特徴（言い換えれば視覚的特徴）が明瞭である画像のほうが実施し易く且つ位置合わせの正確性も高い。そこで、イメージング質量分析データと併せて同じ試料についての光学顕微画像が得られる場合には、光学顕微画像を用いて位置合わせのための画像の変形情報を取得し、その取得した変形情報を利用してＭＳイメージング画像を変形させるようにしてもよい。
　関心領域設定受付部は、画像位置合わせ処理部において基準とされた画像つまりは変形がなされていない画像、又は変形された画像の一つを表示部の画面上に表示し、その画像上でユーザに関心領域を設定させる。上述したように光学顕微画像を用いて位置合わせのための画像の変形情報を取得し、その変形情報に基づいてＭＳイメージング画像等を変形させる場合には、元の光学顕微画像を基準とされた画像とみなし、これを関心領域の設定に用いるようにしても構わない。なお、関心領域設定受付部は例えば、ユーザがマウス等のポインティングデバイスを操作することで画像上で指示した範囲を関心領域であると認識すればよい。
　上記基準の画像は画像位置合わせ処理部において変形がなされていないので、画像を構成する各微小領域の位置は測定時と同じである。これに対し、この基準とされた画像以外の画像は、画像位置合わせ処理部において画像が変形された際に微小領域が移動している可能性がある。そこで、本発明の第１の態様に係る装置において、関心領域対応微小領域決定部は、基準画像や変形処理後の画像を含む全ての比較対象の画像において、関心領域が設定された画像上の関心領域と同じ位置に関心領域を定め、その関心領域の枠内に、中心点が存在する微小領域をその関心領域に含まれる微小領域であるとみなす。仮に、画像変形処理による微小領域の移動がなければ、各微小領域の中心点も移動しないから、各画像上の関心領域の枠内に含まれる微小領域は関心領域が設定された画像のそれと全く同一である。一方、画像変形処理によって微小領域が大きく移動している場合には、関心領域が設定された画像以外の画像において、関心領域が設定された画像では関心領域に含まれない微小領域の中心点が、関心領域の枠内に存在する可能性がある。その場合には、関心領域に含まれる微小領域は関心領域が設定された画像のそれとは少なくとも一部が異なることになる。
　このようにして本発明に係る第１の態様では、画像の位置合わせの際の画像変形処理のために、イメージングデータが得られた各微小領域の位置が画像上で移動してしまっている場合であっても、ユーザが設定した関心領域に含まれる微小領域を正確に抽出することができる。こうして、変形処理がなされた画像を含めた全ての比較解析や差異解析対象の画像において、ユーザが設定した関心領域に正確に含まれる微小領域において得られたデータに基づく多変量解析や仮説検定を行うことができる。
　また上記課題を解決するために成された本発明に係る第２の態様のイメージングデータ処理装置は、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
　b)前記画像位置合わせ処理部において基準とされた画像上又は前記画像位置合わせ処理部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付部と、
　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、前記関心領域設定受付部により設定された関心領域に相当する関心領域の枠内では、前記関心領域が設定された画像上で前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を前記関心領域が設定された画像を除く他の画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算部と、
　を備えることを特徴としている。
　また上記課題を解決するために成された本発明に係る第２の態様のイメージングデータ処理プログラムは、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
　b)前記画像位置合わせ処理機能部において基準とされた画像上又は前記画像位置合わせ処理機能部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付機能部と、
　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、前記関心領域設定受付機能部により設定された関心領域に相当する関心領域の枠内では、前記関心領域が設定された画像上で前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理機能部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を前記関心領域が設定された画像を除く他の画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算機能部と、
　して動作させることを特徴としている。
　本発明の第２の態様において、画像位置合わせ処理部及び関心領域設定受付部による処理は第１の態様と全く同じである。基準画像上又は変形後の一つの画像上で関心領域が設定されると、本発明の第２の態様において関心領域内データ値演算部は、その関心領域が設定された画像以外の他の画像上で、関心領域設定受付部により設定された関心領域に相当する関心領域に含まれる仮想的な微小領域におけるデータ値を補間演算により算出する。ここで「仮想的な微小領域」と呼ぶのは、通常、実際の微小領域は画像変形の際に移動しているため、関心領域が設定された画像上の微小領域の位置と他の画像上の微小領域と位置とは同じでない可能性が高いものの、微小領域が移動していないものとみなしたときの、つまりは関心領域が設定された画像と同じ位置にあるとしたときの微小領域であるからである。
　具体的に関心領域内データ値演算部は例えば、関心領域内の仮想的な微小領域の中心点の位置におけるデータ値を、画像変形によって移動した状態にある複数の微小領域の中心点の位置におけるデータ値に基づく補間処理によって算出する。その補間処理の手法は特に問わず、また、或る一つの微小領域の中心点の位置におけるデータ値を求めるために、その周囲の移動した状態にある微小領域におけるデータ値を何個用いるかも特に問わない。ただし、画像変形によって移動した状態にある複数の微小領域の中心点は直線上に並んでいない可能性が高く、また等間隔でない可能性も高いから、そうした条件の下でも高い精度で補間が可能な手法を用いることが望ましい。こうして関心領域内データ値演算部は、関心領域が設定された画像を除く他の各画像上で、関心領域内の仮想的な微小領域の中心点の位置におけるデータ値を補間処理により求める。そして、関心領域の枠内に、中心点が存在する仮の微小領域をその関心領域に含まれる微小領域であるとみなす。なお、関心領域が設定された画像については単に、関心領域の枠内に中心点が存在する微小領域をその関心領域に含まれる微小領域であるとすればよい。
　このようにして本発明に係る第２の態様においても、画像の位置合わせの際の画像変形のために、イメージングデータが得られた各微小領域の位置が画像上で移動してしまっている場合であっても、ユーザが設定した関心領域に含まれる微小領域を正確に抽出することができる。こうして、変形処理がなされた画像を含めた全ての比較解析や差異解析対象の画像において、ユーザが設定した関心領域に正確に含まれる微小領域において得られたデータに基づく多変量解析や仮説検定を行うことができる。
　また、画像位置合わせ処理部で変形処理された画像上で関心領域を設定する場合、変形により微小領域の形状が矩形状でなくなると、その画像をそのまま表示部の画面上に表示することは難しい場合がある。そこで、その場合には、変更後の各微小領域のデータ値に基づく補間処理を行うことで、見かけ上、各微小領域の形状を矩形状に整形した画像を表示し、その画像上で関心領域の設定が行えるようにするとよい。
　即ち、上記課題を解決するために成された本発明に係る第３の態様のイメージングデータ処理装置は、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
　b)前記画像位置合わせ処理部において変形された画像の中でユーザにより選択された一つの画像を所定の微小範囲に区切り、各微小領域の中心点に対応するデータ値を、前記画像位置合わせ処理部による変形処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、該補間処理により算出されたデータ値に基づく画像を表示して該画像上でユーザに関心領域を設定させる関心領域設定受付部と、
　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、少なくとも前記画像位置合わせ処理部により変形処理がなされた画像については画像毎に、前記関心領域設定受付部により設定された関心領域に相当する関心領域の枠内において、前記関心領域が設定された画像上で前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を各画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算部と、
　を備えることを特徴としている。
　また、本発明に係る第３の態様のイメージングデータ処理プログラムは、試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
　b)前記画像位置合わせ処理機能部において変形された画像の中でユーザにより選択された一つの画像を所定の微小範囲に区切り、各微小領域の中心点に対応するデータ値を、前記画像位置合わせ処理機能部による変形処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、該補間処理により算出されたデータ値に基づく画像を表示して該画像上でユーザに関心領域を設定させる関心領域設定受付機能部と、
　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、少なくとも前記画像位置合わせ処理機能部により変形処理がなされた画像については画像毎に、前記関心領域設定受付機能部により設定された関心領域に相当する関心領域の枠内において、前記関心領域が設定された画像上で前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理機能部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を各画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算機能部と、
　して動作させることを特徴としている。
　なお、本発明に係る第１乃至第３の態様のいずれにおいても、関心領域に含まれる（或いは含まれるとみなせる）微小領域に対応するデータ値に基づいて多変量解析や仮説検定、或いはより単純な平均値等の演算処理を行う場合、関心領域内に微小領域全体ではなく微小領域が部分的に含まれているときにその含まれている面積の割合に応じた重みをデータ値に乗じて演算処理を行うようにしてもよい。即ち、例えば関心領域内にその全体が含まれる微小領域に対応するデータ値については重み付けを１とし、関心領域内に面積の１／２のみが含まれる微小領域に対応するデータ値については重み付けを１／２として演算処理を行うようにすればよい。
　こうした処理によれば、多変量解析や仮説検定、或いはより単純な平均値等の演算処理の結果に基づく比較解析や差異解析の精度を向上させることができる。
　本発明に係るイメージングデータ処理装置及びイメージングデータ処理プログラムによれば、例えば比較解析や差異解析を行いたい複数の試料由来の画像上で関心領域を設定する際に、ユーザが一つの画像上で関心領域を設定することで、他の試料における画像上でもほぼ同じ部位に対応する関心領域を微小領域の単位で以て正確に設定することができる。それにより、それぞれの画像上の関心領域に含まれる微小領域におけるデータ値を用いた比較解析や差異解析などの精度を向上させることができる。
本発明に係るイメージングデータ処理装置を用いた第１実施例のイメージング質量分析装置の要部の構成図。 第１実施例のイメージング質量分析装置における特徴的な関心領域設定処理を含む解析手順のフローチャート。 第１実施例のイメージング質量分析装置における複数のＭＳイメージング画像の位置合わせ処理を説明するための概念図。 第１実施例のイメージング質量分析装置における関心領域設定処理の説明図。 第１実施例のイメージング質量分析装置における関心領域設定処理の説明図。 本発明に係るイメージングデータ処理装置を用いた第２実施例のイメージング質量分析装置の要部の構成図。 第２実施例のイメージング質量分析装置における関心領域設定処理の説明図。
　　［第１実施例］
　以下、本発明に係るイメージングデータ処理装置を用いたイメージング質量分析装置の一実施例について、添付図面を参照して説明する。
　図１は第１実施例のイメージング質量分析装置の要部の構成図である。本装置は、イメージング質量分析部１と、光学顕微観察部２と、データ処理部３と、操作部４と、表示部５と、を備える。
　イメージング質量分析部１は例えばマトリクス支援レーザ脱離イオン化イオントラップ飛行時間型質量分析装置（ＭＡＬＤＩ－ＩＴ－ＴＯＦＭＳ）を含み、生体組織切片などの試料６上の２次元的な測定領域内の多数の測定点それぞれについてのマススペクトルデータ（又はｎが２以上のＭＳnスペクトルデータ）を取得する。光学顕微観察部２は同じ試料６上の少なくとも測定領域を含む範囲の光学顕微画像を取得するものである。
　データ処理部３は、イメージング質量分析部１で得られた測定点毎のマススペクトルデータ（以下、これをまとめてＭＳイメージングデータという）及び光学顕微観察部２で得られた光学画像データを受けて所定の処理を行う。データ処理部３は、データ格納部３０、光学画像作成部３１、ＭＳイメージング画像作成部３２、光学画像位置合わせ処理部３３、画像変形情報記憶部３４、ＭＳイメージング画像位置合わせ処理部３５、関心領域設定部３６、関心領域内微小領域決定部３７、解析処理部３８、及び、表示処理部３９、を機能ブロックとして含む。
　なお、一般にデータ処理部３の実体はパーソナルコンピュータ（又はより高性能なワークステーション）であり、該コンピュータにインストールされた専用のソフトウェア（つまりはコンピュータプログラム）を該コンピュータ上で動作させることにより、上記各ブロックの機能が達成されるものとすることができる。
　なお、この実施例の装置では、非特許文献１に開示されている装置のように、イメージング質量分析部１と光学顕微観察部２とが一体化されており、装置の所定位置にセットされた試料６が自動的に又は手動操作に応じてイメージング質量分析部１による測定位置と光学顕微観察部２による撮像位置との間で移動する可能な装置である。ただし、必ずしもイメージング質量分析部１と光学顕微観察部２とが一体化されておらず、ユーザが手作業で試料６を搬送するものであってもよい。
　本実施例のイメージング質量分析装置において、一つの試料６についてＭＳイメージングデータと光学画像データとを取得する際には次のようにする。試料６はマウス等の実験動物の肝臓（又は他の臓器）から切り出された切片試料であるものとする。
　ユーザは、専用のプレート上に載置された、その表面にマトリクスを塗布していない試料６を装置の所定位置にセットし、操作部４で所定の操作を行う。すると、光学顕微観察部２がその試料６上の光学画像を撮影し、該画像を表示部５の画面上に表示する。ユーザはこの画像を確認して試料６上の測定領域を決定し、例えば操作部４により光学画像上で測定領域を囲む枠を設定することで測定領域を指示する。これにより、試料６上でイメージング質量分析を行う対象の測定領域が決まる。試料６の撮影により得られた光学画像データは測定領域の位置を特定する情報と共にデータ格納部３０に格納される。
　ユーザは上記試料６を載せたプレートを一旦装置から取り出し、試料６の表面に適宜のマトリクスを塗布したあと該プレートを装置に戻す。そして、操作部４により質量分析の実行を指示する。すると、イメージング質量分析部１は上記測定領域内を格子状に区切った多数の矩形状の微小領域についてそれぞれ質量分析を実行しマススペクトルデータを取得する。その結果、測定領域内の微小領域の数に相当するマススペクトルデータの集合、つまりＭＳイメージングデータが得られ、このデータがデータ格納部３０に格納される。一つの試料６についての光学画像データ及びＭＳイメージングデータは関連付けて又は同一ファイルに格納される。なお、ＭＡＬＤＩイオン源において試料６に照射されるレーザ光のスポット形状は略円形（又は略楕円形）であるため、厳密に言えば矩形状の微小領域に対応するマススペクトル情報が得られるわけではないが、各微小領域の中心点にほぼ合わせて所定径のレーザ光を照射して質量分析を行うことで、矩形状の微小領域に対応するマススペクトル情報が得られるものとみなす。
　比較解析を行う複数の試料、例えば癌を発症しているマウスの肝臓から切り出した切片試料と正常であるマウスの肝臓から切り出した切片試料とについて、上述したようにそれぞれイメージング質量分析部１による測定及び光学顕微観察部２における光学顕微観察を実施することで、ＭＳイメージングデータと光学画像データとをそれぞれ収集する。
　次に、上記のように収集されたデータに対してデータ処理部３において実行される特徴的なデータ処理について図２～図５を参照しつつ説明する。図２はこのデータ処理の手順を示すフローチャート、図３は複数のＭＳイメージング画像の位置合わせ処理を説明するための概念図、図４及び図５は関心領域設定処理の説明図である。
　ユーザは操作部４により解析処理対象である複数のＭＳイメージング画像を指定する（ステップＳ１）。具体的には、一つのＭＳイメージング画像は、試料を特定する情報（例えば複数の試料に付された連続番号）とm/値とにより指定可能である。三以上のＭＳイメージング画像を指定することも可能であるが、説明を簡単にするために、ここでは二つのＭＳイメージング画像が指定される場合を説明する。いま一例として、図３に示すように、試料Ａのm/z＝Ｍ1におけるＭＳイメージング画像と試料Ｂのm/z＝Ｍ1におけるＭＳイメージング画像とが解析処理対象として指定されたものとする。また、このとき、いずれの画像を基準とするのかも併せてユーザが指定するものとする。ここでは試料ＡのＭＳイメージング画像を基準としたものとする。
　なお、ステップＳ１では、一つのＭＳイメージング画像として一つの試料の特定のm/z値における信号強度分布を示す画像ではなく、m/z値全体、特定のm/z値範囲、又は特定の複数のm/z値における信号強度値に基づいて微小領域毎に一つずつ算出されたデータ値により構成される画像が指定されるようにしてよい。例えば、一つの試料の測定領域内の各微小領域から得られたマススペクトルデータに対し主成分分析を行い、それにより求まった代表的な一つの主成分における微小領域毎のスコア値により構成される画像を一つのＭＳイメージング画像としてもよい。もちろん、微小領域毎に一つのデータ値が得られるものであれば、主成分分析以外の様々な多変量解析法を用いることができる。
　ステップＳ１における上述したような画像の指定を受けて、光学画像作成部３１は指定された複数のＭＳイメージング画像にそれぞれ対応する測定領域内の光学顕微画像、つまりは試料Ａと試料Ｂのほぼ同じ測定領域内の光学顕微画像を構成する光学画像データをデータ格納部３０から読み出す（ステップＳ２）。なお、このとき、光学画像作成部３１は読み出された光学画像データから光学顕微画像を作成して表示部５の画面上に表示するようにしてもよい。
　次に、光学画像位置合わせ処理部３３は、基準とされた試料Ａにおける光学顕微画像と他方の試料Ｂにおける光学顕微画像とで同じ部位の位置や大きさ、形状が揃うように、所定のアルゴリズムに従って試料Ｂにおける光学顕微画像を適宜変形することで、画像の位置合わせ処理を実行する。なお、この位置合わせ処理対象の複数の画像の空間分解能、この場合には光学顕微画像の画素の大きさが揃っていない場合には、基準画像における画素の大きさに他の画像における画素の大きさが一致するように、補間処理又はビニング処理を実行するとよい。
　位置合わせ処理の際には様々なアルゴリズムを用いることができる。例えば、各光学顕微画像の各画素の画素値について異なる画像間での相互相関関数を求め、相互相関が最大になるように基準画像以外の他の画像の各画素の位置をずらすことにより画像を変形させる方法を採用することができる。ここで、光学顕微画像における画素値はカラーの三原色であるＲ、Ｇ、Ｂのうちのいずれかの色成分についての輝度値、又は、それら三つの色成分のうちの二つ若しくは三つの色成分についての輝度値を所定の計算式に従って合成した値を用いるとよい。
　画像上の各画素の位置をそれぞれずらすことで画像を変形する際には例えば、画素毎に、直線移動、回転、拡大・縮小、剪断などのアフィン変換を実施するとよい。また、アフィン変換は線形の変形であるが、より高い精度で画像を変形させるために非線形の変形を行ってもよい。具体的には、位置合わせ処理のアルゴリズムとして、例えば医療分野で広く利用されている画像レジストレーション技術を利用することができる。この処理によって、試料Ｂにおける光学顕微画像を試料Ａにおける光学顕微画像に合わせるための画像変形情報が得られるから、この画像変形情報を画像変形情報記憶部３４に保存する（ステップＳ３）。
　次に、ＭＳイメージング画像作成部３２はステップＳ１で指定された複数のＭＳイメージング画像を構成するＭＳイメージングデータをデータ格納部３０から読み出す（ステップＳ４）。そして、ＭＳイメージング画像位置合わせ処理部３５は、画像変形情報記憶部３４から試料Ａと試料Ｂとの位置合わせのための画像変形情報を読み出し、その画像変更情報を利用して、基準でないほう、つまりは試料ＢにおけるＭＳイメージング画像を変形させる画像変形処理を実施する（ステップＳ５）。なお、この位置合わせ処理の際にも対象とする複数のＭＳイメージング画像の空間分解能、つまり微小領域の大きさが揃っていない場合には、基準となるＭＳイメージング画像における微小領域の大きさに他の画像における微小領域の大きさが一致するように、補間処理又はビニング処理を実行するとよい。
　この位置合わせ処理では、ＭＳイメージング画像のパターンとは無関係に、与えられた画像変形情報に基づいて、該画像における各微小領域を適宜に移動させたり変形させたりする。ステップＳ３で求められた画像変形情報の精度が高く、各試料において光学顕微画像とＭＳイメージング画像とで位置のずれが無視できる程度であれば、画像変形後のＭＳイメージング画像同士は同じ部位がほぼ同じ位置、大きさ及び形状になる。即ち、画像加工処理によって複数のＭＳイメージング画像の位置合わせが高い精度で以て実現される。
　次に、関心領域設定部３６はステップＳ５で位置合わせが行われたあとのＭＳイメージング画像を表示処理部３９を通して表示部５の画面上に表示し、基準となる試料ＡにおけるＭＳイメージング画像上での関心領域の指定を受け付ける（ステップＳ６）。具体的には、ユーザが操作部４の一部であるポインティングデバイスを操作し、表示されているＭＳイメージング画像上に任意の形状、大きさの枠を描く。すると、関心領域設定部３６はそのＭＳイメージング画像上においてその枠で囲まれる範囲を関心領域として認識する。
　画像上には各微小領域の範囲が示されているわけではないから、ユーザにより設定される関心領域の範囲と各微小領域の境界とは全く無関係である。図４は、設定された関心領域と基準画像上の微小領域との関係の一例を示す図である。基準画像は変形が加えられていないので、微小領域は格子状に整然と配列されている。関心領域内微小領域決定部３７は、矩形状である各微小領域の中心点を求め、その中心点が関心領域の範囲内に存在するか否かを判定する。そして、中心点が関心領域の範囲内に存在する微小領域を抽出する（ステップＳ７）。図４では、各微小領域の中心点を丸印で示し、関心領域の範囲に含まれる中心点を網掛けした丸印で、関心領域の範囲に含まれない中心点を白い丸印で示している。この例では、関心領域の範囲に含まれる中心点は４個であり、それら中心点に対応する四つの微小領域がこの関心領域に含まれる微小領域であるとみなす。
　一方、上述したように画像の位置合わせが行われているので、基準画像でないＭＳイメージング画像上でも関心領域の位置（画像上での座標位置）は基準画像上と同じであるとすることができる。ただし、基準画像でないＭＳイメージング画像では画像変形によって各微小領域の位置や形状が整然とした格子状ではなくなっている可能性が高い。図５は、設定された関心領域と基準画像ではないＭＳイメージング画像上の微小領域との関係の一例を示す図である。この例のように各微小領域の形状は矩形状ではなく歪んでおり、その配置も整然とした格子状ではない。このようなＭＳイメージング画像についても、関心領域内微小領域決定部３７は、各微小領域の中心点を求め、その中心点が関心領域の範囲内に存在するか否かを判定する。そして、中心点が関心領域の範囲内に存在する微小領域を抽出する。図５では、各微小領域の中心点を四角印で示し、関心領域の範囲に含まれる中心点を■印で、関心領域の範囲に含まれない中心点を□印で示している。この例では、関心領域の範囲に含まれる中心点は５個であり、それら中心点に対応する五つの微小領域がこの関心領域に含まれる微小領域であるとみなす。
　図４と図５とを比較すれば分かるように、画像上の関心領域の範囲は同じであるが、微小領域の形状及び配置が異なるために、関心領域の範囲に含まれる微小領域が異なるものとなる。図５の例では、基準画像上の関心領域の範囲に含まれる微小領域よりも数が増加しているが、画像変形の状態によっては、微小領域の数が減少する場合もあり得る。このようにして複数の試料についてのＭＳイメージング画像の位置合わせのために画像変形がなされた場合に、各画像上で関心領域に含まれる微小領域を適切に抽出することができる。
　解析処理部３８は、複数のＭＳイメージング画像上の関心領域に含まれるとして抽出された複数の微小領域に対応するマススペクトルデータに基づく所定の多変量解析や仮説検定を行う（ステップＳ８）。そして、表示処理部３９を通して解析結果を表示部５に表示する（ステップＳ９）。ユーザにより設定された関心領域の範囲に含まれる微小領域に対して得られたマススペクトルデータに基づいた多変量解析や仮説検定を行うことができる。それにより、精度の高い多変量解析や仮説検定を行うことができる。
　　［第２実施例］
　本発明に係るイメージングデータ処理装置を用いたイメージング質量分析装置の別の実施例について、添付図面を参照して説明する。図６は第２実施例のイメージング質量分析装置の要部の構成図、図７は第２実施例のイメージング質量分析装置における関心領域設定処理の説明図である。
　図６において、図１に示した第１実施例のイメージング質量分析装置と同じ構成要素には同じ符号を付している。この第２実施例のイメージング質量分析装置は第１実施例のイメージング質量分析装置とほぼ同じ構成要素を有するが、データ処理部３が中心点データ値補間演算部３０１を有する点が第１実施例と相違する。この相違点を中心に、第２実施例のイメージング質量分析装置の特徴的な動作について説明する。
　図２に示したフローチャートの中でステップＳ１～Ｓ６の処理、つまりは画像の位置合わせや位置合わせされた画像上での関心領域の設定については、この第２実施例のイメージング質量分析装置における動作は第１実施例のイメージング質量分析装置と全く同じである。また、関心領域内微小領域決定部３７が、基準画像上で、矩形状である各微小領域の中心点が関心領域の範囲内に存在するか否かを判定し、中心点が関心領域の範囲内に存在する微小領域を抽出する、という点も第１実施例と同様である。第２実施例のイメージング質量分析装置では、それ以降の処理が第１実施例とは異なる。
　当然のことながら、この場合にも、基準画像でないＭＳイメージング画像では画像変形によって各微小領域の位置や形状が整然とした格子状ではなくなっている可能性が高い。図７は、設定された関心領域と基準画像ではないＭＳイメージング画像上の微小領域との関係の一例を示す図である。ここでは、関心領域内微小領域決定部３７は基準画像でないＭＳイメージング画像上においても上述したような基準画像と同じように整然と矩形状の微小領域が配列されているものとみなす（ここでは、実際にはその微小領域は存在しないので仮の微小領域と呼ぶ）。
　図７中に仮の微小領域の中心点を丸印で示す。中心点データ値補間演算部３０１は、関心領域に中心点が含まれる仮の微小領域におけるマススペクトルデータを、その中心点の付近にある画像変形された複数の微小領域におけるマススペクトルデータの補間処理によって算出する。もちろん、特定のm/z値における信号強度値のみが必要ある場合には、その信号強度値のみを補間処理により算出すればよい。また、主成分分析における特定の主成分のスコア値などの計算値が必要である場合には、その計算値を補間処理によって求めればよい。
　具体的には例えば、図７において、中心点Ｐ１を有する仮の微小領域におけるマススペクトルデータは、その中心点を取り囲む６個の中心点Ｑ１～Ｑ６を有する微小領域におけるマススペクトルデータに基づく補間処理により算出される。この補間処理の際には、中心点Ｐ１と中心点Ｑ１～Ｑ６それぞれとの距離の差異を反映した計算を行うとよい。同様にして、関心領域に中心点が含まれる全ての仮の微小領域についてマススペクトルデータを補間処理により求め、その結果を基準画像において関心領域に含まれる各微小領域のマススペクトルデータと同等に扱えばよい。
　なお、基準としたＭＳイメージング画像上の微小領域に合わせた仮の微小領域に対応する補間値を求めるのではなく、基準としたＭＳイメージング画像や基準ではないＭＳイメージング画像のいずれとも異なる、全く別に定めた微小領域の２次元的な配列に合わせて各ＭＳイメージング画像における仮の微小領域毎の補間値を求めるようにしてもよい。
　また、上記実施例ではいずれも、関心領域の範囲内に中心点が存在する微小領域又は仮の微小領域について得られているマススペクトルデータ、特定のm/z値における信号強度値、或いは特定の主成分のスコア値などがそのまま多変量解析や仮説検定に利用されることになるが、関心領域の範囲内に含まれる微小領域の面積に応じて、多変量解析や仮説検定に利用される数値に重み付けを行うようにしてもよい。即ち、関心領域の範囲内に微小領域の全体が含まれている場合には重み付け係数を１にし、関心領域の範囲内に微小領域の一部のみが含まれている場合にはその含まれている面積の比率に応じた重み付け係数を決定し、その重み付け係数に応じた多変量解析や仮説検定の演算を行うとよい。これにより、より精度の高い解析が可能となる。
　　［各種変形例］
　上記第１、第２実施例では、ＭＳイメージング画像の位置合わせのために光学顕微画像の位置合わせにより取得した画像変形情報を用いたが、これはＭＳイメージング画像上で観測される分布のパターンでは十分な位置合わせが難しいことが多いためである。したがって、複数のＭＳイメージング画像上で観測される分布のパターンで十分な位置合わせが可能である場合には、あえて光学顕微画像の位置合わせにより取得した画像変形情報を用いる必要はないし、図２におけるステップＳ２、Ｓ３の処理自体が不要である。
　また上記第１、第２実施例では、変形処理がなされていない基準画像上で関心領域の設定を可能としていたが、変形された画像上で関心領域の設定を行えるようにしてもよい。ただし、画像変形によって微小領域の形状が矩形状でなくなるために、元の各微小領域のデータ値に基づいてそのまま画像を作成すると、画像が歪む等、不自然になる場合がある。そこで、元の各微小領域のデータ値に基づいてそのまま画像を作成せず、第２実施例で説明したのと同様の補間によって、見かけ上、矩形状の微小領域に対応するデータ値を求め、このデータ値に基づいて作成した画像を表示するようにしてもよい。
　また上記第１、第２実施例では、イメージング質量分析部１と光学顕微観察部２とが実質的に一体化されており、各試料の光学顕微鏡画像とＭＳイメージング画像とがほぼ正確に対応している（実質的な位置ずれがない）ことを想定しているが、イメージング質量分析部１と光学顕微観察部２とが一体となっていない装置の場合には、光学顕微鏡画像とＭＳイメージング画像との位置関係が正確に対応していないことが多い。そこで、こうした装置では、各試料について得られたデータにおいて、まず、光学顕微鏡画像とＭＳイメージング画像との間で上述したような画像位置合わせ処理を行い、その後、試料Ａと試料Ｂとの間での画像位置合わせ処理を行うとよい。また、試料Ａにおいて光学顕微鏡画像とＭＳイメージング画像との画像位置合わせを行い、さらに試料ＢのＭＳイメージング画像と試料Ａの光学顕微鏡画像との画像位置合わせを行ってもよい。
　このように光学顕微鏡画像をＭＳイメージング画像との位置関係が合っている場合、或いは、光学顕微鏡画像とＭＳイメージング画像とで画像位置合わせを行う場合には、光学顕微鏡画像を表示して、該画像上で関心領域の設定を行えるようにしてもよい。この場合、ＭＳイメージング画像を基準として、これに合うように光学顕微鏡画像を変形したうえで該画像を表示して関心領域を設定できるようにしてもよい。
　また、上記第１、第２実施例は本発明に係るイメージングデータ処理装置をイメージング質量分析装置に適用した例であるが、本発明が適用可能な装置、システムはこれに限らない。
　即ち、本発明による処理の対象のイメージングデータは、光学顕微鏡、位相差顕微鏡、共焦点顕微鏡といった各種の顕微鏡、フーリエ変換赤外分光光度測定（ＦＴＩＲ）イメージング装置、ラマン分光イメージング装置、電子線マイクロアナライザ（ＥＰＭＡ）などにより得られた、試料上の２次元的な測定領域内の複数の微小領域それぞれにおけるデータとすることができる。
　画像位置合わせの対象とするイメージングデータは、互いに異なる分析手法によるデータ同士でもよい。例えば、上記第１、第２実施例では、ＭＳイメージング画像同士や、光学顕微鏡画像とＭＳイメージング画像との間での画像位置合わせを行う例を示したが、同一試料に対して測定されたラマン分光イメージング画像とＭＳイメージング画像との間で画像位置合わせを行い、いずれかの画像上で関心領域の設定を行ってもよい。それ以外にも、同一試料に対し上記の複数のイメージング装置で測定を行うことで得られたイメージング画像同士や、複数の試料に対し上記の複数のイメージング装置で測定を行うことで得られたイメージング画像同士に対して上述したデータ処理を適用してもよい。
　さらにまた、上記実施例や変形例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜に変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
１…イメージング質量分析部
２…光学顕微観察部
３…データ処理部
３０…データ格納部
３１…光学画像作成部
３２…ＭＳイメージング画像作成部
３３…光学画像位置合わせ処理部
３４…画像変形情報記憶部
３５…ＭＳイメージング画像位置合わせ処理部
３６…関心領域設定部
３７…関心領域内微小領域決定部
３８…解析処理部
３９…表示処理部
３０１…中心点データ値補間演算部
４…操作部
５…表示部
６…試料

Claims (6)

  1. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
    　b)前記画像位置合わせ処理部において基準とされた画像上又は前記画像位置合わせ処理部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付部と、
    　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、該画像位置合わせ処理部による処理の際に移動された微小領域の中心点が前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域が該関心領域に含まれる微小領域であるとみなすことにより、各画像において関心領域に含まれる微小領域を決定する関心領域対応微小領域決定部と、
    　を備えることを特徴とするイメージングデータ処理装置。
  2. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
    　b)前記画像位置合わせ処理部において基準とされた画像上又は前記画像位置合わせ処理部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付部と、
    　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、前記関心領域設定受付部により設定された関心領域に相当する関心領域の枠内では、前記関心領域が設定された画像上で前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を前記関心領域が設定された画像を除く他の画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算部と、
    　を備えることを特徴とするイメージングデータ処理装置。
  3. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理装置において、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理部と、
    　b)前記画像位置合わせ処理部において変形された画像の中でユーザにより選択された一つの画像を所定の微小範囲に区切り、各微小領域の中心点に対応するデータ値を、前記画像位置合わせ処理部による変形処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、該補間処理により算出されたデータ値に基づく画像を表示して該画像上でユーザに関心領域を設定させる関心領域設定受付部と、
    　c)前記画像位置合わせ処理部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付部において関心領域が設定された画像を除く他の画像において、少なくとも前記画像位置合わせ処理部により変形処理がなされた画像については画像毎に、前記関心領域設定受付部により設定された関心領域に相当する関心領域の枠内において、前記関心領域が設定された画像上で前記関心領域設定受付部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を各画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算部と、
    　を備えることを特徴とするイメージングデータ処理装置。
  4. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
    　b)前記画像位置合わせ処理機能部において基準とされた画像上又は前記画像位置合わせ処理機能部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付機能部と、
    　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、該画像位置合わせ処理機能部による処理の際に移動された微小領域の中心点が前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域が該関心領域に含まれる微小領域であるとみなすことにより、各画像において関心領域に含まれる微小領域を決定する関心領域対応微小領域決定機能部と、
    　して動作させることを特徴とするイメージングデータ処理用プログラム。
  5. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
    　b)前記画像位置合わせ処理機能部において基準とされた画像上又は前記画像位置合わせ処理機能部において変形された画像の中の一つの画像上で、ユーザに関心領域を設定させる関心領域設定受付機能部と、
    　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、前記関心領域設定受付機能部により設定された関心領域に相当する関心領域の枠内では、前記関心領域が設定された画像上で前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理機能部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を前記関心領域が設定された画像を除く他の画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算機能部と、
    　して動作させることを特徴とするイメージングデータ処理用プログラム。
  6. 　試料上の２次元的な測定領域内の複数の微小領域においてそれぞれ所定の分析又は観察を行うことで得られたデータの集合であるイメージングデータを処理するものであり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られたイメージングデータ、又は、観察対象である部位が同じである一つの試料について異なる分析又は観察手法で得られた若しくは異なるパラメータの下で得られたイメージングデータを処理するイメージングデータ処理プログラムであって、コンピュータを、
    　a)処理対象である複数のイメージングデータに基づいて生成された複数の画像の中の一つを基準として、それぞれ得られた一又は複数の試料について同じ又は互いに類似している部位が一致するように、前記基準とされた画像以外の他の画像における各微小領域の位置の移動を伴う変形処理を行う画像位置合わせ処理機能部と、
    　b)前記画像位置合わせ処理機能部において変形された画像の中でユーザにより選択された一つの画像を所定の微小範囲に区切り、各微小領域の中心点に対応するデータ値を、前記画像位置合わせ処理機能部による変形処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、該補間処理により算出されたデータ値に基づく画像を表示して該画像上でユーザに関心領域を設定させる関心領域設定受付機能部と、
    　c)前記画像位置合わせ処理機能部による処理後の複数の画像及び基準とされた画像の中で前記関心領域設定受付機能部において関心領域が設定された画像を除く他の画像において、少なくとも前記画像位置合わせ処理機能部により変形処理がなされた画像については画像毎に、前記関心領域設定受付機能部により設定された関心領域に相当する関心領域の枠内において、前記関心領域が設定された画像上で前記関心領域設定受付機能部により設定された関心領域の枠内に存在する微小領域の中心点に対応する位置におけるデータ値を、前記画像位置合わせ処理機能部による処理の際に移動された複数の微小領域の中心点の位置におけるデータ値を用いた補間処理により算出し、その算出されたデータ値を各画像上の関心領域に含まれる仮想的な各微小領域のデータ値として採用する関心領域内データ値演算機能部と、
    　して動作させることを特徴とするイメージングデータ処理プログラム。
PCT/JP2018/013596 2018-03-30 2018-03-30 イメージングデータ処理装置及びイメージングデータ処理プログラム WO2019186999A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/013596 WO2019186999A1 (ja) 2018-03-30 2018-03-30 イメージングデータ処理装置及びイメージングデータ処理プログラム
CN201880091068.1A CN111837031B (zh) 2018-03-30 2018-03-30 成像数据处理装置以及成像数据处理程序
US16/964,522 US11636598B2 (en) 2018-03-30 2018-03-30 Imaging data processing apparatus and imaging data processing program to perform image alignment by deforming images such that imaged observation target sites coincide
JP2020508789A JP6927416B2 (ja) 2018-03-30 2018-03-30 イメージングデータ処理装置及びイメージングデータ処理プログラム
EP18912093.4A EP3779427A4 (en) 2018-03-30 2018-03-30 IMAGE DATA PROCESSING DEVICE AND IMAGE DATA PROCESSING PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013596 WO2019186999A1 (ja) 2018-03-30 2018-03-30 イメージングデータ処理装置及びイメージングデータ処理プログラム

Publications (1)

Publication Number Publication Date
WO2019186999A1 true WO2019186999A1 (ja) 2019-10-03

Family

ID=68059642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/013596 WO2019186999A1 (ja) 2018-03-30 2018-03-30 イメージングデータ処理装置及びイメージングデータ処理プログラム

Country Status (5)

Country Link
US (1) US11636598B2 (ja)
EP (1) EP3779427A4 (ja)
JP (1) JP6927416B2 (ja)
CN (1) CN111837031B (ja)
WO (1) WO2019186999A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113804745A (zh) * 2020-06-17 2021-12-17 株式会社岛津制作所 成像质量分析方法以及成像质量分析装置
US11469087B2 (en) 2020-03-23 2022-10-11 Shimadzu Corporation Imaging mass spectrometry system and analytical method using imaging mass spectrometry
US11709156B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved analytical analysis
US11709155B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved chromatography of metal interacting analytes
US11918936B2 (en) 2020-01-17 2024-03-05 Waters Technologies Corporation Performance and dynamic range for oligonucleotide bioanalysis through reduction of non specific binding

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
EP3779427A4 (en) * 2018-03-30 2021-04-14 Shimadzu Corporation IMAGE DATA PROCESSING DEVICE AND IMAGE DATA PROCESSING PROGRAM
LU100806B1 (en) * 2018-05-30 2019-12-02 Luxembourg Inst Science & Tech List Joint nanoscale three-dimensional imaging and chemical analysis

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025275A (ja) 2007-07-24 2009-02-05 Shimadzu Corp 質量分析装置
WO2014076789A1 (ja) 2012-11-15 2014-05-22 株式会社島津製作所 分析対象領域設定装置
WO2014197893A1 (en) * 2013-06-07 2014-12-11 Vanderbilt University Pathology interface system for mass spectrometry
WO2015181893A1 (ja) * 2014-05-27 2015-12-03 株式会社島津製作所 分析データ処理装置
JP2016022062A (ja) * 2014-07-17 2016-02-08 国立大学法人東北大学 眼科解析装置及び眼科撮影装置
WO2016090471A1 (en) * 2014-12-08 2016-06-16 University Health Network System and method for enhanced mass spectrometry imaging
WO2017002226A1 (ja) * 2015-07-01 2017-01-05 株式会社島津製作所 データ処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
EP2563206B1 (en) 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
JP5914092B2 (ja) * 2012-03-28 2016-05-11 オリンパス株式会社 画像処理システム及びそれを備えた顕微鏡システム
JP2013257282A (ja) * 2012-06-14 2013-12-26 Canon Inc 画像処理方法および装置
ES2767054T3 (es) * 2015-04-15 2020-06-16 Alcon Inc Un aparato para modelar estructuras oculares
JP2018040655A (ja) * 2016-09-07 2018-03-15 日本電子株式会社 質量分析用データ処理装置
JP6477833B2 (ja) * 2017-11-06 2019-03-06 株式会社島津製作所 データ処理装置
JP6927415B2 (ja) 2018-03-29 2021-08-25 株式会社島津製作所 イメージング質量分析におけるデータ処理方法及びデータ処理プログラム
US20200357122A1 (en) * 2018-03-30 2020-11-12 Shimadzu Corporation Data analysis device and data analysis system
EP3779427A4 (en) * 2018-03-30 2021-04-14 Shimadzu Corporation IMAGE DATA PROCESSING DEVICE AND IMAGE DATA PROCESSING PROGRAM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025275A (ja) 2007-07-24 2009-02-05 Shimadzu Corp 質量分析装置
WO2014076789A1 (ja) 2012-11-15 2014-05-22 株式会社島津製作所 分析対象領域設定装置
WO2014197893A1 (en) * 2013-06-07 2014-12-11 Vanderbilt University Pathology interface system for mass spectrometry
WO2015181893A1 (ja) * 2014-05-27 2015-12-03 株式会社島津製作所 分析データ処理装置
JP2016022062A (ja) * 2014-07-17 2016-02-08 国立大学法人東北大学 眼科解析装置及び眼科撮影装置
WO2016090471A1 (en) * 2014-12-08 2016-06-16 University Health Network System and method for enhanced mass spectrometry imaging
WO2017002226A1 (ja) * 2015-07-01 2017-01-05 株式会社島津製作所 データ処理装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"iMScope TRIO imaging mass microscope", 28 March 2018, SHIMADZU CORPORATION
DOMINIC. J. HARE: "Three-Dextmensional Atlas of Iron, Copper, and Zinc in the Mouse Cerebrum and Brainsten", ANALYTICAL CHEMISTRY, vol. 84, 2012, pages 3990 - 3997
KATSUJI OGATA: "Shimadzu Review", vol. 70, 31 March 2014, SHIMADZU REVIEW EDITORIAL DEPARTMENT, article "Metabolome Analysis by imaging mass microscope iMScope"
See also references of EP3779427A4
WALID M. ABDELMOULA: "Automatic Registration of Mass Spectrometry Imaging Data Sets to the Allen Brain Atlas", ANALYTICAL CHEMISTRY, vol. 86, 2014, pages 3947 - 3954, XP055231414, DOI: 10.1021/ac500148a

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709156B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved analytical analysis
US11709155B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved chromatography of metal interacting analytes
US11918936B2 (en) 2020-01-17 2024-03-05 Waters Technologies Corporation Performance and dynamic range for oligonucleotide bioanalysis through reduction of non specific binding
US11469087B2 (en) 2020-03-23 2022-10-11 Shimadzu Corporation Imaging mass spectrometry system and analytical method using imaging mass spectrometry
CN113804745A (zh) * 2020-06-17 2021-12-17 株式会社岛津制作所 成像质量分析方法以及成像质量分析装置
CN113804745B (zh) * 2020-06-17 2024-06-21 株式会社岛津制作所 成像质量分析方法以及成像质量分析装置

Also Published As

Publication number Publication date
CN111837031B (zh) 2024-01-12
US20210035299A1 (en) 2021-02-04
EP3779427A4 (en) 2021-04-14
CN111837031A (zh) 2020-10-27
EP3779427A1 (en) 2021-02-17
JP6927416B2 (ja) 2021-08-25
JPWO2019186999A1 (ja) 2020-12-03
US11636598B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
WO2019186999A1 (ja) イメージングデータ処理装置及びイメージングデータ処理プログラム
US11776799B2 (en) Data processing device
US7873478B2 (en) Mass spectrometric differentiation of tissue states
JP6908136B2 (ja) データ解析装置
JP6927415B2 (ja) イメージング質量分析におけるデータ処理方法及びデータ処理プログラム
JP7004073B2 (ja) イメージングデータ処理装置
WO2019150575A1 (ja) イメージング質量分析データ解析装置
WO2019150554A1 (ja) イメージング質量分析用データ処理装置
WO2020166007A1 (ja) イメージング質量分析装置
JP6477833B2 (ja) データ処理装置
US11861826B2 (en) Imaging data processing device
JP7001157B2 (ja) イメージング質量分析データ処理装置
WO2021095210A1 (ja) イメージング分析装置及びイメージングデータ解析方法
US20200357122A1 (en) Data analysis device and data analysis system
WO2019229899A1 (ja) イメージング質量分析データ処理装置
WO2019150553A1 (ja) イメージング質量分析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912093

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508789

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2018912093

Country of ref document: EP