WO2017061112A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
WO2017061112A1
WO2017061112A1 PCT/JP2016/004481 JP2016004481W WO2017061112A1 WO 2017061112 A1 WO2017061112 A1 WO 2017061112A1 JP 2016004481 W JP2016004481 W JP 2016004481W WO 2017061112 A1 WO2017061112 A1 WO 2017061112A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
bright spot
interest
luminance value
image processing
Prior art date
Application number
PCT/JP2016/004481
Other languages
English (en)
French (fr)
Inventor
靖之 祖父江
靖裕 間宮
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US15/739,840 priority Critical patent/US20180372636A1/en
Priority to JP2017544195A priority patent/JPWO2017061112A1/ja
Priority to EP16853268.7A priority patent/EP3361236A4/en
Priority to CN201680045821.4A priority patent/CN107850545A/zh
Publication of WO2017061112A1 publication Critical patent/WO2017061112A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to an image processing method and an image processing apparatus that extract a detection target in an observation image.
  • Detecting cells infected with pathogenic bacteria or cells having a predetermined protein is important in the fields of food and medicine.
  • the health condition of animals and plants can be known by examining the infection rate of pathogenic bacteria.
  • the infection rate of pathogenic bacteria is calculated using the number of pathogenic bacteria extracted and the number of cells. Therefore, in order to examine the infection rate of pathogenic bacteria, it is necessary to extract the number of cells in the observation image and the number of pathogenic bacteria in the cells.
  • the number of pathogenic bacteria in cells is extracted by image analysis of fluorescence observation images of pathogenic bacteria labeled with a fluorescent dye.
  • the number of cells is extracted, for example, by image analysis of fluorescence observation images of cells stained with a fluorescent dye different from the fluorescent dye that labels pathogenic bacteria.
  • the number of cells is extracted by image analysis of a bright field observation image of the cells.
  • Patent Document 1 and Patent Document 2 are known as prior art documents related to the present disclosure.
  • the image processing method of the present disclosure is an image processing method that extracts a bright spot indicating a detection target as an detected bright spot in an observation image including a bright spot, and defines a bright spot area including the bright spot with respect to the bright spot. Then, by defining a reference pixel around the bright spot area and evaluating the luminance value of the reference pixel, it is determined whether the bright spot area is included in the interested area. The bright spot area is included in the interested area. In this case, a bright spot included in the bright spot area is extracted as a detected bright spot.
  • the image processing apparatus of the present disclosure includes a storage unit that stores an observation image, and a processing unit that executes an image processing method on the observation image, and the processing unit includes an observation that includes a bright spot with respect to the bright spot.
  • the processing unit includes an observation that includes a bright spot with respect to the bright spot. Define an image, define a reference pixel around the bright spot area, and evaluate the luminance value of the reference pixel to determine whether the bright spot area is included in the interested area. If it is included, the image processing method for extracting the bright spot included in the bright spot area as the detected bright spot is executed.
  • the image processing method and the image processing apparatus according to the present disclosure can extract the detected bright spot in the observation image with high accuracy.
  • FIG. 1 is an image diagram of a fluorescence observation image in the present embodiment.
  • FIG. 2 is a block diagram illustrating the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram showing a flow of the image processing method in the present embodiment.
  • FIG. 4 is an image diagram showing an image processing method in the present embodiment.
  • FIG. 5 is a diagram illustrating an example of extraction of a bright spot region in the present embodiment.
  • FIG. 6A is a diagram illustrating an example of a bright spot region in the present embodiment.
  • FIG. 6B is a diagram showing another example of the bright spot region in the present embodiment.
  • FIG. 6C is a diagram showing another example of the bright spot region in the present embodiment.
  • FIG. 7 is a graph showing an example of a frequency distribution of luminance values of the fluorescence observation image in the present embodiment.
  • the fluorescent reagent for labeling a detection target such as a pathogen is specifically bound to the detection target.
  • the fluorescent reagent may bind nonspecifically to a substance other than the detection target.
  • the fluorescence emitted from the fluorescent reagent combined with something other than the detection target becomes noise on the fluorescence observation image. Noise causes an erroneous extraction of a detection target. Therefore, in order to accurately extract the detection target, the fluorescent bright spot in the observation image is in a region of interest (Region Of Interest) that means inside the cell, or a non-interest region (Non Region Of) that means outside the cell. It is important to determine whether it is in (Interest).
  • the conventional method cannot accurately extract the detection bright spot indicating the detection target in the observation image.
  • the image processing method in the present embodiment is used, for example, for analysis of a fluorescence observation image obtained by photographing a sample and a detection target included in the sample.
  • Specimens are collected from living organisms such as cells and tissues.
  • the cells are, for example, erythrocytes and IPS cells (Induced Pluripotent Stem Cells).
  • Examples of the detection target include parasites, viruses, proteins, and foreign substances existing inside the sample.
  • the sample is red blood cells and the detection target is a parasite.
  • Parasites are present inside red blood cells.
  • FIG. 1 is an image diagram of a fluorescence observation image 10 used in the image processing method of the present disclosure.
  • the fluorescence observation image 10 is an image obtained by photographing a sample including a detection target stained with a fluorescent reagent with a fluorescence detection apparatus.
  • the sample is specifically bound to the fluorescent reagent.
  • the fluorescent reagent is a fluorescent dye that binds to a sample, and includes a fluorescent dye that emits fluorescence with excitation light having a predetermined wavelength.
  • the fluorescent reagent includes, for example, an antigen that selectively binds to a protein specific to the sample. Thereby, the fluorescence detection apparatus can photograph only the sample.
  • the detection target is specifically bound to the fluorescent reagent.
  • the fluorescent reagent is a fluorescent dye that binds to the detection target, and includes a fluorescent dye that emits fluorescence with excitation light having a predetermined wavelength.
  • the wavelength of the excitation light for causing the fluorescent reagent that binds to the sample to fluoresce is different from the wavelength of the excitation light for causing the fluorescent reagent that binds to the detection target to fluoresce.
  • the fluorescence detection apparatus can image only the detection object.
  • the fluorescence detection apparatus includes an optical system that irradiates excitation light having two types of wavelengths.
  • the fluorescence observation image 10 is taken using excitation light having two types of wavelengths.
  • the fluorescence observation image 10 is an image obtained by superimposing images taken separately for each excitation light. Note that one of the images to be superimposed may be a transmitted light observation image using a phase difference or the like.
  • the transmitted light observation image is, for example, an image obtained by photographing a sample. In this case, the fluorescence observation image 10 is captured only with excitation light having one type of wavelength.
  • the fluorescence observation image 10 has an interest area 11 and a non-interest area 12.
  • the region of interest 11 is a region where a sample such as red blood cells is present.
  • the non-interest region 12 is a region other than the region of interest 11 in the fluorescence observation image 10. That is, the non-interest region 12 is a background region where no sample exists.
  • the fluorescence observation image 10 has a bright spot 13 generated by fluorescence emitted from the fluorescent reagent.
  • the bright spot 13 includes a detected bright spot 14 indicating a detection target object and a non-detection bright spot 15 indicating a non-detection target object.
  • the non-detection bright spot 15 is generated, for example, by fluorescence from the residue of the fluorescent reagent adsorbed on the detection plate into which the sample is placed.
  • the fluorescent reagent specifically binds only to the detection target and emits fluorescence.
  • the fluorescent reagent adsorbs nonspecifically at a place other than the detection target.
  • the bright spot 13 resulting from non-specific adsorption is not the detected bright spot 14 indicating the detection target. Therefore, the non-detected bright spot 15 becomes noise in observation. Therefore, the non-detection bright spot 15 needs to be excluded from the fluorescence observation image 10 using image processing.
  • the parasite that is the detection target exists in the red blood cells. Therefore, the detected bright spot 14 is the bright spot 13 existing in the region of interest 11. Further, the non-detection bright spot 15 which is detection noise is a bright spot 13 existing in the non-interesting region 12.
  • the image processing method according to the present disclosure is executed to extract the detected bright spots 14 from the plurality of bright spots 13 included in the fluorescence observation image 10.
  • the image processing method of the present disclosure is executed by, for example, the image processing device 30 illustrated in FIG.
  • the image processing apparatus 30 includes a storage unit 31 that stores the fluorescence observation image 10 and a processing unit 32 that executes an image processing method on the fluorescence observation image 10.
  • the processing unit 32 is a CPU that executes an image processing method based on a program.
  • the program is stored in, for example, the memory of the processing unit 32.
  • the program may be stored in the storage unit 31 or an external storage device.
  • the image processing apparatus 30 may include a display unit 33 that displays the number of detected detection bright spots 14, the number of samples, the calculated infection rate, and the like.
  • the display unit 33 is, for example, a display.
  • FIG. 3 is a diagram illustrating a flow of the image processing method.
  • FIG. 4 is a diagram schematically showing an image of the processing of the image processing method.
  • the image processing method is executed by the image processing apparatus 30 as an example.
  • step S01 the processing unit 32 acquires the fluorescence observation image 10 to which image processing is applied from the storage unit 31.
  • the plurality of pixels constituting the fluorescence observation image 10 have luminance value data corresponding to each pixel.
  • the luminance value of the pixel of the fluorescence observation image 10 decreases in the order of the luminance value of the pixel at the position of the detection target, the luminance value of the pixel at the background position, and the luminance value of the pixel at the position of the sample.
  • step S02 the processing unit 32 extracts all the bright spots 13 included in the fluorescence observation image 10. Thereafter, the processing unit 32 defines the bright spot region 16 from the extracted bright spots 13.
  • the bright spot 13 is a pixel group composed of a plurality of pixels having a luminance value equal to or higher than a predetermined threshold in the fluorescence observation image 10. Extraction of the bright spot 13 is performed, for example, by binarizing the fluorescence observation image 10 with a predetermined luminance value.
  • the predetermined threshold is, for example, a preset value, and is set to a value between the luminance value of the pixel indicating the non-interest region 12 and the luminance value of the pixel indicating the bright spot 13.
  • the extracted bright spot 13 includes both the detected bright spot 14 and the non-detected bright spot 15.
  • the extracted bright spot 13 is often an intricate shape because it is an aggregate of a plurality of pixels.
  • the luminescent spot 13 having a complicated shape may complicate the process of defining the reference pixel 17 in step S03 described later. Therefore, in order to simplify the processing in step S03, the processing unit 32 defines the bright spot region 16 from the extracted bright spots 13.
  • the bright spot area 16 is an area including the bright spot 13.
  • FIG. 5 is a diagram illustrating an example of extraction of the bright spot region 16.
  • the bright spot area 16 is, for example, a quadrangular area where the pixel group corresponding to the bright spot 13 is circumscribed, as indicated by a dotted line in FIG.
  • the bright spot region 16 may be defined as a region having a fixed shape such as a circle or a polygon circumscribing the bright spot 13.
  • the processing unit 32 can execute the processing after step S03 without using a complicated algorithm by defining the bright spot region 16 in a region having a predetermined shape.
  • step S03 the processing unit 32 defines pixels around the bright spot region 16 as reference pixels 17.
  • FIGS. 6A to 6C are diagrams showing an example in which the reference pixel 17 is arranged in the bright spot region 16.
  • a region surrounded by a dotted line 18 is an outline of the region of interest 11 where the sample exists. The state where the bright spot region 16 is arranged will be described later.
  • the reference pixel 17 is used to determine the location where the bright spot region 16 exists. Therefore, the reference pixel 17 is a pixel located in the vicinity of the bright spot region 16. The reference pixel 17 is adjacent to the bright spot region 16.
  • the reference pixels 17 are 8 pixels adjacent to the bright spot region 16.
  • the eight reference pixels 17 are provided in the middle of the four corners and four sides of the bright spot region 16.
  • a plurality of reference pixels 17 are defined around one bright spot region 16.
  • the position and number of the reference pixels 17 can be appropriately set according to the sample to be observed and the detection target.
  • the reference pixel 17 can be defined as a reference pixel with a plurality of adjacent pixels as a group of pixels.
  • the processing unit 32 evaluates the luminance value of the reference pixel 17 in step S04 to determine whether or not the bright spot region 16 is included in the region of interest 11 in step S05.
  • the evaluation of the luminance value of the reference pixel 17 is performed using an interest region determination standard that defines a range of luminance values indicating the region of interest 11.
  • the processing unit 32 determines that the reference pixel 17 is included in the region of interest 11. That is, the processing unit 32 determines that the bright spot region 16 is included in the region of interest 11.
  • the processing unit 32 determines that the reference pixel 17 is included in the non-interest region 12. That is, the processing unit 32 determines that the bright spot area 16 is included in the non-interest area 12.
  • the region-of-interest determination criterion defines a range of luminance values of pixels indicating the region of interest 11 in the fluorescence observation image 10. Below, the region of interest determination criterion will be described.
  • FIG. 7 is a graph showing an example of the frequency distribution of the luminance values of the fluorescence observation image 10.
  • the horizontal axis of the graph represents the luminance value.
  • the vertical axis of the graph represents the number of pixels of the luminance value. However, in FIG. 7, the luminance value indicating the bright spot 13 is not shown.
  • the graph showing the frequency distribution of the luminance values shown in FIG. 7 has a maximum value in each of the luminance value a and the luminance value b. Further, there is a luminance value c that takes a minimum value between the luminance value a and the luminance value b.
  • the luminance value c which is the boundary between the range A and the range B is a threshold value for dividing the fluorescence observation image 10 into the region of interest 11 and the region of non-interest 12.
  • the range A including the luminance value a means the region of interest 11.
  • a range B including the luminance value b means the non-interesting region 12.
  • the range A including the luminance value a means the non-interesting region 12.
  • a range B including the luminance value b means the region of interest 11.
  • the luminance value indicating the boundary between the region of interest 11 and the non-interest region 12 is, for example, a luminance value c that is a minimum value located between the luminance value a and the luminance value b.
  • the region of interest determination standard defines a range where the luminance value is larger than the luminance value c as the luminance value range indicating the region of interest 11. That is, the luminance value c indicates the lower limit of the luminance value indicating the region of interest 11 in the region of interest determination criterion.
  • the non-interest region determination criterion defines a range in which the luminance value is equal to or less than the luminance value c as the luminance value range indicating the non-interest region 12. That is, the luminance value c indicates the upper limit of the luminance value indicating the non-interest region 12 in the non-interest region determination criterion.
  • the region-of-interest determination criterion defines a range in which the luminance value is smaller than the luminance value c as a range of luminance values indicating the region of interest 11. That is, the luminance value c indicates the upper limit of the luminance value indicating the region of interest 11 in the region of interest determination criterion.
  • the non-interest region determination criterion defines a range in which the luminance value is equal to or greater than the luminance value c as a luminance value range indicating the non-interest region 12. That is, the luminance value c is the lower limit of the luminance value of the pixel in the non-interest region 12 in the non-interest region determination criterion. That is, the minimum value is defined as a boundary between the luminance value range in the region of interest 11 and the luminance value range in the non-interest region 12.
  • the processing unit 32 when the luminance value of the reference pixel 17 is compared with the region of interest determination standard and the luminance value of the reference pixel 17 matches the region of interest determination standard, the processing unit 32 is interested in the bright spot region 16 (reference pixel 17). It is determined that the area 11 exists. In addition, when the luminance value of the reference pixel 17 is compared with the non-interesting region determination standard and the luminance value of the reference pixel 17 matches the non-interesting region determination standard, the processing unit 32 performs the bright spot region 16 (reference pixel 17). Is present in the non-interesting region 12. However, the non-interest region determination criterion may not be used. For example, if the luminance value of the reference pixel 17 does not match the region of interest determination criterion, it can be determined that the reference pixel 17 exists in the non-interest region 12.
  • an upper limit value may be set for the range A.
  • the upper limit value is a value between the luminance value indicating the bright spot 13 and the luminance value c. By setting the upper limit value, it is possible to eliminate the influence of unnecessary noise. Therefore, the region of interest 11 can be specified with higher accuracy.
  • the lower limit value may be set for the range B.
  • the lower limit value it is possible to eliminate the influence of unnecessary noise. Therefore, the non-interest region 12 can be specified with higher accuracy.
  • the threshold value of the luminance value that separates the region of interest 11 and the non-interest region 12 may be, for example, the luminance value in the middle of the luminance value a and the luminance value b. Further, the threshold value of the luminance value may be set using other methods. For example, when the range of the luminance value indicating the region of interest 11 is known in advance, the region of interest determination criterion may set the range of the luminance value as the range of luminance value indicating the region of interest 11.
  • the range A may be, for example, a certain range from the luminance value a that is a maximum value.
  • the region-of-interest determination criterion may be a range of luminance values indicating the region of interest 11 that is a standard deviation centered on the maximum value of the luminance value a in the frequency distribution shown in FIG. The same applies to the range B.
  • the processing unit 32 determines that one bright spot area when the luminance value of one reference pixel 17 satisfies the region of interest determination criterion. 16 is determined to be included in the region of interest 11.
  • the processing unit 32 accounts for the proportion of the plurality of reference pixels 17 existing in the region of interest 11 in the plurality of reference pixels 17. If the predetermined condition is satisfied, it is determined that the one bright spot region 16 is included in the region of interest 11.
  • the predetermined condition is, for example, that more than half of the plurality of reference pixels 17 are present in the region of interest 11.
  • the predetermined condition is not limited to this.
  • the predetermined condition may be determined within a range where it can be determined that the bright spot 13 is included in the region of interest 11.
  • the predetermined condition may be that at least one-fourth or more of the defined reference pixels 17 are present in the region of interest 11.
  • step S05 If it is determined in step S05 that the bright spot region 16 is included in the region of interest 11, in step S06, the processing unit 32 detects the bright spot 13 included in the bright spot region 16 as a detection target included in the fluorescence observation image 10. It is extracted as a detected bright spot 14 indicating an object. If it is determined in step S ⁇ b> 05 that the bright spot region 16 is not included in the region of interest 11, the processing unit 32 does not extract the bright spot 13 included in the bright spot region 16 as the detected bright spot 14. That is, such a bright spot is determined as a non-detected bright spot 15 due to a residue of the fluorescent reagent included in the fluorescence observation image 10.
  • FIGS. 6A to 6C eight reference pixels 17 are defined around the bright spot region 16.
  • the predetermined condition for determining whether or not the bright spot region 16 is included in the region of interest 11 is whether or not half or more of the reference pixels 17 defined for the bright spot region 16 are present in the region of interest 11.
  • FIG. 6A is an enlarged observation image showing a case where the bright spot region 16 is present near the center of the region of interest 11.
  • all eight reference pixels 17 are present in the region of interest 11 surrounded by a dotted line. That is, more than half of the reference pixels 17 exist in the region of interest 11.
  • the bright spot 13 included in the bright spot area 16 defining the reference pixel 17 is determined to be the detected bright spot 14.
  • FIG. 6B is an enlarged observation image showing a case where the bright spot region 16 exists in the peripheral portion of the region of interest 11.
  • the bright spot area 16 exists in both the interest area 11 and the non-interest area 12.
  • the bright spot 13 included in the bright spot area 16 defining the reference pixel 17 is determined to be the detected bright spot 14.
  • FIG. 6C is an enlarged observation image showing a case where the bright spot region 16 does not exist in the region of interest 11.
  • all eight reference pixels 17 are present in the non-interesting region 12. That is, more than half of the reference pixels 17 do not exist in the region of interest 11.
  • the bright spot 13 included in the bright spot area 16 defining the reference pixel 17 is determined to be the non-detected bright spot 15.
  • the detection bright spot 14 indicating the detection target in the sample can be extracted from the plurality of bright spots 13 included in the fluorescence observation image 10.
  • the processing unit 32 may perform a process of smoothing the entire image on the fluorescence observation image 10 before step S02 of FIG. 3 or before calculating the distribution of luminance values.
  • a Gaussian mask or a bilateral mask is used for the smoothing process.
  • the process using the Gaussian mask is performed by using the luminance value of one pixel and the luminance value of the entire image using the luminance value of the pixel and the luminance value of surrounding pixels weighted by a Gaussian distribution according to the distance from the pixel. Is a process of smoothing.
  • the processing by the bilateral mask is performed on the luminance value of one pixel, the luminance value of the pixel, and the luminance value of surrounding pixels weighted by the Gaussian distribution in consideration of the distance from the pixel and the luminance value.
  • the image processing method and the image processing apparatus according to the present disclosure can accurately extract the detected bright spot 14 in the observation image, and can accurately detect the detection target.
  • the luminance value in the fluorescence observation image 10 has been described as being smaller in the order of the detection object, the sample, and the background, but the present invention is not limited to this.
  • the order of the luminance values is determined according to the method of acquiring the fluorescence observation image.
  • the luminance value in the fluorescence observation image 10 may be smaller in the order of the detection object, the background, and the sample.
  • the range A shown in FIG. 7 means a non-interesting region.
  • Range B means a region of interest. Therefore, the luminance value in the range B is used as the region of interest determination criterion.
  • the process of defining the bright spot area 16 with an area having a fixed shape is not necessarily performed.
  • a pixel group indicating the bright spot 13 may be defined as the bright spot area 16. That is, the pixel group corresponding to the bright spot 13 and the bright spot area 16 may be in the same range.
  • the reference pixel 17 can be selected, for example, from pixels adjacent to the pixel group corresponding to the bright spot 13 in the same manner as described above.
  • the predetermined condition for determining whether or not the bright spot region 16 is included in the region of interest 11 is that three or more adjacent reference pixels 17 among the reference pixels 17 around the bright spot region 16 are interested. It may be present in the region 11.
  • the adjacent reference pixel 17 means a continuous pixel among the reference pixels 17 arranged in order along the bright spot region 16.
  • the region of interest 11 is set as the region where the sample exists, and the detection bright spot 14 indicating the detection target existing in the sample is extracted.
  • the region of interest 11 can be set according to the region where the detection target exists. For example, by setting the region of interest 11 as outside the sample, a bright spot indicating a detection target existing outside the sample may be extracted.
  • the observation image is not limited to the fluorescence observation image.
  • the observation image may be an observation image that does not include fluorescence, for example.
  • the detection bright spot 14 included in the fluorescence observation image 10 has been described as being caused by the fluorescent sample combined with the detection target, but the present invention is not limited to this.
  • the detected bright spot 14 included in the observation image may be caused by self-emission emitted from the detection target.
  • the image processing method of the present disclosure is particularly useful for processing fluorescence observation images of cells and tissues.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本開示の画像処理方法は、観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、輝点に対して輝点を含む輝点領域を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれていると判定された場合に、輝点領域に含まれる輝点を検出輝点として抽出する画像処理方法である。

Description

画像処理方法および画像処理装置
　本開示は、観察画像内の検出対象物を抽出する画像処理方法および画像処理装置に関する。
　病原菌に感染した細胞、または、所定のタンパク質等を有する細胞を検出することは、食品や医療の分野などにおいて重要である。例えば、病原菌の感染率等を調べることにより、動植物の健康状態を知ることができる。病原菌の感染率は、抽出された病原菌の数および細胞の数を用いて計算される。したがって、病原菌の感染率を調べるためには、観察画像内の細胞の数と細胞内の病原菌の数とを抽出することが必要である。
　従来、細胞内の病原菌の数は、蛍光色素で標識した病原菌の蛍光観察画像を画像解析することにより抽出される。
　一方、細胞の数は、例えば、病原菌を標識する蛍光色素とは異なる蛍光色素で染色した細胞の蛍光観察画像を画像解析することにより抽出される。また、別の方法として、細胞の数は、細胞の明視野観察画像を画像解析することにより抽出される。
　なお、本開示に関連する先行技術文献は、例えば、特許文献１および特許文献２が知られている。
特開２０１３－５７６３１号公報 特開２００４－５４９５６号公報
　本開示の画像処理方法は、輝点を含む観察画像において検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、輝点に対して輝点を含む輝点領域を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより、輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれている場合に、前記輝点領域に含まれている輝点を検出輝点として抽出する方法である。
　また、本開示の画像処理装置は、観察画像を記憶する記憶部と、観察画像に対して画像処理方法を実行する処理部とを備え、処理部は、輝点に対して輝点を含む観察画像を定義し、輝点領域の周囲に参照画素を定義し、参照画素の輝度値を評価することにより、輝点領域が興味領域に含まれているかどうかを判定し、輝点領域が興味領域に含まれている場合に、前記輝点領域に含まれている輝点を検出輝点として抽出する画像処理方法を実行する。
　本開示の画像処理方法および画像処理装置は、観察画像中の検出輝点を精度良く抽出することができる。
図１は、本実施の形態における蛍光観察画像のイメージ図である。 図２は、本実施の形態における画像処理装置を示すブロック図である。 図３は、本実施の形態における画像処理方法のフローを示す図である。 図４は、本実施の形態における画像処理方法を示すイメージ図である。 図５は、本実施の形態における輝点領域の抽出の一例を示す図である。 図６Ａは、本実施の形態における輝点領域の一例を示す図である。 図６Ｂは、本実施の形態における輝点領域の別の例を示す図である。 図６Ｃは、本実施の形態における輝点領域の別の例を示す図である。 図７は、本実施の形態における蛍光観察画像の輝度値の度数分布の一例を示すグラフである。
　上述の画像処理方法において、病原菌等の検出対象物を標識する蛍光試薬は、検出対象物と特異的に結合することが望ましい。しかしながら、蛍光観察において、蛍光試薬は、検出対象物以外のものと非特異的に結合する場合がある。検出対象物以外のものと結合した蛍光試薬が発する蛍光は、蛍光観察画像上でノイズとなる。ノイズは、検出対象物の誤抽出の原因となる。そのため、検出対象物を正確に抽出するためには、観察画像内の蛍光輝点が細胞内を意味する興味領域（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）にあるか、細胞外を意味する非興味領域（Ｎｏｎ　Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）にあるかを判別することが重要である。
　しかしながら、従来の方法では、正確に蛍光輝点の位置を判別することは困難であった。そのため、従来の方法は、観察画像中の検出対象物を示す検出輝点を精度良く抽出できない。
　以下では、本開示の実施の形態に係る画像処理方法について、図面を参照しながら説明する。なお、本開示は、本明細書に記載された基本的な特徴に基づく限り、以下に記載の内容に限定されるものではない。
　（実施の形態）
　［概要］
　本実施の形態における画像処理方法は、例えば、試料と試料に含まれる検出対象物を撮影した蛍光観察画像の解析に用いられる。
　試料は、細胞や組織など生体からの採取物である。細胞は、例えば、赤血球やＩＰＳ細胞（Ｉｎｄｕｃｅｄ　Ｐｌｕｒｉｐｏｔｅｎｔ　Ｓｔｅｍ　Ｃｅｌｌｓ）などである。また、検出対象物とは、試料内部に存在する寄生虫、ウィルス、たんぱく質または異物などが挙げられる。
　本実施の形態においては、試料が赤血球であり、検出対象物が寄生虫である例について説明する。なお、寄生虫は、赤血球の内部に存在している。
　図１は、本開示の画像処理方法に用いる蛍光観察画像１０のイメージ図である。
　蛍光観察画像１０は、蛍光試薬で染色した検出対象物を含む試料を蛍光検出装置で撮影した画像である。
　試料は、蛍光試薬と特異的に結合している。蛍光試薬は、試料と結合する蛍光色素であって、所定の波長の励起光で蛍光を発する蛍光色素を含む。蛍光試薬は、例えば、試料に特有のタンパク質と選択的に結合する抗原等を含む。これにより、蛍光検出装置は、試料のみを撮影することができる。
　同様に、検出対象物は、蛍光試薬と特異的に結合している。蛍光試薬は、検出対象物と結合する蛍光色素であって、所定の波長の励起光で蛍光を発する蛍光色素を含む。なお、試料と結合する蛍光試薬を蛍光させるための励起光の波長は、検出対象物と結合する蛍光試薬を蛍光させるための励起光の波長と異なる。これにより、蛍光検出装置は、検出対象物のみを撮影することができる。蛍光検出装置は、２種類の波長の励起光を照射する光学系を備える。蛍光観察画像１０は、２種類の波長の励起光を用いて撮影される。
　蛍光観察画像１０は、励起光毎に別で撮影された画像を重ね合わせた画像である。なお、重ね合わせる画像の１枚は、位相差等を用いた透過光観察画像でもよい。透過光観察画像は、例えば、試料を撮影した画像である。この場合、蛍光観察画像１０は、１種類の波長の励起光のみで撮影される。
　蛍光観察画像１０は、興味領域１１と非興味領域１２とを有する。興味領域１１は、赤血球などの試料が存在する領域である。非興味領域１２は、蛍光観察画像１０のうち興味領域１１以外の領域である。つまり、非興味領域１２は、試料が存在しないバックグラウンドの領域である。
　蛍光観察画像１０は、蛍光試薬から発せられる蛍光により生じる輝点１３を有する。輝点１３は、検出対象物を示す検出輝点１４と非検出対象物を示す非検出輝点１５とを含む。非検出輝点１５は、例えば、試料を入れる検出プレートに吸着した蛍光試薬の残渣からの蛍光により生じる。
　一般的に、蛍光試薬は、検出対象物のみに特異的に結合して、蛍光を発することが好ましい。しかしながら、実際には、蛍光試薬は、検出対象物以外の場所に、非特異的に吸着する。非特異的な吸着に起因する輝点１３は、検出対象物を示す検出輝点１４ではない。したがって、非検出輝点１５は、観察においてノイズとなる。そのため、非検出輝点１５は、画像処理を用いて蛍光観察画像１０から除外される必要がある。
　本実施の形態において、検出対象物である寄生虫は、赤血球内に存在する。したがって、検出輝点１４は、興味領域１１内に存在する輝点１３である。また、検出ノイズである非検出輝点１５は、非興味領域１２内に存在する輝点１３である。
　本開示における画像処理方法は、蛍光観察画像１０に含まれる複数の輝点１３から検出輝点１４を抽出するために実行される。
　［画像処理装置の構成］
　本開示の画像処理方法は、例えば、図２に示す画像処理装置３０によって実行される。
　画像処理装置３０は、蛍光観察画像１０を記憶する記憶部３１と、蛍光観察画像１０に画像処理方法を実行する処理部３２とを備える。
　処理部３２は、プログラムに基づいて画像処理方法を実行するＣＰＵなどである。プログラムは、例えば、処理部３２のメモリ等に記憶されている。なお、プログラムは、記憶部３１や外部の記憶装置などに記憶されていてもよい。
　なお、画像処理装置３０は、抽出した検出輝点１４の数、試料の数および計算した感染率等を表示する表示部３３を備えてもよい。表示部３３は、例えば、ディスプレイ等である。
　［画像処理方法］
　次に、処理部３２が実行する画像処理方法について説明する。図３は、画像処理方法のフローを示す図である。図４は、画像処理方法の処理のイメージを模式的に示す図である。なお、以下の説明では、画像処理方法は、一例として、画像処理装置３０によって実行されるものとする。
　ステップＳ０１では、処理部３２は、画像処理を適用する蛍光観察画像１０を記憶部３１から取得する。
　蛍光観察画像１０を構成する複数の画素は、各画素に対応する輝度値のデータを有している。例えば、蛍光観察画像１０の画素の輝度値は、検出対象物の位置における画素の輝度値、バックグラウンドの位置における画素の輝度値、試料の位置における画素の輝度値の順に小さくなる。
　ステップＳ０２において、処理部３２は、蛍光観察画像１０に含まれる全ての輝点１３を抽出する。その後、処理部３２は、抽出した輝点１３から輝点領域１６を定義する。
　輝点１３は、蛍光観察画像１０において所定の閾値以上の輝度値を有する複数の画素からなる画素群である。輝点１３の抽出は、例えば、蛍光観察画像１０を所定の輝度値で２値化することにより行われる。所定の閾値は、例えば、予め設定された値であり、非興味領域１２を示す画素の輝度値と輝点１３を示す画素の輝度値との間の値に設定される。抽出した輝点１３には、検出輝点１４と非検出輝点１５の両方が含まれる。
　抽出した輝点１３は、複数の画素の集合体であるため複雑な形状となる場合が多い。複雑な形状の輝点１３は、後述するステップＳ０３における参照画素１７を定義する処理を複雑にする場合がある。そこで、ステップＳ０３の処理を簡単化するため、処理部３２は、抽出した輝点１３から輝点領域１６を定義する。
　輝点領域１６は、輝点１３を含む領域である。図５は、輝点領域１６の抽出の一例を示す図である。輝点領域１６は、例えば、図５の点線で示すように、輝点１３に対応する画素群が外接する四角形の領域である。
　なお、輝点領域１６は、輝点１３に外接する円形や多角形など、決まった形状を有する領域として定義されてもよい。
　このように、処理部３２は、決まった形状を有する領域で輝点領域１６を定義することにより、ステップＳ０３以降の処理を複雑なアルゴリズムを用いることなく実行することができる。
　ステップＳ０３において、処理部３２は、輝点領域１６の周囲の画素を参照画素１７として定義する。
　図６Ａ～図６Ｃは、輝点領域１６に参照画素１７が配置された例を示した図である。点線１８で囲まれた領域は、試料が存在する興味領域１１の外形である。輝点領域１６の配置された状態については後述する。
　参照画素１７は、輝点領域１６の存在している場所を判定するために用いられる。そのため、参照画素１７は、輝点領域１６の近傍に位置する画素である。参照画素１７は、輝点領域１６に隣接している。
　例えば、図６Ａ～図６Ｃに示すように、参照画素１７は、輝点領域１６に隣接する８画素である。８つの参照画素１７は、輝点領域１６の四隅と四辺のそれぞれの真ん中に設けられている。このように、参照画素１７は、一つの輝点領域１６の周囲に複数箇所定義される。
　なお、参照画素１７の位置や数は、観察する試料や検出対象物に応じて適宜設定することができる。
　また、参照画素１７は、隣接する複数の画素を一塊の画素群として参照画素と定義することもできる。
　次に、処理部３２は、ステップＳ０４において、参照画素１７の輝度値を評価することにより、ステップＳ０５において輝点領域１６が興味領域１１に含まれているかどうかを判定する。参照画素１７の輝度値の評価は、興味領域１１を示す輝度値の範囲を定めた興味領域判定基準を用いて行われる。
　参照画素１７の輝度値が、興味領域判定基準に適合する場合、処理部３２は、参照画素１７が興味領域１１に含まれると判定する。つまり、処理部３２は、輝点領域１６が興味領域１１に含まれると判定する。一方、参照画素１７の輝度値が興味領域判定基準に適合しない場合、処理部３２は、参照画素１７が非興味領域１２に含まれると判定する。つまり、処理部３２は、輝点領域１６が非興味領域１２に含まれると判定する。
　ここで、興味領域判定基準は、蛍光観察画像１０において、興味領域１１を示す画素の輝度値の範囲を定めている。以下では、興味領域判定基準について説明する。
　図７は、蛍光観察画像１０の輝度値の度数分布の一例を示すグラフである。グラフの横軸は、輝度値を表す。グラフの縦軸は、輝度値の画素数を表す。ただし、図７では、輝点１３を示す輝度値は図示されていない。
　図７に示す輝度値の度数分布を示すグラフは、輝度値ａと輝度値ｂとにそれぞれ極大値を有する。また、輝度値ａと輝度値ｂとの間に、極小値をとる輝度値ｃがある。
　このとき、範囲Ａと範囲Ｂの境界である輝度値ｃは、蛍光観察画像１０を興味領域１１と非興味領域１２とに分ける閾値である。
　なお、蛍光観察画像１０において、試料の輝度値よりもバックグラウンドの輝度値が小さい場合、輝度値ａを含む範囲Ａは、興味領域１１を意味する。また、輝度値ｂを含む範囲Ｂは、非興味領域１２を意味する。試料の輝度値よりもバックグラウンドの輝度値が大きい場合、輝度値ａを含む範囲Ａは、非興味領域１２を意味する。また、輝度値ｂを含む範囲Ｂは、興味領域１１を意味する。
　つまり、興味領域１１と非興味領域１２との境界を示す輝度値は、例えば、輝度値ａと輝度値ｂとの間に位置する極小値である輝度値ｃである。
　試料の輝度値よりもバックグラウンドの輝度値が小さい場合、興味領域判定基準は、輝度値ｃよりも輝度値が大きい範囲を、興味領域１１を示す輝度値の範囲として定める。つまり、輝度値ｃは、興味領域判定基準において興味領域１１を示す輝度値の下限を示す。この場合、非興味領域判定基準は、輝度値が輝度値ｃ以下となる範囲を、非興味領域１２を示す輝度値の範囲として定める。つまり、輝度値ｃは、非興味領域判定基準において非興味領域１２を示す輝度値の上限を示す。また、試料の輝度値よりもバックグラウンドの輝度値が大きい場合、興味領域判定基準は、輝度値ｃよりも輝度値が小さい範囲を、興味領域１１を示す輝度値の範囲として定める。つまり、輝度値ｃは、興味領域判定基準において興味領域１１を示す輝度値の上限を示す。この場合、非興味領域判定基準は、輝度値が輝度値ｃ以上となる範囲を、非興味領域１２を示す輝度値の範囲として定める。つまり、輝度値ｃは、非興味領域判定基準において非興味領域１２の画素の輝度値の下限である。すなわち、上記極小値を、興味領域１１での輝度値の範囲と非興味領域１２での輝度値の範囲との境界として定める。
　したがって、参照画素１７の輝度値を興味領域判定基準と比較して、参照画素１７の輝度値が興味領域判定基準に適合した場合、処理部３２は、輝点領域１６（参照画素１７）が興味領域１１に存在していると判定する。また、参照画素１７の輝度値を非興味領域判定基準と比較して、参照画素１７の輝度値が非興味領域判定基準と合致した場合、処理部３２は、輝点領域１６（参照画素１７）が非興味領域１２に存在していると判定する。ただし、非興味領域判定基準は用いられなくてもよい。例えば、参照画素１７の輝度値が興味領域判定基準に合致しなければ、参照画素１７は、非興味領域１２に存在していると判定することができる。
　なお、範囲Ａは、上限値が設定されていてもよい。上限値は、輝点１３を示す輝度値と輝度値ｃの間の値となる。上限値が設定されることにより、不要なノイズの影響を排除することができる。そのため、興味領域１１をより精度良く特定することができる。
　同様に、範囲Ｂは、下限値が設定されていてもよい。下限値が設定されることにより、不要なノイズの影響を排除することができる。そのため、非興味領域１２をより精度良く特定することができる。
　また、興味領域１１と非興味領域１２とを分ける輝度値の閾値は、例えば、輝度値ａおよび輝度値ｂの真ん中の輝度値でもよい。また、その他の方法を用いて輝度値の閾値が設定されてもよい。例えば、予め、興味領域１１を示す輝度値の範囲が既知である場合は、興味領域判定基準は、この輝度値の範囲を興味領域１１を示す輝度値の範囲としてもよい。
　さらに、範囲Ａは、例えば、極大値となる輝度値ａから一定の範囲としてもよい。例えば、興味領域判定基準は、図７に示される度数分布における輝度値ａの極大値を中心値として標準偏差だけ離れた輝度値の範囲を、興味領域１１を示す輝度値の範囲としてもよい。範囲Ｂについても同様である。
　なお、一つの輝点領域１６について一つの参照画素１７が定義されたときは、処理部３２は、一つの参照画素１７の輝度値が興味領域判定基準を満たす場合に、その一つの輝点領域１６が興味領域１１に含まれると判定する。
　また、一つの輝点領域１６について複数の参照画素１７が定義された時は、処理部３２は、複数の参照画素１７の中で、興味領域１１に存在する複数の参照画素１７の占める割合が、所定の条件を満たせば、その一つの輝点領域１６が興味領域１１に含まれると判定する。
　ここで、所定の条件とは、例えば、複数の参照画素１７のうち、半数以上の参照画素１７が興味領域１１に存在することである。なお、所定の条件は、これに限定されない。所定の条件は、輝点１３が興味領域１１に含まれていると判断できる範囲で定められればよい。例えば、定義された複数の参照画素１７のうち４分の１以上の参照画素１７が興味領域１１に存在することが所定の条件とされてもよい。
　ステップＳ０５で輝点領域１６が興味領域１１に含まれると判定されると、ステップＳ０６では、処理部３２は、輝点領域１６に含まれる輝点１３を、蛍光観察画像１０に含まれる検出対象物を示す検出輝点１４として抽出する。ステップＳ０５で輝点領域１６が興味領域１１に含まれないと判定されると、処理部３２は、輝点領域１６に含まれる輝点１３を、検出輝点１４として抽出しない。つまり、このような輝点は、蛍光観察画像１０に含まれる蛍光試薬の残渣などによる非検出輝点１５と判定される。
　［画像処理方法の詳細］
　以下、図６Ａ～図６Ｃを用いて画像処理方法を詳細に説明する。なお、図６Ａ～図６Ｃにおいて、輝点領域１６の周囲には、８個の参照画素１７が定義されている。輝点領域１６が興味領域１１に含まれるか否かを判定する所定の条件は、輝点領域１６に対して定義した参照画素１７の半数以上が興味領域１１に存在するか否かである。
　図６Ａは、興味領域１１の中心付近に輝点領域１６が存在している場合を示す拡大観察画像である。図６Ａに示す例では、８個の参照画素１７の全てが点線で囲まれた興味領域１１内に存在している。つまり、半数以上の参照画素１７が興味領域１１に存在している。
　したがって、参照画素１７を定義した輝点領域１６に含まれる輝点１３は、検出輝点１４であると判定される。
　図６Ｂは、興味領域１１の周辺部に輝点領域１６が存在している場合を示す拡大観察画像である。輝点領域１６は、興味領域１１および非興味領域１２の両方に存在している。
　図６Ｂに示す例では、８個の参照画素１７のうち、６個の参照画素１７が、点線で囲まれた興味領域１１に存在している。一方、残りの２個の参照画素１７は、非興味領域１２に存在している。つまり、半数以上の参照画素１７が興味領域１１に存在している。
　したがって、参照画素１７を定義した輝点領域１６に含まれる輝点１３は、検出輝点１４であると判定される。
　図６Ｃは、興味領域１１内に輝点領域１６が存在していない場合を示す拡大観察画像である。
　図６Ｃに示す例では、８個の参照画素１７の全てが非興味領域１２に存在している。つまり、半数以上の参照画素１７が興味領域１１に存在していない。
　したがって、参照画素１７を定義した輝点領域１６に含まれる輝点１３は、非検出輝点１５であると判定される。
　以上の処理により、蛍光観察画像１０に含まれる複数の輝点１３からから、試料中の検出対象物を示す検出輝点１４を抽出することができる。
　なお、処理部３２は、図３のステップＳ０２の前、または、輝度値の分布を算出する前に、蛍光観察画像１０に対して、画像全体を平滑化する処理を行ってもよい。平滑化する処理には、例えば、ガウシアンマスクやバイラテラルマスクが用いられる。
　ガウシアンマスクによる処理は、１つの画素の輝度値について、その画素の輝度値と、その画素からの距離に応じてガウシアン分布で重み付けした周囲の画素の輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
　また、バイラテラルマスクによる処理は、１つの画素の輝度値について、その画素の輝度値と、その画素からの距離および輝度値の差を考慮してガウシアン分布により重み付けした周囲の画素の輝度値と、を用いて画像全体の輝度値を平滑化する処理である。
　平滑化の処理を行うことにより、蛍光観察画像１０に含まれるランダムノイズを取り除くことができる。
　［まとめ］
　以上のように、本開示の画像処理方法および画像処理装置は、観察画像中の検出輝点１４を精度良く抽出することができ、検出対象物を正確に検出することができる。
　なお、本実施の形態は、蛍光観察画像１０における輝度値は、検出対象物、試料、パックグラウンドの順に小さいとして説明したが、これに限定されない。輝度値の大きさの順番は、蛍光観察画像の取得方法に応じて決まるものである。
　例えば、蛍光観察画像１０における輝度値は、検出対象物、バックグラウンド、試料の順に小さくてもよい。
　蛍光観察画像１０において、試料の輝度値よりもバックグラウンドの輝度値が大きい場合、図７に示す範囲Ａは、非興味領域を意味する。また、範囲Ｂは、興味領域を意味する。したがって、興味領域判定基準は、範囲Ｂの輝度値が用いられる。
　また、輝点領域１６を決まった形状の領域で定義する処理は、必ずしも行わなくてもよい。
　例えば、輝点１３を示す画素群を輝点領域１６として定義してもよい。つまり、輝点１３に対応する画素群および輝点領域１６は同一の範囲の領域としてもよい。この場合、参照画素１７は、上記と同様にして、例えば、輝点１３に対応する画素群に隣接する画素から選択することができる。
　また、輝点領域１６が興味領域１１に含まれるか否かを判定するための所定の条件は、輝点領域１６の周囲の参照画素１７のうち、隣り合う３つ以上の参照画素１７が興味領域１１に存在することであってもよい。ここで、隣り合う参照画素１７とは、輝点領域１６に沿って順に並ぶ参照画素１７のうち連続する画素を意味する。
　本実施の形態は、興味領域１１を試料が存在する領域と設定して、試料内に存在する検出対象物を示す検出輝点１４を抽出したが、これに限定されない。興味領域１１は、検出対象物の存在する領域に応じて設定することができる。例えば、興味領域１１を試料外として設定することにより、試料外に存在する検出対象物を示す輝点を抽出してもよい。また、観察画像は、蛍光観察画像に限られない。観察画像は、例えば、蛍光を含まない観察画像でもよい。
　また、本実施の形態では、蛍光観察画像１０に含まれる検出輝点１４は、検出対象物と結合した蛍光試料に起因するものとして説明されたが、これに限定されるものではない。例えば、観察画像に含まれる検出輝点１４は、検出対象物が発する自家発光に起因するものであってもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
　本開示の画像処理方法は、細胞や組織等の蛍光観察画像の処理に特に有用である。
１０　　蛍光観察画像
１１　　興味領域
１２　　非興味領域
１３　　輝点
１４　　検出輝点
１５　　非検出輝点
１６　　輝点領域
１７　　参照画素
１８　　点線
３０　　画像処理装置
３１　　記憶部
３２　　処理部
３３　　表示部

Claims (8)

  1. 　観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理方法であって、
    　前記観察画像において、輝点を含む輝点領域を定義し、
    　前記観察画像において、定義された前記輝点領域の周囲に参照画素を定義し、
    　前記参照画素の輝度値を評価することにより前記輝点領域が所定の興味領域（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）に含まれているかどうかを判定し、
    　前記輝点領域が前記興味領域に含まれていると判定された場合に、前記輝点領域に含まれている前記輝点を前記検出輝点として抽出する、
    　画像処理方法。
  2. 　前記参照画素の輝度値の評価は、前記興味領域を示す輝度値の範囲を定めた興味領域判定基準を用いて行われる、
    　請求項１に記載の画像処理方法。
  3. 　前記判定においては、前記参照画素の輝度値が前記興味領域判定基準に適合した場合に、前記輝点領域が前記興味領域に含まれると判定する、
    　請求項２に記載の画像処理方法。
  4. 　前記参照画素の定義においては、前記輝点領域の周囲に複数の参照画素を定義し、
    　前記判定においては、前記複数の参照画素の中で前記興味領域判定基準に適合する輝度値の参照画素の占める割合が所定の条件を満たした場合に、前記輝点領域が前記興味領域に含まれると判定する、
    　請求項２に記載の画像処理方法。
  5. 　前記興味領域判定基準は、前記観察画像における輝度値の度数分布に基づいて前記興味領域を示す輝度値の範囲を定める、
    　請求項２に記載の画像処理方法。
  6. 　前記輝度値の度数分布は、
    　前記興味領域を表す第一の極大値と、
    　非興味領域（ｎｏｎ―Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を表す第二の極大値と、
    　前記第一の極大値と前記第二の極大値との間に位置する極小値とを有し、
    　前記極小値を、前記興味領域での輝度値の範囲と前記非興味領域での輝度値の範囲との境界として定める
    　請求項５に記載の画像処理方法。
  7. 　前記輝点領域は、前記輝点に対応する画素群が外接する四角形の領域である、
    　請求項１に記載の画像処理方法。
  8. 　観察画像において、検出対象物を示す輝点を検出輝点として抽出する画像処理装置であって、
    　前記観察画像を記憶する記憶部と、
    　処理部と、を備え、
    　前記処理部は、
    　前記記憶部に記憶された前記観察画像において、輝点を含む輝点領域を定義し、
    　前記記憶部に記憶された前記観察画像において、定義された前記輝点領域の周囲に参照画素を定義し、
    　前記参照画素の輝度値を評価することにより前記輝点領域が所定の興味領域（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）に含まれているかどうかを判定し、
    　前記輝点領域が前記興味領域に含まれていると判定された場合に、前記輝点領域に含まれる前記輝点を前記検出輝点として抽出する、
    　画像処理装置。
PCT/JP2016/004481 2015-10-07 2016-10-05 画像処理方法および画像処理装置 WO2017061112A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/739,840 US20180372636A1 (en) 2015-10-07 2016-10-05 Image processing method and image processing device
JP2017544195A JPWO2017061112A1 (ja) 2015-10-07 2016-10-05 画像処理方法および画像処理装置
EP16853268.7A EP3361236A4 (en) 2015-10-07 2016-10-05 Image processing method and image processing device
CN201680045821.4A CN107850545A (zh) 2015-10-07 2016-10-05 图像处理方法以及图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015199300 2015-10-07
JP2015-199300 2015-10-07

Publications (1)

Publication Number Publication Date
WO2017061112A1 true WO2017061112A1 (ja) 2017-04-13

Family

ID=58487387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004481 WO2017061112A1 (ja) 2015-10-07 2016-10-05 画像処理方法および画像処理装置

Country Status (5)

Country Link
US (1) US20180372636A1 (ja)
EP (1) EP3361236A4 (ja)
JP (1) JPWO2017061112A1 (ja)
CN (1) CN107850545A (ja)
WO (1) WO2017061112A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139242A1 (ja) * 2017-01-27 2018-08-02 パナソニック株式会社 画像解析システム、画像解析方法及びプログラム
CN112289377A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
WO2022059508A1 (ja) * 2020-09-18 2022-03-24 コニカミノルタ株式会社 生体関連情報取得方法及び生体関連情報取得システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022101163A (ja) * 2020-12-24 2022-07-06 シスメックス株式会社 蛍光画像表示方法及び蛍光画像分析装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013109077A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
WO2015093518A1 (ja) * 2013-12-18 2015-06-25 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013109077A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3361236A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139242A1 (ja) * 2017-01-27 2018-08-02 パナソニック株式会社 画像解析システム、画像解析方法及びプログラム
CN112289377A (zh) * 2018-08-22 2021-01-29 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
CN112289377B (zh) * 2018-08-22 2022-11-15 深圳市真迈生物科技有限公司 检测图像上的亮斑的方法、装置和计算机程序产品
WO2022059508A1 (ja) * 2020-09-18 2022-03-24 コニカミノルタ株式会社 生体関連情報取得方法及び生体関連情報取得システム

Also Published As

Publication number Publication date
US20180372636A1 (en) 2018-12-27
CN107850545A (zh) 2018-03-27
EP3361236A1 (en) 2018-08-15
JPWO2017061112A1 (ja) 2018-07-26
EP3361236A4 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
AU2022200112B2 (en) Methods and apparatus for detecting an entity in a bodily sample
EP3375859B1 (en) Method for constructing classifier, and method for determining life or death of cells using same
US20140056505A1 (en) Visualization and measurement of cell compartments
WO2017061112A1 (ja) 画像処理方法および画像処理装置
US10937162B2 (en) Image analysis algorithms using control slides
WO2016194338A1 (ja) 画像処理方法および画像処理装置
JPWO2019065105A1 (ja) 画像解析装置、方法およびプログラム
JP2019052932A (ja) データ解析装置、プログラム及び記録媒体、並びにデータ解析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853268

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544195

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE