WO2019181072A1 - 画像処理方法、コンピュータプログラムおよび記録媒体 - Google Patents

画像処理方法、コンピュータプログラムおよび記録媒体 Download PDF

Info

Publication number
WO2019181072A1
WO2019181072A1 PCT/JP2018/043983 JP2018043983W WO2019181072A1 WO 2019181072 A1 WO2019181072 A1 WO 2019181072A1 JP 2018043983 W JP2018043983 W JP 2018043983W WO 2019181072 A1 WO2019181072 A1 WO 2019181072A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
block
original image
processing method
Prior art date
Application number
PCT/JP2018/043983
Other languages
English (en)
French (fr)
Inventor
藤本　博己
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to US16/979,928 priority Critical patent/US11430130B2/en
Priority to EP18911181.8A priority patent/EP3770853A4/en
Publication of WO2019181072A1 publication Critical patent/WO2019181072A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing technique for dividing a cell region and other regions from an image including a cell imaged in a culture environment and its background.
  • a region of a cell that is an original imaging target and a region corresponding to the background may be distinguished in the image.
  • a region of a cell has been identified by staining the cell with a drug or introducing a fluorescent reagent.
  • the cells in the medium are transparent and the refractive index is not so different from water. For this reason, in the captured image, the boundary between the cell and the background is often unclear.
  • the applicant of the present application has proposed a bright field imaging technique that can obtain an image in which the outline of a cell clearly appears (see, for example, Patent Document 1).
  • an image processing technique such as a binarization process using a difference in luminance between the cell and the background or edge detection for extracting a cell contour can be used.
  • the captured image When observing cells in a culture environment over time, in the initial stage of culture, the captured image includes cells and a medium that is a generally uniform background. For this reason, it is relatively easy to distinguish between the cell and the background.
  • dead cell debris hereinafter collectively referred to as “debris”
  • the culture progresses wastes discharged from the cells, dead cell debris (hereinafter collectively referred to as “debris”) appear around the cells to be imaged and are included in the images. come. For this reason, it is difficult to appropriately distinguish cells and debris by simple processing such as binarization and contour extraction.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of appropriately dividing a cell region and other regions from an image including a cell and a background.
  • a step of obtaining an original image including both cultured cells and a background, and the original image in a block composed of a predetermined number of pixels in order to achieve the above object, a step of obtaining an original image including both cultured cells and a background, and the original image in a block composed of a predetermined number of pixels.
  • the sum of the intensities of the high frequency components of the second feature quantity is a second feature quantity, and in the two-dimensional feature quantity space composed of the first feature quantity and the second feature quantity, each of the blocks is a cell corresponding to the cell.
  • the image is divided based on the distribution of local spatial frequency components in the image. That is, an image is divided into blocks, and a spatial frequency component for each block is obtained.
  • the low frequency component represents a moderate luminance change in the block
  • the high frequency component represents a finer luminance change state.
  • the DC component particularly represents the average luminance of the entire block. Therefore, when the block is expressed by the intensity for each spatial frequency component in this way, the low frequency component reflects the brightness of the block, and the high frequency component reflects the texture in the block.
  • the image processing method according to the present invention can use a computer as its execution subject.
  • the present invention can be realized as a computer program for causing a computer to execute the above processing. Further, it can be realized as a recording medium in which the computer program is recorded.
  • the image processing method of the present invention for each block obtained by dividing the original image, whether or not the block corresponds to a cell based on the characteristics of the spatial frequency component of the image in the block. Is evaluated. For this reason, it is possible to appropriately separate the cell region and other regions from the image including the cell and the background.
  • the image processing in this embodiment is a region division process for extracting a cell region from an image obtained by imaging a cell or a cell aggregate cultured in a medium.
  • This image processing is performed on an unprocessed original image captured by an imaging device having an imaging function for imaging a sample containing cells.
  • the imaging apparatus can execute the main image processing as one of post-processing on the image data after imaging. Further, the image processing may be performed by a computer device that has received image data from an imaging device or appropriate storage means.
  • a mode in which a general-purpose computer apparatus executes image processing according to the present embodiment on original image data generated by already performed imaging will be described as an example.
  • the configuration of the imaging device is not particularly limited as long as it has a function of imaging a sample containing cultured cells together with a culture medium and outputting the digital image data.
  • the image is preferably a bright-field captured image.
  • a computer device having a general hardware configuration that is commercialized as, for example, a personal computer can be used. In the following, detailed description of these hardware is omitted.
  • FIG. 1 is a flowchart showing an area division process according to this embodiment.
  • the computer device acquires an original image (step S101).
  • An original image is an image obtained by performing bright field imaging of a sample containing cells cultured in a medium using an appropriate imaging device and imaging conditions, and includes at least one whole cell. Therefore, the original image can include at least one cell and debris or background other than the surrounding cells.
  • the resolution conversion is a process of converting the pixel size of the original image at the time of imaging into a pixel size suitable for the area division process. If it is determined that it is necessary, resolution conversion is executed (step S103).
  • both the image before resolution conversion and the image after conversion are referred to as “original images”. Further, when simply referred to as “pixels”, it is assumed that the pixels of the original image used for the processing after step S104 are referred to.
  • the pixel after the conversion if the resolution conversion is executed, and the pixel at the time of imaging when the resolution conversion is not executed are the “pixel” here.
  • a pixel before conversion (that is, at the time of imaging) may be referred to as an “original pixel”. That is, “original pixel” means a pixel at the time of imaging regardless of whether or not resolution conversion is performed.
  • the original image is divided into a plurality of blocks (step S104).
  • a square of 4 pixels ⁇ 4 pixels in the original image is taken as one block.
  • the pixel here is a pixel after conversion.
  • the number of pixels for one line is not divisible by the number of pixels 4 on one side of one block, pixels that are not included in the processing may occur at the end of the original image. Further, the end portion of the original image may be excised in advance so that such a fraction does not appear.
  • step S105 the average pixel value in the entire original image is subtracted as an offset value from the pixel value of each pixel. This process is for level shifting for the convenience of later calculations.
  • the pixel value is expressed as, for example, 8-bit data
  • each pixel can take a value of 256 levels from 0 to 255.
  • subtracting the average pixel value a pixel having a negative value as a pixel value also appears.
  • a spatial frequency component is obtained for each of the divided blocks.
  • a two-dimensional discrete cosine transform hereinafter abbreviated as “DCT”) operation is used in this embodiment (step S106).
  • DCT discrete cosine transform
  • the image content of each block is decomposed into two-dimensional spatial frequency components by two-dimensional DCT calculation.
  • the image content of the block can be reproduced by synthesizing each frequency component.
  • the intensity for each frequency component varies depending on the content of the image. As is known in the JPEG image compression theory, the intensity of each frequency component is obtained as a DCT coefficient obtained by DCT calculation.
  • the low frequency component of the spatial frequency component represents a gradual change in brightness in the image within the block.
  • the DC component among these corresponds to the average value of the brightness of the block.
  • the high frequency component represents a finer change in brightness and has information on the texture of the image in the block. Therefore, based on the obtained DCT coefficient, a total value of frequency components lower than a certain spatial frequency is set as a feature amount (first feature amount) corresponding to the brightness of the block.
  • a total value of higher frequency components is set as a feature amount (second feature amount) corresponding to the texture of the block.
  • one block can be expressed by a low-frequency feature value indicating brightness and a high-frequency feature value indicating texture.
  • the spatial frequency component of an image can be divided into a DC component and an AC component.
  • the DC component can be used as a feature quantity (first feature quantity) representing the brightness of the block
  • the AC component can be used as a feature quantity (second feature quantity) representing the texture in the block.
  • the feature of the image of each block is expressed by a low-frequency feature value representing brightness and a high-frequency feature value representing texture.
  • the block represented by these feature quantities has a feature in the intracellular region or a feature in other regions, the block corresponds to a cell or other non-cells. It is determined whether it corresponds (step S108). It is determined for each block whether the block corresponds to a cell or a non-cell, and based on the result, the original image is divided into a cell region and a non-cell region (step S109).
  • step S108 It is determined for each block whether the block corresponds to a cell or a non-cell, and based on the result, the original image is divided into a cell region and a non-cell region.
  • FIG. 2 is a configuration example of a computer device that executes the area division processing of this embodiment.
  • the computer apparatus 1 has a general configuration as a personal computer, for example, and includes a CPU (Central Processing Unit) 10, a memory 14, a storage 15, an input device 16, a display unit 17, an interface 18, a disk drive 19, and the like. ing.
  • a CPU Central Processing Unit
  • the CPU 10 implements each functional block for executing the area division processing, that is, functional blocks such as the image processing unit 11, the DCT calculation unit 12, and the classification unit 13 by software by executing a control program prepared in advance. To do. Note that at least a part of these may be configured by dedicated hardware.
  • the memory 14 temporarily stores various data generated in the calculation process of the CPU 10.
  • the storage 15 stores image data of the original image, processed image data, and the like for a long time.
  • the input device 16 is for receiving an instruction input from an operator, and includes, for example, a mouse and a keyboard.
  • the display unit 17 is, for example, a liquid crystal display having a function of displaying an image, and displays various information such as an original image, an image after processing, and a message to an operator.
  • a touch panel in which the input device and the display unit are integrated may be provided.
  • the interface 18 exchanges various data with an external device via a telecommunication line.
  • the disk drive 19 receives an external recording disk 2 on which various data such as image data and control programs are recorded. Image data, a control program, and the like stored in the recording disk 2 are read out by the disk drive 19 and stored in the storage 16.
  • the disk drive 19 may have a function of writing data generated in the computer device 1 to the recording disk 2.
  • the control program for causing the computer apparatus 1 to execute the area division processing of the present embodiment can be in a mode in which the disk drive 19 accesses and reads the recording disk 2 on which the program is recorded. Moreover, the aspect given from an external device via the interface 18 may be sufficient. The same applies to the original image data.
  • the image processing unit 11 performs image processing such as resolution conversion of the original image, block division, and final image area division. Further, the DCT calculation unit 12 performs the above-described DCT calculation for each block to obtain a spatial frequency component.
  • the classification unit 13 classifies each block into one corresponding to the cell and the other based on the feature amount obtained for each block.
  • 3A to 3C are diagrams showing examples of original images.
  • the original image Ia acquired in step S101 includes a cell C as an image object, debris D distributed around the cell C, and a background B corresponding to the culture medium.
  • the horizontal coordinate of the image is the X coordinate and the vertical coordinate is the Y coordinate.
  • the shapes and shades of these image objects are merely examples, and various shapes and shades can be obtained in an actually obtained image.
  • debris does not always exist, and an original image may be composed of the cells C and the background B. Further, the image may be occupied by the cell C and the debris D surrounding the cell C, and the background corresponding to the culture medium may not be included. Further, the brightness of the background B is not always the same depending on the amount of the culture medium, the illumination conditions at the time of imaging, and the like.
  • the relationship between the arrangement of the cell area and the other areas in the image and the relationship such as shading is different for each original image.
  • the image processing described here is established regardless of these relationships.
  • the basic idea of the region division processing in this embodiment is to divide the original image Ia into small blocks, and based on the spatial frequency component that each block has, the block has a strong image characteristic of the cell C, It is to determine whether or not it has other characteristics strongly.
  • the original image Ia is divided into square blocks having a predetermined size and processed.
  • the symbol P indicates one pixel.
  • one block BL is a square area composed of a total of 16 pixels P, 4 pixels each in the X and Y directions.
  • the size of the block BL is desirably set according to the size of the cell C to be extracted in the image.
  • the size of the block BL is preferably selected so that approximately one block enters the inside of the cell C to be extracted in the image.
  • the cell C is, for example, a human somatic cell
  • its diameter is about 10 ⁇ m to 20 ⁇ m. Therefore, it is preferable that the length of one side when the block BL is converted into the sample size is the same as or slightly smaller than this. Therefore, it is preferable that one pixel P has a size of one side of 2.5 ⁇ m to 5 ⁇ m or slightly smaller.
  • the pixel size in imaging is 6400 dpi (dots per inch), for example, the pixel size is about 4 ⁇ m. If the resolution is 16000 dpi, the pixel size is about 1.6 ⁇ m. Therefore, 6400 dpi to 16000 dpi is suitable as the resolution necessary for obtaining the size of the pixel P described above. However, these are values suitable for performing the region division processing of this embodiment. When imaging, it is fundamental to perform imaging at as high a resolution as possible without being restricted by this.
  • Whether or not resolution conversion is necessary depends on the relationship between the pixel size at the time of imaging and the size of the cell C to be processed. If these relationships are known in advance, it can be determined from the known relationships whether resolution conversion is necessary. Further, whether to perform resolution conversion may be determined based on an instruction input from the user. If it is determined that it is necessary, resolution conversion is executed (step S103).
  • step S104 a square of 4 pixels ⁇ 4 pixels in the converted image is set as one block BL. If resolution conversion is not performed, a square of 4 pixels ⁇ 4 pixels in the image at the time of capturing the original image Ia is defined as one block BL.
  • a square of 4 pixels ⁇ 4 pixels in the image at the time of capturing the original image Ia is defined as one block BL.
  • the number of pixels for one line is not divisible by the number of pixels of one side of one block, pixels that are not included in the processing may be generated at the end of the original image. Further, the end portion of the original image may be excised in advance so that such a fraction does not appear.
  • the average pixel value in the entire original image Ia is subtracted from the pixel value of each pixel as an offset value (step S105).
  • each pixel can take a value of 256 levels from 0 to 255.
  • the average pixel value By subtracting the average pixel value, a pixel having a negative value as a pixel value also appears.
  • the difference between the maximum pixel value and the minimum pixel value in the image is relatively small. Will be good.
  • the DCT operation is executed for each block thus divided (step S106).
  • the image content of each block is decomposed into two-dimensional spatial frequency components in each of the X direction and the Y direction.
  • the DCT arithmetic processing is widely known as being used in JPEG image compression processing. For this reason, in the following, description of matters to which the same concept as the JPEG image compression processing can be applied is omitted.
  • FIG. 4 is a diagram showing the concept of DCT calculation.
  • the left side of the drawing represents one block BL that is a part of the original image and includes (4 ⁇ 4) pixels. Lower case letters are used to represent the position of each pixel in the block in distinction from the coordinate position in the original image, the horizontal coordinate is the x coordinate, and the vertical coordinate is the y coordinate.
  • the DCT calculation can be considered as a calculation for obtaining a DCT coefficient table T of 4 rows ⁇ 4 columns shown on the right side of the figure from the pixel value g (x, y) of each pixel in the block BL.
  • the DCT coefficient C (u, v) representing the intensity of each frequency component is expressed by the following equation (Equation 2).
  • N 8 ⁇ 8 pixels are one block.
  • the amount of calculation can be reduced, which is suitable for high speed.
  • a low frequency component equal to or lower than a predetermined frequency for example, a coefficient C (0, 0) representing a direct current component is set as the low frequency feature quantity.
  • the sum of the other coefficients is used as the high frequency feature amount.
  • the DCT coefficient can take either a positive or negative value. In order to avoid canceling these values at the time of summation, for example, the sum of the DCT coefficients may be obtained as the sum of absolute values of the respective DCT coefficients.
  • each block corresponds to a “cell” or a “non-cell” (step S108). This determination is made based on the position occupied by the block in the two-dimensional feature amount space composed of the low frequency feature amount and the high frequency feature amount. In order to perform the determination, it is necessary to specify the determination criterion, specifically, the range occupied by the feature of the “cell” in the two-dimensional feature amount space.
  • the type of cells to be imaged, the type and amount of the medium, imaging conditions (imaging magnification, illumination intensity, etc.), etc. are fixed among multiple images, typical cells imaged under the same conditions
  • imaging conditions imaging magnification, illumination intensity, etc.
  • FIG. 5 is a flowchart showing a process for formulating a judgment criterion.
  • 6A to 6C are diagrams illustrating instruction input modes in the process. This process is taught by an operator about a typical example having strong characteristics of cells and non-cells in the acquired original image Ia, and from the received information, the boundary between cells and non-cells in the two-dimensional feature space is determined. It is something to identify.
  • This process can be executed at an arbitrary timing after the computer apparatus 1 acquires the original image Ia (step S101) and before the block classification (step S108) is started. The processing is realized by the CPU 10 executing a control program stored in the storage 15.
  • the acquired original image Ia is displayed on the display unit 17 and presented to the operator (step S201). Then, in the displayed original image Ia, a teaching input from an operator who designates representative points belonging to the cell area and representative points corresponding to the non-cell area is received (step S202). In the case where there is a clear appearance difference between the cell region and the non-cell region, only representative points belonging to the cell region may be designated.
  • the operator is caused to perform an operation of continuously moving the pointer in the region of the cell C by mouse operation or touch pen input.
  • a plurality of points on the locus can be acquired and collected as the representative points of the cell C.
  • the white arrow in the figure represents a pointer that moves on the screen in conjunction with the user's operation of the mouse or the like.
  • a rectangular region belonging to the cell C, a rectangular region outside the cell, or the like may be designated as a two-dimensional region.
  • the debris D and the background B exist in the image, it is desirable to include both the debris D region and the background B region in the designation of the extracellular region.
  • representative points extracted from the extracellular region include both those having the characteristics of debris D and those having the characteristics of background B. Therefore, in determining the boundary between the cell region and the non-cell region in the feature amount space, information related to the non-cell can be reflected more strongly.
  • the cell C region, the debris D region, and the background B region may be individually designated.
  • the representative points selected from the range thus specified form a cell cluster, a debris cluster, and a background cluster in the feature amount space. Therefore, it is possible not only to divide cells and non-cells but also to divide the region between the background and debris, for example.
  • step S203 the average pixel value in the entire original image Ia is subtracted from the pixel value of each pixel, similarly to the above-described region division processing (step S203).
  • a DCT operation is performed on a virtual block having a (4 ⁇ 4) pixel size including a representative point (step S204), and a low-frequency feature value and a high-frequency feature value are calculated from the DCT coefficient (step S205).
  • the distribution in the two-dimensional feature space when the block including the representative point is taken as a typical example becomes clear. From the result, the boundary between the “cell” region and the “non-cell” region in the two-dimensional feature amount space can be specified (step S206).
  • FIG. 7A and 7B are diagrams illustrating an example of a boundary specifying method in the feature amount space.
  • a cell region and a non-cell region are designated by the user using the method shown in FIG. 6A or 6B, a low-frequency feature value and a high-frequency feature value for several blocks including representative points in those regions. Is required.
  • the cluster (cell cluster) C1 corresponding to the cell C and the other cells are caused by the difference in image characteristics between the cell and the non-cell. It is considered that two clusters are formed with a non-cell, that is, a cluster (non-cell cluster) C2 corresponding to the background B and the debris D.
  • centroid points G1 and G2 of the clusters C1 and C2 are respectively specified, and the vertical bisector L2 of the line segment L1 connecting the centroid points G1 and G2 is divided into cells and non-cells in the feature amount space. It can be a boundary.
  • the set of the low-frequency feature value and the high-frequency feature value representing the image feature of each block is represented as a point close to the cell cluster C1 with respect to the boundary line L2. In this case, it is determined that the block corresponds to the cell C.
  • the feature amount is expressed as a point close to the non-cell cluster C2
  • the block corresponds to a non-cell.
  • the feature space corresponds to the cell C as shown in FIG. 7B.
  • Cluster C1 the cluster C3 corresponding to the background B, and the cluster C4 corresponding to the debris D are formed.
  • the curve L3 can be used as a boundary that separates cells and non-cells.
  • an original image including cells is divided into a plurality of small blocks, and a spatial frequency component for each block is obtained.
  • Blocks are classified according to More specifically, depending on whether the block belongs to a cell cluster in the two-dimensional feature amount space, whether the image of the block corresponds to a cell or other non-cells Is determined.
  • the low-frequency feature value is a feature value representing the brightness and relatively simple structure of the block
  • the high-frequency feature value is a feature value representing a fine texture in the block.
  • the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.
  • the original image is divided into cells and non-cells in units of blocks.
  • the block boundary is automatically created and does not always coincide with the boundary between cells and non-cells in the original image.
  • the original image may be divided in combination with a known contour extraction process. That is, the position of the boundary between the cell region and the non-cell region specified in block units as described above may be corrected based on the result of the contour extraction process.
  • the process of specifying the boundary of the cell cluster in the two-dimensional feature amount space in the above embodiment is merely an example.
  • various clustering methods can be applied.
  • the method for collecting typical examples of cells and non-cells is not limited to the above.
  • the DC component C (0, 0) of the DCT coefficient is used for the low-frequency feature quantity, and the sum of the absolute values of the other DCT coefficients is used for the high-frequency feature quantity. That is, the DCT coefficient of the direct current component is a low frequency feature quantity, and the sum of the absolute values of the DCT coefficients of the alternating current component is a high frequency feature quantity.
  • the frequency for distinguishing the low frequency feature value from the high frequency feature value is not limited to this, and may be a relatively low AC frequency. Further, if there is a method for obtaining an appropriate spatial frequency component other than the DCT calculation, it may be used.
  • the area dividing process is executed by the general-purpose computer apparatus 1.
  • this processing function may be incorporated in the imaging apparatus. It is also possible to extend the function by additionally mounting a program for executing the area division processing of the present embodiment on an existing imaging apparatus.
  • the DC component intensity of the spatial frequency components is set as the first feature amount, and the total AC component intensity is set as the second feature value. It can be an amount.
  • the direct current component represents the average brightness of the block
  • the alternating current component represents a change in brightness within the block, that is, a texture. Therefore, the image is divided into regions based on the feature amount indicating the brightness and texture in the block, and the region division can be performed with higher accuracy than simple binarization processing and contour extraction processing.
  • two-dimensional discrete cosine transform based on the pixel value of the pixel included in the block can be executed, and the intensity of each frequency component can be obtained as a discrete cosine transform coefficient of the frequency component.
  • Such processing is also used for JPEG image compression processing, and an arithmetic algorithm has already been established. Therefore, this can be applied to the present invention.
  • the two-dimensional discrete cosine transform can be executed based on a value obtained by subtracting the average pixel value of the entire original image from the pixel value of each pixel. Since an image obtained by capturing cells that are nearly transparent has a small distribution range of pixel values, the level shift for the discrete cosine transform calculation is preferably performed using the average pixel value of the entire original image.
  • the sum of the intensities of a plurality of frequency components can be obtained as the sum of absolute values of discrete cosine transform coefficients of each frequency component. Since the discrete cosine transform coefficient can take either a positive or negative value, a simple sum may cancel each frequency component and not obtain a good result. By taking the sum of absolute values, this problem can be solved.
  • each of the blocks can be a square whose side size corresponds to 4 pixels.
  • the block size is 8 pixels.
  • a better result can be obtained when the block size is set to 4 pixels in the present invention which is not intended for image compression / decompression.
  • the step of converting the pixel size of the original image from the original pixel size when the original image was acquired to a pixel size for block division different from the original pixel size can be provided.
  • the preferred pixel size at the time of calculation depends on the size of an object in the image, such as a cell.
  • the pixel size for this does not necessarily match the preferable pixel size at the time of imaging.
  • the pixel size can be optimized individually by converting the pixel size.
  • a step of receiving a teaching input from a user regarding a point belonging to a cell and a point belonging to a background in the original image, and at least one block including a point belonging to the cell based on a result of the teaching input A step of obtaining a first feature amount and a second feature amount for each of at least one block including a point belonging to the background and specifying a range of cell clusters in the two-dimensional feature amount space based on the result. Can be provided. According to such a configuration, even when the cell type and imaging conditions are not constant, it is possible to stably divide the area between the cell and the other area.
  • the original image can be an image obtained by bright-field imaging of cells.
  • cells are almost transparent and have a small difference in refractive index from the culture medium. Therefore, it is difficult to distinguish between cells and non-cells by visual observation in a bright-field captured image.
  • the present invention By applying the present invention to such an image, it becomes possible to divide the cell region and the other region in the image well and stably.
  • the present invention is applicable to biochemistry and medical fields in which cells are imaged and images are evaluated, and in particular, a technical field that requires imaging without performing processing that damages cultured cells. It is suitable for.

Abstract

細胞と背景とを含む画像から細胞の領域とそれ以外の領域とを適切に分割するため、本発明に係る画像処理方法は、培養された細胞と背景とを共に含む原画像を取得する工程（ステップＳ１０１）と、原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分を求める工程（ステップＳ１０４～Ｓ１０６）と、予め定められた周波数以下の低周波数成分の強度の合計を第１の特徴量とし、低周波数成分より高い周波数の高周波数成分の強度の合計を第２の特徴量とする二次元特徴量空間において、ブロックの各々を、細胞に対応する細胞クラスタに属するものとそれ以外とに分類する工程（ステップＳ１０７、Ｓ１０８）と、原画像を、細胞クラスタに分類されたブロックが占める領域とそれ以外の領域とに分割する工程（ステップＳ１０９）とを備える。

Description

画像処理方法、コンピュータプログラムおよび記録媒体
　この発明は、培養環境下で撮像された細胞とその背景とを含む画像から、細胞の領域とそれ以外の領域とを分割する画像処理技術に関するものである。
　培養環境下で細胞を含んで撮像された画像においては、本来の撮像対象物である細胞の領域とその背景に当たる領域とが画像内で区別される場合がある。例えば細胞の大きさを求めるために、細胞と背景との境界を画定させる必要がある。従来、例えば細胞を薬剤で染色したり蛍光試薬を投入したりすることで細胞の領域を特定することが行われてきた。しかしながら、例えば細胞の変化を経時的に観察する等の目的で、撮像対象である細胞を改変するような処理を用いずに細胞領域を特定することが求められる場合がある。
　培地中の細胞は透明に近く屈折率も水とあまり違わない。そのため、撮像された画像においては細胞と背景との境界が不明瞭であることも多い。この問題に対応するため、本願出願人はこれまでに、特に細胞の輪郭が明瞭に現れた画像を得ることのできる明視野撮像技術を提案している（例えば、特許文献１参照）。画像における細胞と背景との区別には、例えば細胞と背景との輝度の差を利用した２値化処理、細胞輪郭を抽出するためのエッジ検出などの画像処理技術が利用可能である。
特開２０１６－０７１５８８号公報
　培養環境下の細胞を経時的に観察する場合、培養の初期段階では撮像された画像に含まれるのは、細胞と、概ね一様な背景となる培地とである。このため細胞と背景との識別は比較的容易である。しかしながら、培養が進むにつれて、細胞から排出される老廃物や死んだ細胞の残骸など（以下、「デブリ」と総称する）が撮像対象である細胞の周りに現れ、画像に含まれるようになってくる。このため、２値化や輪郭抽出などの単純な処理では細胞とデブリとを適切に識別することが困難である。
　この発明は上記課題に鑑みなされたものであり、細胞と背景とを含む画像から細胞の領域とそれ以外の領域とを適切に分割することのできる技術を提供することを目的とする。
　この発明に係る画像処理方法の一の態様は、上記目的を達成するため、培養された細胞と背景とを共に含む原画像を取得する工程と、前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分をブロックごとに求める工程と、予め定められた周波数以下の低周波数成分の強度の合計を第１の特徴量とし、前記低周波数成分より高い周波数の高周波数成分の強度の合計を第２の特徴量とし、前記第１の特徴量および前記第２の特徴量からなる二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するものとそれ以外とに分類する工程と、前記原画像を、前記細胞クラスタに分類された前記ブロックが占める領域とそれ以外の領域とに分割する工程とを備えている。
　このように構成された発明では、画像内における局所的な空間周波数成分の分布に基づいて画像が分割される。すなわち、画像がブロックに分割され、ブロックごとの空間周波数成分が求められる。空間周波数成分のうち低周波成分は当該ブロックにおける緩やかな輝度変化を、高周波成分はより細かな輝度変化の状態をそれぞれ表す。なお低周波成分の中でも、特に直流成分は当該ブロック全体の平均的な輝度を表す。したがって、このようにブロックを空間周波成分ごとの強度で表現した場合、低周波成分は当該ブロックの明るさを、また高周波成分はブロック内のテクスチャをそれぞれ反映したものとなる。
　これらを当該ブロックの特徴量として扱ったとき、二次元特徴量空間内で占める位置を考えると、細胞の領域に該当するブロックと、背景に該当するブロックとではその分布に有意な差が現れ、互いに独立したクラスタを形成する。画像にデブリが含まれる場合には、これに該当するブロックは細胞、背景のいずれとも異なるクラスタを形成する。このことを利用し、特徴量空間において細胞クラスタに属するブロックが原画像において占める位置を細胞の領域とみなすこととする。そうすれば、デブリの影響を受けることなく原画像から細胞の領域を的確に抽出することが可能となる。
　本発明に係る画像処理方法は、コンピュータをその実行主体とすることが可能なものである。この意味において、本発明は、コンピュータに上記処理を実行させるためのコンピュータプログラムとして実現することが可能である。また、当該コンピュータプログラムを記録した記録媒体として実現することも可能である。
　上記のように、本発明の画像処理方法によれば、原画像を分割したブロックの各々について、当該ブロック内の画像が有する空間周波数成分の特徴に基づき、当該ブロックが細胞に相当するものか否かが評価される。このため、細胞と背景とを含む画像から、細胞の領域とそれ以外の領域とを適切に分離することが可能である。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本実施形態の領域分割処理を示すフローチャートである。 この実施形態の領域分割処理を実行するコンピュータ装置の構成例である。 原画像の例を示す第１の図である。 原画像の例を示す第２の図である。 原画像の例を示す第３の図である。 ＤＣＴ演算の概念を示す図である。 判定基準を策定するための処理を示すフローチャートである。 処理過程における指示入力態様を例示する第１の図である。 処理過程における指示入力態様を例示する第２の図である。 処理過程における指示入力態様を例示する第３の図である。 特徴量空間における境界特定方法の例を示す第１の図である。 特徴量空間における境界特定方法の例を示す第２の図である。
　以下、本発明に係る画像処理方法の一実施形態について説明する。この実施形態における画像処理は、培地中で培養された細胞または細胞の集合体を撮像した画像から、細胞の領域を抽出する領域分割処理である。この画像処理は、細胞を含む試料を撮像する撮像機能を備えた撮像装置によって撮像された、未加工の原画像に対してなされる。撮像装置が撮像後の画像データに対する後処理の１つとして本画像処理を実行することができる。また撮像装置あるいは適宜の記憶手段から画像データを受け取ったコンピュータ装置が、本画像処理を実行してもよい。
　ここでは、既に実行された撮像により生成された原画像データに対し、汎用のコンピュータ装置が本実施形態の画像処理を実行する態様を例示して説明する。撮像装置の構成については特に限定されず、培養された細胞を含む試料を培地とともに撮像し、デジタル画像データとして出力する機能を有するものであればよい。また画像は明視野撮像画像であることが好ましい。また、コンピュータ装置についても、例えばパーソナルコンピュータとして製品化されている一般的なハードウェア構成を有するものを利用可能である。以下ではこれらのハードウェアについての詳しい説明を省略する。
　図１は本実施形態の領域分割処理を示すフローチャートである。まず、図１を参照してこの実施形態における領域分割処理の概略について説明する。その後で、処理の具体的内容について詳しく説明する。コンピュータ装置は、原画像を取得する（ステップＳ１０１）。原画像は、培地中で培養された細胞を含む試料を適宜の撮像装置および撮像条件で明視野撮像することにより得られる画像であり、少なくとも１つの細胞の全体を含むものとする。したがって、原画像は少なくとも１つの細胞と、その周囲の細胞以外のデブリや背景等とを含み得る。
　取得された原画像については、解像度変換が必要であるか否かが判断される（ステップＳ１０２）。解像度変換は、撮像時の原画像の画素サイズを領域分割処理に適した画素サイズに変換する処理である。必要と判断された場合には解像度変換が実行される（ステップＳ１０３）。
　以下の説明においては、解像度変換前の画像、変換後の画像のいずれについても「原画像」と称する。また、特に断りなく単に「画素」というとき、ステップＳ１０４以降の処理に供される原画像の画素を指すものとする。解像度変換が実行されていれば変換後の画素が、また解像度変換が実行されていなければ撮像時の画素が、ここでいう「画素」である。なお特に区別する必要があるとき、変換前の（つまり撮像時の）画素を「原画素」と称することがある。すなわち、「原画素」は、解像度変換が実行されたか否かに関わらず撮像時の画素を意味するものとする。
　原画像は複数のブロックに分割される（ステップＳ１０４）。この実施形態では、原画像における４画素×４画素の正方形が１つのブロックとされる。解像度変換が行われたときには、上記した通り、ここでいう画素は変換後の画素である。１ライン分の画素数が１ブロックの１辺の画素数４で割り切れない場合には、原画像の端部において処理に算入されない画素が生じてもよい。また、このような端数が出ないように原画像の端部を予め切除しておいてもよい。
　次に、各画素の画素値から、原画像全体における平均画素値がオフセット値として減算される（ステップＳ１０５）。この処理は、後の演算の便宜のためのレベルシフトのためのものである。画素値が例えば８ビットデータとして表されている場合、各画素は０から２５５までの２５６段階の値を取り得る。平均画素値を減算することにより、画素値として負の値を取る画素も出現することになる。
　こうして分割されたブロックの各々について、空間周波数成分が求められる。この目的のために、本実施形態では二次元の離散コサイン変換（Discrete Cosine Transform；以下「ＤＣＴ」と略称する）演算が利用される（ステップＳ１０６）。例えばＪＰＥＧ（Joint Photographic Experts Group）画像圧縮技術における処理と同様に、二次元ＤＣＴ演算により、各ブロックの画像内容が二次元の空間周波数成分に分解される。
　当該ブロックの画像内容は、各周波数成分を合成することによって再現することが可能である。画像の内容により、周波数成分ごとの強度が異なる。ＪＰＥＧ方式の画像圧縮理論において知られているように、各周波数成分の強度は、ＤＣＴ演算により得られるＤＣＴ係数として求められる。
　空間周波数成分のうち低周波成分は、ブロック内の画像における緩やかな明るさの変化を表す。特に、このうち直流成分は、当該ブロックの明るさの平均値に相当する。一方、高周波成分はより細かい明るさの変化を表しており、ブロック内の画像のテクスチャに関する情報を持つ。そこで、求められたＤＣＴ係数に基づき、ある空間周波数より低い周波数成分の合計値が、当該ブロックの明るさに対応する特徴量（第１の特徴量）とされる。またこれより高い周波数成分の合計値が、当該ブロックのテクスチャに対応する特徴量（第２の特徴量）とされる。これら２種類の特徴量がそれぞれ算出される（ステップＳ１０７）。
　こうすることで、１つのブロックを、明るさを示す低周波特徴量とテクスチャを示す高周波特徴量とによって表現することができる。一例として、画像の空間周波数成分を直流成分と交流成分とに分けることができる。この場合、直流成分をブロックの明るさを表す特徴量（第１の特徴量）として、また交流成分をブロック内のテクスチャを表す特徴量（第２の特徴量）とすることができる。
　こうして各ブロックの画像の特徴が、明るさを表す低周波特徴量とテクスチャを表す高周波特徴量とにより表現される。これらの特徴量で表されるブロックが、細胞内領域の特徴と、それ以外の領域の特徴とのいずれを強く有しているかによって、当該ブロックが細胞に対応するものかそれ以外の非細胞に対応するかが判定される（ステップＳ１０８）。ブロックごとに当該ブロックが細胞に相当するか非細胞に相当するかが判定され、その結果に基づき、原画像が細胞の領域と非細胞の領域とに分割される（ステップＳ１０９）。以上が本実施形態の領域分割処理の概要である。
　図２はこの実施形態の領域分割処理を実行するコンピュータ装置の構成例である。コンピュータ装置１は、例えばパーソナルコンピュータとして一般的な構成を有するものであり、ＣＰＵ（Central Processing Unit）１０、メモリ１４、ストレージ１５、入力デバイス１６、表示部１７、インターフェース１８およびディスクドライブ１９などを備えている。
　ＣＰＵ１０は、予め用意された制御プログラムを実行することで、領域分割処理を実行するための各機能ブロック、すなわち画像加工部１１、ＤＣＴ演算部１２および分類部１３などの機能ブロックをソフトウェア的に実現する。なお、これらの少なくとも一部が専用ハードウェアにより構成されてもよい。メモリ１４はＣＰＵ１０の演算過程で生成される各種データを一時的に記憶する。ストレージ１５は、ＣＰＵ１０が実行すべき制御プログラムのほか、原画像の画像データや処理後の画像データ等を長期的に記憶する。
　入力デバイス１６は、オペレータからの指示入力を受け付けるためのものであり、例えばマウス、キーボードなどを含む。また、表示部１７は画像を表示する機能を有する例えば液晶ディスプレイであり、原画像や処理後の画像、オペレータへのメッセージ等種々の情報を表示する。なお、入力デバイスと表示部とが一体化されたタッチパネルが設けられてもよい。
　インターフェース１８は、電気通信回線を介して外部装置との間で各種データ交換を行う。ディスクドライブ１９は、画像データや制御プログラム等各種のデータを記録した外部の記録ディスク２を受け入れる。記録ディスク２に記憶された画像データや制御プログラム等は、ディスクドライブ１９により読み出され、ストレージ１６に記憶される。ディスクドライブ１９は、コンピュータ装置１内で生成されたデータを記録ディスク２に書き込む機能を備えていてもよい。
　本実施形態の領域分割処理をコンピュータ装置１に実行させるための制御プログラムについては、これを記録した記録ディスク２にディスクドライブ１９がアクセスして読み出される態様とすることができる。また、インターフェース１８を介して外部装置から与えられる態様であってもよい。原画像データについても同様である。
　画像加工部１１は、原画像の解像度変換、ブロック分割および最終的な画像の領域分割等の画像処理を実行する。また、ＤＣＴ演算部１２は、上記したＤＣＴ演算をブロックごとに実行して空間周波数成分を求める。分類部１３は、ブロックごとに求められた特徴量に基づき、各ブロックを細胞に対応するものとそれ以外とに分類する。
　図３Ａないし図３Ｃは原画像の例を示す図である。図３Ａに示すように、ステップＳ１０１において取得された原画像Ｉａが、画像オブジェクトとして細胞Ｃと、その周囲に分布するデブリＤと、培地に対応する背景Ｂとを含むものであったとする。図において画像の横方向座標をＸ座標、縦方向座標をＹ座標とする。これらの画像オブジェクトの形状および濃淡は単に一例を示したものであり、実際に得られる画像では種々の形状および濃淡を取り得る。なおデブリは常に存在するとは限らず、細胞Ｃと背景Ｂとで原画像が構成される場合もあり得る。また、画像が細胞Ｃと、これを取り巻くデブリＤとで占められ、培地に対応する背景が含まれない場合もあり得る。また、培地の量や撮像時の照明条件等により、背景Ｂの明るさも常に同じとは限らない。
　これらのことから、画像の中での細胞の領域とそれ以外の領域との配置や濃淡等の関係は、原画像ごとに異なっていると考えるべきである。ここに説明する画像処理は、これらの関係によらず成立するものである。この実施形態における領域分割処理の基本的な考え方は、原画像Ｉａを小さなブロックに分割し、各ブロックが有する空間周波数成分に基づいて、当該ブロックが細胞Ｃの画像特徴を強く有しているか、それ以外の特徴を強く有しているかを判定するというものである。
　この領域分割処理では、原画像Ｉａが所定サイズを有する正方形のブロックに分割されて処理される。図３Ｂにおいて符号Ｐは１つの画素を示す。図３Ｂに示すように、１つのブロックＢＬはＸ方向およびＹ方向に４画素ずつ、計１６の画素Ｐからなる正方形の領域である。ブロックＢＬの大きさは、画像中の抽出対象となる細胞Ｃの大きさに応じて設定されることが望ましい。
　ブロックサイズが小さすぎると、１つのブロックは細胞のごく一部のみを含むこととなる。このため、画像において細胞が有する特徴的な性質を十分に処理に反映させることができず、領域分割の精度低下を招く。また、ブロックサイズが大きすぎると、１つのブロックに細胞の特徴とそれ以外のオブジェクトの特徴とが混在することになり、やはり精度低下の原因となる。本願発明者の知見では、ブロックＢＬの大きさは、画像中の抽出対象となる細胞Ｃの内部に概ね１つのブロックが入る程度に選ばれるのが好ましい。
　細胞Ｃが例えばヒトの体細胞である場合、その直径は概ね１０μｍ～２０μｍ程度である。したがって、ブロックＢＬの大きさも、試料サイズに換算したときの１辺の長さがこれと同程度か少し小さいことが好ましい。このことから１つの画素Ｐのサイズは、１辺が２．５μｍ～５μｍまたはこれより少し小さいことが好ましい。
　撮像における解像度を例えば６４００ｄｐｉ（dots per inch）とすると、画素サイズは約４μｍである。また、解像度を１６０００ｄｐｉとすると、画素サイズは約１．６μｍである。このことから、上記した画素Ｐのサイズを得るために必要な解像度としては６４００ｄｐｉないし１６０００ｄｐｉが好適である。ただし、これらは本実施形態の領域分割処理を行うのに適した値である。撮像時にはこれに制約されずできるだけ高い解像度で撮像を行うことが基本である。
　例えば３２０００ｄｐｉ（画素サイズ０．８μｍ）の解像度で原画像の撮像が可能であるとき、領域分割処理の都合のために敢えて撮像時の解像度を低下させる必然性はない。この場合、図３Ｃに示すように、撮像時の原画像Ｉａにおける４画素を擬似的に１つの画素Ｐとみなし、それらの平均画素値を当該画素Ｐの画素値とする。こうすることで、撮像時の解像度を低下させることなく、かつ領域分割処理に適した画素サイズ（１．６μｍ）を得ることができる。本実施形態ではこのような処理を「解像度変換」と称している。
　解像度変換が必要であるか否かは、撮像時の画素サイズと処理対象である細胞Ｃのサイズとの関係によって決まる。これらの関係が予めわかっている場合には、その既知の関係から解像度変換が必要であるか否かを判断することができる。また、解像度変換を行うかどうかをユーザからの指示入力に基づいて決定するようにしてもよい。必要と判断された場合には解像度変換が実行される（ステップＳ１０３）。
　解像度変換が行われたとき、ステップＳ１０４では、変換後の画像における４画素×４画素の正方形が１つのブロックＢＬとされる。解像度変換が行われていなければ、原画像Ｉａの撮像時の画像における４画素×４画素の正方形が１つのブロックＢＬとされる。Ｘ方向およびＹ方向の少なくとも一方において、１ライン分の画素数が１ブロックの１辺の画素数４で割り切れない場合には、原画像の端部において処理に算入されない画素が生じてもよい。また、このような端数が出ないように原画像の端部を予め切除しておいてもよい。
　次に、各画素の画素値から、原画像Ｉａ全体における平均画素値がオフセット値として減算される（ステップＳ１０５）。画素値が例えば８ビットデータとして表されている場合、各画素は０から２５５までの２５６段階の値を取り得る。平均画素値を減算することにより、画素値として負の値を取る画素も出現することになる。本願発明者の知見では、細胞画像では、画像における最大画素値と最小画素値との差が比較的小さいため、各画素から画像全体の平均画素値を差し引くことで、各画素値の正負のバランスが良好なものとなる。各画素Ｐの画素値をｐ（Ｘ，Ｙ）、平均画素値をｐavとするとき、減算後の画素Ｐの画素値ｇ（Ｘ，Ｙ）は次式（式１）で表される。
Figure JPOXMLDOC01-appb-M000001
　こうして分割されたブロックごとに、ＤＣＴ演算が実行される（ステップＳ１０６）。ＤＣＴ演算により、各ブロックの画像内容が、Ｘ方向およびＹ方向それぞれについて２次元の空間周波数成分に分解される。ＤＣＴ演算処理は、ＪＰＥＧ方式の画像圧縮処理でも利用されているように広く知られたものである。このため、以下ではＪＰＥＧ画像圧縮処理と同じ考え方を適用することができる事項については説明を省略する。
　図４はＤＣＴ演算の概念を示す図である。図左は、原画像の一部であって（４×４）画素からなる、１つのブロックＢＬを表している。原画像での座標位置と区別してブロック内での各画素の位置を表すために小文字を用い、横方向座標をｘ座標、縦方向座標をｙ座標とする。ＤＣＴ演算は、ブロックＢＬ内の各画素の画素値ｇ（ｘ，ｙ）から、図右に示す４行×４列のＤＣＴ係数テーブルＴを求める演算と考えることができる。
　ＤＣＴ係数テーブルＴにおける行位置ｕ（ｕ＝０，１，２，３）はｘ方向における空間周波数成分を表し、具体的には、ｕ＝０は直流成分を、ｕ＝１は基本周波数成分を、ｕ＝２，３はそれぞれ基本周波数の２倍、３倍の成分を表す。同様に、列位置ｖ（ｖ＝０，１，２，３）はｙ方向における空間周波数成分を示している。また、ｖ＝０は直流成分を、ｖ＝１は基本周波数成分を、ｖ＝２，３はそれぞれ基本周波数の２倍、３倍の成分を表す。
　各周波数成分の強度を表すＤＣＴ係数Ｃ（ｕ，ｖ）は、次式（式２）により表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、定数Ｎはブロックサイズであり、ＪＰＥＧ方式では、Ｎ＝８、すなわち（８×８）画素が１ブロックとされるが、前述したように、この実施形態では（４×４）画素を１ブロックとしているので、Ｎ＝４である。本願発明者の知見では、画像の圧縮・復元を目的とせずＤＣＴ係数を特徴量として利用する本処理方法では、ブロックサイズを（４×４）画素とした方が良好な結果が得られている。またこうすることで演算量も削減することができ、高速化にも適している。
　ＤＣＴ係数テーブルＴを構成するＤＣＴ係数Ｃ（ｕ，ｖ）のうち、予め定められた周波数以下の低周波の成分、例えば直流成分を表す係数Ｃ（０，０）が低周波特徴量とされる。また、それ以外の係数の合計が高周波特徴量とされる。なお、ＤＣＴ係数は正負いずれの値も取り得る。合計時にそれらの値が相殺されることを回避するためには、例えばＤＣＴ係数の合計を、各ＤＣＴ係数の絶対値の和として求めればよい。
　このようにして求められた低周波特徴量と高周波特徴量とに基づき、各ブロックが「細胞」に相当するか「非細胞」に相当するかが判定される（ステップＳ１０８）。この判定は、低周波特徴量と高周波特徴量とで構成される二次元特徴量空間において当該ブロックが占める位置に基づいてなされる。判定を行うためには、その判定基準、具体的には二次元特徴量空間において「細胞」の特徴が占める範囲を特定しておく必要がある。
　複数の撮像の間で、撮像される細胞の種類、培地の種類および量、撮像条件（撮像倍率や照明強度など）等が固定されている場合には、同じ条件で撮像された典型的な細胞の画像を事例として多数収集し、適宜の機械学習アルゴリズムを用いることで、二次元特徴量空間において細胞クラスタが占める範囲を予め特定しておくことができる。この場合、未知の原画像から選出されたブロックの特徴量が、細胞クラスタに属するか否かによって、当該ブロックが細胞に対応するか非細胞に対応するかを判定することが可能である。
　ただし、一般的には、撮像条件等は原画像ごとに異なる。このため、より精度の高い判定を行うためには、処理対象である原画像から読み取れる情報から判定基準を策定することができると便利である。以下、その方法の一例について説明する。
　図５は判定基準を策定するための処理を示すフローチャートである。また、図６Ａないし図６Ｃは処理過程における指示入力態様を例示する図である。この処理は、取得された原画像Ｉａのうち細胞および非細胞それぞれの特徴を強く有する典型例についてオペレータから教示を受け、受け付けた情報から、二次元特徴量空間における細胞と非細胞との境界を特定するものである。この処理は、コンピュータ装置１が原画像Ｉａを取得した時（ステップＳ１０１）以降で、ブロックの分類（ステップＳ１０８）を開始するまでの任意のタイミングで実行することができる。処理は、ＣＰＵ１０がストレージ１５に記憶されている制御プログラムを実行することにより実現される。
　最初に、取得された原画像Ｉａが表示部１７に表示されオペレータに提示される（ステップＳ２０１）。そして、表示された原画像Ｉａの中で、細胞の領域に属する代表点と、非細胞の領域に対応する代表点とを指定するオペレータからの教示入力を受け付ける（ステップＳ２０２）。なお、細胞の領域と非細胞の領域とがはっきりした外見上の差異を有している場合には、細胞の領域に属する代表点のみが指定されてもよい。
　精度向上のために、代表点は複数指定されることが望ましい。そこで、図６Ａに示すように、例えば、マウス操作あるいはタッチペン入力等により細胞Ｃの領域内で連続的にポインタを動かす動作をオペレータに実行させる。こうすることで、その軌跡上の複数の点を細胞Ｃの代表点として取得収集することができる。図における白抜き矢印は、ユーザによるマウス等の操作に連動して画面上で移動するポインタを表している。
　また、図６Ｂに点線で示すように、細胞Ｃ内に属する矩形領域、細胞外の矩形領域等を二次元の領域として指定させてもよい。画像内にデブリＤと背景Ｂとが存在する場合、細胞外の領域の指定においてはデブリＤの領域と背景Ｂの領域との両方を含ませることが望ましい。こうすることにより、細胞外の領域から抽出される代表点にはデブリＤの特徴を有するものと背景Ｂの特徴を有するものとがともに含まれることとなる。そのため、特徴量空間における細胞の領域と非細胞の領域との境界を決めるに当たり、非細胞に関する情報をより強く反映させることができる。
　また、図６Ｃに点線で示すように、細胞Ｃの領域、デブリＤの領域、背景Ｂの領域それぞれを個別に指定させるようにしてもよい。こうして指定された範囲から選出される代表点は、特徴量空間において細胞クラスタ、デブリクラスタおよび背景クラスタをそれぞれ形成することとなる。そのため、細胞と非細胞とを分割するだけでなく、例えば背景とデブリとの間で領域分割を行うことも可能となる。
　こうしていくつかの代表点が指定されると、上記した領域分割処理と同様に、各画素の画素値から原画像Ｉａ全体における平均画素値が減算される（ステップＳ２０３）。代表点を含む（４×４）画素サイズの仮想的なブロックにつきＤＣＴ演算が実行され（ステップＳ２０４）、ＤＣＴ係数から低周波特徴量および高周波特徴量が算出される（ステップＳ２０５）。これにより、代表点を含むブロックを典型例としたときの二次元特徴量空間における分布が明らかになる。その結果から、二次元特徴量空間における「細胞」の領域と「非細胞」の領域との境界を特定することができる（ステップＳ２０６）。
　境界の特定には、特徴量の値に基づく特徴量空間におけるクラスタリング技術として知られている種々の方法を適宜選択して使用することができる。ただし、典型例の数があまり多くないことから、複雑な学習アルゴリズムを適用する利点は少ない。このため以下に説明するような、より簡易な方法を用いることも可能である。
　図７Ａおよび図７Ｂは特徴量空間における境界特定方法の例を示す図である。図６Ａまたは図６Ｂに示した方法を用いて、ユーザにより細胞領域と非細胞領域とが指定されると、それらの領域内の代表点を含むいくつかのブロックにつき低周波特徴量および高周波特徴量が求められる。各ブロックを二次元特徴量空間にプロットすると、図７Ａに示すように、細胞および非細胞それぞれの画像特徴の差異に起因して、細胞Ｃに対応するクラスタ（細胞クラスタ）Ｃ１と、それ以外の非細胞、すなわち背景ＢおよびデブリＤに対応するクラスタ（非細胞クラスタ）Ｃ２との２つのクラスタが形成されると考えられる。
　これらのクラスタＣ１、Ｃ２の重心点Ｇ１、Ｇ２をそれぞれ特定し、これらの重心点Ｇ１、Ｇ２を結ぶ線分Ｌ１の垂直二等分線Ｌ２を、特徴量空間において細胞と非細胞とを区分する境界とすることができる。領域分割処理におけるブロックごとの判定（ステップＳ１０８）においては、各ブロックの画像特徴を表す低周波特徴量と高周波特徴量との組が、境界線Ｌ２に対し細胞クラスタＣ１に近い点として表される場合には当該ブロックは細胞Ｃに対応すると判定される。一方、特徴量が非細胞クラスタＣ２に近い点として表される場合には、当該ブロックは非細胞に対応すると判定される。
　図６Ｃに示すように、細胞Ｃに対応する領域、背景Ｂに対応する領域およびデブリＤに対応する領域がそれぞれ指定されるケースでは、図７Ｂに示すように、特徴量空間では細胞Ｃに対応するクラスタＣ１、背景Ｂに対応するクラスタＣ３およびデブリＤに対応するクラスタＣ４が形成される。細胞クラスタＣ１を他のクラスタから明確に分離することのできる適宜の直線または曲線Ｌ３を特定することで、当該曲線Ｌ３を細胞と非細胞とを区分する境界とすることができる。
　以上のように、この実施形態の領域分割処理では、細胞を含む原画像を複数の小ブロックに分割し、ブロックごとの空間周波数成分を求める。そして、低周波成分の強度に基づく低周波特徴量（第１の特徴量）と、高周波成分の強度に基づく高周波特徴量（第２の特徴量）との組が二次元特徴量空間において占める位置に応じてブロックが分類される。より具体的には、当該ブロックが二次元特徴量空間において細胞クラスタに属するものであるか否かによって、当該ブロックの画像が細胞に対応するものかそれ以外の非細胞に対応するものであるかが判定される。
　低周波特徴量はブロックの明るさおよび比較的単純な構造を、また高周波特徴量はブロック内の細かいテクスチャをそれぞれ表す特徴量である。このように明るさとテクスチャとを総合的に評価することで、単なる２値化処理や輪郭抽出処理による領域分割よりも優れた精度で、画像内の細胞と非細胞とを区分することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における原画像の領域分割（ステップＳ１０９）では、原画像がブロック単位で細胞と非細胞とに分割されることになる。しかしながら、ブロック境界は自動的に策定されたものであり、原画像における細胞と非細胞との境界に一致するとは限らない。このことに鑑み、例えば公知の輪郭抽出処理と組み合わせて原画像の分割が行われてもよい。すなわち、上記のようにしてブロック単位で特定された細胞領域と非細胞領域との境界の位置を、輪郭抽出処理の結果によって修正するようにしてもよい。
　また、上記実施形態における二次元特徴量空間での細胞クラスタの境界を特定する処理は単なる例示である。これ以外にも各種のクラスタリング方法を適用することが可能である。また、細胞および非細胞の典型例を収集する方法についても、上記に限定されるものではない。
　また、上記実施形態では、低周波特徴量についてはＤＣＴ係数の直流成分Ｃ（０，０）を、高周波特徴量についてはそれ以外のＤＣＴ係数の絶対値の和を用いている。つまり、直流成分のＤＣＴ係数を低周波特徴量とし、交流成分のＤＣＴ係数の絶対値の和を高周波特徴量としている。しかしながら、低周波特徴量と高周波特徴量とを区別する周波数はこれに限定されず、比較的低い交流周波数であってもよい。また、ＤＣＴ演算以外にも適宜の空間周波数成分を求める方法があれば、それが利用されてもよい。
　また、上記実施形態では、汎用のコンピュータ装置１によって領域分割処理が実行されているが、前述したように例えば撮像装置にこの処理機能が組み込まれていてもよい。また、既存の撮像装置に本実施形態の領域分割処理を実行するためのプログラムを追加的に実装して機能拡張を行うことも可能である。
　また、上記説明では画素のサイズやブロックサイズの具体的数値を例示しているが、本実施形態の領域分割処理は、これらの数値範囲外の条件であっても実行することが可能である。
　以上、具体的な実施形態を例示して説明してきたように、本発明においては、空間周波数成分のうち直流成分の強度を第１の特徴量とし、交流成分の強度の合計を第２の特徴量とすることが可能である。空間周波数成分のうち直流成分はブロックの平均的な明るさを表し、交流成分はブロック内での明るさの変化態様、すなわちテクスチャを表す。したがって、ブロック内の明るさとテクスチャとを指標する特徴量に基づき画像を領域分割することとなり、単なる２値化処理や輪郭抽出処理よりも精度の高い領域分割が可能となる。
　また、ブロックごとに、当該ブロックに含まれる画素の画素値に基づく二次元離散コサイン変換を実行し、各周波数成分の強度を当該周波数成分の離散コサイン変換係数として求めることができる。このような処理はＪＰＥＧ方式の画像圧縮処理にも利用されており、演算アルゴリズムが既に確立されているため、本発明にもこれを適用することができる。
　この場合、画素それぞれの画素値から原画像全体の平均画素値を減じた値に基づき二次元離散コサイン変換を実行することができる。透明に近い細胞を撮像した画像では画素値の分布幅が小さいため、離散コサイン変換演算のためのレベルシフトは、原画像全体の平均画素値を用いて行われるのが好ましい。
　また、複数の周波数成分の強度の合計は、各周波数成分の離散コサイン変換係数の絶対値の和として求めることができる。離散コサイン変換係数は正負いずれの値をも取り得るため、単純な合計では各周波数成分が相殺されて良好な結果を得られないおそれがある。絶対値の和を取ることにより、この問題を解消することができる。
　また、ブロックの各々は、１辺のサイズが４画素に相当する正方形とすることができる。ＪＰＥＧ方式の画像圧縮ではブロックサイズは８画素とされている。しかしながら、本願発明者の知見では、画像の圧縮・復元を目的としない本発明においてはブロックサイズを４画素とした方が良好な結果が得られる。
　また、原画像をブロックに分割するのに先立って、原画像の画素サイズを、当該原画像を取得したときの原画素サイズから、原画素サイズと異なるブロック分割用の画素サイズに変換する工程をさらに設けることができる。細胞とそれ以外の非細胞との間における明るさやテクスチャの違いを利用して領域分割を行う本発明では、演算時の好ましい画素サイズが例えば細胞等、画像中のオブジェクトのサイズに依存する。このための画素サイズは撮像時の好ましい画素サイズとは必ずしも一致しない。しかしながら、画素サイズの変換を行うことにより、それぞれ個別に画素サイズの最適化を図ることができる。
　また、分類に先立って、原画像中で細胞に属する点と背景に属する点とに関するユーザからの教示入力を受け付ける工程と、教示入力の結果に基づき、細胞に属する点を含む少なくとも１つのブロックと、背景に属する点を含む少なくとも１つのブロックとのそれぞれについて第１の特徴量および第２の特徴量を求め、その結果に基づき二次元特徴量空間における細胞クラスタの範囲を特定する工程とをさらに設けることができる。このような構成によれば、細胞の種類や撮像条件が一定でない場合でも、細胞とそれ以外との領域の分割を安定的に行うことが可能である。
　また、原画像は細胞を明視野撮像することで得られた画像とすることができる。一般に細胞は透明に近く、また培地との屈折率の差も小さいため、明視野撮像画像では目視による細胞と非細胞との区別がつきにくい。このような画像に本発明を適用することで、画像中の細胞の領域とそれ以外の領域とを良好にかつ安定的に分割することが可能となる。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　本発明は、細胞を撮像し画像を評価する生化学や医療の分野に適用可能であり、特に培養されている細胞にダメージを与えるような加工を行うことのない撮像が必要とされる技術分野に好適なものである。
　１　コンピュータ装置
　２　記録ディスク（記録媒体）
　Ｂ　背景
　ＢＬ　ブロック
　Ｃ　細胞
　Ｄ　デブリ
　Ｉａ　原画像

Claims (11)

  1. 　培養された細胞と背景とを共に含む原画像を取得する工程と、
    　前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分をブロックごとに求める工程と、
    　予め定められた周波数以下の低周波数成分の強度の合計を第１の特徴量とし、前記低周波数成分より高い周波数の高周波数成分の強度の合計を第２の特徴量とし、前記第１の特徴量および前記第２の特徴量からなる二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するものとそれ以外とに分類する工程と、
    　前記原画像を、前記細胞クラスタに分類された前記ブロックが占める領域とそれ以外の領域とに分割する工程と
    を備える画像処理方法。
  2. 　前記空間周波数成分のうち直流成分の強度を前記第１の特徴量とし、交流成分の強度の合計を前記第２の特徴量とする請求項１に記載の画像処理方法。
  3. 　前記ブロックごとに、当該ブロックに含まれる前記画素の画素値に基づく二次元離散コサイン変換を実行し、各周波数成分の強度が当該周波数成分の離散コサイン変換係数として求められる請求項１または２に記載の画像処理方法。
  4. 　前記画素それぞれの画素値から前記原画像全体の平均画素値を減じた値に基づき前記二次元離散コサイン変換を実行する請求項３に記載の画像処理方法。
  5. 　複数の周波数成分の強度の合計は、各周波数成分の前記離散コサイン変換係数の絶対値の和として求められる請求項３または４に記載の画像処理方法。
  6. 　前記ブロックの各々は、１辺のサイズが４画素に相当する正方形である請求項３ないし５のいずれかに記載の画像処理方法。
  7. 　前記原画像を前記ブロックに分割するのに先立って、前記原画像の画素サイズを、当該原画像を取得したときの原画素サイズから、前記原画素サイズと異なるブロック分割用の画素サイズに変換する工程を備える請求項１ないし６のいずれかに記載の画像処理方法。
  8. 　前記分類に先立って、
    　前記原画像中で前記細胞に属する点と前記背景に属する点とに関するユーザからの教示入力を受け付ける工程と、
    　前記教示入力の結果に基づき、前記細胞に属する点を含む少なくとも１つの前記ブロックと、前記背景に属する点を含む少なくとも１つの前記ブロックとのそれぞれについて前記第１の特徴量および前記第２の特徴量を求め、その結果に基づき前記二次元特徴量空間における前記細胞クラスタの範囲を特定する工程と
    を備える請求項１ないし７のいずれかに記載の画像処理方法。
  9. 　前記原画像は、前記細胞を明視野撮像することで得られた画像である請求項１ないし８のいずれかに記載の画像処理方法。
  10. 　コンピュータに、請求項１ないし９のいずれかに記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。
  11. 　請求項１０に記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
PCT/JP2018/043983 2018-03-19 2018-11-29 画像処理方法、コンピュータプログラムおよび記録媒体 WO2019181072A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/979,928 US11430130B2 (en) 2018-03-19 2018-11-29 Image processing method and computer-readable recording medium having recorded thereon image processing program
EP18911181.8A EP3770853A4 (en) 2018-03-19 2018-11-29 IMAGE PROCESSING, COMPUTER PROGRAM AND RECORDING MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-050932 2018-03-19
JP2018050932A JP7079631B2 (ja) 2018-03-19 2018-03-19 画像処理方法、コンピュータプログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
WO2019181072A1 true WO2019181072A1 (ja) 2019-09-26

Family

ID=67987050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043983 WO2019181072A1 (ja) 2018-03-19 2018-11-29 画像処理方法、コンピュータプログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US11430130B2 (ja)
EP (1) EP3770853A4 (ja)
JP (1) JP7079631B2 (ja)
WO (1) WO2019181072A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220873A1 (ja) * 2020-04-30 2021-11-04 ソニーグループ株式会社 生成装置、生成方法、生成プログラム及び診断支援システム
WO2021261185A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229097A (ja) * 2003-01-24 2004-08-12 Ricoh Co Ltd 画像処理装置、プログラム及び記憶媒体
JP2005244710A (ja) * 2004-02-27 2005-09-08 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2005250778A (ja) * 2004-03-03 2005-09-15 Seiko Epson Corp 画像の天地方向判定
JP2010045613A (ja) * 2008-08-13 2010-02-25 Ntt Docomo Inc 画像識別方法および撮像装置
JP2012079089A (ja) * 2010-10-01 2012-04-19 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2014016666A (ja) * 2012-07-05 2014-01-30 Olympus Corp 細胞分裂過程追跡装置、及び細胞分裂過程追跡プログラム
JP2016071588A (ja) 2014-09-30 2016-05-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0216682A (ja) * 1988-07-04 1990-01-19 Sumitomo Electric Ind Ltd 細胞増殖状態のモニタ方法及びそのモニタ装置
JP4107544B2 (ja) 2000-10-23 2008-06-25 三菱電機株式会社 画像信号の再符号化装置
WO2016076515A1 (ko) * 2014-11-13 2016-05-19 삼성전자 주식회사 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
CN109804077A (zh) * 2016-03-28 2019-05-24 富士胶片株式会社 细胞的筛选方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229097A (ja) * 2003-01-24 2004-08-12 Ricoh Co Ltd 画像処理装置、プログラム及び記憶媒体
JP2005244710A (ja) * 2004-02-27 2005-09-08 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2005250778A (ja) * 2004-03-03 2005-09-15 Seiko Epson Corp 画像の天地方向判定
JP2010045613A (ja) * 2008-08-13 2010-02-25 Ntt Docomo Inc 画像識別方法および撮像装置
JP2012079089A (ja) * 2010-10-01 2012-04-19 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2014016666A (ja) * 2012-07-05 2014-01-30 Olympus Corp 細胞分裂過程追跡装置、及び細胞分裂過程追跡プログラム
JP2016071588A (ja) 2014-09-30 2016-05-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3770853A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220873A1 (ja) * 2020-04-30 2021-11-04 ソニーグループ株式会社 生成装置、生成方法、生成プログラム及び診断支援システム
WO2021261185A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム

Also Published As

Publication number Publication date
EP3770853A1 (en) 2021-01-27
US20210012509A1 (en) 2021-01-14
EP3770853A4 (en) 2021-12-15
US11430130B2 (en) 2022-08-30
JP7079631B2 (ja) 2022-06-02
JP2019164450A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
EP3788591B1 (en) Focus-weighted, machine learning classifier error prediction for microscope slide images
JP3877916B2 (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
JP2017521779A (ja) 画像解析を用いた核のエッジの検出
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
JP6089886B2 (ja) 領域分割方法および検査装置
WO2006124651A2 (en) Methods of chromogen separation-based image analysis
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CN111161222B (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN111598869B (zh) 一种对显示屏幕的Mura进行检测的方法、设备及存储介质
WO2017120796A1 (zh) 路面病害的检测方法及其装置、电子设备
CN109949294A (zh) 一种基于OpenCV的断口形貌图裂纹缺陷提取方法
JPWO2018207261A1 (ja) 画像解析装置
WO2019181072A1 (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
CN110648312A (zh) 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法
JP2024501642A (ja) 画像内の注釈付きの関心領域の検出
Salih et al. Adaptive local exposure based region determination for non-uniform illumination and low contrast images
Sysko et al. From image to data using common image‐processing techniques
CN113470028A (zh) 染色体核型图像质量评估方法、染色体分析仪和存储介质
US11025924B2 (en) Image processing method and recording medium
Jatti Segmentation of microscopic bone images
GB2478133A (en) A method of Image classification based on duct and nuclei parameters
CN111369491B (zh) 图像污点检测方法、装置、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911181

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018911181

Country of ref document: EP

Effective date: 20201019