WO2014021175A1 - 壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体 - Google Patents

壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体 Download PDF

Info

Publication number
WO2014021175A1
WO2014021175A1 PCT/JP2013/070105 JP2013070105W WO2014021175A1 WO 2014021175 A1 WO2014021175 A1 WO 2014021175A1 JP 2013070105 W JP2013070105 W JP 2013070105W WO 2014021175 A1 WO2014021175 A1 WO 2014021175A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
image
region
feature amount
necrotic
Prior art date
Application number
PCT/JP2013/070105
Other languages
English (en)
French (fr)
Inventor
新垣 英哉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2014021175A1 publication Critical patent/WO2014021175A1/ja
Priority to US14/600,688 priority Critical patent/US9336429B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a necrotic cell region detection apparatus and method for detecting a region formed by necrotic cells from a cell image acquired by imaging using, for example, a bright field microscope, and a necrotic cell region detection program that can be processed by a computer.
  • the present invention relates to a storage medium for storage.
  • cell contours can be calculated by calculating the contour lines of individual cells and detecting cell morphology information, the number of individuals, cell movement and movement distance, etc. The degree can be measured.
  • apoptosis naturally death
  • necrosis necrosis
  • apoptosis changes occur in the cell nucleus first, the cells shrink to form apoptotic bodies, and then eaten by immune cells and are digested without leaving a trace.
  • necrosis the whole cell gradually expands, and after the cytoplasm changes, the cell membrane eventually ruptures. At that time, cell contents remain in the vicinity, causing inflammation and the like (cell lysis).
  • necrotic area The area in which the cell contents remain after necrosis (hereinafter referred to as necrotic area) makes it difficult to distinguish the living cell area in the extraction of individual cells in cell recognition. Since there is a high possibility of adversely affecting the evaluation of the degree of cell activity by measurement, it is necessary to accurately grasp the necrotic area in advance.
  • Patent Document 1 discloses a method for determining whether a cell is a living cell or a dead cell based on a morphological feature amount representing a morphological feature of each cell in a cell image acquired by a microscope for the purpose of drug screening. Specifically, Patent Document 1 performs determination using a deviation amount of a cell outline shape from a circle or a sphere as a morphological feature amount expressing a cell shape. As a result of this determination, a cell with a large deviation amount is assumed to have a considerable distortion with a circular or spherical shape as a standard, and is determined as a living cell that is actively active. On the other hand, a cell having a small deviation and close to a circle or a sphere is determined to have lost its activity and approached death.
  • Patent Document 1 assumes that dead cells form a circular or nearly spherical shape. However, in the case where the cell membrane is destroyed by necrosis and the cell contents remain, the shape is not necessarily circular.
  • the present invention has been made in view of the above problems, and stores a necrotic cell region detection apparatus and method capable of detecting a necrotic cell region with high accuracy, and a necrotic cell region detection program that can be processed by a computer. It is to provide a storage medium.
  • the necrotic cell region detection device for acquiring a cell image group consisting of a plurality of cell images acquired by imaging a living cell that changes over time at each of a plurality of time points, An area dividing unit that divides the cell image acquired at a predetermined time in the cell image group into a plurality of areas so that local image quality characteristics are uniform, and the cell image acquired at the predetermined time
  • a band dividing unit that decomposes a plurality of band images including a low-frequency image composed of low-frequency components and a high-frequency image composed of high-frequency components, and calculates a texture feature amount from the high-frequency image for each of the plurality of regions.
  • a feature amount calculating unit a luminance calculating unit that calculates an average luminance value from the low-frequency image for each of the plurality of regions; and at least the texture feature amount and the average luminance value for each of the plurality of regions.
  • a necrotic cell region detection method obtains a cell image group composed of a plurality of cell images obtained by imaging a living cell that changes over time at a plurality of time points by a computer process.
  • the cell image acquired at a predetermined time in the cell image group is divided into a plurality of regions so that local image quality characteristics are uniform, and the cell image acquired at the predetermined time is low.
  • the computer-processable storage medium has an image acquisition function for acquiring a cell image group composed of a plurality of cell images acquired by imaging a living cell that changes over time at each of a plurality of time points.
  • a band dividing function for decomposing the image into a plurality of band images including a low-frequency image composed of a low-frequency component and a high-frequency image composed of a high-frequency component, and a texture feature amount from the high-frequency image for each of the plurality of regions.
  • necrotic cell region detection apparatus and method that can detect a necrotic cell region with high accuracy, and a storage medium that stores a necrotic cell region detection program that can be processed by a computer.
  • FIG. 1 is a configuration diagram showing a first embodiment of a necrotic cell region detection apparatus according to the present invention. It is a concrete block diagram which shows the band division part in the apparatus. It is a figure which shows the example which represented each brightness
  • FIG. 1 shows a configuration diagram of a necrotic cell region detection apparatus.
  • This apparatus includes an imaging unit 100, a band dividing unit 110, an area dividing unit 120, a texture feature amount calculating unit 130, a luminance average calculating unit 140, a determining unit 150, and a recording unit 160.
  • the imaging unit 100 is connected to the band dividing unit 110 and the region dividing unit 120.
  • the band dividing unit 110 is connected to the texture feature amount calculating unit 130 and the luminance average calculating unit 140.
  • the area dividing unit 120 is connected to the texture feature amount calculating unit 130, the luminance average calculating unit 140, and the determining unit 150.
  • the texture feature amount calculation unit 130 and the luminance average calculation unit 140 are each connected to the determination unit 150.
  • the determination unit 150 is connected to the recording unit 160.
  • Each unit 100, 110,..., 160 is connected to, for example, a system controller and controlled in operation.
  • Each of the units 100, 110,..., 160 may be constituted by, for example, a CPU (Central Processing Unit) and a storage device such as a RAM or ROM for storing a calculation program.
  • the ROM stores a necrotic cell detection program as a calculation program.
  • the necrosis area determination device program has an image acquisition function for causing a CPU as a computer to acquire a cell image group composed of a plurality of cell images acquired by imaging a living cell that changes over time at a plurality of time points, and a cell image
  • An area dividing function for dividing a cell image acquired at a predetermined time in a group into a plurality of areas so that local image quality characteristics are uniform, and a low-frequency component for a cell image acquired at a predetermined time
  • a band dividing function for decomposing the image into a plurality of band images including a low-frequency image and a high-frequency image composed of high-frequency components; a feature amount calculating function for calculating a texture feature amount from the high-frequency image for each of a plurality of regions; Based on a luminance calculation function for calculating a luminance average value from a low-frequency image for each region, and at least a texture feature amount and the luminance average value for each of a plurality of regions A determination function to determine whether an
  • the necrosis area determination device program includes, for each area divided by the area division function, a cell image acquired at a predetermined time point, a cell image acquired at one or both of a time point before or after the predetermined time point, and A similarity calculation function for calculating the similarity of the local luminance distribution between the two is included.
  • the discriminating function discriminates whether or not each region is a region formed by necrotic cells based on the texture feature amount, the luminance average value, and the similarity.
  • the imaging unit 100 captures a cell group to be observed and acquires a cell image.
  • the imaging unit 100 has a function as an image acquisition unit that acquires a cell image group composed of a plurality of cell images acquired by imaging a living cell that changes over time at a plurality of time points.
  • the imaging unit 100 includes, for example, an imaging element such as a CCD and an A / D converter.
  • the imaging unit 100 is, for example, a camera attached to a phase contrast microscope (Phase contrast microscope), and captures a phase contrast image of a cell group magnified by the phase contrast microscope with this camera.
  • the imaging unit 100 is not limited to the one in which a camera is attached to a phase contrast microscope.
  • the imaging unit 100 can be applied to other bright field microscopes such as a differential interference microscope (DIC). is there.
  • DIC differential interference microscope
  • the imaging unit 100 converts a phase difference image of a cell group photographed by a phase contrast microscope into a digital signal via an imaging element, an A / D converter, and the like, for example, an 8-bit (256 gradation) monochrome original image. Output as signal F.
  • the monochrome original image signal F is transferred to the band dividing unit 110 and the region dividing unit 120.
  • the phase contrast microscope uses the diffraction phenomenon of light and can obtain the phase difference (light path difference) of light transmitted between substances having different refractive indexes as contrast, so that objects such as transparent cells and microorganisms can be obtained. Suitable for observation. Images taken with a phase-contrast microscope generate strong contrast called halo (artifact) around the boundary between the background area and the sample, around the detailed details of the cell internal structure, or around the garbage area such as the debris of dead cells. Includes features. Halo appears strongly as an aura-like light, especially at the boundary between the background and individual cells.
  • the phase contrast image obtained by the phase contrast microscope is a positive contrast image that is photographed with an apparently bright background region and relatively dark cell regions.
  • the phase contrast image obtained by the phase contrast microscope is not limited to a positive contrast image, and even in the case of a negative contrast image, it can be processed by inverting the gradation and treating it like a positive contrast image.
  • the band dividing unit 110 has a function as a band dividing unit that decomposes a cell image acquired at a predetermined time into a plurality of band images including a low-frequency image composed of low-frequency components and a high-frequency image composed of high-frequency components. Specifically, the band dividing unit 110 decomposes the monochrome original image signal F into a plurality of band images including different frequency band components by performing a predetermined multi-resolution decomposition process. The band dividing unit 110 decomposes the image into two component images: a low-frequency image L including a low-frequency component in the monochrome original image signal F and a high-frequency image H including a large amount of high-frequency components in the monochrome original image signal F. To do.
  • the low-frequency image L removes the fine structure / details and noise existing on the background area and inside the cell area in the cell image, and has many frequency bands in which differences in luminance between the background area and the cell area are likely to appear. It is preferable to include.
  • the high-frequency image H preferably includes as much high-frequency components as possible by edge halos that constitute cells in the cell image.
  • FIG. 2 shows a specific configuration diagram of the band dividing unit 110.
  • the band dividing unit 110 includes, for example, a low frequency generation unit 200 as a low frequency image generation unit and a high frequency generation unit 210 as a high frequency image generation unit. Each input side of the low-frequency generation unit 200 and the high-frequency generation unit 210 is connected to the imaging unit 100.
  • the low frequency generation unit 200 is connected to the high frequency generation unit 210 and the luminance average calculation unit 140.
  • the high frequency generation unit 210 is connected to the texture feature amount calculation unit 130.
  • the low frequency generation unit 200 generates a low frequency image L by performing a smoothing process on the cell image. Specifically, the low-frequency generation unit applies a predetermined smoothing filter, for example, a Gaussian filter, to the monochrome original image signal F transferred from the imaging unit 100, and uses this filter output as the low-frequency image L as a luminance average calculation unit. 140 and the high frequency generator 210.
  • a predetermined smoothing filter for example, a Gaussian filter
  • the low-frequency generator 200 is smoothed using a Gaussian filter, but the present invention is not limited to this, and any means can be applied as long as it is a means for extracting a low-frequency component.
  • FIG. 3 is an example in which the luminance value distribution of the cell image acquired by the imaging unit 100 is simplified in one dimension.
  • the low-frequency generation unit 200 generates a low-frequency image L by performing a smoothing process on the original cell image.
  • FIG. 4 is a schematic diagram of a cell image acquired by the imaging unit 100.
  • the cell image includes each living cell Q, necrotic cells existing between these living cells Q, and the residue G thereof.
  • the high frequency generation unit 210 generates a high frequency image H by subtracting the low frequency image L from the cell image. Specifically, the high-frequency generation unit 210 determines each difference value between corresponding pixel values between the monochrome original image signal F transferred from the imaging unit 100 and the low-frequency image L transferred from the low-frequency generation unit 200. These difference values are transferred to the texture feature amount calculation unit 130 as the high frequency image H.
  • FIG. 3 shows an example of the luminance value distribution of the high frequency image H generated by subtracting the low frequency image L from the cell image.
  • the band dividing unit 110 generates the low-frequency image L and the high-frequency image H from the monochrome original image signal F.
  • the monochrome original image signal F is divided into two band images, a low-frequency image L and a high-frequency image H, but the present invention is not limited to this.
  • the band is further finely decomposed by performing multi-resolution decomposition on the monochrome original image signal F, and the monochrome original image signal F is divided into three or more band images by this decomposition.
  • a band image in which the background and the luminance change of the cell region tend to appear remarkably, and a band image including many edges and halos constituting cells, dead cells, etc. are predetermined. Select according to the conditions.
  • the predetermined condition is, for example, threshold processing based on contrast / dispersion of pixel values.
  • the present embodiment can be applied as the selected low-frequency image L and high-frequency image H, respectively.
  • the region dividing unit 120 includes a function as a region dividing unit that divides a cell image acquired at a predetermined time in the cell image group into a plurality of regions so that local image quality characteristics are uniform.
  • the area dividing unit 120 performs, for example, an area dividing process on the cell image and cuts each cell in the cell image as an individual area.
  • the area dividing process for a cell image is a process for dividing a cell image to be processed into an area configured by one or more pixel sets having similar features in the cell image and spatially close to each other.
  • the luminance on the cell boundary line is relatively higher than the luminance inside the cell.
  • area division using a watershed method is performed to cut into individual cell areas.
  • the cell image is divided based on the luminance value gradient, and the cell image is divided with the high luminance value and the high luminance value gradient, that is, the cell boundary line as shown in FIG. I do.
  • a region number is assigned to each divided region by a labeling process, and a region divided image K having the region number as a pixel value is generated.
  • the cell is divided into three cell regions, and region numbers 1, 2, and 3 are assigned to the respective cell regions.
  • An area number 0 is assigned to an area where the non-cell area is a background area.
  • the region dividing process is not necessarily limited to the watershed method, and any method can be applied as long as the cell region can be accurately divided.
  • the generated region divided image K is transferred to the texture feature amount calculation unit 130, the luminance average calculation unit 140, and the determination unit 150, respectively.
  • the texture feature amount calculation unit 130 includes a function as a feature amount calculation unit that calculates a texture feature amount based on the pixel value distribution on the high frequency image H for each individual region in the region divided image K.
  • the texture feature amount calculation unit 130 calculates a local texture feature amount for each region based on each pixel value on the high frequency image H.
  • the texture feature amount is a feature amount based on the randomness of the pixel value distribution in the high frequency image H, a feature amount based on the complexity of the pixel value distribution in the high frequency image H, or a co-occurrence matrix of pixels in the high frequency image H. It is a feature quantity based on it.
  • entropy that is one of texture feature quantities based on a co-occurrence matrix that is widely known as a texture analysis technique is applied.
  • a method of creating a co-occurrence matrix for a predetermined region of interest in the high frequency image H and calculating entropy as a texture feature amount will be described.
  • the co-occurrence matrix is one of methods widely known as a statistical feature amount calculation unit for textures in an image.
  • the co-occurrence matrix represents the appearance frequency / probability of pixel pairs in a certain positional relationship included in the image in the form of a matrix (co-occurrence matrix).
  • Various texture feature quantities can be calculated from the co-occurrence matrix.
  • a gradation-compressed image in which the number of gradations of the high-frequency image H is previously compressed to a predetermined number is created.
  • the size of the co-occurrence matrix is a square matrix of the number of gradations ⁇ the number of gradations.
  • a region of interest having a predetermined size centered on the pixel of interest in the above-described gradation compressed image is set.
  • the size of the attention area is, for example, a 5 ⁇ 5 pixel area.
  • the shape of the region does not need to be rectangular as in the present embodiment, and may be an arbitrary shape based on the region division result in the region dividing unit 120.
  • the positional relationship ⁇ of the pixel pair extracted from the attention area is set.
  • FIG. 6A shows an example of a specific pixel value in a region of interest
  • entropy that is a texture feature amount defined by Expression (1) is applied as the texture feature amount.
  • L represents the size of the matrix (the number of gradations).
  • the entropy that is the texture feature amount is an index for measuring the randomness and randomness of the pixel value distribution. The entropy of the texture feature amount decreases as the pixel value is randomly included in the attention area.
  • the entropy of the texture feature amount calculated for each pixel of the high frequency image H is transferred to the determination unit 150.
  • Various texture feature quantities that can be calculated from the co-occurrence matrix C are defined.
  • the angular second moment shown below and the reciprocal of variance can be applied as the texture feature amount.
  • the angular second moment is defined as shown in equation (2).
  • the angular second moment has many specific pixel pairs, and the value increases as the uniformity increases.
  • the variance is defined as shown in equation (3).
  • the variance increases as the difference between the pixel values included in the region of interest increases and the variation and complexity of the elements increase. The reciprocal of the variance becomes smaller on the contrary.
  • the luminance average calculation unit 140 calculates the luminance average value of the pixel value (luminance value) on the low-frequency image L included in each region for each region in the region-divided image K.
  • the luminance average calculation unit 140 calculates the average value of luminance based on the low-frequency image L, so that it is not affected by noise included in the cell image or extreme fluctuations in luminance.
  • the average luminance value for each region can be calculated stably.
  • the determination unit 150 determines whether or not the region is a necrotic region based on the texture feature amount of the region and the average luminance value. This discrimination is equivalent to discriminant analysis for classifying into two classes, that is, a necrotic region and a non-necrotic region based on two variables (that is, texture feature amount / luminance average value). In this embodiment, a necrotic area is specified based on discriminant analysis using a linear discriminant function.
  • FIG. 7 is a diagram for explaining the necrotic region / non-necrotic region discrimination using the linear discriminant function H in the vector space constituted by the entropy and the luminance average value by the discriminating unit 150.
  • the discriminating unit 150 discriminates a necrotic region and a non-necrotic region with the linear discriminant function H as a boundary in the space of entropy and luminance average value.
  • discriminant functions functions serving as discriminant criteria
  • groups classes
  • a discriminant function a region in the region-divided image K is necrotized by inputting, to a linear discriminant function obtained in advance, two-variable vector data composed of texture feature amounts and average luminance for each region in the region-divided image K. It is determined whether the area.
  • a Fisher's linear discriminant function which is generally widely known as a discriminant analysis method is applied.
  • the sample data is expressed as a set of feature vectors X having two variables of “texture feature amount” and “average luminance” for a necrotic region or a non-necrotic region, and a class (C1 or C2) to which each feature vector belongs. Is visually confirmed and determined.
  • a linear discriminant function that can best separate the set of feature vectors X into classes C1 and C2 in a feature space based on two variables is defined in advance by a Fischer discriminant criterion.
  • the linear discriminant function is expressed by equation (4).
  • f (x) w ⁇ x + b (4) w ⁇ Xs + b> 0 ⁇ C1 w ⁇ Xs + b ⁇ 0 ⁇ C2 (5)
  • w a weight vector
  • b a bias term
  • Fischer's criterion is to determine an objective function (formula (8)) based on the ratio of the intra-class covariance Sw (formula (6)) and the interclass covariance SB (formula (7)) from the sample data.
  • a discriminant function using a weight vector w that maximizes the objective function, that is, reduces the intra-class covariance and increases the inter-class covariance) can separate each data belonging to two classes of sample data with the highest accuracy. It is assumed that
  • the maximization of equation (8) can be rewritten into the eigenvalue problem shown in equation (9).
  • the necrotic area is discriminated using a linear discriminant function in which the weight vector w is determined based on the eigenvector corresponding to the eigenvalue of Equation (9).
  • the determination result is transferred to the recording unit 160.
  • the recording unit 160 writes, in a recording medium such as a predetermined memory or file, a pair of each region in the region-divided image K and a determination result as to whether or not the region is a necrotic region.
  • the imaging unit 100 images a cell group to be observed and outputs a monochrome original image signal F of a cell image. Specifically, the imaging unit 100 acquires a cell image group composed of a plurality of cell images acquired by imaging a living cell that changes over time at a plurality of time points, and outputs the monochrome original image signal F. In step S10, the band dividing unit 110 receives the monochrome original image signal F output from the imaging unit 100, that is, the cell image.
  • the band dividing unit 110 decomposes the cell image into a plurality of band images including a low-frequency image including low-frequency components and a high-frequency image including high-frequency components. That is, the low frequency generation unit 200 applies a predetermined smoothing filter, for example, a Gaussian filter, to the monochrome original image signal F transferred from the imaging unit 100, and outputs the filter output as a low frequency image as shown in FIG. L is generated and transferred to the luminance average calculation unit 140 and the high frequency generation unit 210.
  • the high frequency generation unit 210 calculates each difference value between corresponding pixel values between the monochrome original image signal F transferred from the imaging unit 100 and the low frequency image L transferred from the low frequency generation unit 200. These difference values are obtained and transferred to the texture feature quantity calculation unit 130 as a high frequency image H as shown in FIG.
  • a predetermined smoothing filter for example, a Gaussian filter
  • step S30 the region dividing unit 120 divides the cell image acquired at a predetermined time in the cell image group into a plurality of regions so that the local image quality characteristics are uniform.
  • a region number is assigned to each divided region by a labeling process, and a region divided image K having the region number as a pixel value is generated.
  • the texture feature amount calculation unit 130 calculates a texture feature amount based on the pixel value distribution on the high-frequency image H for each individual region in the region divided image K in step S50. In the calculation of the texture feature amount, entropy that is one of the texture feature amounts based on the co-occurrence matrix is applied.
  • the texture feature amount calculation unit 102 sets a region of interest in step S40, and for this region of interest, the texture feature amount based on the pixel value distribution on the high frequency image H included in the region. The entropy that is one of the above is calculated.
  • the luminance average calculation unit 140 calculates the average luminance value of the pixel values (luminance values) on the low-frequency image L for each region in the region-divided image K in step S60.
  • the average luminance calculation unit 140 calculates an average luminance value based on the low-frequency image L, thereby calculating a stable in-region average luminance value that is not affected by noise contained in the cell image or extreme luminance fluctuations. .
  • step S70 the determination unit 150 determines whether or not each region is formed of necrotic cells based on the linear determination from the entropy and the luminance average value as the texture feature amount. For example, as shown in FIG. 7, the determination unit 150 determines a necrotic region and a non-necrotic region with a linear discriminant function H as a boundary in a feature space of entropy-average luminance value.
  • the recording unit 160 writes data, which is a pair of each region in the region-divided image K, and a determination result as to whether or not the region is a necrotic region corresponding to each region in a recording medium such as a predetermined memory or file.
  • the CPU determines whether the determination unit 150 has completed the determination process for all regions of the cell image. When the discrimination process is completed for all regions in the cell image, the CPU ends the process. If there is an unprocessed area, the CPU proceeds to step S40.
  • a plurality of regions are provided such that local image quality characteristics are uniform with respect to cell images acquired at predetermined time points in the cell image group acquired by the imaging unit 100.
  • the cell image is decomposed into a high-frequency image H and a low-frequency image L, and a texture feature amount is calculated from the high-frequency image H for each of a plurality of regions in the region-divided image K.
  • the brightness average value is calculated from the low-frequency image L for each of a plurality of regions in K, and is formed by necrotic cells by linear discrimination based on the texture feature amount and the brightness average value for the plurality of regions in the region divided image K. Therefore, it is possible to detect with high accuracy a necrosis region composed of residues due to cell necrosis, which hinders cell detection.
  • the texture feature amount is obtained based on the high-frequency image H, the local feature of the cell image can be obtained as the texture feature amount without being affected by brightness unevenness over the entire cell image. Since the luminance average value is calculated for each of the plurality of regions in the region divided image K based on the low-frequency image L, the luminance average value can be calculated stably for each region in the region divided image K regardless of fine luminance fluctuations. . By using these texture feature amount and the luminance average value, it is possible to determine with high accuracy whether the region is formed by necrotic cells.
  • the texture feature amount is a feature amount based on the randomness of the pixel value distribution
  • the necrotic cell region can be accurately distinguished based on the randomness of the pixel value distribution in the region. Since the texture feature amount is a feature amount based on the complexity of the pixel value distribution, the necrotic cell region can be accurately distinguished based on the complexity of the pixel value distribution in the region. Since the texture feature amount is a feature amount based on the co-occurrence matrix, the feature of the necrotic cell region can be expressed efficiently and accurately.
  • FIG. 9 shows a configuration diagram of a necrotic cell region detection apparatus.
  • this apparatus adds a buffer 300 and a similarity calculation unit 310, and changes the functions of the texture feature amount calculation unit 320 and the determination unit 330. .
  • the imaging unit 100 is connected to the band dividing unit 110, the region dividing unit 120, and the similarity calculating unit 310 through the buffer 300, respectively.
  • the band dividing unit 110 and the region dividing unit 120 are connected to the texture feature amount calculating unit 320.
  • the area dividing unit 120 is connected to the similarity calculating unit 310.
  • the texture feature amount calculation unit 320, the similarity calculation unit 310, the luminance average calculation unit 140, and the region division unit 120 are connected to the determination unit 330, respectively.
  • the determination unit 330 is connected to the recording unit 160.
  • These units 100,..., 300, 310, 330 may be constituted by, for example, a CPU (Central Processing Unit) and a storage device such as a RAM or ROM for storing a calculation program.
  • the ROM stores the necrotic cell detection program as a calculation program.
  • the necrosis area determination device program realizes the image acquisition function, the area division function, the band division function, the feature amount calculation function, the luminance calculation function, and the determination function in a CPU as a computer.
  • a cell image acquired at a predetermined time point and a cell image acquired at one or both of the time points before or after the predetermined time point Includes a similarity calculation function for calculating the similarity of local luminance distributions.
  • the discrimination function discriminates whether or not the plurality of areas are areas formed by necrotic cells based on the texture feature amount, the luminance average value, and the similarity.
  • the second embodiment is intended for cell images taken at a plurality of time points in order to observe changes with time of cells.
  • a plurality of cell images captured from the past time to the current time by the imaging unit 100 are recorded in the buffer 300.
  • the plurality of cell images recorded in the buffer 300 are transferred to the band dividing unit 110, the region dividing unit 120, and the similarity calculating unit 310.
  • the band dividing unit 110 divides the band into the high-frequency image H and the low-frequency image L with respect to the cell image photographed at the present time by the same method as in the first embodiment.
  • the area dividing unit 120 generates an area divided image K for the cell image photographed at the current time by the same method as in the first embodiment.
  • the similarity calculation unit 310 for each region in the region divided image K divided by the region dividing unit 120, the cell image captured at the present time (hereinafter referred to as the current cell image) and the past time point.
  • the degree of similarity is calculated between the photographed cell images (hereinafter referred to as past cell images), and the degree of similarity is transferred to the determination unit 330 as the degree of similarity corresponding to the plurality of region-divided images K.
  • a living cell moves its position by movement, but an area composed of necrotic cells does not move spontaneously and therefore does not move its position even if time passes. Therefore, when the similarity between the current cell image and the past cell image is calculated for each region, the similarity to the necrotic cell region is increased.
  • the similarity calculation unit 310 sets regions in the plurality of region divided images K as attention regions.
  • the similarity calculation unit 310 sets a region corresponding to the region of interest in the current cell image (located on the same coordinates) as a template.
  • the similarity calculation unit 310 performs template matching on the past cell image using the template, and calculates the similarity (brightness value correlation value) with the template with respect to the position coordinates of each pixel in the past cell image. To do.
  • the similarity is defined such that the value increases as the luminance distribution in the template and the luminance distribution in the peripheral area (same size as the template) centering on the pixel in the past cell image are similar.
  • the similarity indicating the maximum value (the highest similarity) among the similarities calculated for all coordinates in the past cell image is determined as the similarity of the attention area, and transferred to the determination unit.
  • a known correlation value such as SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference) may be used.
  • an SSD is used.
  • the past cell image may be any image captured at a past time with respect to the current cell image, but here, an image captured one frame before the present is used as the past cell image.
  • the similarity is calculated for all pixels (coordinates) in the past cell image, but is limited to pixels (coordinates) included within a predetermined range centered on the position where the region of interest exists. By calculating the similarity, the processing speed can be increased.
  • the texture feature amount calculation unit 320 calculates a texture feature amount from the high frequency image H generated by the band division unit 110 for each of a plurality of regions in the region division image K.
  • the texture feature amount is a feature amount based on a histogram of pixel value (luminance) distribution in the high frequency image H in the region. That is, the texture feature amount calculation unit 320 calculates a texture feature amount based on the luminance histogram of the high-frequency image H, unlike the texture feature amount in the first embodiment.
  • the texture feature amount calculation unit 320 calculates the variance of the luminance histogram as a measure indicating the complexity of the texture.
  • the texture feature quantity calculation unit 320 sets an area in the region divided image K as the attention area, and the texture feature quantity calculation section 320 calculates a luminance histogram Hist [Lv] for the attention area.
  • Lv represents a luminance value (pixel value of the high-frequency image), and takes a value in the range of “0-255”, for example.
  • the texture feature quantity calculation unit 320 calculates the pixel value average Ave in the region of interest, and calculates the luminance histogram variance (Complexity) according to Equation (10).
  • the texture feature amount calculation unit 320 calculates the inverse of the luminance histogram variance ( ⁇ 1 / luminance histogram variance). (Complexity)) is calculated and transferred to the determination unit 330.
  • the discriminating unit 330 discriminates whether or not each region in the region divided image K is a region formed by necrotic cells in the three-dimensional feature space of the texture feature amount, the luminance average value, and the similarity.
  • the discriminating unit 150 of the first embodiment performs discrimination by linear discriminant analysis, but the discriminating unit 330 of the second embodiment uses a linear support vector machine (hereinafter referred to as SVM) and a kernel function. Discriminate by the nonlinear discriminant analysis used.
  • SVM linear support vector machine
  • the linear SVM is a linear discriminant analysis method, but can perform a nonlinear discriminant analysis by combining with a nonlinear mapping to a high-dimensional space using a kernel function.
  • the linear SVM defines a hyperplane (formula (11)) for classifying feature vectors (three variables in the present embodiment) into two classes based on learning sample data, and a region feature vector Xs to be discriminated is input. When this is done, the necrosis area is discriminated based on the sign of the output value of this area feature vector Xs as shown in equation (12).
  • f (x) w ⁇ x + b (11) w ⁇ Xs + b> 0 ⁇ C1 w ⁇ Xs + b ⁇ 0 ⁇ C2 (12)
  • w is a weight vector
  • b is a bias term
  • f (x) 0 is a hyperplane serving as an identification boundary.
  • the objective function represented by the equation (13) may be minimized.
  • yi (w ⁇ xi + b) ⁇ 1 ⁇ i, ⁇ i ⁇ 0 (13)
  • yi is a label and takes a value of 1 or -1.
  • is a slack variable, and is a parameter for allowing a certain degree of misclassification when the two groups (group C 1 or C 2 ) cannot be separated on the hyperplane.
  • C is a parameter indicating how much misclassification is recognized, and is set experimentally when using the SVM.
  • the objective function can also be modified as shown in Equation (14) using the Lagrange multiplier undetermined multiplier method for the Lagrange multiplier ⁇ .
  • max ⁇ - (1/2) ⁇ i ⁇ j y i y j x i T x j However, 0 ⁇ ⁇ i ⁇ C, ⁇ i y i 0 (14)
  • the linear SVM can be expanded to the non-linear SVM.
  • the weight w in the high-dimensional feature question ⁇ mapped by the kernel function ⁇ is expressed as in Expression (15) using the coefficient ⁇ .
  • step S ⁇ b> 90 the CPU records a plurality of cell images captured from the past time to the current time by the imaging unit 100 in the buffer 300.
  • step S20 the band dividing unit 110 decomposes the cell image into a plurality of band images including a low-frequency image including low-frequency components and a high-frequency image including high-frequency components.
  • step S30 the region dividing unit 120 divides the cell image acquired at a predetermined time in the cell image group into a plurality of regions so that the local image quality characteristics are uniform.
  • the texture feature amount calculation unit 320 calculates a texture feature amount from the high frequency image H generated by the band division unit 110 for each region in the plurality of region division images K in step S100. Unlike the texture feature amount in the first embodiment, the texture feature amount calculation unit 320 calculates a texture feature amount based on the luminance histogram of the high frequency image H. Here, the texture feature amount calculation unit 320 calculates the variance of the luminance histogram as a scale indicating the complexity of the texture.
  • step S60 the luminance average calculation unit 140 calculates, for each region in the region divided image K, a luminance average value (average luminance value) of pixel values (luminance values) on the low-frequency image L included in the region. .
  • step S110 the CPU determines whether or not the cell image input from the imaging unit 100 and recorded in the buffer 300 is the first sheet. As a result of this determination, if it is the first sheet, the process proceeds to step S130, and the determination unit 150 determines whether the area is formed by necrotic cells based on only the texture feature amount and the luminance average value without using the similarity of the area. Is determined.
  • the similarity calculation unit 310 for each region in the plurality of region divided images K divided by the region dividing unit 120 in step S120, the current cell photographed at the present time.
  • the degree of similarity is calculated between the image and the past cell image taken at a past time, and this degree of similarity is transferred to the determination unit 330 as the degree of similarity corresponding to the region in the region divided image K.
  • step S130 the determination unit 330 determines the region formed by necrotic cells in the three-dimensional space of the texture feature amount, the luminance average value, and the similarity as shown in FIG. It is determined whether or not.
  • the current cell image captured at the present time and the past cell image captured at the past time point are calculated between the regions, and it is determined whether or not the region in the region divided image K is a region formed by necrotic cells based on the texture feature amount, the luminance average value, and the similarity.
  • the same effects as in the embodiment can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

 壊死細胞領域検出装置は、生細胞の細胞画像を取得する画像取得手段と、前記細胞画像を局所的画質特性が均一になるように複数領域に分割する領域分割手段と、前記細胞画像を低周波成分の低域画像と高周波成分の高域画像とを含む画像に分解する帯域分割手段と、前記各領域毎に前記高域画像からテクスチャ特徴量を算出する特徴量算出手段と、前記各領域毎に前記低域画像から輝度平均値を算出する輝度算出手段と、前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞による領域か否かを判別する判別手段とを含む。

Description

壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体
 本発明は、例えば明視野顕微鏡等を用いた撮像により取得された細胞画像から壊死細胞により形成される領域を検出する壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体に関する。
 従来から医療・ライフサイエンス分野では、顕微鏡を通して撮影された細胞画像を用いた様々な細胞解析が行われている。例えば、ES細胞、iPS細胞等、幹細胞の研究においては、細胞分化メカニズムの解明や、創薬開発等を目的として、時系列で撮影された複数の細胞画像から細胞の分化過程や形態的特徴変化を観察し、細胞毎の性質の違いを調べるといった作業が一般的に行われている。
 細胞画像の解析に関しては、従来目視で行われていた個々の細胞のスクリーニング等の煩雑な作業が画像認識等の画像処理技術を応用することで自動化することが可能になりつつある。かかる画像処理技術を応用すれば、細胞画像に含まれる個々の細胞の輪郭線を算出し、細胞の形態情報や個体数等、或いは細胞の動きやその移動距離等を検出することで、細胞活性度合いを計測することが出来る。
 細胞の活動は、細胞分裂による細胞の増殖のみならず、アポトーシス(自然死)及びネクローシス(壊死)と呼ばれる細胞死滅のメカニズムの働きによりバランスを保ちながら成り立っている。 
 アポトーシスでは、初めに細胞核で変化が起こり、細胞が縮小してアポトーシス小体を形成した後、免疫細胞等に貧食され痕跡を残さず消化される。一方、ネクローシスは、細胞全体が次第に膨張し、細胞質が変化した後、最終的に細胞膜が破裂する。その際、周辺に細胞内容物が残留し、炎症などの原因となる(細胞溶解)。
 ネクローシスにより細胞内容物が残留した領域(以降、壊死領域と称する)は、細胞認識における個々の細胞の抽出において生細胞領域との区別を困難とし、正確な細胞数の計測、又は当該細胞数の計測による細胞活性度合いの評価等に悪影響を与える可能性が高いため、予め壊死領域を正確に把握する必要がある。
 特許文献1は、薬剤スクリーニングを目的とし、顕微鏡により取得した細胞画像中の各細胞の形態的な特徴を表す形態特徴量に基づき生細胞又は死細胞のいずれかに判定する方法を開示する。具体的に特許文献1は、細胞の形態を表現する形態特徴量として細胞の輪郭形状の円又は球からのずれ量を用いた判定を行う。この判定の結果、ずれ量の大きな細胞は、円形又は球形を標準としてかなりの歪みを生じているものとし、活発に活動を行っている生細胞と判定する。これに対してずれ量が小さく円形又は球形に近い細胞は、活性を失い死滅に近づいたと判定する。
特開2007-20449号公報
 特許文献1は、死細胞を円形又は球形に近い形態を成すことを想定しているが、壊死により細胞膜が破壊され、細胞内容物が残留するケースでは、必ずしも円形状を成すとは限らない。
 特に位相差顕微鏡による細胞画像に対する処理において顕著であるが、細胞画像中から個々の細胞を抽出する際に、細胞輪郭線と細胞内部の構造とに基づくエッジ成分(例えば細胞内部に位置する細胞核周囲のエッジ等)とが混在して細胞の区別がつきにくい場合と、或いは複数の細胞が密集し、細胞輪郭線の不明瞭な部分が多く見られる場合とがある。これらの場合には、本来複数の細胞領域であるものを一つの領域として抽出する(未分割)、或いは1つの細胞領域を複数の領域として抽出してしまう(過分割)などの理由で、正確な細胞形態を検出することは難しい。 
 従って、ずれ量を算出するための前提となる円の当てはめも、必ずしも精度良く当てはめが行われるとは限らず、また一つ一つの細胞個別に当てはめられるとも限らない。
 本発明は、上記問題を鑑みてなされたものであり、壊死細胞領域を高精度に検出することが可能な壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体を提供することにある。
 本発明の主要な局面に係る壊死細胞領域検出装置は、経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得する画像取得部と、前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割する領域分割部と、前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解する帯域分割部と、前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出する特徴量算出部と、前記複数の領域毎に、前記低域画像から輝度平均値を算出する輝度算出部と、前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別する判別部と、を具備する。
 本発明の主要な局面に係る壊死細胞領域検出方法は、コンピュータの処理によって、経時的に変化する生細胞を複数の時点でそれぞれ撮像を行って取得した複数の細胞画像から成る細胞画像群を取得し、前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割し、前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解し、前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出し、前記複数の領域毎に、前記低域画像から輝度平均値を算出し、前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別する。
 本発明の主要な局面に係るコンピュータにより処理可能な記憶媒体は、経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得させる画像取得機能と、前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割させる領域分割機能と、前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解させる帯域分割機能と、前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出させる特徴量算出機能と、前記複数の領域毎に、前記低域画像から輝度平均値を算出させる輝度算出機能と、前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別させる判別機能と、を実現させる壊死細胞領域検出プログラムを記憶する。
 本発明によれば、壊死細胞領域を高精度に検出することが可能な壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体を提供できる。
図1は本発明に係る壊死細胞領域検出装置の第1の実施の形態を示す構成図である。 同装置における帯域分割部を示す具体的な構成図である。 同装置における撮像部により取得された細胞画像と帯域分割部により生成される低域画像及び高域画像の各輝度値分布を一次元的に表した一例とを示す図である。 同装置における撮像部により取得された細胞画像を示す模式図である。 同装置における領域分割部により領域分割するときの細胞の境界線部分を示す模式図である。 同装置に適用する注目領域内の画素値の一例を示す図である。 同装置により記録される隣接した画素対に関して出現頻度をカウントして算出される同時生起行列の一例を示す図である。 同装置の判別部によるエントロピーと輝度平均値との空間で線形判別関数を用いての壊死領域・非壊死領域の判別を説明するための図である。 同装置の壊死細胞領域検出装置フローチャートである。 本発明に係る壊死細胞領域検出装置の第2の実施の形態を示す構成図である。 同装置の壊死細胞領域検出装置フローチャートである。
[第1の実施の形態]
 以下、本発明の第1の実施の形態について図面を参照して説明する。 
 図1は壊死細胞領域検出装置の構成図を示す。本装置は、撮像部100と、帯域分割部110と、領域分割部120と、テクスチャ特徴量算出部130と、輝度平均算出部140と、判別部150と、記録部160とを含む。 
 撮像部100は、帯域分割部110と領域分割部120とに接続されている。帯域分割部110は、テクスチャ特徴量算出部130と、輝度平均算出部140とに接続されている。領域分割部120は、テクスチャ特徴量算出部130と、輝度平均算出部140と、判別部150とに接続されている。テクスチャ特徴量算出部130と輝度平均算出部140とは、それぞれ判別部150に接続されている。判別部150は、記録部160に接続されている。各部100、110、…、160は、それぞれ例えばシステムコントローラに接続されて動作制御される。
 各部100、110、…、160は、例えばCPU(中央演算処理装置)と演算プログラムを格納するRAM、ROM等の記憶装置などから構成してもよい。ROMには、演算プログラムとしての壊死細胞検出プログラムが格納されている。 
 壊死領域判別装置プログラムは、コンピュータとしてのCPUに、経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得させる画像取得機能と、細胞画像群中における所定時点に取得した細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割させる領域分割機能と、所定時点で取得した細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解させる帯域分割機能と、複数の領域毎に、高域画像からテクスチャ特徴量を算出させる特徴量算出機能と、複数の領域毎に、低域画像から輝度平均値を算出させる輝度算出機能と、複数の領域毎に対して少なくともテクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別させる判別機能と、を実現させる。
 壊死領域判別装置プログラムは、領域分割機能により分割された各領域毎に、所定時点に取得した細胞画像と、所定時点よりも以前又は以降の時点のうちいずれか一方又は両方に取得した細胞画像との間における局所的な輝度分布の類似度を算出させる類似度算出機能を含む。 
 判別機能は、各領域毎に対してテクスチャ特徴量と輝度平均値と類似度とに基づいて壊死細胞により形成されている領域か否かを判別させる。
 撮像部100は、観察対象の細胞群を撮像して細胞画像を取得する。この撮像部100は、経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得する画像取得部としての機能を有する。撮像部100は、例えばCCD等の撮像素子と、A/D変換器とを有する。撮像部100は、例えば位相差顕微鏡(Phase contrast microscope)にカメラを取り付けたもので、このカメラにより位相差顕微鏡で拡大された細胞群の位相差像を撮像する。撮像部100は、位相差顕微鏡にカメラを取り付けたものに限定されることはなく、例えば微分干渉顕微鏡(Differential interference contrast microscope:DIC)等、他の明視野顕微鏡に対して適用することも可能である。
 撮像部100は、位相差顕微鏡により撮影された細胞群の位相差像を撮像素子とA/D変換器等とを介してデジタル信号に変換し、例えば8ビット(256階調)のモノクロ原画像信号Fとして出力する。モノクロ原画像信号Fは、帯域分割部110と領域分割部120に転送される。
 位相差顕微鏡は、光の回折現象を利用し、異なる屈折率を持つ物質間を透過する光の位相差(光路差)をコントラストとして得ることができるので、透明な細胞や微生物等の対象物を観察するのに適している。位相差顕微鏡により撮影した画像は、背景領域と試料との境界線、細胞内部構造の細部ディテール周辺、或いは死滅した細胞の残骸等のごみ領域周辺においてハロ(アーティファクト)と呼ばれる強いコントラストを発生するという特徴を含む。ハロは、特に背景と個々の細胞との境界部分にオーラ状の光として強く表れる。 
 本実施の形態において位相差顕微鏡による位相差像は、見かけ上、背景領域が明るく、細胞領域が相対的に暗く撮影されるポジティブコントラスト像である。位相差顕微鏡による位相差像は、ポジティブコントラスト像に限定されるものではなく、ネガティブコントラスト像の場合においても、階調を反転させポジティブコントラスト像のように扱うことで処理することが可能である。
 帯域分割部110は、所定時点で取得した細胞画像から低周波成分により成る低域画像と、高周波成分により成る高域画像とを含む複数の帯域画像に分解する帯域分割部としての機能を有する。具体的に帯域分割部110は、所定の多重解像度分解処理を行うことによって、モノクロ原画像信号Fを異なる周波数帯域成分を含む複数の帯域画像に分解する。帯域分割部110は、モノクロ原画像信号Fの中の低周波成分を含む低域画像Lと、モノクロ原画像信号Fの中の高周波成分を多く含む高域画像Hとの2つの成分画像に分解する。
 低域画像Lは、細胞画像の中の背景領域上や細胞領域内部に存在する微細構造・ディテール、及びノイズを取り除き、かつ背景領域と細胞領域との輝度変化に差が現れやすい周波数帯域を多く含むことが好ましい。 
 高域画像Hは、細胞画像の中で細胞を構成するエッジ・ハロによる高周波成分をできるだけ多く含むことが好ましい。
 図2は帯域分割部110の具体的な構成図を示す。帯域分割部110は、例えば低域画像生成手段としての低域生成部200と、高域画像生成手段としての高域生成部210とを含む。低域生成部200と高域生成部210との各入力側は、それぞれ撮像部100に接続されている。低域生成部200は、高域生成部210と輝度平均算出部140とに接続されている。高域生成部210は、テクスチャ特徴量算出部130に接続されている。
 低域生成部200は、細胞画像に対して平滑化処理を行って低域画像Lを生成する。具体的に低域生成部は、撮像部100から転送されたモノクロ原画像信号Fに対して所定の平滑化フィルタ、例えばガウシアンフィルタを適用し、このフィルタ出力を低域画像Lとして輝度平均算出部140と高域生成部210とに転送する。本実施の形態において低域生成部200は、ガウシアンフィルタを用いて平滑化しているが、これに限らず、低周波成分を抽出する手段であれば如何なるものでも適用可能である。
 図3は撮像部100により取得された細胞画像の輝度値分布を一次元に簡略化して示した例である。低域生成部200は、元の細胞画像に対して平滑化処理を行って低域画像Lを生成する。
 図4は撮像部100により取得された細胞画像の模式図を示す。細胞画像には、各生細胞Qと、これら生細胞Q間に存在する壊死細胞やその残留物Gとを含む。
 高域生成部210は、細胞画像から低域画像Lを減算して高域画像Hを生成する。具体的に高域生成部210は、撮像部100から転送されたモノクロ原画像信号Fと、低域生成部200から転送された低域画像Lとの間の対応する画素値間で各差分値を求め、これら差分値を高域画像Hとしてテクスチャ特徴量算出部130に転送する。図3は細胞画像から低域画像Lを減算して生成された高域画像Hの輝度値の分布の一例を示す。 
 このように帯域分割部110は、モノクロ原画像信号Fから低域画像Lと高域画像Hとを生成する。
 本実施の形態は、モノクロ原画像信号Fを低域画像Lと高域画像Hとの2つの帯域の画像に分けているが、これに限ることがない。本実施の形態は、モノクロ原画像信号Fに対して多重解像度分解を行うことにより帯域をより細かく分解し、この分解によりモノクロ原画像信号Fを3つ以上の帯域の画像にそれぞれ分割する。本実施の形態は、分割された各帯域画像の中から背景と細胞領域の輝度変化とが顕著に表れやすい帯域画像、及び細胞・死滅細胞等を構成するエッジ・ハロを多く含む帯域画像を所定の条件により選択する。所定の条件は、例えば画素値のコントラスト・分散に基づく闘値処理等である。本実施の形態は、それぞれ選択された低域画像Lと高域画像Hとして適用することが可能である。
 領域分割部120は、細胞画像群中における所定時点に取得した細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割する領域分割部としての機能を含む。領域分割部120は、例えば、細胞画像に対して領域分割処理を行い、細胞画像中の細胞毎に個々の領域として切り分ける。細胞画像に対する領域分割処理は、処理対象の細胞画像に対し、当該細胞画像内の特徴が類似し空間的に近接した1つ以上の画素集合により構成される領域に分割するための処理である。
 一般に位相差顕微鏡により撮影した細胞画像では、細胞境界線上の輝度が細胞内部の輝度と比較して相対的に高い。本実施の形態では、かかる細胞画像の特徴を考慮し、領域分割手法の一つであるウォーターシェッド法(分水嶺領域分割法)を用いた領域分割を行い、個々の細胞領域に切り分ける。ウォーターシェッド法は、細胞画像の輝度値勾配に基づく分割を行い、同画像中の輝度値が高く輝度値勾配の高い部分、すなわち図5に示すように細胞の境界線部分を分割線にして分割を行う。分割された個々の領域には、ラベリング処理により領域番号が付与され、当該領域番号を画素値とした領域分割画像Kを生成する。図5では3個の細胞領域に分割され、それぞれに対して領域番号1、2、3が付与されている。また、非細胞領域が背景領域となる領域に対しては領域番号0が付与されている。領域分割処理は、必ずしもウォーターシェッド法に限定されるものではなく、細胞領域を的確に分割できればどのような手法でも適用可能である。この生成された領域分割画像Kは、テクスチャ特徴量算出部130と、輝度平均算出部140と、判別部150とにそれぞれ転送される。
 テクスチャ特徴量算出部130は、領域分割画像K中の個々の各領域毎に、高域画像H上の画素値分布に基づくテクスチャ特徴量を算出する特徴量算出部としての機能を含む。テクスチャ特徴量算出部130は、高域画像H上の各画素値に基づき各領域毎に、局所的なテクスチャ特徴量を算出する。テクスチャ特徴量は、高域画像Hにおける画素値分布のランダム性に基づく特徴量、又は高域画像Hにおける画素値分布の複雑度に基づく特徴量、又は高域画像Hにおける画素の同時生起行列に基づく特徴量である。
 本実施の形態では、テクスチャ解析手法として広く知られる同時生起行列に基づくテクスチャ特徴量の一つであるエントロピーを適用する。以下、本実施の形態では、高域画像H中の所定の注目領域に関して同時生起行列を作成し、テクスチャ特徴量としてエントロピーを算出する方法について説明する。 
 同時生起行列は、画像中のテクスチャの統計的特徴量算出部として広く知られている方法の一つである。同時生起行列は、画像内に含まれる一定の位置関係にある画素対の出現頻度・確率を行列(同時生起行列)の形で表す。同時生起行列からは、様々なテクスチャ特徴量を算出することができる。
 同時生起行列のサイズを抑えて計算量を小さくするために、予め高域画像Hの階調数を所定の数に圧縮した階調圧縮画像が作成される。同時生起行列の大きさは、階調数×階調数の正方行列となる。本実施の形態では、例えば元の256階調(0~255)を、4階調(画素値=0~3)に圧縮する。 
 はじめに、前述の階調圧縮画像内の注目画素を中心とした所定の大きさの注目領域が設定される。本実施の形態では、説明を簡略化するために、注目領域のサイズを例えば5×5画素領域とする。領域の形状は、本実施の形態のように矩形である必要は無く、領域分割部120における領域分割結果に基づく任意の形状をしていてもかまわない。
 次に注目領域から抽出する画素対の位置関係δが設定される。本実施の形態では、横方向に隣接する(画素間の距離d=1、角度θ=0°)画素対を設定し、この画素対を成す左側の画素をi、右側の画素をjとし、それぞれの画素値をLi、Ljとする。なお、i=0,1,2,3,…,nであり、j=0,1,2,3,…,mである。
 注目領域に含まれる全てに隣接した画素対に関し、各画素対に存在する出現頻度をカウントし、このカウント値を同時生起行列Pδ(Li、Lj)に記録する。すなわち、注目領域内で、画素対Li、Ljが存在する頻度を同時生起行列PδのLi行Lj列要素に記録する。 
 図6Aは具体的な注目領域内の画素値の一例を示し、図6Bはその際に算出される同時生起行列の一例を示す。図6Aに示す注目領域内ではLi=3、Lj=2の画素対が2対存在しているので、図6Bに示す同時生起行列の要素Pδ(3,2)=2となっている。図6Aに示す注目領域内ではLi=0、Lj=0の画素対が5対存在しているので、図6Bに示す同時生起行列の要素Pδ(0,0)=5となっている。
 画素対Li、Ljが存在する全ての頻度を記録した後、出現頻度の総数でPδ(Li、Lj)の各要素を除算することで正規化する。そして、算出した同時生起行列Cに基づくテクスチャ特徴量を算出する。 
 本実施の形態では、テクスチャ特徴量として式(1)により定義されるテクスチャ特徴量であるエントロピー(Entropy)を適用する。ここで、Lは、行列の大きさ(階調数)を表す。テクスチャ特徴量であるエントロピーは、画素値分布のでたらめさ、ランダム性を計る指標である。テクスチャ特徴量のエントロピーは、注目領域内に画素値がランダムに含まれるほど値が小さくなる。 
Figure JPOXMLDOC01-appb-M000001
 高域画像Hの画素毎に算出したテクスチャ特徴量のエントロピーは、判別部150に転送される。 
 同時生起行列Cから算出できるテクスチャ特徴量は、様々に定義されている。例えば以下に示す角二次モーメント(Angular second moment)や、分散(Variance)の逆数もテクスチャ特徴量として適用可能である。 
 角二次モーメントは、式(2)に示すように定義される。角二次モーメントは、特定の画素対が多く存在し、一様性が大きいほど値が大きくなる。 
Figure JPOXMLDOC01-appb-M000002
 分散は、式(3)に示すように定義される。分散は、注目領域に含まれる画素値差が大きく、要素のばらつき・複雑さが大きいほど値が大きくなる。分散の逆数は、逆に小さくなる。
Figure JPOXMLDOC01-appb-M000003
 輝度平均算出部140は、領域分割画像K内の領域ごとに、当該各領域内に含まれる低域画像L上の画素値(輝度値)の輝度平均値を算出する。輝度平均算出部140は、低域画像Lに基づいて輝度の平均値を算出することで、細胞画像中に含まれるノイズや、輝度の極端な変動に影響されずに、領域分割画像K内の領域毎の輝度平均値を安定して算出することができる。
 判別部150は、領域のテクスチャ特徴量、及び平均輝度値に基づき壊死領域か否かの判別を行う。この判別は、2変数(すなわちテクスチャ特徴量・輝度平均値)に基づき2クラス、すなわち壊死領域と非壊死領域とに分類する判別分析と等価である。本実施形態では、線形判別関数を用いた判別分析に基づき壊死領域を特定する。 
 図7は判別部150によるエントロピーと輝度平均値で構成されるベクトル空間における線形判別関数Hを用いた壊死領域・非壊死領域判別を説明するための図を示す。判別部150は、エントロピーと輝度平均値との空間において線形判別関数Hを境に壊死領域と非壊死領域とを判別する。
 この判別分析は、予め与えられた学習用サンプルデータに基づき、複数のクラス(=グループ)に分類するための判別関数(判別の基準となる関数)を得る。この判別分析では、新しくデータを得た際に、判別関数を用いてどのクラスに属するかを判別する。この判別分析では、領域分割画像K内の領域毎にテクスチャ特徴量、平均輝度により構成される2変数ベクトルデータを予め求めた線形判別関数に入力することで、領域分割画像K内の領域が壊死領域か否かを判定する。又、この判別分析では、判別分析手法として一般に広く知られるフイッシャーの線形判別関数を適用する。
 以下処理の詳細について説明する。 
 予め目視確認により領域の属するクラス(以降、壊死領域をクラスClと称し、その他の非壊死領域をクラスC2と称する)が確定している学習用サンプルデータを用意する。 
 サンプルデータは、壊死領域、または非壊死領域に対する“テクスチャ特徴量”、“平均輝度”の2変数を要素とした特徴ベクトルXの集合として表され、各特徴ベクトルが属するクラス(C1、またはC2)が目視により確認・決定されている。これら特徴ベクトルXの集合を、2変数に基づく特徴空間上で、クラスC1、C2に最も良く分離することが可能な線形判別関数をフイッシャーの判別基準により予め定義しておく。線形判別関数は、式(4)により表される。
 判別対象の領域特徴ベクトルXsが入力された際は、式(5)に示す通りその出力値の正負に基づき壊死領域の判別を行う。 
 f(x)=w・x+b           …(4) 
 w・Xs+b>0→C1 
 w・Xs+b<0→C2          …(5) 
 ここで、wは重みベクトル、bはバイアス項である。f(x)=0が線形判別関数となる。 
 フイッシャーの判別基準は、サンプルデータから、クラス内共分散Sw(式(6))と、クラス間共分散SB(式(7))との比に基づく目的関数(式(8))を定め、この目的関数を最大化、すなわちクラス内共分散を小さく、かつクラス間共分散を大きく)する重みベクトルwを用いた判別関数がサンプルデータの2クラスに属する各データを互いに最も精度良く分離できるものと仮定するものである。
Figure JPOXMLDOC01-appb-M000004
 ここで、式(8)の最大化は、式(9)に示す固有値問題に書き換えることができる。壊死領域の判別は、式(9)の固有値に対応する固有ベクトルに基づき重みベクトルwを定めた線形判別関数を用いて行われる。判別結果は、記録部160に転送される。
Figure JPOXMLDOC01-appb-M000005
 記録部160は、領域分割画像K内の各領域と、各領域に対応した壊死領域か否かの判定結果とを対としたデータを所定のメモリやファイル等の記録媒体に書き込む。
 次に、上記の如く構成された装置の動作について図8に示す壊死細胞領域検出装置フローチャートに従って説明する。 
 撮像部100は、観察対象の細胞群を撮像し、細胞画像のモノクロ原画像信号Fを出力する。具体的に撮像部100は、経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得し、そのモノクロ原画像信号Fを出力する。 
 帯域分割部110は、ステップS10において、撮像部100から出力されるモノクロ原画像信号F、すなわち細胞画像を入力する。
 帯域分割部110は、ステップS20において、細胞画像から低周波成分により成る低域画像と、高周波成分により成る高域画像とを含む複数の帯域画像に分解する。すなわち、低域生成部200は、撮像部100から転送されたモノクロ原画像信号Fに対して所定の平滑化フィルタ、例えばガウシアンフィルタを適用し、このフィルタ出力を図3に示すような低域画像Lを生成して輝度平均算出部140と高域生成部210とに転送する。 
 これと共に高域生成部210は、撮像部100から転送されたモノクロ原画像信号Fと、低域生成部200から転送された低域画像Lとの間の対応する画素値間で各差分値を求め、これら差分値を図3に示すような高域画像Hとしてテクスチャ特徴量算出部130に転送する。
 領域分割部120は、ステップS30において、細胞画像群中における所定時点に取得した細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割する。分割された個々の領域には、ラベリング処理により領域番号が付与され、当該領域番号を画素値とした領域分割画像Kを生成する。
 テクスチャ特徴量算出部130は、ステップS50において、領域分割画像K中の個々の領域毎に、高域画像H上の画素値分布に基づくテクスチャ特徴量を算出する。テクスチャ特徴量の算出では、同時生起行列に基づくテクスチャ特徴量の一つであるエントロピーを適用する。テクスチャ特徴量の算出に際し、テクスチャ特徴量算出部102は、ステップS40において、注目領域を設定し、この注目領域に対し、領域内に含まれる高域画像H上の画素値分布に基づくテクスチャ特徴量の一つであるエントロピーを算出する。
 輝度平均算出部140は、ステップS60において、領域分割画像K内の領域毎に、低域画像L上の画素値(輝度値)の輝度平均値を算出する。輝度平均算出部140は、低域画像Lに基づいて平均輝度値を算出することで、細胞画像中に含まれるノイズや、輝度の極端な変動に影響されない安定した領域内平均輝度値を算出する。
 判別部150は、ステップS70において、テクスチャ特徴量としてのエントロピーと輝度平均値とから、線形判別に基づいて領域毎に壊死細胞により形成されているか否かを判別する。判別部150は、例えば図7に示すようにエントロピー-平均輝度値の特徴空間において線形判別関数Hを境に壊死領域と非壊死領域とを判別する。
 記録部160は、領域分割画像K内の各領域と、当該各領域に対応した壊死領域か否かの判定結果とを対としたデータを所定のメモリやファイル等の記録媒体に書き込む。 
 CPUは、ステップS80において、判別部150により細胞画像の全領域に対して判別処理を終了したか否かを判別する。細胞画像内の全領域に対して判別処理が終了すると、CPUは、処理を終了する。未処理の領域が存在する場合、CPUは、ステップS40に移行する。
 このように上記第1の実施の形態によれば、撮像部100により取得された細胞画像群中における所定時点に取得した細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割し、かつ細胞画像に対して高域画像Hと低域画像Lとに分解し、領域分割画像K内の複数の領域毎に高域画像Hからテクスチャ特徴量を算出し、領域分割画像K内の複数の領域毎に低域画像Lから輝度平均値を算出し、領域分割画像K内の複数の領域に対してテクスチャ特徴量と輝度平均値に基づく線形判別により壊死細胞により形成されている領域か否かを判別するので、細胞検出の際に妨げとなる、細胞壊死による残留物等で構成された壊死領域を高精度に検出することができる。
 高域画像Hに基づきテクスチャ特徴量を求めるので、細胞画像の全体に亘って明るさムラ等の影響を受けず、細胞画像の局所的な特徴をテクスチャ特徴量として求めることができる。低域画像Lに基づき領域分割画像K内の複数の領域毎に輝度平均値を算出するので、細かな輝度変動によらず安定して領域分割画像K内の領域毎に輝度平均値を算出できる。これらテクスチャ特徴量と輝度平均値とを用いることで壊死細胞により形成されている領域か否かを高精度に判別することができる。
 テクスチャ特徴量は、画素値分布のランダム性に基づく特徴量であるので、壊死細胞領域をその領域内の画素値分布のランダム性に基づき精度良く区別することができる。テクスチャ特徴量は、画素値分布の複雑度に基づく特徴量であるので、壊死細胞領域をその領域内の画素値分布の複雑度に基づき精度良く区別することができる。テクスチャ特徴量は、同時生起行列に基づく特徴量であるので、壊死細胞領域の特徴を効率よく的確に表現することができる。
[第2の実施の形態] 
 次に、本発明の第2の実施の形態について図面を参照して説明する。なお、図1と同一部分には同一符号を付してその詳しい説明は省略する。 
 図9は壊死細胞領域検出装置の構成図を示す。本装置は、上記第1の実施の形態と対比して、バッファ300と、類似度算出部310とを付加し、かつテクスチャ特徴量算出部320と判別部330との各機能を変更している。
 撮像部100は、バッファ300を介して帯域分割部110と、領域分割部120と、類似度算出部310とにそれぞれ接続されている。帯域分割部110と領域分割部120とは、テクスチャ特徴量算出部320に接続されている。領域分割部120は、類似度算出部310に接続されている。テクスチャ特徴量算出部320と類似度算出部310と輝度平均算出部140と領域分割部120とは、それぞれ判別部330に接続されている。この判別部330は、記録部160に接続されている。
 これら各部100、…、300、310、330は、例えばCPU(中央演算処理装置)と演算プログラムを格納するRAM、ROM等の記憶装置などから構成してもよい。ROMには、演算プログラムとしての上記壊死細胞検出プログラムが格納されている。壊死領域判別装置プログラムは、コンピュータとしてのCPUに、上記画像取得機能と、上記領域分割機能と、上記帯域分割機能と、上記特徴量算出機能と、上記輝度算出機能と、上記判別機能とを実現し、かつ上記領域分割機能により分割された複数の領域毎に、所定時点に取得した細胞画像と、所定時点よりも以前又は以降の時点のうちいずれか一方又は両方に取得した細胞画像との間における局所的な輝度分布の類似度を算出させる類似度算出機能を含む。判別機能は、複数の領域に対してテクスチャ特徴量と輝度平均値と類似度とに基づいて壊死細胞により形成されている領域か否かを判別させる。
 本第2の実施の形態は、細胞の経時的変化を観察するために複数の時点において撮像した細胞画像を対象としている。撮像部100により過去の時点から現時点に至るまでに撮影された複数の細胞画像は、バッファ300に記録される。バッファ300に記録された複数の細胞画像は、帯域分割部110と、領域分割部120と、類似度算出部310とに転送される。
 帯域分割部110は、現時点にて撮影された細胞画像に対し、上記第1の実施の形態と同様の手法により、高域画像Hと低域画像Lとに帯域を分割する。 
 領域分割部120は、現時点にて撮影された細胞画像に対し、上記第1の実施の形態と同様の手法により、領域分割画像Kを生成する。
 類似度算出部310は、領域分割部120により分割された領域分割画像K内の領域毎に、現時点にて撮影された細胞画像(これ以降、現細胞画像と称する)と、過去の時点にて撮影された細胞画像(これ以降、過去細胞画像と称する)との間で類似度を算出し、この類似度を複数の領域分割画像Kに対応する類似度として判別部330に転送する。 
 生細胞は運動により位置を移動するが、壊死細胞により構成される領域は、自発的に運動することがないために時間が経過してもその位置を移動することがない。従って、領域毎に現細胞画像と過去細胞画像との間の類似度を算出すると、壊死細胞領域に対する類似度が高くなる。
 以下、類似度算出部310の詳細について説明する。 
 類似度算出部310は、複数の領域分割画像K中の領域を注目領域として設定する。類似度算出部310は、現細胞画像中の注目領域に対応する(同座標上に位置する)領域をテンプレートとして設定する。類似度算出部310は、前記テンプレートを用いて過去細胞画像に対してテンプレートマッチングを行い、過去細胞画像中の各画素の位置座標に対してテンプレートとの類似度(輝度値の相関値)を算出する。類似度は、テンプレート内の輝度分布と、過去細胞画像中の画素を中心とした(テンプレートと同サイズの)周辺領域の輝度分布が似ているほど値が高くなるように定義される。過去細胞画像中の全座標に対して算出した類似度の中で最大値を示す(最も類似性の高い)類似度を注目領域の類似度として決定し、判定部へ転送する。
 類似度には、SSD(Sum of Squared Difference )、SAD(Sum of Absolute Difference)等の公知の相関値を用いればよい。本実施の形態では、SSDを用いている。過去細胞画像は、現細胞画像に対して過去の時点において撮影した画像であれば如何なる画像でもよいが、ここでは現時点の1フレーム前に撮影した画像を過去細胞画像として用いている。 
 テンプレートマッチングを行う際に、過去細胞画像中の全ての画素(座標)に対して類似度を算出するが、注目領域が存在する位置を中心とした所定範囲内に含まれる画素(座標)に限定して類似度を算出することで、処理速度を速くすることができる。
 テクスチャ特徴量算出部320は、領域分割画像K中の複数の領域毎に、帯域分割部110により生成された高域画像Hからテクスチャ特徴量を算出する。テクスチャ特徴量は、領域内の高域画像Hにおける画素値(輝度)分布のヒストグラムに基づく特徴量である。すなわち、テクスチャ特徴量算出部320は、上記第1の実施の形態におけるテクスチャ特徴量と相違し、高域画像Hの輝度ヒストグラムに基づくテクスチャ特徴量を算出する。テクスチャ特徴量算出部320は、テクスチャの複雑さを示す尺度として、輝度ヒストグラムの分散を算出する。
 具体的にテクスチャ特徴量算出部320は、領域分割画像K中の領域を注目領域として設定する、テクスチャ特徴量算出部320は、注目領域に対して輝度ヒストグラムHist[Lv]を算出する。Lvは、輝度値(高域画像の画素値)を表し、例えば「0-255」の範囲で値をとる。 
 テクスチャ特徴量算出部320は、注目領域内の画素値平均Aveを算出し、式(10)に従って輝度ヒストグラムの分散(Complexity)を算出する。
Figure JPOXMLDOC01-appb-M000006
 PCallは、注目領域内の画素数を表す。輝度ヒストグラムの分散(Complexity)が大きい程、注目領域内に含まれるテクスチャの複雑度が高いので、テクスチャ特徴量算出部320は、輝度ヒストグラムの分散(Complexity)の逆数(-1/輝度ヒストグラムの分散(Complexity))を算出して判別部330へ転送する。
 判別部330は、領域分割画像K内の各領域に対してテクスチャ特徴量と輝度平均値と類似度との3次元特徴空間内で壊死細胞により形成されている領域か否かを判別する。
 上記第1の実施の形態の判別部150は、線形判別分析による判別を行ったが、本第2の実施の形態の判別部330は、線形サポートベクタマシン(以下SVMと称する)及びカーネル関数を用いた非線形判別分析による判別を行う。線形SVMは、線形判別分析手法であるが、カーネル関数を用いた高次元空間への非線形写像と組み合わせることで、非線形判別分析を行うことが出来る。
 線形SVMについて説明する。線形SVMは、学習サンプルデータに基づき、特徴べクトル(本実施の形態では3変数)を2クラスに分類するための超平面(式(11))を定め、判別対象の領域特徴ベクトルXsが入力された際、この領域特徴ベクトルXsを式(12)に示す通りその出力値の正負に基づき壊死領域の判別を行う。
 f(x)=w・x+b           …(11) 
 w・Xs+b>0→C1 
 w・Xs+b<0→C2          …(12) 
 ここで、wは重みベクトル、bはバイアス項である。f(x)=0が識別境界となる超平面となる。重みベクトルwとバイアス項bとを求めるためには、式(13)で示される目的関数を最小化すればよい。
Figure JPOXMLDOC01-appb-M000007
 但し、yi(w・xi+b)≧1-εi,εi≧0   …(13) 
 ここで、yiはラベルであり、1又は-1の値をとる。εはスラック変数であり、超平面で2群(群C又はC)を分離することができないときに、ある程度の誤判別を認めるためのパラメータである。Cはどの程度誤判別を認めるかを示すパラメータであり、SVMの使用時に実験的に設定する。
 ラグランジェの乗数αに対するラグランジェの未定乗数法を用いて、式(14)で示されるように目的関数を変形することもできる。 
 maxΣα-(1/2)Σαα  
 但し、0≦α≦C,Σα=0         …(14)
 カーネル関数Φにより高次元特徴空間ηへ写像を行うことにより、線形SVMを非線形SVMへと拡張することができる。カーネル関数Φにより写像した高次元特徴空問η内での重みwは、係数αを用いて、式(15)のように表される。 
 w=ΣαΦ(x)             …(15) 
 識別関数は、式(16)のように表される。 
 f(Φ(x))=ΣαΦ(x)Φ(x)+b 
        =Σαk(x,x)+b    …(16) 
 このとき、目的関数は、式(17)のように表される。 
 maxΣα-(1/2)Σααk(x,x) 
 但し、0≦α≦C,Σα=0         …(17) 
 ここでは、カーネル関数として、一般によく利用されるGaussian カーネルを用いている。
 次に、上記の如く構成された装置の動作について図10に示す壊死細胞領域検出装置フローチャートに従って説明する。なお、図8に示すステップと同一ステップには同一ステップの符号を付してその詳しい説明は省略する。 
 CPUは、ステップS90において、撮像部100により過去の時点から現時点に至るまでに撮影された複数の細胞画像をバッファ300に記録する。 
 帯域分割部110は、ステップS20において、細胞画像から低周波成分により成る低域画像と、高周波成分により成る高域画像とを含む複数の帯域画像に分解する。 
 領域分割部120は、ステップS30において、細胞画像群中における所定時点に取得した細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割する。
 テクスチャ特徴量算出部320は、ステップS100において、複数の領域分割画像K中の領域毎に、帯域分割部110により生成された高域画像Hからテクスチャ特徴量を算出する。テクスチャ特徴量算出部320は、上記第1の実施の形態におけるテクスチャ特徴量と相違し、高域画像Hの輝度ヒストグラムに基づくテクスチャ特徴量を算出する。ここでは、テクスチャ特徴量算出部320は、テクスチャの複雑さを示す尺度として、輝度ヒストグラムの分散を算出する。
 輝度平均算出部140は、ステップS60において、領域分割画像K内の領域ごとに、当該領域に含まれる低域画像L上の画素値(輝度値)の輝度平均値(平均輝度値)を算出する。 
 CPUは、ステップS110において、撮像部100から入力してバッファ300に記録された細胞画像が1枚目であるか否かを判定する。この判定の結果、1枚目であれば、ステップS130に移り、判別部150は、領域の類似度は用いずテクスチャ特徴量と輝度平均値だけに基づいて壊死細胞により形成されている領域か否かを判別する。
 細胞画像が2枚目以降であれば、類似度算出部310は、ステップS120において、領域分割部120により分割された複数の領域分割画像K内の領域毎に、現時点にて撮影された現細胞画像と、過去の時点にて撮影された過去細胞画像との間で類似度を算出し、この類似度を領域分割画像K内の領域に対応する類似度として判別部330に転送する。
 判別部330は、ステップS130において、領域分割画像K内の領域に対して図10に示すようにテクスチャ特徴量と輝度平均値と類似度との3次元空間内で壊死細胞により形成されている領域か否かを判別する。
 このように上記第2の実施の形態によれば、複数の領域分割画像K内の領域毎に、現時点にて撮影された現細胞画像と、過去の時点にて撮影された過去細胞画像との間で類似度を算出し、領域分割画像K内の領域に対してテクスチャ特徴量と輝度平均値と類似度に基づき壊死細胞により形成されている領域か否かを判別するので、上記第1の実施の形態と同様の効果を奏することができる。エントロピーと平均輝度値と類似度に基づく非線形判別を行うことで、壊死領域・非壊死領域を高精度に判別することができる。

Claims (15)

  1.  経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得する画像取得部と、
     前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割する領域分割部と、
     前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解する帯域分割部と、
     前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出する特徴量算出部と、
     前記複数の領域毎に、前記低域画像から輝度平均値を算出する輝度算出部と、
     前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別する判別部と、
    を具備することを特徴とする壊死細胞領域検出装置。
  2.  前記領域分割部により分割された前記複数の領域毎に、前記所定時点に取得した前記細胞画像と、前記所定時点よりも以前又は以降の時点のうちいずれか一方又は両方に取得した前記細胞画像との間における局所的な輝度分布の類似度を算出する類似度算出部を具備し、
     前記判別部は、前記複数の領域毎に対してそれぞれ前記テクスチャ特徴量と前記輝度平均値と前記類似度とに基づいて前記壊死細胞により形成されているか否かを判別する、
    ことを特徴とする請求項1に記載の壊死細胞領域検出装置。
  3.  前記類似度算出部は、前記複数の領域毎に、当該各領域に対してそれぞれ周辺を対象とした前記細胞画像間における平均二乗誤差を類似度として算出することを特徴とする請求項2に記載の壊死細胞領域検出装置。
  4.  前記帯域分割部は、前記細胞画像に対して平滑化処理を行って前記低域画像を生成する低域画像生成部と、
     前記細胞画像から前記低域画像を減算して前記高域画像を生成する高域画像生成部と、
    を含むことを特徴とする請求項1乃至3のうちいずれか1項に記載の壊死細胞領域検出装置。
  5.  前記テクスチャ特徴量は、画素値分布のランダム性に基づく特徴量であることを特徴とする請求項1乃至4のうちいずれか1項に記載の壊死細胞領域検出装置。
  6.  前記テクスチャ特徴量は、画素値分布の複雑度に基づく特徴量であることを特徴とする請求項1乃至4のうちいずれか1項に記載の壊死細胞領域検出装置。
  7.  前記テクスチャ特徴量は、同時生起行列に基づく特徴量であることを特徴とする請求項1乃至6のうちいずれか1項に記載の壊死細胞領域検出装置。
  8.  前記テクスチャ特徴量は、画素値のヒストグラムに基づく特徴量であることを特徴とする請求項1乃至6のうちいずれか1項に記載の壊死細胞領域検出装置。
  9.  前記判別部は、線形判別関数に基づく線形判別処理により前記複数の領域がそれぞれ前記壊死細胞により形成されている領域か否かを判別することを特徴とする請求項1乃至8のうちいずれか1項に記載の壊死細胞領域検出装置。
  10.  前記判別部は、非線形判別処理により前記複数の領域毎がそれぞれ前記壊死細胞により形成されている領域か否かを判別することを特徴とする請求項1乃至8のうちいずれか1項に記載の壊死細胞領域検出装置。
  11.  前記細胞画像群は、明視野顕微鏡により取得されることを特徴とする請求項1乃至10のうちいずれか1項に記載の壊死細胞領域検出装置。
  12.  コンピュータの処理によって、
     経時的に変化する生細胞を複数の時点でそれぞれ撮像を行って取得した複数の細胞画像から成る細胞画像群を取得し、
     前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割し、
     前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解し、
     前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出し、
     前記複数の領域毎に、前記低域画像から輝度平均値を算出し、
     前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別する、
    ことを特徴とする壊死細胞領域検出方法。
  13.  前記複数の領域の分割では、前記各領域毎に、前記所定時点に取得した前記細胞画像と、前記所定時点よりも以前又は以降の時点のうちいずれか一方又は両方に取得した前記細胞画像との間における局所的な輝度分布の類似度を算出し、
     前記領域か否かを判別では、前記各領域に対してそれぞれ前記テクスチャ特徴量と前記輝度平均値と前記類似度とに基づいて前記壊死細胞により形成されている領域か否かを判別する、
    ことを特徴とする請求項12に記載の壊死細胞領域検出方法。
  14.  経時的に変化する生細胞を複数の時点でそれぞれ撮像して取得した複数の細胞画像から成る細胞画像群を取得させる画像取得機能と、
     前記細胞画像群中における所定時点に取得した前記細胞画像に対してそれぞれ局所的画質特性が均一になるように複数の領域に分割させる領域分割機能と、
     前記所定時点で取得した前記細胞画像に対して低周波成分により成る低域画像と高周波成分により成る高域画像とを含む複数の帯域画像に分解させる帯域分割機能と、
     前記複数の領域毎に、前記高域画像からテクスチャ特徴量を算出させる特徴量算出機能と、
     前記複数の領域毎に、前記低域画像から輝度平均値を算出させる輝度算出機能と、
     前記複数の領域毎に対して少なくとも前記テクスチャ特徴量と前記輝度平均値とに基づいて壊死細胞により形成されている領域か否かを判別させる判別機能と、
    を実現させる壊死細胞領域検出プログラムを記憶するコンピュータにより処理可能な記憶媒体。
  15.  前記領域分割機能により分割された前記各領域毎に、前記所定時点に取得した前記細胞画像と、前記所定時点よりも以前又は以降の時点のうちいずれか一方又は両方に取得した前記細胞画像との間における局所的な輝度分布の類似度を算出させる類似度算出機能を含み、
     前記判別機能は、前記各領域毎に対して前記テクスチャ特徴量と前記輝度平均値と前記類似度とに基づいて前記壊死細胞により形成されている領域か否かを判別させる、
    ことを実現させるための請求項14に記載の壊死細胞領域検出プログラムを記憶するコンピュータにより処理可能な記憶媒体。
PCT/JP2013/070105 2012-07-31 2013-07-24 壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体 WO2014021175A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/600,688 US9336429B2 (en) 2012-07-31 2015-01-20 Necrotic cell region detection apparatus and method of the same, and non-transitory computer readable storage medium to store a necrotic cell region detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012169600A JP5984559B2 (ja) 2012-07-31 2012-07-31 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
JP2012-169600 2012-07-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/600,688 Continuation US9336429B2 (en) 2012-07-31 2015-01-20 Necrotic cell region detection apparatus and method of the same, and non-transitory computer readable storage medium to store a necrotic cell region detection program

Publications (1)

Publication Number Publication Date
WO2014021175A1 true WO2014021175A1 (ja) 2014-02-06

Family

ID=50027853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070105 WO2014021175A1 (ja) 2012-07-31 2013-07-24 壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体

Country Status (3)

Country Link
US (1) US9336429B2 (ja)
JP (1) JP5984559B2 (ja)
WO (1) WO2014021175A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017216930A1 (ja) * 2016-06-16 2017-12-21 株式会社日立ハイテクノロジーズ スフェロイド内部の細胞状態の解析方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953417B2 (en) 2013-10-04 2018-04-24 The University Of Manchester Biomarker method
US9519823B2 (en) * 2013-10-04 2016-12-13 The University Of Manchester Biomarker method
JP6284024B2 (ja) * 2014-04-28 2018-02-28 横河電機株式会社 細胞生死判定システム、細胞生死判定方法
JP2017524196A (ja) 2014-08-04 2017-08-24 ヴェンタナ メディカル システムズ, インク. コンテキストフィーチャを用いた画像解析システム
WO2016090148A1 (en) * 2014-12-03 2016-06-09 IsoPlexis Corporation Analysis and screening of cell secretion profiles
EP3239287A4 (en) * 2014-12-26 2018-08-15 The University of Tokyo Analysis device, analysis method, analysis program, cell manufacturing method and cells
JP6336932B2 (ja) * 2015-03-03 2018-06-06 富士フイルム株式会社 細胞群検出装置および方法並びにプログラム
JP6661165B2 (ja) * 2015-03-27 2020-03-11 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
GB201507454D0 (en) 2015-04-30 2015-06-17 Phase Focus Ltd Method and apparatus for determining temporal behaviour of an object
JP6475134B2 (ja) * 2015-09-29 2019-02-27 富士フイルム株式会社 細胞評価装置および方法
JP6660712B2 (ja) * 2015-11-10 2020-03-11 株式会社Screenホールディングス 分類器構成方法および細胞の生死判定方法
WO2017109860A1 (ja) * 2015-12-22 2017-06-29 株式会社ニコン 画像処理装置
JP6590690B2 (ja) * 2015-12-25 2019-10-16 富士フイルム株式会社 細胞画像検索装置および方法並びにプログラム
US10964036B2 (en) 2016-10-20 2021-03-30 Optina Diagnostics, Inc. Method and system for detecting an anomaly within a biological tissue
JP6931579B2 (ja) * 2017-09-20 2021-09-08 株式会社Screenホールディングス 生細胞検出方法、プログラムおよび記録媒体
KR102511996B1 (ko) * 2018-06-26 2023-03-20 에스케이텔레콤 주식회사 준지도 학습 방법
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053498A (ja) * 2002-07-23 2004-02-19 Matsushita Electric Ind Co Ltd 顕微鏡画像解析装置とその画像解析方法
JP2004061403A (ja) * 2002-07-31 2004-02-26 Matsushita Electric Ind Co Ltd 細胞画像解析装置および細胞画像解析方法
JP2010022318A (ja) * 2008-07-23 2010-02-04 Nikon Corp 細胞の状態判別手法及び細胞観察の画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050014217A1 (en) * 2003-07-18 2005-01-20 Cytokinetics, Inc. Predicting hepatotoxicity using cell based assays
US7907759B2 (en) * 2006-02-02 2011-03-15 Wake Forest University Health Sciences Cardiac visualization systems for displaying 3-D images of cardiac voxel intensity distributions with optional physician interactive boundary tracing tools
US7747308B2 (en) * 2004-02-06 2010-06-29 Wake Forest University Health Sciences Non-invasive systems and methods for the determination of cardiac injury using a characterizing portion of a voxel histogram
EP1745149A4 (en) * 2004-04-15 2008-08-06 Univ Florida NEURO-PROTEINS USED AS BIOMARKERS TO DETECT NERVOUS SYSTEM AND OTHER NEUROLOGICAL DISORDERS
JP4868207B2 (ja) 2005-07-14 2012-02-01 オリンパス株式会社 スクリーニング方法およびスクリーニング装置
US8160344B2 (en) * 2008-04-22 2012-04-17 Siemens Medical Solutions Usa, Inc. Iterative segmentation of images for computer-aided detection
WO2011106440A1 (en) * 2010-02-23 2011-09-01 Loma Linda University Medical Center Method of analyzing a medical image
US8787651B2 (en) * 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
JP5941674B2 (ja) * 2011-12-28 2016-06-29 オリンパス株式会社 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053498A (ja) * 2002-07-23 2004-02-19 Matsushita Electric Ind Co Ltd 顕微鏡画像解析装置とその画像解析方法
JP2004061403A (ja) * 2002-07-31 2004-02-26 Matsushita Electric Ind Co Ltd 細胞画像解析装置および細胞画像解析方法
JP2010022318A (ja) * 2008-07-23 2010-02-04 Nikon Corp 細胞の状態判別手法及び細胞観察の画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017216930A1 (ja) * 2016-06-16 2017-12-21 株式会社日立ハイテクノロジーズ スフェロイド内部の細胞状態の解析方法
JPWO2017216930A1 (ja) * 2016-06-16 2019-03-07 株式会社日立ハイテクノロジーズ スフェロイド内部の細胞状態の解析方法
US10846849B2 (en) 2016-06-16 2020-11-24 Hitachi High-Tech Corporation Method for analyzing state of cells in spheroid

Also Published As

Publication number Publication date
US9336429B2 (en) 2016-05-10
US20150131889A1 (en) 2015-05-14
JP5984559B2 (ja) 2016-09-06
JP2014029287A (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
JP5984559B2 (ja) 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
Kang et al. Stainnet: a fast and robust stain normalization network
Li et al. Nonnegative mixed-norm preconditioning for microscopy image segmentation
Hyeon et al. Diagnosing cervical cell images using pre-trained convolutional neural network as feature extractor
CN111667464A (zh) 危险品三维图像检测方法、装置、计算机设备及存储介质
JP2013137627A (ja) 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
Wang et al. Detection of dendritic spines using wavelet‐based conditional symmetric analysis and regularized morphological shared‐weight neural networks
Gandomkar et al. BI-RADS density categorization using deep neural networks
Chinnu MRI brain tumor classification using SVM and histogram based image segmentation
Song et al. Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images
JP4383352B2 (ja) 核多形性の組織学的評価
Rulaningtyas et al. Multi patch approach in K-means clustering method for color image segmentation in pulmonary tuberculosis identification
Dai Pra et al. Dynamic speckle image segmentation using self-organizing maps
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Colomer et al. Evaluation of fractal dimension effectiveness for damage detection in retinal background
Dennler et al. Learning-based defect recognition for quasi-periodic HRSTEM images
Xiong et al. Automatic area classification in peripheral blood smears
Nirmala et al. HoG based Naive Bayes classifier for glaucoma detection
Sharma et al. SKIN CANCER LESION CLASSIFICATION USING LBP BASED HYBRID CLASSIFIER.
Rastgoo et al. Ensemble approach for differentiation of malignant melanoma
Wiling Identification of mouth cancer laceration using machine learning approach
Chaiyakhan et al. Feature selection techniques for breast cancer image classification with support vector machine
Amitha et al. Developement of computer aided system for detection and classification of mitosis using SVM
Ma et al. Visual detection of cells in brain tissue slice for patch clamp system
Regina Detection of leukemia with blood microscopic images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13825819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13825819

Country of ref document: EP

Kind code of ref document: A1