WO2016027542A1 - 閾値決定方法、画像処理方法および画像処理装置 - Google Patents
閾値決定方法、画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- WO2016027542A1 WO2016027542A1 PCT/JP2015/065015 JP2015065015W WO2016027542A1 WO 2016027542 A1 WO2016027542 A1 WO 2016027542A1 JP 2015065015 W JP2015065015 W JP 2015065015W WO 2016027542 A1 WO2016027542 A1 WO 2016027542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- valley
- value
- image
- pixel
- stained
- Prior art date
Links
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Definitions
- the present invention relates to a technique for setting a threshold value of a pixel value for an original image in which stained cells are imaged and distinguishing a stained region from an unstained region.
- the sample is stained to know the growth state of the cells. By selectively staining the area where the cells are present, the distribution state of the cells can be known.
- JP 2009-210409 A (for example, paragraph 0030)
- the ratio of the stained region in the image varies greatly from 0% to 100% for each sample. Further, the image density of the stained region is not uniform depending on the color of the cell itself and the state of staining. For this reason, there are cases in which the above-described various conventional techniques cannot accurately distinguish between a stained region and a non-stained region. In particular, when one of the stained region and the non-stained region occupies most of the image, the classification based on the set threshold value may not match the visual judgment of the expert.
- the present invention has been made in view of the above problems, and by appropriately setting a pixel value threshold, it is possible to distinguish between a stained region and an unstained region while suppressing a sense of discomfort given to the user.
- the purpose is to provide technology.
- One aspect of the present invention is a threshold value determination method for determining a pixel value threshold value for distinguishing a stained region from a stained region and an unstained unstained region from an original image obtained by imaging stained cells.
- the step of acquiring the original image the step of determining the frequency distribution of the pixel values of each pixel constituting the original image, and identifying the peak and valley in the histogram corresponding to the frequency distribution
- a step of setting, as the threshold value a pixel value corresponding to the position of one valley where the depth of the valley with respect to the two peaks sandwiching the valley in the histogram is the largest among the valleys. ing.
- any one of them corresponds to a threshold value for distinguishing a stained region and a non-stained region. Therefore, evaluating the significance of each valley is considered a method for finding an appropriate threshold.
- the depth of the valley seen from the two peaks sandwiching each valley is evaluated, and the pixel value corresponding to the deepest valley is set as a threshold for distinguishing the stained area and the non-stained area.
- an image includes a step of determining the threshold value by the threshold value determination method described above, and a step of dividing the original image into the stained region and the non-stained region based on the threshold value. It is a processing method.
- Still another embodiment of the present invention is different in image acquisition means for acquiring an original image obtained by imaging stained cells, and a stained stained area and an unstained unstained area in the original image.
- Image processing means for performing image processing, and output means for outputting a processing result by the image processing means wherein the image processing means obtains a frequency distribution of pixel values of each pixel constituting the original image, and the frequency A peak and a valley in a histogram corresponding to the distribution are specified, and a pixel value corresponding to the position of one valley where the depth of the valley with respect to the two peaks sandwiching the valley in the histogram is the largest among the valleys.
- An image processing apparatus that divides the original image into the stained region and the non-stained region as a threshold value.
- the stained area and the unstained area in the original image are classified based on a threshold value appropriately set based on the result of evaluating the depth of each valley as described above. Therefore, it is possible to automatically obtain a classification result close to the judgment of a skilled expert.
- the threshold value of the pixel value is determined based on the evaluation of each valley appearing in the histogram.
- FIG. 1 is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus according to the present invention.
- the image processing apparatus 100 has a function for executing the image processing method according to the present invention.
- the image processing apparatus 100 includes an imaging unit 1, an image processing unit 2, and a UI (user interface) unit 3.
- the imaging unit 1 has a function of imaging cells cultured in a medium carried on a sample container such as a well plate, a petri dish, or a dish. Specifically, the imaging unit 1 includes an image sensor 11 and an A / D converter 12 that converts an electrical signal output from the image sensor 11 into a digital signal. A mechanism for holding the above-described sample container may be provided in the imaging unit 1.
- the image sensor 11 for example, a light receiving device such as a CCD sensor or a CMOS sensor is used.
- the image sensor 11 may be either an area image sensor in which minute light receiving elements are two-dimensionally arranged on a light receiving plane or a linear image sensor in which light receiving elements are arranged in a line.
- a scanning movement mechanism that moves the image sensor relative to the object to be imaged is separately provided to obtain a two-dimensional image.
- the image sensor 11 may be used in combination with an appropriate imaging optical system such as a microscope optical system.
- the electrical signal output by the image sensor 11 according to the amount of received light is converted into a digital signal by the A / D converter 12, and the imaging unit 1 outputs the digital image data thus generated to the image processing unit 2.
- the image processing unit 2 includes a CPU (central processing unit) 21 that executes a control program prepared in advance to realize predetermined image processing, a control program to be executed by the CPU 21, image data transmitted from the imaging unit 1, A storage 22 that stores and saves intermediate data generated in the course of image processing and an interface (I / F) 23 that manages data exchange between the image processing unit 2 and an external device are provided.
- CPU central processing unit
- I / F interface
- the UI unit 3 receives an operation input such as a process start instruction and condition setting from a user, for example, an input device 31 such as a mouse, a keyboard, a touch panel, and an operation button, and a display 32 that displays a progress status and a result of the process. It has. Note that the configurations of the image processing unit 2 and the UI unit 3 may be the same as those included in a general personal computer. That is, the configuration and functions of a general-purpose personal computer can be used as the image processing unit 2 and the UI unit 3.
- the image processing apparatus 100 configured as described above is suitable for the purpose of observing the growth state of cells cultured in the sample container.
- a sample obtained by two-dimensionally culturing cells in a sample container is stained with an appropriate dye.
- the area occupied by the cells is stained to form a stained area, while the area where no cells are present is a non-stained area where the color of the dye does not appear.
- FIG. 2 is a flowchart showing an example of image processing.
- This image processing is realized by the CPU 21 of the image processing unit 2 executing a control program stored in advance in the storage 22 to control each part of the apparatus.
- a sample prepared in advance that is, a sample in which cells are cultured in a sample container, is imaged by the imaging unit 1, whereby an original image of the sample is acquired (step S101).
- FIG. 3A and 3B are diagrams illustrating an original image and secondary data obtained from the original image.
- FIG. 3A is a diagram illustrating an example of an original image.
- the medium is exposed, relatively high brightness, that is, a light image density area (non-stained area) close to white, and stained cells Are distributed and a dyed region having a higher image density (low luminance) than the non-stained region is mixed. Subsequently, these two types of areas are classified as follows.
- FIG. 3B is a diagram illustrating an example of a histogram.
- the original image is a monochrome image
- the pixel value of each pixel represents the luminance of the pixel in multiple gradations.
- the pixel value is represented in 256 levels from 0 to 255. The smaller the numerical value, the lower the luminance of the pixel, that is, darker and closer to black, and the higher the numerical value, the higher the luminance, that is, brighter and closer to white.
- a low-luminance peak corresponding to the stained region and a high-luminance peak corresponding to the non-stained region appear.
- a pixel value threshold value that separates the stained region and the non-stained region exists at a position corresponding to the valley between the peaks. That is, it can be said that a pixel having a pixel value on the lower brightness side than the threshold value belongs to the stained area, and a pixel having a pixel value on the higher brightness side than the threshold value is highly likely to belong to the non-stained area. Therefore, in this image processing, a threshold value of a pixel value for distinguishing the stained region and the non-stained region is determined based on the frequency distribution obtained from the original image.
- histogram smoothing is performed to remove such fine fluctuations (step S103).
- the smoothing method for example, moving average processing, median filter processing, and the like can be considered.
- pixel values are thinned out by sampling and extracting pixel values at a constant period, thereby obtaining a histogram without fine irregularities.
- This thinning is equivalent to making the resolution coarse on the pixel value scale.
- the degree of thinning may be changed according to the purpose. Further, the smoothing method is not limited to this.
- each pixel value corresponding to a numerical value on an arithmetic sequence having a thinning ratio (8 in this example) as a tolerance is set as a new class, and the frequency corresponding to the pixel value is set as a new level.
- the frequency is sampled and extracted by the pixel value corresponding to each term of the difference sequence ⁇ 0, 8, 16, 32,... ⁇
- the first term of the difference sequence is 0 and the tolerance is 8.
- Smoothing decimation
- the first term may be any value from 1 to 7.
- the tolerance is not limited to 8 as described above, and can be appropriately changed.
- FIG. 4 is a flowchart showing peak and valley detection processing.
- variables used for processing are initialized (step S201).
- an array variable H [i] that stores the frequency of each class in the histogram after smoothing
- an array variable A [i] that represents the change state of the histogram
- an array variable P [i] that records the peak position.
- An array variable V [i] for recording the valley position a scalar variable Cp for counting the number of appearances of peaks, a scalar variable Cv for counting the number of appearances of valleys, and a scalar variable T representing the change tendency of the histogram are used. It is done.
- Null data is set in the other array variables A [i], P [i], and V [i].
- initial values “0” are set for the scalar variables Cp and Cv, respectively.
- an initial value “up” is set to the scalar variable T that indicates the tendency of the histogram to rise or fall with the class.
- the frequency is the same as that of the next lower class.
- the value A [i] is “down”, the frequency is lower in the class than in the next lower class.
- the array variable A [i] represents the state of increase / decrease in the frequency at various points in the histogram.
- steps S204 to S208 is executed for each class i in a loop so that the frequency of each class is evaluated, and the positions of peaks and valleys and their heights in the histogram are specified.
- the class number i to be evaluated is set to an initial value 1 (step S203), and the class number i is incremented by one (step S210) until the class number reaches the final value N (step S209).
- Loop processing of steps S204 to S209 is executed.
- step S204 it is determined whether or not the value A [i] corresponding to the class number i currently focused on is “invariant”. If value A [i] is “invariable” (YES in step S204), the processing in steps S205 to S208 is skipped. If value A [i] is “up” or “down” (NO in step S204), step S205 is subsequently executed.
- step S205 the value A [i] corresponding to the class number i currently focused on and the scalar variable T are evaluated. Specifically, when the value of the scalar variable T is “up” and the value A [i] is “down”, step S206 is subsequently executed. Step S206 is skipped.
- step S206 the variable is rewritten as follows. That is, information indicating that there is a peak at the position is recorded in the variable P [i ⁇ 1] corresponding to the class (i ⁇ 1) that is one smaller than the class i currently focused on.
- the manner in which the peak position is recorded is arbitrary. For example, the peak position may be simply stored in a memory or a register without using such an array variable. Further, 1 is added to the value of the variable Cp indicating the number of peaks, and the variable T is changed to “down”.
- step S207 the value A [i] corresponding to the class number i currently focused on and the scalar variable T are evaluated.
- step S208 is subsequently executed. In other cases, step S208 is skipped.
- step S208 the variable is rewritten as follows. That is, information indicating that there is a valley at the position is recorded in the variable V [i ⁇ 1] corresponding to the class (i ⁇ 1) that is one smaller than the class i currently focused on. Similar to the recording of the peak position, the mode of information is arbitrary. Further, 1 is added to the value of the variable Cv indicating the number of valleys, and the variable T is changed to “up”.
- a processing path when the determination results in steps S204, S205, and S207 are “NO”, “YES”, and “NO”, respectively, is referred to as “path 3”. Further, the processing path when the determination results in steps S204, S205, and S207 are all “NO” is referred to as “path 4”.
- FIG. 5A is a diagram showing an example of a histogram.
- FIG. 6 is a diagram showing state transitions of variables in peak and valley detection processing.
- the progress of the peak and valley detection process will be described using the histogram shown in FIG. 5A as an example.
- This histogram is hypothetical for explanation and is not directly related to the histogram shown in FIG. 3B.
- the histogram of FIG. 5A shows only a part of the classes, specifically, only the 0 to 10 classes among the 0 to N classes.
- the frequency value H [i] corresponding to the class number i initialized in step S201 is entered.
- step S202 an array variable A [i] indicating a change state of the histogram is obtained based on the array variable H [i]. That is, based on the change of the value H [i] with respect to the value H [i ⁇ 1], the value A [i] is set to “rising”, “invariable”, or “falling”.
- H [0] H [1]
- the value of A [1] is “invariant” as shown in FIG.
- H [1] ⁇ H [2] the value of A [2] is “increased”.
- H [2]> H [3] the value of A [3] is “down”. Subsequent values are obtained in the same manner and used for loop processing.
- the initial value of the variable T is “up” as described above.
- step S205 since the value of A [3] is “down” and the value of T is “up”, the determination in step S205 is “YES” and along the processing path 3 Processing is executed. Therefore, information with a peak is recorded in P [i ⁇ 1], that is, P [2]. In FIG. 6, the peak position is represented by a black circle. Further, the variable Cp for counting the number of peaks is changed from 0 to 1, and the variable T is changed from “up” to “down”.
- step S207 since the value of A [4] is “rising” and the value of T is “down”, the determination in step S207 is “YES” and along the processing path 2 Processing is executed. Therefore, information with a valley is recorded in V [3].
- the valley position is represented by a white circle. Further, the variable Cv for counting the number of valleys is changed from 0 to 1, and the variable T is changed from “down” to “up”.
- a pixel value corresponding to the position of each valley having the maximum depth is set as a threshold (steps S106 and S107). Valet evaluation is performed as follows.
- FIG. 5B is a diagram for explaining a valley evaluation method.
- the threshold value of the pixel value for distinguishing the stained region and the non-stained region is between the peak corresponding to the stained region and the peak corresponding to the non-stained region in the histogram. Therefore, it is effective to use a pixel value corresponding to a deep valley position existing between two peaks as a threshold value. From this point of view, each valley is evaluated by the depth viewed from the two peaks at the positions sandwiching the valley in the histogram.
- the depth of the valley V8 is defined by the distance D8 from the intersection Q8 of the line connecting the two peaks P6 and P9 sandwiching the valley V8 and the line passing through the valley V8 and parallel to the vertical axis to the valley V8.
- the depth of the valley is expressed as follows using mathematical formulas.
- the depth of each valley can be calculated from the position and frequency value of the valley and the position and frequency value of each of the two peaks sandwiching the valley.
- the pixel value corresponding to the class corresponding to the valley position is set as a threshold value for separating the stained area and the non-stained area (step S107). When a plurality of valleys are detected, the threshold value is determined in this way.
- step S122 the pixel value corresponding to the class corresponding to the valley position is set as the threshold value in this case (step S122).
- the pixel value corresponding to the skirt position on the high luminance side of the single peak appearing in the histogram is set as the threshold value (step S123).
- the stained region and the non-stained region are classified based on the threshold value (step S108). Specifically, a dark pixel having a pixel value lower than the threshold value is considered to belong to the stained area, and a bright pixel having a pixel value higher than the threshold value is considered to belong to the non-stained area. It is arbitrary whether to classify a pixel having a pixel value equal to the threshold value into a stained region or a non-stained region. Thus, each pixel in the original image is divided into either a stained region or a non-stained region.
- Confluence is an index value representing the ratio (area ratio) occupied by the stained region in the original image (strictly, the region corresponding to the sample container).
- the confluence is 0.
- the confluency is 1.
- the growth state of the cells in the sample container can be quantitatively represented by the confluence value.
- a binarized image is created (step S110).
- the created binarized image is displayed on the display 32 and presented to the user (step S111).
- the data is output to an external device via the interface 23.
- FIG. 7A to 7C are diagrams showing examples of an original image and a binarized image obtained by binarizing the original image.
- FIG. 7A is an example of an original image
- FIG. 7B shows the histogram.
- FIG. 7C is a diagram illustrating a binarized image.
- FIG. 7A in this sample, a stained region in which cells are distributed and stained and a non-stained region in which no cells are present are mixed and mixed, and variation in shading is also large in the stained region. For this reason, as shown in FIG. 7B, a plurality of large irregularities appear in the histogram.
- the binarized image obtained by executing the above-described image processing on the original image having such a histogram is the image shown in FIG. 7C.
- the pixels divided into the stained areas are black and the pixels divided into the non-stained areas are painted white. That is, the first pixel value having a relatively low luminance is assigned to the pixel divided into the stained region, while the second pixel having a relatively high luminance with respect to the first pixel value is assigned to the pixel divided into the non-stained region. Pixel values are assigned.
- FIG. 7C the pixels divided into the stained areas are black and the pixels divided into the non-stained areas are painted white. That is, the first pixel value having a relatively low luminance is assigned to the pixel divided into the stained region, while the second pixel having a relatively high luminance with respect to the first pixel value is assigned to the pixel divided into the non-stained region. Pixel values are assigned. Compared with the original image shown in FIG.
- symbol Th indicates a threshold set by the image processing of the present embodiment. It can be seen that the threshold is set at the valley position where the depth seen from the two peaks is the maximum.
- FIG. 8A and 8B are diagrams showing another example of an original image and a histogram corresponding to the original image.
- FIG. 8A is an example of an image whose histogram has a single peak
- FIG. 8B is an example of an image whose histogram has a single valley.
- the stained region extends throughout the sample container, and the variation in density is small. Such a sample is considered to have cells distributed throughout the container.
- the threshold value is set at the peak high-luminance side skirt position, so that the entire original image is divided into stained regions.
- the threshold value is set at the position of the valley sandwiched between the two peaks, so that the stained region and the non-stained region can be accurately distinguished.
- peaks and valleys in the histogram of the pixel values of each pixel constituting the original image are detected.
- a threshold value of a pixel value for distinguishing the stained region and the non-stained region is set at the position where the depth of the valley evaluated from the two peaks sandwiching the valley is maximum.
- peaks and valleys are detected in a histogram reconstructed using a part of pixel values sampled and extracted from the entire pixel values and the frequency values corresponding thereto, and threshold values are set. It is determined. Specifically, the pixel values are periodically thinned out so that the sequence of pixel values to be extracted becomes an even number sequence as a whole. By appropriately thinning out pixel values, the threshold value can be determined without being affected by small unevenness.
- the number of detected valleys is one, it is considered that two peaks sandwiching the valley correspond to a stained region and a non-stained region, respectively. Therefore, in this case, by setting a threshold value at a single valley position, it is possible to accurately distinguish the stained area and the non-stained area.
- the original image is divided into a stained region and a non-stained region based on the threshold value determined as described above, so that the stained region and the unstained region are automatically processed by image processing without depending on the user's visual inspection. Can be identified.
- the distribution state of the stained region and the non-stained region can be easily visually confirmed. Images can be provided to the user.
- the imaging unit 1, the image processing unit 2, and the UI unit 3 are respectively an “image acquisition unit”, an “image processing unit”, and an “output unit” of the present invention. Is functioning as The imaging unit 1 also functions as the “imaging unit” of the present invention, and the display 32 functions as the “display unit” of the present invention.
- the image processing apparatus 100 of the above-described embodiment includes the imaging unit 1 as the “image acquisition unit” of the present invention, but the present invention is an image processing apparatus that does not have a function of imaging a sample. Is also applicable. That is, the image processing apparatus according to the present invention may be configured to receive image data of an original image captured by an external imaging apparatus and execute the above-described processing on the original image.
- the interface for receiving the image data from the external device functions as the “reception unit” of the “image acquisition means” of the present invention.
- the interface 23 of the image processing unit 2 assumes this function, so that it is possible to perform processing on the original image captured externally as well as the original image captured by the imaging unit 1. .
- the embodiment of the present invention that does not include the imaging function includes hardware such as a general-purpose personal computer or workstation, and software for causing the hardware to implement the processing algorithm according to the present invention. It can also be realized by a combination. That is, the present invention can be implemented by mounting a control program based on the technical idea of the present invention on general-purpose hardware.
- the image processing apparatus 100 includes the display 32 that displays a binarized image obtained as a result of image processing.
- the result of the image processing is not only binarized and output, but, for example, different visual information is given to the original image in a region divided into a stained region and a region divided into a non-stained region.
- Image processing may be performed and output.
- the function of displaying the image after image processing may be assigned to an external display device, and the image processing result may be output to the display device.
- the result may be output to an external arithmetic device.
- such an object can be achieved by the interface 23 of the image processing unit 2 functioning as the “output unit” of the present invention responsible for data output to the outside.
- the processing is performed based on the pixel value corresponding to the luminance of the pixel whose value increases as the pixel becomes brighter.
- the same processing can be performed even if a pixel value defined so that the higher the image density, that is, the darker the pixel is, the larger the value is.
- the histogram is illustrated and explained in order to facilitate understanding of the principle of the invention.
- the peak and valley on the histogram are directly obtained from the result. Can be detected. Therefore, creating a histogram in the present invention is not an essential requirement.
- the present invention can be suitably applied for the purpose of distinguishing a stained area and an unstained area from an original image containing stained cells, and is particularly suitable for experiments and observations in the medical and biochemical fields, for example. It is.
- Imaging unit image acquisition means, imaging unit
- Image processing unit image processing means
- UI user interface
- output means 11 Image sensor
- CPU 23 Interface output means, receiver
- Display output means, display unit
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Wood Science & Technology (AREA)
- Biotechnology (AREA)
- Organic Chemistry (AREA)
- Zoology (AREA)
- Biomedical Technology (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Medicinal Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Urology & Nephrology (AREA)
- Genetics & Genomics (AREA)
- Mathematical Physics (AREA)
- Microbiology (AREA)
- Sustainable Development (AREA)
- Molecular Biology (AREA)
- Hematology (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Food Science & Technology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
染色された細胞を撮像した原画像から、染色された染色領域と染色されていない非染色領域とを区別するための画素値の閾値を決定する閾値決定方法であって、原画像を取得する工程(ステップS101)と、原画像を構成する各画素の画素値の度数分布を求める工程(ステップS102)と、度数分布に対応するヒストグラムにおけるピークおよびバレーを特定する工程(ステップS104)と、バレーのうち、ヒストグラムにおいて当該バレーを挟む2つのピークに対する当該バレーの深さが最大である一のバレーの位置に対応する画素値を、閾値として設定する工程(ステップS107)とを備える。
Description
この発明は、染色された細胞が撮像された原画像に対して画素値の閾値を設定し、染色された領域と染色されていない領域とを区別する技術に関するものである。
関連出願の相互参照
以下に示す日本出願の明細書、図面および特許請求の範囲における開示内容は、参照によりその全内容が本書に組み入れられる:
特願2014-165692(2014年8月18日出願)。
関連出願の相互参照
以下に示す日本出願の明細書、図面および特許請求の範囲における開示内容は、参照によりその全内容が本書に組み入れられる:
特願2014-165692(2014年8月18日出願)。
培養プレートやディッシュ(シャーレ)で細胞を2次元培養(単層培養ともいう)した試料を用いた実験・研究においては、細胞の生育状態を知るために試料を染色することが行われる。細胞が存在する領域が選択的に染色されることにより、細胞の分布状況を知ることができる。
画像を構成する各画素の画素値に基づく画像処理によって、このように染色された試料の画像から染色された領域と染色されていない領域とを自動的に区別する技術の確立が求められている。例えば特許文献1に記載の技術では、染色された間質領域と染色されていない背景領域とを区別するための画素値の閾値を定める方法として、Kittlerの判別分析法および大津の判別分析法が用いられている。この他、画像を2値化するための技術としては、Pタイル法やモード法などが従来から知られている。
細胞の生育状態が培養条件により様々であるため、画像中において染色された領域が占める比率は、0%から100%の間で試料ごとに大きく変化する。また、細胞自体の色彩や染色の状態などにより、染色された領域の画像濃度も一様ではない。このことに起因して、上記した各種の従来技術では染色領域と非染色領域とを的確に区別できないケースがあった。特に、画像の多くを染色領域または非染色領域の一方が占めている場合、設定された閾値に基づく区分が専門家の目視による判断と合わないことがある。
この発明は上記課題に鑑みなされたものであり、画素値の閾値を適切に設定することで、ユーザーに与える違和感を抑えつつ、染色された領域と染色されていない領域とを区別することのできる技術を提供することを目的とする。
この発明の一の態様は、染色された細胞を撮像した原画像から、染色された染色領域と染色されていない非染色領域とを区別するための画素値の閾値を決定する閾値決定方法であって、上記目的を達成するため、前記原画像を取得する工程と、前記原画像を構成する各画素の画素値の度数分布を求める工程と、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定する工程と、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む2つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に対応する画素値を前記閾値として設定する工程とを備えている。
染色領域と非染色領域とを含む画像では、画像を構成する各画素の画素値について作成されるヒストグラムでは、染色領域および非染色領域のそれぞれに対応する2つの主たるピークが現れる、すなわちヒストグラムが双峰性を有すると期待される。しかしながら、前記したように、染色領域、非染色領域ともに画像濃度が必ずしも一様でなく、これに起因してヒストグラムには3以上のピークが現れることも多い。特に画像の多くを染色領域が占める場合、画素値のばらつきがより顕著となり、多くのピークおよびバレーが生じる。このような状況に、前記した従来技術は対応することができない。
ヒストグラムにおいて複数のバレーが存在するとき、そのうちのいずれかが染色領域と非染色領域とを区分する閾値に対応していると考えられる。したがって各バレーの有意性を評価することが、適切な閾値を見出すための方法と考えられる。本発明では、各バレーを挟む2つのピークから見た当該バレーの深さが評価され、最も深いバレーに対応する画素値が、染色領域と非染色領域とを区分するための閾値とされる。本願発明者の知見によれば、このようにして決定された閾値に基づき原画像を染色領域と非染色領域とに区分したとき、専門家が見ても違和感のない結果を得ることができた。
また、この発明の他の態様は、上記した閾値決定方法により前記閾値を決定する工程と、前記閾値に基づき、前記原画像を前記染色領域と前記非染色領域とに区分する工程とを備える画像処理方法である。
また、この発明のさらに他の態様は、染色された細胞を撮像した原画像を取得する画像取得手段と、前記原画像中の染色された染色領域と染色されていない非染色領域とに互いに異なる画像処理を施す画像処理手段と、前記画像処理手段による処理結果を出力する出力手段とを備え、前記画像処理手段は、前記原画像を構成する各画素の画素値の度数分布を求め、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定し、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む2つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に対応する画素値を閾値として、前記原画像を前記染色領域と前記非染色領域とに区分する画像処理装置である。
これらの発明では、上記のように各バレーの深さを評価した結果に基づき適切に設定された閾値に基づいて原画像中の染色領域と非染色領域とが区分される。したがって、熟練した専門家の判断に近い区分結果を自動的に得ることができる。
本発明によれば、ヒストグラムに現れる各バレーの評価に基づき画素値の閾値が決定される。これにより、原画像中の染色領域と非染色領域とに関し、ユーザーに違和感を与えない区分が可能となる。
この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
図1はこの発明にかかる画像処理装置の一実施形態の概略構成を示すブロック図である。この画像処理装置100は、本発明にかかる画像処理方法を実行するための機能を有するものである。そのための具体的構成として、画像処理装置100は、撮像部1と、画像処理部2と、UI(ユーザーインターフェース)部3とを備えている。
撮像部1は、ウェルプレート、シャーレ、ディッシュ等の試料容器に担持された培地内で培養された細胞を撮像する機能を有するものである。具体的には、撮像部1はイメージセンサ11と、イメージセンサ11から出力される電気信号をデジタル信号に変換するA/Dコンバータ12とを備えている。上記した試料容器を保持するための機構が撮像部1に設けられてもよい。
イメージセンサ11としては、例えばCCDセンサまたはCMOSセンサなどの受光デバイスが用いられる。イメージセンサ11は、微小な受光素子が受光平面上で二次元配置されたエリアイメージセンサ、受光素子が一列に配列されたリニアイメージセンサのいずれであってもよい。リニアイメージセンサが用いられる場合、二次元画像を得るために該イメージセンサを撮像対象物に対し相対的に走査移動させる走査移動機構が別途設けられる。また、イメージセンサ11は、例えば顕微鏡光学系のような適宜の撮像光学系との組み合わせで使用されてもよい。イメージセンサ11が受光量に応じて出力する電気信号はA/Dコンバータ12によりデジタル信号に変換され、撮像部1はこうして生成されたデジタル画像データを、画像処理部2に対し出力する。
画像処理部2は、予め用意された制御プログラムを実行して所定の画像処理を実現するCPU(中央処理装置)21と、CPU21が実行すべき制御プログラム、撮像部1から送信される画像データ、画像処理の過程で生成される中間データなどを記憶保存するストレージ22と、画像処理部2と外部装置との間のデータ交換を司るインターフェース(I/F)23とを備えている。
また、UI部3は、処理開始指示や条件設定などの操作入力をユーザーから受け付ける例えばマウス、キーボード、タッチパネル、操作ボタンなどの入力デバイス31と、処理の進行状況や結果などを表示するディスプレイ32とを備えている。なお、画像処理部2およびUI部3の各構成は一般的なパーソナルコンピュータが備えるものと同等であってよい。すなわち、汎用のパーソナルコンピュータの構成および機能を画像処理部2およびUI部3として用いることが可能である。
上記のように構成された画像処理装置100は、試料容器内で培養される細胞の生育状態を観察する目的に好適なものである。このような観察目的の実験においては、試料容器内で細胞が二次元培養されてなる試料が適宜の染料によって染色される。試料容器内を撮像した画像では、細胞が占める領域は染色されて染色領域をなす一方、細胞が存在しない領域は染料の色が現れない非染色領域となる。以下では、画像処理装置100が実行可能な画像処理のうち、撮像した画像から染色領域と非染色領域とを自動的に識別し、その結果から画像を2値化する一連の処理について説明する。
図2は画像処理の一例を示すフローチャートである。この画像処理は、画像処理部2のCPU21がストレージ22に予め保存されている制御プログラムを実行して装置各部を制御することにより実現される。最初に、予め用意された試料、すなわち試料容器内で細胞が培養されたものが撮像部1により撮像され、これにより試料の原画像が取得される(ステップS101)。
図3Aおよび図3Bは原画像とそれから得られる二次データとを例示する図である。図3Aは原画像の一例を示す図である。この原画像では、略円形の試料容器の内底面に、細胞が存在せず培地が露出して比較的高輝度、すなわち白に近い淡い画像濃度の領域(非染色領域)と、染色された細胞が分布し非染色領域よりも高い画像濃度(低輝度)の染色領域とが混在している。続いて、これら2種類の領域が以下のようにして区分される。
まず、得られた原画像を構成する画素のうち、試料容器内部に対応する各画素の画素値の度数分布が求められ、それに対応するヒストグラムが作成される(ステップS102)。図3Bはヒストグラムの一例を示す図である。ここでは原画像をモノクロ画像とし、各画素の画素値は当該画素の輝度を多階調で表したものとする。各画素が8ビットデータで表される場合、画素値は0から255までの256段階で表される。数値が小さいほど当該画素が低輝度、つまり暗く黒色に近いことを表し、数値が大きいほど当該画素が高輝度、つまり明るく白色に近いことを表す。
染色領域と非染色領域とを含む原画像のヒストグラムでは、図3Bに示すように、染色領域に対応する低輝度側のピークと、非染色領域に対応する高輝度側のピークとが現れ、これらのピーク間のバレーに相当する位置に、染色領域と非染色領域とを分ける画素値の閾値が存在すると期待される。すなわち、当該閾値よりも低輝度側の画素値を有する画素は染色領域に属し、閾値よりも高輝度側の画素値を有する画素は非染色領域に属する蓋然性が高いと言える。そこで、この画像処理では、原画像から得られた度数分布に基づき、染色領域と非染色領域とを区分するための画素値の閾値が決定される。
しかしながら、染色された細胞の色合いには個体差やばらつきがあるため、ヒストグラムに2つのピークが明瞭に現れるとは限らず、図3Bに示すように、主要なピークの他にも細かい凹凸が多数現れることがある。そこで、このような細かい変動を除去するためにヒストグラムのスムージングが行われる(ステップS103)。
スムージングの方法としては、例えば移動平均処理、メディアンフィルタ処理などが考えられる。ここでは度数軸での数値の操作を回避するために、画素値を一定周期でサンプリング抽出することで画素値の間引きを行い、これにより細かい凹凸のないヒストグラムを得る。この間引きは、画素値のスケールにおいてその解像度を粗くすることと等価である。本願発明者の知見では、画素値が8ビット256段階で表される場合、画素値を(1/8)程度に間引くことで、有意な情報を失うことなく無意味な凹凸を消滅させることができることがわかっている。しかしながら、目的に応じて間引きの度合いを変更してもよい。またスムージング方法についてもこれに限定されない。
図3Bに黒丸印で示すように、画素値を8ずつスキップしながら当該画素値に対応する度数の数値を抽出することで、(1/8)に間引かれた度数分布が得られる。より一般化して言うと、間引きの比率(この例では8)を公差とする等差数列上の数値に該当する画素値をそれぞれ一の新たな階級とし、当該画素値に対応する度数を新たな度数とする新たな度数分布を求めることにより、スムージング後の度数分布およびそれに対応するヒストグラムを得ることができる。
図3Bに示す例では、等差数列の初項を0、公差を8とする等差数列{0,8,16,32,…}の各項に該当する画素値により度数がサンプリング抽出されることでスムージング(間引き)が実現される。しかしながら、初項を1ないし7のいずれかの値としてもよい。また、公差についても上記したように8に限定されず適宜変更可能である。このようにしてスムージングを行うことで、有意でない凹凸が除去された新たな度数分布が求められる。続いて、当該度数分布に対応するヒストグラムに現れるピークおよびバレーの位置と、それらの高さとが検出される(ステップS104)。
図4はピークおよびバレーの検出処理を示すフローチャートである。最初に、処理に用いられる変数等の初期化が行われる(ステップS201)。この処理では、スムージング後のヒストグラムにおける各階級の度数を格納する配列変数H[i]、当該ヒストグラムの変化状態を表す配列変数A[i]、ピーク位置を記録するための配列変数P[i]、バレー位置を記録するための配列変数V[i]、ピークの出現個数をカウントするスカラー変数Cp、バレーの出現個数をカウントするスカラー変数Cv、および、ヒストグラムの変化傾向を表すスカラー変数Tが用いられる。
なお、各配列変数のパラメータiは、スムージング後の度数分布およびヒストグラムにおける各階級を表すものであり、元のヒストグラムからサンプリング抽出された画素値と1対1に対応する。すなわち、サンプリング抽出する際の等差数列の初項,第2項,第3項,…に相当する画素値が、階級数0,1,2,…にそれぞれ対応する。前述した初項0、公差8の等差数列に基づく間引きの場合、画素値0,8,16,…がそれぞれ階級数0,1,2,…に対応する。間引きを行わない場合には、画素値がそのまま階級数となる。以下では、スムージング後の階級の総数を符号Nにより表す。256段階の元データを(1/8)に間引くケースでは、N=32である。
初期状態では、配列変数H[i]には、スムージング後の度数分布における階級数i(i=0,1,…,N)のそれぞれに対応する度数の値が格納される。他の配列変数A[i]、P[i]、V[i]にはヌルデータが設定される。またスカラー変数Cp、Cvにはそれぞれ初期値「0」が設定される。またヒストグラムが階級とともに上昇する局面であるか下降する局面であるかの傾向を示すスカラー変数Tには、初期値「up」が設定される。
続いて、スムージング後の度数分布を表す配列変数H[i]に基づき、ヒストグラムの変化状態を示す配列変数A[i]が記録される(ステップS202)。具体的には、互いに隣接する値H[i]と値H[i-1]との比較に基づく場合分けにより、次の条件式、
H[i]>H[i-1]のとき、「上昇」
H[i]=H[i-1]のとき、「不変」
H[i]<H[i-1]のとき、「下降」
により値A[i]が設定される。上記定義から明らかなように、値A[i]が「上昇」であるとき、当該階級では1つ下の階級よりも度数が増加している。また、値A[i]が「不変」であるとき、当該階級では1つ下の階級と度数が同じである。また、値A[i]が「下降」であるとき、当該階級では1つ下の階級よりも度数が減少している。このように、配列変数A[i]は、ヒストグラムの各所における度数の増減の状態を表している。
H[i]>H[i-1]のとき、「上昇」
H[i]=H[i-1]のとき、「不変」
H[i]<H[i-1]のとき、「下降」
により値A[i]が設定される。上記定義から明らかなように、値A[i]が「上昇」であるとき、当該階級では1つ下の階級よりも度数が増加している。また、値A[i]が「不変」であるとき、当該階級では1つ下の階級と度数が同じである。また、値A[i]が「下降」であるとき、当該階級では1つ下の階級よりも度数が減少している。このように、配列変数A[i]は、ヒストグラムの各所における度数の増減の状態を表している。
そして、ステップS204ないしS208の処理を各階級iについてループ実行することにより各階級の度数が評価され、ヒストグラムにおけるピークおよびバレーの位置とその高さとが特定される。具体的には、評価する階級数iを初期値1に設定し(ステップS203)、階級数が最後の値Nとなるまで(ステップS209)、階級数iを1つずつインクリメントしながら(ステップS210)、ステップS204ないしS209のループ処理が実行される。
個々のループ処理の内容について説明する。ステップS204では、現在着目する階級数iに対応する値A[i]が「不変」であるか否かが判定される。値A[i]が「不変」であれば(ステップS204においてYES)、ステップS205ないしS208の処理はスキップされる。値A[i]が「上昇」または「下降」であれば(ステップS204においてNO)、続いてステップS205が実行される。
ステップS205では、現在着目する階級数iに対応する値A[i]とスカラー変数Tとが評価される。具体的には、スカラー変数Tの値が「up」であり、かつ、値A[i]が「下降」である場合には、続いてステップS206が実行されるが、それ以外の場合にはステップS206がスキップされる。
ステップS206では、以下のように変数の書き換えが行われる。すなわち、現在着目している階級iよりも1つ小さい階級(i-1)に対応する変数P[i-1]に、当該位置にピークがあることを示す情報が記録される。ピーク位置をどのような態様で記録するかは任意であり、例えばこのような配列変数を用いず、単にメモリやレジスタにピーク位置を記憶させておくだけでもよい。また、ピークの個数を示す変数Cpの値に1が加算され、さらに変数Tが「down」に変更される。
続くステップS207では、現在着目する階級数iに対応する値A[i]とスカラー変数Tとが評価される。スカラー変数Tの値が「down」であり、かつ、値A[i]が「上昇」である場合には、続いてステップS208が実行される。それ以外の場合にはステップS208がスキップされる。
ステップS208では、以下のように変数の書き換えが行われる。すなわち、現在着目している階級iよりも1つ小さい階級(i-1)に対応する変数V[i-1]に、当該位置にバレーがあることを示す情報が記録される。ピーク位置の記録と同様、情報の態様は任意である。また、バレーの個数を示す変数Cvの値に1が加算され、さらに変数Tが「up」に変更される。
上記のようなループ処理によりピークおよびバレーが検出されるプロセスを、実例を挙げて説明する。以下の説明の便宜のために、上記したループ中の条件分岐により取り得る処理経路に番号を付しておく。図4の右上の表に示したように、ステップS204における判断結果が「YES」であるときの処理経路、すなわちステップS205ないしS208がスキップされてステップS204から直接ステップS209にジャンプする経路を「経路1」と称する。同様に、ステップS204、S205、S207における判断結果がそれぞれ「NO」、「NO」、「YES」であるときの処理経路を「経路2」と称する。また、ステップS204、S205、S207における判断結果がそれぞれ「NO」、「YES」、「NO」であるときの処理経路を「経路3」と称する。また、ステップS204、S205、S207における判断結果がいずれも「NO」であるときの処理経路を「経路4」と称する。
なお、表中に番号(5)を付して示すように、ステップS205、S207において判断結果が共に「YES」となるケースは、変数A[i]の定義からみてあり得ない。すなわち、ステップS204ないしS208の全てが順番に実行されるような処理経路に沿って処理が進行することはないので、この処理経路を考える必要はない。
図5Aはヒストグラムの例を示す図である。また、図6はピークおよびバレーの検出処理における変数の状態遷移を示す図である。以下では、図5Aに示すヒストグラムを例としてピークおよびバレー検出処理の進行について説明する。このヒストグラムは説明のための仮想的なものであり、図3Bに示すヒストグラムとは直接関係しない。また、図5Aのヒストグラムは階級の一部、具体的には0ないしN階級のうちの0ないし10階級のみを示している。
スムージング後のヒストグラムが図5Aに示すものであったとする。各階級i(i=0,1,2,…,N)に対応する度数の値H[i]を、符号Hi(i=0,1,2,…,N)により表す。すなわち、例えばH[0]=H0、H[1]=H1、…である。図6の表中で左端に「H[i]」と記した行には、ステップS201において初期化された、階級数iに対応する度数の値H[i]が記入されている。各値の間に挿入された記号(=)、(<)、(>)は、隣接する階級間での度数の大小関係を示しており、図5Aのヒストグラムと対応している。すなわち、H0=H1、H1<H2、H2>H3、…である。
ステップS202では、配列変数H[i]に基づき、ヒストグラムの変化状態を示す配列変数A[i]が求められる。すなわち、値H[i-1]に対する値H[i]の変化に基づき、値A[i]が「上昇」、「不変」、「下降」のいずれかに設定される。図5Aに示す例では、H[0]=H[1]であるので、図6に示すようにA[1]の値は「不変」となる。また、H[1]<H[2]であるので、A[2]の値は「上昇」となる。さらに、H[2]>H[3]であるので、A[3]の値は「下降」となる。以降の各値も同様にして求められ、ループ処理に供される。変数Tの初期値は前述の通り「up」である。
第1回のループ処理(i=1)では、A[i]=A[1]の値が「不変」であるため処理経路1に沿った処理が実行され、各変数の値に変化はない。第2回のループ処理(i=2)では、A[2]の値が「上昇」、Tの値が「up」であるため処理経路4に沿った処理が実行される。この場合も各変数の値に変化はない。
第3回のループ処理(i=3)では、A[3]の値が「下降」、Tの値が「up」であるため、ステップS205における判断が「YES」となり、処理経路3に沿った処理が実行される。したがって、P[i-1]、すなわちP[2]にピーク有の情報が記録される。図6では、黒丸印によりピーク位置が表される。また、ピーク個数をカウントする変数Cpが0から1に変更され、変数Tは「up」から「down」に変更される。
第4回のループ処理(i=4)では、A[4]の値が「上昇」、Tの値が「down」であるため、ステップS207における判断が「YES」となり、処理経路2に沿った処理が実行される。したがって、V[3]にバレー有の情報が記録される。図6では、白丸印によりバレー位置を表している。また、バレー個数をカウントする変数Cvが0から1に変更され、変数Tは「down」から「up」に変更される。
第5回のループ処理(i=5)では、A[5]の値が「不変」であるため処理経路1に沿った処理が実行され、各変数の値は変化しない。第6回のループ処理(i=6)では、A[6]の値が「上昇」、Tの値が「up」であるため処理経路4に沿った処理が実行される。この場合も各変数の値に変化はない。
第7回のループ処理(i=7)では、A[7]の値が「下降」、Tの値が「up」であるため、第3回と同様、処理経路3に沿った処理が実行される。これにより、P[6]にピークが記録され、ピーク個数をカウントする変数Cpの値が1増加し、Tの値が「down」に変更される。第8回のループ処理(i=8)では、A[8]の値が「下降」、Tの値が「down」であるため、第6回と同様、処理経路4に沿った処理が実行され、各変数の値は変化しない。
第9回のループ処理(i=9)では、A[9]の値が「上昇」、Tの値が「down」であるため、処理経路2に沿った処理が実行される。したがって、V[8]にバレー有の情報が記録される。また、バレー個数をカウントする変数Cvが1から2に増加し、変数Tが「down」から「up」に変更される。第10回のループ処理(i=10)では、A[10]の値が「下降」、Tの値が「up」であるため、処理経路3に沿った処理が実行される。これにより、P(9)にピークが記録され、ピーク個数をカウントする変数Cpの値が1増加し、Tの値が「down」に変更される。
このように、図4のフローチャートに示される処理が実行されることで、ヒストグラム中のピーク位置およびバレー位置が特定され記録される。図6を参照すると、i=2、6および9にピークが記録される一方、i=3、8にバレーが記録されている。この結果は、図5Aに示されるヒストグラムのピーク位置およびバレー位置と一致していることがわかる。
図2に戻って、本実施形態の画像処理の説明を続ける。上記のようにしてヒストグラムにおけるピークおよびバレーが特定されると、バレーの評価およびそれに基づく閾値の決定が行われる。検出されたバレーの個数、すなわち変数Cvの値によって処理内容が異なる。
検出されたバレーの個数が2以上であるとき(ステップS105においてYES)、各バレーのうちその深さが最大であるものの位置に対応する画素値が閾値とされる(ステップS106、S107)。バレーの評価は次のようにして行われる。
図5Bはバレーの評価方法を説明する図である。図5Aに示すヒストグラムについてピークおよびバレーの検出が行われたとき、図5Bに示すように、i=2の位置に値H2を有するピークP2が、i=6の位置に値H6を有するピークP6が、i=9の位置に値H9を有するピークP9が、それぞれ検出される。また、i=3の位置に値H3を有するバレーV3が、i=8の位置に値H8を有するバレーV8が、それぞれ検出される。
染色領域と非染色領域とを区分する画素値の閾値は、ヒストグラムにおいて染色領域に対応するピークと非染色領域に対応するピークとの間にあると考えられる。したがって、2つのピークの間に存在する深いバレーの位置に対応する画素値を閾値とすることが有効である。この観点から、各バレーは、ヒストグラムにおいて当該バレーを挟む位置にある2つのピークから見た深さにより評価される。
具体的には、図5Bに示すように、バレーV3の深さは、当該バレーV3を挟む2つのピークP2、P6を結ぶ線分(破線)とバレーV3を通り縦軸(度数軸)に平行な(方程式i=3で表される直線に相当する)線分との交点Q3から、バレーV3までの距離D3により定義される。一方、バレーV8の深さは、当該バレーV8を挟む2つのピークP6、P9を結ぶ線分とバレーV8を通り縦軸に平行な線分との交点Q8からバレーV8までの距離D8により定義される。
数式を用いてバレーの深さを表すと次のようになる。例えばバレーV3の深さについては次のように表すことができる。点Q3に相当する度数の値をh3とすると、図5BにおけるピークP2とピークP6との関係から明らかなように、
h3=H2+(H6-H2)・(3-2)/(6-2)
と表すことができる。ここで、数値3、2、6はそれぞれ、ピークP3、P2、P6の位置に対応する階級iの値である。したがって、バレーV3の深さD3については次式、
D3=h3-H3=H2+(H6-H2)・(3-2)/(6-2)-H3
により表すことができる。このように、各バレーの深さについては、当該バレーの位置および度数の値、当該バレーを挟む2つのピークそれぞれの位置および度数の値から算出することが可能である。
h3=H2+(H6-H2)・(3-2)/(6-2)
と表すことができる。ここで、数値3、2、6はそれぞれ、ピークP3、P2、P6の位置に対応する階級iの値である。したがって、バレーV3の深さD3については次式、
D3=h3-H3=H2+(H6-H2)・(3-2)/(6-2)-H3
により表すことができる。このように、各バレーの深さについては、当該バレーの位置および度数の値、当該バレーを挟む2つのピークそれぞれの位置および度数の値から算出することが可能である。
各バレーのうち、上記のようにして求められた深さが最大であるものが、2つのピークを分ける最も主要なバレーであると考えられる。当該バレー位置に相当する階級に対応する画素値が、染色領域と非染色領域とを分ける閾値として設定される(ステップS107)。バレーが複数検出された場合には、このようにして閾値が決定される。
一方、検出されたバレーが1つであった場合(ステップS105においてNOかつステップS121においてYES)、つまり1つのバレーを挟む2つのピークのみが検出された場合には、当然にこれら2つのピークが染色領域および非染色領域に対応し、その間のバレーが染色領域と非染色領域とを分けるものであると言える。したがって、当該バレー位置に相当する階級に対応する画素値が、この場合の閾値として設定される(ステップS122)。
また、バレーの個数が0、つまりバレーが検出されなかった場合には(ステップS121においてNO)、1つのピークのみが存在することが示唆されており、このことは試料容器内全体が染色領域または非染色領域で占められている可能性が高いことを意味する。全体が非染色領域であるということは細胞が生育していない状態であり、このような試料が観察対象とされることはあまりない。より現実的には、試料容器内全体に細胞が広がり、画像全体が染色領域となっていると考えられる。そこで、この場合には、ヒストグラムに現れる単一ピークの高輝度側の裾位置に対応する画素値が閾値として設定される(ステップS123)。
このようにして閾値が決定されると、閾値に基づいて染色領域と非染色領域とが区分される(ステップS108)。具体的には、閾値よりも低輝度の画素値を有する暗い画素は染色領域に属すると見なされ、閾値よりも高輝度の画素値を有する明るい画素は非染色領域に属すると見なされる。閾値と等しい画素値を有する画素を染色領域、非染色領域のいずれに区分するかは任意である。こうして、原画像内の各画素が染色領域、非染色領域のいずれかに区分される。
続いて、原画像のコンフルエンシーが算出される(ステップS109)。コンフルエンシーは、原画像(厳密にはそのうち試料容器内に対応する領域)のうち染色領域が占める比率(面積比)を表す指標値である。細胞が存在せず原画像の全体が非染色領域である場合、コンフルエンシーは0であり、逆に原画像の全体が染色領域である場合のコンフルエンシーは1である。コンフルエンシーの値により、試料容器内における細胞の生育状態を定量的に表すことができる。閾値が適宜に設定されることで、撮像された原画像から自動的に算出されるコンフルエンシーの値により細胞の生育状態を定量的に表すことが可能になる。
また、閾値に基づき区分された染色領域と非染色領域とに互いに異なる画素値が付与されることにより、2値化された画像が作成される(ステップS110)。作成された2値化画像は、ディスプレイ32に表示されユーザーに提示される(ステップS111)。または、インターフェース23を介して外部装置に出力される。
図7Aないし図7Cは原画像およびこれを2値化した2値化画像の例を示す図である。具体的には、図7Aは原画像の一例であり、図7Bはそのヒストグラムを示す。また、図7Cは2値化された画像を示す図である。図7Aに示すように、この試料では、細胞が分布し染色された染色領域と、細胞が存在しない非染色領域とが複雑に入り混じっており、染色領域においても濃淡のばらつきが大きい。このため、図7Bに示すように、ヒストグラムにも複数の大きな凹凸が現れる。
このようなヒストグラムを持つ原画像に対し、上記した画像処理を実行して得られた2値化画像が、図7Cに示す画像である。図7Cでは、染色領域に区分された画素が黒く、非染色領域に区分された画素が白く塗り分けられている。すなわち、染色領域に区分された画素に比較的低輝度の第1の画素値が割り当てられる一方、非染色領域に区分された画素には第1の画素値に対し比較的高輝度の第2の画素値が割り当てられる。図7Aに示す原画像と比較すると、原画像の濃淡から視認により把握される染色領域と非染色領域との境界と、画像処理により自動作成された2値化画像におけるこれらの領域の境界とがよく一致していると言える。図7Bにおいて符号Thは、本実施形態の画像処理によって設定された閾値を示している。2つのピークから見た深さが最大であるバレーの位置に閾値が設定されていることがわかる。
図8Aおよび図8Bは原画像およびこれに対応するヒストグラムの他の例を示す図である。具体的には、図8Aはヒストグラムが単一ピークを持つ画像の例であり、図8Bはヒストグラムが単一バレーを持つ画像の例である。図8Aに示す原画像では、試料容器内全体に染色領域が広がっており、その濃度のばらつきも小さい。このような試料は、容器内全体に細胞が分布したものと考えられる。ヒストグラム上に破線で示すように、ピークの高輝度側裾位置に閾値が設定されることで、原画像全体が染色領域に区分されることになる。
また、図8Bに示す原画像では、例えば図7Aに示す画像と比較すると、明るい非染色領域と暗い染色領域との違いが比較的明瞭に現れている。このような原画像に対応するヒストグラムでは、染色領域に相当する低輝度側のピークと非染色領域に相当する高輝度側のピークとがはっきりと表れる。したがって、ヒストグラム上に破線で示すように、2つのピークに挟まれたバレーの位置に閾値が設定されることで、染色領域と非染色領域とを的確に区別することができる。
以上のように、この実施形態においては、原画像を構成する各画素の画素値のヒストグラムにおけるピークおよびバレーが検出される。検出されたバレーのうち、当該バレーを挟む2つのピークから評価されるバレーの深さが最大であるものの位置に、染色領域と非染色領域とを区分するための画素値の閾値が設定される。このようにすることで、ユーザーの視認による区分結果と違和感のない区分結果を、画像処理により自動的に得ることができる。
バレーの評価に際しては、当該バレーを挟む2つのピークを結ぶ線分および当該バレーを通り縦軸(度数軸)に平行な線分の交点に相当する度数の値と、当該バレーにおける度数の値との差をもって当該バレーの深さとされる。こうすることで、複数のバレーの中から2つのピークの間の最も顕著なバレーを特定することができる。
多階調表現される画素値のヒストグラムにおいては、試料の濃度ばらつきに起因する細かな凹凸が生じ、それらの全てをピークおよびバレーとして取り扱うことは却って判定精度を低下させる。スムージングを行うことで、そのような小さな凹凸を予め除去しておくことが望ましい。上記実施形態では、スムージングの一態様として、画素値全体のうちサンプリング抽出された一部の画素値とそれに対応する度数の値とを用いて再構成されたヒストグラムにおいてピークおよびバレーを検出し閾値が決定される。具体的には、抽出される画素値の数列が全体として等差数列となるように、画素値の周期的な間引きが行われる。画素値の間引きを適切に行うことで、小さな凹凸に影響されずに閾値を決定することができる。
なお、検出されたバレーが1つである場合には、当該バレーを挟む2つのピークがそれぞれ染色領域と非染色領域とに対応していると考えられる。そこで、この場合には単一のバレー位置に閾値が設定されることで、染色領域と非染色領域とを的確に区分することが可能である。
また、バレーが検出されない、つまりヒストグラムにおいて単一のピークのみが存在する場合には、原画像全体が染色領域となっている可能性が高いとの観点から、当該ピークの高輝度側の裾位置に閾値が設定される。こうすることで、ピークに含まれる画素が全て染色領域に区分されることとなり、実態と一致する結果が得られる。
また、上記のようにして決定された閾値に基づいて原画像が染色領域と非染色領域とに区分されることにより、ユーザーの目視に頼らず、画像処理によって自動的に染色領域と非染色領域とを識別することが可能である。
また、染色領域に相当する画素と非染色領域に相当する画素とで互いに異なる画素値を付与した2値化画像を作成することにより、染色領域および非染色領域の分布状態を容易に視認可能な画像をユーザーに提供することができる。
以上説明したように、この実施形態の画像処理装置100では、撮像部1、画像処理部2およびUI部3が、それぞれ本発明の「画像取得手段」、「画像処理手段」および「出力手段」として機能している。また、撮像部1は本発明の「撮像部」としても機能しており、ディスプレイ32が本発明の「表示部」として機能している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置100は、本発明の「画像取得手段」としての撮像部1を備えるものであるが、本発明は、自身は試料を撮像する機能を有しない画像処理装置にも適用可能である。すなわち、本発明にかかる画像処理装置は、外部の撮像装置で撮像された原画像の画像データを受け取って、当該原画像に対し上記した処理を実行する態様であってもよい。
この場合、外部装置から画像データを受け取るインターフェースが本発明の「画像取得手段」の「受信部」として機能することになる。上記実施形態においては、画像処理部2のインターフェース23が当該機能を担うことにより、撮像部1による撮像された原画像と同様、外部で撮像された原画像についても処理を行うことが可能となる。
なお、撮像機能を含まない本発明の実施態様は、前述したように、汎用のパーソナルコンピュータやワークステーション等のハードウェアと、本発明にかかる処理アルゴリズムを当該ハードウェアに実現させるためのソフトウェアとの組み合わせによって実現することも可能である。すなわち、汎用ハードウェアに本発明の技術思想に基づく制御プログラムを実装することにより、本発明を実施することが可能である。
また、上記実施形態の画像処理装置100は、画像処理の結果として得られる2値化画像を表示するディスプレイ32を有している。しかしながら、画像処理の結果については2値化して出力されるのみでなく、例えば、原画像に対し、染色領域に区分された領域と非染色領域に区分された領域とで異なる視覚情報を付与する画像処理が施されて出力されるようにしてもよい。また、画像処理後の画像を表示する機能については外部の表示装置に担わせ、当該表示装置に対して画像処理結果が出力されるようにしてもよい。また、外部の演算装置に対して結果が出力されるようにしてもよい。上記実施形態においては、画像処理部2のインターフェース23が外部へのデータ出力を担う本発明の「出力手段」として機能することで、そのような目的を達成することが可能である。
また、上記実施形態では、明るい画素ほど値が大きくなるような画素の輝度に相当する画素値に基づいて処理が行われる。これに代えて、例えば、画像濃度の高い、つまり暗い画素ほど値が大きくなるように定義された画素値を用いても、同様に処理を行うことが可能である。
また、本明細書では発明の原理の理解を容易にするためにヒストグラムを例示して説明したが、実際の処理においては、度数分布が求まればその結果から直接的にヒストグラム上のピークおよびバレーを検出することが可能である。したがって、本発明においてヒストグラムを作成すること自体は必須の要件ではない。
本発明は、染色された細胞を含む原画像から染色された領域と染色されていない領域とを区別する目的に好適に適用することができ、例えば医療や生化学分野の実験・観察に特に好適である。
以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
1 撮像部(画像取得手段、撮像部)
2 画像処理部(画像処理手段)
3 UI(ユーザーインターフェース)部(出力手段)
11 イメージセンサ
21 CPU
23 インターフェース(出力手段、受信部)
32 ディスプレイ(出力手段、表示部)
100 画像処理装置
2 画像処理部(画像処理手段)
3 UI(ユーザーインターフェース)部(出力手段)
11 イメージセンサ
21 CPU
23 インターフェース(出力手段、受信部)
32 ディスプレイ(出力手段、表示部)
100 画像処理装置
Claims (11)
- 染色された細胞を撮像した原画像から、染色された染色領域と染色されていない非染色領域とを区別するための画素値の閾値を決定する閾値決定方法であって、
前記原画像を取得する工程と、
前記原画像を構成する各画素の画素値の度数分布を求める工程と、
前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定する工程と、
前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む2つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に対応する画素値を前記閾値として設定する工程と
を備える閾値決定方法。 - 前記ヒストグラムにおいて一の前記バレーを挟む2つの前記ピークを結んだ仮想線分と当該バレーを通り度数軸に平行な仮想線分との交点に相当する度数の値と、当該バレーに相当する度数の値との差を、当該バレーの深さの指標値とする請求項1に記載の閾値決定方法。
- 前記画素が取り得る全ての画素値のうち、数値が等差数列をなす一部の画素値に対応する度数分布に基づき、前記ピークおよび前記バレーを特定する請求項1または2に記載の閾値決定方法。
- 前記ヒストグラムにおいて前記バレーが1つのとき、当該バレーに相当する画素値を前記閾値とする請求項1ないし3のいずれかに記載の閾値決定方法。
- 前記ヒストグラムにおいて前記バレーが存在しないとき、前記画像中で最も高輝度である画素の画素値を前記閾値とする請求項1ないし4のいずれかに記載の閾値決定方法。
- 請求項1ないし5のいずれかに記載の閾値決定方法により前記閾値を決定する工程と、
前記閾値に基づき、前記原画像を前記染色領域と前記非染色領域とに区分する工程と
を備える画像処理方法。 - 前記染色領域に区分された前記画素の画素値を第1の値に設定する一方、前記非染色領域に区分された前記画素の画素値を前記第1の値と異なる第2の値に設定して、前記原画像を2値表現した2値化画像を作成する工程を備える請求項6に記載の画像処理方法。
- 染色された細胞を撮像した原画像を取得する画像取得手段と、
前記原画像中の染色された染色領域と染色されていない非染色領域とに互いに異なる画像処理を施す画像処理手段と、
前記画像処理手段による処理結果を出力する出力手段と
を備え、
前記画像処理手段は、前記原画像を構成する各画素の画素値の度数分布を求め、前記度数分布に対応するヒストグラムにおけるピークおよびバレーを特定し、前記バレーのうち、前記ヒストグラムにおいて当該バレーを挟む2つの前記ピークに対する当該バレーの深さが最大である一のバレーの位置に対応する画素値を閾値として、前記原画像を前記染色領域と前記非染色領域とに区分する画像処理装置。 - 前記画像処理手段は、前記閾値に基づき前記原画像を2値表現した2値化画像を作成し、
前記出力手段は、前記2値化画像を表示する表示部を有する請求項8に記載の画像処理装置。 - 前記画像取得手段は、前記細胞を撮像して前記原画像を生成する撮像部を有する請求項8または9に記載の画像処理装置。
- 前記画像取得手段は、前記原画像の画像データを外部装置から受信する受信部を有する請求項8ないし10のいずれかに記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-165692 | 2014-08-18 | ||
JP2014165692A JP6355476B2 (ja) | 2014-08-18 | 2014-08-18 | 閾値決定方法、画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016027542A1 true WO2016027542A1 (ja) | 2016-02-25 |
Family
ID=55350495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/065015 WO2016027542A1 (ja) | 2014-08-18 | 2015-05-26 | 閾値決定方法、画像処理方法および画像処理装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6355476B2 (ja) |
TW (1) | TWI645176B (ja) |
WO (1) | WO2016027542A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022172852A1 (ja) * | 2021-02-12 | 2022-08-18 | 株式会社Screenホールディングス | 閾値決定方法 |
WO2023199617A1 (ja) * | 2022-04-10 | 2023-10-19 | 株式会社ニコン | 検出装置、検出方法、および検出プログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63225151A (ja) * | 1987-03-14 | 1988-09-20 | Fujiwara Jiyouki Sangyo Kk | 麹基質の破精定量分析方法及び装置 |
JPH0492982A (ja) * | 1990-08-03 | 1992-03-25 | Fujitsu Ltd | 2値画像読取方法及び装置 |
JPH0628453A (ja) * | 1992-07-07 | 1994-02-04 | Hitachi Ltd | 微生物認識装置及び該装置による監視方法 |
JPH08201298A (ja) * | 1995-01-31 | 1996-08-09 | Hitachi Ltd | 微生物監視装置 |
JPH096957A (ja) * | 1995-06-23 | 1997-01-10 | Toshiba Corp | 濃度画像の2値化方法および画像2値化装置 |
JP2002312761A (ja) * | 2001-04-12 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 細胞画像の画像処理方法 |
JP2003004608A (ja) * | 1997-04-18 | 2003-01-08 | Applied Spectral Imaging Ltd | 染色体の分類方法 |
JP2003058879A (ja) * | 2001-07-31 | 2003-02-28 | Canon Inc | 画像処理方法及び装置 |
JP2009210409A (ja) * | 2008-03-04 | 2009-09-17 | Kddi Corp | 画像領域分割方法および装置 |
CN101403743B (zh) * | 2008-10-31 | 2012-07-18 | 广东威创视讯科技股份有限公司 | 一种x型交叠、粘连染色体自动分割方法 |
JP2013223463A (ja) * | 2012-04-23 | 2013-10-31 | Elmex Ltd | コロニー計数装置、コロニー計数方法、及び、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5881166A (en) * | 1996-11-21 | 1999-03-09 | Xerox Corporation | Method and system for generating a histogram of a scanned image |
CN103097889B (zh) * | 2010-09-30 | 2015-03-18 | 日本电气株式会社 | 信息处理设备、信息处理系统、信息处理方法、程序和记录介质 |
-
2014
- 2014-08-18 JP JP2014165692A patent/JP6355476B2/ja active Active
-
2015
- 2015-05-26 WO PCT/JP2015/065015 patent/WO2016027542A1/ja active Application Filing
- 2015-07-07 TW TW104122067A patent/TWI645176B/zh active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63225151A (ja) * | 1987-03-14 | 1988-09-20 | Fujiwara Jiyouki Sangyo Kk | 麹基質の破精定量分析方法及び装置 |
JPH0492982A (ja) * | 1990-08-03 | 1992-03-25 | Fujitsu Ltd | 2値画像読取方法及び装置 |
JPH0628453A (ja) * | 1992-07-07 | 1994-02-04 | Hitachi Ltd | 微生物認識装置及び該装置による監視方法 |
JPH08201298A (ja) * | 1995-01-31 | 1996-08-09 | Hitachi Ltd | 微生物監視装置 |
JPH096957A (ja) * | 1995-06-23 | 1997-01-10 | Toshiba Corp | 濃度画像の2値化方法および画像2値化装置 |
JP2003004608A (ja) * | 1997-04-18 | 2003-01-08 | Applied Spectral Imaging Ltd | 染色体の分類方法 |
JP2002312761A (ja) * | 2001-04-12 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 細胞画像の画像処理方法 |
JP2003058879A (ja) * | 2001-07-31 | 2003-02-28 | Canon Inc | 画像処理方法及び装置 |
JP2009210409A (ja) * | 2008-03-04 | 2009-09-17 | Kddi Corp | 画像領域分割方法および装置 |
CN101403743B (zh) * | 2008-10-31 | 2012-07-18 | 广东威创视讯科技股份有限公司 | 一种x型交叠、粘连染色体自动分割方法 |
JP2013223463A (ja) * | 2012-04-23 | 2013-10-31 | Elmex Ltd | コロニー計数装置、コロニー計数方法、及び、プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022172852A1 (ja) * | 2021-02-12 | 2022-08-18 | 株式会社Screenホールディングス | 閾値決定方法 |
WO2023199617A1 (ja) * | 2022-04-10 | 2023-10-19 | 株式会社ニコン | 検出装置、検出方法、および検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2016041032A (ja) | 2016-03-31 |
JP6355476B2 (ja) | 2018-07-11 |
TW201617599A (zh) | 2016-05-16 |
TWI645176B (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5355275B2 (ja) | 細胞画像解析装置 | |
CN103543277B (zh) | 一种基于灰度分析与种类识别的血型结果识别算法 | |
JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6122817B2 (ja) | スフェロイドの評価方法およびスフェロイド評価装置 | |
US10007835B2 (en) | Cell region display control device, method, and program | |
EP3605406A1 (en) | Learning result output apparatus and learning result output program | |
WO2014087689A1 (ja) | 画像処理装置、画像処理システム及びプログラム | |
WO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10192306B2 (en) | Cell recognition device, method, and program | |
US20120207379A1 (en) | Image Inspection Apparatus, Image Inspection Method, And Computer Program | |
WO2019181072A1 (ja) | 画像処理方法、コンピュータプログラムおよび記録媒体 | |
US10860835B2 (en) | Image processing device, cell recognition device, cell recognition method, and cell recognition program | |
WO2016027542A1 (ja) | 閾値決定方法、画像処理方法および画像処理装置 | |
Spaepen et al. | Digital image processing of live/dead staining | |
JP5780791B2 (ja) | 細胞の追跡処理方法 | |
US11756190B2 (en) | Cell image evaluation device, method, and program | |
Niederlein et al. | Image analysis in high content screening | |
JP6326445B2 (ja) | 画像処理方法、画像処理装置、および画像処理プログラム | |
EP4001890A1 (en) | Particle quantitative measurement device | |
JP5449444B2 (ja) | コロニー計数装置、コロニー計数方法、及び、プログラム | |
Jatti | Segmentation of microscopic bone images | |
WO2023008526A1 (ja) | 細胞画像解析方法 | |
Turek | Image processing and 2‐D morphometry | |
JP2020004033A (ja) | 画像処理方法、コンピュータプログラムおよび記録媒体 | |
CN117581100A (zh) | 图像处理方法和图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15834289 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15834289 Country of ref document: EP Kind code of ref document: A1 |