WO2009125678A1 - 尿中粒子画像の領域分割方法及び装置 - Google Patents

尿中粒子画像の領域分割方法及び装置 Download PDF

Info

Publication number
WO2009125678A1
WO2009125678A1 PCT/JP2009/056135 JP2009056135W WO2009125678A1 WO 2009125678 A1 WO2009125678 A1 WO 2009125678A1 JP 2009056135 W JP2009056135 W JP 2009056135W WO 2009125678 A1 WO2009125678 A1 WO 2009125678A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
urine
particle
images
Prior art date
Application number
PCT/JP2009/056135
Other languages
English (en)
French (fr)
Inventor
千裕 万里
秀行 伴
訓 光山
伯男 大和田
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to US12/920,424 priority Critical patent/US9239281B2/en
Priority to JP2010507211A priority patent/JP4948647B2/ja
Publication of WO2009125678A1 publication Critical patent/WO2009125678A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N2015/1472Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle with colour

Definitions

  • the present invention relates to an image region dividing method using color density information, and more particularly to an area dividing method and apparatus suitable for dividing a particle image in urine.
  • Patent Documents 1 and 2 In recent years, automation of urine sediment (particles in urine) has been automated.
  • Patent Documents 1 and 2 a urine sample is passed through a specially shaped channel (flow cell). A method is shown in which particles in a sample are caused to flow through a wide imaging region, a flash lamp is turned on, and an enlarged image of particles in urine is taken as a still image.
  • Patent Document 3 shows a method of separating the background and the target area from the threshold value obtained from the density histogram and the magnitude of the change in density value.
  • Patent Document 4 Patent Document 4
  • Patent Document 5 Patent Document 5
  • the target particles to be divided into regions have a variety of properties as follows.
  • a urine sample may be stained for easy particle determination, but it is sufficiently stained (colored) particles, difficult to be stained (not sufficiently stained (light color), almost Particles that are not dyed (colorless) are mixed.
  • the background density distribution is estimated using the mode value of the density histogram as the average density of the background, and both darker and brighter parts are used as the target area.
  • a method of extraction is disclosed. For particles that are difficult to be dyed, there are pixels having density values brighter than the background in the target area due to light refraction and reflection inside the target. For this reason, according to this method, it is possible to accurately extract the shape of a cell that is difficult to be stained by extracting a portion brighter than the background as a target. However, due to the influence of light reflection and refraction near the contour of the target, a portion that is much brighter than the average density of the background may occur in the background region adjacent to the target. In some cases, it is extracted, which contributes to a decrease in accuracy of area division.
  • the target region and the background region partially overlap with each other in the density histogram of particles that are difficult to be dyed, so that these particle regions are extracted. Therefore, when estimating the background density distribution, it is necessary to divide the area by making the density range as the background area as narrow as possible.
  • a region of particles that are sufficiently stained is extracted using the same threshold value, a region that is originally a background may be extracted as a target, which contributes to a decrease in accuracy of region division.
  • an object of the present invention is to provide a region dividing method and apparatus for performing stable region division for each particle in a urine sample in which urine particles having various sizes and colors are mixed.
  • the region segmentation method of the present invention provides a red component image (hereinafter referred to as an R image), a green component of an image obtained by imaging particles in urine obtained by an image input optical system that inputs a particle image.
  • R image red component image
  • B image the image of the blue component
  • the first target region is extracted wider than the particle image, and is classified into a predetermined number of groups based on the color tone and size of the first target region.
  • the second target region is extracted according to the characteristics of the particle image. Since the target region can be extracted, a stable region division can be performed for each particle image even in a urine sample in which urine particles having various sizes and colors are mixed.
  • the region segmentation method of the present invention uses an R image, a G image, and a B image of an image obtained by capturing particles in urine obtained by an image input optical system that inputs a particle image, and uses an R density, a G density, A first step of creating a density histogram of B density and obtaining one or more parameters representing the shape of the density histogram, and one or more of the one or more parameters and the R image, G image, and B image A second step of extracting the first target area using the image of the first image, and the color density distribution and the first target area of the first target area of one or more of the R image, the G image, and the B image A third step of classifying the first target area into a predetermined number of groups based on the color density distribution and the magnitude, and the one or more parameters and R image for each group, Using one or more of the G and B images, It is characterized by a fourth step of the local region including a elephant area extracting second target area.
  • the urine particle image region segmentation device includes one or more of R image, G image, and B image obtained by imaging an image of urine particles obtained by an image input optical system that inputs a particle image.
  • a means for extracting the second target region from the local region including the first target region in the image are examples of images obtained from the image input optical system that inputs a particle image.
  • the region segmentation method of the present invention even in a urine sample in which various sizes and colors of urine particles are mixed, a stable region segmentation can be performed for each particle image, and a more accurate binary image can be obtained. As a result, the feature amount of the target region can be obtained more accurately, the target particle classification error can be prevented, and the identification accuracy of various urine particles can be improved.
  • Urine particle image example 102 1st object area example 103 Group division example 104 2nd object area example 201 Measuring apparatus main body 202 Staining liquid addition apparatus 203 Image input apparatus 204 Display 205 Keyboard 206 Image processing apparatus 301 Flow cell 302 Pulse lamp 303 Objective Lens 304 Camera 701 Urine particle image example 702 Target particle example 703 First target area example 704 Local area rectangular example including the first target area 1301 Identification boundary line 1302 Identification boundary line 1303 Symbol belonging to group A 1304 Symbol belonging to group B 1305 Symbol belonging to group C 1306 Symbol belonging to group D
  • FIG. 2 is a diagram for explaining a configuration example of a urine sediment automatic analyzer to which the present invention is applied.
  • the staining liquid is added to the urine sample by the staining liquid adding apparatus 202, and after a predetermined time, an enlarged still image of particles in the urine is captured by the image input apparatus 203.
  • the captured image is transferred to the image processing device 206, and urine particles are classified by image pattern recognition, and the types of urine particles contained in one sample and their appearance frequencies are counted.
  • the image processing device 206 for example, a general-purpose personal computer including a display 204 and a keyboard 205 is used. The counted result is reported to the operator through the display 204.
  • Image processing apparatus 206 also has a review function. In the review function, an operator can display an arbitrary image, and can execute automatic classification correction and visual fine classification.
  • FIG. 3 is a configuration diagram of the image input device 203 that constitutes the measurement device main body 201.
  • a flow cell 301 is used to create a flow of a flat and thin urine sample between the objective lens 303 and the pulse lamp 302.
  • a pulse lamp 302 is instantaneously irradiated to the flow of the urine sample formed by the flow cell 301, and a particle image in urine magnified by the objective lens 303 is captured as a still image by the camera 304.
  • the camera 304 for example, a CCD color camera, a CMOS color camera, or the like is used.
  • the obtained image is transferred to the image processing device 206.
  • FIG. 4 is a diagram for explaining an image processing method in the image processing apparatus 206.
  • the urine particle image captured by the camera 304 is transferred to the image processing device 206 as digital data.
  • shading correction processing step S401 density unevenness on the image due to the characteristics of the optical system is removed.
  • region division processing step S402 an image in which particles in urine are imaged is divided into a background region and a target region, and a binary image with a background region of 0 and a target region of 1 is created.
  • region division correction processing step S403 correction and shaping of the binary image such as filling of the target region and noise removal of the background region are performed.
  • known conventional techniques can be used, including filter processing such as thickening processing and thinning processing.
  • a labeling process is performed for each connected component of the binary image, and a number for uniquely identifying a plurality of objects in the image is assigned.
  • a feature amount calculation processing step S405 feature amounts such as area, perimeter length, and average color density value are calculated for each numbered target region.
  • the image feature amount of each target area obtained in step S405 is used to classify what component the target is.
  • the pattern recognition processing means for example, a neural network, a statistical identification method, or the like can be used.
  • classification items for example, red blood cells, white blood cells, squamous cells, other epithelial cells, cylinders, crystals, bacteria, and the like are used.
  • the count processing step S407 the number of objects classified into each classification class is counted according to the classification result in the pattern recognition processing step S406.
  • the counted result is converted into the number or concentration per unit volume of the urine sample, and the conversion result is output to the display 204.
  • FIG. 5 is a diagram for explaining a detailed configuration example of the area division processing step S402.
  • step S501 a first target region in which target particles are present is extracted from an image obtained by capturing urine particles.
  • region division is performed in which the target particles are broadened.
  • an image 101 obtained by capturing particles in urine shown in FIG. 1 is obtained by an image input optical system that inputs a particle image.
  • region division is performed using a fixed threshold value experimentally determined in advance. As a result, as shown by 102 in FIG. 1, a region division result is obtained in which the target particles are widened.
  • each first target area is divided into a predetermined number of groups.
  • the feature amount of the first target area is used for grouping.
  • a feature amount related to size and a feature amount related to color tone are used.
  • an area, a perimeter, or the like is used as the feature amount related to the size.
  • an average color density value or the like is used as the feature amount related to the color tone.
  • 103 in FIG. 1 shows the result of dividing the first target area into three groups based on the color tone and size.
  • the second target area is extracted from the local area including the first target area by performing detailed area division for each group.
  • the region segmentation method is performed by using a fixed threshold value determined experimentally in advance using, for example, one or a plurality of images of R image, G image, and B image obtained by imaging urine particles. Method is used.
  • the type and number of images to be selected and the fixed threshold value are different for each group. For example, in the case of particles in urine stained with typical Sternheimer (S) staining, the absorption peak of the stained particles is near 550 nm, so that a G image having a wavelength of 500 to 700 nm rather than a B image having a wavelength of 400 to 500 nm. , B image is more sensitive.
  • the dyed ones there are colored particles that are sufficiently dyed and light-colored particles that are not dyed sufficiently. In this case, even if the same image is used, it is necessary to change the fixed threshold according to the color tone. .
  • a well-known conventional contour extraction method such as dynamic contour (snake) may be used.
  • 104 in FIG. 1 shows a result of extracting an accurate target region as a result of performing different region divisions for each group.
  • the first target region is extracted wider than the particle image, and is classified into a predetermined number of groups based on the color tone and size of the first target region. Based on the classification result, the second target region is extracted according to the characteristics of the particle image. Since the target region can be extracted, even in a urine sample in which urine particles having various sizes and colors are mixed, an effect that a stable region division can be performed for each particle image is obtained.
  • FIG. 6 is a diagram for explaining a detailed configuration in the case where the density histogram of the R density, G density, and B density of the urine particle image is used in the region division processing step S402.
  • step S601 density histograms of R density, G density, and B density of the urine particle image are created, and parameters representing the shape of each density histogram are obtained.
  • step S602 the first target region in which the target particle is present is extracted from the image using the parameter obtained in step S601.
  • region division is performed in which the target particles are broadened.
  • the first target region obtained in step S602 is a region 703 in which the target particles 702 are widened.
  • the first target area is divided into a predetermined number of groups based on the average color density value distribution and the size of the first target area. Note that an area, a perimeter, and the like are used for the size.
  • a second target region having a more accurate shape of the target particle is extracted from the local region including the first target region by using a different region dividing method that is optimal for each divided group. To do.
  • the extracted second target area is corrected in step S403.
  • FIG. 8 shows details of determining parameters Pd (*), Phl (*), Phh (*), dl (*), and dh (*) representing the shape of the density histogram for each image, which is performed in step S601 of FIG. The procedure is shown.
  • * Represents one of R, G, and B.
  • step S801 density histograms of R image, G image, and B image are created for each image.
  • step S802 the density value Pd (*) having the maximum frequency value Pmax (*) is obtained from each density histogram as shown in FIG. * Represents one of R, G, and B.
  • the concentration value indicating the half value of the peak is used here, the present invention is not limited to this, and a concentration value indicating 1 ⁇ 4, 1/10, or the like of the peak may be used.
  • the optimum density value is used from the shape of the histogram.
  • step S804 of FIG. 8 using the Pd (*) of FIG. 9 obtained in step S802 and the Phl (*) and Phh (*) of FIG. 9 obtained in step S803, the following equation (1), Dl (*) and dh (*) in FIG. 9 are calculated by the equation (2).
  • * Represents one of R, G, and B.
  • FIG. 10 shows a detailed procedure for the first region dividing process performed in step S602 in FIG.
  • step S1002 a procedure for extracting a target area using a density histogram in step S1001 will be described.
  • step S1002 using Pd (*) obtained in step S802 in FIG. 8 and dl (*) and dh (*) obtained in step S804, the following equations (3) and (4) are used.
  • Threshold values T1 (*) and T2 (*) shown in FIG. * Represents one of R, G, and B.
  • T1 (*) Pd (*) - dl (*) ⁇ k 1 (*) (3)
  • T2 (*) Pd (*) + dh (*) ⁇ k 2 (*) (4) k 1 (*) and k 2 (*) are coefficients determined experimentally in advance, and different optimum values are obtained for each color of the R image, the G image, and the B image.
  • k 1 (*) and k 2 (*) are coefficients determined experimentally in advance, and different optimum values are obtained for each color of the R image, the G image, and the B image.
  • k 1 (*) and k 2 (*) are coefficients determined experimentally in advance, and different optimum values are obtained for each color of the R image, the G image, and the B image.
  • k 1 (*) and k 2 (*) are coefficients determined experimentally in advance, and different optimum values are obtained for each color of the R image, the G image, and the B image.
  • step S1003 the target area is extracted using the obtained threshold value. For example, when threshold values T1 (R), T2 (R), T1 (G), and T2 (G) are used, a pixel (x, y) that satisfies the following equation (5) is extracted as a target region.
  • step S602 in FIG. 6 since the purpose is to extract the first target region wider, the coefficient k n (*) is set slightly smaller. By setting the coefficient k n (*) to be small, the target area in FIG. 9 is expanded.
  • step S1004 a procedure for extracting a target area using the magnitude of change in density value in step S1004 will be described.
  • step S1005 a value representing the magnitude of the density value change is calculated.
  • a difference in density value in a local small region is used as an index representing the magnitude of change in density value.
  • the density difference value defined by the following equation (6) is used.
  • step S1006 a pixel (x, y) that satisfies the following expression (7) is extracted from r (*) (x, y) as a target region.
  • the number of neighboring pixels used when calculating the difference value of a certain pixel is represented by 2n + 1, and this number is called a mask size.
  • n 2
  • one or more color images having the highest sensitivity are selected and used from the color characteristics of urine particles and the spectral characteristics of the camera. Further, the x direction, the y direction, and the respective mask sizes are set to take as large values as possible within the target region of colorless particles.
  • the pixel (x, y) that satisfies the following equation (8) is the target region: It becomes.
  • r (G) (x, y) G (x + 2, y) + G (x + 1, y) -G (x-2, y) -G (x-1, y) s1 (G) ⁇
  • is an absolute value, and constant s1 (G) is experimentally obtained in advance as an optimum value.
  • the magnitude of change in density value is not limited to the method using the density value difference, but the method using density value dispersion in a local small area, specific to the target area.
  • Other methods such as a method using a filter process for emphasizing frequency components included in the signal may be used.
  • step S1007 the target areas obtained in steps S1001 and S1004 are overlapped (ORed) to extract the first target area.
  • the R region and the G image are used to extract the target region from Equation (5)
  • a pixel (x, y) that satisfies the following expression is obtained as the first target area.
  • II represents a logical sum.
  • step S1008 an area division correction process for the extracted first target area is performed.
  • the method is the same as step S403 in FIG.
  • step S1009 a labeling process is performed on each first target area.
  • step S1010 feature quantities such as area, perimeter, and average color density value are calculated for each numbered first target region. Based on the calculated feature amount, a grouping process is performed in step S603 of FIG.
  • FIG. 11 shows the detailed procedure of the grouping process performed in step S603 of FIG.
  • the first target region is divided into two groups, a large particle group and a small particle group, based on the feature amount relating to the size of each first target region.
  • An area, a perimeter, or the like is used as the feature amount related to the size.
  • FIG. 12 is a diagram for explaining a flow of grouping processing when, for example, an area is used as a feature amount. If the area of a certain first target region is M, the first target region that satisfies M ⁇ m is determined as a large particle in the determination in step S1201, and if not, it is classified as a small particle.
  • m is an experimentally obtained optimum value in advance.
  • the first target area is divided into a predetermined number of groups according to the color tone from the average color density value of each first target area.
  • the average color density value one or a plurality of color images having the highest sensitivity are selected from the color characteristics of the target area and the spectral characteristics of the camera.
  • the first target area is divided into predetermined groups depending on where in the color density space the selected average color density value is located.
  • the identification boundary line for dividing into groups in the color density space is experimentally determined in advance. As means for obtaining the identification boundary line, for example, a known conventional technique such as discriminant analysis can be used.
  • FIG. 13 is a diagram for explaining an example of a distribution diagram used for the grouping process when G density and B density are used as color density values, for example.
  • Symbols 1303 to 1306 indicate average concentration value coordinates (g, b) of urine particles collected in advance to create a distribution map. It has been empirically clarified that the collected urinary particles differ in the optimal region segmentation method.
  • the particles in urine are divided into four types of groups A, B, C, and D according to the color tone, and symbols 1303 to 1306 are GB spaces of particles belonging to the groups A, B, C, and D, respectively.
  • the identification boundary lines 1301 and 1302 are calculated using, for example, linear discriminant analysis. For the linear discriminant analysis, the density value data of the symbol is used.
  • the calculated identification boundary line can be expressed by the following equation.
  • FIG. 14 is a diagram for explaining a grouping flow when, for example, the GB distribution chart of FIG. 13 is used for the grouping process of step S1102 of FIG.
  • step S1401 If the average color density value of the G image and B image of a certain first target area is (g, b), it is determined in step S1401 that b ⁇ j 1 g + k 1 is satisfied, and b ⁇ j 2 g + k 2 in step S1402. If the condition is satisfied, the first target region belongs to the light-colored particle group B (1304). If it is determined in step S1401 that b ⁇ j 1 g + k 1 is satisfied and b ⁇ j 2 g + k 2 is not satisfied in step 1402, the first target region belongs to the colorless particle group D (1306).
  • step S1401 If it is determined in step S1401 that b ⁇ j 1 g + k 1 is not satisfied and b ⁇ j 2 g + k 2 is satisfied in step 1403, the first target region belongs to the colored particle group A (1303). If it is determined in step S1401 that b ⁇ j 1 g + k 1 is not satisfied and b ⁇ j 2 g + k 2 is not satisfied in step 1403, the first target region belongs to the light-colored particle group C (1305).
  • step S1103 in FIG. 11 grouping processing is performed in the same manner as in step S1102. However, the number of groups to be classified and the classification method (identification boundary line) are set separately experimentally in advance.
  • FIG. 15 shows a detailed procedure for the second region dividing process for each group performed in step S604 of FIG.
  • step S1501 it is determined whether further area division is necessary for each group.
  • FIG. 16 shows a detailed flow of step S1501.
  • the group N is a group that is experimentally determined in advance that further area division is not necessary.
  • the first target region x does not require further region division, and the first target region is finally determined.
  • Group N is, for example, large particles.
  • the region division is performed so that the object is widened in step S602 in FIG. 6, the feature amount calculated in step S405 in FIG. Therefore, the pattern recognition process in step S406 of FIG. 4 is also performed well, and the final urine particle misclassification is unlikely to occur.
  • the time required for the area division processing can be saved, so that the processing speed of image processing is improved.
  • a local region including the first target region is extracted.
  • a local rectangle including the first target region is extracted.
  • a rectangle 704 is extracted as a local region including the first target region 703 obtained in step S602 of FIG.
  • step S1503 by performing group-specific region division that is different for each group, a process for extracting a more accurate second target region from a local region including the first target region is performed.
  • FIG. 17 shows a detailed procedure for the second area dividing process performed in step S1503.
  • Step S1701 is basically the same as step S1001 in FIG. 10, but the color image and parameters used in step S1702 are different for each group. Further, since the coefficient k n (*) used for calculating the threshold value is different for each group, the method for calculating the threshold value is also different for each group. * Represents one of R, G, and B.
  • Step S1704 is but similar to step S1004 basically 10, the color image and constants s n used in step S1705 (*), the mask size is different for each group. * Represents one of R, G, and B.
  • step S1707 the second target area extracted in step S604 of FIG. 6 is extracted.
  • the second target area is obtained by superimposing (taking a logical sum of) the target areas obtained in steps S1703 and S1706.
  • groups experimentally divided in advance are classified into three groups: a colored particle group (1), a light colored particle group (2), and a colorless particle group (3).
  • the first target area is extracted wider than the particle image, and is classified into a predetermined number of groups based on the color tone and size of the first target area, and the second target area is determined based on the characteristics of the particle image based on the classification result.
  • an effect of performing stable region division for each particle image can be obtained.
  • the feature amount of the target region can be obtained more accurately, the target particle classification error can be prevented, and the identification accuracy of various urine particles can be improved.
  • FIG. 18 is a diagram illustrating the configuration of the urine particle image region segmentation apparatus according to the second embodiment of the present invention.
  • the original image captured by an image input device such as a camera is transferred to the memory 1801.
  • the original image is transferred to the first area dividing unit 1802, and the first area is divided.
  • the first region dividing method may be the method shown in the first embodiment.
  • the divided first target area image is transferred to the memory 1801.
  • the first target area is then transferred to the grouping means 1803, and the feature amount is calculated for each first target area, and is divided into a predetermined number of groups.
  • the grouping processing method may use the method shown in the first embodiment.
  • the grouping process result is transferred to the memory 1801.
  • the detailed second region dividing unit 1804 for each group performs region division using the original image, the first target region, and the grouping processing result stored in the memory 1801, and corrects the shape of the target particle. 2 Extract the target area.
  • a detailed region dividing method for each group the method shown in the first embodiment may be used.
  • the second target area result is transferred to the memory 1801.
  • the means for storing the second area division result is not limited to the memory 1801, and an external storage medium such as an HDD or a floppy disk may be used.
  • Extract the first target area wider than the particle image classify it into a predetermined number of groups based on the tone and size of the first target area, and extract the second target area according to the characteristics of the particle image based on the classification result
  • the apparatus configuration of the present invention the effect of being able to perform stable region division for each particle image is obtained even in a urine sample in which urine particles having various sizes and colors are mixed.

Landscapes

  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

 変化に富んだ性質をもつ尿試料において、尿中粒子を撮像した尿中粒子画像の対象粒子の領域を正確に抽出する方法と装置を提供する。  初めに、粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像のR画像、G画像、B画像の中の1又は複数の画像を使用して、第1対象領域を抽出する。続いて、R画像、G画像、B画像の中の1又は複数の画像の第1対象領域の色濃度分布と大きさを算出し、これらの特徴量に基いて、第1対象領域を所定数の群に分類する。群毎にR画像、G画像、B画像の中の1又は複数の画像を使用して、第1対象領域を含む局所領域から第2対象領域を抽出する。この構成により、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割が行えるようになる。

Description

尿中粒子画像の領域分割方法及び装置
 本発明は、色濃度情報を用いた画像の領域分割方法に関し、特に尿中の粒子像を分割するのに好適な領域分割方法、及び装置に関する。
 尿中の粒子を形態学的に検査するには、従来、採取した尿を遠心分離し、検査技師が尿中粒子を直接顕微鏡観察する方法で検査を行っていた。顕微鏡検査は、(1)技師の習熟度に結果が左右される、(2)検査に時間を要する、等の問題があるため効率化が求められている。
 近年では、尿沈渣(尿中粒子)検査の自動化が進み、例えば、「粒子分析装置及び粒子分析方法(特許文献1,2)」では、尿試料を特別な形状の流路(フローセル)に通し、試料中の粒子を幅広の撮像領域中に流し、フラッシュランプを点灯して、尿中の粒子の拡大像を静止画像として撮影する方法が示されている。
 静止画像として撮像された尿中粒子を自動分類するためには、まず、画像上で尿中粒子の領域と背景領域とを分離した後、尿中粒子領域における画像特徴量を求め、これらの特徴量に基き分類を行う。
 画像上で尿中粒子の領域を背景領域から分離する従来技術としては、例えば「粒子画像の領域分割方法(特許文献3)」に記載がある。この従来技術では、濃度ヒストグラムにより求めた閾値と濃度値の変化の大きさとから、背景と対象領域とを分離する方法が示されている。
 また、画像特徴量から対象の分類を行う従来技術としては、例えば、「パターン認識装置(特許文献4)」や「血球自動分類装置(特許文献5)」に記載がある。この従来技術には、認識論理として階層型ネットワークを用いることの記載がある。
特開平5-296915号公報 特開昭63-94156号公報 特開平8-145871号公報 特開平10-302067号公報 特開平3-131756号公報
 尿沈渣検査装置では、領域分割を行う対象粒子が、以下のように変化に富んだ性質をもっている。
(1)尿沈渣検査では、粒子判定を容易に行うために、尿試料を染色することがあるが、充分に染色される(有色)粒子、染色されにくい(充分に染色されない(淡色)、ほとんど染色されない(無色))粒子が混在する。
(2)同一種類の粒子でも、充分に染色される粒子と、染色されにくい粒子とがある。
(3)色調の異なる複数個の粒子が、同一の画像内に存在する。
 以上のように、尿沈渣装置での対象粒子は、変化に富んだ性質をもつため、全ての対象に同一の領域分割方法を用いると、必ずしも正確な領域が抽出されない場合があると言う問題があった。
 例えば、前記の従来の領域分割方法(特許文献3)には、濃度ヒストグラムの最頻値を背景の平均濃度として背景濃度分布を推定し、この分布より暗い部分及び明るい部分の両方を対象領域として抽出する方法が開示されている。染色されにくい粒子は、対象の内部での光の屈折・反射により、対象領域中に背景より明るい濃度値をもつ画素が存在する。そのため、この方法によると、背景より明るい部分も対象として抽出することで、染色されにくい細胞の形状を正確に抽出できるとある。しかし、対象の輪郭付近での光の反射・屈折の影響により、対象に隣接する背景領域に、背景の平均濃度よりもかなり明るい部分が生じることがあり、そのため、輪郭近辺の背景領域を対象として抽出する場合があり、領域分割の精度低下の一因になっている。
 また、前記の従来の領域分割方法(特許文献3)を用いる場合、染色されにくい粒子の濃度ヒストグラムでは、対象領域と背景領域とが、一部重なっているため、これらの粒子の領域を抽出するためには、背景濃度分布を推定する際、背景領域とする濃度範囲を極力狭くして領域分割を行う必要がある。しかし、同じ閾値を用いて充分に染色される粒子の領域を抽出する場合、本来は背景である領域が対象として抽出される場合があり、領域分割の精度低下の一因になっている。
 そこで、本発明では、様々な大きさや色調の異なる尿中粒子が混在する尿試料において、粒子毎に安定した領域分割を行うための領域分割方法及び装置を提供することを目的とする。
 上記課題を解決するために、本発明の領域分割方法は、粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像の赤成分の画像(以下、R画像)、緑成分の画像(以下、G画像)、青成分の画像(以下、B画像)の中の1又は複数の画像を使用して、第1対象領域を抽出する工程と、R画像、G画像、B画像の中の1又は複数の画像の第1対象領域の色濃度分布と第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、第1対象領域を所定数の群に分類する工程と、前記群毎にR画像、G画像、B画像の中の1又は複数の画像を使用して、画像中の第1対象領域を含む局所領域から第2対象領域を抽出する工程とを有することを特徴としている。この構成により、第1対象領域を粒子像より広めに抽出し、第1対象領域の色調と大きさから所定数の群に分類し、分類結果に基づき、粒子像の特徴に応じて、第2対象領域を抽出できるため、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割が行えるようになる。
 更に、本発明の領域分割方法は、粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像のR画像、G画像、B画像を使用して、R濃度、G濃度、B濃度の濃度ヒストグラムを作成し、濃度ヒストグラムの形状を表す、1又は複数のパラメータを求める第1の工程と、前記1又は複数のパラメータとR画像、G画像、B画像の中の1又は複数の画像を使用して、第1対象領域を抽出する第2の工程と、R画像、G画像、B画像の中の1又は複数の画像の第1対象領域の色濃度分布と第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、第1対象領域を所定数の群に分類する第3の工程と、前記群毎に前記1又は複数のパラメータとR画像、G画像、B画像の中の1又は複数の画像を使用して、画像中の第1対象領域を含む局所領域から第2対象領域を抽出する第4の工程とを有することを特徴としている。濃度ヒストグラムを用いた閾値処理を行うことで、色調が様々な尿中粒子が混在する尿試料においても、安定した閾値処理を行うことが可能となり、粒子像毎に安定した領域分割が行えるようになる。
 また、本発明の尿中粒子画像の領域分割装置は、粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像のR画像、G画像、B画像の中の1又は複数の画像を使用して、第1対象領域を抽出する手段と、R画像、G画像、B画像の中の1又は複数の画像の第1対象領域の色濃度分布と第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、第1対象領域を所定数の群に分類する手段と、前記群毎にR画像、G画像、B画像の中の1又は複数の画像を使用して、画像中の第1対象領域を含む局所領域から第2対象領域を抽出する手段とを有することを特徴としている。
 本発明の領域分割方法によれば、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割ができ、より正確な2値画像が得られる。その結果、対象領域の特徴量がより正確に求められ、対象粒子の分類の誤り防止が可能となり、各種の尿中粒子の識別精度が向上できる効果がある。
本発明が適用される尿沈渣検査装置の領域分割処理の一構成例を示す図。 尿沈渣検査装置の構成例を説明する図。 尿沈渣検査装置の画像入力装置の構成例を説明する図。 尿沈渣検査装置の画像処理方法を説明する図。 領域分割処理の詳細な一構成例を説明する図。 領域分割処理に画像毎の濃度ヒストグラムを用いた場合の詳細な構成を説明する図。 尿沈渣検査装置で得られる尿中粒子画像の一例を示す図。 画像毎の濃度ヒストグラムの形状を表すパラメータを求める詳細な手順を説明する図。 濃度ヒストグラムの一例を示す図。 対象を広めにとる第1領域分割処理についての詳細な手順を示す図。 第1対象領域を群分けする処理の詳細な手順を示す図。 面積を用いた場合の群分け処理例のフローを説明する図。 群分けに用いる色濃度値にG濃度とB濃度を選択した場合に用いる分布図例を説明する図。 群分けに用いる色濃度値にG-B分布図を用いた場合の群分け例のフローを説明する図。 群毎の第2領域分割処理についての詳細な手順を示す図。 群毎に更なる領域分割の必要の有無を判断する処理例のフローを説明する図。 群毎の第2領域分割処理についての詳細な手順を示す図。 本発明の第2の実施例の尿中粒子画像の領域分割装置の構成を説明する図。
符号の説明
101 尿中粒子画像例
102 第1対象領域例
103 群分け例
104 第2対象領域例
201 測定装置本体
202 染色液添加装置
203 画像入力装置
204 ディスプレイ
205 キーボード
206 画像処理装置
301 フローセル
302 パルスランプ
303 対物レンズ
304 カメラ
701 尿中粒子画像例
702 対象粒子例
703 第1対象領域例
704 第1対象領域を含む局所領域矩形例
1301 識別境界線
1302 識別境界線
1303 A群に属するシンボル
1304 B群に属するシンボル
1305 C群に属するシンボル
1306 D群に属するシンボル
 以下、図面を参照して本発明の実施の形態を説明する。
 図2は、本発明が適用される尿沈渣自動分析装置の構成例を説明する図である。測定装置本体201では、染色液添加装置202により尿試料に染色液を添加し、一定時間後、画像入力装置203により尿中の粒子の拡大静止画像を撮像する。撮像された画像は画像処理装置206に転送され、画像パターン認識により尿中粒子の分類を行い、1検体中に含まれる尿中粒子の種類とその出現頻度がカウントされる。画像処理装置206としては、例えばディスプレイ204、キーボード205を備えた汎用のパーソナルコンピュータを用いる。カウントされた結果はディスプレイ204を通じて操作者に報告される。画像入力装置203により撮像された画像、画像処理装置206による測定結果、各対象領域の分類結果及び画像パターン認識の途中で得られた画像特徴量等のデータは画像処理装置206内の記憶装置に保存される。また、画像処理装置206はレビュー機能も兼ね備えている。レビュー機能では、操作者が任意の画像を表示し、自動分類の修正、目視による細分類を実行できる。
 図3は、測定装置本体201を構成する画像入力装置203の構成図である。画像入力装置203では、フローセル301を用い、対物レンズ303とパルスランプ302との間に、幅広で厚さの薄い偏平な尿試料の流れを作る。フローセル301により形成される尿試料の流れに、パルスランプ302が瞬間的に照射され、対物レンズ303により拡大される尿中の粒子像がカメラ304により静止画像として撮像される。カメラ304としては、例えばCCDカラーカメラ、CMOSカラーカメラ等を用いる。得られた画像は画像処理装置206に転送される。
 図4は、画像処理装置206での画像処理方法を説明する図である。カメラ304により撮像された尿中粒子画像はデジタルデータとして、画像処理装置206に転送される。シェーディング補正処理ステップS401では、光学系の特性に由来する画像上の濃度むらを除去する。
 領域分割処理ステップS402では、尿中粒子が撮像された画像を背景領域と対象領域とに分割し、背景領域を0、対象領域を1とする2値画像を作成する。領域分割補正処理ステップS403では、対象領域の穴埋め、背景領域のノイズ除去等の2値画像の修正、整形を行う。手段としては、例えば、太め処理、細め処理等のフィルタ処理を含め、周知の従来技術を使用できる。
 ラベリング処理ステップS404では、2値画像の連結成分毎にラベリング処理を行い、画像中の複数の対象を一意に特定するための番号を付ける。特徴量計算処理ステップS405では、番号を付けたそれぞれの対象領域について、面積、周囲長、平均色濃度値等の特徴量を算出する。
 パターン認識処理ステップS406では、ステップS405で求めた各対象領域の画像特徴量を使用し、その対象がどのような成分であるか分類を行う。パターン認識処理手段としては、例えば、ニューラルネットワーク、統計的識別手法等を使用できる。分類項目としては、例えば、赤血球、白血球、扁平上皮細胞、その他の上皮細胞、円柱、結晶、細菌等を用いる。
 カウント処理ステップS407では、パターン認識処理ステップS406による分類結果に従い、各分類クラスに分類された対象数をカウントする。カウントした結果は、尿試料単位体積当たりの個数もしくは濃度に換算され、換算結果がディスプレイ204に出力される。
 なお、図4に示す処理の全て、もしくは一部をハードウェアで処理することも可能である。
 図5は領域分割処理ステップS402の詳細な一構成例を説明する図である。
ステップS501では、尿中粒子が撮像された画像から、対象粒子が存在する第1対象領域を抽出する。ここでは、染色されにくい粒子の対象粒子を、連結した1つの領域として抽出することを目的として、対象粒子を広めにとる領域分割を行う。例えば、粒子画像を入力する画像入力光学系により、図1に示す尿中粒子を撮像した画像101を得たとする。この画像101のR画像、G画像、B画像の中の1又は複数の画像を使用して、予め実験的に定められた固定閾値等を用いて領域分割を行う。その結果、図1の102に示すように、対象粒子を広めにとる領域分割結果が得られる。
 ステップS502では、各第1対象領域を所定数の群に分ける。群分けには第1対象領域の特徴量を用いる。特徴量には、大きさに関する特徴量と色調に関する特徴量を用いる。大きさに関する特徴量には、例えば面積や周囲長等を用いる。色調に関する特徴量には、例えば、平均色濃度値等を用いる。例えば、図1の103では色調や大きさから第1対象領域を3つの群に分けた結果を示す。
 ステップS503では、群毎に詳細な領域分割を行うことで、第1対象領域を含む局所領域から第2対象領域を抽出する。領域分割方法には、例えば、尿中粒子を撮像した画像のR画像、G画像、B画像の中の1又は複数の画像を使用して、予め実験的に定められた固定閾値を用いて行う方法等を用いる。ここで、選択する画像の種類や数、固定閾値が群毎に異なる。例えば代表的なSternheimer(S)染色で染色された尿中粒子の場合、染色された粒子の吸収ピークは550nm付近にあるので、波長が400~500nmのB画像よりも、500~700nmのG画像、B画像を用いた方が感度が高い。また、染色されたものの中でも、充分に染色される有色粒子と、充分に染色されない淡色粒子とがあり、その場合は、同じ画像を用いたとしても、固定閾値を色調に応じて変える必要がある。また、領域分割方法には、動的輪郭(スネーク)といった周知の従来技術である輪郭抽出法を使用しても良い。例えば、図1の104では、群毎に異なる領域分割を行った結果、正確な対象領域が抽出された結果を示す。
 この構成により、第1対象領域を粒子像より広めに抽出し、第1対象領域の色調と大きさから所定数の群に分類し、分類結果に基づき、粒子像の特徴に応じて、第2対象領域を抽出できるため、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割が行えるといった効果が得られる。
 図6は領域分割処理ステップS402に尿中粒子画像のR濃度、G濃度、B濃度の濃度ヒストグラムを用いた場合の詳細な構成を説明する図である。
 ステップS601では、尿中粒子画像のR濃度、G濃度、B濃度の濃度ヒストグラムをそれぞれ作成し、各濃度ヒストグラムの形状を表すパラメータを求める。ステップS602では、ステップS601で求めたパラメータ等を用いて、画像から対象粒子が存在する第1対象領域を抽出する。ここでは、染色されにくい粒子の対象粒子を、連結した1つの領域として抽出することを目的として、対象粒子を広めにとる領域分割を行う。例えば図7に示すような尿中粒子画像701を得た場合、ステップS602によって得られる第1対象領域は、対象粒子702を広めにとった領域703になる。
 図6の群分け処理ステップS603では第1対象領域の平均色濃度値分布と、大きさから、第1対象領域を所定数の群に分ける。なお、大きさには面積や周囲長等を用いる。第2領域分割処理ステップS604では、分けられた群ごとに最適な異なる領域分割方法を用いることで、第1対象領域を含む局所領域から、対象粒子の形状がより正確な第2対象領域を抽出する。抽出された第2対象領域はステップS403で補正処理される。
 図8は、図6のステップS601で行われる、画像毎に濃度ヒストグラムの形状を表すパラメータPd(*)、Phl(*)、Phh(*)、dl(*)、dh(*)を求める詳細な手順を示す。*は、R,G,Bのいずれかを表す。
 ステップS801では、各画像において、R画像、G画像、B画像の濃度ヒストグラムを作成する。ステップS802では、各濃度ヒストグラムで、図9に示すように頻度の最大値Pmax(*)をもつ濃度値Pd(*)を求める。*は、R,G,Bのいずれかを表す。図8のステップS803では、図9に示すように、各濃度ヒストグラムで、ピークの半値幅Pmax/2(*)を与える濃度、Phl(*)、Phh(*)を求める。*は、R,G,Bのいずれかを表す。なお、ここではピークの半値を示す濃度値を用いたが、これに限ることはなく、ピークの1/4、1/10等を示す濃度値でもよい。ヒストグラムの形状から最適な濃度値を用いるようにする。図8のステップS804では、ステップS802で求めた図9のPd(*)と、ステップS803で求めた図9のPhl(*)、Phh(*)を使用して、次の式(1)、式(2)により、図9のdl(*)とdh(*)を算出する。*は、R,G,Bのいずれかを表す。
     dl(*)=Pd(*)-Phl(*)     (1)
     dh(*)=Phh(*)-Pd(*)     (2)
 図10は、図6のステップS602で行われる、対象を広めにとる第1領域分割処理についての詳細な手順を示す。
 はじめにステップS1001で、濃度ヒストグラムを用いて、対象領域を抽出する手順を示す。ステップS1002では、図8のステップS802で求めたPd(*)とステップS804で求めたdl(*)とdh(*)を使用して、次の式(3)、式(4)により、図9に示す閾値T1(*),T2(*)を算出する。*は、R,G,Bのいずれかを表す。
     T1(*)=Pd(*)-dl(*)×k1(*)     (3)
     T2(*)=Pd(*)+dh(*)×k2(*)     (4)
 k1(*)、k2(*)は予め実験的に定める係数で、R画像、G画像、B画像の色毎に異なる最適値を求めておく。なお、閾値の算出には、尿中粒子の色特性とカメラの分光特性から最も感度の高い色濃度値を1つもしくは複数選択して使用する。
 例えば、R画像とG画像を選択した場合は、以下のようになる。
     T1(R)=Pd(R)-dl(R)×k1(R)
     T2(R)=Pd(R)+dh(R)×k2(R)
     T1(G)=Pd(G)-dl(G)×k1(G)
     T2(G)=Pd(G)+dh(G)×k2(G)
k1(R)、k2(R)、k1(G)、k2(G)は予め実験的に定める係数で、色毎に異なる最適値を求めておく。
 ステップS1003では、求めた閾値を使用して対象領域を抽出する。例えば、閾値T1(R)、T2(R)、T1(G)、T2(G)を用いる場合には、次式(5)を満たす画素(x,y)を対象領域として抽出する。
  {T1(R)≧R(x,y)}II{T2(R)<R(x,y)}II{T1(G)≧G(x,y)}II{T2(G)<G(x,y)} (5)
ここで、IIは論理和を表す。R(x,y)は、画素(x,y)におけるR濃度値を、G(x,y)は、画素(x,y)におけるG濃度値を表す。
 図6のステップS602では、第1対象領域を広めに抽出することが目的であるため、係数kn(*)はやや小さめに設定する。係数kn(*)を小さめに設定することで、図9の対象領域を広げることになる。
 続けて、ステップS1004で、濃度値の変化の大きさを用いて、対象領域を抽出する手順を示す。ステップS1005では、濃度値の変化の大きさを表す値を算出する。
 ここでは、濃度値の変化の大きさを表す指標として、局所的な小領域における濃度値の差分を使用する場合について説明する。ステップS1005で局所的な小領域における濃度値の差分を使用する場合は、次の式(6)で定義される濃度差分値を用いる。画像上の画素の位置(x,y)における濃度値を*(x,y)、濃度差分値をr(*)(x,y)とすると、r(*)(x,y)は、
Figure JPOXMLDOC01-appb-M000001
により、得られる。*は、R,G,Bのいずれかを表す。
 ステップS1006では、r(*)(x,y)から、次の式(7)を満たす、画素(x,y)を対象領域として抽出する。
     sn (*)≦|r(*)(x,y)|     (7)
 ここで、||は絶対値を表し、sn(*)は予め実験的に定める定数で、色毎に異なる最適値を求めておく。*は、R,G,Bのいずれかを表す。
 ある画素の差分値を計算する際に用いる近傍画素の個数は2n+1で表され、この個数をマスクサイズと呼ぶ。例えば、n=2の時、ある画素の差分値の計算には、その画素を中心とし、x方向もしくはy方向の前後2画素が必要であり、マスクサイズ=5である。マスクサイズ=1の場合は、差分処理を行わないことを意味する。
 なお、領域分割は、尿中粒子の色特性とカメラの分光特性から最も感度の高い色画像を1つもしくは複数選択して使用する。また、x方向、y方向と各マスクサイズは、無色粒子の対象領域内で、できるだけ大きな値を取るように設定する。
 例えば、色画像はG画像を選択し、x方向のマスクサイズ=5、y方向のマスクサイズ=1を選択した場合は、次の式(8)を満たす、画素(x,y)が対象領域となる。
     r(G)(x,y)=G(x+2,y)+G(x+1,y)-G(x-2,y)-G(x-1,y)
     s1(G)≦|r(G)(x,y)|              (8)
||は絶対値を、定数s1(G)は予め実験的に最適値を求めておく。
 なお、濃度値の変化の大きさを表すのには、濃度値の差分を用いた方法に限定されることはなく、局所的な小領域における濃度値の分散を用いる方法、対象領域に特異的に含まれる周波数成分を強調するフィルタ処理を用いる方法、等他の方法を用いても良い。
 ステップS1007では、ステップS1001とステップS1004で求めた対象領域を重ね合わせて(論理和を取って)、第1対象領域を抽出する。例えば、ステップS1001ではR画像とG画像を用いて、式(5)より対象領域を抽出し、ステップS1004では、G画像でx方向のマスクサイズ=5、y方向のマスクサイズ=1を組合わせて、式(8)より対象領域を抽出した場合は、次式を満たす画素(x,y)が、第1対象領域として求められる。ここで、IIは論理和を表す。
    {T1(R)≧R(x,y)}II{T2(R)<R(x,y)}II{T1(G)≧G(x,y)}II{T2(G)<G(x,y)}
IIs1(G)≦|r(G)(x,y)|
 ステップS1008では、抽出された第1対象領域の領域分割補正処理を行う。方法は、図4のステップS403と同様である。ステップS1009では、各第1対象領域にラベリング処理を行う。方法は、図4のステップS404と同様である。ステップS1010では、番号を付けた各第1対象領域につき、面積、周囲長、平均色濃度値等の特徴量を算出する。算出した特徴量を元に、図6のステップS603で群分け処理を行う。
 図11は、図6のステップS603で行われる群分け処理の詳細な手順を示す。ステップS1101では、各第1対象領域の大きさに関する特徴量から、第1対象領域を大型粒子群と小型粒子群の2群に分ける。大きさに関する特徴量には、面積、周囲長等を用いる。
 図12は、例えば、特徴量に面積を用いた場合の群分け処理のフローを説明する図である。ある第1対象領域の面積をMとすると、ステップS1201の判定で、M≧mを満たす第1対象領域は大型粒子とし、満たさない場合は小型粒子と分類する。ここで、mは予め実験的に最適値を求めておく。
 図11のステップS1102では、各第1対象領域の平均色濃度値から、第1対象領域を色調に応じた所定数の群に分ける。平均色濃度値には、対象領域の色特性とカメラの分光特性から最も感度の高い色画像を1つもしくは複数選択する。選択した平均色濃度値が、色濃度空間のどこに位置するのかで、第1対象領域を所定の群に分ける。ここで、色濃度空間で群に分けるための識別境界線は、予め実験的に定めておく。識別境界線を求める手段としては、例えば、判別分析等、周知の従来技術を使用できる。
 図13は、例えば、色濃度値にG濃度とB濃度を用いた場合の群分け処理に用いる分布図例を説明する図である。シンボル1303~1306は、予め分布図を作成するために集められた尿中粒子の平均濃度値座標(g,b)を示す。集められた尿中粒子は、最適な領域分割方法が異なることが実験的に明確にされている。ここでは、尿中粒子を色調により、4種類の群A,B,C,Dに分けるものとし、シンボル1303~1306は、それぞれ、群A,B,C,Dに属する粒子のG-B空間中での分布を表すものとする。識別境界線1301と1302は、例えば、線形判別分析を用いて算出する。線形判別分析には、前記シンボルの濃度値データを用いる。算出された識別境界線は次式で示せる。
     b=j1g+k1 (識別境界線1301)
     b=j2g+k2 (識別境界線1302)
 図14は、例えば、図11のステップS1102の群分け処理に図13のG-B分布図を用いた場合の群分けのフローを説明する図である。
 ある第1対象領域のG画像、B画像の色濃度平均値を(g,b)とすると、ステップS1401の判定で、b≧j1g+k1を満たし、なおかつステップS1402でb≧j2g+k2を満たす場合は、第1対象領域は淡色の粒子群B(1304)に属する。ステップS1401の判定で、b≧j1g+k1を満たし、なおかつステップ1402でb≧j2g+k2を満たさない場合は、第1対象領域は無色の粒子群D(1306)に属する。
 ステップS1401の判定で、b≧j1g+k1を満たさず、なおかつステップ1403でb≧j2g+k2を満たす場合は、第1対象領域は有色の粒子群A(1303)に属する。ステップS1401の判定で、b≧j1g+k1を満たさず、なおかつステップ1403でb≧j2g+k2を満たさない場合は、第1対象領域は淡色の粒子群C(1305)に属する。
 図11のステップS1103では、ステップS1102と同様の方法で群分け処理を行う。但し、分類する群の数や分類方法(識別境界線)は、予め実験的に別途設定しておく。
 図15は、図6のステップS604で行われる、群毎の第2領域分割処理についての詳細な手順を示す。
 ステップS1501では、群毎に更なる領域分割が必要か否かの判断を行う。図16にステップS1501の詳細なフローを示す。例えば、群Nは更なる領域分割が必要でないと予め実験的に定められている群とする。例えば、ある第1対象領域xが属する群Xが、ステップS1601で、X=Nを満たす場合は、第1対象領域xは更なる領域分割を必要とせずに、第1対象領域を最終的な領域分割結果とする。ステップS1601で、X=Nを満たさない場合は、第1対象領域xは更なる領域分割を必要とするので、ステップS1502に進む。
 群Nは例えば、大型粒子である。大型粒子の場合、図6のステップS602で対象を広めにとる領域分割を行ったとしても、元々大型であるため、図4のステップS405で算出される特徴量に大きな差は生じない。そのため、図4のステップS406でのパターン認識処理も良好に行われ、最終的な尿中粒子の誤分類も生じにくいからである。また、更なる領域分割を必要としないことにより、領域分割処理に要する時間を節約できることになるため、画像処理の処理速度が向上する効果がある。
 図15のステップS1502では、第1対象領域を含む局所領域を抽出する。局所領域としては、第1対象領域を含む局所的な矩形を抽出するようにする。例えば図7に示すような尿中粒子画像701を得た場合、図6のステップS602によって得られた第1対象領域703を含む局所領域として矩形704を抽出する。
 ステップS1503では、群毎に異なる、群特異的な領域分割を行うことで、第1対象領域を含む局所領域から、より正確な第2対象領域を抽出する処理を行う。
 図17は、ステップS1503で行われる、第2領域分割処理についての詳細な手順を示す。ステップS1701は基本的に図10のステップS1001と同様だが、ステップS1702で用いる色画像やパラメータが群毎に異なる。また、閾値の算出に用いる係数kn(*)も群毎に異なるため、閾値の算出方法も群毎に異なる。*は、R,G,Bのいずれかを表す。
 ステップS1704は基本的に図10のステップS1004と同様だが、ステップS1705で用いる色画像や定数sn(*)、マスクサイズが群毎に異なる。*は、R,G,Bのいずれかを表す。
 ステップS1707では、図6のステップS604で抽出される第2対象領域を抽出する。第2対象領域は、ステップS1703とステップS1706で求めた対象領域の重ね合わせ(論理和を取る)で求める。例えば、予め実験的に分けた群を、有色粒子群(1)、淡色粒子群(2)、無色粒子群(3)の3群とする。
 ある第1対象領域が、有色粒子群(1)に属する場合は、ステップS1701ではR画像とG画像を用いて対象領域を抽出し、ステップS1704では、G画像でx方向のマスクサイズ=5、y方向のマスクサイズ=1を組合わせて、対象領域を抽出したとすると、第2対象領域は、次式により得られる。
    {T3(R)≧R(x,y)}II{T4(R)<R(x,y)}II{T3(G)≧G(x,y)}II{T4(G)<G(x,y)}
IIs2(G)≦|r(G)(x,y)|
 ある第1対象領域が、淡色粒子群(2)に属する場合は、ステップS1701ではR画像とG画像を用いて対象領域を抽出し、ステップS1704では、x,y両方向に対して、マスクサイズ=1を用いたとすると、第2対象領域は、次式により得られる。
    {T5(R)≧R(x,y)}II{T6(R)<R(x,y)}II{T5(G)≧G(x,y)}II{T6(G)<G(x,y)}
 ある第1対象領域が、無色粒子群(3)に属する場合は、ステップS1701ではB画像を用いて対象領域を抽出し、ステップS1704では、x,y両方向に対して、マスクサイズ=1を用いたとすると、第2対象領域は、次式により得られる。
     {T1(B)≧B(x,yj)}II{T2(B)<B(x,y)}
 本発明の濃度ヒストグラムを用いて閾値処理を行う領域分割方法により、色調が様々な尿中粒子が混在する尿試料においても、安定した閾値処理を行えるといった効果が得られる。
 また、第1対象領域を粒子像より広めに抽出し、第1対象領域の色調と大きさから所定数の群に分類し、分類結果に基づき、粒子像の特徴に応じて、第2対象領域を抽出できるという本発明の構成により、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割が行えるといった効果が得られる。その結果、対象領域の特徴量がより正確に求められ、対象粒子の分類の誤り防止が可能となり、各種の尿中粒子の識別精度が向上できる効果がある。
 図18は、本発明の第2の実施例の尿中粒子画像の領域分割装置の構成を説明する図である。
 カメラ等の画像入力装置に撮像された元画像はメモリ1801に転送される。元画像は第1領域分割手段1802に転送され、第1領域分割が行われる。第1領域分割方法は実施例1に示した方法を用いれば良い。領域分割された第1対象領域画像はメモリ1801に転送される。
 第1対象領域は次に、群分け手段1803に転送され、第1対象領域毎に特徴量が算出され、所定数の群に分けられる。群分け処理方法は実施例1に示した方法を用いれば良い。群分け処理結果はメモリ1801に転送される。
 群毎の詳細な第2領域分割手段1804では、メモリ1801に保存してある、元画像、第1対象領域、群分け処理結果を用いて、領域分割を行い、対象粒子の形状に正確な第2対象領域を抽出する。群毎の詳細な領域分割方法は実施例1に示した方法を用いれば良い。第2対象領域結果はメモリ1801に転送される。ただし、第2領域分割結果を保存する手段としては、メモリ1801に限らず、例えば、HDDもしくはフロッピディスクといった外部記憶媒体を用いても良い。
 第1対象領域を粒子像より広めに抽出し、第1対象領域の色調と大きさから所定数の群に分類し、分類結果に基づき、粒子像の特徴に応じて、第2対象領域を抽出できるという、本発明の装置構成により、様々な大きさや色調の異なる尿中粒子が混在する尿試料においても、粒子像毎に安定した領域分割が行えるといった効果が得られる。

Claims (10)

  1.  尿中粒子画像の領域分割方法であって、
     粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像の赤成分の画像(R画像)、緑成分の画像(G画像)、青成分の画像(B画像)の中の1又は複数の画像を使用して、第1対象領域を抽出する工程と、
     前記R画像、前記G画像、前記B画像の中の1又は複数の画像の前記第1対象領域の色濃度分布と前記第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、前記第1対象領域を所定数の群に分類する工程と、
     前記群毎に前記R画像、前記G画像、前記B画像の中の1又は複数の画像を使用して、前記画像中の前記第1対象領域を含む局所領域から第2対象領域を抽出する工程と
    を有することを特徴とする粒子画像の領域分割方法。
  2.  尿中粒子画像の領域分割方法であって、
     粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像のR画像、G画像、B画像を使用して、R濃度、G濃度、B濃度の濃度ヒストグラムを作成し、
     前記濃度ヒストグラムの形状を表す、1又は複数のパラメータを求める第1の工程と、
     前記1又は複数のパラメータと前記R画像、前記G画像、前記B画像の中の1又は複数の画像を使用して、第1対象領域を抽出する第2の工程と、
     前記R画像、前記G画像、前記B画像の中の1又は複数の画像の前記第1対象領域の色濃度分布と前記第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、前記第1対象領域を所定数の群に分類する第3の工程と、
     前記群毎に前記1又は複数のパラメータと前記R画像、前記G画像、前記B画像の中の1又は複数の画像を使用して、前記画像中の前記第1対象領域を含む局所領域から第2対象領域を抽出する第4の工程と
    を有することを特徴とする粒子画像の領域分割方法。
  3.  請求項2記載の尿中粒子画像の領域分割方法であって、
     前記第2の工程は、
     前記第1の工程で求めた前記1又は複数のパラメータから、
     前記R画像、前記G画像、前記B画像の1又は複数の画像の濃度閾値を算出する工程と、
     前記閾値を前記画像に適用して、対象領域を抽出する工程と
    を有することを特徴とする粒子画像の領域分割方法。
  4.  請求項2記載の尿中粒子画像の領域分割方法であって、
     前記第2の工程は、
     前記R画像、前記G画像、前記B画像の1又は複数の画像をフィルタ処理して値を得る工程と、
     前記値に閾値処理を行い対象領域を抽出する工程と
    を有することを特徴とする粒子画像の領域分割方法。
  5.  請求項2記載の尿中粒子画像の領域分割方法であって、前記第2の工程は、前記第1の工程で求めた前記1又は複数のパラメータから、前記R画像、前記G画像、前記B画像の1又は複数の画像の濃度閾値を算出し、前記閾値を前記画像に適用して領域分割を行い抽出された領域分割結果と、前記R画像、前記G画像、前記B画像の1又は複数の画像をフィルタ処理して値を得て、前記値に閾値処理を行い、領域分割を行い抽出された領域分割結果との論理和を取ることで抽出された領域を前記第1対象領域とすることを特徴とする粒子画像の領域分割方法。
  6.  請求項2記載の尿中粒子画像の領域分割方法であって、
     前記第4の工程は、
     前記第3の工程で識別した群毎に、前記R画像、前記G画像、前記B画像の1又は複数の画像を選択する工程と、
     前記選択した色画像毎に、前記第1の工程で求めた前記1又は複数のパラメータを用いて閾値を算出する工程と、
     前記閾値を利用して前記群毎に領域分割を行う工程と
    を有することを特徴とする粒子画像の領域分割方法。
  7.  請求項2記載の尿中粒子画像の領域分割方法であって、
     前記第4の工程は、
     前記第3の工程で識別した群毎に、前記R画像、前記G画像、前記B画像の1又は複数の画像を選択する工程と、
     前記選択した色画像毎に、前記第1の工程で求めた前記1又は複数のパラメータを用いて閾値を算出する工程と、
     前記閾値を利用して前記群毎に領域分割を行い、第1領域分割結果を得る工程と、
     前記第3の工程で識別した群毎に、前記R画像、前記G画像、前記B画像の1又は複数の画像をフィルタ処理する工程と、
     選択した前記フィルタ処理により得られる値に閾値処理を行い、第2領域分割結果を得る工程と、
     前記第1領域分割結果と前記第2領域分割結果との論理和を取って、抽出された領域を前記第2対象領域とする工程と
    を有することを特徴とする粒子画像の領域分割方法。
  8.  請求項2記載の尿中粒子画像の領域分割方法であって、前記第3の工程で識別した群が所定の一群に分類された群に対しては、前記第4の工程で、前記第2の工程の領域分割結果を出力することを特徴とする粒子画像の領域分割方法。
  9.  尿中粒子画像の領域分割装置であって、
     粒子画像を入力する画像入力光学系により得た、尿中粒子を撮像した画像のR画像、G画像、B画像の中の1又は複数の画像を使用して、第1対象領域を抽出する手段と、
     前記R画像、前記G画像、前記B画像の中の1又は複数の画像の前記第1対象領域の色濃度分布と前記第1対象領域の大きさを算出し、該色濃度分布と該大きさに基づき、前記第1対象領域を所定数の群に分類する手段と、
     前記群毎に前記R画像、前記G画像、前記B画像の中の1又は複数の画像を使用して、前記画像中の前記第1対象領域を含む局所領域から第2対象領域を抽出する手段と
    を有することを特徴とする尿中粒子画像の領域分割装置。
  10.  尿を被検液とし、被検液を染色する染色手段と、該染色された被検液を撮像する手段と、撮像された画像から前記被検液中の有形成分を識別する識別手段とを備え、該識別手段は、前記画像における前記有形成分を含む第一領域を切り出し、該第一領域中の色濃度分布と該第一領域中の大きさを算出し、該算出された前記色濃度分布と前記大きさを基に前記有形成分を所定数分類することを特徴とする尿沈渣自動分析装置。
PCT/JP2009/056135 2008-04-07 2009-03-26 尿中粒子画像の領域分割方法及び装置 WO2009125678A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/920,424 US9239281B2 (en) 2008-04-07 2009-03-26 Method and device for dividing area of image of particle in urine
JP2010507211A JP4948647B2 (ja) 2008-04-07 2009-03-26 尿中粒子画像の領域分割方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008098866 2008-04-07
JP2008-098866 2008-04-07

Publications (1)

Publication Number Publication Date
WO2009125678A1 true WO2009125678A1 (ja) 2009-10-15

Family

ID=41161812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/056135 WO2009125678A1 (ja) 2008-04-07 2009-03-26 尿中粒子画像の領域分割方法及び装置

Country Status (3)

Country Link
US (1) US9239281B2 (ja)
JP (1) JP4948647B2 (ja)
WO (1) WO2009125678A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
JP2019066461A (ja) * 2017-10-02 2019-04-25 アークレイ株式会社 分析装置
JP2020169994A (ja) * 2019-04-03 2020-10-15 メクウィンズ, エセ.アー.Mecwins, S.A. バイオマーカを光学的に検出するための方法
JP2023026464A (ja) * 2017-10-02 2023-02-24 アークレイ株式会社 分析装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586889B2 (ja) * 2009-07-29 2014-09-10 株式会社日立ハイテクノロジーズ 粒子画像解析装置
CN102707425B (zh) * 2012-06-21 2014-04-16 爱威科技股份有限公司 图像处理方法和装置
EP2725508A1 (en) * 2012-10-24 2014-04-30 Nidek Co., Ltd. Ophthalmic analysis apparatus
CN104751431A (zh) * 2013-12-31 2015-07-01 西门子医疗保健诊断公司 一种基于图像处理的方法和装置
CN104751440A (zh) * 2013-12-31 2015-07-01 西门子医疗保健诊断公司 一种基于图像处理的方法和装置
CN105096293B (zh) * 2014-04-30 2018-12-07 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
US10304188B1 (en) * 2015-03-27 2019-05-28 Caleb J. Kumar Apparatus and method for automated cell analysis
WO2017058746A1 (en) * 2015-10-01 2017-04-06 Promerus, Llc Fluorine free photopatternable phenol functional group containing polymer compositions
JPWO2018207361A1 (ja) * 2017-05-12 2020-03-12 オリンパス株式会社 細胞画像取得装置
CN117030711A (zh) * 2017-08-10 2023-11-10 爱科来株式会社 分析装置和分析方法
CN110007068B (zh) * 2019-03-25 2022-07-08 桂林优利特医疗电子有限公司 一种尿液漏滴检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119765A (ja) * 1987-11-04 1989-05-11 Hitachi Ltd 領域分割方法
JP2813348B2 (ja) * 1988-04-22 1998-10-22 東亜医用電子株式会社 細胞画像切出記憶処理装置および方法
JP2000206027A (ja) * 1999-01-14 2000-07-28 Hitachi Ltd 粒子画像領域分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH073419B2 (ja) 1986-10-07 1995-01-18 東亜医用電子株式会社 流体中の細胞分析方法および装置
US5121436A (en) * 1987-08-14 1992-06-09 International Remote Imaging Systems, Inc. Method and apparatus for generating a plurality of parameters of an object in a field of view
JPH03131756A (ja) 1989-10-18 1991-06-05 Hitachi Ltd 血球自動分類装置
JP3111706B2 (ja) 1992-02-18 2000-11-27 株式会社日立製作所 粒子分析装置及び粒子分析方法
DE69327182T2 (de) 1992-02-18 2000-06-15 Hitachi Ltd Gerät und Verfahren zur Untersuchung von Teilchen in einem Fluid
US5768412A (en) * 1994-09-19 1998-06-16 Hitachi, Ltd. Region segmentation method for particle images and apparatus thereof
JP3653804B2 (ja) 1994-09-19 2005-06-02 株式会社日立製作所 粒子画像の領域分割方法及び装置
JP3127111B2 (ja) * 1996-02-22 2001-01-22 株式会社日立製作所 フロー式粒子画像解析方法および装置
JPH10302067A (ja) 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
JPH1119765A (ja) 1997-06-30 1999-01-26 Mitsubishi Electric Corp 熱交換器及びその製造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119765A (ja) * 1987-11-04 1989-05-11 Hitachi Ltd 領域分割方法
JP2813348B2 (ja) * 1988-04-22 1998-10-22 東亜医用電子株式会社 細胞画像切出記憶処理装置および方法
JP2000206027A (ja) * 1999-01-14 2000-07-28 Hitachi Ltd 粒子画像領域分割方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
JP2019066461A (ja) * 2017-10-02 2019-04-25 アークレイ株式会社 分析装置
JP2023026464A (ja) * 2017-10-02 2023-02-24 アークレイ株式会社 分析装置
JP7457782B2 (ja) 2017-10-02 2024-03-28 アークレイ株式会社 分析装置
JP2020169994A (ja) * 2019-04-03 2020-10-15 メクウィンズ, エセ.アー.Mecwins, S.A. バイオマーカを光学的に検出するための方法
JP7467205B2 (ja) 2019-04-03 2024-04-15 メクウィンズ,エセ.アー. バイオマーカを光学的に検出するための方法

Also Published As

Publication number Publication date
JP4948647B2 (ja) 2012-06-06
US9239281B2 (en) 2016-01-19
JPWO2009125678A1 (ja) 2011-08-04
US20110002516A1 (en) 2011-01-06

Similar Documents

Publication Publication Date Title
JP4948647B2 (ja) 尿中粒子画像の領域分割方法及び装置
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US7899624B2 (en) Virtual flow cytometry on immunostained tissue-tissue cytometer
US8486704B2 (en) Methods of chromogen separation-based image analysis
EP3343440A1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
JP5717647B2 (ja) 多核細胞分類および微小核点数化
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
CN112215790A (zh) 基于深度学习的ki67指数分析方法
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
US8582861B2 (en) Method and apparatus for segmenting biological cells in a picture
JP7214756B2 (ja) ステイン集合体における信号の定量
WO2006087526A1 (en) Apparatus and method for processing of specimen images for use in computer analysis thereof
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
Lezoray et al. Segmentation of cytological images using color and mathematical morphology
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
JP3653804B2 (ja) 粒子画像の領域分割方法及び装置
WO2022124007A1 (ja) オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法
Friedrich et al. Removing defocused objects from single focal plane scans of cytological slides
Wu et al. Image quantification of high-throughput tissue microarray
Schmitz et al. Automated image analysis of hodgkin lymphoma
Bieniecki et al. A system for pathomorphological microscopic image analysis
Mary Kenneth et al. Overlapping Sickle Cells Detection and Separation Using Marker-Based Watershed Segmentation
WO2006085068A1 (en) Apparatus and method for image processing of specimen images for use in computer analysis thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09729393

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010507211

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12920424

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09729393

Country of ref document: EP

Kind code of ref document: A1