WO2009147931A1 - 粒子画像解析方法および装置 - Google Patents

粒子画像解析方法および装置 Download PDF

Info

Publication number
WO2009147931A1
WO2009147931A1 PCT/JP2009/058866 JP2009058866W WO2009147931A1 WO 2009147931 A1 WO2009147931 A1 WO 2009147931A1 JP 2009058866 W JP2009058866 W JP 2009058866W WO 2009147931 A1 WO2009147931 A1 WO 2009147931A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
particle
entire
memory
image analysis
Prior art date
Application number
PCT/JP2009/058866
Other languages
English (en)
French (fr)
Inventor
美樹 滝
伯男 大和田
Original Assignee
株式会社 日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立ハイテクノロジーズ filed Critical 株式会社 日立ハイテクノロジーズ
Priority to EP09758198.7A priority Critical patent/EP2290350B1/en
Priority to JP2010515820A priority patent/JP5470625B2/ja
Priority to CN2009801205241A priority patent/CN102047095B/zh
Priority to US12/996,114 priority patent/US8538119B2/en
Publication of WO2009147931A1 publication Critical patent/WO2009147931A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1456—Electro-optical investigation, e.g. flow cytometers without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Electro-optical investigation, e.g. flow cytometers without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1468—Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/487—Physical analysis of biological material of liquid biological material
    • G01N33/493—Physical analysis of biological material of liquid biological material urine
    • G01N15/1409—

Definitions

  • the present invention relates to a particle image analysis method and an image analysis apparatus that take a particle image suspended in a liquid and analyze the particle from the obtained image.
  • the sheath fluid which is a cleaning agent
  • the sample fluid is made to have a very flat flow.
  • a flow type particle image analysis apparatus using a flow cell for example, Patent Document 1.
  • a sample moving in a flow cell is photographed by, for example, a video camera, and the captured still image is image-processed to classify and count particles in the sample.
  • Patent Document 2 describes a method in which a photographed particle image is classified by particle size or the like and displayed on a screen in a flow image analysis apparatus, and an operator classifies the particles.
  • Patent Document 3 describes a method for reducing the review time by mounting a function for reviewing only the types of components designated in advance when the operator classifies particles.
  • JP-A-4-72544 JP 60-38653 A Japanese Patent Application Laid-Open No. 8-210961
  • the image analysis device can classify even small components by optically increasing the magnification.
  • a large component 50 micrometers or more
  • a measurement mode that changes the magnification is added.
  • urinary sediment examination is a morphological examination, it is difficult to process 100% of specimens on the device side from a clinical standpoint. It is automatically classified as primary screening, and detailed classification is performed by secondary screening through image review. It is carried out. There is a limit to image review, and there will be no end to specimens that will eventually go to microscopy. Even if an analyzer is introduced, if there are many specimens to be sent to the microscope, the cost of the microscope examination and the labor cost will be doubled. Therefore, it is strongly desired that few specimens are sent to the microscope.
  • An object of the present invention is to provide a particle image analysis method and an image analysis apparatus capable of observing a small component less than or equal to an image capturing object in an entire image while improving the efficiency of review with the cut particle component without greatly changing the apparatus configuration. Is to realize.
  • the present invention is configured as follows.
  • the sample is photographed, the whole image of the photographed sample is stored in the whole image memory, the particle components and the number in the sample are extracted from the whole image of the photographed sample, and the extracted particle components are characterized.
  • the component stored in the cut-out memory is corrected and the concentration correction is performed.
  • an imaging unit for imaging the sample an entire image memory for storing the entire image of the sample captured by the imaging unit, and the number of particle components in the sample are extracted from the entire image of the captured sample.
  • the particle analysis unit, the feature extraction unit that extracts the particle components in the sample from the whole image of the photographed sample, and the particle components extracted by the feature extraction unit are analyzed based on the feature parameters and classified for each component type
  • An arithmetic processing unit for calculating the concentration of the component, a cut-out memory for storing the classified particle component and its concentration, a display means for displaying the entire image stored in the entire image memory, and additional or changed particle component information.
  • a means for detecting particles passing upstream of the imaging region and a means for determining whether or not to take a particle image based on the detection signal are set, and a plurality of conditions for detecting particles are set, and one of the stages is imaged. For photography. Each time a particle passes, the number of detections in the plurality of stages is counted during sample measurement. By calculating the respective count numbers and their differences or ratios, there is provided a logic for determining whether or not the entire image is captured and the number of captured images, and whether or not the entire image is displayed and how many are displayed.
  • FIG. 1 is an overall schematic configuration diagram of a flow method particle image analysis apparatus according to a first embodiment of the present invention. It is explanatory drawing of the structure part centering on the flow cell in a flow type particle image analyzer. It is explanatory drawing of the internal function of the image memory for review and a central control part. It is a whole processing flowchart of particle analysis. It is explanatory drawing of the process which acquires the image
  • FIG. 1 is an overall schematic configuration diagram of a flow system particle image analyzer according to a first embodiment of the present invention.
  • the flow particle image analysis apparatus includes a flow cell 100, an image capturing unit 101, a particle analysis unit 102, a particle detection unit 103, and a flow system control unit 124.
  • the image photographing unit 101 is used in common with the flash lamp driving circuit 6, the flash lamp 1, the field lens 2, the field stop 11, the aperture stop 12, the microscope condenser lens 3, and the microscope objective lens 5 (particle detection unit 103). ) And a TV camera 8.
  • the particle analysis unit 102 also includes an image memory 24, an image processing control circuit 25, a feature extraction circuit 26, an identification circuit 27, a particle number analysis unit 40, a central control unit 28, and a review particle image memory 29. And a display unit 50 and an operation unit 60.
  • the central control unit 28 is connected to the qualitative analysis device 91 via the host computer 90. In this configuration, the analysis result obtained by the qualitative analysis device 91 is taken into the central control unit 28 via the host computer 90, and is used to determine the qualitative item from the photographed image data.
  • the particle detector 103 includes a semiconductor laser source 15, a collimator lens 16, a cylindrical lens 17, a reflecting mirror 18, a minute reflecting mirror 19, a microscope objective lens 5, a beam splitter 20, a diaphragm 21, It has a light detection circuit 22 and a flash lamp lighting control circuit 23.
  • the laser light from the semiconductor laser source 15 is converted into a parallel laser beam 14 by the collimator lens 16, and is passed through the reflecting mirror 18 by the minute reflecting mirror 19 disposed between the microscope lens 3 and the flow cell 100.
  • the particle detection area 70 (shown in FIG. 2) is irradiated.
  • FIG. 2 is an explanatory diagram of the components centering on the flow cell 100.
  • the flow control of the apparatus will be described with reference to FIG.
  • the sample 110a is sucked by the sampling nozzle 109, and the sample 110a is discharged into the dyeing tank 112 from which the dyeing liquid 111 has been discharged in advance.
  • the dyed sample 110 b in the dyeing tank 112 is sucked by the direct sampling nozzle 107 of the direct sampling mechanism 108 and injected into the flow cell 100.
  • the sheath liquid 105 in the sheath liquid container 104 is injected into the flow cell 100 while sandwiching the stained sample 110b with the syringe mechanism. Therefore, the sheath liquid inlet of the flow cell 100 is divided into two.
  • the thickness of the stained sample in the measurement channel is adjusted according to the flow rate ratio between the stained sample 110b and the sheath liquid 105. For example, when the flow rate of the stained sample 110b is constant, if the flow rate of the sheath liquid 105 decreases, the thickness of the ultra flat sample flow increases while the width remains constant, and when the flow rate of the sheath liquid 105 increases, the width becomes constant. If it remains the same, the thickness of the super flat sample flow is reduced.
  • the size of the component is several micrometers to 200 micrometers, so the width of the flow cell 100 needs 200 to 350 micrometers.
  • the thickness dimension is a flat sample flow of several micrometers to several tens of micrometers.
  • the particle imaging region 70 has a quadrangular shape with one side having substantially the same length as the sample flow width.
  • the obtained captured image 80 has a width and length of about 250 to 300 micrometers.
  • the particle detection unit 103 includes an analysis unit that detects the presence / absence of particle passage and the necessity of performing imaging and measures the number of particles at a plurality of levels.
  • the particles in the sample 110 to be measured cross the laser beam, the laser light is scattered, and this scattered light is collected by the microscope objective lens 5 used for taking a particle image, reflected by the half mirror 20, and passed through the diaphragm 21. Later, it is converted into an electrical signal by the photodetector 22 and the photodetector circuit 31.
  • the level detection circuits 32, 33, 34, and 35 and the time width measuring unit 36 that digitally output the particle signals measure the time width of the particle detection signals.
  • the laser light source 15 is always turned on, and it is observed that particles in the sample always pass through the detection region.
  • the particle is determined to be an imaging target particle, and the particle number analysis unit 40 determines the number of particles.
  • the count is controlled by the central control unit 28, and the flash lamp lighting control circuit 23 and the flash lamp driving circuit 6 cause the flash lamp 1 to emit light at a timing such that the image of the particles stops at a predetermined position of the image capturing field. Particles in the flow cell 100 are detected, and the image capturing unit 101 acquires an image 80.
  • a plurality of particle determination logics are prepared, and the level detection circuits 32 to 35 set different detection levels, and when the pulse width is equal to or greater than a predetermined width when the level is equal to or greater than a predetermined level.
  • the number of particles is counted by the particle number analyzer 40.
  • the image data signal output from the TV camera 8 is stored at a predetermined address in the image memory 24 under the control of the image processing circuit 25.
  • the data stored in the image memory 24 is read out under the control of the image processing control circuit 25 and is input to the identification circuit 27 via the feature extraction circuit 26 to perform image processing. Results are supplied. What is supplied is the particle classification result and particle identification feature parameter data used for particle classification.
  • Particle classification and identification logic is automatically performed by a normal pattern recognition process.
  • the image processing result, the measurement conditions, and the image information subjected to the image processing are sent from the central control unit 28 to the particle analysis unit 40.
  • the particle analysis unit 40 examines the correspondence relationship between the detected particle and the particle classification result, and finally Summarize the classification and identification results of various particle images.
  • the result is returned to the central control unit 28 and output and displayed on the display unit 50 as necessary.
  • the operator selects the type of particle that the operator wants to review from the operation unit 60, is transmitted to the identification circuit 27 via the central control unit 28, and the classification and identification result and setting by the identification circuit 27 are set. Only when it matches the review particle name, the corresponding particle image is sent from the image memory 24 to the review image memory 29 and sequentially accumulated.
  • the review image memory 29 is dedicated to the particle image to be reviewed with respect to the particle image, and the particle image accumulated in the review image is the same particle type from the review image memory 29 via the central control unit 28 after the measurement of the sample is completed. Each time it is displayed on the display screen of the display unit 50 and is used for review by the operator.
  • the particle concentration calculation in the sample and the field-equivalent particle number calculation are performed, and the analysis result is returned to the central control unit 28.
  • FIG. 3 is an explanatory diagram of internal functions of the review image memory 29 and the central control unit 28.
  • the review image memory 29 includes an entire image memory 291 and a cut-out image memory 292.
  • the central control unit 28 also includes a result image correction processing unit 281 that captures and corrects an image from the entire image memory 291 and the cut-out image memory 292 according to an operation command from the operation unit 60, and a command from the result correction processing unit 281.
  • An arithmetic processing unit 283 that performs arithmetic processing according to the above, an analysis result memory 284 that stores a result (analysis result) processed by the arithmetic processing unit 283, and an operation control unit 282 that controls operations of the display unit 50 and other units. I have.
  • the measurement result is sent to the host computer 90. Further, there is provided means for receiving the same sample result of the urine qualitative analyzer 91 using the test strip method from the host computer 90 before measurement.
  • Step 1 injection of the stained sample 110b into the flow cell 100 is started.
  • the image is taken by the TV camera 8 (Step 1, Step 2).
  • the image processing control circuit 25 separates the photographed image 80 into a background and a component, that is, binarizes (Step 3).
  • each separated component is numbered and classified, that is, labeling is performed (Step 4).
  • Step 5 feature parameters such as size, color information, and circularity are calculated for each component.
  • small components less than 3 micrometers are rejected.
  • Components of the remaining image are identified from the feature parameters by a neural network (Step 6).
  • the identified image is cut out only in the component area, collected for each component as a review image, and stored in the cut-out memory 292 of the review image memory 29 (Step 7).
  • a set number of images of the entire shooting area are acquired and stored in the entire image memory 291 of the review image memory 29 (Step 8).
  • a number is assigned to each component in the image of the entire shooting area in the shooting order ((A) in FIG. 5). This corresponds to the labeling step 4 in the flow of FIG.
  • Particle components B, C, D, E, G, I, J, and H which are small components, are rejected in size, and particle components A, F, K, L, M, and N are stored in the cut-out memory 292 as cut-out images. .
  • the image becomes a review image. This corresponds to Step 7 in FIG. These are rearranged for each type of component (red blood cell, white blood cell, squamous epithelium, etc.), and a window is displayed for each component ((B) and (C) in FIG. 5).
  • FIG. 6 shows a processing flowchart in the case where there are additional components
  • FIG. 7 shows a processing flowchart in the case where the components are distributed throughout the sample and the measurement results of the components are replaced. Since the entire image of the imaging region may be taken during measurement for storage, it may be separated from the image for classification, or the image used for classification may be used for display.
  • the cut image is reviewed before the image review of the entire shooting area (Step 101).
  • the result correction processing unit 281 reads out the image from the cut-out memory 292 and displays it on the display unit 50 according to an instruction from the operation unit 60 by the operator.
  • the operator looks at the image collected for each component, and corrects the particles determined to be erroneously identified to the correct component item using the operation unit 60.
  • the white blood cell concentration increases by 0.2 cells / microliter. In this way, correction is performed by moving density information held for each cut image. In other words, when one red blood cell was corrected to a white blood cell, the red blood cell was 2.0 / microliter and the white blood cell was 1.0 / microliter before the review, but the red blood cell was 1.8 after the review. / Microliter, leukocytes are 1.2 cells / microliter.
  • Step 102 an image of the entire shooting area is displayed (Step 102). This is read out from the entire image memory 291 by the result correction processing unit 281 and displayed on the display unit 50.
  • the operator observes the displayed whole image, and when a component to be added (an overlooked component) appears, specifies the component and registers the number (Step 103). Once registered, the concentration of the sample is recalculated by the arithmetic processing unit 283 (Step 104).
  • the result correction when adding one tubular epithelial cell is 0.0 / microliter tubular epithelial cell before review, and 0.2 / microliter after review.
  • a comment for example, a possible bacterial name is input to the comment field via the operation unit 60 (Step 105).
  • Step 201 correction of the cut image
  • Step 205 comment input
  • the case where the components are distributed throughout the sample means a case where bacteria and amorphous salts of a size that is rejected in the cut image can be observed in the image of the entire imaging region. That is, in the example shown in FIG. 5, the rejected small components (components B, C, D, E, G, H, I, and J) can be observed in the entire imaging region image.
  • the entire region image is displayed (Step 202). For example, when bacteria can be observed in the entire image and distributed over the entire sample, a process of replacing the concentration of the component is performed.
  • An image 80 of the entire imaging region (shown in FIG. 8) is previously incorporated with the area of the imaging region and the thickness information of the sample.
  • An area is set on the display unit 50 via the result correction processing unit 281 with a mouse or a touch pen of the operation unit 60.
  • the set area 301 shown in FIG. 8 is discriminated on the screen, and the operator inputs the identification and number information of the components in the area from the operation screen (Step 203).
  • the result correction processing unit 281 and the arithmetic processing unit 283 of the central control unit 28 calculate the measurement result, and store the result of the corresponding component in the replacement analysis result memory 284 (Step 204).
  • FIG. 8 is an explanatory diagram of the operation screen when the component concentration is replaced.
  • the operator determines a region 301 on the image 80 of the entire photographing region by dragging the mouse.
  • the volume V of the selected region 301 is calculated by the arithmetic processing unit 283 from the thickness of the stained sample 110b in the flow cell 100 and the area of the area.
  • the component ID is selected from the pull-down menu in the “ID?” Field on the operation screen shown in FIG.
  • a means for designating the entire screen is also provided in the area setting, and if a plurality of images can be set, the detection sensitivity can be further increased.
  • the number of bacteria is 0.0 / microliter before the review and 30.0 bacteria / microliter after the review.
  • the image of the entire photographing area is stored separately from the image cut out for each type of component, the entire photographing area is read, and the photographing read by the operator is read out. By confirming the entire region, additional components can be confirmed.
  • the flow-type particle image analysis apparatus includes the particle detection unit 103, and detects the detection level when particles in the sample pass through the flow cell 100, and turns on the flash lamp 1 when the level is above a certain level. And take a picture.
  • the sample When the sample is urine, it can be said that it is normal if there are few particle components. However, as the number of detected components increases, the possibility that there are many small components increases. It is not necessary to acquire and check images of the entire imaging area for all specimens. Taking a whole image for each specimen requires a large memory capacity, and it takes a long time to review all the stored whole images. Therefore, the inspection efficiency does not increase.
  • a threshold value is set based on the particle detection count number and detection time width for each level, and only a set number of whole images are acquired only during the measurement for the specimen that exceeds the threshold value.
  • a means for determining whether or not to acquire the entire image and whether or not to display the image is provided using the particle count number at a plurality of detection levels and the ratio thereof.
  • the urinary components are various, and the level and width of the detection signal are also various.
  • the problem is how far fine particles can be photographed. Although it is necessary to distinguish from dust and noise on the detection signal, a minute component of the same level as dust and noise appears.
  • urinary cocci are difficult to distinguish from dust and noise. Since it cannot be distinguished, if a minute component is also a subject to be photographed, the number of images increases too much, and the classification accuracy is lowered and the efficiency is not improved. In the current apparatus, since components of about 3 ⁇ m or more are targeted, there may be cases where cocci have been missed, although they have appeared.
  • FIG. 9 shows an example of the particle detection signal in the urine formed component.
  • the horizontal axis indicates the detected time width ( ⁇ s), and the vertical axis indicates the detection voltage (V). Since large particles take time to pass, the time width becomes long. When the density in the particles is large, the detection voltage tends to increase. Cocci with a diameter of 1-2 ⁇ m are small in level and width. Red blood cells have a diameter of 6-8 ⁇ m and a higher voltage level than cocci. A glass cylinder having a width of 50 to 100 ⁇ m is characterized by a relatively low detection level but a long detection time width because the density of the contents is low. Since red blood cells can be classified by image, the threshold value of the imaging target is set to a detection level of 2 or more, and the threshold value of the time width is set to 30 ⁇ s or more.
  • FIG. 10 shows a value obtained by subtracting the particle count number at the detection level 2 from the detection level 1 in the specimen in which the bacteria are confirmed in the urine sample. As the bacterial concentration increases, the difference increases. This difference is considered to be bacteria.
  • a threshold value for the difference or the ratio it is possible to leave an entire image of the specimen with the possibility of appearance of bacteria.
  • photograph is 1 conditions, the presence or absence of a microparticle can be assumed by counting the particle
  • FIG. 11 illustrates a flow for determining whether or not it is necessary to acquire the entire image from the particle count number at each detection level. Measurement is started, and a particle image signal is detected when the particle component passes through the flow cell X (Step 301). The number of each particle at a plurality of detection levels (threshold values) is counted (Step 302). For particles that exceed one imaging target detection level among a plurality of stages, the flash lamp is turned on to acquire an image (Step 303). Do not photograph particles below the target detection level. In the particle image acquired, only components are cut out and classified (Step 305).
  • Step 306 the particle counts in Step 302 are totaled, and the ratio between Level 1 and Level 2 or the ratio between Level 3 and Level 1 is calculated (Step 307). It is determined whether or not the entire image needs to be captured from the relationship between the ratio and the count number (Step 308). The specimen for which it is determined that the entire image is necessary is turned on, and the entire image is acquired (Step 309). Thereafter, the image is saved and a data flag is output (Steps 310 and 311). A sample for which acquisition of the entire image is not acquired does not acquire an image, and the measurement ends. It is also possible to set whether or not to acquire the entire image by setting the particle detection count. For example, as shown in FIG. 12, the particle count number obtained by subtracting the detection level 2 from the detection level 1 is 500, and the total number of stored images can be registered from the operation screen as three. Either the detection count number or the number of shots can be set to set the total number of images stored.
  • the same effect as that of the first embodiment can be obtained, the memory capacity necessary for storing the entire image can be reduced, and the review time for the entire image can be shortened. be able to.
  • test paper method Since the test paper method does not discard small bacteria, it is positive if there are bacteria. Therefore, the accuracy of measurement of bacteria and the like can be improved by determining whether or not the entire image is acquired based on the positive item.
  • the urine chemistry analysis by the test strip method is also performed on the same sample, whether or not the entire image is acquired and stored according to the positive item can be used as a criterion for determination.
  • the total number of stored images can be set for each qualitative item.
  • a fourth embodiment will be described with reference to FIG.
  • image display there is a difference in the size of the image itself between the image of the entire shooting area and the cut-out image, and if the images are displayed simultaneously on the display screen, the image of the entire shooting area may be reduced.
  • the operator cannot grasp the sense of size. Therefore, a dimension scale 403 whose size can be discriminated is displayed on any screen.
  • FIG. 13 is an explanatory diagram of switching between a cut-out image and an image of the entire shooting area and an enlargement / reduction function.
  • the cut image is corrected using the screen shown in FIG. 13A (Step 101 in FIG. 6 and Step 201 in FIG. 7), and then the switching button 402 is pressed to switch to the entire shooting area image display (FIG. 13). 13 (B)).
  • the size scale 403 is always displayed on the screen before and after switching.
  • one scale of the scale 403 corresponds to 10 micrometers.
  • the scale 403 can be moved by operating a mouse or the like.
  • the enlargement button 405 is pressed to enlarge the image (FIG. 13C). Then, by pressing the reduction button 406, the original state shown in FIG.
  • a previous page button 407 and a next page button 408 for turning a page are arranged.
  • the cut image is returned.
  • Result correction processing unit 282 ... Operation control unit, 283 ... Calculation processing unit, 284 ... Analysis result Memory, 291 Whole image memory, 292... Cropping memory, 301... Setting area, 401... Review screen, 402... Image switching button, 403. 405 ... enlarge button, 406 ... reduce button, 407 ... previous page button, 408 ... next page button, 409 ... whole area image

Abstract

装置構成を大きく変えることなく、切り取られた粒子成分でレビューの効率を上げつつ、試料全体を観察可能な粒子画像解析方法を実現する。 撮影領域全体の画像レビューの前に切取り画像をレビューし、成分ごとに、まとめられた画像をオペレータが見て、識別が誤っていると判別した粒子を正しい成分の項目へ操作部を用いて修正する（Ｓｔｅｐ１０１）。次に、撮影領域全体の画像を表示し、追加する成分（見落とされた成分）が出現していた場合、その成分を特定しその個数を登録する（Ｓｔｅｐ１０２、１０３）。登録すると、該当検体の濃度を演算処理部２８３により再計算される（Ｓｔｅｐ１０４）。最後に、操作部（６０）を介してコメント欄にコメントを入力する（Ｓｔｅｐ１０５）。

Description

粒子画像解析方法および装置
　本発明は、液体中に懸濁した粒子画像を撮影し、得られた画像から粒子を解析する粒子画像解析方法及び画像解析装置に関する。
　血液、尿、体液や組織液に存在する細胞を分類、分析する際に、検査の高精度化と省力化を図るため、洗浄剤であるシース液を外層とし、試料液を極めて偏平な流れにするフローセルを用いるフロー式粒子画像解析装置がある（例えば、特許文献１）。
　このフロー方式粒子画像解析装置においては、フローセル中を移動する試料を例えばビデオカメラで撮影し、この撮像した静止画像を画像処理することにより、試料中の粒子を分類・計数する。
　また、フロー方式画像解析装置において、撮影した粒子画像を粒子サイズ等により区分けして画面上に表示して、オペレータが粒子を分類していく方法が特許文献２に記載されている。
　さらに、オペレータが粒子を分類するときに、予め指定した成分の種類のみをレビューする機能を搭載し、レビュー時間の短縮を図る方法が特許文献３に記載されている。
特開平４－７２５４４号公報 特開昭６０－３８６５３号公報 特開平８－２１０９６１号公報
　上記特許文献２に記載されたフロー方式粒子画像解析装置においては、成分の種類ごとにまとめて画像を表示し、レビュー操作の効率化を図っているが、肝心の粒子画像解析の検出限界は変わらず、画像による粒子解析装置では１～２マイクロメータ程度の小さい成分は、ごみとの判別など分類精度上の問題から棄却をしている。例えば、尿検査の場合、細菌の中でも小さな球菌は画像の大きさでは判断できないため、棄却せざるを得ない。また、無晶性の塩類も出現していると、背景全体に広がることが多い。しかし、切り取り画像では断片的な情報となり、全体を見渡せない。小さい成分が取れないことで、自動分類が誤った測定結果につながる可能性がある。
　さらに、特徴パラメータから判断して生体成分とは異なる人工物（アーチファクト）と判断される粒子がある。これらの成分は画像として残らず、極めて稀な生体成分が捨てられている可能性も否定できない。
　粒子撮影においても、小さい粒子成分を撮影対象粒子として設定することは、ごみ等の不要な成分画像を無駄に撮影することにつながり、検出や分類精度の低下につながる。従って、画像撮影用の検出レベルを、ごみとの区別可能な３μｍ以上とすることが妥当であるが、前述のとおり、３μｍ未満の粒子は撮影対象から外れることになり、細菌等の画像の小さい粒子を撮影できない課題が残ることになる。
　日常検査において、検査技師は試料の全体像を把握するために、低倍率でスライド標本全体を見ることにより、塩類や細菌類やその他の情報を経験値と照らし合わせて、異常を察知できるように訓練されているが、成分部分の切り取り画像のみでは精度上、異常察知に限界がある。
　例えば、画像解析装置では、光学的に倍率を上げるなどして小さい成分まで分類することはできるが、大きな成分（５０マイクロメータ以上）を同時には測定できなくなることから、倍率を変える測定モードを追加しなければならない。その場合、時間やコストがかかり、迅速性が要求される臨床検査のルーチン検査装置として成り立たなくなる。特に、試料を尿としている装置の場合、多種多様な成分が混在するため、倍率を上げることは困難である。
　また、尿沈渣検査は形態学的検査のため、臨床的な見地からも１００％の検体を装置側で処理することが難しく、１次スクリーニングとして自動分類し、画像レビューによる２次スクリーニングで詳細分類を行っている。画像レビューにも限界があり、最終的に顕微鏡検査に回る検体はなくならない。解析装置を導入しても顕微鏡検査に回す検体が多ければ、顕微鏡検査の経費や人件費が二重にかかることになるため、顕微鏡検査に回す検体は少ないことが強く望まれている。
　画像で判断する尿検査装置では、一般的に約３０％は顕微鏡検査に回っているのが現状である。顕微鏡検査をしなくてはならない検体は、最初に戻って遠心操作し、標本作製を行ったのち、顕微鏡での検査の工程を踏まなくてはならない。
　本発明の目的は、装置構成を大きく変えることなく、切り取られた粒子成分でレビューの効率を上げつつ、画像撮影対象以下の小さな成分を全体画像で観察可能な粒子画像解析方法及び画像解析装置を実現することである。
　上記目的を達成するため、本発明は、次のように構成される。
　粒子画像解析方法において、試料を撮影し、撮影した試料の全体画像を全体画像メモリに格納し、撮影した試料の全体画像から試料中の粒子成分及び個数を抽出し、抽出した粒子成分を、特徴パラメータに基づいて解析し、成分種類毎に分類すると共にその成分の濃度を演算し、演算した濃度と共に分類した成分を切り取りメモリに格納し、上記全体画像メモリに格納した全体画像を表示手段に表示し、操作手段から入力された追加又は変更粒子成分情報に基づいて、上記切り取りメモリに格納された成分の修正、濃度修正演算を行う。
　また、粒子画像解析装置において、試料を撮影する撮影手段と、撮影手段が撮影した試料の全体画像を格納する全体画像メモリと、撮影した試料の全体画像から試料中の粒子成分の個数を抽出する粒子分析部と、撮影した試料の全体画像から試料中の粒子成分を抽出する特徴抽出部と、特徴抽出部が抽出した粒子成分を、特徴パラメータに基づいて解析し、成分種類毎に分類するとともに、その成分の濃度を演算する演算処理部と、分類した粒子成分とその濃度を格納する切り取りメモリと、上記全体画像メモリに格納した全体画像を表示する表示手段と、追加又は変更粒子成分情報が入力される操作入力手段と、上記操作入力手段から入力された追加又は変更粒子成分情報に基づいて、上記切り取りメモリに格納された成分の修正、濃度修正演算を行う結果修正処理部とを備える。撮影領域の上流部に通過する粒子を検出する手段とその検出信号を元に粒子画像撮影実施の要否を決める手段を持ち、粒子を検出する条件を複数設定し、そのうちの１つの段階を画像撮影用とする。粒子が通過する都度、その複数の段階における検出個数を試料測定中にカウントする。それぞれのカウント数やその差分または比率を算出することにより、全体画像撮影の要否や撮影枚数、および全体画像表示の要否や表示枚数を判断する論理を備える。
　装置構成を大きく変えることなく、切り取られた粒子成分でレビューの効率を上げつつ、画像撮影対象以下の小さな成分を試料全体画像で観察可能な粒子画像解析方法及び画像解析装置を実現することができる。
本発明の第１の実施例であるフロー方式粒子画像解析装置の全体概略構成図である。 フロー方式粒子画像解析装置におけるフローセルを中心とした構成部分の説明図である。 レビュー用画像メモリと、中央制御部との内部機能の説明図である。 粒子解析の全体処理フローチャートである。 撮影された画像をレビュー用の切取り画像として取得する処理の説明図である。 撮影領域全体の画像から同一試料の測定結果を修正する画像レビュー方法であり、追加の成分があった場合の処理フローチャートである。 撮影領域全体の画像から同一試料の測定結果を修正する画像レビュー方法であり、試料全体に成分が分布し成分の測定結果を置き換える場合の処理フローチャートである。 画像レビューの結果、成分濃度を置き換えする時の操作画面の説明図である。 粒子信号検出例を示す図である。 細菌が確認された検体において、検出レベル１から検出レベル２の粒子カウントを差し引いたグラフを示す図である。 各検出レベルでの粒子カウント数から全体画像取得の要否を決定するフローを説明する図である。 全体画像の保存枚数を設定する操作画面の例を示す図である。 撮影領域全体画像と切取り画像の表示切換え画面の例を示す図である。
　以下、本発明の実施形態について添付図面を参照して説明する。
　図１は本発明の第１の実施例であるフロー方式粒子画像解析装置の全体概略構成図で
ある。図１において、フロー式粒子画像解析装置は、フローセル１００と、画像撮影部１０１と、粒子分析部１０２と、粒子検出部１０３と、フロー系制御部１２４とを備える。
　画像撮影部１０１は、フラッシュランプ駆動回路６と、フラッシュランプ１と、フィールドレンズ２と、視野絞り１１と、開口絞り１２と、顕微鏡コンデンサレンズ３と、顕微鏡対物レンズ５（粒子検出部１０３と共用）と、ＴＶカメラ８とを有する。また、粒子分析部１０２は、画像メモリ２４と、画像処理制御回路２５と、特徴抽出回路２６と、識別回路２７と、粒子数分析部４０と、中央制御部２８、およびレビュー用粒子画像メモリ２９と、表示部５０と、操作部６０とを有する。また、中央制御部２８は、ホストコンピュータ９０を介して定性分析装置９１に接続されている。これは、定性分析装置９１による分析結果をホストコンピュータ９０を介して中央制御部２８に取り込み、撮影された画像データから定性項目を判断するために使用される構成となっている。
　また、粒子検出部１０３は、半導体レーザー源１５と、コリメータレンズ１６と、シリンドリカルレンズ１７と、反射鏡１８と、微小反射鏡１９と、顕微鏡対物レンズ５と、ビームスプリッタ２０と、絞り２１と、光検出回路２２と、フラッシュランプ点灯制御回路２３とを有する。
　半導体レーザー源１５からのレーザー光は、コリメータレンズ１６により平行なレーザー光束１４となり、反射鏡１８を介して、顕微鏡レンズ３とフローセル１００との間に配置された微小反射鏡１９によりフローセル１００中の粒子検出領域７０（図２に示す）を照射する。
　図２はフローセル１００を中心とした構成部分の説明図である。図２を用いて装置のフロー制御について説明する。図２において、サンプリングノズル１０９で試料１１０ａを吸引し、予め染色液１１１の吐出された染色槽１１２に試料１１０ａを吐出する。次に、一定時間が経過したら、ダイレクトサンプリング機構１０８のダイレクトサンプリングノズル１０７で染色槽１１２の染色試料１１０ｂを吸引し、フローセル１００に注入する。そのとき、シース液容器１０４内のシース液１０５をシリンジ機構１０６で染色試料１１０ｂを挟み込みながらフローセル１００に注入する。そのため、フローセル１００のシース液の入り口は二つに分かれている。
　また、フローセル１００においては、染色試料１１０ｂとシース液１０５との流量比に応じて測定流路の染色試料の厚さが調整される。例えば染色試料１１０ｂの流量が一定の場合に、シース液１０５の流量が少なくなると、幅は一定のままで超偏平試料流の厚さが増加し、シース液１０５の流量が多くなると、幅は一定のままで同じであれば、超偏平試料流の厚さが減少する。
　尿中有形成分を対象とする場合、成分の大きさは数マイクロメータ～２００マイクロメータのため、フローセル１００の幅は２００～３５０マイクロメータを必要とする。厚さ寸法は数マイクロメータ～数１０マイクロメータ程度の偏平試料流となる。粒子撮影領域７０は一辺が試料の流れの幅とほぼ同じ長さを有する四角形状である。得られる撮影画像８０は幅と長さが２５０～３００マイクロメータ程度の大きさとなる。
　図１において、粒子検出部１０３は、粒子通過の有無や撮影実施要否を検出や複数のレベルにおける粒子数を計測する分析部を備える。測定対象である試料１１０内の粒子がレーザ光束をよぎると、レーザ光は光散乱され、この散乱光は粒子像撮影につかう顕微鏡対物レンズ５で集められ、ハーフミラー２０で反射させ絞り２１を通過後に光検出器２２及び光検出回路３１よって電気信号に変換される。電気信号に変換された粒子信号はそれぞれ異なる検出レベル以上に達した場合にデジタル出力するレベル検出回路３２、３３、３４、３５及び時間幅計測部３６によって粒子検出信号の時間幅を計測する。レーザ光源１５は常時点灯しており、常にサンプル中の粒子が検出領域を通過するのを観察している。光検出回路２２からの検出信号が、予め定めたレベル以上で、かつパルス幅が予め定めた幅以上となったときに当該粒子を撮影対象粒子と判断し、粒子数分析部４０で粒子数をカウントするとともに、中央制御部２８によりタイミング制御されフラッシュランプ点灯制御回路２３とフラッシュランプ駆動回路６により粒子の画像が画像取り込み視野の定められた位置に止まるようなタイミングでフラッシュランプ１を発光させ、フローセル１００内の粒子を検出し、画像撮影部１０１で画像８０を取得する。
　また、この粒子判断論理は複数用意されており、上記レベル検出回路３２～３５は異なる検出レベルを設定し、それぞれに定めたレベル以上で、かつパルス幅が予め定めた幅以上となったときに当該粒子の数を粒子数分析部４０でカウントする。
　粒子分析部１０２においては、ＴＶカメラ８から出力される画像データ信号を画像処理回路２５の制御のもとに画像メモリ２４の所定のアドレスに記憶させる。画像メモリ２４に記憶されたデータは画像処理制御回路２５の制御のもとに読み出され、特徴抽出回路２６を介して識別回路２７に入力されて画像処理が行われ、中央制御部２８にその結果が供給される。供給されるのは粒子分類結果と粒子分類に使われた粒子識別特徴パラメータデータである。
　粒子の分類識別論理は、通常行われているパターン認識処理により自動的に行われる。この画像処理結果と測定条件及び画像処理された画像情報が中央制御部２８から粒子分析部４０に送られる。粒子分析部４０では中央制御部２８、光検出回路２２からの粒子検出信号、および画像処理制御回路２５からの制御信号をもとに、検出粒子と粒子分類結果との対応関係を調べ、最終的な粒子画像の分類識別結果のまとめを行う。その結果は中央制御部２８に返され、必要に応じて表示部５０に出力表示される。
　一方、粒子画像をレビューする場合は、まず、操作部６０からオペレータがレビューしたい粒子の種類を選択し、中央制御部２８を経て識別回路２７に伝えられ、識別回路２７で分類識別した結果と設定したレビュー粒子名称と一致した場合だけ、相当する粒子画像が画像メモリ２４よりレビュー用画像メモリ２９に送られ、順次蓄積されていく。
　レビュー用画像メモリ２９は粒子画像に関してはレビューすべき粒子像専用のもので、これに蓄積された粒子画像は、試料の測定終了後、レビュー用画像メモリ２９から中央制御部２８を経て同一粒子種類ごとに表示部５０の表示画面に表示され、オペレータによるレビュー用に供せられる。
　これらの測定結果をもとにして、サンプル中の粒子濃度計算、視野換算粒子数計算を行い、分析結果を中央制御部２８に返す。
　図３は、レビュー用画像メモリ２９と、中央制御部２８との内部機能の説明図である。
　図３において、レビュー用画像メモリ２９は、全体画像メモリ２９１と切り取り画像メモリ２９２とを備えている。また、中央制御部２８は、操作部６０からの操作指令に従って全体画像メモリ２９１、切り取り画像メモリ２９２からの画像を取り込んで修正処理する結果画像修正処理部２８１と、結果修正処理部２８１からの指令に従って演算処理する演算処理部２８３と、演算処理部２８３により処理された結果（分析結果）を格納する分析結果メモリ２８４と、表示部５０やその他の部の動作を制御する動作制御部２８２とを備えている。測定終了後、測定結果はホストコンピュータ９０へと送られる。また、試験紙法を用いた尿定性分析装置９１の同一検体結果を測定前にホストコンピュータ９０から受信する手段を備えている。
　次に、本発明の第１の実施形態における粒子解析の全体処理フローについて図４を用いて説明する。図４において、まず、染色試料１１０ｂのフローセル１００への注入を開始する。粒子が粒子検出部１０３で検出されると、ＴＶカメラ８で撮影する（Ｓｔｅｐ１、Ｓｔｅｐ２）。その後、画像処理制御回路２５は、撮影された画像８０を背景と成分に分離、つまり、二値化する（Ｓｔｅｐ３）。次に、分離された成分一つ一つに番号を付けて区分けする、つまりラベリングを行う（Ｓｔｅｐ４）。
　その後、成分ごとに大きさや色情報、円形度などの特徴パラメータを算出する（Ｓｔｅｐ５）。そのとき、小さな成分（３マイクロメータ未満）は棄却される。残った画像は特徴パラメータから成分をニューラルネットワークで識別する（Ｓｔｅｐ６）。識別された画像は成分エリアのみに切り取られ、レビュー用の画像として成分ごとにまとめられ、レビュー用画像メモリ２９の切り取りメモリ２９２に格納される（Ｓｔｅｐ７）。測定の最後に、撮影領域全体の画像を設定任意枚数取得し、レビュー用画像メモリ２９の全体画像メモリ２９１に格納する（Ｓｔｅｐ８）。
　以上が画像処理からレビュー用画像メモリ２９への格納までの処理フローである。
　次に、図５を参照して、撮影された画像をレビュー用の切取り画像として取得する処理フローについて説明する。撮影順に撮影領域全体の画像中の成分一つ一つに番号を付与する（図５の（Ａ））。図４のフローにおけるラベリングＳｔｅｐ４に相当する。
　小さい成分である粒子成分Ｂ、Ｃ、Ｄ、Ｅ、Ｇ、Ｉ、Ｊ、Ｈはサイズ棄却され、粒子成分Ａ、Ｆ、Ｋ、Ｌ、Ｍ、Ｎが切取り画像として切り取りメモリ２９２に格納される。その画像はレビュー用画像となる。これは、図４のＳｔｅｐ７に相当する。それを成分の種類（赤血球、白血球、扁平上皮等）ごとに並べ替えを行い、成分ごとにウィンドウ表示する（図５の（Ｂ）、（Ｃ））。
　次に、本発明の撮影領域全体の画像から同一試料の測定結果を修正する画像レビュー方法について、図６、図７を使って説明する。本発明の第１の実施例では、切取り画像のみでなく、設定に応じて撮影領域全体の画像を測定中に格納する処理が追加されている。
　図６は追加の成分があった場合の処理フローチャート、図７は試料全体に成分が分布していて、成分の測定結果を置き換える場合の処理フローチャートを示す。撮影領域全体画像は保存用に測定中に取れば良いため、分類のための画像と分けても良いし、分類に使用した画像を表示用としても良い。
　図６において、まず、撮影領域全体の画像レビューの前に切取り画像をレビューする（Ｓｔｅｐ１０１）。これは、オペレータによる操作部６０からの指示に従って、結果修正処理部２８１が切り取りメモリ２９２から画像を読み出し、表示部５０に表示する。成分ごとにまとめられた画像をオペレータが見て、識別が誤っていると判別した粒子を正しい成分の項目へ操作部６０を用いて修正する。測定した体積と個数の関係から画像１枚１枚に濃度情報があり、移動させると、その濃度情報も移動する。例えば、測定容量が５マイクロリットルで赤血球の出現個数が１０個あった場合、補正係数等抜きに単純に計算すると、赤血球濃度は１０個／５マイクロリットル＝２個／マイクロリットルとなる。１０個出現しているため、１枚当たり０．２／マイクロリットルとなる。この濃度情報が赤血球
１個の濃度となる。
　装置が赤血球と識別した１０個のうち、１個を白血球にオペレータが修正すると、白血球の濃度が０．２個／マイクロリットル増える。このように、切取り画像ごとに持っている濃度情報の移動で修正が行なわれる。つまり、赤血球１個を白血球に修正したとき、レビュー前は、赤血球が２．０個／マイクロリットル、白血球が１．０個／マイクロリットルであったものが、レビュー後、赤血球が１．８個／マイクロリットル、白血球が１．２個／マイクロリットルとなる。
　次に、撮影領域全体の画像を表示する（Ｓｔｅｐ１０２）。これは、全体画像メモリ２９１から結果修正処理部２８１が読み出し、表示部５０に表示する。オペレータは、表示された全体画像を観察し、追加する成分（見落とされた成分）が出現していた場合、その成分を特定し、その個数を登録する（Ｓｔｅｐ１０３）。登録すると、該当検体の濃度を演算処理部２８３により再計算される（Ｓｔｅｐ１０４）。
　例えば、尿細管上皮細胞が１個判別して追加したい場合、全体では測定容量が５マイクロリットルであるため、切取り画像にその成分がなければ、レビュー前は０．０個／マイクロリットルであり、修正後は１個／５マイクロリットル＝０．２個／マイクロリットルが新たに結果に追加されることになる。分類がされている成分かどうかは画面表示で区別されている必要がある。
　つまり、尿細管上皮細胞１個を追加するときの結果修正は、レビュー前において、尿細管上皮細胞、０．０個／マイクロリットル、レビュー後、０．２個／マイクロリットルとなる。
　最後に、撮影領域全体の画像のレビュー時に濃度情報以外に試料に関する情報を臨床側へ伝えたい場合、操作部６０を介してコメント欄にコメント（例えば、考えられる細菌名称）を入力する（Ｓｔｅｐ１０５）。
　試料全体に成分が分布している場合について、図７の処理フローチャートを用いて説明する。なお、切取り画像の修正（Ｓｔｅｐ２０１）、コメント入力（Ｓｔｅｐ２０５）は、図６のＳｔｅｐ１０１、１０５と同様である。
　ここで、成分が試料全体に分布している場合とは、切取り画像では棄却されるサイズの細菌や無晶性塩類が撮影領域全体の画像で観察できた場合を意味する。つまり、図５に示した例において、棄却された小さい成分（成分Ｂ、Ｃ、Ｄ、Ｅ、Ｇ、Ｈ、Ｉ、Ｊ）が撮影領域全体画像では観察することができる場合である。
　図７のＳｔｅｐ２０１で切取り画像での修正後、領域全体画像を表示する（Ｓｔｅｐ２０２）。例えば、画像全体に細菌が観察でき、それが試料全体に分布している場合、成分の濃度を置き変える処理を行う。予め撮影領域全体の画像８０（図８に示す）は撮影領域の面積、試料の厚み情報が組み込まれている。操作部６０のマウスやタッチペン等で、結果修正処理部２８１を介して表示部５０に領域を設定する。図８に示す設定された領域３０１を画面上で判別し、領域中の成分の特定と個数情報を操作画面からオペレータが入力する（Ｓｔｅｐ２０３）。中央制御部２８の結果修正処理部２８１、演算処理部２８３で測定結果を計算し、該当成分の結果を置き換え分析結果メモリ２８４に格納する（Ｓｔｅｐ２０４）。
　図８は成分濃度を置き換えする時の操作画面の説明図である。図８において、撮影領域全体の画像８０上で領域３０１を、オペレータがマウスをドラッグして決める。フローセル１００内での染色試料１１０ｂの厚みとエリアの面積から、選択した領域３０１の体積Ｖが演算処理部２８３により算出される。図８に示した操作画面上の「ＩＤ？」の欄に成分のＩＤをプルダウンメニューから選択する。
　また、図８に示した操作画面上の「個数？」の欄に個数を入力して登録ボタンを押すと、演算処理部２８３は、濃度を計算し、測定結果の置き換えを実施する。例えば、設定領域内に細菌が３個（Ｈ、Ｉ、Ｊ）あって、設定領域の体積が０．１マイクロリットルとして計算すると、３．００／０．１マイクロリットル＝３０個／マイクロリットルとなる。
領域設定が全画面を指定する手段も設け、複数枚を設定できれば、より検出感度が上げられることになる。
　つまり、細菌の濃度を置き換えするときの結果修正として、レビュー前は細菌　　０．０個／マイクロリットルであり、レビュー後は細菌３０．０個／マイクロリットルとなる。
　以上のように本発明の第１の実施例によれば、成分の種類毎に切り取られた画像とは別個に撮影領域全体の画像を保存し、その撮影領域全体を読み出し、オペレータが読み出した撮影領域全体を確認して、追加成分の確認を行うことができる。
　これにより、装置構成を大きく変えることなく、切り取られた粒子成分でレビューの効率を上げつつ、試料全体を観察可能な粒子画像解析方法及び画像解析装置を実現することができる。
　次に、本発明の第２の実施例について説明する。
　前述したとおり、フロー方式粒子画像解析装置には粒子検出部１０３が備えられており、サンプル内の粒子がフローセル１００を通るときに検出レベルを検知して一定レベル以上の場合にフラッシュランプ１を点灯して画像を撮影する。
　サンプルが尿の場合は、粒子成分が少ないと正常と言える。しかし、成分の検出個数が多い程、小さい成分が多い可能性が高くなる。全ての検体で撮影領域全体の画像を取得して確認する必要はなく、全体画像を毎検体撮るのでは、必要なメモリ容量も大となり、格納した全体画像全てをレビューするのでは長時間が必要となり、検査の効率が上がらない。
そこで、本発明の第２の実施例においては、レベルごとの粒子検出カウント数、検出時間幅を基準として閾値を設け、測定中、閾値を超えた検体のみ、全体画像を設定枚数だけ取得するようにする。さらに、複数ある検出レベルでの粒子カウント数やその比率を用いて、全体画像取得の要否や表示の有無を決定する手段を備えた。
　また、尿中有形成分は多種多様で、検出信号のレベルと幅も多様である。どこまで微小な粒子を撮影するかどうかが問題である。検出信号上でごみやノイズと区別する必要があるが、ごみやノイズと同レベルの微小な成分が出現する。とりわけ、尿中の球菌はごみやノイズと区別するこが難しい。区別できないので、微小な成分も撮影対象とすると、画像数が増えすぎて分類精度が落ちるとともに、効率化にならない。現状の装置においては、約３μｍ以上の成分を対象とするため、球菌が出現しているのにもかかわらず、見逃している場合がある。
図９に尿中有形成分における粒子検出信号の例を示す。横軸が検出している時間幅（μｓ）、縦軸が検出電圧（Ｖ）である。大きな粒子は通過するのに時間がかかるため、時間幅が長くなる。粒子内の密度等が大きい場合に検出電圧が高くなる傾向がある。直径が１－２μｍの球菌はレベルと幅が小さい。赤血球は直径６－８μｍで電圧のレベルが球菌に比べ大きい。幅が５０～１００μｍの硝子円柱が内容物の密度が低いため、検出のレベルが比較的低いが、検出時間幅が長いのが特徴である。赤血球は画像での分類が可能であるため、撮像対象の閾値を検出レベル２以上で、かつ、時間幅の閾値を３０μｓ以上とした。検出レベルのみを変更することで、撮影対象のレベル設定が変更できる。
図１０に細菌は、尿試料で細菌が確認された検体において、検出レベル１から検出レベル２の粒子カウント数を差し引いた値を示す。細菌濃度が高くなるに従って、差分が大きくなる。この差が細菌であると考えられる。差分あるいは比率に閾値を設定することによって、細菌出現の可能性のある検体の全体画像を残すことができる。このように、撮影する検出レベルは１条件であるが、各検出レベルでの粒子数をカウントすることで、微小粒子の有無を想定できる。
　また、各レベルの検出カウント数の関係からから全体画像取得の要否を決定ができる。図１１に各検出レベルでの粒子カウント数から全体画像取得の要否を決定するフローを説明する。測定を開始し、フローセルＸ中を粒子成分の通過時、粒子画像信号を検出する（Ｓｔｅｐ３０１）。複数段階ある検出レベル（閾値）以上）のそれぞれの粒子数をカウントする（Ｓｔｅｐ３０２）。複数段階あるうちの１つの撮影対象検出レベルを超えた粒子については、フラッシュランプを点灯し、画像を取得する（Ｓｔｅｐ３０３）。撮影対象検出レベル以下の粒子は撮影しない。画像取得した粒子画像は成分のみを切り取り、分類処理される（Ｓｔｅｐ３０５）。測定終了時間になった時点（Ｓｔｅｐ３０６）で、Ｓｔｅｐ３０２の粒子カウント数を集計し、レベル１とレベル２の比率あるいは、レベル３とレベル１の比率を算出する（Ｓｔｅｐ３０７）。比率とカウント数の関係から全体画像撮影の要否を判断する（Ｓｔｅｐ３０８）。全体画像撮影が必要と判断された検体はフラッシュランプを点灯し、全体画像を取得する（Ｓｔｅｐ３０９）。その後、画像を保存するとともにデータフラグを出力させる（Ｓｔｅｐ３１０，３１１）。全体画像取得が否の検体は画像を取得せず、測定終了となる。
また、粒子検出カウント数の設定で全体画像取得の有無を設定することもできる。例えば、図１２に示すように、検出レベル１から検出レベル２を差し引いた粒子カウント数５００個で、全体画像の保存枚数は３枚などと操作画面から登録できるようにする。検出カウント数と撮影枚数はどちらか一方の設定で全体画像の保存枚数を設定することができる。
　その他の構成は、第１の実施例と同様であるので、図示及び説明は省略する。
　この第２の実施例においても、第１の実施例と同様な効果を得ることができる他、全体画像の格納に必要なメモリ容量を削減可能とすると共に、全体画像のレビュー時間を短縮化することができる。
　尿検査の場合は、粒子の検出カウント数だけでなく、同一試料で試験紙法による尿化学成分分析も行なわれる。これらの結果は尿沈渣成分分析とも深く関連がある。例えば、細菌の項目は試験紙法では亜硝酸塩の検出で分析しており、尿沈渣検査は形態学的な測定原理で測定している。
　試験紙法では小さい細菌を棄却することもないので、細菌があれば陽性となる。
　従って、陽性となった項目で全体画像取得の有無を決めることで、細菌等の測定精度を上げることができる。
　つまり、同一試料で試験紙法による尿化学分析をも行った場合、陽性となった項目に従って、全体画像を取得し格納するか否かを判断の基準とすることができる。図１２に示した操作画面において、定性項目毎に全体画像の保存枚数を設定することができる。
　その他の構成は、第１、第２の実施例と同様であるので、図示および説明は省略する。
　図１３を用いて第４の実施例を説明する。画像表示において、撮影領域全体の画像と切取り画像とは画像そのものの大きさに差があり、表示画面に同時に表示をすると、撮影領域全体の画像は縮小する場合がある。撮影領域全体を縮小すると、オペレータは大きさの感覚がつかめなくなる。このため、どの画面上にも大きさが判別できる寸法目盛４０３を表示しておく。
　図１３は、切取り画像と撮影領域全体の画像との切替えと、拡大／縮小機能の説明図である。まず、図１３の（Ａ）に示す画面を用いて切り取り画像の修正を行った後（図６のＳｔｅｐ１０１、図７のＳｔｅｐ２０１の動作）、切替えボタン４０２を押して撮影領域全体画像表示に切替える（図１３の（Ｂ））。
　切替え前も後も画面には常にサイズの目盛４０３を表示しておく。本発明の第４の実施例では目盛４０３の１目盛は１０マイクロメータに相当している。目盛４０３はマウス等の操作で移動できる。図１３の（Ｂ）に示した領域全体画像４０９では小さく判別できない成分等や成分内の構造を詳細に観察するため、拡大ボタン４０５を押して画像を拡大させる（図１３の（Ｃ））。そして、縮小ボタン４０６を押すことで図１０の（Ｂ）に示す元の状態へ戻すことができる。
　また、領域全体画像４０９が複数枚の場合、ページをめくる前ページボタン４０７と次ページボタン４０８を配置する。切り取画像表示に戻す場合は切り替えボタン４０２を押すと、切り取り画像へ戻る。
　これらの操作により、領域全体画像、切り取り画像への行き来がスムーズに行え、領域全体画像、切り取り画像が等倍でなくても、目盛４０３の大きさが追従し、画面表示の制約を受けずに画像の観察がスムーズに行えるようになる。
　その他の構成は、第１、第２の実施例と同様であるので、図示および説明は省略する。
　１・・・フラッシュランプ、２・・・フィールドレンズ、３・・・顕微鏡レンズ、５・・・対物レンズ、６・・・フラッシュランプ駆動回路、８・・・ＴＶカメラ、９・・・光束、１１・・・視野絞り、１２・・・開口絞り、１５・・・半導体レーザー源、１６・・・コリメータレンズ、１７・・・シリンドリカルレンズ、１８・・・反射鏡、１９・・・微小反射鏡、２０・・・ハーフミラー、２１・・・絞り、２２・・・光検出回路、２３・・・フラッシュランプ点灯制御回路、２４・・・画像メモリ、２５・・・画像処理制御回路、２６・・・特徴抽出部、２７・・・識別部、２８・・・中央制御部、２９・・・レビュー用画像メモリ、３０・・・参照画像メモリ、３１・・・光検出回路、３２～３５・・・レベル検出回路、３６・・・時間幅計測部、４０・・・粒子分析部、５０・・・表示部、６０・・・操作部、７０・・・撮影領域、８０・・・撮影領域の全体画像、９０・・・ホストコンピュータ、９１・・・尿定性分析装置、１００・・・フローセル、１０１・・・画像撮影部、１０２・・・粒子分析部、１０３・・・粒子検出部、１０４・・・シース液容器、１０５・・・シース液、１０６・・・シリンジ機構、１０７・・・ノズル、１０８・・・ダイレクトサンプリング機構、１０９・・・サンプリングノズル、１１０ａ・・・試料、１１０ｂ・・・染色試料、１１１・・・染色液、１１２・・・染色槽、１２４・・・フロー系制御部、２８１・・・結果修正処理部、２８２・・・動作制御部、２８３・・・演算処理部、２８４・・・分析結果メモリ、２９１・・・全体画像メモリ、２９２・・・切り取りメモリ、３０１・・・設定領域、４０１・・・レビュー画面、４０２・・・画像切換えボタン、４０３・・・寸法目盛、４０４・・・項目毎の画像ウィンドウ、４０５・・・拡大ボタン、４０６・・・縮小ボタン、４０７・・・前ページボタン、４０８・・・次ページボタン、４０９・・・領域全体画像

Claims (14)

  1. 　粒子画像解析方法において、
    　フローセル（１００）中を流れる粒子を検出し、
    　その検出信号を元に画像の取得要否を判断して対象粒子を撮影し、
    　撮影した試料の全体画像を全体画像メモリ（２９１）に格納し、
    　撮影した試料の全体画像から試料中の粒子成分及び個数を抽出し、
    　抽出した粒子成分を、特徴パラメータに基づいて解析し、成分種類毎に分類すると共にその成分の濃度を演算し、演算した濃度と共に分類した成分を切り取りメモリ（２９２）に格納し、
    　上記全体画像メモリ（２９１）に格納した全体画像を表示手段（５０）に表示し、
    　操作手段（６０）から入力された追加又は変更粒子成分情報に基づいて、上記切り取りメモリ（２９２）に格納された成分の修正、濃度修正演算を行うことを特徴とする粒子画像解析方法。
  2. 　請求項１記載の粒子画像解析方法において、画像撮影用トリガの粒子検出条件とは異なる粒子検出条件を複数設定し、それぞれの条件で粒子検出個数をカウントし、前記各検出条件の検出個数または、各検出条件における検出個数の差分または、比率に基づき、全体画像の撮影実施の要否や撮影枚数、または、全体画像メモリ（２９１）への格納や表示の要否を設定することを特徴とする粒子画像解析方法。
  3. 　請求項１記載の粒子画像解析方法において、上記表示された全体画像内の領域を特定し、その特定した領域における粒子成分及び粒子個数情報から単位体積当たりの個数濃度を修正演算し、上記切り取りメモリ（２９２）に格納することを特徴とする粒子画像解析方法。
  4. 　請求項１記載の粒子画像解析方法において、上記操作手段（５０）から入力されたコメント情報を上記切り取りメモリ（５０）に格納することを特徴とする粒子画像解析方法。
  5. 　請求項１記載の粒子画像解析方法において、上記試料は、生物の尿試料であり、この尿試料に対して、試験紙法により分析を行い、分析結果に従って、全体画像の撮影実施の有無や撮影枚数、または、全体画像メモリ（２９１）への格納や表示の有無を設定することを特徴とする粒子画像解析方法。
  6. 　請求項１記載の粒子画像解析方法において、上記表示手段（５０）に、撮影領域全体の画像と切り取り画像とを切換えて表示し、表示した画像を拡大および縮小して表示し、表示した画像に表示された粒子の大きさが判別できる寸法目盛を撮影領域全体の画像と切り取り画像中に表示することを特徴とする粒子画像解析方法。
  7. 　請求項２記載の粒子画像解析方法において、各検出条件の検出個数または、各検出条件における検出個数の差分または比率に基づき、分類対象として切出し表示されない小粒子成分の存在を示すフラグを出力することを特徴とする粒子画像解析方法。
  8. 　粒子画像解析装置において、
    　フローセル（１００）中を流れる粒子を検出し、
    その検出信号を元に画像の取得要否を判断して対象粒子を撮影する手段（８）と、
    　撮影手段（８）が撮影した試料の全体画像を格納する全体画像メモリ（２９１）と、
    　撮影した試料の全体画像から試料中の粒子成分の個数を抽出する粒子分析部（４０）と、
    　撮影した試料の全体画像から試料中の粒子成分を抽出する特徴抽出部（２６）と、
    　特徴抽出部（２６）が抽出した粒子成分を、特徴パラメータに基づいて解析し、成分種類毎に分類するとともに、その成分の濃度を演算する演算処理部（２８３）と、
    　分類した粒子成分とその濃度を格納する切り取りメモリ（２９２）と、
    　上記全体画像メモリ（２９１）に格納した全体画像を表示する表示手段（５０）と、
    　追加又は変更粒子成分情報が入力される操作入力手段（６０）と、
    　上記操作入力手段（６０）から入力された追加又は変更粒子成分情報に基づいて、上記切り取りメモリ（２９２）に格納された成分の修正、濃度修正演算を行う結果修正処理部（２８１）と、
    　を備えることを特徴とする粒子画像解析装置。
  9. 　請求項８記載の粒子画像解析装置において、画像撮影用トリガの粒子検出条件とは異なる粒子検出条件を複数設定し、それぞれの条件で粒子検出個数をカウントし、前記各検出条件の検出個数または、各検出レベルにおける検出個数の差分または比率に基づき、全体画像の撮影実施の要否や撮影枚数、または、全体画像メモリへの格納や表示の要否を設定することを特徴とする粒子画像解析装置。
  10. 　請求項８記載の粒子画像解析装置において、上記結果修正処理部（２８１）は、上記操作入力手段（６０）から特定された特定領域における粒子成分及び粒子個数情報から濃度を修正演算し、上記切り取りメモリ（２９２）に格納することを特徴とする粒子画像解析装置。
  11. 　請求項８記載の粒子画像解析装置において、上記結果修正処理部（２８１）は、上記操作入力手段（６０）から入力されたコメント情報を上記切り取りメモリ（２９２）に格納することを特徴とする粒子画像解析装置。
  12. 　請求項８記載の粒子画像解析装置において、上記結果修正処理部（２８１）は、上記操作入力手段（６０）から入力される、尿試料に対して行われる試験紙法の分析結果に従って、同一試料に対する上記全体画像の撮影実施の有無や撮影枚数、または、全体画像メモリ（２９１）への格納や表示の有無を設定することを特徴とする粒子画像解析装置。
  13. 　請求項９記載の粒子画像解析装置において、各検出条件の検出個数または、各検出条件における検出個数の差分または比率に基づき、分類対象として切出し表示されない小粒子成分の存在を示すフラグを出力することを特徴とする粒子画像解析装置。
  14. 　請求項８記載の粒子画像解析装置において、上記結果修正処理部（２８１）は、上記表示手段（５０）に、撮影領域全体の画像と切り取り画像とを切換えて表示し、表示した画像を拡大および縮小して表示し、表示した画像に表示された粒子の大きさが判別できる寸法目盛を撮影領域全体の画像と切り取り画像中に表示することを特徴とする粒子画像解析装置。
PCT/JP2009/058866 2008-06-04 2009-05-12 粒子画像解析方法および装置 WO2009147931A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09758198.7A EP2290350B1 (en) 2008-06-04 2009-05-12 Particle image analysis method and device
JP2010515820A JP5470625B2 (ja) 2008-06-04 2009-05-12 粒子画像解析方法および装置
CN2009801205241A CN102047095B (zh) 2008-06-04 2009-05-12 粒子图像解析方法及装置
US12/996,114 US8538119B2 (en) 2008-06-04 2009-05-12 Particle image analysis method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008146980 2008-06-04
JP2008-146980 2008-06-04

Publications (1)

Publication Number Publication Date
WO2009147931A1 true WO2009147931A1 (ja) 2009-12-10

Family

ID=41398008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058866 WO2009147931A1 (ja) 2008-06-04 2009-05-12 粒子画像解析方法および装置

Country Status (5)

Country Link
US (1) US8538119B2 (ja)
EP (1) EP2290350B1 (ja)
JP (1) JP5470625B2 (ja)
CN (1) CN102047095B (ja)
WO (1) WO2009147931A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104749352A (zh) * 2013-12-31 2015-07-01 西门子医疗保健诊断公司 尿液有形成分分析方法和装置
CN106290399A (zh) * 2010-10-01 2017-01-04 陶氏环球技术有限责任公司 分析基体孔径的系统和方法
JP2018100976A (ja) * 2015-03-31 2018-06-28 シスメックス株式会社 細胞撮像装置、管理装置および情報処理方法
US10180387B2 (en) 2014-07-29 2019-01-15 National University Corporation Hamamatsu University School Of Medicine Identification device and identification method
JP2020071037A (ja) * 2018-10-29 2020-05-07 アークレイ株式会社 情報処理装置、測定システム、及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586889B2 (ja) * 2009-07-29 2014-09-10 株式会社日立ハイテクノロジーズ 粒子画像解析装置
CN102636420B (zh) * 2012-04-27 2014-03-12 西安交通大学 一种大型喷雾场雾化液滴粒径测量装置
MY178565A (en) * 2013-03-13 2020-10-16 Medela Holding Ag System and method for managing a supply of breast milk
EP2972214B1 (en) * 2013-03-15 2018-10-31 Iris International, Inc. Sheath fluid systems and methods for particle analysis in blood samples
JP6791170B2 (ja) * 2015-12-28 2020-11-25 東洋紡株式会社 分析装置、分析方法、および、分析システム
CN117030711A (zh) * 2017-08-10 2023-11-10 爱科来株式会社 分析装置和分析方法
CN109596619B (zh) * 2017-10-02 2023-11-21 爱科来株式会社 尿中有形成分的分析装置
US11275037B2 (en) 2018-12-07 2022-03-15 General Electric Company Alloy powder cleanliness inspection using computed tomography
CN109919054B (zh) * 2019-02-25 2023-04-07 电子科技大学 一种基于机器视觉的试剂卡自动分类的检测方法
US11151356B2 (en) * 2019-02-27 2021-10-19 Fei Company Using convolution neural networks for on-the-fly single particle reconstruction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6038653A (ja) 1983-07-11 1985-02-28 インターナシヨナル・リモート・イメージング・システムズ、インコーポレーテツド 流体試料の粒子の分析方法
JPH0472544A (ja) 1990-07-13 1992-03-06 Toa Medical Electronics Co Ltd 粒子画像分析装置
JPH07113738A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd 流体中の粒子検査装置
JPH08136439A (ja) * 1994-11-04 1996-05-31 Toa Medical Electronics Co Ltd 粒子画像分析装置
JPH08210961A (ja) 1995-02-01 1996-08-20 Hitachi Ltd フロー式粒子画像解析方法および装置
JP2006118899A (ja) * 2004-10-20 2006-05-11 Sysmex Corp 粒子画像分析システム、粒子画像表示用コンピュータプログラムおよび記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3111706B2 (ja) * 1992-02-18 2000-11-27 株式会社日立製作所 粒子分析装置及び粒子分析方法
DE69429145T2 (de) * 1993-08-19 2002-07-18 Hitachi Ltd Klassifikation und Prüfvorrichtung für Teilchen in einer Flüssigkeit
CN1437025A (zh) * 2002-02-08 2003-08-20 丁建文 智能显微图像分析仪
CN1645139A (zh) * 2004-12-27 2005-07-27 长春迪瑞实业有限公司 使用图像识别系统分析不离心尿液的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6038653A (ja) 1983-07-11 1985-02-28 インターナシヨナル・リモート・イメージング・システムズ、インコーポレーテツド 流体試料の粒子の分析方法
JPH0472544A (ja) 1990-07-13 1992-03-06 Toa Medical Electronics Co Ltd 粒子画像分析装置
JPH07113738A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd 流体中の粒子検査装置
JPH08136439A (ja) * 1994-11-04 1996-05-31 Toa Medical Electronics Co Ltd 粒子画像分析装置
JPH08210961A (ja) 1995-02-01 1996-08-20 Hitachi Ltd フロー式粒子画像解析方法および装置
JP2006118899A (ja) * 2004-10-20 2006-05-11 Sysmex Corp 粒子画像分析システム、粒子画像表示用コンピュータプログラムおよび記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIKI TAKI: "7. Nyo Kensa to Sentan Gijutsu 6800-kei Hitachi Nyo Jido Bunseki Sochi", GEKKAN MEDICAL TECHNOLOGY SEPARATE VOLUME SHIN . COLOR ATLAS NYO KENSA, 20 September 2004 (2004-09-20), pages 143 - 149, XP008147982 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290399A (zh) * 2010-10-01 2017-01-04 陶氏环球技术有限责任公司 分析基体孔径的系统和方法
CN104749352A (zh) * 2013-12-31 2015-07-01 西门子医疗保健诊断公司 尿液有形成分分析方法和装置
US10180387B2 (en) 2014-07-29 2019-01-15 National University Corporation Hamamatsu University School Of Medicine Identification device and identification method
JP2018100976A (ja) * 2015-03-31 2018-06-28 シスメックス株式会社 細胞撮像装置、管理装置および情報処理方法
US10585032B2 (en) 2015-03-31 2020-03-10 Sysmex Corporation Urine analysis system, image capturing apparatus, urine analysis method
JP2020071037A (ja) * 2018-10-29 2020-05-07 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
JP7175158B2 (ja) 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム

Also Published As

Publication number Publication date
EP2290350A4 (en) 2017-12-13
CN102047095B (zh) 2013-04-24
JPWO2009147931A1 (ja) 2011-10-27
EP2290350B1 (en) 2018-11-21
US20110090247A1 (en) 2011-04-21
EP2290350A1 (en) 2011-03-02
CN102047095A (zh) 2011-05-04
US8538119B2 (en) 2013-09-17
JP5470625B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP5470625B2 (ja) 粒子画像解析方法および装置
US11499908B2 (en) Urine analysis system, image capturing apparatus, urine analysis method
JP3213334B2 (ja) 尿中の細胞分析装置
JPH0652263B2 (ja) 細胞分析装置
JPH05296915A (ja) 粒子分析装置及び粒子分析方法
JPH06138120A (ja) 尿沈渣検査装置
JPH08210961A (ja) フロー式粒子画像解析方法および装置
JP2010151523A (ja) 粒子画像解析方法および装置
JP2826448B2 (ja) フロー式粒子画像解析方法およびフロー式粒子画像解析装置
JPH0972842A (ja) フロー式粒子画像解析方法および装置
EP0679889A2 (en) A method and an apparatus for particle image analysis
JPS6132182A (ja) 細胞分類装置
JP4659242B2 (ja) 粒子分析装置
JP3494559B2 (ja) フロー式粒子画像解析方法及び装置
CN114778419A (zh) 一种高倍率光学放大成像流式细胞仪
JPH0989752A (ja) 尿沈渣検査装置
JPH0961339A (ja) フロ−式粒子画像解析方法および装置
JPH10104229A (ja) 有形成分分析装置
JPH07113738A (ja) 流体中の粒子検査装置
JPH075093A (ja) フロー式粒子画像解析装置
CN116338156A (zh) 一种应用多方法学进行微粒子分析的液路系统
JP2002071548A (ja) フロー式粒子画像解析方法及び装置
CN115398209A (zh) 细胞分析方法、细胞分析仪及计算机可读存储介质
JPH07270301A (ja) フロー式粒子画像解析方法およびその装置
JPH07128218A (ja) 粒子解析装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980120524.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09758198

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009758198

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010515820

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12996114

Country of ref document: US