WO2021079701A1 - 計数方法、計数装置、及びプログラム - Google Patents
計数方法、計数装置、及びプログラム Download PDFInfo
- Publication number
- WO2021079701A1 WO2021079701A1 PCT/JP2020/037039 JP2020037039W WO2021079701A1 WO 2021079701 A1 WO2021079701 A1 WO 2021079701A1 JP 2020037039 W JP2020037039 W JP 2020037039W WO 2021079701 A1 WO2021079701 A1 WO 2021079701A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- counting
- substance
- locus
- image
- moving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000000126 substance Substances 0.000 claims abstract description 68
- 239000013076 target substance Substances 0.000 claims abstract description 37
- 230000005684 electric field Effects 0.000 claims description 38
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 22
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 9
- 241000700605 Viruses Species 0.000 claims description 7
- 239000011230 binding agent Substances 0.000 claims description 7
- 239000000696 magnetic material Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 239000006059 cover glass Substances 0.000 description 13
- 238000004720 dielectrophoresis Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 239000000356 contaminant Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 239000011347 resin Substances 0.000 description 5
- 229920005989 resin Polymers 0.000 description 5
- 230000005284 excitation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000003989 dielectric material Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 108090001008 Avidin Proteins 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 230000005653 Brownian motion process Effects 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910000828 alnico Inorganic materials 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229960002685 biotin Drugs 0.000 description 1
- 235000020958 biotin Nutrition 0.000 description 1
- 239000011616 biotin Substances 0.000 description 1
- 238000005537 brownian motion Methods 0.000 description 1
- 239000011162 core material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005307 ferromagnetism Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910001172 neodymium magnet Inorganic materials 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 230000005408 paramagnetism Effects 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 235000000346 sugar Nutrition 0.000 description 1
- 150000008163 sugars Chemical class 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1027—Determining speed or velocity of a particle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Definitions
- the present disclosure relates to a counting method for counting a target substance such as a virus, a counting device, and a program for causing a computer to execute the counting method.
- Patent Document 1 discloses an optical detection method for detecting fluorescence or scattered light due to a conjugate containing a target substance on the surface of a detection plate as a bright spot in an image using a proximity field.
- the present disclosure is intended to solve the above problem, and provides a counting method or the like capable of counting the conjugates more accurately.
- the external force acts in a predetermined direction on a sample that can contain a conjugate in which a target substance and a moving substance that moves by the action of an external force are bound to move the target substance.
- It is a counting method for counting the conjugates, and acquires an image in which an object in the sample is captured between the first time point when the external force is applied and the second time point after the first time point.
- the specific step of specifying the moving direction of the object from the locus in the image formed by the object, and the predetermined direction and the moving direction is larger than the first threshold value.
- the counting device includes an acquisition unit that acquires images including a plurality of images of substances contained in a sample, and the plurality of images from a first time point to a second time point after the first time point. An image is taken during the period from the first time point to the second time point, and an external force in a predetermined direction acts on the sample, and based on the plurality of images, a specific part that specifies the moving direction of the substance and the predetermined portion. It includes a counting unit that determines whether to count the substance based on the direction and the moving direction, and the substance includes a first substance that moves by the action of the external force and a target substance bound to the first substance.
- the program according to one aspect of the present disclosure moves by applying the external force in a predetermined direction to a sample that can contain a conjugate in which a target substance and a moving substance that moves by the action of an external force are bound.
- An image of an object in the sample captured between the first time point and the second time point after the first time point on which the external force is applied, which is a counting method for counting the combined bodies.
- the specific step of specifying the moving direction of the object from the locus in the image formed by the object, and the predetermined direction and the moving direction is larger than the first threshold value.
- a computer to perform a counting method including a counting step of counting the object as the conjugate.
- the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
- FIG. 1A is a schematic diagram illustrating an image acquired in the embodiment.
- FIG. 1B is a schematic view illustrating a moving direction specified from the acquired image.
- FIG. 2A is a functional block diagram of the counting system according to the embodiment.
- FIG. 2B is a schematic view of the detection device according to the embodiment.
- FIG. 3A is a diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIG. 3B is a second diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIG. 3C is a diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIG. 4A is a flowchart showing a counting method according to the embodiment.
- FIG. 4A is a flowchart showing a counting method according to the embodiment.
- FIG. 4B is a sub-flow chart illustrating the counting of target substances according to the embodiment in more detail.
- FIG. 5A is a diagram illustrating a procedure for processing an image according to an embodiment.
- FIG. 5B is a second diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5C is a third diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5D is a fourth diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5E is a diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5F is a sixth diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5G is a diagram 7 illustrating an image processing procedure according to the embodiment.
- FIG. 5H is an eighth diagram illustrating an image processing procedure according to the embodiment.
- FIG. 5I is a ninth diagram illustrating an image processing procedure according to the embodiment.
- FIG. 6 is a diagram illustrating the degree of agreement when dielectrophoresis is applied in the embodiment.
- Patent Document 1 discloses an optical detection method for detecting fluorescence or scattered light due to a conjugate containing a target substance on the surface of a detection plate as a bright spot in an image using a proximity field.
- a conjugate containing a target substance on the surface of a detection plate is irradiated with a near field to excite a phosphor or a scatterer contained in the conjugate.
- an image containing the generated fluorescence or scattered light as a bright spot is acquired.
- the moving bright spot among the bright spots in the image is a bright spot derived from a magnetic substance and a conjugate having a phosphor or a scatterer. It is possible to detect the target substance as.
- the image analysis phase automatically performed by a program executed on a computer.
- the image acquired by the above optical detection method can be regarded as a substantially binary value of the background and the bright spot, the bright spot can be easily detected, and among them, the bright spot that moves by the action of an external force. Should be detected. That is, by generating a composite image in which the brightness values of the frame images acquired at each of the plurality of time points are added, the moving bright spot can be detected as a linear locus. By identifying the bright spots that form such trajectories, it is possible to automatically detect the target substance.
- the sample as the medium to be detected has a thickness in the depth direction (also referred to as a depth in the depth direction) as seen from the detector. Therefore, the conjugate swinging in the depth direction in the sample appears to increase or decrease the intensity of fluorescence or scattered light when viewed from the detector.
- the series of trajectories may be divided into two or more due to the interruption of fluorescence or scattered light. A similar problem may occur when the bright spot is interrupted at an intermittent portion between the frame images constituting the moving image.
- the present disclosure provides a method for counting conjugates containing a target substance, etc., which can cope with the above problems.
- one aspect of the counting method applies the external force in a predetermined direction with respect to a sample that can contain a conjugate in which a target substance and a moving substance that moves by the action of an external force are bound. It is a counting method for counting the moving conjugate by acting on the sample, and in the sample from the first time point to the second time point after the first time point when the external force is applied.
- the degree of coincidence between the predetermined direction and the moving direction is the acquisition step of acquiring the image of the object, the specific step of specifying the moving direction of the object from the locus in the image formed by the object, and the degree of coincidence between the predetermined direction and the moving direction. It includes a counting step of counting the object as the conjugate when it is greater than the first threshold.
- the combined body that moves by the action of an external force and the others can be discriminated based on the moving direction of the object on the image and the degree of coincidence in the predetermined direction on which the external force is applied. Specifically, when the calculated degree of coincidence is larger than the first threshold value and it is determined that the moving direction and the predetermined direction match, the object on the image moves in the direction in which the external force is applied. It can be determined that it is. Therefore, such an object is determined to be a combined body that moves by the action of an external force.
- the object on the image is in a direction different from the direction in which the external force is applied. It can be determined that it has moved to. Therefore, such an object is determined to be a contaminant or the like that moves regardless of the action of an external force.
- the combined bodies are counted more accurately by the judgment based on the direction using the moving direction and the predetermined direction in which the external force is applied, as compared with the case where it is determined whether or not the combined body is based on the presence or absence of movement. It becomes possible to do.
- the moving direction of the object is specified based on the eigenvectors of the first principal component by the principal component analysis of a plurality of pixels corresponding to the loci in the image.
- the moving direction can be specified from the locus formed by the object by the principal component analysis.
- Principal component analysis has a lot of information obtained in addition to the specified moving direction, and can be used together with the specified moving direction to determine whether or not the locus is due to a conjugate. Therefore, it becomes possible to count the conjugates more accurately.
- the calculation step of calculating the moving distance of the object between the first time point and the second time point is included, and in the counting step, the calculated moving distance and the first time point and the first time point are described. Using the elapsed time between the second time points, the moving speed of the material counted as the conjugate is output.
- the moving distance is calculated based on the eigenvalues of the first principal component by the principal component analysis of a plurality of pixels corresponding to the loci in the image.
- the moving distance can be calculated from the locus formed by the object by the principal component analysis.
- Principal component analysis has a lot of information to be obtained in addition to the calculated movement distance, and can be used together with the calculated movement distance to determine whether or not the locus is due to a conjugate. Therefore, it becomes possible to count the conjugates more accurately.
- the object is counted as the combined body.
- the specified movement direction and the calculated movement distance can be used to determine whether or not the locus is due to a combination. Therefore, it becomes possible to count the conjugates more accurately.
- it further includes a merge step of connecting two loci formed by the same substance among a plurality of loci in the acquired image so as to form one locus.
- one locus whose similarity in the moving direction is larger than the third threshold value and another locus are combined, and each of them.
- the front end of the one locus and the rear end of the other locus are connected to form one locus from the rear end of the one locus to the front end of the other locus.
- the loci interrupted in the image processing are connected, and using the connected loci, whether or not the locus is due to a combination. It can be used for judgment. Therefore, it is possible to count the conjugates more accurately than when the locus that has been interrupted is used.
- the image is a composite image obtained by adding the brightness values of a plurality of frame images continuously captured between the first time point and the second time point.
- the moving substance is a dielectric substance, and moves by a dielectrophoretic force when an electric field is applied as the external force.
- the moving substance is a magnetic material, and moves by a magnetic force when a magnetic field gradient is applied as the external force.
- the target substance is a substance constituting a virus
- the moving substance is a binder fixed to the surface of the moving substance via a binder that specifically binds to the substance. It binds to the substance.
- one aspect of the program according to the present disclosure is to apply the external force in a predetermined direction to move a sample that can include a conjugate in which a target substance and a moving substance that moves by the action of an external force are bound.
- An image of an object in the sample captured between the first time point and the second time point after the first time point on which the external force is applied, which is a counting method for counting the combined bodies.
- the specific step of specifying the moving direction of the object from the locus in the image formed by the object, and the predetermined direction and the moving direction is larger than the first threshold value.
- a computer to perform a counting method including a counting step of counting the object as the conjugate.
- Such a program can discriminate between the combined body that moves by the action of an external force and the others based on the moving direction of the object on the image and the degree of coincidence in the predetermined direction on which the external force is applied. Specifically, when the calculated degree of coincidence is larger than the first threshold value and it is determined that the moving direction and the predetermined direction match, the object on the image moves in the direction in which the external force is applied. It can be determined that it is. Therefore, such an object is determined to be a combined body that moves by the action of an external force. On the other hand, when the calculated degree of coincidence is equal to or less than the first threshold value and it is determined that the moving direction and the predetermined direction do not match, the object on the image is in a direction different from the direction in which the external force is applied.
- the counting of the conjugates described below is a concept including counting the target substance that binds to the moving substance at a predetermined binding ratio from the counted number of conjugates. That is, the counting method of the present disclosure can also be used as a counting method of a target substance.
- the count of conjugates in the present disclosure includes the concept of measuring the concentration of conjugates as the number concentration of the counted conjugates present in a solution-like sample having a predetermined volume. Further, the concentration measurement here also includes the concept of detecting the presence or absence of conjugates based on whether or not the number concentration in the sample of a predetermined volume is 0.
- FIG. 1A is a schematic diagram illustrating an image acquired in the embodiment.
- FIG. 1B is a schematic view illustrating a moving direction specified from the acquired image.
- FIG. 1A as an example, a conjugate containing a target substance and moving by the action of an external force and a contaminant that moves independently of the action of an external force are illustrated.
- the image acquired in the present embodiment is displayed on the monitor 109 described later by the application window 109a. Couplings and contaminants are objects that are imaged as bright spots on the captured image, and it is virtually impossible to distinguish them from the image.
- the image acquired in the present embodiment is a composite image obtained by adding the brightness values of a plurality of frame images continuously captured between the first time point and the second time point.
- each of the plurality of frame images may be binarized and then added. Further, a bright spot having a brightness equal to or higher than a predetermined threshold value may be extracted and the brightness value of the extracted bright spot may be added. It should be noted that the content of the present disclosure is valid even for an image that has been exposed for a long period of time and is captured by continuing the exposure between the first time point and the second time point.
- the plurality of frame images continuously captured during the period from the first time point t1 to the second time point nth time tn are I1, ..., Ik, ..., In, and I1.
- Is imaged at time t1, ..., Ik is imaged at time tk, ..., In is imaged at time tun
- the luminance value I1i is the luminance value of the pixel position i in the frame image I1
- the luminance value Iki is the frame image.
- the brightness value Ini is the brightness value of the pixel position i in the frame image In.
- the pixel positions i and ... in the frame image I1, the pixel positions i and ... in the frame image Ik, and the pixel positions i in the frame image In each correspond to the pixel positions i in the composite image Ic.
- the luminance value may be a pixel value.
- the conjugate and the contaminant form a divided locus on the image during the period corresponding to the intermittent portion. It is imaged as a bright spot.
- the contaminants form a locus 43 corresponding to the movement in the first period, a locus 44 corresponding to the second period, a locus 45 corresponding to the third period, and a locus 46 corresponding to the fourth period.
- the combined body forms a locus 47 corresponding to the first period, a locus 48 corresponding to the second period, a locus 49 corresponding to the third period, and a locus 50 corresponding to the fourth period.
- the imaging conditions are set so that each frame image has a sufficient exposure period so that the locus of a predetermined length is extended for the conjugate and the contaminants.
- the imaging conditions are set so that the exposure period in each frame image becomes longer. In this way, the moving direction of each bright spot can be specified based on the extending direction of the locus.
- the moving direction of each bright spot is indicated by an arrow. Specifically, the moving direction 43a specified from the locus 43, the moving direction 44a specified from the locus 44, the moving direction 45a specified from the locus 45, and the moving direction 46a specified from the locus 46 are shown. There is. Similarly, the moving direction 47a specified from the locus 47, the moving direction 48a specified from the locus 48, the moving direction 49a specified from the locus 49, and the moving direction 50a specified from the locus 50 are shown.
- the movement when the bright spot is considered to have moved by connecting the trailing end (start point side of the arrow) to the front end (end point side of the arrow), the movement when the bright spot is considered to have moved.
- the direction can be specified.
- the bright spots such as impurities are not actually moved, they may be considered to be moved in the image processing as described above, and the moving direction is specified as the apparent moving direction. Will be done.
- the direction in which the external force is applied will be explained.
- the direction of the external force is shown by using a white arrow that does not exist on the actually acquired image.
- the external force is applied along a predetermined direction.
- the predetermined direction is a direction in which the conjugate is expected to move due to the action of an external force.
- a flow field or the like may act as an external force, and in this case, the predetermined direction can be determined by the drag force associated with the flow field.
- the present embodiment it is estimated whether or not the movement of the bright spot is due to the external force based on the degree of coincidence between the predetermined direction in which the external force is applied and the moving direction of the bright spot specified from the acquired image.
- the bright spot described above is an object reflected on an image, and in the present embodiment, as an example, a case where a substance contained in a conjugate emits light due to a emission phenomenon of fluorescence or scattered light will be described. .. If the object to be counted has a configuration that can be sufficiently detected, an image captured by reflection of natural light or the like may be acquired without utilizing the light emission phenomenon by the object. That is, the present embodiment can be carried out as long as it is a conjugate in which the target substance to be detected or counted and the moving substance that moves by the action of an external force are bound.
- the target substances are proteins, lipids, sugars, nucleic acids, etc., and are bio-related substances produced or composed of viruses, microorganisms, bacteria, etc. to be detected or counted.
- the above-mentioned mobile substance will be described later, but such a target substance and the mobile substance bind to each other via a binder such as an antibody immobilized on the surface of the mobile substance.
- a binder for example, in addition to the above-mentioned antibody, a binding mode that specifically binds to the target substance, such as biotin that binds to the avidin of the target substance by modifying the target substance side, is arbitrarily used. be able to.
- FIG. 2A is a functional block diagram of the counting system according to the embodiment.
- the counting system 100 in the present embodiment includes a detection device 101, a controller 102, a counting device 103, and a monitor 109.
- the counting method is implemented as a server device that acquires the image described above from the client device and outputs the counting result to the client device
- the counting system 100 may include the counting device 103. That is, the detection device 101, the controller 102, and the monitor 109 are not indispensable.
- FIG. 2B is a schematic view of the detection device according to the embodiment.
- the detection device 101 includes a solution holding unit 20, an external force applying unit 29, and an imaging device 30.
- the detection device 101 captures an image by the image pickup device 30 while applying an external force to the sample housed in the space 27 formed in the solution holding section 20 by the external force application section 29.
- each component constituting the detection device 101 will be described in detail.
- the solution holding unit 20 includes a detection plate 21, a solution holding tank 23, and a cover glass 25.
- the detection plate 21 is a plate-shaped member formed of a hard material such as resin or glass having light transmittance. By injecting excitation light from the back surface (lower surface of the paper surface) of the detection plate 21 using a light source (not shown) or the like, the solution in the space 27 located on the front surface (upper surface of the paper surface) of the detection plate 21 is subjected to. The excitation light can be irradiated. When it is not necessary to irradiate the excitation light from the back surface, the detection plate 21 does not have to have light transmission.
- the solution holding tank 23 is a sheet-like member laminated on the detection plate 21, and is made of, for example, a silicon resin or the like.
- the solution holding tank 23 has a hollow portion that is hollowed out through both main surfaces of the sheet inside the sheet (inside in the in-plane direction).
- the solution holding tank 23 is laminated on the detection plate 21 to form a container shape surrounded by the surface of the detection plate 21 and the outer circumference of the hollow portion (that is, the inner surface of the solution holding tank 23).
- the hollow portion of the solution holding tank 23 is circular when the solution holding tank 23 is viewed in a plan view. Therefore, the container shape formed by the detection plate 21 and the solution holding tank 23 has a columnar space 27.
- the shape of the hollow portion is not limited to a circle and may be any shape such as a polygonal shape.
- the cover glass 25 is a plate-shaped member that is further laminated on the solution holding tank 23 and formed of a hard material such as resin or glass.
- the shape of the cover glass 25 is not limited as long as it is made of a translucent material. Since the cover glass 25 serves as a lid for the space 27 formed by the detection plate 21 and the solution holding tank 23, the cover glass 25 has a shape and a size capable of covering the above-mentioned hollow portion in a plan view.
- the material of the cover glass 25 may be resin or the like in addition to glass.
- the cover glass 25 may have any structure as long as it has light transmittance.
- the space 27 can be substantially sealed by the detection plate 21, the solution holding tank 23, and the cover glass 25.
- the space 27 accommodates a sample to be detected or counted by the counting system 100. That is, the conjugate that can be contained in the sample is detected while the sample is filled in the solution holding portion 20.
- the sample is introduced into the space 27 by opening the cover glass 25. That is, the cover glass 25 covers the opening accessible to the space 27.
- the opening is an example of an introduction section into which a sample that may contain a conjugate is introduced. It should be noted that pores communicating the space 27 with the outside may be provided, and in this case, the pores serve as an introduction portion.
- the image pickup device 30 is a light receiving device in which a light collecting member 31 having a light collecting property and an image sensor 35 are built in a housing 37. Further, the image pickup apparatus 30 may include a filter 33 that selectively transmits light of a part of wavelengths, if necessary. That is, the present disclosure can be carried out without the filter 33, but in the present embodiment, an example in which light having a part of wavelength is incident on the image sensor 35 by the filter 33 will be described.
- the condensing member 31 is, for example, a refraction type lens, and condenses the light received by the image pickup apparatus 30 on the image sensor 35.
- the condensing member 31 may be composed of a single lens or may be composed of a plurality of lenses.
- the filter 33 has, for example, an optical property of transmitting the main wavelength component of fluorescence generated by the conjugate and absorbing or reflecting the others. As a result, the fluorescence or scattered light generated by the conjugate can be detected with high accuracy.
- the image sensor 35 may be a known photodetecting means such as one using a photodiode or a combination of a photomultiplier tube. Since the object to be imaged by the image pickup apparatus 30 is a two-dimensional surface along the detection plate 21, a two-dimensional sensor such as a CCD image sensor or a CMOS image sensor may be used as the image sensor 35. This makes it possible to obtain an image containing a lot of information.
- the housing 37 is made of metal, resin, or the like.
- the housing 37 has a window on the surface facing the cover glass 25.
- the light received from the window is incident on the image sensor 35.
- the condensing member 31, the filter 33, and the image sensor 35 are arranged in this order along the optical path of the light received from the window, and are held so that their positional relationships are kept constant.
- a part (not shown) is formed.
- the window may be formed of a light collecting member 31. That is, the window may be formed by fitting the condensing member 31 into the opening formed on the surface of the housing 37 that receives light.
- the housing 37 is made of a material having a light-shielding property so that the light incident on the condensing member 31 is excluded and other outside light does not enter the inside of the housing 37.
- FIG. 3A is a diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIG. 3B is a second diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIG. 3C is a diagram illustrating the relationship between the external force and the moving substance according to the embodiment.
- FIGS. 3A and 3B when an electric field is applied as an external force, the configurations shown in FIGS. 3A and 3B can be considered.
- an electric field is applied to the sample accommodated in the space 27 by using the first electric field application unit 29a and the second electric field application unit 29b, which are examples of the external force application unit 29.
- Non-uniform electric fields 27a and 27b are formed.
- the conjugates 41a and 41b contain a dielectric that is a moving substance, and the difference in the dielectric constant between the conjugates 41a and 41b in the sample and the external liquid fraction, and the magnitude of the electric field strength of the electric fields 27a and 27b and the electric field. It moves according to the frequency of the AC power supply used for the application.
- the first electric field application unit 29a and the second electric field application unit 29b are electrodes connected to an AC power source. Further, as the dielectric, for example, polystyrene beads may be used. Such a phenomenon is generally known as Dielectrophoresis (DEP).
- DEP Dielectrophoresis
- the dielectric constant of the dielectric when the dielectric constant of the dielectric is larger than the external liquid fraction, as shown in FIG. 3A, the dielectric is non-uniform due to the dielectrophoresis together with the target substance forming the conjugate 41a. It moves in the electric field 27a toward the one with the larger electric field strength (positive dielectrophoresis: positive-DEP). In this case, as shown by the arrow in the figure, the predetermined direction is set from the smaller electric field strength to the larger electric field strength.
- the dielectric constant of the external liquid fraction when the dielectric constant of the external liquid fraction is larger than that of the dielectric, as shown in FIG.
- the dielectric is subjected to a non-uniform electric field by dielectrophoresis together with the target substance forming the conjugate 41b. It moves in 27b toward the one with the smaller electric field strength (negative dielectrophoresis: negative-DEP).
- the predetermined direction is set from the one with the larger electric field strength to the one with the smaller electric field strength. In this way, by using a dielectric as the moving substance, the conjugate 41a or 41b can be moved in a predetermined direction by utilizing dielectrophoresis.
- the configuration shown in FIG. 3C can be considered.
- the magnetic field gradient 27c is formed by applying the magnetic field gradient to the sample housed in the space 27 using the magnetic field application unit 29c, which is an example of the external force application unit 29.
- the conjugate 41c contains a magnetic substance that is a moving substance and moves according to the magnetic field gradient 27c.
- the magnetic material metal fine particles having paramagnetism or ferromagnetism may be used.
- the magnetic field application unit 29c is, for example, a permanent magnet such as a neodymium magnet, a ferrite magnet, or an alnico magnet, but may be an electromagnet including a coil, a core material, and a DC power supply device.
- a predetermined direction is set from the side without the magnetic field application unit 29c as shown by the arrow in the figure to the side with the magnetic field application unit 29c. In this way, by using a magnetic material as the moving substance, the conjugate 41c can be moved in a predetermined direction.
- the detection device 101 applies an external force in a predetermined direction to the sample contained in the solution holding unit 20, images the conjugate that moves in response to the external force, and outputs an image.
- the controller 102 is a control device for controlling the detection device 101 by generating a control signal and transmitting it to the detection device 101.
- the controller 102 is also an interface device that transmits the image output from the detection device 101 to the counting device 103, which will be described later. Therefore, the image captured and output by the detection device 101 is acquired by the counting device 103 via the controller 102.
- the counting device 103 is a device that counts the moving conjugate when an external force is applied in a predetermined direction to a sample that may contain a conjugate in which a target substance and a moving substance that moves by the action of an external force are bound.
- the counting device 103 includes an acquisition unit 104, a specific unit 105, a counting unit 106, a calculation unit 107, and a merging unit 108.
- Each component constituting the counting device 103 is realized by a processor, a memory, and a program executed by the processor and the memory.
- the acquisition unit 104 is a processing unit for executing the acquisition step
- the specific unit 105 is a processing unit for executing the specific step
- the counting unit 106 is a processing unit for executing the counting step.
- the calculation unit 107 is a processing unit for executing the calculation step
- the merging unit 108 is a processing unit for executing the merging step.
- the monitor 109 is a display device that displays the counting result of the combined body carried out by the counting device 103.
- the monitor 109 displays a display image using, for example, a display panel such as a liquid crystal crystal or an organic EL.
- FIG. 4A is a flowchart showing a counting method according to the embodiment.
- the counting system 100 acquires an image in which an object in the sample is captured (acquisition step S11).
- the detection device 101 operates according to the control signal of the controller 102 to capture an image of the sample, and the captured image is acquired by the acquisition unit 104 via the controller 102. Will be done.
- Binarization is applied to the acquired image to distinguish between bright spots and other spots (step S12). Further, noise removal is performed on the binarized image (step S13). Noise removal is performed by processing the image with a noise removal filter such as a median filter and a smoothing filter. The movement of the bright spot captured in the image subjected to such processing is extracted as a locus. Specifically, edge detection is performed on the noise-removed image in step S13 depending on which of the binary values the brightness value is (step S14). For example, the boundary between a high-luminance pixel and a low-luminance pixel is detected as an edge. A portion where such a boundary is connected (that is, in a closed state) is extracted as a locus accompanying the movement of the bright spot (step S15).
- a noise removal filter such as a median filter and a smoothing filter.
- the above steps S12 to S15 are carried out as pretreatment steps by, for example, a pretreatment unit (not shown) provided in the counting device 103.
- the acquisition unit 104 may acquire an image after such a preprocessing step is performed.
- the conjugates contained in the sample are counted, and the moving speed of each conjugate is calculated (step S16).
- the counting system 100 outputs the counting result together with the calculated moving speed as a display image for displaying on the monitor 109, for example (step S17).
- FIG. 4B is a sub-flow chart illustrating the counting of target substances according to the embodiment in more detail.
- 5A to 5I are explanatory views for outline the image processing performed in each processing step.
- an image as shown in FIG. 5A is obtained by being acquired by the acquisition unit 104 and undergoing the above preprocessing step. Further, similarly to FIGS. 1A and 1B, the direction of external force (that is, a predetermined direction) that is not on the actual image is virtually indicated by a white arrow.
- step S21 the eigenvector of the first principal component and the contribution of the first principal component are calculated by the principal component analysis of the pixels on the image.
- the calculated eigenvector indicates the direction in which the set of pixels constituting the locus is most dispersed, and can be regarded as the moving direction of the bright spot. That is, step S21 is a specific step for specifying the moving direction of the bright spot.
- the counting device 103 selects one locus from the loci included in the image (step S22).
- the counting device 103 calculates the degree of coincidence between the moving direction calculated by the principal component analysis of the selected locus and the external force direction (step S23).
- the degree of coincidence is based on a first threshold value set based on conditions such as, for example, what percentage of the inclination difference on the two-dimensional surface between the external force direction and the moving direction is with respect to the inclination in any direction.
- the degree of agreement is low when the value is equal to or less than the first threshold value, and the degree of agreement is high when the degree of agreement is greater than the first threshold value.
- the first threshold value may be simply a difference in inclination or a difference in angle.
- the locus for which the moving direction is calculated is determined to have moved according to the external force.
- the degree of coincidence between the external force direction and the moving direction is equal to or less than the first threshold value
- the locus for which the moving direction is calculated is image-processed even though the force is different from the external force or the movement is not performed. It is considered that it was recognized as having moved up. Therefore, when the degree of coincidence is compared with the first threshold value (step S24) and it is determined that the degree of coincidence is equal to or less than the first threshold value (No in step S24), the locus is excluded from the counting target. (Step S26).
- the first threshold value may be set for the correlation coefficient between the pixel corresponding to the bright spot and the external force direction.
- the external force is obtained by excluding the bright spots that have a correlation in which the pixels corresponding to the bright spots are greater than 80% (that is, the correlation coefficient is greater than 0.8) with respect to the external force direction.
- the locus moved according to can be extracted satisfactorily.
- FIG. 5B shows that the degree of coincidence was equal to or less than the first threshold value for the locus surrounded by the circle indicated by the arrow. Therefore, the loci surrounded by these circles are excluded from the loci used for counting, as shown in FIG. 5C.
- FIG. 6 is a diagram illustrating the degree of agreement when dielectrophoresis is applied in the embodiment.
- FIG. 6A shows an electric field application unit 29d for forming an electric field as an external force.
- FIG. 6B shows an enlarged view of the region B indicated by the alternate long and short dash line in FIG. 6A.
- the dielectric 41d which is a moving substance having a dielectric property, which is not shown in FIG. 6A, is also shown.
- the actual moving substance that is, the dielectric 41d
- the electric field application unit 29d are shown instead of the bright spots, but in reality, the same as the above example.
- An image including the trajectory of the bright spot corresponding to the moving substance and the background color is acquired.
- the electric field application unit 29d includes a plurality of electrodes 29e and a power supply 29f that applies an AC voltage to the electrodes 29e.
- the electrode 29e has a flat plate shape having a plate surface in the direction along the paper surface, and is formed, for example, on a substrate having a plate surface in the direction along the paper surface so as to follow the plate surface.
- the dielectric 41d When the dielectric 41d is placed on the substrate, it moves according to the electric field gradient formed between the electrodes 29e on the substrate.
- the electrode 29e is formed so that a concave-convex shape that is concave or convex along the paper surface is regularly repeated in the left-right direction of the paper surface, and the concave portion is formed with respect to the adjacent electrodes 29e.
- the concave portion and the convex portion face each other due to the displacement between the concave portion and the convex portion. Since the distance between the electrodes 29e differs from place to place in this way, an electric field gradient is formed between the electrodes 29e when an AC voltage is applied.
- the recess of the electrode 29e is a region where the electric field strength is small, and is a region where the dielectric 41d is gathered by negative dielectrophoresis.
- Such an electrode 29e may be referred to as a hosted electrode.
- each of the plurality of recesses becomes a region having a similarly small electric field strength, and the dielectrics 41d placed at close positions are gathered by the formation of the electric field gradient.
- the external force direction can be determined according to the configuration of the electrode 29e, which is a factor for determining the electric field gradient, preliminary experiments, and empirical rules. Good.
- a linear vector indicated by a broken line arrow extending from the convex portion facing the concave portion toward the concave portion is set in the external force direction as the average direction of entering the concave portion.
- the angle formed by the moving direction and the external force direction which is set so as to sufficiently cover the dielectric 41d entering the recess. It will be judged accordingly.
- this angle is the width of the recess indicated by the symbol x (in other words, the distance between adjacent convex portions) and the depth of the concave portion indicated by the symbol y (in other words, the height of the convex portion). Determined by.
- the angle formed by each of the linear vector indicating the direction of the external force and the two alternate long and short dash lines extending in the recess is applied as the above angle.
- the locus of the dielectric 41d which is a moving body, is a locus that is in the direction of entering the recess represented by the direction of the linear vector and indicates the moving direction within the range between the two alternate long and short dash lines. It may be adopted as a trajectory to be counted. In other words, a locus that is not in the direction of entering the recess or indicates a moving direction within the range between the two alternate long and short dash lines may be excluded from the counting target as if it is not a locus by a moving body.
- the angle formed by two straight lines can be expressed as the cosine similarity between the straight lines. Therefore, a threshold value set by the cosine similarity (that is, a first threshold value) can be used for determining the coincidence between the movement direction and the external force direction.
- a threshold value set by the cosine similarity that is, a first threshold value
- the movement direction having the largest angle with respect to the vector of the broken line arrow within the range considered to coincide with the external force direction is the direction along one of the two alternate long and short dash lines (hereinafter, also the direction of the alternate long and short dash line). ).
- the alternate long and short dash line is formed corresponding to a rectangular recess, and is set on the hypotenuse of a right triangle having two orthogonal sides of length y and length x / 2, as shown in the figure. .. That is, the angle ⁇ formed by the direction of the alternate long and short dash line and the vector of the dashed arrow can be expressed by the following equation 1 using the inverse cosine function.
- a number determined by the values of x and y is set as in the following equation 2.
- these external force directions and the first threshold value are examples in the case of using the electrode 29e having a rectangular recess shown in the figure, and are required counts in addition to the configuration, experiment, empirical rule, etc. of the electrode 29e. It may be set appropriately according to the accuracy of.
- step S25 when it is determined that the degree of agreement is larger than the first threshold value (Yes in step S24), the process proceeds to step S25.
- the contribution of the first principal component is low, it is presumed that the locus does not have a sufficient dispersion axis. Therefore, when the contribution of the first principal component is low, the moving direction of the bright spot may not be calculated accurately. That is, when the contribution of the first principal component is compared with the fifth threshold value (step S25) and it is determined that the contribution of the first principal component is equal to or less than the fifth threshold value (No in step S25), the relevant case is found.
- the locus is excluded from the counting target because the moving direction may not be calculated accurately (step S26).
- FIG. 5D shows that the contribution of the first principal component was equal to or less than the fifth threshold value for the locus surrounded by the circle indicated by the arrow. Therefore, the trajectories surrounded by these circles are excluded from the trajectories used for counting, as shown in FIG. 5E.
- step S25 when it is determined that the contribution of the first principal component is larger than the fifth threshold value (Yes in step S25), selection is performed for all the trajectories, and the above first threshold value and fifth threshold value are selected. It is determined whether or not the comparison with is performed (step S27). If there is an unselected locus (No in step S27), the process returns to step S22 to select the locus. On the other hand, if it is determined that all the loci have been selected (Yes in step S27), the process proceeds to step S28.
- the counting device 103 carries out a merge step of connecting the trajectories that should have been originally one, according to the conditions of image processing and the movement of the conjugate in the sample.
- the counting device 103 selects a combination of one locus and another locus from the loci in the image (step S28). It is determined whether or not one locus of these selected combinations and the other locus are similar to each other in the moving direction (step S29). If the bright spots are derived from the same conjugate, it is presumed that the directions of movement due to the action of external force are almost the same.
- step S30 when the similarity indicating the degree of similarity between one locus and the other locus in the moving direction is equal to or less than the third threshold value (No in step S29), the subsequent steps S30 and S31 are omitted. Do not connect one locus to the other locus.
- the determination in step S30 is further performed. Specifically, it is determined whether or not the distance between the front end of one locus and the rear end of the other locus is within the fourth threshold value (in other words, whether or not it is below the fourth threshold value) (step S30).
- step S31 is omitted and one of these loci and the other locus are not connected.
- the front end of the one locus and the rear end of the other locus are connected to connect the rear end of the one locus to another. It is one locus up to the front end of the locus (step S31).
- the counting device 103 determines whether or not such processing has been performed for one locus of all combinations and the other loci (step S32), and if there is an unselected combination (No in step S32), the step. Return to S28 and select a combination. On the other hand, if it is determined that all the combinations have been selected (Yes in step S32), the process proceeds to step S33.
- the counting device 103 calculates the moving distance of the bright spot from each locus using the loci after the connection is completed (calculation step S33). Specifically, principal component analysis is performed on each of the trajectories after the merge step is performed, and the eigenvalues of the first principal component are calculated.
- the eigenvalues of the first principal component indicate the dispersion width in which the set of pixels constituting the locus is most dispersed, and can be regarded as the moving distance of the bright spot.
- the counting device 103 calculates the moving speed of the bright spot from the calculated moving distance of the bright spot (step S34).
- one of the loci is selected (step S35).
- the counting device 103 determines whether or not the calculated movement distance is larger than the second threshold value in the selected locus (step S36). This depends on whether or not the moving distance satisfies the sufficient moving distance shown when the moving distance is moved by the action of the external force when the bright spot that is not involved with the external force accidentally indicates the moving direction along the external force direction. It is a process for eliminating.
- the locus is excluded from the counting target (step S37).
- FIG. 5G shows that the calculated movement distance was equal to or less than the second threshold value for the locus surrounded by the circle indicated by the arrow. Therefore, the loci surrounded by these circles are excluded from the loci used for counting, as shown in FIG. 5H.
- step S38 the counting device 103 determines whether or not such processing has been performed for all the loci (step S38), and if there is an unselected locus (No in step S38), returns to step S33 and selects the locus. Do. On the other hand, if it is determined that all the loci have been selected (Yes in step S38), the process proceeds to step S39.
- the counting device 103 counts the bright spots that form the loci left in the image without being excluded as the bright spots due to the conjugate (counting step S39).
- FIG. 5I an image as shown in FIG. 5I is output and displayed on the application window 109a.
- FIG. 5I the three conjugates of "combined 1", “combined 2", and “combined 3" that are left without being excluded are displayed together with the moving speed calculated from each locus. ing.
- each function of the components included in the measuring device may be distributed to a plurality of parts constituting the measuring device in any way.
- the configuration for outputting the movement speed calculated in the above embodiment together with the counting result may be such that the counting result is output and the movement speed is not calculated.
- the configuration of counting the loci by the combined body using the moving distance calculated by using the eigenvalue or the contribution of the first principal component together with the moving direction has been described. May be used to count the trajectories of the conjugates.
- the present disclosure is used for an apparatus for the purpose of simple, high-speed, and accurate detection and observation of a target substance.
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Dispersion Chemistry (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
計数方法は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して外力を所定方向に作用させて、移動する結合体を計数する計数方法であって、外力が作用されている、第1時点から第1時点よりも後の第2時点までの間において試料内の物体が撮像された画像を取得する取得ステップ(S11)と、物体によって形成された画像内の軌跡から、物体の移動方向を特定する特定ステップ(S16)と、所定方向と移動方向との一致度が第1閾値よりも大きい場合に、物体を結合体として計数する計数ステップ(S16)と、を含む。
Description
本開示は、ウイルス等の標的物質を計数するための計数方法、計数装置、及び当該計数方法をコンピュータに実行させるためのプログラムに関する。
近年、溶液中に存在する微小物質、特にウイルス等の生体関連物質を検出、又は定量する方法が開発されている。例えば、特許文献1には、近接場を用いて検出板の表面上の標的物質を含む結合体による蛍光又は散乱光を画像内の輝点として検出する光学的検出方法が開示されている。
しかしながら、上記特許文献1に開示された方法では、結合体を正確に計数することが難しい場合がある。
本開示は、上記の問題を解決しようとするものであり、結合体をより正確に計数することができる計数方法等を提供するものである。
本開示の一態様に係る計数方法は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む。
本開示の一態様に係る計数装置は、試料に含まれる物質の複数の画像を含む画像を取得する取得部と、前記複数の画像は第1時点から前記第1時点よりも後の第2時点までの間に撮像され、前記第1時点から前記第2時点まで所定方向の外力が前記試料に作用し、前記複数の画像に基づいて、前記物質の移動方向を特定する特定部と、前記所定方向と前記移動方向に基づいて前記物質を計数するかを決定する計数部を含み、前記物質は前記外力の作用により移動する第1物質と前記第1物質と結合した標的物質とを含む。
また、本開示の一態様に係るプログラムは、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる。
なお、これらの包括的又は具体的な態様は、方法、システム、装置、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録媒体で実現されてもよく、方法、システム、装置、集積回路、コンピュータプログラム及びコンピュータで読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。
本開示によれば、標的物質をより正確に計数することが可能となる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
(開示の基礎となった知見)
近年、溶液中に存在する微小物質、特にウイルス等の生体関連物質を検出、又は定量する方法が開発されている。例えば、特許文献1には、近接場を用いて検出板の表面上の標的物質を含む結合体による蛍光又は散乱光を画像内の輝点として検出する光学的検出方法が開示されている。
近年、溶液中に存在する微小物質、特にウイルス等の生体関連物質を検出、又は定量する方法が開発されている。例えば、特許文献1には、近接場を用いて検出板の表面上の標的物質を含む結合体による蛍光又は散乱光を画像内の輝点として検出する光学的検出方法が開示されている。
特許文献1に開示された光学的検出方法では、検出板の表面上の標的物質を含む結合体に対して、近接場を照射することによって当該結合体に含まれる蛍光体又は散乱体を励起し、撮像装置によって撮像することで、発生された蛍光又は散乱光を輝点として含む画像を取得する。このとき、外力として磁場勾配を印加して結合体に含まれる磁性体を制御することで、画像内の輝点は、結合体の移動に応じて移動する。このように、特許文献1に開示された光学的検出方法では、画像内の輝点のうちの移動する輝点を、磁性体、及び、蛍光体又は散乱体を有する結合体に由来する輝点として標的物質を検出することが可能である。
このような、画像を用いた光学的検出では、画像解析のフェーズをコンピュータ上で実行されるプログラムによって自動的に行わせることが一般化されつつある。例えば、上記の光学的検出方法において取得される画像は、背景と輝点との略二値とみなすことができるため、容易に輝点を検出でき、このうち、外力の作用によって移動する輝点を検出すればよい。つまり、複数時点のそれぞれにおいて取得されたフレーム画像の各々の輝度値を加算した合成画像を生成することで、移動する輝点が線状の軌跡として検出可能となる。このような軌跡を形成する輝点を識別することで、標的物質を自動検出することが可能となる。
ところで、このような軌跡の検出において、正確な検出が行えない場合があった。具体的には、従来の軌跡の検出では、線状であるか否かを検出条件としていたため、外力の作用によらず線状を示すものを軌跡として、検出してしまっていた。したがって、複数の移動していない輝点が列を成している場合、及び、ブラウン運動、溶液状の試料中における対流等の、外力とは異なる力によって移動する場合等も、誤検出されていた。
また、検出対象の媒体である試料は、検出器から見た奥行方向の厚み(深度方向の深さともいう)を有している。したがって、試料における深度方向に揺動する結合体は、検出器から見て、蛍光又は散乱光の強度が上下するように見える。この場合、画像処理の条件によっては、さらなる課題として、蛍光又は散乱光が途切れてしまうことにより一連の軌跡が2以上に分断されてしまう場合がある。同様の課題は、動画像を構成するフレーム画像間の間欠箇所において輝点が途切れてしまう場合にも生じ得る。
本開示では上記の課題に対応可能な、標的物質を含む結合体の計数方法等を提供する。
(開示の概要)
上記の課題を解決するため、本開示に係る計数方法の一態様は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む。
上記の課題を解決するため、本開示に係る計数方法の一態様は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む。
このような計数方法は、外力の作用によって移動する結合体と、その他とを、画像上の物体の移動方向、及び外力が作用されている所定方向の一致度に基づいて判別できる。具体的には、算出された一致度が第1閾値よりも大きく、移動方向と所定方向とが一致していると判定される場合、画像上の物体は、外力が作用されている方向に移動していると判定できる。よって、このような物体は、外力の作用によって移動する結合体であると判定される。一方で、算出された一致度が第1閾値以下であり、移動方向と所定方向とが一致していないと判定される場合、画像上の物体は、外力が作用されている方向とは異なる方向に移動していると判定できる。よってこのような物体は、外力の作用によらず移動する夾雑物等であると判定される。このようにして、移動の有無で結合体か否かを判定していた場合に比べ、移動方向と外力が作用される所定方向とを用いた方向に基づく判定により、より正確に結合体を計数することが可能となる。
また、例えば、前記特定ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有ベクトルに基づき前記物体の前記移動方向を特定する。
これによれば、主成分分析によって、物体が形成する軌跡から移動方向を特定することができる。主成分分析は、特定される移動方向の他に得られる情報が多く、特定される移動方向と併せて当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
また、例えば、さらに、前記第1時点及び前記第2時点の間における前記物体の移動距離を算出する算出ステップを含み、前記計数ステップでは、算出された前記移動距離と、前記第1時点及び前記第2時点の間の経過時間とを用いて、前記結合体として計数された前記物質の移動速度を出力する。
これによれば、特定される移動方向に加え、物質の移動速度を加味して、当該軌跡が結合体によるものか否かを判定できる。よって、より正確に結合体を計数することが可能となる。
また、例えば、前記算出ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有値に基づき前記移動距離を算出する。
これによれば、主成分分析によって、物体が形成する軌跡から移動距離を算出することができる。主成分分析は、算出される移動距離の他に得られる情報が多く、算出される移動距離と併せて当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
また、例えば、前記計数ステップでは、前記一致度が前記第1閾値よりも大きく、かつ、算出された前記移動距離が第2閾値よりも大きい場合に、前記物体を前記結合体として計数する。
これによれば、特定される移動方向と、算出される移動距離とを用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
また、例えば、さらに、取得した前記画像内の複数の軌跡のうち、同一の前記物質によって形成された二つの軌跡どうしを一つの軌跡となるように連結するマージステップを含む。
これによれば、画像処理上で途切れてしまった軌跡を連結して、連結した軌跡を用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、途切れてしまったままの軌跡を用いる場合に比べ、より正確に結合体を計数することが可能となる。
また、例えば、前記マージステップでは、取得した前記画像内の複数の軌跡のうち、各々の前記移動方向の類似度が第3閾値よりも大きい一の軌跡及び他の軌跡の組み合わせであって、各々の前記移動方向の前後における前記一の軌跡の前端と、前記他の軌跡の後端との距離が第4閾値以内である組み合わせにおいて、前記一の軌跡の前端と前記他の軌跡の後端とを連結して、前記一の軌跡の後端から前記他の軌跡の前端までの一つの軌跡とする。
これによれば、移動方向と、軌跡どうしの距離とを用いて、画像処理上で途切れてしまった軌跡を連結して、連結した軌跡を用いて、当該軌跡が結合体によるものか否かの判定に用いることができる。よって、途切れてしまったままの軌跡を用いる場合に比べ、より正確に結合体を計数することが可能となる。
また、例えば、前記画像は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である。
これによれば、連続的に撮像されたフレーム画像を加算して得られた合成画像を用いて、軌跡が結合体によるものか否かの判定に用いることができる。よって、複数のフレームの画像をそのまま用いる動画像等に比べ、処理されるべき画像数を大幅に削減できるため、計数処理に要求される処理性能を低下させることが可能となる。
また、例えば、前記移動物質は、誘電体であり、前記外力として電場が印加された際に誘電泳動力によって移動する。
これによれば、取得された画像上で誘電泳動力によって移動する軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
また、例えば、前記移動物質は、磁性体であり、前記外力として磁場勾配が印加された際に磁力によって移動する。
これによれば、取得された画像上で磁力によって移動する軌跡が結合体によるものか否かの判定に用いることができる。よって、より正確に結合体を計数することが可能となる。
また、例えば、前記標的物質は、ウイルスを構成する物質であり、前記移動物質は、前記移動物質の表面に固定された結合子であって、前記物質に特異的に結合する結合子を介して前記物質に結合する。
これによれば、標的物質としてウイルスを構成する物質と移動物質とが結合子を介して結合して形成された結合体を、より正確に計数することが可能となる。
また、本開示に係るプログラムの一態様は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる。
このようなプログラムは、外力の作用によって移動する結合体と、その他とを、画像上の物体の移動方向、及び外力が作用されている所定方向の一致度に基づいて判別できる。具体的には、算出された一致度が第1閾値よりも大きく、移動方向と所定方向とが一致していると判定される場合、画像上の物体は、外力が作用されている方向に移動していると判定できる。よって、このような物体は、外力の作用によって移動する結合体であると判定される。一方で、算出された一致度が第1閾値以下であり、移動方向と所定方向とが一致していないと判定される場合、画像上の物体は、外力が作用されている方向とは異なる方向に移動していると判定できる。よってこのような物体は、外力の作用によらず移動する夾雑物等であると判定される。このようにして、移動の有無で結合体か否かを判定していた場合に比べ、移動方向と外力が作用される所定方向とを用いた方向に基づく判定により、より正確に結合体を計数することが可能となる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
また、以下において、平行及び垂直などの要素間の関係性を示す用語、及び、矩形状などの要素の形状を示す用語、並びに、数値範囲は、厳格な意味を表すのではなく、実質的に同等な範囲、例えば数%程度の差異をも含むことを意味する。
また、以下で説明する結合体の計数とは、計数された結合体数から、移動物質と所定の結合比で結合する標的物質を計数することを含む概念である。すなわち、本開示の計数方法は、標的物質の計数方法として利用することもできる。また、本開示における結合体の計数には、所定の容量の溶液状の試料中に存在する計数された結合体の個数濃度として、結合体の濃度を測定する概念が含まれる。さらに、ここでの濃度の測定には、所定の容量の試料中の個数濃度が0個か否かに基づく、結合体の有無の検出の概念も含まれる。
(実施の形態)
[概要]
はじめに、本実施の形態における画像処理の概念について、図1A及び図1Bを用いて説明する。図1Aは、実施の形態において取得される画像を説明する概略図である。また、図1Bは、取得される画像から特定される移動方向を説明する概略図である。
[概要]
はじめに、本実施の形態における画像処理の概念について、図1A及び図1Bを用いて説明する。図1Aは、実施の形態において取得される画像を説明する概略図である。また、図1Bは、取得される画像から特定される移動方向を説明する概略図である。
図1Aでは、一例として、標的物質を含み、外力の作用によって移動する結合体と、外力の作用とは無関係に移動する夾雑物とが図示されている。本実施の形態において取得される画像は、図1Aに示すように、アプリケーションウインドウ109aによって、後述するモニタ109上に表示される。結合体及び夾雑物は、撮像された画像上では輝点として結像される物体であり、画像からこれらを判別することは実質的に不可能である。ここで、本実施の形態において取得される画像は、第1時点から第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である。複数のフレーム画像の輝度値を単に加算することで輝点が把握され難くなる場合には、複数のフレーム画像の各々を二値化してから加算してもよい。また、所定の閾値以上の輝度を有する輝点を抽出して、当該抽出した輝点の輝度値を加算してもよい。なお、本開示の内容は、第1時点から第2時点までの間に露光を続けることによって撮像された長期間の露光を行った画像であっても有効である。
合成画像Icにおける画素位置iの輝度値Iciは、
Ici=(I1i+・・・+Iki+・・・+Ini)/n
であってもよい。k、nは自然数であり、1<k<nである。ここで、第1時点である第1時間t1から第2時点である第n時間tnまでの間に連続的に撮像された複数のフレーム画像はI1、~、Ik、~、Inであり、I1は時間t1に撮像され、~、Ikは時間tkに撮像され、~、Inは時間tnに撮像され、輝度値I1iはフレーム画像I1における画素位置iの輝度値、~、輝度値Ikiはフレーム画像Ikにおける画素位置iの輝度値、~、輝度値Iniはフレーム画像Inにおける画素位置iの輝度値とする。
Ici=(I1i+・・・+Iki+・・・+Ini)/n
であってもよい。k、nは自然数であり、1<k<nである。ここで、第1時点である第1時間t1から第2時点である第n時間tnまでの間に連続的に撮像された複数のフレーム画像はI1、~、Ik、~、Inであり、I1は時間t1に撮像され、~、Ikは時間tkに撮像され、~、Inは時間tnに撮像され、輝度値I1iはフレーム画像I1における画素位置iの輝度値、~、輝度値Ikiはフレーム画像Ikにおける画素位置iの輝度値、~、輝度値Iniはフレーム画像Inにおける画素位置iの輝度値とする。
フレーム画像I1における画素位置i、~、フレーム画像Ikにおける画素位置i、~、フレーム画像Inにおける画素位置iのそれぞれは合成画像Icにおける画素位置iと対応する。上記において、輝度値は画素値であってもよい。
上記において説明したように、フレーム画像とフレーム画像との間には、間欠箇所が存在し、当該間欠箇所に対応する期間において、結合体及び夾雑物は、画像上において分断された軌跡を形成する輝点として結像される。具体的には、夾雑物は、第1期間の移動に対応する軌跡43、第2期間に対応する軌跡44、第3期間に対応する軌跡45、第4期間に対応する軌跡46を形成している。また、結合体は、第1期間に対応する軌跡47、第2期間に対応する軌跡48、第3期間に対応する軌跡49、第4期間に対応する軌跡50を形成している。
図1Aからわかるように、結合体及び夾雑物は、所定の長さの軌跡が延びるよう、各々のフレーム画像は、十分な露光期間を有するように撮像条件が設定される。例えば、より移動速度が遅い結合体及び夾雑物であれば、各々のフレーム画像における露光期間がより長くなるように撮像条件が設定される。このように、軌跡の延びる方向に基づいて、各々の輝点の移動方向を特定することができる。
図1Bでは、各々の輝点の移動方向を矢印で示している。具体的には、軌跡43から特定された移動方向43a、軌跡44から特定された移動方向44a、軌跡45から特定された移動方向45a、及び、軌跡46から特定された移動方向46aが示されている。同様に、軌跡47から特定された移動方向47a、軌跡48から特定された移動方向48a、軌跡49から特定された移動方向49a、及び、軌跡50から特定された移動方向50aが示されている。
このように、各々の輝点の移動における軌跡について、当該軌跡の後端(矢印の始点側)から前端(矢印の終点側)までを結ぶことで、輝点が移動したとみなした場合の移動方向を特定することができる。なお、夾雑物等の輝点は、実際には移動していないものの、上記のように画像処理上で移動しているとみなされうる場合があり、見かけ上の移動の方向として移動方向が特定される。
ここで、外力が作用される方向について説明する。図1A及び図1Bには、実際に取得される画像上には存在しない白抜き矢印を用いて、外力方向を示している。このように、本実施の形態では、外力は所定方向に沿って作用される。所定方向とは、外力の作用によって、結合体が移動することが想定される方向である。以下の説明では、外力として電場又は磁場を作用させる場合について説明する。なお、外力として流れ場等を作用させてもよく、この場合、当該流れ場と関連する抗力によって所定方向を決定することができる。
本実施の形態では、外力が作用される所定方向と、取得された画像から特定される輝点の移動方向との一致度に基づいて、当該輝点の移動が外力によるものか否かを推定する。なお、以上に説明した輝点とは、画像上に映る物体であり、本実施の形態では、一例として結合体に含まれる物質が蛍光又は散乱光の発光現象により、光を発する場合を説明する。計数対象となる物体が、十分に検出可能な構成であれば、物体による発光現象を利用せず、自然光等の反射によって撮像された画像が取得されてもよい。つまり、本実施の形態は、検出又は計数の対象としている標的物質と、外力の作用により移動する移動物質とが結合された結合体であれば実施可能である。
なお、標的物質は、タンパク質、脂質、糖、核酸等であり、検出又は計数の対象のウイルス、微生物、細菌等の産生する、又はこれらを構成する生体関連物質である。上記の移動物質については後述するが、このような標的物質と移動物質とは、移動物質の表面に固定された抗体等の結合子を介して結合する。結合子としては、例えば、上記の抗体の他、標的物質側に修飾する等で標的物質が有するアビジンに対して結合するビオチン等、標的物質に特異的に結合する結合様式のものを任意に用いることができる。
[システム構成]
以下では、本実施の形態における計数システムについて、図2A及び図2Bを用いて説明する。図2Aは、実施の形態に係る計数システムの機能ブロック図である。図2Aに示すように、本実施の形態における計数システム100は、検出装置101と、コントローラ102と、計数装置103と、モニタ109とを備える。なお、クライアント装置から上記に説明した画像を取得し、計数結果を当該クライアント装置に出力するサーバ装置として計数方法を実施する場合には、計数システム100は、計数装置103を備えていればよい。つまり、検出装置101と、コントローラ102と、モニタ109とは、必須ではない。
以下では、本実施の形態における計数システムについて、図2A及び図2Bを用いて説明する。図2Aは、実施の形態に係る計数システムの機能ブロック図である。図2Aに示すように、本実施の形態における計数システム100は、検出装置101と、コントローラ102と、計数装置103と、モニタ109とを備える。なお、クライアント装置から上記に説明した画像を取得し、計数結果を当該クライアント装置に出力するサーバ装置として計数方法を実施する場合には、計数システム100は、計数装置103を備えていればよい。つまり、検出装置101と、コントローラ102と、モニタ109とは、必須ではない。
図2Bは、実施の形態に係る検出装置の概略図である。図2Bに示すように、検出装置101は、溶液保持部20と、外力印加部29と、撮像装置30とを備える。検出装置101は、溶液保持部20内に形成される空間27に収容された、試料に対して、外力印加部29によって外力を作用させながら撮像装置30によって画像を撮像する。以下、検出装置101を構成する各構成要素について詳細に説明する。
溶液保持部20は、検出板21と溶液保持槽23とカバーガラス25とを備える。検出板21は、光透過性を有する樹脂又はガラス等の硬質材料によって形成された板状部材である。検出板21の裏面(紙面下側の面)から、図示しない光源等を用いて励起光を入射することで、検出板21の表面(紙面上側の面)に位置する空間27内の溶液に対して当該励起光を照射することができる。なお、裏面から励起光を照射する必要がない場合、検出板21は、光透過性を有していなくてもよい。
溶液保持槽23は、検出板21に積層されるシート状の部材であり、例えばシリコン樹脂等によって構成される。溶液保持槽23は、シートの内部(面内方向における内部)において、シートの両主面を貫通してくりぬかれたくりぬき部を有する。溶液保持槽23は、検出板21に積層されることで、検出板21の表面と、くりぬき部の外周(つまり溶液保持槽23の内側面)とに囲まれた容器形状を形成する。本実施の形態において溶液保持槽23のくりぬき部は、溶液保持槽23を平面視した場合に円形である。したがって検出板21と、溶液保持槽23とによって形成される容器形状は、円柱状の空間27を有する。なお、くりぬき部の形状は、円形に限定されず多角形状等のいかなる形状であってもかまわない。
カバーガラス25は、溶液保持槽23にさらに積層され、樹脂又はガラス等の硬質材料によって形成された板状部材である。カバーガラス25は、透光性の材料によって形成されていれば形状に限定はない。カバーガラス25は、検出板21と溶液保持槽23とによって形成された空間27の蓋の役割を担うため、平面視において前述したくりぬき部を覆うことができる形状、及び大きさである。なお、カバーガラス25の材質は、ガラスに加え、樹脂等でもあってもかまわない。カバーガラス25は、光透過性を有すれば、どのような構成であってもよい。
このようにして、検出板21、溶液保持槽23、及びカバーガラス25によって空間27は、略密閉可能となる。前述したように、空間27には計数システム100によって検出又は計数される対象の試料が収容される。つまり、試料が溶液保持部20に充填された状態で、試料に含まれ得る結合体の検出が行われる。試料は、カバーガラス25を開くことで空間27に導入される。つまり、カバーガラス25は、空間27にアクセス可能な開口を覆う。当該開口は、結合体を含み得る試料が導入される導入部の一例である。なお、空間27と外部とを連通する細孔を設けてもよく、この場合には、当該細孔が導入部となる。
空間27からカバーガラス25側に向かう光の一部は、溶液保持部20に対向して配置された撮像装置30において受光される。撮像装置30は、集光性を有する集光部材31とイメージセンサ35とが筐体37に内蔵された受光装置である。また、撮像装置30は必要に応じて、一部の波長の光を選択的に透過させるフィルタ33を備えてもよい。つまり、フィルタ33を備えなくても本開示を実施可能であるが、本実施の形態においては、フィルタ33により一部の波長の光がイメージセンサ35に入射される例を説明する。集光部材31は、例えば屈折式のレンズであり、撮像装置30が受光した光をイメージセンサ35に集光する。集光部材31は単一のレンズによって構成されてもよく、複数のレンズを用いて構成されてもよい。
フィルタ33は、例えば、結合体が発生する蛍光の主要な波長成分を透過させ、その他を吸収又は反射する光学特性を有する。これにより、結合体が発生した蛍光又は散乱光を高精度に検出することができる。イメージセンサ35は、フォトダイオードを用いるもの、及び光増倍管を組み合わせたもの等の、公知の光検出手段であってもかまわない。撮像装置30を用いて撮像される対象は、検出板21に沿う2次元面であるため、イメージセンサ35としてCCDイメージセンサ又はCMOSイメージセンサ等の2次元センサを用いてもよい。これにより、多くの情報を含む画像を得ることが可能となる。
また、筐体37は、金属又は樹脂等で構成される。筐体37は、カバーガラス25に対向する面に窓を有する。当該窓から受光された光がイメージセンサ35に入射する。筐体37には、上記の窓から受光された光の光路に沿って、集光部材31、フィルタ33、イメージセンサ35がこの順に配置され、それぞれの位置関係が一定に保たれるように保持部(不図示)が形成されている。また、上記の窓は、集光部材31によって構成されてもよい。つまり、筐体37の光を受光する面に形成された開口に、集光部材31がはめ込まれることで上記の窓が構成されてもよい。なお、筐体37は、集光部材31に入射する光を除き、その他の外光が筐体37の内部に入り込まないよう、遮光性を有する材料によって構成されている。
外力印加部29は、外力として電場を印加する場合、及び、外力として磁場勾配を印加する場合によって構成が異なる。それぞれの場合について、図3A~図3Cを用いて説明する。図3Aは、実施の形態に係る外力と移動物質との関係を説明する第1図である。また、図3Bは、実施の形態に係る外力と移動物質との関係を説明する第2図である。また、図3Cは、実施の形態に係る外力と移動物質との関係を説明する第3図である。
例えば、外力として電場を印加する場合、図3A及び図3Bの構成が考えられる。図3A及び図3Bでは、外力印加部29の一例である第1電場印加部29aと第2電場印加部29bとを用いて空間27に収容された試料に対して電場が印加されることで、不均一な電場27a及び27bが形成される。結合体41a及び41bは、移動物質である誘電体を含み、試料中の結合体41a及び41bと外液画分との誘電率の違い、ならびに、電場27a及び27bの電場強度の大きさと電場の印加に用いられた交流電源の周波数とに応じて移動する。第1電場印加部29a及び第2電場印加部29bは、交流電源に接続された電極である。また、誘電体としては、例えばポリスチレンビーズを用いればよい。このような現象は、誘電泳動(DEP:Dielectrophoresis)として一般に知られている。
誘電泳動では、外液画分よりも誘電体の誘電率の方が大きい場合、図3Aに示すように、誘電体は、結合体41aを形成している標的物質とともに誘電泳動によって、不均一な電場27a中を電場強度が大きい方へと移動する(正の誘電泳動:positive-DEP)。この場合、図中の矢印のように電場強度の小さい方から大きい方へと所定方向が設定される。一方で、誘電体よりも外液画分の誘電率の方が大きい場合、図3Bに示すように、誘電体は、結合体41bを形成している標的物質とともに誘電泳動によって、不均一な電場27b中を電場強度が小さい方へと移動する(負の誘電泳動:negative-DEP)。この場合、図中の矢印のように電場強度の大きい方から小さい方へと所定方向が設定される。このようにして、移動物質として誘電体を用いることで、誘電泳動を利用して、結合体41a又は41bを所定方向に移動させることができる。
また、例えば、外力として、磁場勾配を印加する場合、図3Cの構成が考えられる。図3Cでは、外力印加部29の一例である磁場印加部29cを用いて空間27に収容された試料に対して磁場勾配が印加されることで、磁場勾配27cが形成される。結合体41cは、移動物質である磁性体を含み、磁場勾配27cに応じて移動する。磁性体としては、常磁性又は強磁性を有する金属微粒子等を用いればよい。
図3Cに示すように、磁性体は、結合体41cを形成している標的物質とともに磁場勾配27c中を磁場印加部29cに向かって移動する。磁場印加部29cは、例えばネオジム磁石、フェライト磁石、又はアルニコ磁石等の永久磁石であるが、コイル、芯材、及び直流電源装置を備える電磁石であってもよい。このような磁場勾配27cを用いる場合、図中の矢印のように磁場印加部29cがない方から、磁場印加部29cがある方へと所定方向が設定される。このようにして、移動物質として磁性体を用いることで、結合体41cを所定方向に移動させることができる。
検出装置101は、溶液保持部20において収容されている試料に対して所定方向に外力を作用させ、外力に応じて移動する結合体を撮像し、画像を出力する。
図2Aに戻り、コントローラ102は、制御信号を生成して検出装置101に送信することにより、検出装置101を制御するための制御装置である。また、コントローラ102は、検出装置101から出力された画像を、後述する計数装置103へと伝送するインタフェース装置でもある。したがって、検出装置101によって撮像され、出力された画像は、コントローラ102を介して、計数装置103によって取得される。
計数装置103は、標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して外力を所定方向に作用させた際に、移動する結合体を計数する装置である。具体的には、計数装置103は、取得部104、特定部105、計数部106、算出部107、及びマージ部108を備える。計数装置103を構成する各構成要素は、プロセッサ、メモリ、及び、当該プロセッサとメモリとを用いて実行されるプログラムによって実現される。つまり、取得部104は、取得ステップを実行するための処理部であり、特定部105は、特定ステップを実行するための処理部であり、計数部106は、計数ステップを実行するための処理部であり、算出部107は、算出ステップを実行するための処理部であり、マージ部108は、マージステップを実行するための処理部である。
モニタ109は、計数装置103によって実施された結合体の計数結果を表示する表示装置である。モニタ109は例えば、液晶、又は有機EL等の表示パネルを用いて表示画像を表示する。
[動作]
以下では、計数装置103の動作を中心に、計数システム100によって実現される計数方法について図面を参照して説明する。
以下では、計数装置103の動作を中心に、計数システム100によって実現される計数方法について図面を参照して説明する。
図4Aは、実施の形態に係る計数方法を示すフローチャートである。
はじめに、計数システム100では、試料中の物体が撮像された画像を取得する(取得ステップS11)。計数システム100では、上記に説明したように、検出装置101がコントローラ102の制御信号に従って動作することで、試料の画像を撮像し、撮像された画像がコントローラ102を介して、取得部104によって取得される。
取得された画像には、輝点と、その他の点とを区別するための二値化が適用される(ステップS12)。さらに二値化後の画像に対して、ノイズ除去が行われる(ステップS13)。ノイズ除去は、メディアンフィルタ、及び平滑化フィルタ等のノイズ除去フィルタによって画像を処理することで行われる。このような処理を経た画像において撮像されている輝点の移動を軌跡として抽出する。具体的には、ステップS13においてノイズ除去された画像に対して、輝度値が二値のうちのいずれであるかによって、エッジ検出を行う(ステップS14)。例えば、高輝度のピクセルと低輝度のピクセルとの境目をエッジとして検出する。このような境目がひとつながり(つまり閉じられた状態)となる箇所を輝点の移動に伴う軌跡として抽出する(ステップS15)。
以上のステップS12~ステップS15は、例えば、計数装置103に備えられる、図示しない前処理部によって前処理ステップとして実施される。なお、このような前処理ステップが行われた後の画像を取得部104が取得してもよい。
このように抽出された軌跡から、試料に含まれる結合体を計数し、さらに各々の結合体の移動速度を算出する(ステップS16)。計数システム100は、計数結果を、算出された移動速度とともに、例えば、モニタ109に表示させるための表示画像として出力する(ステップS17)。
以下、ステップS16のさらなる詳細について、図4B、図5A~図5I、及び図6を用いて説明する。図4Bは、実施の形態に係る標的物質の計数についてより詳細に説明するサブフローチャートである。また、図5A~図5Iは、各処理ステップにおいて行われている画像処理を概説するための説明図である。
計数装置103では、取得部104において取得され、上記の前処理ステップを経て、図5Aに示すような画像が得られる。また、図1A及び図1Bと同様に、実際の画像上にはない外力方向(つまり所定方向)を白抜き矢印によって仮想的に示している。
計数装置103では、画像中において抽出されたすべての軌跡について、主成分分析を行うことで、(図5A~図5Iでは黒で示す)二値のうちの輝点に対応するピクセルの第1主成分を算出する。このようにして、画像上のピクセルの主成分分析により、第1主成分の固有ベクトル、及び第1主成分の寄与度を算出する(ステップS21)。算出された固有ベクトルは、当該軌跡を構成するピクセルの集合が最も分散している方向を示しており、輝点の移動方向とみなすことができる。つまり、ステップS21は、輝点の移動方向を特定する特定ステップである。
計数装置103は、画像中に含まれる軌跡のうち、一つの軌跡を選択する(ステップS22)。計数装置103は、選択した軌跡の主成分分析によって算出された移動方向と、外力方向との一致度を算出する(ステップS23)。一致度は、例えば、外力方向と移動方向との2次元面上の傾きの差が、いずれかの方向の傾きに対して何パーセントであるか等の条件に基づき設定された第1閾値を基準として、当該第1閾値以下の場合に一致度が低く、当該第1閾値よりも大きい場合に一致度が高いとして推定される。第1閾値は、上記の他、単に傾きの差であってもよく、角度の差であってもよい。
つまり、外力方向と移動方向との一致度が第1閾値よりも大きい場合に、当該移動方向が算出された軌跡は、外力に従って移動したものと判定される。これに対して、外力方向と移動方向との一致度が第1閾値以下である場合に、当該移動方向が算出された軌跡は、外力とは異なる力又は移動していないにもかかわらず画像処理上移動したものと認識されてしまったものであると考えられる。したがって、一致度と第1閾値との比較が行われ(ステップS24)、一致度が、第1閾値以下であると判定された場合(ステップS24でNo)、当該軌跡が計数の対象から除外される(ステップS26)。
なお、第1閾値は、輝点に対応するピクセルと外力方向との相関係数に対して設定されてもよい。一例として、輝点に対応するピクセルが外力方向に対して80%よりも大きい(つまり、相関係数が0.8よりも大きい)相関を示す輝点を残して、その他を除外することで外力に従って移動した軌跡を良好に抽出できる。
図5Bでは、矢印で示した円形が囲む軌跡について、一致度が第1閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、図5Cに示すように、計数に用いられる軌跡から除外される。
ここで、さらに、図6を参照することにより、上記の図3A及び図3Bにおいて説明した誘電泳動を用いる場合の一致度と第1閾値との比較についても説明する。図6は、実施の形態において誘電泳動を適用した場合の一致度を例示する図である。図6の(a)には、外力としての電場を形成するための電場印加部29dが示されている。また、図6の(b)には、図6の(a)における二点鎖線で示す領域Bを拡大した拡大図が示されている。なお、図6の(b)では、図6の(a)において図示が省略された、誘電性を有する移動物質である誘電体41dが併せて示されている。このように、本図では判読性のため、輝点ではなく実際の移動物質(つまり誘電体41d)と、電場印加部29dとが図示されているが、実際には、上記の例と同様に移動物質に対応する輝点の軌跡と背景色とが含まれる画像が取得される。
図6の(a)に示すように、電場印加部29dは、複数の電極29eと、当該電極29eに交流電圧を印加する電源29fとを含む。電極29eは、紙面に沿う方向に板面を有する平板状であり、例えば、紙面に沿う方向に板面を有する基板上に、当該板面に沿うようにして形成されている。誘電体41dは、この基板上に置かれた際に、基板上の電極29e同士の間に形成された電場勾配に従って移動する。
図中に示すように、電極29eでは、紙面に沿う方向に凹又は凸となる凹凸形状が、紙面左右方向に規則的に繰り返すようにして形成されており、隣り合う電極29eに対して、凹部同士及び凸部同士がずれていることにより、凹部と凸部とが対向している。このように電極29e間の距離が場所ごとに異なることによって、交流電圧が印加された際に、電極29e同士の間に電場勾配が形成される。具体的には、図中の電場印加部29dの構成においては、電極29eの凹部は、電場強度の小さい領域となり、負の誘電泳動によって誘電体41dが集まる領域となる。このような電極29eは、Castellated電極と呼ばれる場合がある。
図6の(b)に示すように、複数の凹部のそれぞれが同じように電場強度の小さい領域となり、電場勾配の形成によってそれぞれ近い位置に置かれた誘電体41dが集まる。ここで、形成された電場勾配に従って誘電体41dのそれぞれが移動することから、外力方向は、電場勾配を決定する要因である電極29eの構成、予備実験、及び、経験則等に従って決定されればよい。図中の電極29eの例では、凹部に入り込む平均的な方向として、凹部に対向する凸部から当該凹部に向かって延びる破線矢印で示される直線状のベクトルが外力方向に設定される。
また、この例において、移動方向が外力方向と一致しているか否かは、例えば、凹部に入り込む誘電体41dを十分にカバー可能なように設定された、移動方向と外力方向とが成す角度に応じて判断される。図中の例では、この角度は、記号xで示す凹部の幅(言い換えると、隣接する凸部間の距離)、及び、記号yで示す凹部の深さ(言い換えると、凸部の高さ)によって決定される。図中では、外力方向を示す直線状のベクトルと、凹部内で延びる二本の一点鎖線のそれぞれとが成す角度が、上記の角度として適用される。したがって、ここでは、直線状のベクトルの方向に代表される凹部に入り込む方向であり、かつ、二本の一点鎖線の間の範囲内の移動方向を示す軌跡を、移動体である誘電体41dの軌跡として計数の対象として採用すればよい。言い換えると、凹部に入り込む方向ではない、又は、二本の一点鎖線の間の範囲内の移動方向を示す軌跡を、移動体による軌跡ではないものとして計数の対象から除外すればよい。
なお、二つの直線(又は、方向を考慮する場合にはベクトル)が成す角度は、直線同士のコサイン類似度として表現できる。したがって、上記の移動方向と外力方向との一致の判定には、コサイン類似度によって設定された閾値(つまり第1閾値)を用いることができる。具体的には、外力方向と一致するとみなされる範囲内で破線矢印のベクトルに対して成す角度が最も大きい移動方向は、2本の一点鎖線のいずれか一方に沿う方向(以下一点鎖線の方向ともいう)である。一点鎖線は、矩形の凹部に対応して形成されており、図中に示すように、長さy、及び、長さx/2の直交する2辺を有する直角三角形の斜辺に設定されている。つまり、一点鎖線の方向と破線矢印のベクトルとが成す角度θは、逆余弦関数を用いて、次式1のように表すことができる。
すなわち、第1閾値であるコサイン類似度として、次式2のように、x及びyの値によって定まる数字が設定される。
なお、これらの外力方向及び第1閾値は、図中に示す矩形の凹部を有する電極29eを用いる場合の一例であり、電極29eの構成、実験、及び、経験則等に加え、要求される計数の精度などに応じて適切に設定されればよい。
図4Bに戻り、一致度が第1閾値よりも大きいと判定された場合(ステップS24でYes)、ステップS25に進む。ここで、第1主成分の寄与度が低い場合、当該軌跡は、十分な分散軸を有さないと推定される。したがって、このような第1主成分の寄与度が低い場合には、正確に輝点の移動方向を算出できていない場合がある。つまり、第1主成分の寄与度と第5閾値との比較を行い(ステップS25)、第1主成分の寄与度が第5閾値以下であると判定された場合(ステップS25でNo)、当該軌跡は、精度よく移動方向を算出できていない可能性があるため計数の対象から除外される(ステップS26)。
図5Dでは、矢印で示した円形が囲む軌跡について、第1主成分の寄与度が第5閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、図5Eに示すように、計数に用いられる軌跡から除外される。
図4Bに戻り、第1主成分の寄与度が第5閾値よりも大きいと判定された場合(ステップS25でYes)、すべての軌跡について、選択が行われ、以上の第1閾値及び第5閾値との比較が行われたか否かが判定される(ステップS27)。未選択の軌跡がある場合(ステップS27でNo)、ステップS22に戻り、軌跡の選択を行う。一方で、すべての軌跡が選択されたと判定された場合(ステップS27でYes)、ステップS28に進む。
以下では、計数装置103は、画像処理の条件及び、結合体の試料内における移動に伴って、本来一つであったはずの軌跡どうしを連結するマージステップを実施する。はじめに、計数装置103は、画像中の軌跡から一の軌跡と他の軌跡との組み合わせを選択する(ステップS28)。これらの選択された組み合わせの一の軌跡と他の軌跡とは、移動方向が互いに類似しているか否かが判定される(ステップS29)。同じ結合体に由来する輝点であれば、外力の作用によって移動する方向は略一致していると推定される。
したがって、一の軌跡と他の軌跡との互いの移動方向の類似度合いを示す類似度が第3閾値以下である場合(ステップS29でNo)、以降のステップS30及びステップS31を省略して、これらの一の軌跡と他の軌跡との連結を行わない。一の軌跡と他の軌跡との類似度が第3閾値よりも大きいと判定された場合(ステップS29でYes)、さらに、ステップS30の判定が行われる。具体的には、一の軌跡の前端と他の軌跡の後端との距離が第4閾値以内か否か(言い換えると、第4閾値以下か否か)が判定される(ステップS30)。
これは、画像平面上の距離(例えば、ユークリッド距離等)が遠く、平行して同様の移動方向に移動する輝点どうしが連結されることを排除するための処理である。よって、距離が第4閾値よりも大きいと判定された場合(ステップS30でNo)、ステップS31を省略して、これらの一の軌跡と他の軌跡の連結を行わない。一方、距離が第4閾値以内であると判定された場合(ステップS30でYes)、当該一の軌跡の前端及び当該他の軌跡の後端を連結して、一の軌跡の後端から他の軌跡の前端までの一つの軌跡とする(ステップS31)。
計数装置103は、このような処理を、すべての組み合わせの一の軌跡及び他の軌跡について行ったか否かを判定し(ステップS32)、未選択の組み合わせがある場合(ステップS32でNo)、ステップS28に戻り、組み合わせの選択を行う。一方で、すべての組み合わせが選択されたと判定された場合(ステップS32でYes)、ステップS33に進む。
図5Fでは、第3閾値及び第4閾値の条件を満たす組み合わせの軌跡について、破線で示すように、軌跡が連結されている。
続いて計数装置103では、連結が終了した軌跡を用いて、各々の軌跡から輝点の移動距離を算出する(算出ステップS33)。具体的には、マージステップが実施された後の軌跡の各々について、主成分分析を行い、第1主成分の固有値を算出する。第1主成分の固有値は、当該軌跡を構成するピクセルの集合が最も分散している分散幅を示しており、輝点の移動距離とみなすことができる。
また、計数装置103は、算出された輝点の移動距離から、当該輝点の移動速度を算出する(ステップS34)。ここで再び、軌跡のうち一つを選択する(ステップS35)。計数装置103は、選択された軌跡において、算出された移動距離が第2閾値よりも大きいか否かを判定する(ステップS36)。これは、外力と関与しない輝点が偶然に外力方向に沿う移動方向を示す場合に、移動距離が外力の作用によって移動した場合に示す十分な移動距離を満たすか否かによって、このような軌跡を排除するための処理である。選択された軌跡において算出された移動距離が、第2閾値以下であると判定された場合(ステップS36でNo)、当該軌跡が計数の対象から除外される(ステップS37)。
図5Gでは、矢印で示した円形が囲む軌跡について、算出された移動距離が第2閾値以下であったことを示している。したがって、これらの円形が囲む軌跡は、図5Hに示すように、計数に用いられる軌跡から除外される。
図4Bに戻り、選択された軌跡において算出された移動距離が、第2閾値よりも大きいと判定された場合(ステップS36でYes)、ステップS38に進む。計数装置103は、このような処理を、すべての軌跡について行ったか否かを判定し(ステップS38)、未選択の軌跡がある場合(ステップS38でNo)、ステップS33に戻り、軌跡の選択を行う。一方で、すべての軌跡が選択されたと判定された場合(ステップS38でYes)、ステップS39に進む。
計数装置103は、このようにして、除外されることなく画像中に残された軌跡を形成する輝点を結合体による輝点であるとして計数する(計数ステップS39)。
計数結果として、例えば、図5Iに示すような画像が出力され、アプリケーションウインドウ109a上に表示される。図5Iでは、除外されることなく残された「結合体1」、「結合体2」、及び「結合体3」の、3つの結合体について、各々の軌跡から算出された移動速度とともに表示されている。
(その他の実施の形態)
以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
また、上記実施の形態等において測定装置を構成する構成要素について例示したが、測定装置が備える構成要素の各機能は、測定装置を構成する複数の部分にどのように振り分けられてもよい。
その他、実施の形態等に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
例えば、上記実施の形態において算出した移動速度を計数結果とともに出力する構成を説明したが、計数結果を出力し、移動速度は、算出しない構成であってもよい。
また、例えば、上記実施の形態においては、移動方向とともに、固有値又は第1主成分の寄与度を用いて算出される移動距離を用いて結合体による軌跡を計数する構成を説明したが、移動方向を用いて結合体による軌跡を計数してもよい。
また、例えば、上記実施の形態では、各種の算出を主成分分析によって行ったが、回帰分析、線形近似等の任意の方法によって種々の算出を行ってもよい。
本開示は、簡単、高速、かつ正確な標的物質の検出、観察等を目的とする装置に用いられる。
20 溶液保持部
21 検出板
23 溶液保持槽
25 カバーガラス
27 空間
27a、27b 電場
27c 磁場勾配
29 外力印加部
29a 第1電場印加部
29b 第2電場印加部
29c 磁場印加部
29d 電場印加部
29e 電極
29f 電源
30 撮像装置
31 集光部材
33 フィルタ
35 イメージセンサ
37 筐体
41a、41b、41c 結合体
41d 誘電体
43、44、45、46、47、48、49、50 軌跡
43a、44a、45a、46a、47a、48a、49a、50a 移動方向
100 計数システム
101 検出装置
102 コントローラ
103 計数装置
104 取得部
105 特定部
106 計数部
107 算出部
108 マージ部
109 モニタ
109a アプリケーションウインドウ
21 検出板
23 溶液保持槽
25 カバーガラス
27 空間
27a、27b 電場
27c 磁場勾配
29 外力印加部
29a 第1電場印加部
29b 第2電場印加部
29c 磁場印加部
29d 電場印加部
29e 電極
29f 電源
30 撮像装置
31 集光部材
33 フィルタ
35 イメージセンサ
37 筐体
41a、41b、41c 結合体
41d 誘電体
43、44、45、46、47、48、49、50 軌跡
43a、44a、45a、46a、47a、48a、49a、50a 移動方向
100 計数システム
101 検出装置
102 コントローラ
103 計数装置
104 取得部
105 特定部
106 計数部
107 算出部
108 マージ部
109 モニタ
109a アプリケーションウインドウ
Claims (14)
- 標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、
前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、
前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、
前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む
計数方法。 - 前記特定ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有ベクトルに基づき前記物体の前記移動方向を特定する
請求項1に記載の計数方法。 - さらに、前記第1時点及び前記第2時点の間における前記物体の移動距離を算出する算出ステップを含み、
前記計数ステップでは、算出された前記移動距離と、前記第1時点及び前記第2時点の間の経過時間とを用いて、前記結合体として計数された前記物体の移動速度を出力する
請求項1又は2に記載の計数方法。 - 前記算出ステップでは、前記画像内における前記軌跡に対応する複数の画素の主成分分析による第1主成分の固有値に基づき前記移動距離を算出する
請求項3に記載の計数方法。 - 前記計数ステップでは、前記一致度が前記第1閾値よりも大きく、かつ、算出された前記移動距離が第2閾値よりも大きい場合に、前記物体を前記結合体として計数する
請求項3又は4に記載の計数方法。 - さらに、取得した前記画像内の複数の軌跡のうち、同一の前記物体によって形成された二つの軌跡どうしを一つの軌跡となるように連結するマージステップを含む
請求項1~5のいずれか一項に記載の計数方法。 - 前記マージステップでは、取得した前記画像内の複数の軌跡のうち、各々の前記移動方向の類似度が第3閾値よりも大きい一の軌跡及び他の軌跡の組み合わせであって、各々の前記移動方向の前後における前記一の軌跡の前端と、前記他の軌跡の後端との距離が第4閾値以内である組み合わせにおいて、前記一の軌跡の前端と前記他の軌跡の後端とを連結して、前記一の軌跡の後端から前記他の軌跡の前端までの一つの軌跡とする
請求項6に記載の計数方法。 - 前記画像は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像の輝度値を加算して得られる合成画像である
請求項1~7のいずれか一項に記載の計数方法。 - 前記移動物質は、誘電体であり、前記外力として電場が印加された際に誘電泳動力によって移動する
請求項1~8のいずれか一項に記載の計数方法。 - 前記移動物質は、磁性体であり、前記外力として磁場勾配が印加された際に磁力によって移動する
請求項1~8のいずれか一項に記載の計数方法。 - 前記標的物質は、ウイルスを構成する物質であり、
前記移動物質は、前記移動物質の表面に固定された結合子であって、前記物質に特異的に結合する結合子を介して前記物質に結合する
請求項1~10のいずれか一項に記載の計数方法。 - 標的物質と、外力の作用により移動する移動物質とを結合させた結合体を含み得る試料に対して前記外力を所定方向に作用させて、移動する前記結合体を計数する計数方法であって、
前記外力が作用されている、第1時点から前記第1時点よりも後の第2時点までの間において前記試料内の物体が撮像された画像を取得する取得ステップと、
前記物体によって形成された前記画像内の軌跡から、前記物体の移動方向を特定する特定ステップと、
前記所定方向と前記移動方向との一致度が第1閾値よりも大きい場合に、前記物体を前記結合体として計数する計数ステップと、を含む計数方法をコンピュータに実行させる
プログラム。 - 試料に含まれる物質の複数の画像を含む画像を取得する取得部と、前記複数の画像は第1時点から前記第1時点よりも後の第2時点までの間に撮像され、前記第1時点から前記第2時点まで所定方向の外力が前記試料に加えられ、
前記複数の画像に基づいて、前記物質の移動方向を特定する特定部と、
前記所定方向と前記移動方向に基づいて前記物質を計数するかを決定する計数部を含み、
前記物質は第1物質と前記第1物質と結合した標的物質とを含み、前記第1物質は前記外力が前記第1物質に加えられた際に移動する
計数装置。 - 前記画像は合成画像であり、合成画像の位置iにおける輝度値は、前記第1時点から前記第2時点までの間に連続的に撮像された複数のフレーム画像における前記位置iに対応する複数の位置の複数の輝度値を加算した値に基づいて得られる
請求項13に記載の計数装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080071250.8A CN114514557A (zh) | 2019-10-25 | 2020-09-29 | 计数方法、计数装置及程序 |
EP20879021.2A EP4050323A4 (en) | 2019-10-25 | 2020-09-29 | COUNTING METHOD, COUNTING DEVICE AND PROGRAM |
JP2021554211A JP7535760B2 (ja) | 2019-10-25 | 2020-09-29 | 計数方法、計数装置、及びプログラム |
US17/699,384 US20220207753A1 (en) | 2019-10-25 | 2022-03-21 | Counting method, counting device, and recording medium |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194150 | 2019-10-25 | ||
JP2019-194150 | 2019-10-25 | ||
JP2020130145 | 2020-07-31 | ||
JP2020-130145 | 2020-07-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/699,384 Continuation US20220207753A1 (en) | 2019-10-25 | 2022-03-21 | Counting method, counting device, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021079701A1 true WO2021079701A1 (ja) | 2021-04-29 |
Family
ID=75619351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/037039 WO2021079701A1 (ja) | 2019-10-25 | 2020-09-29 | 計数方法、計数装置、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220207753A1 (ja) |
EP (1) | EP4050323A4 (ja) |
JP (1) | JP7535760B2 (ja) |
CN (1) | CN114514557A (ja) |
WO (1) | WO2021079701A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007530197A (ja) * | 2004-04-02 | 2007-11-01 | マウナ ケア テクノロジーズ | 血液流の速度を測定する方法および装置 |
JP2010119314A (ja) * | 2008-11-17 | 2010-06-03 | Dainippon Printing Co Ltd | 細胞画像解析装置 |
JP2011018269A (ja) * | 2009-07-10 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 半透明物体の動き検出装置および方法 |
JP2013032934A (ja) * | 2011-08-01 | 2013-02-14 | Ihi Corp | 粒子観察装置、分離装置及びマニピュレート装置 |
WO2017187744A1 (ja) | 2016-04-28 | 2017-11-02 | 国立研究開発法人産業技術総合研究所 | 光学的検出方法及び光学的検出装置 |
JP2018081069A (ja) * | 2016-11-16 | 2018-05-24 | 中原大學 | 目標物運動状態及びその磁性粒子含量の測定に用いる電磁泳動測定システム |
WO2019202123A1 (en) * | 2018-04-19 | 2019-10-24 | Castrol Limited | Apparatus and method for fluid analysis |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7709190B2 (en) * | 2005-12-02 | 2010-05-04 | Board Of Regents, The University Of Texas System | Influenza A virus vaccines and inhibitors |
WO2008132995A1 (ja) * | 2007-04-12 | 2008-11-06 | The University Of Electro-Communications | 粒子計測装置、及び粒径計測装置 |
JP2009229103A (ja) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | 金属コロイドの定量方法 |
TWI582408B (zh) * | 2011-08-29 | 2017-05-11 | 安美基公司 | 用於非破壞性檢測-流體中未溶解粒子之方法及裝置 |
WO2015108023A1 (ja) * | 2014-01-17 | 2015-07-23 | 株式会社ニコン | 微粒子分析装置、観察装置、微粒子分析プログラムおよび微粒子分析方法 |
CN109804235B (zh) * | 2016-11-30 | 2022-05-13 | 国立研究开发法人产业技术综合研究所 | 目标物质检测装置及目标物质检测方法 |
WO2018112255A1 (en) * | 2016-12-14 | 2018-06-21 | Progenity Inc. | Treatment of a disease of the gastrointestinal tract with an immunosuppressant |
KR20210138640A (ko) * | 2019-03-12 | 2021-11-19 | 노비럭스 엘엘씨 | 현장 진단 농도 분석기 |
-
2020
- 2020-09-29 EP EP20879021.2A patent/EP4050323A4/en active Pending
- 2020-09-29 CN CN202080071250.8A patent/CN114514557A/zh active Pending
- 2020-09-29 WO PCT/JP2020/037039 patent/WO2021079701A1/ja unknown
- 2020-09-29 JP JP2021554211A patent/JP7535760B2/ja active Active
-
2022
- 2022-03-21 US US17/699,384 patent/US20220207753A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007530197A (ja) * | 2004-04-02 | 2007-11-01 | マウナ ケア テクノロジーズ | 血液流の速度を測定する方法および装置 |
JP2010119314A (ja) * | 2008-11-17 | 2010-06-03 | Dainippon Printing Co Ltd | 細胞画像解析装置 |
JP2011018269A (ja) * | 2009-07-10 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 半透明物体の動き検出装置および方法 |
JP2013032934A (ja) * | 2011-08-01 | 2013-02-14 | Ihi Corp | 粒子観察装置、分離装置及びマニピュレート装置 |
WO2017187744A1 (ja) | 2016-04-28 | 2017-11-02 | 国立研究開発法人産業技術総合研究所 | 光学的検出方法及び光学的検出装置 |
JP2018081069A (ja) * | 2016-11-16 | 2018-05-24 | 中原大學 | 目標物運動状態及びその磁性粒子含量の測定に用いる電磁泳動測定システム |
WO2019202123A1 (en) * | 2018-04-19 | 2019-10-24 | Castrol Limited | Apparatus and method for fluid analysis |
Non-Patent Citations (1)
Title |
---|
See also references of EP4050323A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4050323A4 (en) | 2023-01-04 |
JP7535760B2 (ja) | 2024-08-19 |
JPWO2021079701A1 (ja) | 2021-04-29 |
EP4050323A1 (en) | 2022-08-31 |
CN114514557A (zh) | 2022-05-17 |
US20220207753A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2003219759B2 (en) | Methods and algorithms for cell enumeration in a low-cost cytometer | |
US7968832B2 (en) | Analyzer and use thereof | |
EP0980516B1 (en) | A method and a system for determination of particles in a liquid sample | |
JP2011510292A (ja) | 液体試料中の粒子を分析するための方法及び装置 | |
WO2009091317A1 (en) | Apparatus and method for analysis of particles in a liquid sample | |
WO2014070235A1 (en) | Biological particle identification system, cartridge and associated methods | |
US20190025210A1 (en) | Optical detection of a substance in fluid | |
EP2919454A1 (en) | Imaging system and imaging method | |
WO2017061112A1 (ja) | 画像処理方法および画像処理装置 | |
WO2021079701A1 (ja) | 計数方法、計数装置、及びプログラム | |
WO2022009104A2 (en) | Focusing a microscope using fluorescent images | |
JP7404340B2 (ja) | 被測定物質の検出装置及び被測定物質の検出方法 | |
JP6727062B2 (ja) | 検出方法および検出装置 | |
JP2008116422A (ja) | 微粒子検出装置 | |
KR101405053B1 (ko) | 양자점을 이용하여 표적 물질을 검출하기 위한 장치 및 방법 | |
EP2513637A1 (en) | Substance determining apparatus | |
JP2010032327A (ja) | 被検出物質検出方法および被検出物質検出装置ならびに深さ位置計測方法および深さ位置計測装置 | |
JP2020190465A (ja) | 測定方法および測定装置 | |
CN116368372A (zh) | 被测定物质的检测装置及检测方法 | |
CN112930473B (zh) | 红细胞的等容球化 | |
JP2020134458A (ja) | 較正方法及び検出装置 | |
JP7486205B2 (ja) | 検出装置及び検出方法 | |
WO2022247945A1 (zh) | 计数板及应用、用于分析待测样本中微粒的方法及系统 | |
KR20190128302A (ko) | 복수 종류의 타겟 물질의 분석이 가능한 다중 분석 장치 | |
JP2020190428A (ja) | 標的物質の計数方法、計数装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20879021 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021554211 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020879021 Country of ref document: EP Effective date: 20220525 |