WO2017068822A1 - 画像処理装置、微小粒子分取装置及び画像処理方法 - Google Patents

画像処理装置、微小粒子分取装置及び画像処理方法 Download PDF

Info

Publication number
WO2017068822A1
WO2017068822A1 PCT/JP2016/070938 JP2016070938W WO2017068822A1 WO 2017068822 A1 WO2017068822 A1 WO 2017068822A1 JP 2016070938 W JP2016070938 W JP 2016070938W WO 2017068822 A1 WO2017068822 A1 WO 2017068822A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
delay time
microparticles
position information
image
Prior art date
Application number
PCT/JP2016/070938
Other languages
English (en)
French (fr)
Inventor
史高 大塚
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017546422A priority Critical patent/JP6729597B2/ja
Priority to US15/767,426 priority patent/US10605714B2/en
Priority to CN201680059608.9A priority patent/CN108139312B/zh
Priority to EP16857140.4A priority patent/EP3343200B1/en
Publication of WO2017068822A1 publication Critical patent/WO2017068822A1/ja
Priority to US16/677,551 priority patent/US11204309B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1404—Fluid conditioning in flow cytometers, e.g. flow cells; Supply; Control of flow
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1425—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its control arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N15/1436—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement the optical arrangement forming an integrated apparatus with the sample container, e.g. a flow cell
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1456—Electro-optical investigation, e.g. flow cytometers without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Electro-optical investigation, e.g. flow cytometers without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G01N15/149—
    • G01N2015/1028—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1477—Multiparameters

Definitions

  • the present disclosure relates to an image processing device, a fine particle sorting device, and an image processing method.
  • a microparticle sorting device for example, a flow cytometer
  • detects the characteristics of microparticles such as cells optically, electrically, or magnetically, and sorts and collects only microparticles having predetermined characteristics is known.
  • a fluid stream (a laminar flow of a sample liquid containing cells and a sheath liquid) is generated from an orifice formed in the flow cell, and vibration is applied to the orifice to make the fluid stream into droplets. Charge is applied to the droplet. Then, the moving direction of the droplet containing the cells discharged from the orifice is electrically controlled, and the target cells having desired characteristics and the other non-target cells are recovered in separate recovery containers.
  • Patent Document 1 as a microchip type flow cytometer, “a flow path through which a liquid containing microparticles flows, an orifice for discharging the liquid flowing through the flow path to a space outside the chip, , A vibrating element for ejecting liquid droplets at an orifice, a charging means for imparting electric charges to the ejected liquid droplets, and a microparticle flowing through the flow path Optical detection means for detecting optical characteristics, a counter electrode disposed opposite to the moving liquid droplet in the direction of movement of the liquid droplet discharged to the space outside the chip, and passing between the counter electrodes And a microparticle sorting device including two or more containers for collecting the droplets.
  • Patent Document 2 it is possible to confirm whether or not the droplets are sorted into the intended flow path by arranging auxiliary illumination and a detection unit at a position where the droplets break off from the fluid.
  • a method for controlling the operation of a possible flow cytometer is disclosed. By grasping the break-off point in this way, it is possible to grasp the delay time from when a microparticle such as a cell is detected until the droplet containing the cell or the like reaches the break-off point, and based on the delay time. Charge can be imparted to the droplets containing the fine particles detected in this manner.
  • the break-off position varies depending on the droplet discharge conditions and the like, thereby changing the delay time. Further, it is impossible to sufficiently grasp the exact timing at which electric charges should be applied to droplets containing fine particles only by grasping the break-off position. Therefore, it is necessary to observe the charged droplets on the slide after all, to determine whether the droplets containing fine particles are accurately charged and whether the droplets can be distributed into the desired collection container. For example, a method of visually determining by a user has been used. Such a method requires the user to become proficient in technology, and has a problem in reliability and stability.
  • the main object of the present disclosure is to provide an image processing apparatus, a fine particle sorting apparatus, and an image processing method that can easily and accurately apply a charge to a droplet.
  • a light source lighting delay time to be set, and a control unit for controlling the light source A processing unit that identifies the position information of the microparticles based on the image of the microparticles acquired according to the lighting of the light source at the set light source lighting delay time; A recording unit that records the positional information specified by the processing unit and the light source lighting delay time in association with each other; The processing unit sets a light source lighting delay time associated with target position information, which is predetermined position information, from a fluid containing the microparticles from the time when the microparticles are detected by the detection unit.
  • an image processing apparatus that determines a drop delay time until the image is formed.
  • a detection unit that detects minute particles in the fluid flowing in the flow path, A light source disposed downstream of the detection unit; A charging unit that is arranged downstream of the light source and imparts electric charges to the droplets containing the microparticles contained in the fluid;
  • a light source lighting delay time is set from the time when the microparticles in the fluid are detected by the detection unit to the time when the light source is turned on for the microparticles included in the droplet formed from the fluid, A control unit for controlling the light source;
  • a processing unit that identifies the position information of the microparticles based on the image of the microparticles acquired according to the lighting of the light source at the set light source lighting delay time;
  • a recording unit that records the positional information specified by the processing unit and the light source lighting delay time in association with each other;
  • the processing unit sets a light source lighting delay time associated with target position information, which is predetermined position information, from a fluid containing the
  • the control unit provides a fine particle sorting device that controls the charging unit to apply a charge based on the drop delay time determined by the processing unit.
  • the light source is turned on from the time when the microparticles in the fluid are detected by the detection unit to the time when the light source is turned on for the microparticles contained in the droplets formed from the fluid.
  • a control step of setting a delay time and controlling the light source A processing step of identifying the position information of the microparticles based on the image of the microparticles acquired according to the lighting of the light source at the set light source lighting delay time; A recording step of recording the positional information specified in the processing step and the light source lighting delay time in association with each other,
  • the light source lighting delay time associated with the target position information which is predetermined position information, is a droplet from a fluid containing the microparticles from the time when the microparticles are detected by the detection unit.
  • the present invention provides an image processing method that is determined as a drop delay time until an image is formed.
  • the “drop delay time” here refers to a delay time from the time when the microparticles are detected by the detection unit until the droplet is formed from the fluid containing the microparticles. That is, it refers to the time required from the time when the microparticles are detected by the detection unit until the droplet containing the microparticles is charged by the charging unit.
  • microparticles widely include living body-related microparticles such as cells, microorganisms, and liposomes, or synthetic particles such as latex particles, gel particles, and industrial particles.
  • microparticles include those that become a state of a group of microparticles when a fluid becomes a droplet. Further, the concept of “microparticle” includes a plurality of microparticles in addition to a single microparticle.
  • fine particles include calibration beads for adjusting the drop delay time.
  • Products include Flow, Cytometry, Particles, For, Fine, Tuning, Cell, and Sorters.
  • fluorescence of the calibration beads will be briefly described.
  • the calibration beads for adjusting the drop delay time are characterized in that a fluorescent material having high fluorescence sensitivity is used so that the fluorescence can be detected by an image pickup device such as a CCD.
  • the living body-related microparticles include chromosomes, liposomes, mitochondria, organelles (organelles) and the like that constitute various cells.
  • Cells include animal cells (such as blood cells) and plant cells.
  • Microorganisms include bacteria such as Escherichia coli, viruses such as tobacco mosaic virus, and fungi such as yeast.
  • biologically relevant microparticles may include biologically relevant polymers such as nucleic acids, proteins, and complexes thereof.
  • the industrial particles may be, for example, an organic or inorganic polymer material, a metal, or the like.
  • Organic polymer materials include polystyrene, styrene / divinylbenzene, polymethyl methacrylate, and the like.
  • Inorganic polymer materials include glass, silica, magnetic materials, and the like.
  • Metals include gold colloid, aluminum and the like.
  • the shape of these fine particles is generally spherical, but may be non-spherical, and the size and mass are not particularly limited.
  • an image processing apparatus a fine particle sorting apparatus, and an image processing method capable of easily and accurately applying a charge to a droplet.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. (A) is a schematic top view
  • (B) is a schematic cross-sectional view corresponding to the PP cross section in (A).
  • 4 is a schematic diagram for explaining a configuration of an orifice 21 of the microchip 2.
  • FIG. (A) is a schematic top view
  • (B) is a schematic cross-sectional view
  • (C) is a front view.
  • FIG. 4 is a diagram illustrating an example of an image acquired by a light source 41.
  • FIG. (A) shows an example of a droplet image acquired by an LED light source
  • (B) shows an example of a fine particle image acquired by a laser light source.
  • It is explanatory drawing which showed the specific example which calculates the positional information on a microparticle by probability statistical processing based on the brightness
  • (A) shows the observation data of luminance information
  • FIG. 7 It is a figure which shows an example of the setting method of target position information.
  • A is a photographic diagram showing an example of a plurality of microparticle images including microparticles acquired within a predetermined time in which a light source lighting delay time is set.
  • B is a photograph showing an example of a binary image generated from a plurality of fine particle images.
  • C is an example of a plot diagram in which the position information of microparticles and the light source lighting delay time from which the position information is acquired are used as variables.
  • FIG. 7 shows an example of the setting method of target position information.
  • FIG. 6 is a diagram for explaining division into droplet regions D0 to D2 using the gravity center positions of droplets D1 and D2 in a droplet image.
  • 5 is a flowchart for explaining an image processing method according to the first embodiment of the present disclosure
  • FIG. It is a flowchart for demonstrating the image processing method which concerns on 2nd Embodiment of this indication. It is a figure which shows an example of the image of the droplet imaged with the droplet camera 4 of the flow cytometer 1.
  • FIG. FIG. 6 is a schematic diagram showing a transition from when a microparticle is detected by a detection unit 3 until a droplet D containing the microparticle is imaged by a droplet camera 4.
  • A shows a graph of droplet frequency (Droplet CLK)
  • (b) shows microparticles flowing through the flow path of the microchip detected by the detection unit, and
  • (c) contains microparticles. A droplet is shown.
  • Fine Particle Sorting Device and Image Processing Method According to First Embodiment of Present Disclosure
  • Charging Unit 1-2
  • Microchip 1-3
  • Detection Unit 1-4
  • Droplet Camera (1 -5)
  • Deflection plate 1-6
  • Recovery container (1-7)
  • Image processing device (1-7-1)
  • Control unit (1-7-2)
  • Recording unit (1-7-3)
  • Processing unit (1- 8)
  • Image processing method (1-8-1) Reference drop delay time setting step S1 (1-8-2)
  • Position information specifying step S2 (1-8-3) Imaging control step S3 (1-8-4)
  • Correlation equation calculation step S4 (1-8-5) Drop delay time determination step S5 2.
  • FIG. 1 shows a microparticle sorting device 1 (hereinafter referred to as “flow cytometer 1”) according to the present disclosure configured as a microchip type flow cytometer. It is a schematic diagram explaining the structure of a preparative system.
  • the flow cytometer 1 includes a charging unit 11 that applies a charge to a droplet discharged from an orifice 21 formed in the microchip 2.
  • the charging unit 11 is disposed upstream of the droplet camera 4 and imparts electric charges to the droplets containing microparticles contained in the fluid.
  • the charging of the droplet is performed by the electrode 12 that is electrically connected to the charging unit 11 and inserted into the sample inlet 23 provided in the microchip 2.
  • the electrode 12 may be inserted into any part of the microchip 2 so as to be in electrical contact with the sample liquid or the sheath liquid fed through the flow path.
  • the charge unit 11 can charge the droplets containing the microparticles after the drop delay time has elapsed after the microparticles contained in the sample liquid are detected by the detection unit 3 described later.
  • the drop delay time here refers to the delay time from the time when the microparticles are detected by the detection unit 3 until the droplet is formed from the fluid containing the microparticles. That is, it indicates the time required from when the microparticles are detected by the detection unit 3 until the droplets containing the microparticles are charged by the charging unit 11.
  • FIGS. 2 and 3 show an example of the microchip 2 that can be mounted on the flow cytometer 1.
  • 2A is a schematic top view
  • FIG. 2B is a schematic cross-sectional view corresponding to the PP cross section in FIG.
  • FIG. 3 is a diagram schematically illustrating the configuration of the orifice 21 of the microchip 2.
  • FIG. 3A is a schematic top view
  • FIG. 3B is a schematic cross-sectional view
  • FIG. 3C is a front view.
  • FIG. 3B corresponds to the PP cross section in FIG.
  • the microchip 2 is formed by bonding the substrate layers 2a and 2b on which the sample channel 22 is formed. Formation of the sample flow path 22 to the substrate layers 2a and 2b can be performed by injection molding of a thermoplastic resin using a mold.
  • a thermoplastic resin known plastics can be used as materials for conventional microchips such as polycarbonate, polymethyl methacrylate resin (PMMA), cyclic polyolefin, polyethylene, polystyrene, polypropylene, and polymethyldisilazane (PDMS).
  • the sample liquid is introduced into the sample inlet 23 from the liquid feeding connector part, and joined with the sheath liquid introduced into the sheath inlet 24 from the liquid feeding connector part, and is fed through the sample flow path 22.
  • the sheath liquid introduced from the sheath inlet 24 is divided and fed in two directions, the sample liquid is sandwiched from the two directions at the junction with the sample liquid introduced from the sample inlet 23. Join.
  • a three-dimensional laminar flow in which the sample liquid laminar flow is located at the center of the sheath liquid laminar flow is formed at the junction.
  • Reference numeral 25 denotes a suction flow path for eliminating clogging or bubbles by applying a negative pressure in the sample flow path 22 to temporarily reverse the flow when clogging or bubbles are generated in the sample flow path 22.
  • a suction outlet 251 connected to a negative pressure source such as a vacuum pump is formed at one end of the suction flow path 25 via a liquid feed connector portion, and the other end is connected to the sample flow path 22 at the communication port 252. .
  • narrowing portions 261 (see FIG. 2) and 262 (see FIG. 3) formed so that the area of the vertical cross section with respect to the liquid feeding direction gradually or gradually decreases from the upstream to the downstream of the liquid feeding direction.
  • the laminar flow width is narrowed down.
  • the three-dimensional laminar flow is discharged as a fluid stream (see FIG. 1) from an orifice 21 provided at one end of the flow path.
  • the discharge direction of the fluid stream from the orifice 21 is indicated by the positive Y-axis direction.
  • connection part of the sample flow path 22 to the orifice 21 is a straight part 27 formed in a straight line.
  • the straight portion 27 functions to eject the fluid stream straight from the orifice 21 in the positive Y-axis direction.
  • the fluid stream ejected from the orifice 21 is formed into droplets by vibration applied to the orifice 21 by the tip vibration unit according to the droplet frequency (Droplet CLK).
  • the orifice 21 opens in the direction of the end face of the substrate layers 2a and 2b, and a notch 211 is provided between the opening position and the end face of the substrate layer.
  • the notch 211 is formed by notching the substrate layers 2 a and 2 b between the opening position of the orifice 21 and the substrate end surface so that the diameter L of the notch 221 is larger than the opening diameter l of the orifice 21. (See FIG. 3C).
  • the diameter L of the notch 211 is desirably formed to be twice or more larger than the opening diameter l of the orifice 21 so as not to hinder the movement of the droplets discharged from the orifice 21.
  • (1-3) Detection Unit Reference numeral 3 in FIG. 1 indicates a detection unit that detects measurement target light generated from minute particles such as cells by irradiation of the laser L1 emitted from the light source 31.
  • the detection unit 3 detects minute particles in the fluid flowing through the flow path.
  • the detection unit 3 detects cell characteristics between the narrowing unit 261 (see FIG. 2) and the narrowing unit 262 (see FIG. 3) of the sample flow path 22.
  • the characteristic detection is not particularly limited, for example, in the case of optical detection, the laser L1 for the cells sent in the sample flow path 22 arranged in a line at the center of the three-dimensional laminar flow (see FIG. 1). By the irradiation, scattered light and fluorescence generated from the cells are detected by the detection unit 3.
  • an irradiation system such as a condensing lens, a dichroic mirror, and a band pass filter for condensing and irradiating the laser to the cells may be configured.
  • the detection system includes, for example, a PMT (photomultiplier tube), an area imaging device such as a CCD or a CMOS device, or the like.
  • the measurement target light detected by the detection system of the detection unit 3 is light generated from the cell by the irradiation of the measurement light. For example, forward scattered light, side scattered light, scattered light such as Rayleigh scattering or Mie scattering, And so on. These measurement target lights are converted into electrical signals, output to the control unit 71, and used for determining the optical characteristics of the cells.
  • the detection part 3 shall detect the characteristic of a cell magnetically or electrically.
  • a microelectrode is disposed opposite to the sample flow path 22 of the microchip 2, and a resistance value, a capacitance value (capacitance value), an inductance value, an impedance, a change value of an electric field between the electrodes, or a magnetization Measure magnetic field changes, magnetic field changes, etc.
  • Droplet Camera Reference numeral 4 in FIG. 1 is an example of the imaging unit of the present disclosure, and includes a CCD camera, a CMOS sensor, and the like for imaging the droplet D ejected from the orifice 21 of the microchip 2. It is a droplet camera.
  • the droplet camera 4 is disposed downstream of the detection unit 3 and images at least a part of the fluid.
  • the droplet camera 4 is designed to be able to adjust the focus of the image of the captured droplet D.
  • the droplet camera 4 uses a light source 41 described later as a light source for imaging.
  • the droplet formation parameters (sheath pressure, droplet frequency, piezo drive pressure, etc.) ) May need to be changed.
  • this time may be referred to as a drop delay time).
  • an image captured by the droplet camera 4 is displayed on a display unit such as a display so that the user can confirm the formation state (droplet size, shape, interval, etc.) of the droplet D in the orifice 21. Can also be used.
  • the light source 41 is controlled by a control unit 71 described later.
  • the light source 41 includes an LED for imaging a droplet and a laser L2 (for example, a red laser light source) for imaging microparticles, and the control unit 71 switches the light source to be used according to the purpose of imaging.
  • the specific structure of the light source 41 is not particularly limited as long as the effects of the present disclosure are not impaired, and one or more known circuits or elements can be selected and freely combined.
  • FIG. 4 is an example of a waveform diagram showing the relationship between the droplet frequency (Droplet CLK) and the light source on / off timing.
  • the droplet camera 4 can image a droplet. As shown in FIG. 4, the LED emits light only for a very short time within one period of DropletDCLK. This light emission is performed for each Droplet CLK, so that a certain moment of droplet formation can be cut out and acquired as an image. While the image taken by the droplet camera 4 is about 60 times per second, DropletDCLK is about 10 to 50 kHz, and the obtained droplet image is an image in which about 1000 droplets are accumulated.
  • the laser L2 When the laser L2 is used for the light source 41, it is possible to pick up fine particles with the droplet camera 4. As shown in FIG. 4, the laser L2 emits light for about a half cycle of Droplet CLK. At this time, the fluorescence of the microparticles contained in the droplet is acquired from the image by causing the laser L2 to emit light after the light source lighting delay time set by the control unit 71 has elapsed only when the microparticles are detected by the detection unit 3. It becomes possible to do.
  • the imaging by the droplet camera 4 is about 60 times per second, and the stable measurement in which the fluorescence of about several tens of microparticles is accumulated by measuring the microparticle detection and the laser L2 light source emission several thousand times per second. The obtained fine particles can acquire an image.
  • the light emission time of the laser L2 should just be time which can acquire the stable microparticle image.
  • FIG. 5 shows an example of an image acquired by the light source 41.
  • FIG. 5A shows an example of a droplet image acquired by an LED light source.
  • FIG. 5B shows an example of a fine particle image acquired by a laser light source.
  • Reference numerals 51 and 52 in FIG. 1 denote a pair of deflection plates disposed opposite to each other with a droplet D emitted from the orifice 21 and imaged by the droplet camera 4 interposed therebetween.
  • the deflecting plates 51 and 52 are configured to include electrodes that control the moving direction of the liquid droplets discharged from the orifice 21 by an electric acting force with electric charges applied to the liquid droplets.
  • the deflecting plates 51 and 52 also control the trajectory of the droplet D generated from the orifice 21 by an electric acting force with the electric charge applied to the droplet D.
  • the opposing direction of the polarizing plates 51 and 52 is indicated by the X-axis direction.
  • the droplet D is stored in a plurality of recovery containers 611, 612, 62, 63 arranged in a row in the direction facing the deflection plates 51, 52 (X-axis direction). Accepted by either.
  • the collection containers 611, 612, 62 and 63 may be general-purpose plastic tubes or glass tubes for experiments.
  • the number of collection containers 611, 612, 62, 63 is not particularly limited, but here, a case where four collection containers are installed is shown.
  • the droplet D generated from the orifice 21 is guided to any one of the four collection containers 611, 612, 62, 63 depending on the presence / absence of the electric acting force between the deflecting plates 51, 52 or the magnitude thereof. And recovered.
  • the collection containers 611, 612, 62, 63 are installed in a collection container (not shown) in a replaceable manner.
  • the collection container (not shown) moves in a direction (Z-axis direction) orthogonal to the discharge direction (Y-axis direction) of the droplet D from the orifice 21 and the opposing direction (X-axis direction) of the polarizing plates 51 and 52. It is disposed on a Z-axis stage (not shown) that can be configured.
  • the flow cytometer 1 includes an image processing device 7 in addition to the above-described configuration.
  • the image processing apparatus 7 can be configured by a general-purpose computer including a CPU, a memory, a hard disk, and the like.
  • the hard disk stores an OS and a program for executing each step relating to the image processing method described below.
  • the image processing apparatus 7 roughly includes a control unit 71, a recording unit 72, and a processing unit 73. Hereinafter, each part will be described in detail.
  • control unit 71 controls the microparticles included in the droplets formed from the fluid from the time when the microparticles in the fluid are detected by the detection unit 3.
  • the light source lighting delay time indicating the time until lighting is set, and the light source 41 and the droplet camera 4 are controlled so that the fine particles are imaged by the droplet camera 4 arranged downstream of the detection unit 3.
  • the control unit 71 controls the charging unit 11 to apply charge based on a drop delay time determined by the processing unit 73 described later.
  • the recording unit 72 records the positional information specified by the processing unit 73 in association with the light source lighting delay time.
  • the recording unit 72 can be configured by various IC memories such as RAM and ROM.
  • the processing unit 73 is based on the image of the microparticles acquired according to the lighting of the light source 41 at the light source lighting delay time set by the control unit 71. Specify location information.
  • the position information can be calculated based on the center of gravity on the binary image generated from the acquired images of the plurality of microparticles.
  • the position information can also be calculated by probability statistical processing based on the acquired luminance information of the plurality of microparticle images.
  • the image acquired here can be an image in which fluorescence from a plurality of microparticles is laminated as described above. In order to perform more stable processing, an image obtained by accumulating a plurality of images acquired by the same light source lighting delay time may be used.
  • FIG. 6 is an explanatory diagram showing a specific example in which the position information of the microparticles is calculated by the probability statistical process based on the luminance information of the image of the microparticles by the processing unit 73.
  • the observation data luminance information
  • the distribution parameters average and variance
  • the luminance value is proportional to the number of fine particles (for example, calibration beads) at the pixel position. It is assumed that the position variation of the calibration beads in the observation data depends on the flow velocity variation of the calibration beads, and the flow velocity variation follows a normal distribution.
  • the luminance center position value can be accurately estimated by maximum likelihood estimation as shown in FIG.
  • the luminance center position refers to the position of the luminance center on the observation data.
  • This luminance center position is the position information of the microparticles to be calculated.
  • the processing unit 73 includes a light source lighting delay time associated with target position information that is predetermined position information from the time when the detection unit 3 detects the microparticles. This is determined as a drop delay time until a droplet is formed from the fluid.
  • FIG. 7 and 8 are explanatory diagrams showing an example of a method for determining the light source lighting delay time associated with the target position information as the drop delay time.
  • FIG. 8 is an enlarged view of FIG.
  • FIG. 7A is a photographic diagram showing an example of an image of a plurality of microparticles including the microparticles acquired within a predetermined time in which the light source lighting delay time is set, and the image is displayed in the droplet region D0. This indicates a state divided into D2.
  • FIG. 9 is a diagram for explaining division into droplet regions D0 to D2 using the gravity center positions of the droplets D1 and D2 in the droplet image.
  • the division into the droplet regions D0 to D2 is performed using the gravity center positions of the droplets D1 and D2 in the droplet image, for example, as shown in FIG.
  • the droplet interval I is calculated from the center of gravity of the droplets D1 and D2, and the region of the interval I centered on the center of gravity of the droplet D1 is the droplet region D1, and the region of the interval I centered on the center of gravity of the droplet D2 is the region. It becomes a droplet region D2.
  • a region having an interval I adjacent above D1 is a droplet region D0.
  • FIG. 7B is a photographic diagram showing an example of a binary image generated from the plurality of fine particle images.
  • the processing unit 73 generates a binary image based on the acquired image of the fine particles, and the control unit 71 controls the display to display the binary image.
  • the binary image is picked up by the fluorescence from the microparticle group contained in the excited droplet D being irradiated by the laser L 2 and entering the droplet camera 4.
  • the binary image is acquired as a lump of pixels having a gradation value higher than a predetermined threshold in the image of the droplet D captured by the droplet camera 4, and the position of the center of gravity is the position information of the microparticles.
  • the position information of the fine particles can be calculated from the luminance information of the image by the probability statistical process, and the calculation of the position information with higher accuracy is expected.
  • FIG. 7C is an example of a plot diagram generated by the processing unit 73.
  • the processing unit 73 is configured to use the position information and the light source based on the plurality of different light source lighting delay times recorded in the recording unit 72 and the position information recorded in association with the plurality of different light source lighting delay times.
  • a plot diagram using the lighting delay time as a variable is generated.
  • the control unit 71 may control to display the plot diagram on a display unit.
  • the processing unit 73 is configured to use the position information and the light source based on the plurality of different light source lighting delay times recorded in the recording unit 72 and the position information recorded in association with the plurality of different light source lighting delay times.
  • a correlation equation with the lighting delay time is calculated. Since the correlation equation is a linear equation, it can be accurately calculated by, for example, the least square method.
  • the processing unit 73 determines a light source lighting delay time specified based on the target position information and the correlation formula as a drop delay time.
  • the position information (Pixel Position) of fine particles (calibration beads) in the image region D0: 100 (Pixel) to 200 (Pixel) is the phase P (%): 0 (%) to 100 ( %).
  • the phase 70% shown in FIG. 8 corresponds to the target position information, that is, Pixel Position: 170 (Pixel) shown in FIG.
  • the target position information 170 (Pixel) is a position where the droplet D starts to be formed in the positive Y-axis direction shown in FIG. 1 (hereinafter referred to as a break-off point).
  • the target position information is stored in advance in the recording unit 72 as position information that enables the fine particles to be collected with high accuracy.
  • the processing unit 73 drops the light source lighting delay time (Sort Delay (about 24.4)) associated with the target position information (Pixel Position: 170 (Pixel)) as a drop delay. Determine as time. That is, the processing unit 73 converts the target position information (Pixel Position: 170 (Pixel)) into the light source lighting delay time (Sort Delay (about 24.4)) using the plot shown in FIG. To do. Then, the processing unit 73 determines the light source lighting delay time as a drop delay time.
  • Sort Delay about 24.4
  • the droplet image shown in FIG. 7A, the binary image shown in FIG. 7B, and the plot shown in FIG. 7C may be simultaneously displayed on the display unit. Such a display is suitable when the user visually recognizes the situation in which the calculation of the correlation equation and the determination of the drop delay time are being performed.
  • FIG. 10 is a flowchart for explaining the image processing method.
  • the image processing method includes steps S1 to S5.
  • Steps S1 to S5 are steps for finely adjusting the light source lighting delay time and determining the drop delay time. Specifically, in each of steps S1 to S5, fine adjustment is performed on the reference drop delay time acquired as a rough value by rough adjustment of the light source lighting delay time.
  • steps S1 to S5 fine adjustment is performed on the reference drop delay time acquired as a rough value by rough adjustment of the light source lighting delay time.
  • a drop delay time from when the detection unit 3 detects a target cell or the like until the charging unit 11 applies a charge to the droplet D containing the cell or the like (charge). It is a calibration process for determining. Therefore, it is preferable to use calibration beads such as industrial particles whose shape and the like are known in advance as the fine particles.
  • step S1 the control unit 71 sets a reference drop delay time.
  • the reference drop delay time is a time that is temporarily treated as a drop delay time until the drop delay time is determined in step S5 described later, and indicates a light source lighting delay time. For example, a value of 24 to 28 is set as the reference drop delay time.
  • step S ⁇ b> 2 the processing unit 73 specifies the center position of the brightness calculated by the maximum likelihood estimation from the fine particle image captured by the droplet camera 4 as the position information.
  • step S3 Imaging control step S3
  • the number of times that the imaging by the droplet camera 4 corresponds to the number N (for example, three) of droplets D connected in the positive direction of the Y axis shown in FIG. 1 / the droplet clock change interval t (for example, 0.1). Repeat until (for example, 30 times).
  • the number of times the droplet camera 4 is imaged and the droplet clock change interval t are not limited to the above-described values, but may be values sufficient to obtain the correlation between the position information and the light source lighting delay time. .
  • the processing unit 73 can generate a binary image based on the acquired image, and calculate the center of gravity on the binary image as the luminance center position.
  • step S4 the processing unit 73 determines the position based on the plurality of different light source lighting delay times recorded in the recording unit 72 and the position information recorded in association with the plurality of different light source lighting delay times.
  • a correlation equation between the information and the light source lighting delay time is calculated.
  • the calculation method of the correlation equation is not particularly limited, and for example, a known least square method can be used.
  • the correlation here includes information on the position where the droplet D starts to be formed in the positive direction of the Y-axis shown in FIG. 1 (hereinafter referred to as a break-off point) and the light source lighting delay time from which the position information was acquired. Correlation with is included.
  • step S5 the processing unit 73 determines the light source lighting delay time specified based on the target position information and the correlation equation as a drop delay time.
  • the drop delay time can be calculated easily and with high accuracy by using the correlation between the position information of the microparticles and the light source lighting delay time from which the position information is acquired.
  • FIG. 11 is a flowchart for explaining an image processing method according to the second embodiment of the present disclosure.
  • the image processing method includes steps T1 to T8.
  • the image processing method of the present disclosure includes two steps of a coarse adjustment step (steps T1 to T3) and a fine adjustment step (T4 to T8).
  • steps T4 to T8 shown in FIG. 11 are the same as steps S1 to S5 of FIG. In this flow, when the iterative process corresponding to steps T1 to T3 is completed, steps T4 to T8 are subsequently performed.
  • the iterative process corresponding to steps T1 to T3 is repeated up to N times (for example, 20 to 40) equal to the number of data to be ranked.
  • step T1 the processing unit 73 determines a provisional drop delay time.
  • the provisional drop delay time refers to a time that is temporarily treated as the drop delay time until the drop delay time is determined in the drop delay time determination step T8.
  • step T2 the processing unit 73 divides the droplet image (see FIG. 7A) into three droplet regions D0 to D2, and then sequentially changes the provisional drop delay time T in increments of D0. Get the number of bright spots in the region.
  • the bright spot refers to a pixel having a luminance higher than a predetermined threshold in the image of the droplet D imaged by the droplet camera 4, and is contained in the droplet D excited by the laser L2. Image information of the fine particles.
  • step T3 the processing unit 73 ranks the number of bright spots in the D0 region by comparing the images of the plurality of droplets D captured by the droplet camera 4 at the interval of the droplet clock, and in the fluid.
  • the provisional light source lighting delay time from the time t0 when one of the plurality of fine particles is detected by the detection unit 3 to the time when the number of bright spots in the D0 region becomes maximum is used. decide.
  • step T4 the control unit 71 sets a reference drop delay time.
  • step T5 Position information specifying step T5
  • the processing unit 73 specifies the central position value of the brightness calculated by maximum likelihood estimation from the image captured by the droplet camera 4 as the position information.
  • step T6 image information from the droplet camera 4 is acquired by sequentially changing the reference droplet clock T in increments of 0.1 for a sufficient number of times to acquire the correlation between the position information and the light source lighting delay time. Then, the position information is calculated.
  • step T7 the processing unit 73 is configured to generate the position based on the plurality of different light source lighting delay times recorded in the recording unit 72 and the position information recorded in association with the plurality of different light source lighting delay times. A correlation equation between the information and the light source lighting delay time is calculated.
  • step T8 the processing unit 73 determines the light source lighting delay time specified based on the target position information and the correlation equation as a drop delay time.
  • FIG. 11 is a diagram illustrating an example of a droplet image captured by the droplet camera 4 of the flow cytometer 1, and illustrates images captured at different times (FIGS. 11A to 11). (See (d)). More specifically, FIG. 11 shows the number of droplets when the droplet D imaged by the droplet camera 4 at the time t0 when the detection unit 3 detects the minute particles is the first droplet. It is a figure for demonstrating whether the detected microparticle is contained. Each figure may be obtained by integrating a plurality of captured images.
  • a D0 area is an image area divided based on the droplet image.
  • the processing unit 73 compares the images of the plurality of droplets D captured by the droplet camera 4 at the interval of the droplet clock, and from the time t0 to the time when the number of bright spots B in the D0 region is maximum. Is determined as the reference drop delay time.
  • the 30th to 33rd droplets are discharged.
  • the image imaged by the droplet camera 4 is shown.
  • the processing unit 73 can determine that minute particles are included. That is, the processing unit 73 compares the images of the plurality of droplets D captured by the droplet camera 4 at the interval of the droplet clock, and the time when the 30th droplet is ejected from the time when the microparticles are detected.
  • the provisional light source lighting delay time up to can be determined as the reference drop delay time.
  • the number of bright spots in the image information in the D0 region is compared at a plurality of different times, and rough adjustment is performed, so that the provisional light source lighting delay time is used as a reference. It can be determined as the drop delay time.
  • the image area is first divided into D0 to D2 based on the droplet image, and the reference drop delay time is sequentially changed, for example, in increments of 1 to obtain the number of bright spots in the D0 area.
  • the time when the number of bright spots becomes maximum is a rough value of the drop delay time.
  • the drop delay time is changed more finely, for example, by setting the droplet clock in increments of 0.1 on the basis of the reference drop delay time calculated in the coarse adjustment step.
  • the image processing method includes two steps of the coarse adjustment step (steps T1 to T3) and the fine adjustment step (T4 to T8), and therefore, compared with the case where only the coarse adjustment step (steps T1 to T3) is performed.
  • the drop delay time can be calculated with high accuracy.
  • the fine particle position information and the light source lighting delay time in the fine adjustment step Since the correlation equation is calculated to determine the drop delay time, the drop delay time can be calculated with high accuracy and in a short time.
  • FIG. 13 is a schematic diagram showing a transition from when the microparticles are detected by the detection unit 3 to when the droplet D containing the microparticles is imaged by the droplet camera 4.
  • FIG. 13A shows a graph of droplet frequency (Droplet CLK).
  • FIG. 13B shows the microparticles A1 and A2 flowing through the flow path of the microchip 2 detected by the detection unit 3.
  • FIG. 13C shows droplets D1 and D2 that contain fine particles A1 and A2, respectively.
  • the phase is shifted by ( ⁇ 2 ⁇ 1) (see FIG. 13B). Therefore, the microparticles A1 and A2 may be included in different droplets D1 and D2.
  • the timing of charge application to the desired droplet is different between the microparticles A1 and A2 (see FIG. 13C). Therefore, in order to determine the timing of applying charges to the droplets with higher accuracy, it is necessary to adjust the drop delay time with high accuracy at an interval narrower than the droplet clock.
  • the light source 31 (L1 laser) is irradiated to the fine particles flowing through the flow path formed in the microchip, and the fluorescence and scattered light emitted from the individual fine particles are emitted.
  • the configuration for detecting and analyzing has been described, the configuration is not limited to this, and a configuration in which the light source 31 (L1 laser) is irradiated to the microparticles flowing through the flow path formed by the flow cell may be used.
  • the image processing device, the fine particle sorting device, and the image processing method according to the present disclosure can also have the following configurations.
  • a light source lighting delay time is set from the time when the microparticles in the fluid are detected by the detection unit to the time when the light source is turned on for the microparticles contained in the droplet formed from the fluid.
  • a control unit for controlling the light source A processing unit that identifies the position information of the microparticles based on the image of the microparticles acquired according to the lighting of the light source at the set light source lighting delay time; A recording unit that records the positional information specified by the processing unit and the light source lighting delay time in association with each other; The processing unit sets a light source lighting delay time associated with target position information, which is predetermined position information, from a fluid containing the microparticles from the time when the microparticles are detected by the detection unit.
  • An image processing apparatus that determines the drop delay time until the image is formed.
  • the image processing device determines a light source lighting delay time specified based on the target position information and the correlation formula as a drop delay time.
  • the position information is calculated based on a centroid on a binary image generated from the acquired images of the plurality of microparticles.
  • the position information is calculated by probability statistical processing based on the acquired luminance information of the plurality of microparticle images.
  • the processing unit is configured so that the one microparticle included in the droplet formed from the fluid is detected from the time when one microparticle among the plurality of microparticles in the fluid is detected by the detection unit.
  • the provisional light source lighting delay time until the maximum number of bright spots in a preset reference region on the image captured by the imaging unit arranged downstream of the detection unit is determined as a reference drop delay time,
  • the image processing apparatus according to any one of (1) to (7), wherein the control unit controls the light source using the provisional light source lighting delay time as a time near the reference drop delay time.
  • the processing unit generates a binary image based on the acquired image of the microparticles, and the control unit controls the display of the binary image on the display unit (1) to (8)
  • the image processing apparatus according to any one of the above.
  • the processing unit based on the plurality of different light source lighting delay times recorded in the recording unit and the position information recorded in association with the plurality of different light source lighting delay times, respectively, Generate a plot with the light source lighting delay time as a variable,
  • the image processing apparatus according to any one of (1) to (9), wherein the control unit controls the display of the plot diagram on a display unit.
  • a detection unit that detects minute particles in the fluid flowing in the flow path;
  • a light source disposed downstream of the detection unit;
  • a charging unit that is arranged downstream of the light source and imparts electric charges to the droplets containing the microparticles contained in the fluid;
  • a light source lighting delay time is set from the time when the microparticles in the fluid are detected by the detection unit to the time when the light source is turned on for the microparticles included in the droplet formed from the fluid,
  • a control unit for controlling the light source;
  • a processing unit that identifies the position information of the microparticles based on the image of the microparticles acquired according to the lighting of the light source at the set light source lighting delay time;
  • a recording unit that records the positional information specified by the processing unit and the light source lighting delay time in association with each other;
  • the processing unit sets a light source lighting delay time associated with target position information, which is predetermined position information, from a fluid containing the microparticles from the time when the microparticles are
  • a light source lighting delay time is set from the time when the microparticles in the fluid are detected by the detection unit to the time when the light source is turned on for the microparticles contained in the droplet formed from the fluid.
  • the light source lighting delay time associated with the target position information which is predetermined position information, is a droplet from a fluid containing the microparticles from the time when the microparticles are detected by the detection unit.
  • Fine particle fractionator (flow cytometer) DESCRIPTION OF SYMBOLS 11 Charging part 12 Electrode 13 Vibrating element 2 Microchip 2a Substrate layer 21 Orifice 22 Sample flow path 23 Sample inlet 24 Sheath inlet 25 Suction flow path 27 Straight part 211 Notch part 251 Suction outlet 252 Communication port 261, 262 Constriction part 3 Detection Unit 31 Light source 4 Droplet camera 41 Light source 51, 52 Deflection plates 611, 612, 62, 63 Collection container 7 Image processing device 71 Control unit 72 Recording unit 73 Processing unit B Bright spot D Droplet D0 to D2 Droplet region S1 Reference Drop delay time setting step S2 Position information specifying step S3 Imaging control step S4 Correlation formula calculating step S5 Drop delay time determining step T1 Temporary drop delay time determining step T2 Bright spot number obtaining step T3 Bright spot number ranking step T4 Reference drop Predelay time setting step T5 Position information specifying step T6 Imaging control step T7 Correlation equation calculating step T8 Drop delay

Abstract

簡便に且つ精度良く液滴に電荷を付与することができる画像処理装置、微小粒子分取装置及び画像処理方法を提供する。　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定する画像処理装置。

Description

画像処理装置、微小粒子分取装置及び画像処理方法
　本開示は、画像処理装置、微小粒子分取装置及び画像処理方法に関する。
　細胞等の微小粒子の特性を光学的、電気的あるいは磁気的に検出し、所定の特性を有する微小粒子のみを分別して回収する微小粒子分取装置（例えばフローサイトメータ）が知られている。
　フローサイトメータにおける細胞分別では、まず、フローセルに形成されたオリフィスから流体ストリーム（細胞を含むサンプル液とシース液の層流）を発生させ、オリフィスに振動を印加して流体ストリームを液滴化し、液滴に電荷を付与する。そして、オリフィスから吐出される細胞を含む液滴の移動方向を電気的に制御して、所望の特性を有する目的細胞とそれ以外の非目的細胞とを別々の回収容器に回収している。
　例えば、特許文献１には、マイクロチップ型のフローサイトメータとして、「微小粒子を含む液体が通流される流路と、この流路を通流する液体をチップ外の空間に排出するオリフィスと、が配設されたマイクロチップと、オリフィスにおいて液体を液滴化して吐出するための振動素子と、吐出される液滴に電荷を付与するための荷電手段と、流路を通流する微小粒子の光学特性を検出する光学検出手段と、チップ外の空間に吐出された液滴の移動方向に沿って、移動する液滴を挟んで対向して配設された対電極と、対電極間を通過した液滴を回収する二以上の容器と、を備える微小粒子分取装置」が開示されている。
　また、特許文献２には、液滴が流体からブレークオフする位置に補助の照明と検出ユニットを配置することにより、液滴が意図された流路に分取されたか否かを確認することができるフローサイトメータの動作を制御する方法が開示されている。このようにブレークオフポイントを把握することで、細胞等の微小粒子が検出されてから、当該細胞等を含む液滴がブレークオフポイントに到達するまでの遅延時間を把握し、当該遅延時間に基づいて検出された微粒子を含有する液滴に電荷を付与することができる。
特開２０１０－１９０６８０号公報 特表２００７－５３２８７４号公報
　しかしながら、前記ブレークオフする位置は液滴の吐出条件等により変動し、それにより前記遅延時間も変化する。また、前記ブレークオフする位置を把握するのみでは、微粒子を含有する液滴に電荷を付与すべき正確なタイミングを十分に把握できないでいた。そのため、微小粒子を含有する液滴に正確に電荷が付与され、液滴が所望の回収容器内に振り分けられうるかどうかは、結局のところ、電荷が付与された液滴をプレパラート上で観測すること等により、ユーザの目視で判定する方法が多く用いられていた。このような方法は、ユーザに技術の習熟を求めるものであり、信頼性や安定性に問題があった。
　そこで、本開示は、簡便に且つ精度良く液滴に電荷を付与することができる画像処理装置、微小粒子分取装置及び画像処理方法を提供することを主目的とする。
　上記課題解決のため、本開示では、流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定する
　画像処理装置を提供する。
　本開示では、次に、流路内を流通する流体中の微小粒子を検出する検出部と、
　前記検出部の下流に配置された光源と、
　前記光源の下流に配置され、前記流体に含まれる前記微小粒子を含む液滴に電荷を付与する荷電部と、
　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定し、
　前記制御部は、前記処理部により決定された前記ドロップディレイタイムに基づき荷電を付与するよう前記荷電部を制御する
　微小粒子分取装置を提供する。
　本開示では、次に、流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御ステップと、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理ステップと、
　前記処理ステップにて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録ステップとを含み、
　前記処理ステップでは、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間が、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定される
　画像処理方法を提供する。
　なお、ここでいう、「ドロップディレイタイム」とは、検出部により微小粒子が検出された時刻から、当該微小粒子を含有する流体から液滴が形成されるまでの遅延時間を指す。すなわち、検出部により微小粒子が検出された時刻から、当該微小粒子を含有する液滴が荷電部により電荷を付与されるまでに必要な時間を指す。
　本開示において、「微小粒子」には、細胞や微生物、リポソームなどの生体関連微小粒子、あるいはラテックス粒子やゲル粒子、工業用粒子などの合成粒子などが広く含まれるものとする。また、「微小粒子」には、流体が液滴になると微小粒子群の状態になるものが含まれるものとする。また、「微小粒子」の概念には、単体の微小粒子の他にも、複数の微小粒子の塊が含まれる。
　また、「微小粒子」には、ドロップディレイタイムを調整するためのキャリブレーションビーズが含まれる。製品としては、Flow Cytometry Particles For Fine Tuning Cell Sortersなどがある。以下では、キャリブレーションビーズの蛍光について簡単に説明する。測定サンプルを構成する（又は、測定サンプルに付着する）ある分子に対して所定波長の光が照射されると、照射された光が有するエネルギーを利用して、分子中の電子が基底状態に対応するエネルギー準位から励起状態に対応するエネルギー準位に移動することがある。この際に照射された光のことを、励起光と呼ぶ。基底状態にある分子が励起されて一重項励起状態が生じると、励起された電子は、一重項励起状態に対応するエネルギー準位のいずれかへ移動することとなるが、この励起された電子は、内部転換によりエネルギーを放出しながらより低位のエネルギー準位へと移動していく。励起状態にある電子が基底状態へと戻る際にエネルギーが光として放出されることがあるが、この際に放出される光が蛍光である。ドロップディレイタイム調整用のキャリブレーションビーズは、蛍光をＣＣＤなどの撮像素子でも検出できるよう蛍光感度の高い蛍光体を使用しているという特徴がある。
　また、上記生体関連微小粒子には、各種細胞を構成する染色体、リポソーム、ミトコンドリア、オルガネラ(細胞小器官)などが含まれる。細胞には、動物細胞(血球系細胞など)および植物細胞が含まれる。微生物には、大腸菌などの細菌類、タバコモザイクウイルスなどのウイルス類、イースト菌などの菌類などが含まれる。さらに、生体関連微小粒子には、核酸やタンパク質、これらの複合体などの生体関連高分子も包含され得るものとする。また、工業用粒子は、例えば有機もしくは無機高分子材料、金属などであってもよい。有機高分子材料には、ポリスチレン、スチレン・ジビニルベンゼン、ポリメチルメタクリレートなどが含まれる。無機高分子材料には、ガラス、シリカ、磁性体材料などが含まれる。金属には、金コロイド、アルミなどが含まれる。これら微小粒子の形状は、一般には球形であるのが普通であるが、非球形であってもよく、また大きさや質量なども特に限定されない。
　本開示により、簡便に且つ精度良く液滴に電荷を付与することができる画像処理装置、微小粒子分取装置及び画像処理方法が提供される。
　なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
マイクロチップ型フローサイトメータとして構成された本開示の第１実施形態に係る微小粒子分取装置１（フローサイトメータ１）の分取系の構成を説明するための模式図である。 フローサイトメータ１に搭載可能なマイクロチップ２の一例の構成を説明するための模式図である。（Ａ）は上面模式図、（Ｂ）は（Ａ）中Ｐ－Ｐ断面に対応する断面模式図を示す。 マイクロチップ２のオリフィス２１の構成を説明するための模式図である。（Ａ）は上面模式図、（Ｂ）は断面模式図、（Ｃ）は正面図を示す。 液滴周波数（Droplet CLK）と光源点灯／消灯タイミングの関係を示す波形図の一例である。 光源４１により取得される画像の一例を示す図である。（Ａ）は、ＬＥＤ光源により取得される液滴画像の一例、（Ｂ）は、レーザ光源により取得される微小粒子画像の一例を示す。 処理部７３により微小粒子の画像の輝度情報に基づき、確率統計処理により微小粒子の位置情報を算出する具体例を示した説明図である。（Ａ）は輝度情報の観測データを示し、（Ｂ）は、確率統計処理による輝度中心位値を示す。 目標位置情報の設定方法の一例を示す図である。（Ａ）は光源点灯遅延時間が設定された所定時間内に取得された微小粒子を含む複数の微小粒子の画像の一例を示す写真図である。（Ｂ）は複数の微小粒子の画像から生成された二値画像の一例を示す写真図である。（Ｃ）は微小粒子の位置情報と当該位置情報を取得した光源点灯遅延時間とを変数としたプロット図の一例である。 目標位置情報の設定方法の一例を示す図であり、図７（Ａ）を拡大した図である。 液滴画像中の液滴Ｄ１およびＤ２の重心位置を用いた液滴領域Ｄ０～Ｄ２への分割を説明するための図である。 本開示の第１実施形態に係る画像処理方法を説明するためのフロー図である。 本開示の第２実施形態に係る画像処理方法を説明するためのフロー図である。 フローサイトメータ１のドロップレットカメラ４により撮像された液滴の画像の一例を示す図である。 微小粒子が検出部３により検出されてから、微小粒子が含まれる液滴Ｄがドロップレットカメラ４により撮像されるまでの推移を示す模式図である。（ａ）は液滴周波数（Droplet CLK）のグラフを示し、（ｂ）は検出部により検出されるマイクロチップの流路内を通流する微小粒子を示し、（ｃ）は微小粒子が含まれる液滴を示す。
　以下、本開示を実施するための好適な形態について図面を参照しながら説明する。なお、以下に説明する実施形態は、本開示の代表的な実施形態の一例を示したものであり、これにより本開示の範囲が狭く解釈されることはない。説明は以下の順序で行う。
 
１．本開示の第１実施形態に係る微小粒子分取装置、及び画像処理方法
（１－１）荷電部
（１－２）マイクロチップ
（１－３）検出部
（１－４）ドロップレットカメラ
（１－５）偏向板
（１－６）回収容器
（１－７）画像処理装置
　（１－７－１）制御部
　（１－７－２）記録部
　（１－７－３）処理部
（１－８）画像処理方法
　（１－８－１）基準ドロップディレイタイム設定ステップＳ１
　（１－８－２）位置情報特定ステップＳ２
　（１－８－３）撮像制御ステップＳ３
　（１－８－４）相関式算出ステップＳ４
　（１－８－５）ドロップディレイタイム決定ステップＳ５
２．本開示の第２実施形態に係る画像処理方法
（２－１）暫定ドロップディレイタイム決定ステップＴ１
（２－２）輝点数取得ステップＴ２
（２－３）輝点数順位付けステップＴ３
（２－４）基準ドロップディレイタイム設定ステップＴ４
（２－５）位置情報特定ステップＴ５
（２－６）撮像制御ステップＴ６
（２－７）相関式算出ステップＴ７
（２－８）ドロップディレイタイム決定ステップＴ８
 
１．本開示の第１実施形態に係る微小粒子分取装置の装置構成
　図１は、マイクロチップ型フローサイトメータとして構成された本開示に係る微小粒子分取装置１（以下「フローサイトメータ１」とも称する）の分取系の構成を説明する模式図である。
（１－１）荷電部
　フローサイトメータ１は、マイクロチップ２に形成されたオリフィス２１から吐出される液滴に電荷を付与する荷電部１１を備える。荷電部１１は、ドロップレットカメラ４の上流に配置され、流体に含まれる微小粒子を含む液滴に電荷を付与する。液滴のチャージは、荷電部１１と電気的に接続され、マイクロチップ２に設けられたサンプルインレット２３に挿入される電極１２によって行われる。なお、電極１２は、マイクロチップ２のいずれかの箇所に、流路を送液されるサンプル液又はシース液に電気的に接触するように挿入されていればよいものとする。
　フローサイトメータ１では、サンプル液に含まれる微小粒子が後述する検出部３により検出されてから、ドロップディレイタイム経過した後に荷電部１１が上記微小粒子を含有する液滴にチャージすることができる。ここでいう、ドロップディレイタイムとは、検出部３により微小粒子が検出された時刻から、当該微小粒子を含有する流体から液滴が形成されるまでの遅延時間を指す。すなわち、検出部３により微小粒子が検出された時刻から、当該微小粒子を含有する液滴が荷電部１１により電荷を付与されるまでに必要な時間を指す。
（１－２）マイクロチップ
　図２及び図３に、フローサイトメータ１に搭載可能なマイクロチップ２の一例を示す。図２（Ａ）は上面模式図、（Ｂ）は（Ａ）中Ｐ－Ｐ断面に対応する断面模式図を示す。また、図３は、マイクロチップ２のオリフィス２１の構成を模式的に説明する図であり、（Ａ）は上面模式図、（Ｂ）は断面模式図、（Ｃ）は正面図を示す。図３（Ｂ）は、図２（Ａ）中Ｐ－Ｐ断面に対応する。
　マイクロチップ２は、サンプル流路２２が形成された基板層２ａ、２ｂが貼り合わされてなる。基板層２ａ、２ｂへのサンプル流路２２の形成は、金型を用いた熱可塑性樹脂の射出成形により行うことができる。熱可塑性樹脂には、ポリカーボネート、ポリメタクリル酸メチル樹脂（ＰＭＭＡ）、環状ポリオレフィン、ポリエチレン、ポリスチレン、ポリプロピレン及びポリメチルジシラザン（ＰＤＭＳ）などの従来マイクロチップの材料として公知のプラスチックを採用できる。
　サンプル液は、送液コネクタ部からサンプルインレット２３に導入され、送液コネクタ部からシースインレット２４に導入されるシース液と合流して、サンプル流路２２を送液される。シースインレット２４から導入されたシース液は、２方向に分かれて送液された後、サンプルインレット２３から導入されたサンプル液との合流部において、サンプル液を２方向から挟み込むようにしてサンプル液に合流する。これにより、合流部において、シース液層流の中央にサンプル液層流が位置された３次元層流が形成される。
　符号２５は、サンプル流路２２に詰まりや気泡が生じた際に、サンプル流路２２内に負圧を加えて流れを一時的に逆流させて詰まりや気泡を解消するための吸引流路を示す。吸引流路２５の一端には、送液コネクタ部を介して真空ポンプ等の負圧源に接続される吸引アウトレット２５１が形成され、他端は連通口２５２においてサンプル流路２２に接続している。
　３次元層流は、送液方向に対する垂直断面の面積が送液方向上流から下流へ次第にあるいは段階的に小さくなるように形成された絞込部２６１（図２参照），２６２（図３参照）において層流幅を絞り込まれる。その後、３次元層流は、流路の一端に設けられたオリフィス２１から流体ストリーム（図１参照）となって排出される。図１中、オリフィス２１からの流体ストリームの排出方向をＹ軸正方向によって示す。
　サンプル流路２２のオリフィス２１への接続部は、直線状に形成されたストレート部２７とされている。ストレート部２７は、オリフィス２１から流体ストリームをＹ軸正方向に真っ直ぐ射出するために機能する。
　オリフィス２１から射出される流体ストリームは、液滴周波数（Droplet CLK）に従いチップ加振部によりオリフィス２１に印加される振動によって液滴化される。オリフィス２１は基板層２ａ、２ｂの端面方向に開口しており、その開口位置と基板層端面との間には切欠部２１１が設けられている。切欠部２１１は、オリフィス２１の開口位置と基板端面との間の基板層２ａ、２ｂを、切欠部２２１の径Ｌがオリフィス２１の開口径ｌよりも大きくなるように切り欠くことによって形成されている（図３（Ｃ）参照）。切欠部２１１の径Ｌは、オリフィス２１から吐出される液滴の移動を阻害しないように、オリフィス２１の開口径ｌよりも２倍以上大きく形成することが望ましい。
（１－３）検出部
　図１中符号３は、光源３１から発せられるレーザＬ１の照射によって細胞等の微小粒子から発生する測定対象光を検出する検出部を示す。検出部３は、流路内を流通する流体中の微小粒子を検出する。検出部３は、サンプル流路２２の絞込部２６１（図２参照）と絞込部２６２（図３参照）との間で、細胞の特性検出を行う。当該特性検出は特に限定されるものではないが、例えば光学的検出の場合、サンプル流路２２中を３次元層流の中心に一列に配列して送流される細胞に対するレーザＬ１（図１参照）の照射により、細胞から発生する散乱光や蛍光が検出部３によって検出される。
　この光照射及び検出では、レーザ光源の他に、細胞に対してレーザを集光・照射する集光レンズやダイクロイックミラー、バンドパスフィルター等の照射系も構成されていてもよい。検出系は、例えば、ＰＭＴ（photo multiplier tube）や、ＣＣＤやＣＭＯＳ素子等のエリア撮像素子等によって構成される。
　検出部３の検出系により検出される測定対象光は、測定光の照射によって細胞から発生する光であって、例えば、前方散乱光や側方散乱光、レイリー散乱やミー散乱等の散乱光やなどとすることができる。これらの測定対象光は電気信号に変換され、制御部７１に出力され、細胞の光学特性判定に供される。
　なお、検出部３は、磁気的あるいは電気的に細胞の特性を検出するものであってもよいものとする。この場合には、マイクロチップ２のサンプル流路２２に微小電極を対向させて配設し、抵抗値、容量値（キャパシタンス値）、インダクタンス値、インピーダンス、電極間の電界の変化値、あるいは、磁化、磁界変化、磁場変化等を測定する。
（１－４）ドロップレットカメラ
　図１中符号４は、本開示の撮像部の一例であり、マイクロチップ２のオリフィス２１から吐出される液滴Ｄを撮像するためのＣＣＤカメラ、ＣＭＯＳセンサ等のドロップレットカメラである。ドロップレットカメラ４は、前記検出部３の下流に配置され、前記流体の少なくとも一部を撮像する。ドロップレットカメラ４は、撮像した液滴Ｄの画像の焦点調節を行うことが可能に設計されている。ドロップレットカメラ４は撮像するための光源としては、後述する光源４１が用いられる。
　また、フローサイトメータ１では、マイクロチップを新しいものに交換したり、外部の環境（気温等）が変化したりすることで、液滴形成のパラメータ（シース圧、液滴周波数、ピエゾ駆動圧等）を変更する必要が生じる場合がある。この場合、微小粒子が検出部３により検出されてから微小粒子を含有する液滴にチャージをかけるまでの時間（以下、当該時間をドロップディレイタイムと記すこともある）を調整する必要がある。
　また、ドロップレットカメラ４により撮像された画像は、ディスプレイ等の表示部に表示されて、ユーザがオリフィス２１における液滴Ｄの形成状況（液滴の大きさ、形状、間隔等）を確認するためにも利用できる。
　光源４１は、後述する制御部７１によって制御される。光源４１は液滴を撮像するためのＬＥＤおよび微小粒子を撮像するためのレーザＬ２（例えば赤色レーザ光源）から構成され、制御部７１により撮像する目的に応じて使用する光源の切り替えが行われる。光源４１の具体的な構造は、本開示の効果を損なわない限り特に限定されず、公知の回路又は素子を１種又は２種以上選択して、自由に組み合わせることができる。
　図４は、液滴周波数（Droplet CLK）と光源点灯／消灯タイミングの関係を示す波形図の一例である。
　光源４１にＬＥＤを使用する場合、ドロップレットカメラ４により液滴を撮像することができる。ＬＥＤは図４に示すようにDroplet CLK一周期のうちのごく微小時間のみ発光する。この発光はDroplet CLKごとに行われ、これにより液滴形成のある瞬間を画像として切り出して取得することが可能となる。ドロップレットカメラ４による撮像は秒間６０回程度であるのに対して、Droplet CLKは１０～５０kHz程度であり、取得される液滴画像は１０００個程度の液滴が累積された画像となる。
　光源４１にレーザＬ２を使用する場合、ドロップレットカメラ４により微小粒子を撮像することができる。レーザＬ２は図４に示すようにDroplet CLKの半周期程度発光する。この際、検出部３で微小粒子が検出された場合のみ制御部７１で設定される光源点灯遅延時間経過後にレーザＬ２を発光させることで、液滴中に含まれる微小粒子の蛍光を画像から取得することが可能になる。ドロップレットカメラ４による撮像は秒間６０回程度であり、微小粒子の検出及びレーザＬ２光源発光が秒間数千回となるよう測定を行うことで、数十個程度の微小粒子の蛍光が累積した安定した微小粒子が画像を取得することができる。なお、レーザＬ２の発光時間は、安定した微小粒子画像を取得できる時間であればよい。
　図５は、光源４１により取得される画像の一例を示している。図５（Ａ）は、ＬＥＤ光源により取得される液滴画像の一例を示す。図５（Ｂ）は、レーザ光源により取得される微小粒子画像の一例を示す。
（１－５）偏向板
　図１中符号５１，５２は、オリフィス２１から射出され、ドロップレットカメラ４により撮像された液滴Ｄを挟んで対向して配置された一対の偏向板を示す。偏向板５１，５２は、オリフィス２１から吐出される液滴の移動方向を、液滴に付与された電荷との電気的な作用力によって制御する電極を含んで構成される。また、偏向板５１，５２は、オリフィス２１から発生する液滴Ｄの軌道も、液滴Ｄに付与された電荷との電気的な作用力によって制御する。図１中、偏光板５１，５２の対向方向をＸ軸方向によって示す。
（１－６）回収容器
　フローサイトメータ１において、液滴Ｄは、偏向板５１，５２の対向方向（Ｘ軸方向）に一列に配設された複数の回収容器６１１、６１２、６２、６３のいずれかに受け入れられる。回収容器６１１、６１２、６２、６３は、実験用として汎用のプラスチック製チューブあるいはガラス製チューブであってよい。回収容器６１１、６１２、６２、６３の数は特に限定されないが、ここでは４本設置する場合を図示した。オリフィス２１から発生する液滴Ｄは、偏向板５１，５２との間の電気的な作用力の有無あるいはその大小によって、４本の回収容器６１１、６１２、６２、６３のいずれか一つに誘導され、回収される。
　回収容器６１１、６１２、６２、６３は、回収容器用コンテナ（不図示）に交換可能に設置される。回収容器用コンテナ（不図示）は、オリフィス２１からの液滴Ｄの排出方向（Ｙ軸方向）及び偏光板５１，５２の対向方向（Ｘ軸方向）に直交する方向（Ｚ軸方向）に移動可能に構成されたＺ軸ステージ（不図示）上に配設されている。
（１－７）画像処理装置
　図１に示すように、フローサイトメータ１は、上述の構成に加え、画像処理装置７を備える。画像処理装置７は、ＣＰＵ、メモリ及びハードディスクなどを備える汎用のコンピュータによって構成でき、ハードディスク内にはＯＳと次に説明する画像処理方法に関する各ステップを実行するプログラムなどが格納されている。
　本開示に係る画像処理装置７は、大別して、制御部７１、記録部７２、及び処理部７３を備える。以下、各部について詳細に説明する。
（１－７－１）制御部
　制御部７１は、流体中の微小粒子が検出部３にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、微小粒子が前記検出部３の下流に配置されたドロップレットカメラ４にて撮像されるよう、前記光源４１およびドロップレットカメラ４を制御する。
　制御部７１は、後述する処理部７３により決定されたドロップディレイタイムに基づき荷電を付与するよう前記荷電部１１を制御する。
（１－７－２）記録部
　記録部７２は、処理部７３にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する。記録部７２は、ＲＡＭ、ＲＯＭ等の各種ＩＣメモリで構成可能である。
（１－７－３）処理部
　処理部７３は、前記制御部７１にて設定された前記光源点灯遅延時間での前記光源４１の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する。前記位置情報は、取得された前記複数の微小粒子の画像から生成された二値画像上の重心に基づき算出可能である。また、前記位置情報は、取得された前記複数の微小粒子の画像の輝度情報に基づき、確率統計処理により算出されることも可能である。ここでの取得される画像は、前述のとおり複数の微小粒子からの蛍光が積層された画像とすることができる。また、さらに安定した処理を行うために、同一の光源点灯遅延時間により取得された複数の画像を累積した画像を使用してもよい。
　図６は、処理部７３により微小粒子の画像の輝度情報に基づき、確率統計処理により微小粒子の位置情報を算出する具体例を示した説明図である。図６（Ａ）のような観測データ（輝度情報）が得られた場合、その観測データがどのような確率モデルに従うかが分かれば、最尤推定により、その分布パラメータ（平均や分散）を推定可能である。観測データにおいては、輝度値はその画素位置における微小粒子（例えばキャリブレーションビーズ）の個数に比例する。観測データ内のキャリブレーションビーズの位置バラツキはキャリブレーションビーズの流速バラツキに依存し、流速バラツキは正規分布に従うと仮定される。これにより、最尤推定により図６（Ｂ）のように輝度中心位値を精度よく推定することが可能となる。ここでの輝度中心位置とは、前記観測データ上における輝度の中心の位置をいう。この輝度中心位置が、算出する微小粒子の位置情報である。
　また、前記処理部７３は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部３により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定する。
　図７及び図８は、目標位置情報に対応付けられた光源点灯遅延時間をドロップディレイタイムとして決定する方法の一例を示す説明図である。なお、図８は、図７（Ａ）を拡大した図である。図７（Ａ）は、前記光源点灯遅延時間が設定された所定時間内に取得された前記微小粒子を含む複数の微小粒子の画像の一例を示す写真図であり、当該画像を液滴領域Ｄ０～Ｄ２に分割した状態を示すものである。
　図９は、液滴画像中の液滴Ｄ１およびＤ２の重心位置を用いた液滴領域Ｄ０～Ｄ２への分割を説明するための図である。液滴領域Ｄ０～Ｄ２への分割は、たとえば図９に示すように液滴画像中の液滴Ｄ１およびＤ２の重心位置を用いて行われる。液滴Ｄ１とＤ２の重心位置から液滴間隔Ｉを算出し、液滴Ｄ１の重心を中心とした間隔Ｉの領域が液滴領域Ｄ１、液滴Ｄ２の重心を中心とした間隔Ｉの領域が液滴領域Ｄ２となる。Ｄ１の上方に隣接する間隔Ｉの領域が液滴領域Ｄ０となる。
　図７（Ｂ）は、前記複数の微小粒子の画像から生成された二値画像の一例を示す写真図である。前記処理部７３は、取得された前記微小粒子の画像に基づき二値画像を生成し、前記制御部７１は、前記二値画像を表示部に表示するよう制御する。例えば、当該二値画像は、前記レーザＬ２によって照射され、励起された液滴Ｄに含有される微小粒子群からの蛍光がドロップレットカメラ４に入射することによって撮像される。当該二値画像はドロップレットカメラ４により撮像される液滴Ｄの画像中において所定の閾値よりも高い諧調値を有する画素の塊として取得され、その重心位置が微小粒子の位置情報となる。なお、前述のとおり微小粒子の位置情報は画像の輝度情報から確率統計処理により算出することも可能であり、より精度の高い位置情報の算出が見込まれる。
　図７（Ｃ）は、前記処理部７３により生成されたプロット図の一例である。前記処理部７３は、前記記録部７２に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間とを変数としたプロット図を生成する。前記制御部７１は、前記プロット図を表示部に表示するよう制御してもよい。前記処理部７３は、前記記録部７２に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間との相関式を算出する。相関式は一次式となるため、たとえば最小二乗法により精度よく算出することが可能である。前記処理部７３は、前記目標位置情報と前記相関式とに基づき特定された光源点灯遅延時間をドロップディレイタイムとして決定する。
　図８に示すように、画像領域Ｄ０における微小粒子（キャリブレーションビーズ）の位置情報（Pixel Position）：１００（Pixel）～２００（Pixel）は、位相Ｐ（％）：０（％）～１００（％）に換算される。この例において、図８に示す位相７０％は、目標位置情報、すなわち、図７（Ｃ）示すPixel Position：１７０（Pixel）に対応している。なお、この目標位置情報１７０（Pixel）は、図１に示すＹ軸正方向において液滴Ｄが形成されはじめる位置（以下、ブレークオフポイントと記す。）である。当該目標位置情報は、微小粒子を精度高く分取可能な位置情報として記録部７２に予め格納されている。
　前記処理部７３は、図７（Ｃ）に示すように、目標位置情報（Pixel Position：１７０（Pixel））に対応付けられた光源点灯遅延時間（Sort Delay（約２４．４））をドロップディレイタイムとして決定する。すなわち、前記処理部７３は、図７（Ｃ）に示すプロット図を用いて、目標位置情報（Pixel Position：１７０（Pixel））を光源点灯遅延時間（Sort Delay（約２４．４））に換算する。そして、前記処理部７３は、当該光源点灯遅延時間をドロップディレイタイムとして決定する。
　なお、図７（Ａ）に示す液滴画像、図７（Ｂ）に示す二値画像、図７（Ｃ）に示すプロット図は表示部に同時に表示してもよい。このような表示は、前記相関式の算出や、前記ドロップディレイタイムの決定が行われている状況をユーザが視覚を通じて認識する場合に好適である。
（１－８）画像処理方法
　図１０は、画像処理方法を説明するフローチャートである。当該画像処理方法は、ステップＳ１～Ｓ５の手順を含む。各ステップＳ１～Ｓ５は、光源点灯遅延時間を微調整し、ドロップディレイタイムを決定するステップである。具体的に、各ステップＳ１～Ｓ５では、光源点灯遅延時間の粗調整によって大まかな値として取得された基準ドロップディレイタイムに対して微調整が行われる。以下、各手順について説明する。なお、各ステップＳ１～Ｓ５は、検出部３が対象となる細胞等を検出してから、荷電部１１が該細胞等を含有する液滴Ｄに電荷を付与（チャージ）するまでのドロップディレイタイムを決定するためのキャリブレーション工程である。そのため、上記微小粒子としては、予め形状等が明らかである工業用粒子等のキャリブレーションビーズを用いることが好ましい。
（１－８－１）基準ドロップディレイタイム設定ステップＳ１
　まず、ステップＳ１では、制御部７１が、基準ドロップディレイタイムを設定する。ここで、基準ドロップディレイタイムとは、後述するステップＳ５によりドロップディレイタイムを決定するまでの間、暫定的にドロップディレイタイムとして扱う時間であり、光源点灯遅延時間を指す。基準ドロップディレイタイムとしては、例えば、２４～２８の値が設定される。
（１－８－２）位置情報特定ステップＳ２
　ステップＳ２では、処理部７３が、前記ドロップレットカメラ４にて撮像された微小粒子画像から最尤推定により算出された輝度の中心位置を前記位置情報として特定する。
（１－８－３）撮像制御ステップＳ３
　ステップＳ３では、前記ドロップレットカメラ４による撮像が図１に示すＹ軸正方向に連なる液滴Ｄの数Ｎ（例えば３個）／ドロップレットクロック変更間隔ｔ（例えば０．１）に相当する回数（例えば３０回）まで繰り返される。なお、前記ドロップレットカメラ４の撮像回数およびドロップレットクロック変更間隔ｔは、前述の値に限らず、前記位置情報と前記光源点灯遅延時間との相関を取得するのに十分な値であればよい。
　なお、上記ステップＳ２、Ｓ３では、前記処理部７３が、最尤推定により輝度中心位値を算出する場合を説明したが、本開示はかかる例に限定されない。例えば、前記処理部７３は、取得された画像に基づき二値画像を生成し、当該二値画像上の重心を前記輝度中心位置として算出することもできる。
（１－８－４）相関式算出ステップＳ４
　ステップＳ４では、前記処理部７３は、前記記録部７２に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間との相関式を算出する。当該相関式の算出方法は特に限定されず、例えば公知の最小二乗法を用いることができる。例えば、ここでの相関には、図１に示すＹ軸正方向において液滴Ｄが形成されはじめる位置（以下、ブレークオフポイントと記す。）の情報と、当該位置情報を取得した光源点灯遅延時間との相関が含まれる。
（１－８－５）ドロップディレイタイム決定ステップＳ５
　ステップＳ５では、前記処理部７３は、前記目標位置情報と前記相関式とに基づき特定された光源点灯遅延時間をドロップディレイタイムとして決定する。
　セルソーターにおいて、検出部３により微小粒子が検出された時刻から、当該微小粒子を含有する流体から液滴が形成されるまでの遅延時間（ドロップディレイタイム）を精度良く算出することは、ソーティングの回収率や純度を高めるうえで極めて重要である。本開示では、微小粒子の位置情報と当該位置情報を取得した光源点灯遅延時間との相関を利用することで、ドロップディレイタイムを簡便かつ高精度に算出できる。
２．本開示の第２実施形態に係る画像処理方法
　次に、本開示の第２の実施形態に係る画像処理方法について説明する。図１１は、本開示の第２実施形態に係る画像処理方法を説明するためのフロー図である。当該画像処理方法は、ステップＴ１～Ｔ８の手順を含む。本開示の画像処理方法は、粗調ステップ（ステップＴ１～Ｔ３）と微調ステップ（Ｔ４～Ｔ８）の２Ｓｔｅｐからなる。以下、各手順について説明する。なお、図１１に示すステップＴ４～Ｔ８は、図１０のステップＳ１～Ｓ５と同じである。このフローでは、ステップＴ１～Ｔ３に相当する反復処理が完了すると、引き続き、ステップＴ４～Ｔ８が実施される。
　本フローでは、ステップＴ１～Ｔ３に相当する反復処理が、順位付けされるデータ数に等しい回数Ｎ（例えば２０～４０）まで繰り返される。
（２－１）暫定ドロップディレイタイム決定ステップＴ１
　ステップＴ１では、前記処理部７３は暫定ドロップディレイタイムを決定する。ここで、暫定ドロップディレイタイムとは、ドロップディレイタイム決定ステップＴ８によりドロップディレイタイムが決定されるまでの間、暫定的にドロップディレイタイムとして扱う時間を指す。
（２－２）輝点数取得ステップＴ２
　ステップＴ２では、前記処理部７３は、液滴画像（図７（Ａ）参照）を３つの液滴領域Ｄ０～Ｄ２に分割したうえで、暫定ドロップディレイタイムＴを１刻みで逐次変更してＤ０領域における輝点数を取得する。なお、輝点とは、ドロップレットカメラ４により撮像される液滴Ｄの画像中において所定の閾値より高い輝度を有する画素のことを指し、レーザＬ２によって照射され励起された液滴Ｄに含有される微小粒子の画像情報である。
（２－３）輝点数順位づけステップＴ３
　ステップＴ３では、前記処理部７３は、ドロップレットカメラ４がドロップレットクロックの間隔で撮像された複数の液滴Ｄの画像を比較することによってＤ０領域内における輝点数の順位付けを行い、流体中の複数の微小粒子のうち一の微小粒子が検出部３にて検出された時点ｔ０から、Ｄ０領域内の輝点の数が最大となる時点までの暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定する。
（２－４）基準ドロップディレイタイム設定ステップＴ４
　ステップＴ４では、制御部７１が、基準ドロップディレイタイムを設定する。
（２－５）位置情報特定ステップＴ５
　ステップＴ５では、処理部７３が、前記ドロップレットカメラ４にて撮像された画像から最尤推定により算出された輝度の中心位値を前記位置情報として特定する。
（２－６）撮像制御ステップＴ６
　ステップＴ６では、前記位置情報と前記光源点灯遅延時間との相関を取得するのに十分な回数、基準ドロップレットクロックＴを０．１刻みで逐次変更してドロップレットカメラ４からの画像情報を取得し、前記位置情報を算出する。
（２－７）相関式算出ステップＴ７
　ステップＴ７では、前記処理部７３が、前記記録部７２に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間との相関式を算出する。
（２－８）ドロップディレイタイム決定ステップＴ８
　ステップＴ８では、前記処理部７３が、前記目標位置情報と前記相関式とに基づき特定された光源点灯遅延時間をドロップディレイタイムとして決定する。
　図１１は、フローサイトメータ１のドロップレットカメラ４により撮像された液滴の画像の一例を示す図であり、異なる時刻に撮像された画像を示すものである（図１１（ａ）～図１１（ｄ）参照）。より具体的には、図１１は、検出部３により微小粒子が検出された時点ｔ０にドロップレットカメラ４により撮像される液滴Ｄを１番目の液滴としたとき、何番目の液滴に検出された微小粒子が含まれているのかを説明するための図である。なお、各図は複数の撮像画像を積算したものとすることもできる。
　図１１中、Ｄ０領域は、液滴画像をもとに分割された画像領域である。前記処理部７３は、ドロップレットカメラ４がドロップレットクロックの間隔で撮像した複数の液滴Ｄの画像を比較し、前記時点ｔ０から、Ｄ０領域内の輝点Ｂの数が最大となる時刻までの暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定する。
　図１２では、本開示の一例として、オリフィス２１から吐出され、ドロップレットカメラ４により撮像される液滴Ｄを１番目の液滴としたとき、３０～３３番目の液滴が吐出された際にドロップレットカメラ４により撮像された画像を示す。例えば、３０番目の液滴は、Ｎ＝３０と示す図である（図１２（ａ）参照）。
　図１２に示す例では、前記処理部７３は、Ｄ０領域内の輝点Ｂの数が最大となるＮ＝３０（図１２（ａ）参照）の画像情報に基づいて、３０番目の液滴に微小粒子が含まれていると前記処理部７３は判定できる。すなわち、前記処理部７３は、ドロップレットカメラ４がドロップレットクロックの間隔で撮像した複数の液滴Ｄの画像を比較し、微小粒子が検出された時刻から３０番目の液滴が吐出される時刻までの暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定することができる。
　このように、本開示の第２実施形態に係る画像処理方法では、異なる複数の時刻においてＤ０領域内の画像情報における輝点数を比較し、粗調整を実行することにより暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定することができる。
　さらに、本開示では、まず液滴画像をもとに画像領域をＤ０～Ｄ２に分割したうえで、基準ドロップディレイタイムを例えば１刻みで逐次変更してＤ０領域の輝点数を取得する。そして、この輝点数が最大になる時間がドロップディレイタイムの大まかな値となる。続く微調ステップ（Ｔ４～Ｔ８）では、上記粗調ステップで算出した基準ドロップディレイタイムを基準に、例えばドロップレットクロックを０．１刻みとしてより細かくドロップディレイタイムを変更する。
　このように、本開示の画像処理方法は、粗調ステップ（ステップＴ１～Ｔ３）と微調ステップ（Ｔ４～Ｔ８）の２Ｓｔｅｐからなるので、粗調ステップ（ステップＴ１～Ｔ３）のみを実施する場合よりも高精度にドロップディレイタイムを算出できる。また、一般に調整工程で精度をあげるには調整間隔を細かくする必要があり、これにより調整時間の増大を招くが、本手法では微調ステップで前記微小粒子の位置情報と前記光源点灯遅延時間との相関式を算出してドロップディレイタイムを決定するため、高精度かつ短時間にドロップディレイタイムを算出できる。
　図１３は、微小粒子が検出部３により検出されてから、微小粒子が含まれる液滴Ｄがドロップレットカメラ４により撮像されるまでの推移を示す模式図である。図１３（ａ）は液滴周波数（Droplet CLK）のグラフを示す。ここで、図１３（ｂ）は、検出部３により検出されるマイクロチップ２の流路内を通流する微小粒子Ａ１、Ａ２を示す。そして、図１３（ｃ）では、微小粒子Ａ１、Ａ２が夫々含まれる液滴Ｄ１、Ｄ２を示す。
　図１３に示す例では、微小粒子Ａ１、Ａ２が同一のDroplet CLKに含まれていても、位相が（φ２－φ１）だけずれる（図１３（ｂ）参照）。そのため、微小粒子Ａ１、Ａ２が異なる液滴Ｄ１、Ｄ２に含まれる場合もある。この場合、微小粒子Ａ１とＡ２とでは所望の液滴への電荷付与のタイミングが異なる（図１３（ｃ）参照）。そこで、より精度良く液滴に電荷を付与するタイミングを決定するには、ドロップレットクロックよりも狭い間隔で高精度にドロップディレイタイムを調整する必要がある。
　なお、上記実施形態のフローサイトメータでは、マイクロチップに形成された流路内を通流する微小粒子に光源３１（Ｌ１レーザ）を照射し、個々の微小粒子から発せられた蛍光や散乱光を検出して、分析する構成について説明したが、これに限らず、フローセルにより形成された流路内を通流する微小粒子に光源３１（Ｌ１レーザ）を照射する構成でもよい。
　本開示に係る画像処理装置、微小粒子分取装置及び画像処理方法は以下のような構成をとることもできる。
（１）流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定する
　画像処理装置。
（２）前記位置情報は、前記光源点灯遅延時間が設定された所定時間内に取得された前記微小粒子を含む複数の微小粒子の画像に基づき特定される上記（１）に記載の画像処理装置。
（３）前記位置情報は、前記複数の微小粒子の画像から取得された輝度情報に基づき特定される上記（２）に記載の画像処理装置。
（４）前記処理部は、前記記録部に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間との相関式を算出する上記（１）～（３）のいずれか１つに記載の画像処理装置。
（５）前記処理部は、前記目標位置情報と前記相関式とに基づき特定された光源点灯遅延時間をドロップディレイタイムとして決定する上記（４）に記載の画像処理装置。
（６）前記位置情報は、取得された前記複数の微小粒子の画像から生成された二値画像上の重心に基づき算出される上記（２）に記載の画像処理装置。
（７）前記位置情報は、取得された前記複数の微小粒子の画像の輝度情報に基づき、確率統計処理により算出される上記（２）に記載の画像処理装置。
（８）前記処理部は、前記流体中の複数の微小粒子のうち一の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記一の微小粒子が前記検出部の下流に配置された撮像部にて撮像された画像上の予め設定された基準領域内における輝点数を最大とするまでの暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定し、
　前記制御部は、前記暫定光源点灯遅延時間を前記基準ドロップディレイタイム近辺の時間として前記光源を制御する上記（１）～（７）のいずれか１つに記載の画像処理装置。
（９）前記処理部は、取得された前記微小粒子の画像に基づき二値画像を生成し、前記制御部は、前記二値画像を表示部に表示するよう制御する上記（１）～（８）のいずれか１つに記載の画像処理装置。
（１０）前記処理部は、前記記録部に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間とを変数としたプロット図を生成し、
　前記制御部は、前記プロット図を表示部に表示するよう制御する上記（１）～（９）のいずれか１つに記載の画像処理装置。
（１１）流路内を流通する流体中の微小粒子を検出する検出部と、
　前記検出部の下流に配置された光源と、
　前記光源の下流に配置され、前記流体に含まれる前記微小粒子を含む液滴に電荷を付与する荷電部と、
　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定し、
　前記制御部は、前記処理部により決定された前記ドロップディレイタイムに基づき荷電を付与するよう前記荷電部を制御する
　微小粒子分取装置。。
（１２）流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御ステップと、
　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理ステップと、
　前記処理ステップにて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録ステップとを含み、
　前記処理ステップでは、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間が、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定される
　画像処理方法。
１　微小粒子分取装置（フローサイトメータ）
１１　荷電部
１２　電極
１３　振動素子
２　マイクロチップ
２ａ　基板層
２１　オリフィス
２２　サンプル流路
２３　サンプルインレット
２４　シースインレット
２５　吸引流路
２７　ストレート部
２１１　切欠部
２５１　吸引アウトレット
２５２　連通口
２６１、２６２　絞込部
３　検出部
３１　光源
４　ドロップレットカメラ
４１　光源
５１、５２　偏向板
６１１、６１２、６２、６３　回収容器
７　画像処理装置
７１　制御部
７２　記録部
７３　処理部
Ｂ　輝点
Ｄ　液滴
Ｄ０～Ｄ２　液滴領域
Ｓ１　基準ドロップディレイタイム設定ステップ
Ｓ２　位置情報特定ステップ
Ｓ３　撮像制御ステップ
Ｓ４　相関式算出ステップ
Ｓ５　ドロップディレイタイム決定ステップ
Ｔ１　暫定ドロップディレイタイム決定ステップ
Ｔ２　輝点数取得ステップ
Ｔ３　輝点数順位づけステップ
Ｔ４　基準ドロップディレイタイム設定ステップ
Ｔ５　位置情報特定ステップ
Ｔ６　撮像制御ステップ
Ｔ７　相関式算出ステップ
Ｔ８　ドロップディレイタイム決定ステップ

Claims (12)

  1. 　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
    　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
    　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
    　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定する
    　画像処理装置。
  2. 　前記位置情報は、前記光源点灯遅延時間が設定された所定時間内に取得された前記微小粒子を含む複数の微小粒子の画像に基づき特定される請求項１に記載の画像処理装置。
  3. 　前記位置情報は、前記複数の微小粒子の画像から取得された輝度情報に基づき特定される請求項２に記載の画像処理装置。
  4. 　前記処理部は、前記記録部に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間との相関式を算出する請求項１に記載の画像処理装置。
  5. 　前記処理部は、前記目標位置情報と前記相関式とに基づき特定された光源点灯遅延時間をドロップディレイタイムとして決定する請求項４に記載の画像処理装置。
  6. 　前記位置情報は、取得された前記複数の微小粒子の画像から生成された二値画像上の重心に基づき算出される請求項２に記載の画像処理装置。
  7. 　前記位置情報は、取得された前記複数の微小粒子の画像の輝度情報に基づき、確率統計処理により算出される請求項２に記載の画像処理装置。
  8. 　前記処理部は、前記流体中の複数の微小粒子のうち一の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記一の微小粒子が前記検出部の下流に配置された撮像部にて撮像された画像上の予め設定された基準領域内における輝点数を最大とするまでの暫定光源点灯遅延時間を基準ドロップディレイタイムとして決定し、
    　前記制御部は、前記暫定光源点灯遅延時間を前記基準ドロップディレイタイム近辺の時間として前記光源を制御する請求項１に記載の画像処理装置。
  9. 　前記処理部は、取得された前記微小粒子の画像に基づき二値画像を生成し、
    　前記制御部は、前記二値画像を表示部に表示するよう制御する請求項１に記載の画像処理装置。
  10. 　前記処理部は、前記記録部に記録された複数の異なる光源点灯遅延時間と前記複数の異なる光源点灯遅延時間にそれぞれ対応付けて記録された位置情報とに基づき、前記位置情報と前記光源点灯遅延時間とを変数としたプロット図を生成し、
    　前記制御部は、前記プロット図を表示部に表示するよう制御する請求項１に記載の画像処理装置。
  11. 　流路内を流通する流体中の微小粒子を検出する検出部と、
    　前記検出部の下流に配置された光源と、
    　前記光源の下流に配置され、前記流体に含まれる前記微小粒子を含む液滴に電荷を付与する荷電部と、
    　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御部と、
    　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理部と、
    　前記処理部にて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録部とを含み、
    　前記処理部は、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間を、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定し、
    　前記制御部は、前記処理部により決定された前記ドロップディレイタイムに基づき荷電を付与するよう前記荷電部を制御する
    　微小粒子分取装置。
  12. 　流体中の微小粒子が検出部にて検出された時点から、前記流体から形成された液滴に含まれる前記微小粒子に対して光源を点灯する時点までを示す光源点灯遅延時間を設定し、前記光源を制御する制御ステップと、
    　前記設定された前記光源点灯遅延時間での前記光源の点灯に応じ取得された前記微小粒子の画像に基づき前記微小粒子の位置情報を特定する処理ステップと、
    　前記処理ステップにて特定された位置情報と前記光源点灯遅延時間とを対応付けて記録する記録ステップとを含み、
    　前記処理ステップでは、予め定められた位置情報である目標位置情報に対応付けられた光源点灯遅延時間が、前記検出部により前記微小粒子が検出された時点から当該微小粒子を含有する流体から液滴が形成されるまでのドロップディレイタイムとして決定される
    　画像処理方法。
PCT/JP2016/070938 2015-10-19 2016-07-15 画像処理装置、微小粒子分取装置及び画像処理方法 WO2017068822A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017546422A JP6729597B2 (ja) 2015-10-19 2016-07-15 画像処理装置、微小粒子分取装置及び画像処理方法
US15/767,426 US10605714B2 (en) 2015-10-19 2016-07-15 Image processing device, fine particle sorting device, and image processing method
CN201680059608.9A CN108139312B (zh) 2015-10-19 2016-07-15 图像处理设备、微粒分选设备和图像处理方法
EP16857140.4A EP3343200B1 (en) 2015-10-19 2016-07-15 Image processing device, microparticle separation device, and image processing method
US16/677,551 US11204309B2 (en) 2015-10-19 2019-11-07 Image processing device, fine particle sorting device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-205919 2015-10-19
JP2015205919 2015-10-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/767,426 A-371-Of-International US10605714B2 (en) 2015-10-19 2016-07-15 Image processing device, fine particle sorting device, and image processing method
US16/677,551 Continuation US11204309B2 (en) 2015-10-19 2019-11-07 Image processing device, fine particle sorting device, and image processing method

Publications (1)

Publication Number Publication Date
WO2017068822A1 true WO2017068822A1 (ja) 2017-04-27

Family

ID=58556969

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070938 WO2017068822A1 (ja) 2015-10-19 2016-07-15 画像処理装置、微小粒子分取装置及び画像処理方法

Country Status (5)

Country Link
US (2) US10605714B2 (ja)
EP (1) EP3343200B1 (ja)
JP (1) JP6729597B2 (ja)
CN (1) CN108139312B (ja)
WO (1) WO2017068822A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190301994A1 (en) * 2018-03-29 2019-10-03 Sony Corporation Micro particle analyzer and micro particle analysis method
WO2019207988A1 (ja) * 2018-04-25 2019-10-31 ソニー株式会社 微小粒子分取装置及び微小粒子分取方法
WO2020149042A1 (ja) * 2019-01-15 2020-07-23 ソニー株式会社 微小粒子分取装置、微小粒子分取システム、液滴分取装置、及び液滴制御装置、並びに、液滴制御用プログラム
WO2022080482A1 (ja) * 2020-10-15 2022-04-21 ソニーグループ株式会社 粒子検出装置、粒子検出システム、及び粒子検出方法
WO2023189819A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 粒子分取システム、及び粒子分取方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924077B2 (ja) 2012-03-30 2016-05-25 ソニー株式会社 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法
JP5994337B2 (ja) 2012-03-30 2016-09-21 ソニー株式会社 微小粒子分取装置及びディレイタイム決定方法
US9915935B2 (en) 2012-03-30 2018-03-13 Sony Corporation Microchip-type optical measuring apparatus and optical position adjusting method thereof
WO2014115409A1 (ja) 2013-01-28 2014-07-31 ソニー株式会社 微小粒子分取装置、微小粒子分取方法及びプログラム
EP3035030B1 (en) 2013-10-16 2019-07-10 Sony Corporation Particle fractionation device, particle fractionation method, and program
CN105980831B (zh) 2014-02-13 2021-01-12 索尼公司 粒子分捡装置、粒子分捡方法、程序以及粒子分捡系统
JP6657625B2 (ja) 2014-09-05 2020-03-04 ソニー株式会社 液滴分取装置、液滴分取方法及びプログラム
WO2017068822A1 (ja) * 2015-10-19 2017-04-27 ソニー株式会社 画像処理装置、微小粒子分取装置及び画像処理方法
JP6783153B2 (ja) * 2017-01-13 2020-11-11 アークレイ株式会社 フローセル及び測定装置
JP6875944B2 (ja) * 2017-06-27 2021-05-26 アークレイ株式会社 フローセル及び測定装置
CN113302470A (zh) * 2019-02-08 2021-08-24 贝克顿·迪金森公司 液滴分选决策模块、系统及其使用方法
US11965811B2 (en) * 2019-07-16 2024-04-23 Allied Flow Inc. Particle sorting apparatus and method of aligning flow cell
CN111879685B (zh) * 2020-07-31 2022-03-18 上海微电子装备（集团）股份有限公司 一种颗粒分析分选装置及充电延时设置方法
JP2024506817A (ja) * 2021-01-25 2024-02-15 ベクトン・ディキンソン・アンド・カンパニー 空間的に分離されたレーザにわたる散乱信号を使用して液滴遅延を判定するための方法及びシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002505423A (ja) * 1998-02-27 2002-02-19 サイトメーション， インコーポレイテッド フローサイトメトリーのための方法および装置
JP2005315799A (ja) * 2004-04-30 2005-11-10 Bay Bioscience Kk 生物学的粒子をソーティングする装置及び方法
JP2006504970A (ja) * 2002-11-01 2006-02-09 ベックマン コールター，インコーポレーテッド 液滴ソーティングの監視及び制御
JP2013210264A (ja) * 2012-03-30 2013-10-10 Sony Corp 微小粒子分取装置及びディレイタイム決定方法
JP2015152439A (ja) * 2014-02-14 2015-08-24 ソニー株式会社 粒子分取装置、粒子分取方法及びプログラム

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3380584A (en) 1965-06-04 1968-04-30 Atomic Energy Commission Usa Particle separator
BE793185A (fr) 1971-12-23 1973-04-16 Atomic Energy Commission Appareil pour analyser et trier rapidement des particules telles que des cellules biologiques
US3826364A (en) 1972-05-22 1974-07-30 Univ Leland Stanford Junior Particle sorting method and apparatus
US3924947A (en) 1973-10-19 1975-12-09 Coulter Electronics Apparatus for preservation and identification of particles analyzed by flow-through apparatus
US4009435A (en) 1973-10-19 1977-02-22 Coulter Electronics, Inc. Apparatus for preservation and identification of particles analyzed by flow-through apparatus
DE2632962C3 (de) 1976-07-22 1980-08-21 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V., 3400 Goettingen Partikelseparator
US4173415A (en) 1976-08-20 1979-11-06 Science Spectrum, Inc. Apparatus and process for rapidly characterizing and differentiating large organic cells
US4318481A (en) 1979-08-20 1982-03-09 Ortho Diagnostics, Inc. Method for automatically setting the correct phase of the charge pulses in an electrostatic flow sorter
US4318480A (en) 1979-08-20 1982-03-09 Ortho Diagnostics, Inc. Method and apparatus for positioning the point of droplet formation in the jetting fluid of an electrostatic sorting device
US4325483A (en) 1979-08-20 1982-04-20 Ortho Diagnostics, Inc. Method for detecting and controlling flow rates of the droplet forming stream of an electrostatic particle sorting apparatus
JPS5630870A (en) 1979-08-23 1981-03-28 Fuji Xerox Co Ltd Ink jet printer
US4284496A (en) 1979-12-10 1981-08-18 Newton William A Particle guiding apparatus and method
JPS58187441U (ja) 1982-06-09 1983-12-13 横河電機株式会社 インクジエツトプリンタ
US4538733A (en) 1983-10-14 1985-09-03 Becton, Dickinson And Company Particle sorter with neutralized collection wells and method of using same
JPS6236542A (ja) 1985-08-09 1987-02-17 Canon Inc 粒子解析装置
US4616234A (en) 1985-08-15 1986-10-07 Eastman Kodak Company Simultaneous phase detection and adjustment of multi-jet printer
JPS62167478A (ja) 1985-11-29 1987-07-23 Shimadzu Corp 粒子分取装置
JPS6412245A (en) 1987-07-03 1989-01-17 Canon Kk Particle analyzing device
US4987539A (en) 1987-08-05 1991-01-22 Stanford University Apparatus and method for multidimensional characterization of objects in real time
US5080770A (en) 1989-09-11 1992-01-14 Culkin Joseph B Apparatus and method for separating particles
DE69025256T2 (de) 1989-10-11 1996-06-27 Canon Kk Gerät und Verfahren zur Trennung von Teilchen aus flüssigkeitssuspendierten Teilchen in Zusammenhang mit deren Eigenschaften
JPH06288896A (ja) * 1993-03-31 1994-10-18 Jasco Corp セルソータ
US5483469A (en) 1993-08-02 1996-01-09 The Regents Of The University Of California Multiple sort flow cytometer
US5700692A (en) * 1994-09-27 1997-12-23 Becton Dickinson And Company Flow sorter with video-regulated droplet spacing
US6861265B1 (en) 1994-10-14 2005-03-01 University Of Washington Flow cytometer droplet formation system
US5602039A (en) 1994-10-14 1997-02-11 The University Of Washington Flow cytometer jet monitor system
US5641457A (en) 1995-04-25 1997-06-24 Systemix Sterile flow cytometer and sorter with mechanical isolation between flow chamber and sterile enclosure
US5617911A (en) 1995-09-08 1997-04-08 Aeroquip Corporation Method and apparatus for creating a free-form three-dimensional article using a layer-by-layer deposition of a support material and a deposition material
DE19549015C1 (de) 1995-12-28 1997-04-03 Siemens Ag Verfahren und Anordnung zur Überwachung eines abreißenden Flüssigkeitstrahls
JP3258889B2 (ja) 1996-01-11 2002-02-18 株式会社堀場製作所 散乱式粒度分布測定装置における光軸調整方法
US5988480A (en) 1997-12-12 1999-11-23 Micron Technology, Inc. Continuous mode solder jet apparatus
JP2985826B2 (ja) 1997-04-09 1999-12-06 日本電気株式会社 位置検出装置および方法
US6079836A (en) 1998-07-20 2000-06-27 Coulter International Corp. Flow cytometer droplet break-off location adjustment mechanism
US6202734B1 (en) 1998-08-03 2001-03-20 Sandia Corporation Apparatus for jet application of molten metal droplets for manufacture of metal parts
US6221254B1 (en) 1998-08-25 2001-04-24 J. Rodney Dickerson Purification of liquid streams using carbon dioxide
US6410872B2 (en) 1999-03-26 2002-06-25 Key Technology, Inc. Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
US6372506B1 (en) 1999-07-02 2002-04-16 Becton, Dickinson And Company Apparatus and method for verifying drop delay in a flow cytometer
US6813017B1 (en) 1999-10-20 2004-11-02 Becton, Dickinson And Company Apparatus and method employing incoherent light emitting semiconductor devices as particle detection light sources in a flow cytometer
US7024316B1 (en) 1999-10-21 2006-04-04 Dakocytomation Colorado, Inc. Transiently dynamic flow cytometer analysis system
US6583865B2 (en) 2000-08-25 2003-06-24 Amnis Corporation Alternative detector configuration and mode of operation of a time delay integration particle analyzer
EP1322936A2 (en) 2000-10-03 2003-07-02 California Institute Of Technology Microfluidic devices and methods of use
US7907765B2 (en) 2001-03-28 2011-03-15 University Of Washington Focal plane tracking for optical microtomography
US7345758B2 (en) 2001-05-17 2008-03-18 Cytopeia Apparatus for analyzing and sorting biological particles
WO2002092247A1 (en) 2001-05-17 2002-11-21 Cytomation, Inc. Flow cytometer with active automated optical alignment system
US7280207B2 (en) 2001-07-25 2007-10-09 Applera Corporation Time-delay integration in a flow cytometry system
US6949715B2 (en) 2002-02-08 2005-09-27 Kelly Arnold J Method and apparatus for particle size separation
US6866370B2 (en) 2002-05-28 2005-03-15 Eastman Kodak Company Apparatus and method for improving gas flow uniformity in a continuous stream ink jet printer
JP4099822B2 (ja) 2002-07-26 2008-06-11 セイコーエプソン株式会社 ディスペンシング装置、ディスペンシング方法及び生体試料含有溶液吐出不良検出方法
US8486618B2 (en) 2002-08-01 2013-07-16 Xy, Llc Heterogeneous inseminate system
US7201875B2 (en) 2002-09-27 2007-04-10 Becton Dickinson And Company Fixed mounted sorting cuvette with user replaceable nozzle
JP3979304B2 (ja) 2003-02-24 2007-09-19 日本光電工業株式会社 フローセル位置決め方法およびフローセル位置調整可能なフローサイトメータ
MX347048B (es) 2003-03-28 2017-04-07 Inguran Llc * Aparato de muestreo digital y métodos para separar partículas.
ES2541121T3 (es) 2003-05-15 2015-07-16 Xy, Llc Clasificación eficiente de células haploides por sistemas de citometría de flujo
US7425253B2 (en) 2004-01-29 2008-09-16 Massachusetts Institute Of Technology Microscale sorting cytometer
US7232687B2 (en) 2004-04-07 2007-06-19 Beckman Coulter, Inc. Multiple sorter monitor and control subsystem for flow cytometer
EP1735428A4 (en) 2004-04-12 2010-11-10 Univ California OPTOELECTRONIC TWEEZERS FOR MANIPULATING MICROPARTICLES AND CELLS
PT1771729E (pt) * 2004-07-27 2015-12-31 Beckman Coulter Inc Acentuação da discriminação da citometria de fluxo com transformação geométrica
US7410233B2 (en) 2004-12-10 2008-08-12 Konica Minolta Holdings, Inc. Liquid droplet ejecting apparatus and a method of driving a liquid droplet ejecting head
JP4047336B2 (ja) 2005-02-08 2008-02-13 独立行政法人科学技術振興機構 ゲル電極付セルソーターチップ
JP4540506B2 (ja) 2005-03-04 2010-09-08 三井造船株式会社 試料液流の位置制御方法および装置
US7403125B2 (en) 2005-05-06 2008-07-22 Accuri Cytometers, Inc. Flow cytometry system with bubble detection
US7518108B2 (en) 2005-11-10 2009-04-14 Wisconsin Alumni Research Foundation Electrospray ionization ion source with tunable charge reduction
US7901947B2 (en) 2006-04-18 2011-03-08 Advanced Liquid Logic, Inc. Droplet-based particle sorting
JP4304195B2 (ja) 2006-06-13 2009-07-29 ベイバイオサイエンス株式会社 生物学的粒子をソーティングする装置及び方法
US20070291058A1 (en) 2006-06-20 2007-12-20 Fagerquist Randy L Continuous ink jet printing with satellite droplets
JP5168837B2 (ja) 2006-07-27 2013-03-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN101500938B (zh) 2006-08-14 2011-11-23 梅奥医学教育和研究基金会 稀土纳米粒子
US20080067068A1 (en) 2006-09-19 2008-03-20 Vanderbilt University DC-dielectrophoresis microfluidic apparatus, and applications of same
JP4304634B2 (ja) 2006-10-23 2009-07-29 ソニー株式会社 標識検出装置及び標識検出方法
US7788969B2 (en) 2006-11-28 2010-09-07 Cummins Filtration Ip, Inc. Combination contaminant size and nature sensing system and method for diagnosing contamination issues in fluids
DE102006056694B4 (de) 2006-11-30 2010-08-05 Advalytix Ag Verfahren zum Durchführen einer enzymatischen Reaktion
US8290625B2 (en) 2007-04-04 2012-10-16 Beckman Coulter, Inc. Flow cytometer sorter
US8592221B2 (en) 2007-04-19 2013-11-26 Brandeis University Manipulation of fluids, fluid components and reactions in microfluidic systems
US7828420B2 (en) 2007-05-16 2010-11-09 Eastman Kodak Company Continuous ink jet printer with modified actuator activation waveform
US7691636B2 (en) 2007-05-23 2010-04-06 Beckman Coulter, Inc. Method and apparatus for compensating for variations in particle trajectories in electrostatic sorter for flowcell cytometer
WO2009009081A2 (en) 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US7880108B2 (en) 2007-10-26 2011-02-01 Becton, Dickinson And Company Deflection plate
JP4990746B2 (ja) 2007-12-14 2012-08-01 ベイバイオサイエンス株式会社 液体フローに含まれる生物学的粒子を分別する装置ならびにその方法
JP5738597B2 (ja) 2007-12-21 2015-06-24 プレジデント アンド フェローズ オブ ハーバード カレッジ 核酸の配列決定のためのシステムおよび方法
JP2009298012A (ja) 2008-06-13 2009-12-24 Konica Minolta Holdings Inc 液滴吐出検査装置、液滴吐出検査方法及び画像形成装置
JP4572973B2 (ja) 2008-06-16 2010-11-04 ソニー株式会社 マイクロチップ及びマイクロチップにおける送流方法
UA115521C2 (uk) 2008-06-30 2017-11-27 Мікробікс Байосистемз Інк. Метод і пристосування для сортування клітин
US8248609B2 (en) 2008-11-04 2012-08-21 The Johns Hopkins University Cylindrical illumination confocal spectroscopy system
JP5487638B2 (ja) 2009-02-17 2014-05-07 ソニー株式会社 微小粒子分取のための装置及びマイクロチップ
WO2010101926A2 (en) 2009-03-02 2010-09-10 The Johns Hopkins University Microfluidic system for high-throughput, droplet-based single molecule analysis with low reagent consumption
JP5078929B2 (ja) 2009-03-17 2012-11-21 三井造船株式会社 セルソータおよびサンプル分別方法
US8528589B2 (en) 2009-03-23 2013-09-10 Raindance Technologies, Inc. Manipulation of microfluidic droplets
US20120135874A1 (en) 2009-05-08 2012-05-31 The Johns Hopkins University Single molecule spectroscopy for analysis of cell-free nucleic acid biomarkers
JP5254441B2 (ja) 2009-06-03 2013-08-07 株式会社日立ハイテクノロジーズ フロー式粒子画像解析方法及び装置
JP5304456B2 (ja) 2009-06-10 2013-10-02 ソニー株式会社 微小粒子測定装置
JP5321260B2 (ja) 2009-06-11 2013-10-23 ソニー株式会社 光学的測定装置、並びにフローサイトメーター及び光学的測定方法
US8628648B2 (en) 2009-07-07 2014-01-14 The University Of Akron Apparatus and method for manipulating micro component
JP5446563B2 (ja) 2009-08-06 2014-03-19 ソニー株式会社 微小粒子分取装置、および該微小粒子分取装置を用いたフローサイトメーター
US8570511B2 (en) 2009-09-09 2013-10-29 Brookhaven Science Associates, Llc Wide size range fast integrated mobility spectrometer
US9151646B2 (en) 2011-12-21 2015-10-06 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
US8922646B2 (en) 2010-03-09 2014-12-30 Beckman Coulter, Inc. Calculate drop delay for flow cytometry systems and methods
WO2011121750A1 (ja) 2010-03-31 2011-10-06 古河電気工業株式会社 光情報解析装置及び光情報解析方法
JP5437148B2 (ja) 2010-04-23 2014-03-12 ベイバイオサイエンス株式会社 フローサイトメータおよびセルソータ
JP2011237201A (ja) 2010-05-06 2011-11-24 Sony Corp 微小粒子分取装置、マイクロチップ及びマイクロチップモジュール
US8922636B1 (en) 2010-08-20 2014-12-30 The United States Of America As Represented By The Secretary Of The Navy Synthetic aperture imaging for fluid flows
JP2012047464A (ja) 2010-08-24 2012-03-08 Sony Corp 微小粒子測定装置及び光軸補正方法
US9170138B2 (en) 2010-10-01 2015-10-27 The Board Of Trustees Of The Leland Stanford Junior University Enhanced microfluidic electromagnetic measurements
CA2826544C (en) 2011-02-04 2020-06-30 Cytonome/St, Llc Particle sorting apparatus and method
WO2012129591A1 (en) 2011-03-30 2012-10-04 Empire Technology Development Llc Material sorting system and method of sorting material
US20120301869A1 (en) 2011-05-25 2012-11-29 Inguran, Llc Particle separation devices, methods and systems
WO2012170023A1 (en) 2011-06-08 2012-12-13 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
JP6003020B2 (ja) 2011-08-03 2016-10-05 ソニー株式会社 マイクロチップ及び微小粒子分析装置
EP2724144B1 (en) 2011-08-25 2018-04-11 Sony Corporation Characterization of motion-related error in a stream of moving micro-entities
JP5880088B2 (ja) 2012-01-31 2016-03-08 ブラザー工業株式会社 エッジ検出装置、画像データ処理装置、該画像データ処理装置を備える液体吐出装置、エッジ検出方法及びエッジ検出プログラム
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
JP5924077B2 (ja) 2012-03-30 2016-05-25 ソニー株式会社 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法
US20150132766A1 (en) 2012-03-30 2015-05-14 On-Chip Cellomics Consortium Imaging cell sorter
WO2013145905A1 (ja) 2012-03-30 2013-10-03 ソニー株式会社 微小粒子分取装置及び該装置における流体ストリーム最適化方法
EP3511694A1 (en) 2012-03-30 2019-07-17 Sony Corporation Microparticle sorting device and method for controlling position in microparticle sorting device
JP5924276B2 (ja) 2012-04-03 2016-05-25 ソニー株式会社 流路デバイス、粒子分取装置及び粒子分取方法
US20130286038A1 (en) 2012-04-30 2013-10-31 General Electric Company Systems and methods for selection and display of multiplexed images of biological tissue
JP2014020918A (ja) 2012-07-18 2014-02-03 Sony Corp 微小粒子測定装置及び微小粒子分析方法
US9168568B2 (en) 2012-08-01 2015-10-27 Owl biomedical, Inc. Particle manipulation system with cytometric confirmation
JP6065527B2 (ja) 2012-11-08 2017-01-25 ソニー株式会社 微小粒子分取装置及び微小粒子分取方法
WO2014115409A1 (ja) 2013-01-28 2014-07-31 ソニー株式会社 微小粒子分取装置、微小粒子分取方法及びプログラム
JP2014174139A (ja) 2013-03-13 2014-09-22 Sony Corp 流路デバイス、粒子分取装置、粒子流出方法、及び粒子分取方法
WO2014152039A2 (en) 2013-03-14 2014-09-25 Cytonome/St, Llc Operatorless particle processing systems and methods
EP2984468B1 (en) 2013-04-12 2021-11-17 Becton, Dickinson and Company Automated set-up for cell sorting
US9645080B2 (en) 2013-04-16 2017-05-09 University Of Washington Systems, devices, and methods for separating, concentrating, and/or differentiating between cells from a cell sample
EP3004813A4 (en) 2013-05-29 2016-12-21 Gnubio Inc OPTICAL SYSTEM OF DISCREET, QUICK AND CHEAP MEASUREMENT
CN105579829B (zh) * 2013-08-16 2019-02-19 生物辐射实验室股份有限公司 来自流式细胞器中的流体流的液滴的分离和/或充电的定时和/或相位调整
EP3035030B1 (en) 2013-10-16 2019-07-10 Sony Corporation Particle fractionation device, particle fractionation method, and program
JP6136843B2 (ja) 2013-10-17 2017-05-31 ソニー株式会社 粒子分取装置、粒子分取方法及びプログラム
CN105980831B (zh) 2014-02-13 2021-01-12 索尼公司 粒子分捡装置、粒子分捡方法、程序以及粒子分捡系统
JP6657625B2 (ja) 2014-09-05 2020-03-04 ソニー株式会社 液滴分取装置、液滴分取方法及びプログラム
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
WO2017068822A1 (ja) 2015-10-19 2017-04-27 ソニー株式会社 画像処理装置、微小粒子分取装置及び画像処理方法
CN114062231A (zh) * 2015-10-28 2022-02-18 国立大学法人东京大学 分析装置
US10732094B2 (en) * 2016-10-03 2020-08-04 Becton, Dickinson And Company Methods and systems for determining a drop delay of a flow stream in a flow cytometer
US10466158B2 (en) 2017-04-11 2019-11-05 Sony Corporation Microparticle sorting apparatus and delay time determination method
US10591400B2 (en) 2018-03-29 2020-03-17 Sony Corporation Micro particle analyzer and micro particle analysis method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002505423A (ja) * 1998-02-27 2002-02-19 サイトメーション， インコーポレイテッド フローサイトメトリーのための方法および装置
JP2006504970A (ja) * 2002-11-01 2006-02-09 ベックマン コールター，インコーポレーテッド 液滴ソーティングの監視及び制御
JP2005315799A (ja) * 2004-04-30 2005-11-10 Bay Bioscience Kk 生物学的粒子をソーティングする装置及び方法
JP2013210264A (ja) * 2012-03-30 2013-10-10 Sony Corp 微小粒子分取装置及びディレイタイム決定方法
JP2015152439A (ja) * 2014-02-14 2015-08-24 ソニー株式会社 粒子分取装置、粒子分取方法及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190301994A1 (en) * 2018-03-29 2019-10-03 Sony Corporation Micro particle analyzer and micro particle analysis method
US10591400B2 (en) * 2018-03-29 2020-03-17 Sony Corporation Micro particle analyzer and micro particle analysis method
US11156544B2 (en) 2018-03-29 2021-10-26 Sony Corporation Microparticle analyzer and microparticle analysis method
WO2019207988A1 (ja) * 2018-04-25 2019-10-31 ソニー株式会社 微小粒子分取装置及び微小粒子分取方法
US11686662B2 (en) 2018-04-25 2023-06-27 Sony Corporation Microparticle sorting device and method for sorting microparticles
WO2020149042A1 (ja) * 2019-01-15 2020-07-23 ソニー株式会社 微小粒子分取装置、微小粒子分取システム、液滴分取装置、及び液滴制御装置、並びに、液滴制御用プログラム
JP7415953B2 (ja) 2019-01-15 2024-01-17 ソニーグループ株式会社 微小粒子分取装置、微小粒子分取システム、液滴分取装置、及び液滴制御装置、並びに、液滴制御用プログラム
US11885730B2 (en) 2019-01-15 2024-01-30 Sony Group Corporation Microparticle sorting device, microparticle sorting system, droplet sorting device, droplet control device, and droplet control program
WO2022080482A1 (ja) * 2020-10-15 2022-04-21 ソニーグループ株式会社 粒子検出装置、粒子検出システム、及び粒子検出方法
WO2023189819A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 粒子分取システム、及び粒子分取方法

Also Published As

Publication number Publication date
EP3343200A4 (en) 2019-05-08
JP6729597B2 (ja) 2020-07-22
EP3343200A1 (en) 2018-07-04
US20200072726A1 (en) 2020-03-05
US20180313740A1 (en) 2018-11-01
CN108139312A (zh) 2018-06-08
US10605714B2 (en) 2020-03-31
JPWO2017068822A1 (ja) 2018-08-02
CN108139312B (zh) 2021-02-05
EP3343200B1 (en) 2021-12-15
US11204309B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
WO2017068822A1 (ja) 画像処理装置、微小粒子分取装置及び画像処理方法
JP5994337B2 (ja) 微小粒子分取装置及びディレイタイム決定方法
JP5601424B2 (ja) 微小粒子分取装置及び該装置における流体ストリーム最適化方法
JP6102994B2 (ja) 微小粒子分取装置及び微小粒子分取装置における位置制御方法
JP6256537B2 (ja) マイクロチップ型光学測定装置及び該装置における光学位置調整方法
JP5924077B2 (ja) 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法
JP2020076786A (ja) 液滴分取装置、液滴分取方法及びプログラム
KR102318759B1 (ko) 미세입자 분류 장치 및 지연 시간 결정 방법
JP5905317B2 (ja) 微小粒子分取装置におけるキャリブレーション方法及び該装置
JP6237806B2 (ja) 微小粒子分取装置
JP6135796B2 (ja) 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857140

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017546422

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15767426

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE