KR102669330B1 - 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 - Google Patents
미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 Download PDFInfo
- Publication number
- KR102669330B1 KR102669330B1 KR1020197018732A KR20197018732A KR102669330B1 KR 102669330 B1 KR102669330 B1 KR 102669330B1 KR 1020197018732 A KR1020197018732 A KR 1020197018732A KR 20197018732 A KR20197018732 A KR 20197018732A KR 102669330 B1 KR102669330 B1 KR 102669330B1
- Authority
- KR
- South Korea
- Prior art keywords
- micro
- layer
- objects
- image
- block
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 303
- 238000005070 sampling Methods 0.000 claims description 240
- 210000004027 cell Anatomy 0.000 claims description 166
- 230000004913 activation Effects 0.000 claims description 148
- 238000010606 normalization Methods 0.000 claims description 105
- 239000000758 substrate Substances 0.000 claims description 84
- 238000013528 artificial neural network Methods 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 70
- 230000006798 recombination Effects 0.000 claims description 67
- 238000005215 recombination Methods 0.000 claims description 67
- 230000006870 function Effects 0.000 claims description 49
- 238000003384 imaging method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 33
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 24
- 206010028980 Neoplasm Diseases 0.000 claims description 11
- 201000011510 cancer Diseases 0.000 claims description 11
- 210000002865 immune cell Anatomy 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 210000000287 oocyte Anatomy 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 210000002257 embryonic structure Anatomy 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 410
- 238000002955 isolation Methods 0.000 description 209
- 238000001994 activation Methods 0.000 description 138
- 239000002609 medium Substances 0.000 description 137
- 239000000463 material Substances 0.000 description 117
- 238000004720 dielectrophoresis Methods 0.000 description 95
- 239000012530 fluid Substances 0.000 description 93
- 239000011248 coating agent Substances 0.000 description 87
- 238000000576 coating method Methods 0.000 description 81
- 238000013527 convolutional neural network Methods 0.000 description 69
- 229920000642 polymer Polymers 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000003750 conditioning effect Effects 0.000 description 22
- 125000005647 linker group Chemical group 0.000 description 21
- 230000001143 conditioned effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000002209 hydrophobic effect Effects 0.000 description 19
- -1 polydimethylsiloxane Polymers 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 125000000217 alkyl group Chemical group 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 16
- 239000000243 solution Substances 0.000 description 15
- 150000002433 hydrophilic molecules Chemical class 0.000 description 14
- 238000012423 maintenance Methods 0.000 description 14
- 230000035515 penetration Effects 0.000 description 14
- 238000011176 pooling Methods 0.000 description 14
- 229910052710 silicon Inorganic materials 0.000 description 14
- 239000010703 silicon Substances 0.000 description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 150000001413 amino acids Chemical class 0.000 description 12
- 150000001720 carbohydrates Chemical class 0.000 description 12
- 239000000126 substance Substances 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 11
- 125000004429 atom Chemical group 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 11
- RTZKZFJDLAIYFH-UHFFFAOYSA-N ether Substances CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 11
- ABLZXFCXXLZCGV-UHFFFAOYSA-N phosphonic acid group Chemical group P(O)(O)=O ABLZXFCXXLZCGV-UHFFFAOYSA-N 0.000 description 11
- 235000018102 proteins Nutrition 0.000 description 11
- 102000004169 proteins and genes Human genes 0.000 description 11
- 108090000623 proteins and genes Proteins 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 229910021417 amorphous silicon Inorganic materials 0.000 description 9
- 239000011324 bead Substances 0.000 description 9
- 230000008901 benefit Effects 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 210000002966 serum Anatomy 0.000 description 9
- 108091003079 Bovine Serum Albumin Proteins 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 238000001816 cooling Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 229920001223 polyethylene glycol Polymers 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 239000012491 analyte Substances 0.000 description 7
- 229940098773 bovine serum albumin Drugs 0.000 description 7
- 150000001735 carboxylic acids Chemical group 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 229920001282 polysaccharide Polymers 0.000 description 7
- 239000005017 polysaccharide Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 229920002307 Dextran Polymers 0.000 description 6
- MHAJPDPJQMAIIY-UHFFFAOYSA-N Hydrogen peroxide Chemical compound OO MHAJPDPJQMAIIY-UHFFFAOYSA-N 0.000 description 6
- 229920003171 Poly (ethylene oxide) Polymers 0.000 description 6
- 210000003719 b-lymphocyte Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 125000003709 fluoroalkyl group Chemical group 0.000 description 6
- 239000007789 gas Substances 0.000 description 6
- 150000004676 glycans Chemical class 0.000 description 6
- 239000001257 hydrogen Substances 0.000 description 6
- 229910052739 hydrogen Inorganic materials 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 239000002773 nucleotide Substances 0.000 description 6
- 125000003729 nucleotide group Chemical group 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- 210000001744 T-lymphocyte Anatomy 0.000 description 5
- 125000003277 amino group Chemical group 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 239000004205 dimethyl polysiloxane Substances 0.000 description 5
- 235000013870 dimethyl polysiloxane Nutrition 0.000 description 5
- 210000002540 macrophage Anatomy 0.000 description 5
- 210000004962 mammalian cell Anatomy 0.000 description 5
- 210000000822 natural killer cell Anatomy 0.000 description 5
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 229910052814 silicon oxide Inorganic materials 0.000 description 5
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 4
- QAOWNCQODCNURD-UHFFFAOYSA-N Sulfuric acid Chemical compound OS(O)(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-N 0.000 description 4
- 125000002947 alkylene group Chemical group 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 210000004978 chinese hamster ovary cell Anatomy 0.000 description 4
- 238000000151 deposition Methods 0.000 description 4
- KPUWHANPEXNPJT-UHFFFAOYSA-N disiloxane Chemical class [SiH3]O[SiH3] KPUWHANPEXNPJT-UHFFFAOYSA-N 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 150000002500 ions Chemical class 0.000 description 4
- 210000001161 mammalian embryo Anatomy 0.000 description 4
- 239000011325 microbead Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000000178 monomer Substances 0.000 description 4
- 150000007523 nucleic acids Chemical class 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- CXQXSVUQTKDNFP-UHFFFAOYSA-N octamethyltrisiloxane Chemical compound C[Si](C)(C)O[Si](C)(C)O[Si](C)(C)C CXQXSVUQTKDNFP-UHFFFAOYSA-N 0.000 description 4
- 125000005010 perfluoroalkyl group Chemical group 0.000 description 4
- 238000004987 plasma desorption mass spectroscopy Methods 0.000 description 4
- 108090000765 processed proteins & peptides Proteins 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 241000894007 species Species 0.000 description 4
- 125000000542 sulfonic acid group Chemical group 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 230000035899 viability Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical group [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 3
- 244000157072 Hylocereus undatus Species 0.000 description 3
- 235000018481 Hylocereus undatus Nutrition 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 125000003342 alkenyl group Chemical group 0.000 description 3
- 150000001412 amines Chemical group 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 125000000129 anionic group Chemical group 0.000 description 3
- 239000000427 antigen Substances 0.000 description 3
- 102000036639 antigens Human genes 0.000 description 3
- 108091007433 antigens Proteins 0.000 description 3
- 125000003118 aryl group Chemical group 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 229920001400 block copolymer Polymers 0.000 description 3
- 235000014633 carbohydrates Nutrition 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 3
- 125000002091 cationic group Chemical group 0.000 description 3
- 230000010261 cell growth Effects 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- 230000008021 deposition Effects 0.000 description 3
- 235000013601 eggs Nutrition 0.000 description 3
- 230000005684 electric field Effects 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000012010 growth Effects 0.000 description 3
- 229910000449 hafnium oxide Inorganic materials 0.000 description 3
- WIHZLLGSGQNAGK-UHFFFAOYSA-N hafnium(4+);oxygen(2-) Chemical compound [O-2].[O-2].[Hf+4] WIHZLLGSGQNAGK-UHFFFAOYSA-N 0.000 description 3
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000003446 ligand Substances 0.000 description 3
- 150000002632 lipids Chemical class 0.000 description 3
- 239000002502 liposome Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 229920001983 poloxamer Polymers 0.000 description 3
- 229920000768 polyamine Polymers 0.000 description 3
- 102000004196 processed proteins & peptides Human genes 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000035755 proliferation Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000007740 vapor deposition Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- LSNNMFCWUKXFEE-UHFFFAOYSA-M Bisulfite Chemical compound OS([O-])=O LSNNMFCWUKXFEE-UHFFFAOYSA-M 0.000 description 2
- 241000283707 Capra Species 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 241000283073 Equus caballus Species 0.000 description 2
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 2
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 2
- VEXZGXHMUGYJMC-UHFFFAOYSA-N Hydrochloric acid Chemical compound Cl VEXZGXHMUGYJMC-UHFFFAOYSA-N 0.000 description 2
- 241001494479 Pecora Species 0.000 description 2
- 239000002202 Polyethylene glycol Substances 0.000 description 2
- 241000288906 Primates Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 229920001577 copolymer Polymers 0.000 description 2
- 238000012258 culturing Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000007857 degradation product Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 210000002744 extracellular matrix Anatomy 0.000 description 2
- 230000009969 flowable effect Effects 0.000 description 2
- 125000000623 heterocyclic group Chemical group 0.000 description 2
- 210000004408 hybridoma Anatomy 0.000 description 2
- 230000036571 hydration Effects 0.000 description 2
- 238000006703 hydration reaction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 2
- 229910052753 mercury Inorganic materials 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- QLOAVXSYZAJECW-UHFFFAOYSA-N methane;molecular fluorine Chemical compound C.FF QLOAVXSYZAJECW-UHFFFAOYSA-N 0.000 description 2
- 125000000325 methylidene group Chemical group [H]C([H])=* 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 229920000172 poly(styrenesulfonic acid) Polymers 0.000 description 2
- 229920000867 polyelectrolyte Polymers 0.000 description 2
- 229920001451 polypropylene glycol Polymers 0.000 description 2
- 229940005642 polystyrene sulfonic acid Drugs 0.000 description 2
- 238000005381 potential energy Methods 0.000 description 2
- 125000002924 primary amino group Chemical group [H]N([H])* 0.000 description 2
- KIDHWZJUCRJVML-UHFFFAOYSA-N putrescine Chemical compound NCCCCN KIDHWZJUCRJVML-UHFFFAOYSA-N 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 150000003384 small molecules Chemical class 0.000 description 2
- 239000002904 solvent Substances 0.000 description 2
- ATHGHQPFGPMSJY-UHFFFAOYSA-N spermidine Chemical compound NCCCCNCCCN ATHGHQPFGPMSJY-UHFFFAOYSA-N 0.000 description 2
- PFNFFQXMRSDOHW-UHFFFAOYSA-N spermine Chemical compound NCCCNCCCCNCCCN PFNFFQXMRSDOHW-UHFFFAOYSA-N 0.000 description 2
- 238000004528 spin coating Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 125000000547 substituted alkyl group Chemical group 0.000 description 2
- IIACRCGMVDHOTQ-UHFFFAOYSA-N sulfamic acid group Chemical class S(N)(O)(=O)=O IIACRCGMVDHOTQ-UHFFFAOYSA-N 0.000 description 2
- 150000003573 thiols Chemical class 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- NGNBDVOYPDDBFK-UHFFFAOYSA-N 2-[2,4-di(pentan-2-yl)phenoxy]acetyl chloride Chemical class CCCC(C)C1=CC=C(OCC(Cl)=O)C(C(C)CCC)=C1 NGNBDVOYPDDBFK-UHFFFAOYSA-N 0.000 description 1
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 108010088751 Albumins Proteins 0.000 description 1
- 102000009027 Albumins Human genes 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000252506 Characiformes Species 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- VVNCNSJFMMFHPL-VKHMYHEASA-N D-penicillamine Chemical group CC(C)(S)[C@@H](N)C(O)=O VVNCNSJFMMFHPL-VKHMYHEASA-N 0.000 description 1
- HMFHBZSHGGEWLO-SOOFDHNKSA-N D-ribofuranose Chemical compound OC[C@H]1OC(O)[C@H](O)[C@@H]1O HMFHBZSHGGEWLO-SOOFDHNKSA-N 0.000 description 1
- BWGNESOTFCXPMA-UHFFFAOYSA-N Dihydrogen disulfide Chemical compound SS BWGNESOTFCXPMA-UHFFFAOYSA-N 0.000 description 1
- 102000016942 Elastin Human genes 0.000 description 1
- 108010014258 Elastin Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 108010067306 Fibronectins Proteins 0.000 description 1
- 102000016359 Fibronectins Human genes 0.000 description 1
- 108060003393 Granulin Proteins 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 108060003951 Immunoglobulin Proteins 0.000 description 1
- 102000008394 Immunoglobulin Fragments Human genes 0.000 description 1
- 108010021625 Immunoglobulin Fragments Proteins 0.000 description 1
- 108010052285 Membrane Proteins Proteins 0.000 description 1
- 241001529936 Murinae Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 239000004372 Polyvinyl alcohol Substances 0.000 description 1
- 101000781681 Protobothrops flavoviridis Disintegrin triflavin Proteins 0.000 description 1
- 239000005700 Putrescine Substances 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 108091028664 Ribonucleotide Proteins 0.000 description 1
- PYMYPHUHKUWMLA-LMVFSUKVSA-N Ribose Natural products OC[C@@H](O)[C@@H](O)[C@@H](O)C=O PYMYPHUHKUWMLA-LMVFSUKVSA-N 0.000 description 1
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- 229920002125 Sokalan® Polymers 0.000 description 1
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 1
- 229920006362 Teflon® Polymers 0.000 description 1
- RYYWUUFWQRZTIU-UHFFFAOYSA-N Thiophosphoric acid Chemical group OP(O)(S)=O RYYWUUFWQRZTIU-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 125000003158 alcohol group Chemical group 0.000 description 1
- 150000001298 alcohols Chemical class 0.000 description 1
- 150000001345 alkine derivatives Chemical group 0.000 description 1
- HMFHBZSHGGEWLO-UHFFFAOYSA-N alpha-D-Furanose-Ribose Natural products OCC1OC(O)C(O)C1O HMFHBZSHGGEWLO-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 125000003368 amide group Chemical group 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 150000001450 anions Chemical class 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 239000012736 aqueous medium Substances 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 239000003125 aqueous solvent Substances 0.000 description 1
- 125000000732 arylene group Chemical group 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 150000001768 cations Chemical class 0.000 description 1
- 230000015861 cell surface binding Effects 0.000 description 1
- 230000005754 cellular signaling Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 239000011370 conductive nanoparticle Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000005547 deoxyribonucleotide Substances 0.000 description 1
- 125000002637 deoxyribonucleotide group Chemical group 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 235000014113 dietary fatty acids Nutrition 0.000 description 1
- 229920002549 elastin Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005868 electrolysis reaction Methods 0.000 description 1
- 238000009503 electrostatic coating Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 125000001495 ethyl group Chemical group [H]C([H])([H])C([H])([H])* 0.000 description 1
- 210000003527 eukaryotic cell Anatomy 0.000 description 1
- 229930195729 fatty acid Natural products 0.000 description 1
- 239000000194 fatty acid Substances 0.000 description 1
- 150000004665 fatty acids Chemical class 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012091 fetal bovine serum Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229920005570 flexible polymer Polymers 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 125000002485 formyl group Chemical group [H]C(*)=O 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 229920000578 graft copolymer Polymers 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- ZRALSGWEFCBTJO-UHFFFAOYSA-N guanidine group Chemical group NC(=N)N ZRALSGWEFCBTJO-UHFFFAOYSA-N 0.000 description 1
- ZRALSGWEFCBTJO-UHFFFAOYSA-O guanidinium Chemical compound NC(N)=[NH2+] ZRALSGWEFCBTJO-UHFFFAOYSA-O 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 125000001072 heteroaryl group Chemical group 0.000 description 1
- 125000005549 heteroarylene group Chemical group 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 210000004754 hybrid cell Anatomy 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000002649 immunization Methods 0.000 description 1
- 230000003053 immunization Effects 0.000 description 1
- 102000018358 immunoglobulin Human genes 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007791 liquid phase Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- YACKEPLHDIMKIO-UHFFFAOYSA-N methylphosphonic acid Chemical compound CP(O)(O)=O YACKEPLHDIMKIO-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 150000002772 monosaccharides Chemical class 0.000 description 1
- 125000002757 morpholinyl group Chemical group 0.000 description 1
- 239000002048 multi walled nanotube Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002107 nanodisc Substances 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 239000002070 nanowire Substances 0.000 description 1
- 229920005615 natural polymer Polymers 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- QJGQUHMNIGDVPM-UHFFFAOYSA-N nitrogen group Chemical group [N] QJGQUHMNIGDVPM-UHFFFAOYSA-N 0.000 description 1
- 239000002777 nucleoside Substances 0.000 description 1
- 125000003835 nucleoside group Chemical group 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 125000005386 organosiloxy group Chemical group 0.000 description 1
- 150000002923 oximes Chemical class 0.000 description 1
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 150000002972 pentoses Chemical class 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000012071 phase Substances 0.000 description 1
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 1
- 150000003904 phospholipids Chemical class 0.000 description 1
- 150000003009 phosphonic acids Chemical class 0.000 description 1
- 125000004437 phosphorous atom Chemical group 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 125000004193 piperazinyl group Chemical group 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000004584 polyacrylic acid Substances 0.000 description 1
- 239000004626 polylactic acid Substances 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920002451 polyvinyl alcohol Polymers 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 210000001236 prokaryotic cell Anatomy 0.000 description 1
- TVDSBUOJIPERQY-UHFFFAOYSA-N prop-2-yn-1-ol Chemical compound OCC#C TVDSBUOJIPERQY-UHFFFAOYSA-N 0.000 description 1
- UORVCLMRJXCDCP-UHFFFAOYSA-N propynoic acid Chemical compound OC(=O)C#C UORVCLMRJXCDCP-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000029219 regulation of pH Effects 0.000 description 1
- 239000002336 ribonucleotide Substances 0.000 description 1
- 125000002652 ribonucleotide group Chemical group 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 125000005373 siloxane group Chemical group [SiH2](O*)* 0.000 description 1
- 125000004469 siloxy group Chemical group [SiH3]O* 0.000 description 1
- 239000002109 single walled nanotube Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000000527 sonication Methods 0.000 description 1
- 229940063673 spermidine Drugs 0.000 description 1
- 229940063675 spermine Drugs 0.000 description 1
- 235000000346 sugar Nutrition 0.000 description 1
- 150000005846 sugar alcohols Polymers 0.000 description 1
- 150000008163 sugars Chemical class 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229920001059 synthetic polymer Polymers 0.000 description 1
- 125000003396 thiol group Chemical group [H]S* 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000005019 vapor deposition process Methods 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
- B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
- B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
- B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
- B01L3/502761—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip specially adapted for handling suspended solids or molecules independently from the bulk fluid flow, e.g. for trapping or sorting beads, for physically stretching molecules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
- B01L2200/02—Adapting objects or devices to another
- B01L2200/026—Fluid interfacing between devices or objects, e.g. connectors, inlet details
- B01L2200/027—Fluid interfacing between devices or objects, e.g. connectors, inlet details for microfluidic devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
- B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
- B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
- B01L2200/06—Fluid handling related problems
- B01L2200/0631—Purification arrangements, e.g. solid phase extraction [SPE]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Robotics (AREA)
- Fluid Mechanics (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Hematology (AREA)
- Clinical Laboratory Science (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
- Physical Or Chemical Processes And Apparatus (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
- Manipulator (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
Abstract
미세유체 디바이스 내의 마이크로-객체들의 자동화된 검출 및/또는 카운팅을 위한 방법들이 제공된다. 또, 미세유체 디바이스에서 마이크로-객체들을 재포지셔닝하기 위한 방법들이 제공된다. 또, 미세유체 디바이스의 공간 영역 내의 마이크로-객체들을 분리하는 방법들이 제공된다.
Description
본 출원은 2016년 12월 1일자로 출원된 미국 가출원 번호 제 62/429,071호, 및 2017년 11월 1일자로 출원된 미국 가출원 번호 제 62/579,897호의 35 U.S.C. 119(e) 하에서의 이익을 주장하는 정규 출원이며, 이들 개시물들의 각각은 전체적으로 참조로 본원에 포함된다.
본 개시는 일반적으로 이미지 내의 마이크로-객체를 검출하는 자동화된 방법에 관한 것이다. 특히, 상기 방법은 미세유체 디바이스 내에 위치되는, 세포 또는 비드와 같은 마이크로-객체를 이미지에서 자동으로 검출하기 위한 단계들을 포함할 수 있다.
불균일하거나 복잡한 배경에서의, 생물학적 세포나 비드와 같은 마이크로-객체의 효율적 및 강건한 검출은 미세유체 환경에서의 마이크로-객체의 자동화된 조작에 결정적이다. 특정 마이크로-객체의 반투명한 외관으로 인해, 그러한 마이크로-객체와 크기가 비슷한 피쳐들 (features) 을 가진 불균일한 배경은 상당한 검출 문제를 야기한다. 마찬가지로 세포를 재포지셔닝하는 것과 같은 자동화된 조작은 OET 기술의 특정의 특징들에 의해 복잡하다. 본 발명의 일부 실시형태들은 마이크로-객체의 강건한 검출 및 미세유체 환경에서의 재포지셔닝에 관한 것이다.
일 양태에서, 이미지 내의 마이크로-객체의 자동화된 검출을 위한 방법이 제공된다. 방법은 대응하는 복수의 마이크로-객체 특성에 대해 이미지로부터 복수의 픽셀 마스크를 생성하는 단계; 및 상기 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 이미지 내의 마이크로-객체를 식별하는 단계를 포함할 수 있다. 이 방법은 이미지에서의 식별된 마이크로-객체의 카운트를 얻는 단계를 더 포함할 수 있다. 복수의 픽셀 마스크를 생성하는 것은 콘볼루션 신경망 (convolutional neural network) 과 같은 기계 학습 알고리즘을 사용하여 이미지로부터의 픽셀 데이터를 프로세싱하는 것을 포함할 수 있다. 각각의 픽셀 마스크는 픽셀 주석의 세트를 포함하고, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다.
다른 양태에서, 머선 판독 가능 저장 디바이스가 제공된다. 그 저장 디바이스는 비일시적 머신 판독 가능 명령들을 저장할 수 있고, 그 명령들의 실행은 컴퓨팅 디바이스로 하여금, 하나 이상의 마이크로-객체들을 포함할 수도 있는 이미지를 메모리에 저장하게 하고; 대응하는 복수의 마이크로-객체 특성들에 대해 이미지로부터 복수의 픽셀 마스크들을 제 1 모듈에서 생성하게 하며; 제 2 모듈에서, 그 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하게 할 수 있다. 생성하는 단계 및 획득하는 단계는 본원에 개시된 임의의 방법에 따라 수행될 수 있다. 제 1 및 제 2 모듈은 서로 동일할 수 있으며 (즉, 단일 모듈이 존재), 또는 그들은 분리된, 별개의 모듈들일 수 있다.
다른 양태에서, 복수의 격리 펜을 포함하는 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법이 제공된다. 상기 방법은: 미세유체 디바이스 내에 배치된 마이크로-객체들의 세트를 식별하는 단계; 각각의 궤적이 마이크로-객체들의 세트의 하나의 마이크로-객체를 복수의 격리 펜들 중 하나의 격리 펜과 연결하는 경로인 하나 이상의 궤적을 컴퓨팅하는 단계; 마이크로-객체들의 세트의 하나 이상의 마이크로-객체들에 대해, 하나 이상의 궤적들 중의 궤적을 선택하는 단계; 및 그 선택된 궤적을 따라 마이크로-객체를 이동시킴으로써 선택된 궤적을 갖는 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계를 포함할 수 있다. 미세유체 디바이스 내에 배치된 마이크로-객체들의 세트를 식별하는 단계는 본 명세서에 개시된 임의의 방법에 의해 수행될 수 있다.
또 다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법이 제공된다. 상기 방법은: 미세유체 디바이스의 특정된 공간 영역 내에 배치된 마이크로-객체들의 세트를 식별하는 단계; 특정된 공간 영역을, 각각이 마이크로-객체들의 세트의 하나 이상의 마이크로-객체(들)을 포함하는 서브 영역들로 분할하는 정점들의 세트를 계산하는 단계; 계산된 정점들의 세트에 기초하여 마이크로-객체들의 세트 중 적어도 하나의 마이크로-객체에 대한 제 1 광 케이지 (light cage) 를 생성하는 단계; 및 적어도 하나의 마이크로-객체를 재포지셔닝하기 위해 미세유체 디바이스의 특정된 공간 영역에 대해 제 1 광 케이지를 이동시키는 단계를 포함할 수 있다. 미세유체 디바이스 내에 배치된 마이크로-객체들의 세트를 식별하는 단계는 본 명세서에 개시된 임의의 방법에 의해 수행될 수 있다.
추가의 양태는 첨부된 청구 범위 및 도면 뿐만 아니라 이하의 상세한 설명으로부터 명백해질 것이다.
도 1a 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스 및 연관된 제어 장비와 사용하기 위한 시스템의 예를 예시한다.
도 1b 및 도 1c 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스를 예시한다.
도 2a 및 도 2b 는 본 개시의 일부 실시형태들에 따른 격리 펜들을 예시한다.
도 2c 는 본 개시의 일부 실시형태들에 따른 상세한 격리 펜을 예시한다.
도 2d 내지 도 2f 는 본 개시의 일부 다른 실시형태들에 따른 격리 펜들을 도시한다.
도 2g 는 본 개시의 일 실시형태에 따른 미세유체 디바이스를 예시한다.
도 2h 는 본 개시의 일 실시형태에 따른 미세유체 디바이스의 코팅된 표면을 도시한다.
도 3a 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스 및 연관된 제어 장비와 사용하기 위한 시스템의 특정 예를 예시한다.
도 3b 는 본 개시의 일부 실시형태들에 따른 이미징 디바이스를 예시한다.
도 4a, 도 4b, 및 도 4c 는 본 발명의 하나의 실시형태에 따른, 병렬의 마이크로-객체들의 페닝을 도시한다.
도 5 는 여러 실시형태들에 따른, 컴퓨터 시스템의 블록도이다.
도 6a 내지 도 6f 는 본 발명의 특정의 실시형태에 따라 마이크로-객체들을 분리하는데 사용될 수 있는 변경된 광 케이지들의 생성을 도시한다.
도 7 은 여러 실시형태들에 따른, 콘볼루션 신경망의 개략도를 도시한다.
도 8a 내지 도 8b 는 여러 실시형태들에 따른 잔여 네트워크, 다운 샘플링 블록, 및 업 샘플링 블록의 개략도를 도시한다.
도 9a 내지 도 9d 는 여러 실시형태들에 따른 콘볼루션 신경망의 더 상세한 개략도의 섹션들을 도시한다.
도 10 은 여러 실시형태들에 따른 이미지 내의 마이크로-객체들을 자동적으로 검출하기 위한 방법의 플로우 챠트를 도시한다.
도 11 은 여러 실시형태들에 따른 이미지 내의 마이크로-객체들을 자동적으로 검출하기 위한 시스템을 도시한다.
도 1b 및 도 1c 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스를 예시한다.
도 2a 및 도 2b 는 본 개시의 일부 실시형태들에 따른 격리 펜들을 예시한다.
도 2c 는 본 개시의 일부 실시형태들에 따른 상세한 격리 펜을 예시한다.
도 2d 내지 도 2f 는 본 개시의 일부 다른 실시형태들에 따른 격리 펜들을 도시한다.
도 2g 는 본 개시의 일 실시형태에 따른 미세유체 디바이스를 예시한다.
도 2h 는 본 개시의 일 실시형태에 따른 미세유체 디바이스의 코팅된 표면을 도시한다.
도 3a 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스 및 연관된 제어 장비와 사용하기 위한 시스템의 특정 예를 예시한다.
도 3b 는 본 개시의 일부 실시형태들에 따른 이미징 디바이스를 예시한다.
도 4a, 도 4b, 및 도 4c 는 본 발명의 하나의 실시형태에 따른, 병렬의 마이크로-객체들의 페닝을 도시한다.
도 5 는 여러 실시형태들에 따른, 컴퓨터 시스템의 블록도이다.
도 6a 내지 도 6f 는 본 발명의 특정의 실시형태에 따라 마이크로-객체들을 분리하는데 사용될 수 있는 변경된 광 케이지들의 생성을 도시한다.
도 7 은 여러 실시형태들에 따른, 콘볼루션 신경망의 개략도를 도시한다.
도 8a 내지 도 8b 는 여러 실시형태들에 따른 잔여 네트워크, 다운 샘플링 블록, 및 업 샘플링 블록의 개략도를 도시한다.
도 9a 내지 도 9d 는 여러 실시형태들에 따른 콘볼루션 신경망의 더 상세한 개략도의 섹션들을 도시한다.
도 10 은 여러 실시형태들에 따른 이미지 내의 마이크로-객체들을 자동적으로 검출하기 위한 방법의 플로우 챠트를 도시한다.
도 11 은 여러 실시형태들에 따른 이미지 내의 마이크로-객체들을 자동적으로 검출하기 위한 시스템을 도시한다.
본 명세서는 본 개시의 예시적인 실시형태들 및 애플리케이션들을 설명한다. 그러나, 본 개시는 이들 예시적인 실시형태들 및 애플리케이션들에 또는 예시적인 실시형태들 및 애플리케이션들이 동작하거나 본원에 설명되는 방식에 제한되지 않는다. 또한, 도면들은 단순화된 또는 부분 뷰들을 나타낼 수도 있고, 도면들에서 엘리먼트들의 치수들은 과장되거나 또는 다르게는 비례적이지 않을 수도 있다. 또한, 용어들 "~ 상에 (on)", "~ 에 부착된 (attached to)", "~ 에 연결된" "~ 에 결합된 (coupled to)" 또는 유사한 어구는 이 본원에서 사용되는 바와 같이, 하나의 엘리먼트가 다른 엘리먼트 바로 위에 있고, 그것에 부착되거나, 그것에 연결되거나, 그것에 결합되든지, 또는 하나의 엘리먼트와 다른 엘리먼트 사이에 하나 이상의 중간 엘리먼트들이 있든지에 관계없이, 하나의 엘리먼트 (예를 들어, 재료, 층, 기판 등) 는 다른 엘리먼트의 "상에" 있을 수 있고, 그것에 "부착될" 수 있거나, 그것에 "연결될" 수 있거나 또는 그것에 "결합될" 수 있다. 또한, 콘텍스트가 달리 언급하지 않는 한, 제공되는 경우, 방향들 (예를 들어, 위 (above), 아래 (below), 상단 (top), 하단 (bottom), 측면 (side), 상 (up), 하 (down), 상부 (over), 상위 (upper), 하위 (lower), 수평, 수직, "x", "y", "z" 등) 은 상대적이고, 제한이 아니라, 단지 예로서 그리고 예시 및 논의의 용이함을 위해 제공된다. 또한, 엘리먼트들 (예를 들어, 엘리먼트들 a, b, c) 의 리스트에 대해 참조가 이루어지는 경우, 이러한 참조는 열거된 엘리먼트들 자체, 전부보다 적은 열거된 엘리먼트들의 임의의 조합, 및/또는 열거된 엘리먼트들의 전부의 조합 중의 임의의 하나를 포함하도록 의도된다. 명세서에서의 섹션 구분들은 단지 검토의 편의를 위한 것이며, 논의된 엘리먼트들의 임의의 조합을 제한하지 않는다.
미세유체 피쳐들의 디멘젼들이 너비 또는 면적을 갖는 것으로서 기술되는 경우, 그 디멘젼은 통상 x-축 및/또는 y-축 디멘젼에 대해 기술되고, 이들 양자 모두는 미세유체 디바이스의 기판 및/또는 커버에 대해 평행한 평면 내에 있다. 일부 예들에서, 채널 또는 통로와 같은 미세유체 피쳐의 단면적은 x-축/z-축, y-축/z-축, 또는 x-축/y-축 면적을 참조할 수도 있다.
본원에서 사용된 바와 같이, "실질적으로" 는 의도된 목적을 위해 작동하기에 충분하다는 것을 의미한다. 용어 "실질적으로" 는 따라서, 당해 분야의 당업자에 의해 예상될 것이지만, 전체적인 성능에 인식가능하게 영향을 주지 않는 바와 같은, 절대적인 또는 완전한 상태, 치수, 측정, 결과 등으로부터의 소수의 중요하지 않은 변형들을 허용한다. 수치 값들 또는 수치 값들로서 표현될 수 있는 파라미터들 또는 특징들에 대하여 사용되는 경우, "실질적으로" 는 10 퍼센트 이내를 의미한다.
용어 "하나들" 은 하나보다 많은 것을 의미한다.
본원에 사용된 바와 같이, 용어 "복수" 는 2, 3, 4, 5, 6, 7, 8, 9, 10, 또는 그 이상일 수 있다.
본원에 사용된 바와 같이, 용어 "배치된" 은 그 의미 내에서 "위치된" 을 포함한다.
본원에 사용된 바와 같이, "미세유체 디바이스 (microfluidic device)" 또는 "미세유체 장치" 는 유체를 홀딩하도록 구성된 하나 이상의 별개의 미세유체 회로들을 포함하는 디바이스이고, 각각의 미세유체 회로는, 유체 (및, 선택적으로는 유체에서 부유된 마이크로-객체들) 가 미세유체 디바이스 안으로 및/또는 그 밖으로 유동하는 것을 허용하도록 구성된 영역(들), 흐름 경로(들), 채널(들), 챔버(들), 및/또는 펜(들), 및 적어도 하나의 포트를 포함하지만 이에 제한되지 않는, 유동적으로 상호접속된 회로 엘리먼트들로 이루어진다. 통상적으로, 미세유체 디바이스의 미세유체 회로는 미세유체 채널을 포함할 수도 있는 흐름 영역 및 적어도 하나의 챔버를 포함할 것이고, 약 1 mL 미만, 예를 들어 약 750, 500, 250, 200, 150, 100, 75, 50, 25, 20, 15, 10, 9, 8, 7, 6, 5, 4, 3, 또는 2 마이크로리터 미만의 유체의 체적을 홀딩할 것이다. 소정의 실시형태들에서, 미세유체 회로는 약 1-2, 1-3, 1-4, 1-5, 2-5, 2-8, 2-10, 2-12, 2-15, 2-20, 5-20, 5-30, 5-40, 5-50, 10-50, 10-75, 10-100, 20-100, 20-150, 20-200, 50-200, 50-250, 또는 50-300 마이크로리터를 홀딩한다. 미세유체 회로는 미세유체 디바이스 내의 제 1 포트 (예를 들어, 입구) 와 유체적으로 연결된 제 1 단부 및 미세유체 디바이스 내의 제 2 포트 (예를 들어, 출구) 와 유체적으로 연결된 제 2 단부를 갖도록 구성될 수도 있다.
본원에 사용된 바와 같이, "나노유체 디바이스" 또는 "나노유체 장치" 는, 약 1 마이크로리터 미만, 예를 들어 약 750, 500, 250, 200, 150, 100, 75, 50, 25, 20, 15, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 nL 또는 그 미만의 유체의 체적을 홀딩하도록 구성된 적어도 하나의 회로 엘리먼트를 포함하는 미세유체 회로를 갖는 미세유체 디바이스의 일 유형이다. 나노유체 디바이스는 복수의 엘리먼트들 (예를 들어, 적어도 2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 20, 25, 50, 75, 100, 150, 200, 250, 300, 400, 500, 600, 700, 800, 900, 1000, 1500, 2000, 2500, 3000, 3500, 4000, 4500, 5000, 6000, 7000, 8000, 9000, 10,000, 또는 그 이상) 을 포함할 수도 있다. 소정의 실시형태들에서, 적어도 하나의 회로 엘리먼트들 중 하나 이상 (예를 들어, 모두) 은 약 100 pL 내지 1 nL, 100 pL 내지 2 nL, 100 pL 내지 5 nL, 250 pL 내지 2 nL, 250 pL 내지 5 nL, 250 pL 내지 10 nL, 500 pL 내지 5 nL, 500 pL 내지 10 nL, 500 pL 내지 15 nL, 750 pL 내지 10 nL, 750 pL 내지 15 nL, 750 pL 내지 20 nL, 1 내지 10 nL, 1 내지 15 nL, 1 내지 20 nL, 1 내지 25 nL, 또는 1 내지 50 nL 의 유체의 체적을 홀딩하도록 구성된다. 다른 실시형태들에서, 적어도 하나의 회로 엘리먼트들 중 하나 이상 (예를 들어, 모두) 은 약 20 nL 내지 200 nL, 100 내지 200 nL, 100 내지 300 nL, 100 내지 400 nL, 100 내지 500 nL, 200 내지 300 nL, 200 내지 400 nL, 200 내지 500 nL, 200 내지 600 nL, 200 내지 700 nL, 250 내지 400 nL, 250 내지 500 nL, 250 내지 600 nL, 또는 250 내지 750 nL 의 유체의 체적을 홀딩하도록 구성된다.
미세유체 디바이스 또는 나노유체 디바이스는 "미세유체 칩" 또는 "칩"; 또는 "나노유체 칩" 또는 "칩" 으로서 여기서 지칭될 수도 있다.
"미세유체 채널" 또는 "흐름 채널" 은 본원에 사용된 바와 같이, 수평 및 수직 치수들 양자 모두보다 상당히 긴 길이를 갖는 미세유체 디바이스의 흐름 영역을 지칭한다. 예를 들어, 흐름 채널은 수평 또는 수직 치수들 중 어느 하나의 길이의 적어도 5 배, 예를 들어 길이의 적어도 10 배, 길이의 적어도 25 배, 길이의 적어도 100 배, 길이의 적어도 200 배, 길이의 적어도 500 배, 길이의 적어도 1000 배, 길이의 적어도 5000 배이거나, 또는 더 길 수도 있다. 일부 실시형태들에서, 흐름 채널의 길이는, 그 사이의 임의의 값을 포함하는 약 100,000 마이크론 내지 약 500,000 마이크론이다. 일부 실시형태들에서, 수평 치수는 약 100 마이크론 내지 약 1000 마이크론 (예를 들어, 약 150 내지 약 500 마이크론) 이고 수직 치수는 약 25 마이크론 내지 약 200 마이크론 (예를 들어 약 40 내지 약 150 마이크론) 이다. 흐름 채널은 미세유체 디바이스에서 다양한 상이한 공간적 구성들을 가질 수도 있고, 따라서 완벽히 선형 엘리먼트에 제한되지 않는다는 것이 주목된다. 예를 들어, 흐름 채널은 다음의 구성들: 곡선, 벤드, 나선형, 인클라인 (incline), 디클라인 (decline), 포크 (예를 들어, 다수의 상이한 흐름 경로들), 및 이들의 임의의 조합을 갖는 하나 이상의 섹션들이거나, 또는 이들을 포함할 수도 있다. 또한, 흐름 채널은, 그 안에서 원하는 유체 흐름을 제공하기 위해 넓히고 축소시켜, 그 경로를 따라 상이한 단면적들을 가질 수도 있다.
흐름 채널은 밸브들을 포함할 수도 있고, 그 밸브들은 미세 유체 공학의 기술에서 알려진 임의의 유형일 수도 있다. 밸브들을 포함하는 미세유체 채널들의 예들은 미국 특허들 제 6,408,878 호 및 제 9,227,200 호에 개시되어 있고, 이들 각각은 여기에 그 전체가 참조로 포함된다.
본원에 사용된 바와 같이, 용어 "방해" 는 일반적으로, 미세유체 디바이스에서의 2 개의 상이한 영역들 또는 회로 엘리먼트들 사이에서 타겟 마이크로-객체들의 이동을 부분적으로 (그러나 완전히는 아님) 지연시키도록 충분히 큰 범프 또는 유사한 유형의 구조를 지칭한다. 2 개의 상이한 영역들/회로 엘리먼트들은, 예를 들어 미세유체 격리 펜의 접속 영역 및 고립 영역일 수 있다.
본원에 사용된 바와 같이, 용어 "수축" 은 일반적으로, 미세유체 디바이스 내의 회로 엘리먼트의 폭 (또는 2 개의 회로 엘리먼트들 간의 인터페이스) 의 좁아짐을 지칭한다. 수축은, 예를 들어 본 개시의 미세유체 격리 펜의 접속 영역과 고립 영역 사이의 인터페이스에 위치될 수 있다.
본원에 사용된 바와 같이, 용어 "투명한" 은 가시 광이 통과될 때 가시 광이 광을 실질적으로 바꾸지 않고 통과하는 것을 허용하는 재료를 지칭한다.
본원에 사용된 바와 같이, 용어 "마이크로-객체" 는 일반적으로, 본 개시에 따라 고립 및/또는 조작될 수도 있는 임의의 미세한 객체를 지칭한다. 마이크로-객체들의 비-제한적 예들은: 미세입자들; 마이크로비드들 (예를 들어, 폴리스티렌 비드들, Luminex™ 비드들 등); 자기 비드들; 마이크로로드들; 마이크로와이어들; 양자 점들 등과 같은 무생물의 마이크로-객체들; 세포들; 생물학적 세포기관들; 소낭 (vesicle) 들, 또는 착물들; 합성 소낭들; (예를 들어, 막 표본들로부터 유래된 또는 합성의) 리포솜들; 지질 나노래프트 (lipid nanoraft) 들 등과 같은 생물학적 마이크로-객체들; 또는 무생물의 마이크로-객체들 및 생물학적 마이크로-객체들의 조합 (예를 들어, 세포들에 부착된 마이크로비드들, 리포좀-코팅된 마이크로-비드들, 리포솜-코팅된 자기 비드들, 등) 을 포함한다. 비드들은 공유결합으로 또는 비-공유결합으로 부착된 모이어티들/분자들, 예컨대 형광 라벨들, 단백질들, 탄수화물들, 항원들, 소분자 시그널링 모이어티들, 또는 분석에서 사용할 수 있는 다른 화학적/생물학적 종들을 가질 수도 있다. 지질 나노래프트 (lipid nanoraft) 들은 예를 들어 Ritchie 등의, (2009) "Reconstitution of Membrane Proteins in Phospholipid Bilayer Nanodiscs" Methods Enzymol., 464:211-231에 기재되어 있다.
본원에 사용된 바와 같이, 용어 "세포" 는 용어 "생물학적 세포" 와 교환가능하게 사용된다. 생물학적 세포들의 비제한적인 예들은 진핵 세포들, 식물 세포들, 포유류 세포, 파충류 세포, 조류 세포, 어류 세포 등과 같은 동물 세포들, 원핵 세포들, 세균 세포들, 균류 세포들, 원생생물 세포들 등, 근육, 연골, 지방, 피부, 간, 폐, 신경 조직 등과 같은 조직으로부터 분리된 세포들, T 세포들, B 세포들, 자연 살생 세포들, 대식 세포들 등과 같은 면역 세포들, 배아들 (예를 들어, 수정란들), 난모 세포들, 난자들, 정자 세포들, 하이브리도마들, 배양된 세포들, 세포주 (cell line) 로부터의 세포들, 암 세포들, 감염된 세포들, 형질감염된 (transfected) 및/또는 형질전환된 세포들, 리포터 세포들 등을 포함한다. 포유류 세포는, 예를 들어 인간, 쥐, 랫트 (rat), 말, 염소, 양, 소, 영장류 등일 수 있다.
생물학적 세포들의 군체는, 재생될 수 있는 군체 내의 살아 있는 세포들 모두가 단일의 부모 세포로부터 유래된 딸 세포들이면, "클론성 (clonal)" 이다. 소정의 실시형태들에서, 클론성 군체 내의 모든 딸 세포들은 10 이하의 분할들에 의해 단일의 부모 세포로부터 도출된다. 다른 실시형태들에서, 클론성 군체 내의 모든 딸 세포들은 14 이하의 분할들에 의해 단일의 부모 세포로부터 도출된다. 다른 실시형태들에서, 군락 내의 모든 딸 세포들은 17 이하의 분할들에 의해 단일의 부모 세포로부터 도출된다. 다른 실시형태들에서, 군락 내의 모든 딸 세포들은 20 이하의 분할들에 의해 단일의 부모 세포로부터 도출된다. 용어 "클론성 세포들" 은 동일한 클론성 군체의 세포들을 지칭한다.
본원에 사용된 바와 같이, 생물학적 세포들의 "군체" 는 2 이상의 세포들 (예를 들어, 약 2 내지 약 20, 약 4 내지 약 40, 약 6 내지 약 60, 약 8 내지 약 80, 약 10 내지 약 100, 약 20 내지 약 200, 약 40 내지 약 400, 약 60 내지 약 600, 약 80 내지 약 800, 약 100 내지 약 1000, 또는 1000 보다 많은 세포들) 을 지칭한다.
본원에 사용된 바와 같이, 용어 "세포(들)을 유지하는" 은 세포들의 생존 및/또는 증식을 유지하는데 필요한 컨디션들을 제공하는 유체 및 기체 성분들 양자 모두를 포함하는 환경 및, 선택적으로 표면을 제공하는 것을 지칭한다.
본원에 사용된 바와 같이, 세포들을 지칭할 때 용어 "증식 (expanding)" 은 세포 수에서의 증가를 지칭한다.
유체 매질의 "성분" 은, 용매 분자들, 이온들, 소분자들, 항생물질들, 뉴클레오티드들 및 뉴클레오시드들, 핵산들, 아미노산들, 펩티드들, 단백질들, 설탕들, 탄수화물들, 지질들, 지방산들, 콜레스테롤, 대사물들 등을 포함하는, 매질에 존재하는 임의의 화학적 또는 생물학적 분자이다.
여기에 사용되는 바와 같이, "캡쳐 모이어티" 는 마이크로-객체에 대한 인식 사이트를 제공하는 화학적 또는 생물학적 종들, 기능성, 또는 모티브이다. 마이크로-객체들의 선택된 클래스는 인 시츄-생성된 캡쳐 모이어티를 인식할 수도 있고 인 시츄-생성된 캡쳐 모이어티를 결합하거나 그것에 대한 친화력을 가질 수도 있다. 비제한적인 예들은 항원들, 항체들, 및 세포 표면 결합 모티브들을 포함한다.
여기서 사용되는 바와 같이, "흐름가능 폴리머" 는 유체 매질 (예를 들어, 프리폴리머 용액) 내에서 용해가능하거나 분산가능한 폴리머 모노머 또는 매크로머이다. 흐름가능 폴리머는 미세유체 흐름 영역으로 입력되고 그 안의 유체 매질의 다른 성분들과 함께 흐를 수도 있다.
여기서 사용되는 바와 같이, "광개시된 폴리머" 는 광에 대한 노출 시에 공유결합으로 가교시키거나, 특정의 공유 결합들을 형성하거나, 고화된 화학적 모티브 주위의 위치화학 (regiochemistry) 을 변경하거나, 물리적 상태에서의 변경을 유발하는 이온 쌍들을 형성하여, 폴리머 네트워크를 형성할 수 있는 폴리머 (또는 그 폴리머를 생성하는데 사용될 수 있는 모노머 분자) 를 지칭한다. 일부 예들에서, 광개시된 폴리머는 공유결합으로 가교시키거나, 특정의 공유 결합들을 형성하거나, 고화된 화학적 모티브 주위의 위치화학을 변경하거나, 물리적 상태에서의 변경을 유발하는 이온 쌍들을 형성할 수 있는 하나 이상의 화학적 모이어티들에 결합된 폴리머 세그먼트를 포함할 수도 있다. 일부 예들에서, 광개시된 폴리머는 광활성화가능 라디칼 개시제가 (예를 들어, 폴리머의 중합반응을 통해) 폴리머 네트워크의 형성을 개시할 것을 요구할 수도 있다.
여기서 사용되는 바와 같이, "항체" 는 면역 글로불린 (Ig) 를 지칭하고 폴리클론 및 모노클론 항체들 양자 모두; 영장류화된 (예를 들어, 인간화된); 뮤린; 쥐-인간; 쥐-영장류; 및 키메라를 포함하며; 온전한 분자, 그것의 프래그먼트 (예를 들어, scFv, Fv, Fd, Fab, Fab' 및 F(ab')2 프래그먼트들), 또는 온전한 분자들 및/또는 프래그먼트들의 멀티머들 또는 집합체들일 수도 있고; 자연적으로 발생하거나, 예를 들어, 면역법, 합성 또는 유전 공학에 의해 생성될 수도 있다. "항체 프래그먼트" 는, 여기서 사용되는 바와 같이, 항원을 결합시키고 일부 실시형태들에서 예를 들어 갈락토스 레지듀들의 통합에 의해 클리어런스 및 업테이크 (clearance and uptake) 를 용이하게 하는 구조적 특징들을 나타내기 위해 유도체가 합성될 수도 있는, 항체로부터 유도되거나 항체와 관련된, 프래그먼트들을 지칭한다. 이것은 예를 들어 F(ab), F(ab)'2, scFv, 경쇄 가변 부위 (VL), 중쇄 가변 부위 (VH), 및 이들의 조합들을 포함한다.
유체 매질을 참조하여 본원에 사용된 바와 같이, "확산하다" 및 "확산" 은 농도 구배 아래의 유체 매질 성분의 열역학 운동을 지칭한다.
문구 "매질의 흐름" 은 주로 확산 이외의 메커니즘으로 인해 유체 매질의 벌크 이동을 의미한다. 예를 들어, 매질의 흐름은 포인트들 사이의 압력 차이로 인한 유체 매질의 한 포인트에서 다른 포인트로의 이동을 수반할 수 있다. 이러한 흐름은 액체의 연속적인, 펄싱된, 주기적인, 랜덤한, 간헐적인, 또는 왕복 흐름, 또는 이들의 임의의 조합을 포함할 수 있다. 하나의 유체 매질이 다른 유체 매질로 유동하는 경우, 매질의 터뷸런스 및 혼합이 초래될 수 있다.
문구 "실질적으로 유동하지 않음" 은, 시간에 대해 평균화될 때, 유체 매질 안으로 또는 유체 매질 내에서 재료 (예를 들어, 관심 있는 분석물) 의 성분들의 확산 속도보다 작은 유체 매질의 흐름 속도를 지칭한다. 이러한 재료의 성분들의 확산 속도는, 예를 들어 온도, 성분들의 크기, 및 성분들과 유체 매질 간의 상호작용들의 강도에 의존할 수 있다.
미세유체 디바이스 내의 상이한 영역들을 참조하여 본원에 사용된 바와 같이, 문구 "유동적으로 접속된" 은, 상이한 영역들이 유체 매질과 같은 유체로 실질적으로 채워지는 경우, 유체의 단일 바디를 형성하도록 영역들 각각에서의 유체가 접속되는 것을 의미한다. 이것은, 상이한 영역들에서의 유체들 (또는 유체 매질) 이 반드시 조성이 동일한 것을 의미하지 않는다. 차라리, 미세유체 디바이스의 상이한 유동적으로 접속된 영역들의 유체들은, 용질들이 각각의 농도 구배들을 하강시키고/시키거나 유체가 미세유체 디바이스를 통해 유동할 때 유입되는 상이한 조성들 (예를 들어, 단백질들, 탄수화물들, 이온들, 또는 다른 분자들과 같은 용질들의 상이한 농도들) 을 가질 수 있다.
본원에 사용된 바와 같이, "흐름 경로" 는 매질의 흐름의 궤적을 정의하고 그 대상이 되는 하나 이상의 유동적으로 접속된 회로 엘리먼트들 (예를 들어, 채널(들), 영역(들), 챔버(들) 등) 을 지칭한다. 흐름 경로는 따라서, 미세유체 디바이스의 스윕 영역의 예이다. 다른 회로 엘리먼트들 (예를 들어, 스윕되지 않은 영역들) 은 흐름 경로에서 매질의 흐름을 받지 않고 흐름 경로를 포함하는 회로 엘리먼트들과 유동적으로 접속될 수도 있다.
여기서 사용되는 바와 같이, "마이크로-객체를 고립시키는 것" 은 마이크로-객체를 미세유체 디바이스 내의 정의된 영역에 격납시킨다.
미세유체 (또는 나노유체) 디바이스는 "스윕" 영역 및 "스윕되지 않은" 영역들을 포함할 수 있다. 본원에 사용된 바와 같이, "스윕" 영역은, 미세유체 회로의 하나 이상의 유동적으로 상호접속된 회로 엘리먼트들로 이루어지고, 엘리먼트들 각각은 유체가 미세유체 회로를 통해 유동되고 있을 때 매질의 흐름을 경험한다. 스윕 영역의 회로 엘리먼트들은, 예를 들어 영역들, 채널들, 및 챔버들의 전부 또는 부분들을 포함할 수 있다. 본원에 사용된 바와 같이, "스윕되지 않은" 영역은 미세유체 회로의 하나 이상의 유동적으로 상호접속된 회로 엘리먼트로 이루어지고, 엘리먼트 각각은 유체가 미세유체 회로를 통해 유동되고 있을 때 유체의 플럭스를 실질적으로 경험하지 않는다. 스윕되지 않은 영역은, 유체 접속들이 확산을 가능하게 하도록 구조화되지만 스윕 영역과 스윕되지 않는 영역 사이의 매질의 흐름이 실질적으로 없다면, 스윕 영역에 유동적으로 접속될 수 있다. 미세유체 디바이스는 따라서, 스윕 영역에서의 매질의 흐름으로부터 스윕되지 않은 영역을 실질적으로 고립시키면서, 스윕 영역과 스윕되지 않은 영역 사이에서 단지 확산성 유체 연통만이 실질적으로 가능하도록 구조화될 수 있다. 예를 들어, 미세유체 디바이스의 흐름 채널은 스윕 영역의 예인 한편, 미세유체 디바이스의 고립 영역 (이하에서 더 상세히 설명됨) 은 스윕되지 않은 영역의 예이다.
특정의 생물학적 물질들 (예를 들어, 항체들과 같은 단백질들) 을 생성하는 생물학적 마이크로-객체들 (예를 들어, 생물학적 세포들) 의 능력은 그러한 미세유체 디바이스에서 분석될 수 있다. 분석의 특정의 실시형태에서, 관심의 피분석물의 생성에 대해 분석될 생물학적 마이크로-객체들 (예를 들어, 세포들) 을 포함하는 시료 재료는 미세유체 디바이스의 스윕된 영역으로 로딩될 수 있다. 생물학적 마이크로-객체들 (예를 들어, 인간 세포들과 같은 포유동물 세포들) 중의 마이크로-객체들은 특정의 특성들에 대해 선택되고 스윕되지 않은 영역들에 배치될 수 있다. 나머지 시료 재료는 그 후 스윕된 영역 밖으로 유출되고, 분석 재료가 스윕된 영역 내로 유입될 수 있다. 선택된 생물학적 마이크로-객체들은 스윕되지 않은 영역들에 있기 때문에, 선택된 생물학적 마이크로-객체들은 나머지 시료 재료의 유출 및 분석 재료의 유입에 의해 실질적으로 영향을 받지 않는다. 선택된 생물학적 마이크로-객체들은 스윕되지 않은 영역으로부터, 관심의 피분석물이 각각이 특정의 스윕되지 않은 영역과 상관될 수 있는 국소화된 검출가능 반응들을 생성하기 위해 분석 재료와 반응할 수 있는 스윕된 영역으로 확산할 수 있는, 관심의 피분석물을 생성하는 것이 허용될 수 있다. 검출된 반응과 연관된 임의의 스윕되지 않은 영역은, 존재하는 경우, 스윕되지 않은 영역 내의 생물학적 마이크로-객체들 중 어느 것이 관심의 피분석물의 충분한 생산자들인지를 결정하기 위해 분석될 수 있다.
미세유체 디바이스들 및 이러한 디바이스들을 동작 및 관측하기 위한 시스 템들. 도 1a 는 마이크로-객체들을 임포팅 (importing), 배양 및/또는 모니터링하기 위해 사용될 수 있는 미세유체 디바이스 (100) 및 시스템 (150) 의 예를 예시한다. 미세유체 디바이스 (100) 의 사시도는 미세유체 디바이스 (100) 안의 부분 뷰를 제공하도록 그 커버 (110) 의 부분 컷-어웨이를 갖고 도시된다. 미세유체 디바이스 (100) 는 일반적으로, 흐름 경로 (106) 를 포함하는 미세유체 회로 (120) 를 포함하고, 이 흐름 경로를 통해 유체 매질 (180) 이 유동하여 선택적으로, 하나 이상의 마이크로-객체들 (미도시) 을 미세유체 회로 (120) 안으로 운반하고/하거나 통과시킬 수 있다. 단일의 미세유체 회로 (120) 가 도 1a 에 예시되지만, 적합한 미세유체 디바이스들은 복수 (예를 들어, 2 또는 3) 의 이러한 미세유체 회로들을 포함할 수 있다. 관계없이, 미세유체 디바이스 (100) 는 나노유체 디바이스이도록 구성될 수 있다. 도 1a 에 예시된 바와 같이, 미세유체 회로 (120) 는 복수의 미세유체 격리 펜들 (124, 126, 128, 및 130) 을 포함할 수도 있고, 여기서 각각의 격리 펜들은 흐름 경로 (106) 와 유체 연통하는 하나 이상의 개구들을 가질 수도 있다. 도 1a 의 디바이스의 일부 실시형태들에서, 격리 펜들은 흐름 경로 (106) 와 유체 연통하는 단일의 개구만 가질 수도 있다. 이하에서 추가로 논의되는 바와 같이, 미세유체 격리 펜들은, 매질 (180) 이 흐름 경로 (106) 를 통해 유동하고 있을 때에도, 미세유체 디바이스 (100) 와 같은 미세유체 디바이스 내에 마이크로-객체들을 보유하기 위해 최적화되어 있는 다양한 피처들 및 구조들을 포함한다. 그러나, 전술한 것을 시작하기 전에, 미세유체 디바이스 (100) 및 시스템 (150) 의 간단한 설명이 제공된다.
일반적으로 도 1a 에 예시된 바와 같이, 미세유체 회로 (120) 는 인클로저 (102) 에 의해 정의된다. 인클로저 (102) 는 상이한 구성들로 물리적으로 구조화될 수 있지만, 도 1a 에 도시된 예에서 인클로저 (102) 는 지지 구조 (104)(예를 들어, 베이스), 미세유체 회로 구조 (108), 및 커버 (110) 를 포함하는 것으로 도시된다. 지지 구조 (104), 미세유체 회로 구조 (108), 및 커버 (110) 는 서로 부착될 수 있다. 예를 들어, 미세유체 회로 구조 (108) 는 지지 구조 (104) 의 내측 면 (109) 상에 배치될 수 있고, 커버 (110) 는 미세유체 회로 구조 (108) 위에 배치될 수 있다. 지지 구조 (104) 및 커버 (110) 와 함께, 미세유체 회로 구조 (108) 는 미세유체 회로 (120) 의 엘리먼트들을 정의할 수 있다.
지지 구조 (104) 는 도 1a 에 예시된 바와 같이 미세유체 회로 (120) 의 하단에 있고 커버 (110) 는 상단에 있을 수 있다. 대안으로, 지지 구조 (104) 및 커버 (110) 는 다른 배향들에서 구성될 수 있다. 예를 들어, 지지 구조 (104) 는 미세유체 회로 (120) 의 상단에 있을 수 있고 커버 (110) 는 하단에 있을 수 있다. 관계없이, 인클로저 (102) 안 또는 밖으로의 통로를 각각 포함하는 하나 이상의 포트들 (107) 이 존재할 수 있다. 통로의 예들은 밸브, 게이트, 관통 홀 (pass-through hole) 등을 포함한다. 예시된 바와 같이, 포트 (107) 는 미세유체 회로 구조 (108) 에서 갭에 의해 생성된 관통 홀이다. 그러나, 포트 (107) 는 커버 (110) 와 같은, 인클로저 (102) 의 다른 컴포넌트들에 놓일 수 있다. 단지 하나의 포트 (107) 가 도 1a 에 예시되지만, 미세유체 회로 (120) 는 2 이상의 포트들 (107) 을 가질 수 있다. 예를 들어, 미세유체 회로 (120) 로 진입하는 유체에 대한 인렛로서 기능하는 제 1 포트 (107) 가 존재할 수 있고, 미세유체 회로 (120) 를 나가는 유체에 대한 아웃렛으로서 기능하는 제 2 포트 (107) 가 존재할 수 있다. 포트 (107) 가 인렛 또는 아웃렛으로서 기능하는지 여부는 유체가 흐름 경로 (106) 를 통해 유동하는 방향에 의존할 수 있다.
지지 구조 (104) 는 하나 이상의 전극들 (미도시) 및 기판 또는 복수의 상호접속된 기판들을 포함할 수 있다. 예를 들어, 지지 구조 (104) 는 하나 이상의 반도체 기판들을 포함할 수 있고, 이 기판들 각각은 전극에 전기적으로 접속된다 (예를 들어, 반도체 기판들의 전부 또는 서브세트는 단일 전극에 전기적으로 접속될 수 있다). 지지 구조 (104) 는 인쇄 회로 기판 어셈블리 ("PCBA") 를 더 포함할 수 있다. 예를 들어, 반도체 기판(들)은 PCBA 상에 장착될 수 있다.
미세유체 회로 구조 (108) 는 미세유체 회로 (120) 의 회로 엘리먼트들을 정의할 수 있다. 이러한 회로 엘리먼트들은, 미세유체 회로 (120) 가 유체로 채워질 때 유동적으로 상호접속될 수 있는 공간들 또는 영역을, 예컨대 (하나 이상의 흐름 채널들이거나 그들을 포함할 수도 있는) 흐름 영역들, 챔버들, 펜들, 트랩들 등을 포함할 수 있다. 도 1a 에 예시된 미세유체 회로 (120) 에서, 미세유체 회로 구조 (108) 는 프레임 (114) 및 미세유체 회로 재료 (116) 를 포함한다. 프레임 (114) 은 미세유체 회로 재료 (116) 를 부분적으로 또는 완전히 인클로징할 수 있다. 프레임 (114) 은, 예를 들어 미세유체 회로 재료 (116) 를 실질적으로 둘러싸는 상대적으로 강성 구조일 수 있다. 예를 들어, 프레임 (114) 은 금속 재료를 포함할 수 있다.
미세유체 회로 재료 (116) 는 미세유체 회로 (120) 의 상호접속들 및 회로 엘리먼트들을 정의하도록 캐비티들 등으로 패터닝될 수 있다. 미세유체 회로 재료 (116) 는, 기체 투과성일 수 있는 유연성 재료, 예컨대 유연성 폴리머 (예를 들어, 고무, 플라스틱, 엘라스토머, 실리콘, 폴리디메틸실록산 ("PDMS"), 등) 을 포함할 수 있다. 미세유체 회로 재료 (116) 를 구성할 수 있는 재료들의 다른 예들은 몰딩된 유리, 실리콘 (예를 들어, 포토-패턴 가능 실리콘 또는 "PPS") 과 같은 식각 가능 재료, 포토-레지스트 (예를 들어, SU8) 등을 포함한다. 일부 실시형태들에서, 이러한 재료들 - 및 이에 따른 미세유체 회로 재료 (116) - 은 강성 및/또는 실질적으로 기체에 대해 불투과성일 수 있다. 관계없이, 미세유체 회로 재료 (116) 는 지지 구조 (104) 상에 그리고 프레임 (114) 안에 배치될 수 있다.
커버 (110) 는 미세유체 회로 재료 (116) 및/또는 프레임 (114) 의 일체형 부품일 수 있다. 대안으로, 커버 (110) 는 도 1a 에 예시된 바와 같이 구조적으로 별개의 엘리먼트일 수 있다. 커버 (110) 는 미세유체 회로 재료 (116) 및/또는 프레임 (114) 과 동일한 또는 상이한 재료들을 포함할 수 있다. 유사하게, 지지 구조 (104) 는 예시된 바와 같이 프레임 (114) 또는 미세유체 회로 재료 (116) 로부터 별개의 구조이거나, 또는 프레임 (114) 또는 미세유체 회로 재료 (116) 의 일체형 부품일 수 있다. 마찬가지로, 프레임 (114) 및 미세유체 회로 재료 (116) 는 도 1a 에 도시된 바와 같이 별개의 구조들이거나 또는 동일한 구조의 일체형 부분들일 수 있다.
일부 실시형태들에서, 커버 (110) 는 강성 재료를 포함할 수 있다. 강성 재료는 유리 또는 유사한 특성들을 갖는 재료일 수도 있다. 일부 실시형태들에서, 커버 (110) 는 변형 가능한 재료를 포함할 수 있다. 변형 가능한 재료는 폴리머, 예컨대 PDMS 일 수 있다. 일부 실시형태들에서, 커버 (110) 는 강성 및 변형 가능한 재료들 양자 모두를 포함할 수 있다. 예를 들어, 커버 (110) 의 하나 이상의 부분들 (예를 들어, 격리 펜들 (124, 126, 128, 130) 위에 위치된 하나 이상의 부분들) 은 커버 (110) 의 강성 재료들과 인터페이스하는 변형 가능한 재료를 포함할 수 있다. 일부 실시형태들에서, 커버 (110) 는 하나 이상의 전극들을 더 포함할 수 있다. 하나 이상의 전극들은 유리 또는 유사한 절연 재료 상에 코팅될 수도 있는, 전도성 산화물, 예컨대 인듐-틴-옥사이드 (ITO) 를 포함할 수 있다. 대안으로, 하나 이상의 전극들은, 변형 가능한 재료, 예컨대 폴리머 (예를 들어, PDMS) 에 임베딩된, 유연성 전극들, 예컨대 단일-벽 나노튜브들, 멀티-벽 나노튜브들, 나노와이어들, 전기적으로 전도성 나노입자들의 클러스터들, 또는 이들의 조합들일 수 있다. 미세유체 디바이스들에서 사용될 수 있는 유연성 전극들은, 예를 들어 미국 2012/0325665 (Chiou 등) 에서 설명되어 있고, 이 내용들은 참조로서 본원에 통합된다. 일부 실시형태들에서, 커버 (110) 는 세포 부착, 생존성 및/또는 성장을 지원하도록 (예를 들어, 미세유체 회로 (120) 를 향해 내측으로 대면하는 표면의 전부 또는 부분을 컨디셔닝함으로써) 변경될 수 있다. 이 변경은 합성 또는 천연 폴리머의 코팅을 포함할 수도 있다. 일부 실시형태들에서, 커버 (110) 및/또는 지지 구조 (104) 는 광에 투명할 수 있다. 커버 (110) 는 기체 투과성인 적어도 하나의 재료 (예를 들어, PDMS 또는 PPS) 를 포함할 수도 있다.
도 1a 는 또한, 미세유체 디바이스들, 예컨대 미세유체 디바이스 (100) 를 동작 및 제어하는 시스템 (150) 을 나타낸다. 시스템 (150) 은 전기 전원 (192), 이미징 디바이스 (이미징 모듈 (164) 에 포함됨, 여기서 이미징 디바이스는 도 1a 에 도시되지 않음) 및 틸팅 디바이스 (틸팅 모듈 (166) 의 부분, 여기서 틸팅 디바이스는 도 1a 에 도시되지 않음) 를 포함한다.
전기 전원 (192) 은, 필요에 따라 바이어싱 전압들 또는 전류들을 제공하는, 미세유체 디바이스 (100) 및/또는 틸팅 디바이스 (190) 에 전기 전력을 제공할 수 있다. 전기 전원 (192) 은, 예를 들어 하나 이상의 교류 (AC) 및/또는 직류 (DC) 전압 또는 전류 소스들을 포함할 수 있다. 이미징 디바이스 (194) (이하에 논의되는 이미징 모듈 (164) 의 부분) 는 미세유체 회로 (120) 내의 이미지들을 캡처하기 위한 디바이스, 예컨대 디지털 카메라를 포함할 수 있다. 일부 경우들에서, 이미징 디바이스 (194) 는 (예를 들어, 낮은 광 애플리케이션들에 대해) 빠른 프레임 속도 및/또는 고 감도를 갖는 검출기를 더 포함한다. 이미징 디바이스 (194) 는 또한, 시뮬레이팅 방사 및/또는 광 빔들을 미세유체 회로 (120) 로 지향시키고 미세유체 회로 (120) (또는 그 안에 포함된 마이크로-객체들) 로부터 반사 또는 방출된 방사 및/또는 광 빔들을 수집하기 위한 메커니즘을 포함할 수 있다. 방출된 광 빔들은 가시적 스펙트럼에 있을 수도 있고, 예를 들어 형광 방출들을 포함할 수도 있다. 반사된 광 빔들은 LED 또는 넓은 스펙트럼 램프, 예컨대 수은등 (예를 들어, 고 압력 수은등) 또는 크세논 아크 등에서 비롯되는 반사된 방출들을 포함할 수도 있다. 도 3b 에 대하여 논의된 바와 같이, 이미징 디바이스 (194) 는 아이피스를 포함하거나 포함하지 않을 수도 있는 현미경 (또는 광학 트레인) 을 더 포함할 수도 있다.
시스템 (150) 은 하나 이상의 회전 축들을 중심으로 미세유체 디바이스 (100) 를 회전시키도록 구성된 틸팅 디바이스 (190) (이하에 논의되는 틸팅 모듈 (166) 의 부분) 를 더 포함한다. 일부 실시형태들에서, 틸팅 디바이스 (190) 는, 미세유체 디바이스 (100)(및 이에 따른 미세유체 회로 (120)) 가 레벨 배향 (즉, x 및 y 축에 대해 0°), 수직 배향 (즉, x 축 및/또는 y 축에 대해 90°), 또는 그 사이의 임의의 배향에서 홀딩될 수 있도록 적어도 하나의 축을 중심으로 미세유체 회로 (120) 를 포함하는 인클로저 (102) 를 지지 및/또는 홀딩하도록 구성된다. 축에 대한 미세유체 디바이스 (100)(및 미세유체 회로 (120)) 의 배향은 미세유체 디바이스 (100)(및 미세유체 회로 (120)) 의 "틸트" 로서 본원에서 지칭된다. 예를 들어, 틸팅 디바이스 (190) 는 미세유체 디바이스 (100) 를 x-축에 대하여 0.1°, 0.2°, 0.3°, 0.4°, 0.5°, 0.6°, 0.7°, 0.8°, 0.9°, 1°, 2°, 3°, 4°, 5°, 10°, 15°, 20°, 25°, 30°, 35°, 40°, 45°, 50°, 55°, 60°, 65°, 70°, 75°, 80°, 90°에서 또는 그 사이의 임의의 각도에서 틸팅할 수 있다. 레벨 배향 (및 이에 따른, x- 및 y-축) 은 중력에 의해 정의된 수직 축에 대해 법선으로서 정의된다. 틸팅 디바이스는 또한, x-축 및/또는 y-축에 대해 90°보다 큰 임의의 각도까지 미세유체 디바이스 (100)(및 미세유체 회로 (120)) 를 틸팅하거나, 또는 x-축 또는 y-축에 대해 180°로 미세유체 디바이스 (및 미세유체 회로 (120)) 를 틸팅하여 미세유체 디바이스 (100)(및 미세유체 회로 (120)) 를 완전히 인버팅할 수 있다. 유사하게, 일부 실시형태들에서, 틸팅 디바이스 (190) 는 미세유체 회로 (120) 의 일부 다른 부분 또는 흐름 경로 (106) 에 의해 정의된 회전 축을 중심으로 미세유체 디바이스 (100)(및 미세유체 회로 (120)) 를 틸팅한다.
일부 경우들에서, 미세유체 디바이스 (100) 는, 흐름 경로 (106) 가 하나 이상의 격리 펜들 위 또는 아래에 위치되도록 수직 배향으로 틸팅된다. 본원에 사용된 바와 같은 용어 "~위" 는, 흐름 경로 (106) 가 중력에 의해 정의된 수직 축 상에서 하나 이상의 격리 펜들보다 더 높이 위치된다 (즉, 흐름 경로 (106) 위의 격리 펜에서의 객체는 흐름 경로에서의 객체보다 더 높은 중력 포텐셜 에너지를 가질 것이다) 는 것을 나타낸다. 본원에 사용된 바와 같은 용어 "~아래" 는, 흐름 경로 (106) 가 중력에 의해 정의된 수직 축 상에서 하나 이상의 격리 펜들보다 더 낮게 위치된다 (즉, 흐름 경로 (106) 아래의 격리 펜에서의 객체는 흐름 경로에서의 객체보다 더 낮은 중력 포텐셜 에너지를 가질 것이다) 는 것을 나타낸다.
일부 경우들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 평행한 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다. 또한, 미세유체 디바이스 (100) 는, 흐름 경로 (106) 가 격리 펜들 바로 위 또는 아래에 위치되지 않고 하나 이상의 격리 펜들 위 또는 아래에 위치되도록 90°미만의 각도로 틸팅될 수 있다. 다른 경우들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 수직한 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다. 또 다른 경우들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 평행하지도 또는 수직하지도 않은 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다.
시스템 (150) 은 매질 소스 (178) 를 더 포함할 수 있다. 매질 소스 (178)(예를 들어, 콘테이너, 저장고 등) 는 상이한 유체 매질 (180) 을 각각 홀딩하기 위해 다수의 섹션들 또는 콘테이너들을 포함할 수 있다. 따라서, 매질 소스 (178) 는 도 1a 에 예시된 바와 같이, 미세유체 디바이스 (100) 밖에 있는 그리고 이로부터 별개인 디바이스일 수 있다. 대안으로, 매질 소스 (178) 는 미세유체 디바이스 (100) 의 인클로저 (102) 내에 전체적으로 또는 부분적으로 위치될 수 있다. 예를 들어, 매질 소스 (178) 는 미세유체 디바이스 (100) 의 부분인 저장고들을 포함할 수 있다.
도 1a 은 또한, 시스템 (150) 의 부분을 구성하고 미세유체 디바이스 (100) 와 함께 이용될 수 있는 제어 및 모니터링 장비 (152) 의 예들의 단순화된 블록도 도시들을 예시한다. 도시된 바와 같이, 이러한 제어 및 모니터링 장비 (152) 의 예들은 매질 소스 (178) 를 제어하기 위한 매질 모듈 (160), 마이크로-객체들 (미도시) 의 이동 및/또는 선택을 제어하기 위한 동기 모듈 (162), 이미지들 (예를 들어, 디지털 이미지들) 을 캡처하는 이미징 디바이스 (194)(예를 들어, 카메라, 현미경, 광원 또는 이들의 임의의 조합) 를 제어하기 위한 이미징 모듈 (164), 및 틸팅 디바이스 (190) 를 제어하기 위한 틸팅 모듈 (166) 을 포함한다. 제어 장비 (152) 는 또한, 미세유체 디바이스 (100) 에 대하여 제어, 모니터링, 또는 다른 기능들을 수행하기 위한 다른 모듈들 (168) 을 포함할 수 있다. 도시된 바와 같이, 장비 (152) 는 디스플레이 디바이스 (170) 및 입/출력 디바이스 (172) 를 더 포함할 수 있다.
마스터 제어기 (154) 는 제어 모듈 (156) 및 디지털 메모리 (158) 를 포함할 수 있다. 제어 모듈 (156) 은, 예를 들어 메모리 (158) 내에 비-일시적 데이터 또는 신호들로서 저장된 머신 실행가능 명령들 (예를 들어, 소프트웨어, 펌웨어, 소스 코드, 등) 에 따라 동작하도록 구성된 디지털 프로세서를 포함할 수 있다. 대안으로, 또는 추가적으로, 제어 모듈 (156) 은 하드웨어 디지털 회로부 및/또는 아날로그 회로부를 포함할 수 있다. 매질 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 은 유사하게 구성될 수 있다. 따라서, 미세유체 디바이스 (100) 또는 임의의 다른 미세유체 장치에 대하여 수행되는 것으로서 본원에 설명된 기능들, 프로세스들, 액트들, 액션들, 또는 프로세스의 단계들은 위에서 논의된 바와 같이 구성된 마스터 제어기 (154), 매질 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 중 임의의 하나 이상에 의해 수행될 수 있다. 유사하게, 마스터 제어기 (154), 매질 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 은 본원에 논의된 임의의 기능, 프로세스, 액트, 액션 또는 단계에서 사용된 데이터를 송신 및 수신하도록 통신 가능하게 커플링될 수도 있다.
매질 모듈 (160) 은 매질 소스 (178) 를 제어한다. 예를 들어, 매질 모듈 (160) 은 선택된 유체 매질 (180) 을 (예를 들어, 인렛 포트 (107) 를 통해) 인클로저 (102) 안으로 입력하도록 매질 소스 (178) 를 제어할 수 있다. 매질 모듈 (160) 은 또한, (예를 들어, 아웃렛 포트 (미도시) 를 통해) 인클로저 (102) 로부터 매질의 제거를 제어할 수 있다. 하나 이상의 매질은 따라서, 선택적으로 미세유체 회로 (120) 안으로 입력되고 이로부터 제거될 수 있다. 매질 모듈 (160) 은 또한, 미세유체 회로 (120) 내의 흐름 경로에서의 유체 매질 (180) 의 흐름을 제어할 수 있다. 예를 들어, 일부 실시형태들에서 매질 모듈 (160) 은, 틸팅 모듈 (166) 이 틸팅 디바이스 (190) 로 하여금 원하는 경사각으로 미세유체 디바이스 (100) 를 틸팅하게 하기 전에, 흐름 경로 (106) 에서 그리고 인클로저 (102) 를 통한 매질 (180) 의 흐름을 정지시킨다.
동기 모듈 (162) 은 미세유체 회로 (120) 에서 마이크로-객체들 (미도시) 의 선택, 트랩핑, 및 이동을 제어하도록 구성될 수 있다. 도 1b 및 도 1c 에 대하여 이하에서 논의된 바와 같이, 인클로저 (102) 는 유전영동 (DEP), 광전 트위저들 (optoelectronic tweezer; OET) 및/또는 광-전기습윤 (opto-electrowetting; OEW) 구성 (도 1a 에는 미도시됨) 을 포함할 수 있고, 동기 모듈 (162) 은 흐름 경로 (106) 및/또는 격리 펜들 (124, 126, 128, 130) 에서 매질의 액적 (droplet)(미도시) 들 및/또는 마이크로-객체들 (미도시) 을 선택 및 이동시키도록 전극들 및/또는 트랜지스터들 (예를 들어, 포토트랜지스터들) 의 활동을 제어할 수 있다.
이미징 모듈 (164) 은 이미징 디바이스 (194) 를 제어할 수 있다. 예를 들어, 이미징 모듈 (164) 은 이미징 디바이스 (194) 로부터 이미지 데이터를 수신 및 프로세싱할 수 있다. 이미징 디바이스 (194) 로부터의 이미지 데이터는 이미징 디바이스 (194) 에 의해 캡처된 정보의 임의의 유형 (예를 들어, 마이크로-객체들의 존재 또는 부재, 매질의 액적들, 형광 라벨과 같은 라벨의 축적 등) 을 포함할 수 있다. 이미징 디바이스 (194) 에 의해 캡처된 정보를 사용하여, 이미징 모듈 (164) 은 또한, 객체들 (예를 들어, 마이크로-객체들, 매질의 액적들) 의 포지션 및/또는 미세유체 디바이스 (100) 내에서의 이러한 객체들의 모션 속도를 계산할 수 있다.
틸팅 모듈 (166) 은 틸팅 디바이스 (190) 의 틸팅 모션들을 제어할 수 있다. 대안으로, 또는 추가적으로, 틸팅 모듈 (166) 은 틸팅 속도 및 타이밍을 제어하여, 중력들을 통해 하나 이상의 격리 펜들로의 마이크로-객체들의 트랜스퍼를 최적화할 수 있다. 틸팅 모듈 (166) 은 미세유체 회로 (120) 에서 매질의 액적들 및/또는 마이크로-객체들의 모션을 설명하는 데이터를 수신하도록 이미징 모듈 (164) 과 통신 가능하게 커플링된다. 이 데이터를 사용하여, 틸팅 모듈 (166) 은, 마이크로-객체들 및/또는 매질의 액적들이 미세유체 회로 (120) 에서 이동하는 속도를 조정하기 위해 미세유체 회로 (120) 의 틸트를 조정할 수도 있다. 틸팅 모듈 (166) 은 또한, 이 데이터를 사용하여 미세유체 회로 (120) 에서 마이크로-객체 및/또는 매질의 액적의 포지션을 반복적으로 조정할 수도 있다.
도 1a 에 도시된 예들에서, 미세유체 회로 (120) 는 미세유체 채널 (122) 및 격리 펜들 (124, 126, 128, 130) 을 포함하는 것으로서 예시된다. 각각의 펜은 미세유체 채널 (122) 에 대한 개구를 포함하지만, 다르게는 펜들이 미세유체 채널 (122) 의 흐름 경로 (106) 내 또는 다른 펜들 내에 마이크로-객체들을 및/또는 유체 매질 (180) 로부터 펜 안에 마이크로-객체들을 실질적으로 고립시킬 수 있도록 인클로징된다. 격리 펜의 벽들은 베이스의 내부 표면 (109) 로부터 커버 (110) 의 내부 표면까지 연장되어 인클로져를 제공한다. 미세유체 채널 (122) 에 대한 펜의 개구는 흐름 (106) 이 펜들 내로 지향되지 않도록 유체 매질 (180) 의 흐름 (106) 에 대해 소정 각도로 배향된다. 흐름은 펜의 개구의 평면에 대해 접하거나 직교할 수도 있다. 일부 경우들에서, 펜들 (124, 126, 128, 130) 은 미세유체 회로 (120) 내에 하나 이상의 마이크로-객체들을 물리적으로 몰아넣도록 구성된다. 본 개시에 따른 격리 펜들은, 이하에서 상세히 논의 및 도시되는 바와 같이, DEP, OET, OEW, 유체 흐름, 및/또는 중력들과의 사용을 위해 최적화되는 다양한 형상들, 표면들 및 피처들을 포함할 수 있다.
미세유체 회로 (120) 는 임의의 수의 미세유체 격리 펜들을 포함할 수도 있다. 5 개의 격리 펜들이 도시되지만, 미세유체 회로 (120) 는 더 적은 또는 더 많은 격리 펜들을 가질 수도 있다. 도시된 바와 같이, 미세유체 회로 (120) 의 미세유체 격리 펜들 (124, 126, 128, 130) 은 각각 생물학적 마이크로-객체들을 유지하거나, 고립시키거나, 분석하거나, 배양하기 위해 유용한 하나 이상의 이익들을 제공할 수도 있는 상이한 피쳐들 및 형상들을 포함한다. 일부 실시형태들에서, 미세유체 회로 (120) 는 복수의 동일한 미세유체 격리 펜들을 포함한다.
도 1a 에 예시된 실시형태에서, 단일의 미세유체 채널 (122) 및 흐름 경로 (106) 가 도시된다. 그러나, 다른 실시형태들은 다수의 채널들 (122) 을 포함할 수도 있고, 채널들 각각은 흐름 경로 (106) 를 포함하도록 구성된다. 미세유체 회로 (120) 는 흐름 경로 (106) 및 유체 매질 (180) 과 유체 연통하는 인렛 밸브 또는 포트 (107) 를 더 포함하고, 이로써 유체 매질 (180) 은 인렛 포트 (107) 를 통해 미세유체 채널 (122) 에 접근할 수 있다. 일부 경우들에서, 흐름 경로 (106) 는 단일의 경로를 포함한다. 일부 경우들에서, 단일의 경로는 지그재그 패턴으로 배열되고, 이에 의해 흐름 경로 (106) 는 교번하는 방향들에서 2 회 이상 미세유체 디바이스 (100) 를 가로질러 이동한다.
일부 경우들에서, 미세유체 회로 (120) 는 복수의 병렬 채널들 (122) 및 흐름 경로들 (106) 을 포함하고, 여기서 각각의 흐름 경로 (106) 내에서 유체 매질 (180) 은 동일한 방향으로 유동한다. 일부 경우들에서, 각각의 흐름 경로 (106) 내에허 유체 매질은 순방향 또는 역방향 중 적어도 하나로 유동한다. 일부 경우들에서, 복수의 격리 펜들은, 격리 펜들이 타겟 마이크로-객체들과 병렬로 로딩될 수 있도록 (예를 들어, 미세유체 채널 (122) 에 대해) 구성된다.
일부 실시형태들에서, 미세유체 회로 (120) 는 하나 이상의 마이크로-객체 트랩들 (132) 을 더 포함한다. 트랩들 (132) 은 일반적으로, 미세유체 채널 (122) 의 경계를 형성하는 벽에 형성되고, 미세유체 격리 펜들 (124, 126, 128, 130) 중 하나 이상의 개구 반대편에 위치될 수도 있다. 일부 실시형태들에서, 트랩들 (132) 은 흐름 경로 (106) 로부터 단일의 마이크로-객체를 수신 또는 캡처하도록 구성된다. 일부 실시형태들에서, 트랩들 (132) 은 흐름 경로 (106) 로부터 복수의 마이크로-객체들을 수신 또는 캡처하도록 구성된다. 일부 경우들에서, 트랩들 (132) 은 단일의 타겟 마이크로-객체의 체적과 거의 동일한 체적을 포함한다.
트랩들 (132) 은 타겟이되는 마이크로-객체들의 트랩들 (132) 안으로의 흐름을 돕도록 구성되는 개구를 더 포함할 수도 있다. 일부 경우들에서, 트랩들 (132) 은 단일의 타겟 마이크로-객체의 치수들과 거의 동일한 높이 및 폭을 갖는 개구를 포함하고, 이에 의해 더 큰 마이크로-객체들이 마이크로-객체 트랩 안으로 진입하는 것이 방지된다. 트랩들 (132) 은 트랩 (132) 내에 타겟이되는 마이크로-객체들의 보유를 돕도록 구성된 다른 피처들을 더 포함할 수도 있다. 일부 경우들에서, 트랩 (132) 은, 미세유체 채널 (122) 에 평행한 축을 중심으로 미세유체 디바이스 (100) 를 틸팅할 때, 트랩된 마이크로-객체가, 마이크로-객체로 하여금 격리 펜의 개구 안으로 들어가게 하는 궤적에서 트랩 (132) 을 나가도록, 미세유체 격리 펜의 개구에 대해 미세유체 채널 (122) 의 반대 측에 놓이고 이와 정렬된다. 일부 경우들에서, 트랩 (132) 은, 트랩 (132) 을 통한 흐름을 용이하게 하고 이에 의해 트랩 (132) 에서 마이크로-객체를 캡처하는 가능성을 증가시키기 위해 타겟 마이크로-객체보다 더 작은 사이드 통로 (134) 를 포함한다.
일부 실시형태들에서, 유전영동 (DEP) 힘들이 하나 이상의 전극들 (미도시) 을 통해 (예를 들어, 흐름 경로에서 및/또는 격리 펜들에서) 유체 매질 (180) 전체에 인가되어 그 안에 위치된 마이크로-객체들을 조작, 이송, 분리 및 소팅한다. 예를 들어, 일부 실시형태들에서, 단일의 마이크로-객체를 흐름 경로 (106) 로부터 원하는 미세유체 격리 펜 안으로 트랜스퍼하기 위해 미세유체 회로 (120) 의 하나 이상의 부분들에 DEP 힘들이 인가된다. 일부 실시형태들에서, DEP 힘들은 격리 펜 (예를 들어, 격리 펜 (124, 126, 128, 또는 130)) 내의 마이크로-객체가 펜으로부터 변위되는 것을 방지하는데 사용된다. 또한, 일부 실시형태들에서, DEP 힘들은 본 개시의 실시형태들에 따라 이전에 수집되었던 격리 펜으로부터 마이크로-객체를 선택적으로 제거하는데 사용된다. 일부 실시형태들에서, DEP 힘들은 광전 트위저 (OET) 힘들을 포함한다.
다른 실시형태들에서, 광전기습윤 (OEW) 힘들은 미세유체 회로 (120) 내에 위치된 액적들을 조작, 이송, 분리 및 소팅하도록 하나 이상의 전극들 (미도시) 을 통해 미세유체 디바이스 (100) 의 지지 구조 (104)(및/또는 커버 (110)) 에서의 하나 이상의 포지션들 (예를 들어, 흐름 경로 및/또는 격리 펜들을 정의하는데 도움을 주는 포지션들) 에 인가된다. 예를 들어, 일부 실시형태들에서, OEW 힘들은 단일의 액적을 흐름 경로 (106) 로부터 원하는 미세유체 격리 펜 안으로 트랜스퍼하기 위해 지지 구조 (104)(및/또는 커버 (110)) 에서 하나 이상의 포지션들에 인가된다. 일부 실시형태들에서, OEW 힘들은 격리 펜 (예를 들어, 격리 펜 (124, 126, 128, 또는 130)) 내의 액적이 챔버로부터 변위되는 것을 방지하는데 사용된다. 또한, 일부 실시형태들에서, OEW 힘들은 본 개시의 실시형태들에 따라 이전에 수집되었던 격리 펜로부터 액적을 선택적으로 제거하는데 사용된다.
일부 실시형태들에서, DEP 및/또는 OEW 힘들은 미세유체 회로 (120) 내의 액적들 및/또는 마이크로-객체들을 조작, 이송, 분리 및 소팅하도록, 다른 힘들, 예컨대 흐름 및/또는 중력과 결합된다. 예를 들어, 인클로저 (102) 는 흐름 경로 (106) 및 그 안에 위치된 마이크로-객체들을 미세유체 격리 펜들 위에 위치시키도록 (예를 들어, 틸팅 디바이스 (190) 에 의해) 틸팅될 수 있고, 중력의 힘은 마이크로-객체들 및/또는 액적들을 펜들 안으로 이송할 수 있다. 일부 실시형태들에서, DEP 및/또는 OEW 힘들은 다른 힘들 전에 인가될 수 있다. 다른 실시형태들에서, DEP 및/또는 OEW 힘들은 다른 힘들 후에 인가될 수 있다. 또 다른 경우들에서, DEP 및/또는 OEW 힘들은 다른 힘들과 동시에 또는 다른 힘들과 교번하는 방식으로 인가될 수 있다.
도 1b, 도 1c, 및 도 2a 내지 도 2h 는 본 개시의 실시형태들의 실시에서 사용될 수 있는 미세유체 디바이스들의 다양한 실시형태들을 예시한다. 도 1b 는, 미세유체 디바이스 (200) 가 광학적으로-작동된 동전기 디바이스 (electrokinetic device) 로서 구성되는 실시형태를 도시한다. 광전자 트위저 (OET) 구성을 갖는 디바이스들 및 광-전기습윤 (OEW) 구성을 갖는 디바이스들을 포함하는, 다양한 광학적으로-작동된 동전기 디바이스들이 당해 분야에 알려져 있다. 적합한 OET 구성들의 예들은 다음의 미국 특허 문헌들에 예시되고, 이 문헌들 각각은 그 전체가 참조로서 본원에 포함된다: 미국특허 제 RE 44,711 (Wu 등)(미국특허 제 7,612,355 호로서 최초로 발행됨); 및 미국특허 제 7,956,339 (Ohta 등). OEW 구성들의 예들은 미국특허 제 6,958,132 (Chiou 등) 및 미국 특허공개 제 2012/0024708 (Chiou 등) 에 예시되고, 이들 양자 모두는 그 전체가 본원에 참조로서 포함된다. 광학적으로-작동된 동전기 디바이스의 또 다른 예는 결합된 OET/OEW 구성을 포함하고, 이들의 예들은 미국 특허공개 제 20150306598 (Khandros 등) 및 20150306599 (Khandros 등) 및 그 대응하는 PCT 공개들 WO2015/164846 및 WO2015/164847 에 도시되고, 이들 모두는 그 전체가 참조로서 본원에 포함된다.
생물학적 마이크로-객체들이 그 안에서 배치, 배양, 및/또는 모니터링될 수 있는 펜들을 갖는 미세유체 디바이스들의 예들은, 예를 들어, US 2014/0116881 (출원 번호 14/060,117, 2013년 10월 22일 출원), US 2015/0151298 (출원 번호 14/520,568, 2014년 10월 22일 출원), 및 US 2015/0165436 (출원 번호 14/521,447, 2014년 10월 22일 출원) 에 기술되었고, 이들 각각은 그 전체가 참조에 의해 여기에 포함된다. US 출원 번호 14/520,568 및 14/521,447 은 또한 미세유체 디바이스에서 배향된 세포들의 분비물들을 분석하는 예시적인 방법들을 기술한다. 상기의 출원들 각각은 또한 광전 트위저들 (OET) 과 같은 유전영동 (DEP) 힘들을 생성하도록 구성되거나 광전습윤 (OEW) 을 제공하도록 구성된 미세유체 디바이스들을 기술한다. 예를 들어, US 2014/0116881 의 도 2 에 도시된 광전 트위저 디바이스는 객객의 생물학적 마이크로-객체 또는 생물학적 마이크로-객체들의 그룹을 선택하고 이동시키기 위해 본 개시의 실시형태들에서 이용될 수 있는 디바이스의 예이다.
미소유체 디바이스 동기 구성들. 전술된 바와 같이, 시스템의 제어 및 모니터링은 미세유체 디바이스의 미세유체 회로에서, 마이크로-객체들 또는 액적들과 같은 객체들을 선택 및 이동시키기 위한 동기 모듈을 포함할 수 있다. 미세유체 디바이스는, 이동되고 있는 객체의 유형 및 다른 고려사항들에 따라, 다양한 동기 구성들을 가질 수 있다. 예를 들어, 유전영동 (DEP) 구성은 미세유체 회로에서 마이크로-객체들을 선택 및 이동시키는데 이용될 수 있다. 따라서, 미세유체 디바이스 (100) 의 지지 구조 (104) 및/또는 커버 (110) 는 미세유체 회로 (120) 의 유체 매질 (180) 에서 마이크로-객체들 상에 DEP 힘들을 선택적으로 유도하기 위한 DEP 구성을 포함하고, 이에 의해 개별의 마이크로-객체들 또는 마이크로-객체들의 그룹들을 선택, 캡처, 및/또는 이동시킬 수 있다. 대안으로, 미세유체 디바이스 (100) 의 지지 구조 (104) 및/또는 커버 (110) 는 미세유체 회로 (120) 의 유체 매질 (180) 에서 액적들 상에 EW 힘들을 선택적으로 유도하기 위한 전기습윤 (EW) 구성을 포함하고, 이에 의해 개별의 액적들 또는 액적들의 그룹들을 선택, 캡처, 및/또는 이동시킬 수 있다.
DEP 구성을 포함하는 미세유체 디바이스 (200) 의 일 예는 도 1b 및 도 1c 에 예시된다. 간략함을 위해 도 1b 및 도 1c 는 영역/챔버 (202) 를 갖는 미세유체 디바이스 (200) 의 인클로저 (102) 의 일부분의 사이드 단면뷰 및 톱 (top) 단면뷰를 각각 나타내지만, 영역/챔버 (202) 는 성장 챔버, 격리 펜, 흐름 영역, 또는 흐름 채널과 같은 더 상세한 구조를 갖는 유체 회로 엘리먼트의 부분일 수도 있는 것으로 이해되어야 한다. 또한, 미세유체 디바이스 (200) 는 다른 유체 회로 엘리먼트들을 포함할 수도 있다. 예를 들어, 미세유체 디바이스 (200) 는, 미세유체 디바이스 (100) 에 대하여 본원에 설명된 바와 같은, 복수의 격리 펜들 또는 격리 펜들 및/또는 하나 이상의 흐름 영역들 또는 흐름 채널들을 포함할 수 있다. DEP 구성은 미세유체 디바이스 (200) 의 임의의 이러한 유체 회로 엘리먼트들 안에 통합되거나, 또는 그 부분들을 선택할 수도 있다. 위 또는 아래에 설명된 미세유체 디바이스 컴포넌트들 및 시스템 컴포넌트들 중 어느 하나는 미세유체 디바이스 (200) 에 통합되고/되거나 이와 결합되어 사용될 수도 있다는 것이 또한 인식되어야 한다. 예를 들어, 전술된 제어 및 모니터링 장비 (152) 를 포함하는 시스템 (150) 은, 매질 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및 다른 모듈들 (168) 중 하나 이상을 포함하는 미세유체 디바이스 (200) 와 함께 사용될 수도 있다.
도 1b 에서 알 수 있는 바와 같이, 미세유체 디바이스 (200) 는 하단 전극 (204) 및 하단 전극 (204) 위에 있는 전극 활성화 기판 (206) 을 갖는 지지 구조 (104), 및 하단 전극 (204) 으로부터 떨어져 이격된 상단 전극 (210) 을 갖는 커버 (110) 를 포함한다. 상단 전극 (210) 및 전극 활성화 기판 (206) 은 영역/챔버 (202) 의 반대 표면들을 정의한다. 영역/챔버 (202) 에 포함된 매질 (180) 은 따라서, 상단 전극 (210) 과 전극 활성화 기판 (206) 간의 저항성 접속을 제공한다. 하단 전극 (204) 및 상단 전극 (210) 에 접속되고 영역/챔버 (202) 에서 DEP 힘들의 생성에 필요한 바와 같은 전극들 간의 바이어싱 전압을 생성하도록 구성된 전원 (212) 이 또한 도시된다. 전원 (212) 은, 예를 들어 교류 (AC) 전원일 수 있다.
소정 실시형태들에서, 도 1b 및 도 1c 에 예시된 미세유체 디바이스 (200) 는 광학적으로-작동된 DEP 구성을 가질 수 있다. 따라서, 동기 모듈 (162) 에 의해 제어될 수도 있는 광원 (216) 으로부터의 광 (218) 의 패턴들을 변경하는 것은 전극 활성화 기판 (206) 의 내측 면 (208) 의 영역들 (214) 에서 DEP 전극들의 패턴들을 변경하는 것을 선택적으로 활성화 및 비활성화할 수 있다. (이하에서, DEP 구성을 갖는 미세유체 디바이스의 영역들 (214) 은 "DEP 전극 영역들" 로서 지칭된다). 도 1c 에 예시된 바와 같이, 전극 활성화 기판 (206) 의 내측 면 (208) 위로 지향된 광 패턴 (218) 은 정사각형과 같은 패턴으로 DEP 전극 영역들 (214a)(화이트로 도시됨) 을 선택적으로 조명할 수 있다. 비-조명된 DEP 전극 영역들 (214)(십자-해칭됨) 은 "어두운" DEP 전극 영역들 (214) 로서 이하에서 지칭된다. DEP 전극 활성화 기판 (206) 을 통한 (즉, 하부 전극 (204) 으로부터 흐름 영역 (106) 에서 매질 (180) 과 인터페이스하는 전극 활성화 기판 (206) 의 내측 면 (208) 까지의) 상대적인 전기적 임피던스는 각각의 어두운 DEP 전극 영역 (214) 에서 영역/챔버 (202) 내의 매질 (180) 을 통한 (즉, 전극 활성화 기판 (206) 의 내측 면 (208) 으로부터 커버 (110) 의 상단 전극 (210) 까지의) 상대적 전기적 임피던스보다 더 크다. 그러나, 조명된 DEP 전극 영역 (214a) 은, 각각의 조명된 DEP 전극 영역 (214a) 에서 영역/챔버 (202) 내의 매질 (180) 을 통한 상대적 임피던스보다 작은 전극 활성화 기판 (206) 을 통한 감소된 상대적 임피던스를 보인다.
전원 (212) 이 활성화됨에 따라, 상기 DEP 구성은 조명된 DEP 전극 영역들 (214a) 과 인접한 어두운 DEP 전극 영역들 (214) 사이의 유체 매질 (180) 에서 전계 구배를 생성하고, 이것은 이어서 유체 매질 (180) 에서 부근의 마이크로-객체들 (미도시) 을 끌어당기거나 밀어내는 로컬 DEP 힘들을 생성한다. 유체 매질 (180) 내의 마이크로-객체들을 끌어당기거나 밀어내는 DEP 전극들은 따라서, 광원 (216) 으로부터 미세유체 디바이스 (200) 로 프로젝팅된 광 패턴들 (218) 을 변경함으로써 영역/챔버 (202) 의 내측 면 (208) 에서 많은 상이한 이러한 DEP 전극 영역들 (214) 에서 선택적으로 활성화 및 비활성화될 수 있다. DEP 힘들이 부근의 마이크로-객체들을 끌어당기거나 밀어내는지 여부는, 매질 (180) 및/또는 마이크로-객체들 (미도시) 의 유전 특성들 및 전원 (212) 의 주파수와 같은 이러한 파라미터들에 의존할 수 있다.
도 1c 에 예시된 조명된 DEP 전극 영역들 (214a) 의 정사각형 패턴 (220) 은 단지 일 예이다. DEP 전극 영역들 (214) 의 임의의 패턴이 미세유체 디바이스 (200) 로 프로젝팅된 광의 패턴 (218) 에 의해 조명 (및 이에 의해 활성화) 될 수 있고, 조명된/활성화된 DEP 전극 영역들 (214) 의 패턴은 광 패턴 (218) 을 변경 또는 이동시킴으로써 반복적으로 변경될 수 있다.
일부 실시형태들에서, 전극 활성화 기판 (206) 은 광전도 재료를 포함하거나 이들로 이루어질 수 있다. 이러한 실시형태들에서, 전극 활성화 기판 (206) 의 내측 면 (208) 은 특색이 없을 수 있다. 예를 들어, 전극 활성화 기판 (206) 은 수소화 비정질 실리콘 (a-Si:H) 을 포함하거나 이로 이루어질 수 있다. (a-Si:H 는, 예를 들어 (100 * 수소 원자들의 수/수소 및 규소 원자들의 총 수로서 계산된) 약 8% 내지 40% 수소를 포함할 수 있다. a-Si:H 의 층은 약 500 nm 내지 약 2.0 m 의 두께를 가질 수 있다. 이러한 실시형태들에서, DEP 전극 영역들 (214) 은 광 패턴 (218) 에 따라, 전극 활성화 기판 (206) 의 내측 면 (208) 상에 임의의 패턴으로 그리고 어디든 생성될 수 있다. 따라서, DEP 전극 영역들 (214) 의 패턴 및 수는 고정될 필요가 없고, 광 패턴 (218) 에 대응할 수 있다. 위에서 논의된 바와 같은 광전도성 층을 포함하는 DEP 구성을 갖는 미세유체 디바이스들의 예들은, 예를 들어 미국특허 제 RE 44,711 (Wu 등)(미국특허 제 7,612,355 호로서 최로로 발행됨) 에서 설명되어 있고, 이 전체 내용들은 참조로서 본원에 포함된다.
다른 실시형태들에서, 전극 활성화 기판 (206) 은 복수의 도핑된 층들, 전기적으로 절연 층들 (또는 영역들), 및 반도체 분야들에서 알려진 바와 같은 반도체 집적 회로들을 형성하는 전기적으로 전도성 층들을 포함하는 기판을 포함할 수 있다. 예를 들어, 전극 활성화 기판 (206) 은 예를 들어, 측방 바이폴러 포토레지스터들을 포함하는 복수의 포토레지스터들을 포함할 수 있고, 포토레지스터들 각각은 DEP 전극 영역 (214) 에 대응한다. 대안으로, 전극 활성화 기판 (206) 은 포토레지스터 스위치들에 의해 제어된 전극들 (예를 들어, 전도성 금속 전극들) 을 포함할 수 있고, 각각의 이러한 전극은 DEP 전극 영역 (214) 에 대응한다. 전극 활성화 기판 (206) 은 이러한 포토레지스터들 또는 포토레지스터-제어된 전극들의 패턴을 포함할 수 있다. 패턴은, 예를 들어 도 2b 에 도시된 바와 같이 행들 및 열들로 배열된 실질적으로 정사각형의 포토레지스터들 또는 포토레지스터-제어된 전극들의 어레이일 수 있다. 대안으로, 패턴은 육각형 격자를 형성하는 실질적으로 육각의 포토레지스터들 또는 포토레지스터-제어된 전극들의 어레이일 수 있다. 패턴에 관계없이, 전기 회로 엘리먼트들은 하단 전극 (210) 과 전극 활성화 기판 (206) 의 내측 면 (208) 에서의 DEP 전극 영역들 (214) 간의 전기적 접속들을 형성할 수 있고, 이들 전기적 접속들 (즉, 포토레지스터들 또는 전극들) 은 광 패턴 (218) 에 의해 선택적으로 활성화 및 비활성화될 수 있다. 활성화되지 않은 경우, 각각의 전기적 접속은, 전극 활성화 기판 (206) 을 통한 (즉, 하단 전극 (204) 으로부터 영역/챔버 (202) 에서 매질 (180) 과 인터페이스하는 전극 활성화 기판 (206) 의 내측 면 (208) 까지의) 상대적 임피던스가 대응하는 DEP 전극 영역 (214) 에서 매질 (180) 을 통한 (즉, 전극 활성화 기판 (206) 의 내측 면 (208) 으로부터 커버 (110) 의 상단 전극 (210) 까지의) 상대적 임피던스보다 더 크도록 높은 임피던스를 가질 수 있다. 그러나 광 패턴 (218) 에서 광에 의해 활성화되는 경우, 전극 활성화 기판 (206) 을 통한 상대적 임피던스는 각각의 조명된 DEP 전극 영역 (214) 에서 매질 (180) 을 통한 상대적 임피던스보다 더 작고, 이에 의해 위에서 논의된 바와 같이 대응하는 DEP 전극 영역 (214) 에서 DEP 전극을 활성화시킨다. 매질 (180) 내의 마이크로-객체들 (미도시) 을 끌어당기거나 밀어내는 DEP 전극들은 따라서, 광 패턴 (218) 에 의해 결정된 방식으로 영역/챔버 (202) 의 전극 활성화 기판 (206) 의 내측 면 (208) 에서 많은 상이한 DEP 전극 영역들 (214) 에서 선택적으로 활성화 및 비활성화될 수 있다.
포토레지스터들을 포함하는 전극 활성화 기판들을 갖는 미세유체 디바이스들의 예들은, 예를 들어 미국특허 제 7,956,339 (Ohta 등) (예를 들어, 도 21 및 도 22 에 예시된 디바이스 (300), 및 그 설명들을 참조) 에서 설명되어 있고, 그 전체 내용들은 참조로서 본원에 포함된다. 포토레지스터 스위치들에 의해 제어된 전극들을 포함하는 전극 활성화 기판들을 갖는 미세유체 디바이스들의 예들은, 예를 들어 미국 특허공개 제 2014/0124370 (Short 등) (예를 들어, 도면들 전체에 예시된 디바이스들 (200, 400, 500, 600, 및 900) 및 그 설명들을 참조) 에서 설명되어 있고, 그 전체 내용들은 참조로서 본원에 포함된다.
DEP 구성된 미세유체 디바이스의 일부 실시형태들에서, 상단 전극 (210) 은 인클로저 (102) 의 제 1 벽 (또는 커버 (110)) 의 부분이고, 전극 활성화 기판 (206) 및 하단 전극 (204) 은 인클로저 (102) 의 제 2 벽 (또는 지지 구조 (104)) 의 부분이다. 영역/챔버 (202) 는 제 1 벽과 제 2 벽 사이에 있을 수 있다. 다른 실시형태들에서, 전극 (210) 은 제 2 벽 (또는 지지 구조 (104)) 의 부분이고, 하나 또는 양자 모두의 전극 활성화 기판 (206) 및/또는 전극 (210) 은 제 1 벽 (또는 커버 (110)) 의 부분이다. 또한, 광원 (216) 은 대안으로 아래로부터 인클로저 (102) 를 조명하도록 사용될 수 있다.
DEP 구성을 갖는 도 1b 및 도 1c 의 미세유체 디바이스 (200) 로, 동기 모듈 (162) 은, 마이크로-객체를 둘러싸고 캡처하는 패턴 (예를 들어, 정사각형 패턴 (220)) 에서 전극 활성화 기판 (206) 의 내측 면 (208) 의 DEP 전극 영역들 (214a) 에서 하나 이상의 DEP 전극들의 제 1 세트를 활성화시키도록 광 패턴 (218) 을 미세유체 디바이스 (200) 로 프로젝팅함으로써 영역/챔버 (202) 내의 매질 (180) 에서 마이크로-객체 (미도시) 를 선택할 수 있다. 동기 모듈 (162) 은 그 후, DEP 전극 영역들 (214) 에서 하나 이상의 DEP 전극들의 제 2 세트를 활성화시키도록 미세유체 디바이스 (200) 에 대해 광 패턴 (218) 을 이동시킴으로써 인 시츄-생성된 캡쳐된 마이크로-객체를 이동시킬 수 있다. 대안으로, 미세유체 디바이스 (200) 는 광 패턴 (218) 에 대해 이동될 수 있다.
다른 실시형태들에서, 미세유체 디바이스 (200) 는 전극 활성화 기판 (206) 의 내측 면 (208) 에서 DEP 전극들의 광 활성화에 의존하지 않는 DEP 구성을 가질 수 있다. 예를 들어, 전극 활성화 기판 (206) 은 적어도 하나의 전극을 포함하는 표면 (예를 들어, 커버 (110)) 의 반대편에 위치된 선택적으로 어드레싱 가능 및 에너자이징 가능한 전극들을 포함할 수 있다. 스위치들 (예를 들어, 반도체 기판에서의 트랜지스터 스위치들) 은 DEP 전극 영역들 (214) 에서 DEP 전극들을 활성화 또는 비활성화시키도록 선택적으로 개방 및 폐쇄될 수도 있고, 이에 의해 활성화된 DEP 전극들 근처에서 영역/챔버 (202) 내의 마이크로-객체 (미도시) 상에 순 (net) DEP 힘을 생성한다. 영역/챔버 (202) 에서 마이크로-객체들 및/또는 매질 (미도시) 의 유전 특성들 및 전원 (212) 의 주파수와 같은 이러한 특징들에 따라, DEP 힘은 부근의 마이크로-객체를 끌어당기거나 밀어낼 수 있다. (예를 들어, 정사각형 패턴 (220) 을 형성하는 DEP 전극 영역들 (214) 의 세트에서) DEP 전극들의 세트를 선택적으로 활성화 및 비활성화시킴으로써, 영역/챔버 (202) 내의 하나 이상의 마이크로-객체들은 영역/챔버 (202) 내에서 트랩 및 이동될 수 있다. 도 1a 에서의 동기 모듈 (162) 은 이러한 스위치들을 제어하고, 따라서 영역/챔버 (202) 주변의 특정한 마이크로-객체들 (미도시) 을 선택, 트랩, 및 이동시키도록 DEP 전극들 중 개별의 전극들을 활성화 및 비활성화시킬 수 있다. 선택적으로 어드레싱 가능 및 에너자이징 가능한 전극들을 포함하는 DEP 구성을 갖는 미세유체 디바이스들은 당해 분야에 알려져 있고, 예를 들어 미국특허 제 6,294,063 (Becker 등) 및 6,942,776 (Medoro) 에서 설명되어 있고, 그 전체 내용들은 참조로서 본원에 포함된다.
또 다른 예에서, 미세유체 디바이스 (200) 는, DEP 구성을 갖는 부분으로부터 분리되는 미세유체 디바이스 (200) 의 부분에 위치될 수 있거나 DEP 구성을 대신할 수 있는 전기습윤 (EW) 구성을 가질 수 있다. EW 구성은 광-전기습윤 구성 또는 유전체 상의 전기습윤 (EWOD) 구성일 수 있고, 이들 양자 모두는 당해 분야에 알려져 있다. 일부 EW 구성들에서, 지지 구조 (104) 는 유전체 층 (미도시) 과 하단 전극 (204) 사이에 샌드위치된 전극 활성화 기판 (206) 을 갖는다. 유전체 층은 이하에 기술되는 바와 같이 소수성 재료를 포함할 수 있고/있거나 소수성 재료로 코팅될 수 있다. EW 구성을 갖는 미세유체 디바이스들 (200) 에 대해, 지지 구조 (104) 의 내측 면 (208) 은 유전체 층 또는 그 소수성 코팅물의 내측 면이다.
유전체 층 (미도시) 은 하나 이상의 산화물 층들을 포함할 수 있고, 또는 약 50 nm 내지 약 250 nm (예를 들어, 약 125 nm 내지 약 175 nm) 의 두께를 가질 수 있다. 소정 실시형태들에서, 유전체 층은 산화물, 예컨대 금속 산화물 (예를 들어, 알루미늄 산화물 또는 하프늄 산화물) 의 층을 포함할 수도 있다. 소정 실시형태들에서, 유전체 층은 금속 산화물 외의 유전체 재료, 예컨대 규소 산화물 또는 질화물을 포함할 수 있다. 정확한 조성 및 두께에 관계없이, 유전체 층은 약 10 kOhm 내지 약 50 kOhm 의 임피던스를 가질 수 있다.
일부 실시형태들에서, 영역/챔버 (202) 를 향해 안쪽으로 면하는 유전체 층의 표면은 소수성 재료로 코팅된다. 소수성 재료는, 예를 들어 플루오르화 탄소 분자들을 포함할 수 있다. 플루오르화 탄소 분자들의 예은 퍼플루오로-폴리머들, 예컨대 폴리테트라플루오로에틸렌 (예를 들어, TEFLON®) 또는 폴리(2,3-디플루오로메틸레닐-퍼플루오로테트라히드로푸란)(예를 들어, CYTOP™) 을 포함한다. 소수성 재료를 구성하는 분자들은 유전체 층의 표면에 공유 결합될 수 있다. 예를 들어, 소수성 재료의 분자들은 연결자, 예컨대 실록산 기, 포스폰산 기, 또는 티올 기에 의해 유전체 층의 표면에 공유 결합될 수 있다. 따라서, 일부 실시형태들에서, 소수성 재료는 알킬-종단 실록산, 알킬-종단 포스폰 산, 또는 알킬-종단 티올을 포함할 수 있다. 알킬 기는 (예를 들어, 적어도 10 개의 탄소들, 또는 적어도 16, 18, 20, 22, 또는 그 이상의 탄소들의 체인을 갖는) 긴-체인 탄화수소들일 수 있다. 대안으로, 플루오르화 (또는 퍼플루오르화) 탄소 체인들은 알킬 기들 대신에 사용될 수 있다. 따라서, 예를 들어 소수성 재료는 플루오로알킬-종단 실록산, 플루오로알킬-종단 포스폰 산, 또는 플루오로알킬-종단 티올을 포함할 수 있다. 일부 실시형태들에서, 소수성 코팅은 약 10 nm 내지 약 50 nm 의 두께를 갖는다. 다른 실시형태들에서, 소수성 코팅은 10 nm 미만 (예를 들어, 5 nm 미만, 또는 약 1.5 nm 내지 3.0 nm) 의 두께를 갖는다.
일부 실시형태들에서, 전기습윤 구성을 갖는 미세유체 디바이스 (200) 의 커버 (110) 는 소수성 재료 (미도시) 로 또한 코팅된다. 소수성 재료는 지지 구조 (104) 의 유전체 층을 코팅하는데 사용된 동일한 소수성 재료일 수 있고, 소수성 코팅은 지지 구조 (104) 의 유전체 층 상의 소수성 코팅의 두께와 실질적으로 동일한 두께를 가질 수 있다. 또한, 커버 (110) 는 지지 구조 (104) 의 방식으로, 유전체 층과 상단 전극 (210) 사이에 샌드위치된 전극 활성화 기판 (206) 을 포함할 수 있다. 전극 활성화 기판 (206) 및 커버 (110) 의 유전체 층은 전극 활성화 기판 (206) 및 지지 구조 (104) 의 유전체 층과 동일한 조성 및/또는 치수들을 가질 수 있다. 따라서, 미세유체 디바이스 (200) 는 2 개의 전기습윤 표면들을 가질 수 있다.
일부 실시형태들에서, 전극 활성화 기판 (206) 은 전술된 바와 같이 광전도 재료를 포함할 수 있다. 따라서, 소정의 실시형태들에서 전극 활성화 기판 (206) 은 수소화 비정질 규소 (a-Si:H) 의 층을 포함하거나 이로 이루어질 수 있다. a-Si:H 는, 예를 들어 (100 * 수소 원자들의 수/수소 및 규소 원자들의 총 수로서 계산된) 약 8% 내지 40% 수소를 포함할 수 있다. a-Si:H 의 층은 약 500 nm 내지 약 2.0 마이크론의 두께를 가질 수 있다. 대안으로, 전극 활성화 기판 (206) 은 전술된 바와 같이, 포토레지스터 스위치들에 의해 제어된 전극들 (예를 들어, 전도성 금속 전극들) 을 포함할 수 있다. 광-전기습윤 구성을 갖는 미세유체 디바이스들은 당해 분야에 알려져 있고/있거나 당해 분야에 알려진 전극 활성화 기판들을 갖고 구성될 수 있다. 예를 들어, 그 전체 내용들이 참조로서 본원에 포함되는 미국특허 제 6,958,132 (Chiou 등) 는 a-Si:H 와 같은 광전도성 재료를 갖는 광-전기습윤 구성들을 개시하는 한편, 위에서 참조된 미국 특허공개 제 2014/0124370 (Short 등) 는 포토레지스터 스위치들에 의해 제어된 전극들을 갖는 전극 활성화 기판들을 개시한다.
미세유체 디바이스 (200) 는 따라서, 광-전기습윤 구성을 가질 수 있고, 광 패턴들 (218) 은 전극 활성화 기판 (206) 에서 광전도성 EW 영역들 또는 광응답성 EW 전극들을 활성화시키는데 사용될 수 있다. 전극 활성화 기판 (206) 의 이러한 활성화된 EW 영역들 또는 EW 전극들은 지지 구조 (104) 의 내측 면 (208)(즉, 위에 있는 유전체 층 또는 그 소수성 코팅의 내측 면) 에서 전기습윤 힘을 생성할 수 있다. 전극 활성화 기판 (206) 상에 입사한 광 패턴들 (218) 을 변경함으로써 (또는 광 소스 (216) 에 대하여 미세유체 디바이스 (200) 를 이동시킴으로써), 지지 구조 (104) 의 내측 면 (208) 을 접촉하는 (예를 들어, 수성 매질, 용액, 또는 용매를 함유하는) 액적들은 영역/챔버 (202) 에 존재하는 비혼합 유체 (예를 들어, 오일 매질) 를 통해 이동될 수 있다.
다른 실시형태들에서, 미세유체 디바이스들 (200) 은 EWOD 구성을 가질 수 있고, 전극 활성화 기판 (206) 은 활성화를 위한 광에 의존하지 않는 선택적으로 어드레싱 가능 및 에너자이징 가능한 전극들을 포함할 수 있다. 전극 활성화 기판 (206) 은 따라서, 이러한 전기습윤 (EW) 전극들의 패턴을 포함할 수 있다. 패턴은, 예를 들어 도 2b 에 도시된 바와 같이 행들 및 열들로 배열된 실질적으로 정사각형 EW 전극들의 어레이일 수 있다. 대안으로, 패턴은 육각형 격자를 형성하는 실질적으로 육각의 EW 전극들의 어레이일 수 있다. 패턴에 관계없이, EW 전극들은 전기 스위치들 (예를 들어, 반도체 기판에서 트랜지스터 스위치들) 에 의해 선택적으로 활성화 (또는 비활성화) 될 수 있다. 전극 활성화 기판 (206) 에서 EW 전극들을 선택적으로 활성화 및 비활성화시킴으로써, 위에 있는 유전체 층 또는 그 소수성 코팅의 내측 면 (208) 을 접촉하는 액적들 (미도시) 은 영역/챔버 (202) 내에서 이동될 수 있다. 도 1a 에서의 동기 모듈 (162) 은 이러한 스위치들을 제어하고, 따라서 영역/챔버 (202) 주변의 특정한 액적들을 선택 및 이동시키도록 개별의 EW 전극들을 활성화 및 비활성화시킬 수 있다. 선택적으로 어드레싱 가능 및 에너자이징 가능 전극들이 있는 EWOD 구성을 갖는 미세유체 디바이스들은 당해 분야에 알려져 있고, 예를 들어 그 전체 내용들이 참조로서 본원에 포함되는 미국특허 제 8,685,344 (Sundarsan 등) 에서 설명되어 있다.
미세유체 디바이스 (200) 의 구성에 관계없이, 전원 (212) 은 미세유체 디바이스 (200) 의 전기 회로들에 전력을 공급하는 전위 (예를 들어, AC 전압 전위) 를 제공하는데 사용될 수 있다. 전원 (212) 은 도 1 에서 참조된 전원 (192) 과 동일하거나 이의 컴포넌트일 수 있다. 전원 (212) 은 상단 전극 (210) 및 하단 전극 (204) 에 AC 전압 및/또는 전류를 제공하도록 구성될 수 있다. AC 전압에 대해, 전원 (212) 은 위에서 논의된 바와 같이 영역/챔버 (202) 에서 개별의 마이크로-객체들 (미도시) 을 트랩 및 이동시키기에 충분히 강한 순 DEP 힘들 (또는 전기습윤 힘들) 을 생성하고, 및/또는 위에서 또한 논의된 바와 같이 영역/챔버 (202) 에서 지지 구조 (104)(즉, 유전체 층 및/또는 유전체 층 상의 소수성 코팅) 의 내측 면 (208) 의 습윤 특성들을 변경하기에 충분한 주파수 범위 및 평균 또는 피크 전력 (예를 들어, 전압 또는 전류) 범위를 제공할 수 있다. 이러한 주파수 범위들 및 평균 또는 피크 전력 범위들은 당해 분야에 알려져 있다. 예를 들어, 미국특허 제 6,958,132 (Chiou 등), 미국특허 제 RE44,711 (Wu 등)(미국특허 제 7,612,355 로서 최초로 발행됨), 및 미국 특허출원공개 제 US2014/0124370 (Short 등), US2015/0306598 (Khandros 등), 및 US2015/0306599 (Khandros 등) 을 참조한다.
격리 펜들. 일반적인 격리 펜들 (224, 226, 및 228) 의 비-제한 예들은 도 2a 내지 도 2c 에 도시된 미세유체 디바이스 (230) 내에 도시된다. 각각의 격리 펜 (224, 226, 및 228) 는 고립 영역 (240) 및 고립 영역 (240) 을 미세유체 채널 (122) 에 유동성으로 접속시키는 접속 영역 (236) 을 정의하는 고립 구조 (232) 를 포함할 수 있다. 접속 영역 (236) 은 미세유체 채널 (122) 로의 근위 (proximal) 개구 (234) 및 고립 영역 (240) 로의 원위 (distal) 개구 (238) 를 포함할 수 있다. 접속 영역 (236) 은, 미세유체 채널 (122) 로부터 격리 펜 (224, 226, 228) 안으로 유동하는 유체 매질 (미도시) 의 흐름의 최대 침투 깊이가 고립 영역 (240) 안으로 확장하지 않도록 구성될 수 있다. 따라서, 접속 영역 (236) 으로 인해, 격리 펜 (224, 226, 228) 의 고립 영역 (240) 에 배치된 마이크로-객체 (미도시) 또는 다른 재료 (미도시) 는 미세유체 채널 (122) 에서의 매질 (180) 의 흐름으로부터 고립될 수 있고, 실질적으로 이에 의해 영향을 받지 않는다.
도 2a 내지 도 2c 의 격리 펜 (224, 226, 228) 은 각각 미세유체 채널 (122) 에 직접 개방되는 단일의 개구를 갖는다. 격리 펜의 개구는 미세유체 채널 (122) 로부터 측방향으로 개방된다. 전극 활성화 기판 (206) 은 미세유체 채널 (122) 과 격리 펜 (224, 226, 228) 양자 모두의 아래에 놓인다. 격리 펜의 바닥을 형성하는, 격리 펜의 인클로져 내의 전극 활성화 기판 (206) 의 상부 표면은 미세유체 디바이스의 흐름 채널 (또는 각각, 흐름 영역) 의 바닥을 형성하는, 미세유체 채널 (122) (또는 채널이 존재하지 않는 경우 흐름 영역) 내의 전극 활성화 기판 (206) 의 상부 표면의 동일한 레벨 또는 실질적으로 동일한 레벨에 배치된다. 전극 활성화 기판 (206) 은 특징이 없을 수도 있거나 약 3 마이크론 미만, 2.5 마이크론, 2 마이크론, 1.5 마이크론, 1 마이크론, 0.9 마이크론, 0.5 마이크론, 0.4 마이크론, 0.2 마이크론, 0.1 마이크론 또는 그 미만만큼 그의 최고 고도로부터 그의 최저 오목부까지 변하는 불규칙하거나 패턴화된 표면을 가질 수도 있다. 미세유체 채널 (122) (또는 흐름 영역) 및 격리 펜들 양자 모두를 가로지르는 기판의 상부 표면에서의 고도의 변동은 미세유체 디바이스의 벽들 또는 격리 펜의 벽들의 높이의 약 3% 미만, 2%, 1%, 0.9%, 0.8%, 0.5%, 0.3% 또는 0.1% 일 수도 있다. 미세유체 디바이스 (200) 에 대해 상세히 기술되지만, 이것은 또한 여기에 기술된 미세유체 디바이스들 (100, 200, 230, 250, 280, 290, 300) 중 임의의 것에적용된다.
미세유체 채널 (122) 은 따라서, 스윕 영역의 일 예일 수 있고, 격리 펜들 (224, 226, 228) 의 고립 영역들 (240) 은 스윕되지 않은 영역들의 예들일 수 있다. 주목된 바와 같이, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 은 하나 이상의 유체 매질 (180) 을 포함하도록 구성될 수 있다. 도 2a 및 도 2b 에 도시된 예에서, 포트들 (222) 은 미세유체 채널 (122) 에 접속되고 유체 매질 (180) 이 미세유체 디바이스 (230) 안으로 도입되거나 이로부터 제거되는 것을 허용한다. 유체 매질 (180) 의 도입 전에, 미세유체 디바이스는 이산화탄소 기체와 같은 기체로 프라이밍될 수도 있다. 일단, 미세유체 디바이스 (230) 가 유체 매질 (180) 을 포함하면, 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 은 선택적으로 생성 및 정지될 수 있다. 예를 들어, 도시된 바와 같이 포트들 (222) 은 미세유체 채널 (122) 의 상이한 로케이션들 (예를 들어, 반대편 단부들) 에 배치될 수 있고, 매질의 흐름 (242) 은 인렛로서 기능하는 하나의 포트 (222) 로부터 아웃렛으로서 기능하는 다른 포트 (222) 로 생성될 수 있다.
도 2c 는 본 개시에 따른 격리 펜 (224) 의 일 예의 상세 뷰를 예시한다. 마이크로-객체들 (246) 의 예들이 또한, 도시된다.
알려진 바와 같이, 격리 펜 (224) 의 근위 개구 (234) 를 지나 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 은 격리 펜 (224) 의 안 및/또는 밖으로의 매질 (180) 의 세컨더리 흐름 (244) 을 야기할 수 있다. 격리 펜 (224) 의 고립 영역 (240) 에서 마이크로-객체들 (246) 을 세컨더리 흐름 (244) 으로부터 고립시키기 위해, (즉, 근위 개구 (234) 로부터 원위 개구 (238) 로의) 격리 펜 (244) 의 접속 영역 (236) 의 길이 (Lcon) 는 세컨더리 흐름 (244) 의 접속 영역 (236) 안으로의 침투 깊이 (Dp) 보다 커야 한다. 세컨더리 흐름 (244) 의 침투 깊이 (Dp) 는 미세유체 채널 (122) 에서 유동하는 유체 매질 (180) 의 속도 및 미세유체 채널 (122) 및 미세 유체 미세유체 채널 (122) 에 대한 접속 영역 (236) 의 근위 개구 (234) 의 구성에 관련한 다양한 파라미터들에 의존한다. 소정의 미세유체 디바이스에 대해, 미세유체 채널 (122) 및 개구 (234) 의 구성들은 고정될 것이지만 반면에, 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 속도는 가변적일 것이다. 따라서, 각각의 격리 펜 (224) 에 대해, 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 에 대한 최대 속도 (Vmax) 는, 세컨더리 흐름 (244) 의 침투 깊이 (Dp) 가 접속 영역 (236) 의 길이 (Lcon) 를 초과하지 않는 것을 보장하도록 식별될 수 있다. 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 속도가 최대 속도 (Vmax) 를 초과하지 않는 한, 결과의 세컨더리 흐름 (244) 은 미세유체 채널 (122) 및 접속 영역 (236) 에 제한되고 고립 영역 (240) 밖에서 유지될 수 있다. 미세유체 채널 (122) 에서 매질 (180) 의 흐름 (242) 은 따라서, 마이크로-객체들 (246) 을 고립 영역 (240) 밖으로 인출하지 않을 것이다. 차라리, 고립 영역 (240) 에 위치된 마이크로-객체들 (246) 은 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 에 관계없이 고립 영역 (240) 에 머무를 것이다.
또한, 미세유체 채널 (122) 에서의 매질 (180) 의 흐름 (242) 의 속도가 Vmax 를 초과하지 않는 한, 미세유체 채널 (122) 에서의 유체 매질 (180) 의 흐름 (242) 은 미세유체 채널 (122) 로부터 격리 펜 (224) 의 고립 영역 (240) 으로 잡다한 입자들 (예를 들어, 마이크로입자들 및/또는 나노입자들) 을 이동시키지 않을 것이다. 접속 영역 (236) 의 길이 (Lcon) 가 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 보다 더 큰 것은 따라서, 미세유체 채널 (122) 또는 다른 격리 펜 (예를 들어, 도 2d 에서 격리 펜들 (226, 228)) 로부터의 잡다한 입자들로 하나의 격리 펜 (224) 의 오염을 방지할 수 있다.
격리 펜들 (224, 226, 228) 의 접속 영역들 (236) 및 미세유체 채널 (122) 이 미세유체 채널 (122) 에서의 매질 (180) 의 흐름 (242) 에 의해 영향을 받을 수 있기 때문에, 미세유체 채널 (122) 및 접속 영역들 (236) 은 미세유체 디바이스 (230) 의 스윕 (또는 흐름) 영역들로 간주될 수 있다. 한편, 격리 펜들 (224, 226, 228) 의 고립 영역들 (240) 은, 스윕되지 않은 (또는 비-흐름) 영역들로 간주될 수 있다. 예를 들어, 미세유체 채널 (122) 에서의 제 1 유체 매질 (180) 내의 성분들 (미도시) 은 미세유체 채널 (122) 로부터 접속 영역 (236) 을 통해 그리고 고립 영역 (240) 내의 제 2 유체 매질 (280) 로의 제 1 매질 (180) 의 성분들의 확산에 의해서만 실질적으로, 고립 영역 (240) 에서 제 2 유체 매질 (280) 와 혼합할 수 있다. 유사하게, 고립 영역 (240) 에서의 제 2 매질 (280) 의 성분들 (미도시) 은 고립 영역 (240) 으로부터 접속 영역 (236) 을 통해 그리고 미세유체 채널 (122) 의 제 1 매질 (180) 안으로 제 2 매질 (280) 의 성분들의 확산에 의해서만 실질적으로, 미세유체 채널 (122) 에서 제 1 매질 (180) 과 혼합할 수 있다. 일부 실시형태들에서, 확산에 의한 격리 펜의 고립 영역과 흐름 영역 사이의 유체 매질 교환의 정도는 유체 교환의 약 90% 이상, 91%, 92%, 93%, 94%, 95%, 96%, 97%, 98%, 또는 약 99% 이상이다. 제 1 매질 (180) 은 제 2 매질 (248) 와 동일한 매질이거나 상이한 매질일 수 있다. 또한, 제 1 매질 (180) 및 제 2 매질 (248) 는 동일하게 시작하고, 그 후 (예를 들어, 고립 영역 (240) 에서 하나 이상의 세포들에 의해 제 2 매질 (248) 의 컨디셔닝을 통해, 또는 미세유체 채널 (122) 을 통해 유동하는 매질 (180) 을 변경함으로써) 상이하게 될 수 있다.
미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 에 의해 야기된 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 는, 위에서 언급된 바와 같이 다수의 파라미터들에 의존할 수 있다. 이러한 파라미터들의 예들은: 미세유체 채널 (122) 의 형상 (예를 들어, 미세유체 채널은 접속 영역 (236) 안으로 매질을 지향시키고, 접속 영역 (236) 으로부터 멀리 매질을 전환시키고, 또는 접속 영역 (236) 의 근위 개구 (234) 에 실질적으로 수직한 방향에서 매질을 미세유체 채널 (122) 로 지향시킬 수 있음); 근위 개구 (234) 에서 미세유체 채널 (122) 의 폭 (Wch)(또는 단면적); 및 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon)(또는 단면적); 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 속도 (V); 제 1 매질 (180) 및/또는 제 2 매질 (248) 의 속도 등을 포함한다.
일부 실시형태들에서, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 의 치수들은 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 벡터에 대하여 다음과 같이 배향될 수 있다: 채널 폭 (Wch)(또는 미세유체 채널 (122) 의 단면적) 은 매질 (180) 의 흐름 (242) 에 실질적으로 수직할 수 있다; 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon)(또는 단면적) 은 미세유체 채널 (122) 에서의 매질 (180) 의 흐름 (242) 에 실질적으로 평행할 수 있다; 및/또는 접속 영역의 길이 (Lcon) 는 미세유체 채널 (122) 에서 매질 (180) 의 흐름 (242) 에 실질적으로 수직할 수 있다. 상기는 단지 예들이며, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 의 상대적 포지션은 서로에 대하여 다른 배향들에 있을 수 있다.
도 2c 에 예시된 바와 같이, 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 로부터 원위 개구 (238) 까지 균일할 수 있다. 따라서, 원위 개구 (238) 에서 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 에 대해 본원에 식별된 범위들 중 어느 하나에 있을 수 있다. 대안으로, 원위 개구 (238) 에서 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 보다 더 클 수 있다.
도 2c 에 예시된 바와 같이, 원위 개구 (238) 에서 고립 영역 (240) 의 폭은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 과 실질적으로 동일할 수 있다. 원위 개구 (238) 에서 고립 영역 (240) 의 폭은 따라서, 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 에 대해 본원에 식별된 값들 중 어느 하나일 수 있다. 대안으로, 원위 개구 (238) 에서 고립 영역 (240) 의 폭은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 보다 더 크거나 또는 더 작을 수 있다. 또한, 원위 개구 (238) 는 근위 개구 (234) 보다 더 작을 수도 있고, 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 와 원위 개구 (238) 사이에서 좁아질 수도 있다. 예를 들어, 접속 영역 (236) 은 다양한 상이한 지오메트리들을 사용하여 (예를 들어, 접속 영역을 챔퍼링, 접속 영역을 베벨링), 근위 개구와 원위 개구 사이에서 좁아질 수도 있다. 또한, 접속 영역 (236) 의 임의의 부분 또는 하위부분 (예를 들어, 근위 개구 (234) 에 인접한 접속 영역의 부분) 이 좁아질 수도 있다.
도 2d 내지 도 2f 는 도 1a 의 각각의 미세유체 디바이스 (100), 회로 (132) 및 채널 (134) 의 변형들인, 미세유체 회로 (262) 및 흐름 채널들 (264) 을 포함하는 미세유체 디바이스 (250) 의 다른 예시적인 실시형태를 도시한다. 미세유체 디바이스 (250) 는 또한, 전술된 격리 펜들 (124, 126, 128, 130, 224, 226 또는 228) 의 추가적인 변형들인 복수의 격리 펜들 (266) 을 갖는다. 특히, 도 2d 내지 도 2f 에 도시된 디바이스 (250) 의 격리 펜들 (266) 은 전술된 디바이스들 (100, 200, 230, 280, 290, 300) 내의 격리 펜들 (124, 126, 128, 130, 224, 226 또는 228) 중 어느 하나를 대체할 수 있다. 마찬가지로, 미세유체 디바이스 (250) 는 미세유체 디바이스 (100) 의 다른 변형이고, 또한 전술된 미세유체 디바이스 (100, 200, 230, 280, 290, 300), 뿐만 아니라 본원에 설명된 다른 미세유체 시스템 컴포넌트들 중 어느 하나와 동일한 또는 상이한 DEP 구성을 가질 수도 있다.
도 2d 내지 도 2f 의 미세유체 디바이스 (250) 는 지지 구조 (도 2d 내지 도 2f 에서 보이지 않지만, 도 1a 에 도시된 디바이스 (100) 의 지지 구조 (104) 와 동일하거나 일반적으로 유사할 수 있음), 미세유체 회로 구조 (256), 및 커버 (도 2d 내지 도 2f 에서 보이지 않지만, 도 1a 에 도시된 디바이스 (100) 의 커버 (122) 와 동일하거나 일반적으로 유사할 수도 있음) 를 포함한다. 미세유체 회로 구조 (256) 는, 도 1a 에 도시된 디바이스 (100) 의 프레임 (114) 및 미세유체 회로 재료 (116) 와 동일하거나 또는 일반적으로 유사할 수 있는 프레임 (252) 및 미세유체 회로 재료 (260) 를 포함한다. 도 2d 에 나타낸 바와 같이, 미세유체 회로 재료 (260) 에 의해 정의된 미세유체 회로 (262) 는 다수의 격리 펜들 (266) 이 유동적으로 접속되는 다수의 채널들 (264)(2 개가 도시되지만 더 많이 존재할 수 있음) 을 포함할 수 있다.
각각의 격리 펜 (266) 는 고립 구조 (272), 고립 구조 (272) 내의 고립 영역 (270), 및 접속 영역 (268) 을 포함할 수 있다. 미세유체 채널 (264) 에서의 근위 개구 (274) 로부터 고립 구조 (272) 에서의 원위 개구 (276) 까지, 접속 영역 (268) 은 미세유체 채널 (264) 을 고립 영역 (270) 에 유동적으로 접속시킨다. 일반적으로, 도 2b 및 도 2c 의 상기 논의에 따르면, 미세유체 채널 (264) 에서 제 1 유체 매질 (254) 의 흐름 (278) 은 미세유체 채널 (264) 로부터 격리 펜들 (266) 의 각각의 접속 영역들 (268) 안으로 및/또는 밖으로 제 1 매질 (254) 의 세컨더리 흐름들 (282) 을 생성할 수 있다.
도 2e 에 예시된 바와 같이, 각각의 격리 펜 (266) 의 접속 영역 (268) 은 일반적으로, 미세유체 채널 (264) 로의 근위 개구 (274) 와 고립 구조 (272) 로의 원위 개구 (276) 사이에서 확장하는 영역을 포함한다. 접속 영역 (268) 의 길이 (Lcon) 는 세컨더리 흐름 (282) 의 최대 침투 깊이 (Dp) 보다 더 클 수 있고, 이 경우에서 세컨더리 흐름 (282) 은 (도 2d 에 도시된 바와 같이) 고립 영역 (270) 을 향해 재지향되지 않고 접속 영역 (268) 으로 확장할 것이다. 대안으로, 도 4c 에 예시된 바와 같이, 접속 영역 (268) 은 최대 침투 깊이 (Dp) 보다 작은 길이 (Lcon) 를 가질 수 있고, 이 경우에서 세컨더리 흐름 (282) 은 접속 영역 (268) 을 통해 확장하고 고립 영역 (270) 을 향해 재지향될 것이다. 이 후자의 상황에서, 접속 영역 (268) 의 길이들 (LC1 및 LC2) 의 합은 최대 침투 깊이 (Dp) 보다 커서, 세컨더리 흐름 (282) 이 고립 영역 (270) 안으로 확장하지 않을 것이다. 접속 영역 (268) 의 길이 (Lcon) 가 침투 깊이 (Dp) 보다 크든 아니든, 또는 접속 영역 (268) 의 길이들 (LC1 및 LC2) 의 합이 최대 침투 깊이 (Dp) 보다 크든 아니든, 최대 속도 (Vmax) 를 초과하지 않는 미세유체 채널 (264) 에서의 제 1 매질 (402) 의 흐름 (278) 은 침투 깊이 (Dp) 를 갖는 세컨더리 흐름을 생성할 것이고, 격리 펜 (266) 의 고립 영역 (270) 에서 마이크로-객체들 (도시되지 않지만, 도 2c 에 도시된 마이크로-객체들 (270) 과 동일하거나 또는 일반적으로 유사할 수 있음) 은 미세유체 채널 (264) 에서 제 1 매질 (254) 의 흐름 (278) 에 의해 고립 영역 (270) 밖으로 인출되지 않을 것이다. 또한, 미세유체 채널 (264) 에서의 흐름 (278) 은 미세유체 채널 (264) 로부터 격리 펜 (266) 의 고립 영역 (270) 안으로 잡다한 재료들 (미도시) 을 인출하지도 않을 것이다. 이와 같이, 확산은, 미세유체 채널 (264) 에서 제 1 매질 (402) 내의 성분들이 미세유체 채널 (264) 로부터 격리 펜 (266) 의 고립 영역 (270) 내의 제 2 매질 (258) 로 이동할 수 있는 유일한 메커니즘이다. 마찬가지로, 확산은, 격리 펜 (266) 의 고립 영역 (270) 에서의 제 2 매질 (258) 내의 성분들이 고립 영역 (270) 으로부터 미세유체 채널 (264) 내의 제 1 매질 (254) 로 이동할 수 있는 유일한 메커니즘이다. 제 1 매질 (254) 은 제 2 매질 (258) 과 동일한 매질일 수 있고, 또는 제 1 매질 (254) 은 제 2 매질 (258) 과 상이한 매질일 수 있다. 대안으로, 제 1 매질 (254) 및 제 2 매질 (258) 는 동일하게 시작할 수 있고, 그 후 예를 들어 고립 영역 (270) 내의 하나 이상의 세포들에 의한 제 2 매질의 컨디셔닝을 통해, 또는 미세유체 채널 (264) 을 통해 유동하는 매질을 변경함으로써 상이하게 될 수 있다.
도 2e 에 예시된 바와 같이, 미세유체 채널 (264) 내의 (즉, 도 2d 에서 화살표들 (278) 에 의해 표시된 채널을 통한 유체 매질 흐름의 방향을 가로질러 취해진) 미세유체 채널들 (264) 의 폭 (Wch) 은 근위 개구 (274) 의 폭 (Wcon1) 에 실질적으로 수직하고 따라서 원위 개구 (276) 의 폭 (Wcon2) 에 실질적으로 평행할 수 있다. 근위 개구 (274) 의 폭 (Wcon1) 및 원위 개구 (276) 의 폭 (Wcon2) 은 그러나, 서로 실질적으로 수직할 필요는 없다. 예를 들어, 근위 개구 (274) 의 폭 (Wcon1) 이 배향되는 축 (미도시) 과 원위 개구 (276) 의 폭 (Wcon2) 이 배향되는 다른 축 간의 각도는 수직 외 및 따라서 90°이외일 수 있다. 다르게 배향된 각도들의 예들은 약 30°내지 약 90°, 약 45°내지 약 90°, 약 60°내지 약 90°등의 각도들을 포함한다.
격리 펜들 (예를 들어, 124, 126, 128, 130, 224, 226, 228, 또는 266) 의 다양한 실시형태들에서, 고립 영역 (예를 들어, 240 또는 270) 은 복수의 마이크로-객체들을 포함하도록 구성된다. 다른 실시형태들에서, 고립 영역은 단지 1, 2, 3, 4, 5, 또는 유사한 상대적으로 작은 수의 마이크로-객체들 만을 포함하도록 구성될 수 있다. 따라서, 고립 영역의 체적은, 예를 들어 적어도 1x106, 2x106, 4x106, 6x106 세제곱 마이크론, 또는 그 이상일 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 폭 (Wch) 은 약 50-1000 마이크론, 50-500 마이크론, 50-400 마이크론, 50-300 마이크론, 50-250 마이크론, 50-200 마이크론, 50-150 마이크론, 50-100 마이크론, 70-500 마이크론, 70-400 마이크론, 70-300 마이크론, 70-250 마이크론, 70-200 마이크론, 70-150 마이크론, 90-400 마이크론, 90-300 마이크론, 90-250 마이크론, 90-200 마이크론, 90-150 마이크론, 100-300 마이크론, 100-250 마이크론, 100-200 마이크론, 100-150 마이크론, 또는 100-120 마이크론일 수 있다. 일부 다른 실시형태들에서, 근위 개구 (예를 들어, 234) 에서의 미세유체 채널 (예를 들어, 122) 의 폭 (Wch) 은 약 200-800 마이크론, 200-700 마이크론, 또는 200-600 마이크론일 수 있다. 상기의 것은 단지 예들이며, 미세유체 채널 (122) 의 폭 (Wch) 은 위에 열거된 엔드포인트들 중 어느 하나 내의 임의의 폭일 수 있다. 또한, 미세유체 채널 (122) 의 폭 (Wch) 은 격리 펜의 근위 개구 외의 미세유체 채널의 영역들에서 이들 폭들 중 어느 하나에 있도록 선택될 수 있다.
일부 실시형태들에서, 격리 펜은 약 30 내지 약 200 마이크론, 또는 약 50 내지 약 150 마이크론의 높이를 갖는다. 일부 실시형태들에서, 격리 펜은 약 1x104 - 3x106 제곱 마이크론, 2x104 - 2x106 제곱 마이크론, 4x104 - 1x106 제곱 마이크론, 2x104 - 5x105 제곱 마이크론, 2x104 - 1x105 제곱 마이크론 또는 약 2x105 - 2x106 제곱 마이크론의 단면적을 갖는다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 높이 (Hch) 는 다음의 높이들 중 어느 하나 내의 높이일 수 있다: 20-100 마이크론, 20-90 마이크론, 20-80 마이크론, 20-70 마이크론, 20-60 마이크론, 20-50 마이크론, 30-100 마이크론, 30-90 마이크론, 30-80 마이크론, 30-70 마이크론, 30-60 마이크론, 30-50 마이크론, 40-100 마이크론, 40-90 마이크론, 40-80 마이크론, 40-70 마이크론, 40-60 마이크론, 또는 40-50 마이크론. 상기의 것은 단지 예들이며, 미세유체 채널 (예를 들어, 122) 의 높이 (Hch) 는 위에서 열거된 엔드포인트들 중 어느 하나 내의 높이일 수 있다. 미세유체 채널 (122) 의 높이 (Hch) 는 격리 펜의 근위 개구 이외의 미세유체 채널의 영역들에서 이들 높이들 중 어느 하나에 있도록 선택될 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 단면적은 약 500-50,000 제곱 마이크론, 500-40,000 제곱 마이크론, 500-30,000 제곱 마이크론, 500-25,000 제곱 마이크론, 500-20,000 제곱 마이크론, 500-15,000 제곱 마이크론, 500-10,000 제곱 마이크론, 500-7,500 제곱 마이크론, 500-5,000 제곱 마이크론, 1,000-25,000 제곱 마이크론, 1,000-20,000 제곱 마이크론, 1,000-15,000 제곱 마이크론, 1,000-10,000 제곱 마이크론, 1,000-7,500 제곱 마이크론, 1,000-5,000 제곱 마이크론, 2,000-20,000 제곱 마이크론, 2,000-15,000 제곱 마이크론, 2,000-10,000 제곱 마이크론, 2,000-7,500 제곱 마이크론, 2,000-6,000 제곱 마이크론, 3,000-20,000 제곱 마이크론, 3,000-15,000 제곱 마이크론, 3,000-10,000 제곱 마이크론, 3,000-7,500 제곱 마이크론, 또는 3,000 내지 6,000 제곱 마이크론일 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 단면적은 위에서 열거된 엔드포인트들 중 어느 하나 내의 임의의 면적일 수 있다.
격리 펜들의 다양한 실시형태들에서, 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 는 약 1-600 마이크론, 5-550 마이크론, 10-500 마이크론, 15-400 마이크론, 20-300 마이크론, 20-500 마이크론, 40-400 마이크론, 60-300 마이크론, 80-200 마이크론, 또는 약 100-150 마이크론일 수 있다. 상기의 것은 단지 예들이며, 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 는 위에서 열거된 엔드포인트들 중 어느 하나 내의 임의의 길이에 있을 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 약 20-500 마이크론, 20-400 마이크론, 20-300 마이크론, 20-200 마이크론, 20-150 마이크론, 20-100 마이크론, 20-80 마이크론, 20-60 마이크론, 30-400 마이크론, 30-300 마이크론, 30-200 마이크론, 30-150 마이크론, 30-100 마이크론, 30-80 마이크론, 30-60 마이크론, 40-300 마이크론, 40-200 마이크론, 40-150 마이크론, 40-100 마이크론, 40-80 마이크론, 40-60 마이크론, 50-250 마이크론, 50-200 마이크론, 50-150 마이크론, 50-100 마이크론, 50-80 마이크론, 60-200 마이크론, 60-150 마이크론, 60-100 마이크론, 60-80 마이크론, 70-150 마이크론, 70-100 마이크론, 또는 80-100 마이크론일 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 상기 예들과 상이할 (예를 들어, 위에서 열거된 엔드포인트들 중 어느 하나 내의 임의의 값일) 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 적어도 격리 펜이 의도된 마이크로-객체 (예를 들어, T 세포, B 세포, 또는 난자 또는 배아일 수도 있는 생물학적 세포) 의 최대 디멘젼만큼 클 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 상기 예들과 상이할 (예를 들어, 위에서 열거된 엔드포인트들 중 어느 하나 내의 폭일) 수 있다.
격리 펜들의 다양한 실시형태들에서, 접속 영역의 근위 개구의 폭 (Wpr) 은 적어도 격리 펜이 의도된 마이크로-객체 (예를 들어, 세포와 같은 생물학적 마이크로-객체) 의 최대 디멘젼만큼 클 수도 있다. 예를 들어, 폭 (Wpr) 은 약 50 마이크론, 약 60 마이크론, 약 100 마이크론, 약 200 마이크론, 약 300 마이크론일 수도 있거나 약 50-300 마이크론, 약 50-200 마이크론, 약 50-100 마이크론, 약 75-150 마이크론, 약 75-100 마이크론, 또는 약 200-300 마이크론일 수도 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (234) 에서 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 대 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 의 비율은 다음의 비율들 중 어느 하나 이상일 수 있다: 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 6.0, 7.0, 8.0, 9.0, 10.0, 또는 그 이상. 상기의 것은 단지 예들이며, 근위 개구 (234) 에서 접속 영역 (236) 의 길이 (Lcon) 대 접속 영역 (236) 의 폭 (Wcon) 의 비율은 상기 예들과 상이할 수 있다.
미세유체 디바이스들 (100, 200, 230, 250, 280, 290, 300) 의 다양한 실시형태들에서, Vmax 는 대략 0.2, 0.5, 0.7, 1.0, 1.3, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 5.5, 6.0, 6.7, 7.0, 7.5, 8.0, 8.5, 9.0, 10, 11, 12, 13, 14, 또는 15 마이크로리터/초로 설정될 수 있다.
격리 펜들을 갖는 미세유체 디바이스들의 다양한 실시형태들에서, 격리 펜의 고립 영역 (예를 들어, 240) 의 체적은, 예를 들어 적어도 5x105, 8x105, 1x106, 2x106, 4x106, 6x106, 8x106, 1x107, 5x107, 1x108, 5x108, 또는 8x108 세제곱 마이크론, 또는 그 이상일 수 있다. 격리 펜들을 갖는 미세유체 디바이스들의 다양한 실시형태들에서, 격리 펜의 체적은 약 5x105, 6x105, 8x105, 1x106, 2x106, 4x106, 8x106, 1x107, 3x107, 5x107, 또는 약 8x107 세제곱 마이크론, 또는 그 이상일 수 있다. 일부 다른 실시형태들에서, 격리 펜의 체적은 약 1 나노리터 내지 약 50 나노리터, 2 나노리터 내지 약 25 나노리터, 2 나노리터 내지 약 20 나노리터, 약 2 나노리터 내지 약 15 나노리터, 또는 약 2 나노리터 내지 약 10 나노리터일 수도 있다.
다양한 실시형태에서, 미세유체 디바이스는, 본원에 논의된 실시형태들 중 어느 하나로서 구성된 격리 펜들을 갖고, 여기서 미세유체 디바이스는 약 5 내지 약 10 개의 격리 펜들, 약 10 내지 약 50 개의 격리 펜들, 약 100 내지 약 500 개의 격리 펜들; 약 200 내지 약 1000 개의 격리 펜들, 약 500 내지 약 1500 개의 격리 펜들, 약 1000 내지 약 2000 개의 격리 펜들, 약 1000 내지 약 3500 개의 격리 펜들, 약 3000 내지 약 7000 개의 격리 펜들, 약 5000 내지 약 10,000 개의 격리 펜들, 약 9000 내지 약 15,000 개의 격리 펜들, 또는 약 12,000 내지 약 20,000 개의 격리 펜들을 갖는다. 격리 펜들은 모두 동일한 크기일 필요는 없고 다양한 구성들 (예를 들어, 격리 펜 내의 상이한 폭들, 상이한 피쳐들) 을 포함할 수도 있다.
도 2g 는 일 실시형태에 따른 미세유체 디바이스 (280) 를 예시한다. 도 2g 에 예시된 미세유체 디바이스 (280) 는 미세유체 디바이스 (100) 의 양식화된 다이어그램이다. 실제로, 미세유체 디바이스 (280) 및 그 구성 회로 엘리먼트들 (예를 들어, 채널들 (122) 및 격리 펜들 (128)) 은 본원에 논의된 치수들을 가질 것이다. 도 2g 에 예시된 미세유체 회로 (120) 는 2 개의 포트들 (107), 4 개의 별개의 채널들 (122) 및 4 개의 별개의 흐름 경로들 (106) 을 갖는다. 미세유체 디바이스 (280) 는 각각의 미세유체 채널 (122) 에서 개방된 복수의 격리 펜들을 더 포함한다. 도 2g 에 예시된 미세유체 디바이스에서, 격리 펜들은 도 2c 에 예시된 펜들과 유사한 지오메트리를 갖고, 따라서 양자의 접속 영역들 및 고립 영역들을 갖는다. 따라서, 미세유체 회로 (120) 는 스윕 영역들 (예를 들어, 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 내의 접속 영역들 (236) 의 부분들 및 채널들 (122)) 및 비-스윕 영역들 (예를 들어, 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 내에 있지 않은 접속 영역들 (236) 의 부분들 및 고립 영역들 (240)) 양자 모두를 포함한다.
도 3a 및 도 3b 는 본 개시에 따른 미세유체 디바이스들 (예를 들어, 100, 200, 230, 250, 280, 290, 300) 을 동작 및 관측하는데 사용될 수 있는 시스템 (150) 의 다양한 실시형태들을 나타낸다. 도 3a 에 예시된 바와 같이, 시스템 (150) 은 미세유체 디바이스 (100)(미도시), 또는 본원에 설명된 임의의 다른 미세유체 디바이스를 홀딩하도록 구성된 구조 ("네스트 (nest)")(300) 를 포함할 수 있다. 네스트 (300) 는 미세유체 디바이스 (320) (예를 들어, 광학적으로-작동된 동전기 디바이스 (100)) 와 인터페이스하고 전원 (192) 으로부터 미세유체 디바이스 (320) 로 전기적 접속들을 제공할 수 있는 소켓 (302) 을 포함할 수 있다. 네스트 (300) 는 집적된 전기적 신호 생성 서브시스템 (304) 을 더 포함할 수 있다. 전기적 신호 생성 서브시스템 (304) 은, 바이어싱 전압이, 미세유체 디바이스가 소켓 (302) 에 의해 홀딩되는 경우 미세유체 디바이스 (320) 내의 전극들의 쌍 양단에 인가되도록 바이어싱 전압을 소켓 (302) 에 공급하도록 구성될 수 있다. 따라서, 전기적 신호 생성 서브시스템 (304) 은 전원 (192) 의 부분일 수 있다. 미세유체 디바이스 (320) 에 바이어싱 전압을 인가하는 능력은, 바이어싱 전압이, 미세유체 디바이스 (320) 가 소켓 (302) 에 의해 홀딩되는 경우 항상 인가될 것이라는 것을 의미하지는 않는다. 차라리, 대부분의 경우들에서, 바이어싱 전압은 간헐적으로, 예를 들어 미세유체 디바이스 (320) 에서 유전영동 또는 전기습윤과 같은 동전기적 힘들의 생성을 용이하게 하도록 필요할 때에만, 인가될 것이다.
도 3a 에 예시된 바와 같이, 네스트 (300) 는 인쇄 회로 기판 어셈블리 (PCBA)(322) 를 포함할 수 있다. 전기적 신호 생성 서브시스템 (304) 은 PCBA (322) 상에 장착되고 이 안에 전기적으로 집적될 수 있다. 예시적인 서포트는 마찬가지로 PCBA (322) 상에 장착된 소켓 (302) 을 포함한다.
통상적으로, 전기적 신호 생성 서브시스템 (304) 은 파형 생성기 (미도시) 를 포함할 것이다. 전기적 신호 생성 서브시스템 (304) 은 파형 생성기로부터 수신된 파형을 증폭시키도록 구성된 파형 증폭 회로 (미도시) 및/또는 오실로스코프 (미도시) 를 더 포함할 수 있다. 오실로스코프는, 존재하는 경우, 소켓 (302) 에 의해 홀딩된 미세유체 디바이스 (320) 에 인가된 파형을 측정하도록 구성될 수 있다. 소정 실시형태들에서, 오실로스코프는 미세유체 디바이스 (320) 에 근접한 (및 파형 생성기에 대해 먼) 로케이션에서 파형을 측정하고, 따라서 디바이스에 실제로 인가된 파형을 측정하는데 있어서 더 큰 정확도를 보장한다. 오실로스코프 측정으로부터 획득된 데이터는, 예를 들어 파형 생성기에 피드백으로서 제공될 수 있고, 파형 생성기는 이러한 피드백에 기초하여 그 출력을 조정하도록 구성될 수 있다. 적합한 결합형 파형 생성기 및 오실로스코프의 예는 Red Pitaya™ 이다.
소정의 실시형태들에서, 네스트 (300) 는 제어기 (308), 예컨대 전기적 신호 생성 서브시스템 (304) 을 감지 및/또는 제어하는데 사용된 마이크로프로세서를 더 포함한다. 적합한 마이크로프로세서들의 예들은 Arduino™ 마이크로프로세서들, 예컨대 Arduino Nano™ 을 포함한다. 제어기 (308) 는 기능들 및 분석을 수행하는데 사용될 수도 있고, 또는 기능들 및 분석을 수행하도록 (도 1a 에 도시된) 외부 마스터 제어기 (154) 와 통신할 수도 있다. 도 3a 에 예시된 실시형태에서, 제어기 (308) 는 인터페이스 (310)(예를 들어, 플러그 또는 커넥터) 를 통해 마스터 제어기 (154) 와 통신한다.
일부 실시형태들에서, 네스트 (300) 는 Red Pitaya™ 파형 생성기/오실로스코프 유닛 ("Red Pitaya 유닛") 및 Red Pitaya 유닛에 의해 생성된 파형을 증폭시키고 증폭된 전압을 미세유체 디바이스 (100) 로 패스하는 파형 증폭 회로를 포함하는 전기적 신호 생성 서브시스템 (304) 을 포함할 수 있다. 일부 실시형태들에서, Red Pitaya 유닛은 미세유체 디바이스 (320) 에서 증폭된 전압을 측정하고, 그 후, 미세유체 디바이스 (320) 에서 측정된 전압이 원하는 값이도록 필요에 따라 그 자신의 출력 전압을 조정하도록 구성된다. 일부 실시형태들에서, 파형 증폭 회로는, 미세유체 디바이스 (100) 에서 최대 13 Vpp 의 신호를 초래하는, PCBA (322) 상에 장착된 DC-DC 컨버터들의 쌍에 의해 생성된 +6.5V 내지 -6.5V 전력 공급을 가질 수 있다.
도 3a 에 예시된 바와 같이, 서포트 구조 (300) (예를 들어, 네스트) 는 열 제어 서브시스템 (306) 을 더 포함할 수 있다. 열 제어 서브시스템 (306) 은 t서포트 구조 (300) 에 의해 홀딩된 미세유체 디바이스 (320) 의 온도를 조절하도록 구성될 수 있다. 예를 들어, 열 제어 서브시스템 (306) 은 펠티어 열전기 디바이스 (미도시) 및 냉각 유닛 (미도시) 을 포함할 수 있다. 펠티어 열전기 디바이스는 미세유체 디바이스 (320) 의 적어도 하나의 표면과 인터페이스하도록 구성된 제 1 표면을 가질 수 있다. 냉각 유닛은, 예를 들어 냉각 블록 (미도시), 예컨대 수냉식 (liquid-cooled) 알루미늄 블록일 수 있다. 펠티어 열전기 디바이스의 제 2 표면 (예를 들어, 제 1 표면의 반대 표면) 은 이러한 냉각 블록의 표면과 인터페이스하도록 구성될 수 있다. 냉각 블록은 냉각 블록을 통해 냉각된 유체를 순환시키도록 구성된 유체 경로 (314) 에 접속될 수 있다. 도 3a 에 예시된 실시형태에서, 서포트 구조 (300) 는 인렛 (316) 및 아웃렛 (318) 를 포함하여, 외부 저장소 (미도시) 로부터 냉각된 유체를 수신하고, 냉각된 유체를 유체 경로 (314) 안으로 그리고 냉각 블록을 통해 도입하며, 그 후 냉각된 유체를 외부 저장소로 리턴한다. 일부 실시형태들에서, 펠티어 열전기 디바이스, 냉각 유닛, 및/또는 유체 경로 (314) 는 서포트 구조 (300) 의 케이싱 (312) 상에 장착될 수 있다. 일부 실시형태들에서, 열 제어 서브시스템 (306) 은 미세유체 디바이스 (320) 에 대한 목표 온도를 달성하도록 펠티어 열전기 디바이스의 온도를 조절하도록 구성된다. 펠티어 열전기 디바이스의 온도 조절은, 예를 들어 Pololu™ 열전기 전력 공급기 (Pololu Robotics and Electronics Corp.) 와 같은 열전기 전력 공급기에 의해 달성될 수 있다. 열 제어 서브시스템 (306) 은 아날로그 회로에 의해 제공된 온도 값과 같은 피드백 회로를 포함할 수 있다. 대안으로, 피드백 회로는 디지털 회로에 의해 제공될 수 있다.
일부 실시형태들에서, 네스트 (300) 는 (예를 들어, 저항 1 kOhm+/-0.1 %, 온도 계수 +/-0.02 ppm/CO 를 갖는) 저항기 및 (예를 들어, 공칭 저항 1 kOhm+/-0.01 % 를 갖는) NTC 서미스터를 포함하는 아날로그 분압기 회로 (미도시) 인 피드백 회로를 갖는 열 제어 서브시스템 (306) 을 포함할 수 있다. 일부 경우들에서, 열 제어 서브시스템 (306) 은 피드백 회로로부터의 전압을 측정하고, 그 후 온-보드 PID 제어 루프 알고리즘에 대한 입력으로서 계산된 온도 값을 사용한다. PID 제어 루프 알고리즘으로부터의 출력은, 예를 들어 Pololu™ 모터 드라이브 (미도시) 상에서 방향성 및 펄스-폭-변조 신호 핀 양자 모두를 구동하여 열전기 전력 공급기를 작동시키고, 이에 의해 펠티어 열전기 디바이스를 제어할 수 있다.
네스트 (300) 는, 제어기 (308) 의 마이크로프로세서가 인터페이스 (310) (미도시) 를 통해 외부 마스터 제어기 (154) 와 통신하는 것을 허용하는 직렬 포트 (324) 를 포함할 수 있다. 또한, 제어기 (308) 의 마이크로프로세서는 전기적 신호 생성 서브시스템 (304) 및 열 제어 서브시스템 (306) 과 (예를 들어, Plink 툴 (미도시) 을 통해) 통신할 수 있다. 따라서, 제어기 (308), 인터페이스 (310), 및 직렬 포트 (324) 의 조합을 통해, 전기적 신호 생성 서브시스템 (304) 및 열 제어 서브시스템 (306) 은 외부 마스터 제어기 (154) 와 통신할 수 있다. 이 방식으로, 마스터 제어기 (154) 는, 다른 것들 중에서, 출력 전압 조정들을 위한 스케일링 계산들을 수행함으로써 전기적 신호 생성 서브시스템 (304) 을 도울 수 있다. 외부 마스터 제어기 (154) 에 커플링된 디스플레이 디바이스 (170) 를 통해 제공된, 그래픽 사용자 인터페이스 (GUI)(미도시) 는 열 제어 서브시스템 (306) 및 전기적 신호 생성 서브시스템 (304) 각각으로부터 획득된 온도 및 파형 데이터를 플롯 (p10t) 하도록 구성될 수 있다. 대안으로, 또는 추가적으로, GUI 는 제어기 (308), 열 제어 서브시스템 (306), 및 전기적 신호 생성 서브시스템 (304) 에 대한 업데이트들을 허용할 수 있다.
위에서 논의된 바와 같이, 시스템 (150) 은 이미징 디바이스 (194) 를 포함할 수 있다. 일부 실시형태들에서, 이미징 디바이스 (194) 는 광 조절 서브시스템 (330) (도 3b 참조) 을 포함한다. 광 조절 서브시스템 (330) 은 디지털 미러 디바이스 (DMD) 또는 마이크로셔터 어레이 시스템 (MSA) 을 포함할 수 있고, 이들 중 어느 하나는 광원 (332) 으로부터 광을 수신하고 수신된 광의 서브세트를 현미경 (350) 의 광학 트레인으로 송신하도록 구성될 수 있다. 대안으로, 광 조절 서브시스템 (330) 은 그 자신의 광을 생성하고 (따라서 광원 (332) 에 대한 필요성을 없애는) 디바이스, 예컨대 유기 발광 다이오드 디스플레이 (OLED), 액정 온 실리콘 (LCOS) 디바이스, 강유전성 액정 온 실리콘 디바이스 (FLCOS), 또는 투과형 액정 디스플레이 (LCD) 를 포함할 수 있다. 광 조절 서브시스템 (330) 은, 예를 들어 프로젝터일 수 있다. 따라서, 광 조절 서브시스템 (330) 은 구조화된 및 구조화되지 않은 광 양자 모두를 방출할 수 있다. 소정의 실시형태들에서, 시스템 (150) 의 이미징 모듈 (164) 및/또는 동기 모듈 (162) 은 광 조절 서브시스템 (330) 을 제어할 수 있다.
소정의 실시형태들에서, 이미징 디바이스 (194) 는 현미경 (350) 을 더 포함한다. 이러한 실시형태들에서, 네스트 (300) 및 광 조절 서브시스템 (330) 은 현미경 (350) 상에 장착되도록 개별적으로 구성될 수 있다. 현미경 (350) 은, 예를 들어 표준 연구-등급 광 현미경 또는 형광 현미경일 수 있다. 따라서, 네스트 (300) 는 현미경 (350) 의 스테이지 (344) 상에 장착되도록 구성될 수도 있고/있거나 광 조절 서브시스템 (330) 은 현미경 (350) 의 부분 상에 장착하도록 구성될 수 있다. 다른 실시형태들에서, 본원에 설명된 네스트 (300) 및 광 조절 서브시스템 (330) 은 현미경 (350) 의 일체형 컴포넌트들일 수 있다.
소정의 실시형태들에서, 현미경 (350) 은 하나 이상의 검출기들 (348) 을 더 포함할 수 있다. 일부 실시형태들에서, 검출기 (348) 는 이미징 모듈 (164) 에 의해 제어된다. 검출기 (348) 는 아이 피스 (eye piece), 전하-결합 디바이스 (CCD), 카메라 (예를 들어, 디지털 카메라), 또는 이들의 임의의 조합을 포함할 수 있다. 적어도 2 개의 검출기들 (348) 이 존재하면, 하나의 검출기는 예를 들어, 고속-프레임율 (fast-frame-rate) 카메라일 수 있는 한편, 다른 검출기는 고 감도 카메라일 수 있다. 또한, 현미경 (350) 은 미세유체 디바이스 (360) 로부터 반사 및/또는 방출된 광을 수신하고, 반사 및/또는 방출된 광의 적어도 일부분을 하나 이상의 검출기들 (348) 상에 포커싱하도록 구성된 광학 트레인을 포함할 수 있다. 현미경의 광학 트레인은 또한, 각각의 검출기 상의 최종 배율이 상이할 수 있도록, 상이한 검출기들에 대한 상이한 튜브 렌즈들 (미도시) 을 포함할 수 있다.
소정의 실시형태들에서, 이미징 디바이스 (194) 는 적어도 2 개의 광원들을 사용하도록 구성된다. 예를 들어, 제 1 광원 (332) 은 (예를 들어, 광 조절 서브시스템 (330) 을 통해) 구조화된 광을 생성하는데 사용될 수 있고, 제 2 광원 (334) 은 구조화되지 않은 광을 제공하는데 사용될 수 있다. 제 1 광원 (332) 은 광학적으로-작동된 동전기 및/또는 형광성 여기를 위한 구조화된 광을 생성할 수 있고, 제 2 광원 (334) 은 밝은 필드 조명을 제공하는데 사용될 수 있다. 이들 실시형태들에서, 동기 모듈 (164) 은 제 1 광원 (332) 을 제어하는데 사용될 수 있고 이미징 모듈 (164) 은 제 2 광원 (334) 을 제어하는데 사용될 수 있다. 현미경 (350) 의 광학 트레인은, (1) 광 조절 서브시스템 (330) 으로부터 구조화된 광을 수신하고, 디바이스가 네스트 (300) 에 의해 홀딩되고 있는 경우, 광학적으로-작동된 동전기 디바이스와 같은 미세유체 디바이스의 적어도 제 1 영역 상에 구조화된 광을 포커싱하며, (2) 미세유체 디바이스로부터 반사 및/또는 방출된 광을 수신하고 이러한 반사 및/또는 방출된 광의 적어도 일부를 검출기 (348) 상으로 포커싱하도록 구성될 수 있다. 광학 트레인은 또한, 제 2 광원으로부터 구조화되지 않은 광을 수신하고, 디바이스가 네스트 (300) 에 의해 홀딩되는 경우 미세유체 디바이스의 적어도 제 2 영역 상에 구조화되지 않은 광을 포커싱하도록 구성될 수 있다. 소정의 실시형태들에서, 미세유체 디바이스의 제 1 및 제 2 영역들은 오버랩하는 영역들일 수 있다. 예를 들어, 제 1 영역은 제 2 영역의 서브세트일 수 있다. 다른 실시형태들에서, 제 2 광원 (334) 은 추가적으로 또는 대안적으로 광의 임의의 적합한 파장을 가질 수도 있는 레이저를 포함할 수도 있다. 도 3b 에 도시된 광학 시스템의 표현은 단지 개략적인 표현이고, 광학 시스템은 추가적인 필터들, 노치 필터들, 렌즈들 등을 포함할 수도 있다. 제 2 광원 (334) 이 레이저 조명 뿐아니라 명시야 및/또는 형광 여기에 대한 하나 이상의 광원(들) 을 포함하는 경우, 광원(들) 의 물리적 배열은 도 3b 에 도시된 것으로부터 변할 수도 있고, 레이저 조명은 광학 시스템 내의 임의의 적절한 물리적 위치에서 도입될 수도 있다. 광원 (334) 및 광원 (332)/광 조절 서브시스템 (330) 의 개략적인 위치들은 마찬가지로 교환될 수도 있다.
도 3b 에서, 제 1 광원 (332) 은, 시스템 (355) (미도시) 의 현미경 (350) 의 광학 트레인에 구조화된 광을 제공하는, 광 조절 서브시스템 (330) 에 광을 공급하는 것으로 도시된다. 제 2 광원 (334) 은 빔 스플리터 (336) 를 통해 광학 트레인에 구조화되지 않은 광을 제공하는 것으로 도시된다. 광 조절 서브시스템 (330) 으로부터의 구조화된 광 및 제 2 광원 (334) 으로부터의 구조화되지 않은 광은 빔 스플리터 (336) 로부터 광학 트레인을 통해 함께 이동하여 제 2 빔 스플리터 (또는 광 조절 서브시스템 (330) 에 의해 제공된 광에 따라, 이색성 필터 (338)) 에 도달하고, 여기서 광은 대물렌즈 (336) 를 아래로 통과하여 샘플 평면 (342) 으로 반사된다. 샘플 평면 (342) 으로부터 반사된 및/또는 방출된 광은 그 후, 대물렌즈 (340) 를 통해, 빔 스플리터 및/또는 이색성 필터 (338) 를 통해, 이색성 필터 (346) 로 다시 이동한다. 이색성 필터 (346) 에 도달하는 광의 일부분만이 통과하여 검출기 (348) 에 도달한다.
일부 실시형태들에서, 제 2 광원 (334) 은 청색 광을 방출한다. 적합한 이색성 필터 (346) 로, 샘플 평면 (342) 으로부터 반사된 청색 광은 이색성 필터 (346) 를 통과하고 검출기 (348) 에 도달할 수 있다. 반대로, 광 조절 서브시스템 (330) 에서 들어오는 구조화된 광은 샘플 평면 (342) 으로부터 반사되지만, 이색성 필터 (346) 를 통과하지는 않는다. 이 예에서, 이색성 필터 (346) 는 495 nm 보다 긴 파장을 갖는 가시 광을 필터링한다. 광 조절 서브시스템 (330) 으로부터 이러한 광의 필터링은 단지, 광 조절 서브시스템으로부터 방출된 광이 495 nm 보다 짧은 임의의 파장들을 포함하지 않는 경우 (도시된 바와 같이) 완료될 것이다. 실제로, 광 조절 서브시스템 (330) 에서 들어오는 광이 495 nm 보다 짧은 파장들 (예를 들어, 청색 파장들) 을 포함하면, 광 조절 서브시스템으로부터의 광의 일부는 필터 (346) 를 통과하여 검출기 (348) 에 도달할 것이다. 이러한 실시형태에서, 필터 (346) 는 제 1 광원 (332) 및 제 2 광원 (334) 으로부터 검출기 (348) 에 도달하는 광의 양 간의 균형을 변경하도록 작용한다. 이것은, 제 1 광원 (332) 이 제 2 광원 (334) 보다 상당히 강한 경우 유리할 수 있다. 다른 실시형태들에서, 제 2 광원 (334) 은 적색 광을 방출할 수 있고, 이색성 필터 (346) 는 적색 광 외의 가시 광 (예를 들어, 650 nm 보다 짧은 파장을 갖는 가시 광) 을 필터링할 수 있다.
코팅 용액들 및 코팅제들
이론에 의해 제한되도록 의도하지 않고, 미세유체 디바이스 (예를 들어, DEP-구성된 및/또는 EW-구성된 미세유체 디바이스) 내의 생물학적 마이크로-객체 (예를 들어, 생물학적 세포) 의 유지보수는 미세유체 디바이스의 적어도 하나 이상의 내부 표면들이 미세유체 디바이스와 그 안에 유지된 생물학적 마이크로-객체(들) 사이의 일차적 계면을 제공하는 유기 및/또는 친수성 분자들의 층을 제공하기 위해 컨디셔닝 또는 코팅되었을 때 용이하게 될 수도 있다 (즉, 생물학적 마이크로-객체는 증가된 생존 능력, 더 큰 증식 및/또는 더 큰 운반가능성을 나타낸다). 일부 실시형태들에서, 미세유체 디바이스의 내부 표면들 중 하나 이상 (예를 들어, DEP-구성된 미세유체 디바이스의 전극 활성화 기판의 내부 표면, 미세유체 디바이스의 커버, 및/또는 회로재료의 표면들) 은 원하는 유기 및/또는 친수성 분자들의 층을 생성하기 위해 코팅 용액 및/또는 코팅제에 의해 처리 및 변경될 수도 있다.
코팅은 생물학적 마이크로-객체(들) 의 도입 전 또는 후에 적용될 수도 있고나, 생물학적 마이크로-객체(들) 과 동시에 도입될 수도 있다. 일부 실시형태들에서, 생물학적 마이크로-객체(들) 은 하나 이상의 코팅제들을 포함하는 유체 매질에서 미세유체 디바이스 내로 임포트될 수도 있다. 다른 실시형태들에서, 미세유체 디바이스 (예를 들어, DEP-구성된 미세유체 디바이스) 의 내부 표면(들) 은 미세유체 디바이스 내로의 생물학적 마이크로-객체(들)의 도입 전에 코팅제를 포함하는 코팅 용액으로 처리 또는 "준비"된다.
일부 실시형태들에서, 미세유체 디바이스의 적어도 하나의 표면은 생물학적 마이크로-객체(들)의 유지보수 및/또는 증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하는 코팅 재료를 포함한다. 일부 실시형태들에서, 미세유체 디바이스의 실질적으로 모든 내부 표면들은 그 코팅 재료를 포함한다. 코팅된 내부 표면(들) 은 흐름 영역 (예를 들어, 채널), 챔버, 또는 격리 펜, 또는 이들의 조합의 표면을 포함할 수도 있다. 일부 실시형태들에서, 복수의 격리 펜들 각각은 코팅 재료들로 코팅된 적어도 하나의 내부 표면을 갖는다. 다른 실시형태들에서, 복수의 흐름 영역들 또는 채널들 각각은 코팅 재료들로 코팅된 적어도 하나의 내부 표면을 갖는다. 일부 실시형태들에서, 복수의 격리 펜들 각각 및 복수의 채널들 각각의 적어도 하나의 내부 표면은 코팅 재료들로 코팅된다.
코팅제/코팅 용액
혈청 또는 혈청 팩터들, 소 혈청 알부민 (BSA), 폴리머들, 계면활성제들, 효소들, 및 이들의 임의의 조합을 포함하지만 이들에 제한되지 않는 임의의 편리한 코팅제/코팅 용액이 사용될 수 있다.
폴리머
-기반 코팅 재료들
적어도 하나의 내부 표면은 폴리머를 포함하는 코팅 재료를 포함할 수도 있다. 폴리머는 공유 결합으로 또는 비-공유 결합으로 적어도 하나의 표면에 결합될 수도 있다 (또는 비특정적으로 부착될 수도 있다). 폴리머는 예를 들어 블록 폴리머들 (및 코폴리머들); 스타 폴리머들 (스타 코폴리머들); 및 그래프트 또는 콤 (graft or comb) 폴리머들 (그래프트 코폴리머들) 에서 발견되는 다양한 구조적 모티프들을 가질 수도 있고, 이들 모두는 본원에서 개시된 방법들에 적합할 수도 있다.
폴리머는 알킬렌 에테르 모이어티들을 포함하는 폴리머를 포함할 수도 있다. 광범위한 알킬렌 에테르 함유 폴리머들은 본원에 설명된 미세유체 디바이스에서 사용하기에 적합할 수도 있다. 알킬렌 에테르 함유 폴리머들의 하나의 비-제한의 예시적인 군은 폴리머 체인 내의 로케이션들에 그리고 상이한 비율들로 폴리프로필렌 산화물 (PPO) 서브유닛들 및 폴리에틸렌 산화물 (PEO) 의 블록들을 포함하는 양친매성의 비이온성 블록 코폴리머들이다. Pluronic® 폴리머들 (BASF) 이 이 유형의 블록 코폴리머들이고 살아 있는 세포들과 접촉할 때 사용하기에 적합한 것으로 당해 분야에 알려져 있다. 폴리머들은 약 2000 Da 내지 약 20 KDa 의 평균 분자 질량 (MW) 의 범위에 있을 수도 있다. 일부 실시형태들에서, PEO-PPO 블록 코폴리머는 약 10 보다 큰 (예를 들어, 12-18) 친수성-친유성 평형 (hydrophilic-lipophilic balance; HLB) 을 가질 수 있다. 코팅된 표면을 생산하기 위해 유용한 특정의 Pluronic® 폴리머들은 Pluronic® L44, L64, P85, 및 (F127NF 을 포함하는) F127 을 포함한다. 알킬렌 에테르 함유 폴리머들의 다른 군은 폴리에틸렌 글리콜 (PEG MW<100,000 Da) 또는 대안으로 폴리에틸렌 산화물 (PEO, MW>100,000) 이다. 일부 실시형태들에서, PEG 는 약 1000 Da, 5000 Da, 10,000 Da 또는 20,000 Da 의 MW 를 가질 수도 있다.
다른 실시형태들에서, 코팅 재료는 카르복실산 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 카르복실산 서브유닛은 알킬, 알케닐 또는 방향족 모이어티 함유 서브유닛일 수도 있다. 하나의 비-제한 예는 폴리유산 (PLA) 이다. 다른 실시형태들에서, 코팅 재료는 폴리머 백본의 종점 또는 폴리머의 백본으로부터의 펜던트에서 포스페이트 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 또 다른 실시형태들에서, 코팅 재료는 술폰산 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 술폰산 서브유닛은 알킬, 알케닐 또는 방향족 모이어티 함유 서브유닛일 수도 있다. 하나의 비-제한 예는 폴리스티렌 술폰산 (PSSA) 또는 폴리아네톨 술폰산이다. 추가의 실시형태들에서, 코팅 재료는 아민 모이어티들을 포함하는 폴리머를 포함할 수도 있다. 폴리아미노 폴리머는 천연 폴리아민 폴리머 또는 합성 폴리아민 폴리머를 포함할 수도 있다. 천연 폴리아민들의 예들은 스페르민, 스페르미딘, 및 푸트레신을 포함한다. 다른 실시형태들에서, 코팅 재료는 당류 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 비-제한의 예에서, 크탄산 검 또는 덱스트란과 같은 폴리당류들은 미세유체 디바이스에서 부착하는 세포를 감소시키거나 방지할 수도 있는 재료를 형성하기에 적합할 수도 있다. 예를 들어, 약 3 kDa 의 사이즈를 갖는 덱스트란 폴리머는 미세유체 디바이스 내에서 표면에 대한 코팅 재료를 제공하는데 사용될 수도 있다.
다른 실시형태들에서, 코팅 재료는 리보뉴클레오티드 모이어티들 또는 디옥시리보뉴클레오티드 모이어티들을 가질 수도 있는, 뉴클레오티드 모이어티들, 즉 핵산을 함유하는 폴리머를 포함하여, 고분자전해질 표면을 제공할 수도 있다. 핵산은 단지 천연 뉴클레오티드 모이어티들 만을 함유할 수도 있고, 또는 핵염기, 리보오스 또는 포스포네이트 모이어티 유사체들, 예컨대 7-데이자아데닌, 펜토오스, 메틸 포스포네이트 또는 포스포로티오에이트 모이어티들을 제한 없이 포함할 수도 있는 비-천연 뉴클레오티드 모이어티들을 함유할 수도 있다.
또 다른 실시형태들에서, 코팅 재료는 아미노산 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 아미노산 모이어티들을 함유하는 폴리머는 천연 아미노산 함유 폴리머 또는 비천연 아미노산 함유 폴리머를 포함할 수도 있고, 이들 중 어느 하나는 펩티드, 폴리펩티드 또는 단백질을 포함할 수도 있다. 하나의 비-제한의 예에서, 단백질은 소혈청알부민 (BSA) 및/또는 알부민 및/또는 코팅제로서의 하나 이상의 다른 유사한 단백질들을 포함하는 혈청 (또는 다수의 상이한 혈청들의 조합) 일 수도 있다. 혈청은 소 태아 혈청, 양 혈청, 염소 혈청, 말 혈청 등을 포함하지만 이들에 제한되지 않는 임의의 편리한 소스로부터일 수 있다. 소정의 실시형태들에서, 코팅 용액 내의 BSA 는 5 mg/mL, 10 mg/mL, 20 mg/mL, 30 mg/mL, 40 mg/mL, 50 mg/mL, 60 mg/mL, 70 mg/mL,, 80 mg/mL, 90 mg/mL 또는 그 이상을 포함하는 약 1 mg/mL 내지 약 100 mg/mL, 또는 이들 사이의 임의의 값의 농도로 존재한다. 소정의 실시형태들에서, 코팅 용액 중의 혈청은 25%, 30%, 35%, 40%, 45% 또는 그이상을 포함하는 약 20% (v/v) 내지 약 50% v/v 의 농도로 존재할 수도 있다. 일부 실시형태들에서, BSA 는 5 mg/mL 에서 코팅 용액에서 코팅제로서 존재할 수도 있는 반면, 다른 실시형태들에서, BSA 는 70 mg/mL 에서 코팅 용액에서 코팅제로서 존재할 수도 있다. 소정의 실시형태들에서, 혈청은 30% 에서 코팅 용액에서 코팅제로서 존재한다. 일부 실시형태들에서, 세포외 매트릭스 (ECM) 단백질은 세포 성장을 촉진하도록 최적화된 세포 부착을 위해 코팅 재료 내에 제공될 수도 있다. 코팅 재료 내에 포함될 수도 있는 세포 매트릭스 단백질은 콜라겐, 엘라스틴, RGD-함유 펩티드 (예를 들어, 파이브로넥틴), 또는 라미닌을 포함할 수 있지만, 이에 제한되지는 않는다. 또 다른 실시형태들에서, 성장 인자들, 시토카인들, 호르몬들 또는 다른 세포 시그널링 종들이 미세유체 디바이스의 코팅 재료 내에 제공될 수도 있다.
일부 실시형태들에서, 코팅 재료는 알킬렌 산화물 모이어티들, 카르복실산 모이어티들, 술폰산 모이어티들, 포스포네이트 모이어티들, 당류 모이어티들, 뉴클레오티드 모이어티들, 또는 아미노산 모이어티들 중 하나 이상을 함유하는 폴리머를 포함할 수도 있다. 다른 실시형태들에서, 폴리머 컨디셔닝된 표면은, 코팅 재료에 독립적으로 또는 동시에 통합될 수도 있는, 각각 알킬렌 산화물 모이어티들, 카르복실산 모이어티들, 술폰산 모이어티들, 포스포네이트 모이어티들, 당류 모이어티들, 뉴클레오티드 모이어티들, 및/또는 아미노산 모이어티들을 갖는 1 보다 많은 폴리머의 혼합물을 포함할 수도 있다.
공유 결합으로 연결된 코팅 재료들. 일부 실시형태들에서, 적어도 하나의 내부 표면은 미세유체 디바이스 내에서 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하는 공유 결합으로 연결된 분자들을 포함하여, 그러한 세포들에 대한 컨디셔닝된 표면을 제공한다.
공유 결합으로 연결된 분자들은 연결기를 포함하고, 여기서 연결기는 이하에 기술되는 바와 같이 미세유체 디바이스의 하나 이상의 표면들에 공유 결합으로 연결된다. 연결기는 또한, 생물학적 마이크로-객체(들) 의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 공유결합으로 연결된다.
일부 실시형태들에서, 생물학적 마이크로-객체(들) 의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 공유결합으로 연결된 모이어티는 알킬 또는 플루오로알킬 (퍼플루오로알킬을 포함함) 모이어티들; 모노- 또는 폴리당류들 (덱스트란을 포함할 수도 있지만 이에 제한되지 않음); (프로파르길 알콜을 포함하지만 이에 제한되지 않는) 알콜들; 폴리비닐 알콜을 포함하지만 이에 제한되지 않는 폴리알콜들; 폴리에틸렌 글리콜을 포함하지만 이에 제한되지 않는, 알킬렌 에테르들; (폴리아크릴산 또는 폴리비닐 포스폰산을 포함하지만 이에 제한되지 않는) 고분자전해질들; 아미노 기들 (그 유도체들, 예컨대 비 제한적으로 알킬레이트 아민들, 히드록시알킬레이트 아미노 기, 구아니디늄, 및 비 제한적이지만 모르폴린일 또는 피페라지닐과 같은 비방향족 질소 링 원자를 함유하는 헤테로사이클릭 기들을 포함); 카르복실레이트 음이온 표면을 제공할 수도 있는) 프로피올산을 포함하지만 이에 제한되지는 않는 카르복실산들; (포스포네이트 음이온 표면을 제공할 수도 있는) 에틸기 포스폰산을 포함하지만 이에 제한되지는 않는 포스폰산들; 설포네이트 음이온들; 카르복시베타인들; 술포베타인들; 술팜산들; 또는 아미노산들을 포함할 수도 있다.
여러 실시형태들에서, 미세유체 디바이스 내의 생물학적 마이크로-객체(들) 의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 공유결합으로 연결된 모이어티는 비-폴리머 모이어티들, 예컨대 알킬 모이어티, 치환된 알킬 모이어티, 예컨데 (퍼플루오로알킬 모이어티를 포함하지만 이에 제한되지 않는) 플루오로알킬 모이어티, 아미노산 모이어티, 알콜 모이어티, 아미노 모이어티, 카르복실산 모이어티, 포스폰산 모이어티, 술폰산 모이어티, 술팜산 모이어티, 또는 당류 모이어티를 포함할 수도 있다. 대안적으로, 공유결합으로 연결된 모이어티는 상술된 모이어티들 중 임의의 것일 수도 있는 폴리머 모이어티들을 포함할 수도 있다.
일부 실시형태들에서, 공유 결합으로 연결된 알킬 모이어티는 선형 체인 (예를 들어, 적어도 10 개의 탄소들, 또는 적어도 14, 16, 18, 20, 22, 또는 그 이상의 탄소들의 선형 체인) 을 형성하는 탄소 원자들을 포함할 수도 있고, 비-분기형 알킬 모이어티일 수도 있다. 일부 실시형태들에서, 알킬 기는 치환된 알킬 기를 포함할 수도 있다 (예를 들어, 알킬 기에서 탄소들 중 일부는 플루오르화 또는 퍼플루오르화될 수 있다). 일부 실시형태들에서, 알킬 기는, 비-치환된 알킬 기를 포함할 수도 있는 제 2 세그먼트에 접합된, 퍼플루오로알킬 기를 포함할 수도 있는 제 1 세그먼트를 포함할 수도 있으며, 여기서 제 1 및 제 2 세그먼트들은 (예를 들어, 에테르 결합에 의해) 직접적으로 또는 간접적으로 접합될 수도 있다. 알킬 기의 제 1 세그먼트는 연결기에서 멀리 위치될 수도 있고, 알킬 기의 제 2 세그먼트는 연결기에 근접하여 위치될 수도 있다.
다른 실시형태들에서, 공유 결합으로 연결된 모이어티는 1 보다 많은 타입의 아미노산을 포함할 수도 있는, 적어도 하나의 아미노산을 포함할 수도 있다. 따라서, 공유 결합으로 연결된 모이어티는 펩티드 또는 단백질을 포함할 수도 있다. 일부 실시형태들에서, 공유 결합으로 연결된 모이어티는 세포 성장, 생존성, 이동성, 또는 이들의 임의의 조합을 지원하기 위해 쌍성이온 표면을 제공할 수도 있는 아미노산을 포함할 수도 있다.
다른 실시형태들에서, 공유결합으로 연결된 모이어티는 적어도 하나의 알킬렌 옥사이드 모이어티를 포함할 수도 있고, 상술된 바와 같은 임의의 알킬렌 옥사이드 폴리머를 포함할 수도 있다. 폴리머들을 포함하는 알킬렌 에테르의 하나의 유용한 클래스는 폴리에틸렌 글리콜 (PEG MW < 100,000Da) 또는 대안적으로 폴리에틸렌 옥사이드 (PEO, MW > 100,000) 이다. 일부 실시형태들에서, PEG 는 약 1000Da, 5000Da, 10,000Da 또는 20,000Da 의 MW 를 가질 수도 있다.
공유 결합으로 연결된 모이어티는 하나 이상의 당류들을 포함할 수도 있다. 공유 결합으로 연결된 당류들은 모노-, 디-, 또는 폴리당류들일 수도 있다. 공유 결합으로 연결된 당류들은 표면에 부착하기 위한 커플링 또는 동화 (elaboration) 를 허용하는 반응성 페어링 모이어티를 도입하도록 변경될 수도 있다. 예시적인 반응성 페어링 모이어티들은 알데히드, 알킨 또는 할로 모이어티들을 포함할 수도 있다. 폴리당류는 랜덤 방식으로 변경될 수도 있고, 여기서 당류 모노머들 각각이 변경될 수도 있거나 또는 단지 폴리당류 내의 당류 모노머들의 일부분만이 변경되어 표면에 직접적으로 또는 간접적으로 커플링될 수도 있는 반응성 페어링 모이어티를 제공할 수도 있다. 하나의 표본은 비분기형 연결자를 통해 표면에 간접적으로 커플링될 수도 있는 덱스트란 폴리당류를 포함할 수도 있다.
공유 결합으로 연결된 모이어티는 하나 이상의 아미노 기들을 포함할 수도 있다. 아미노 기는 치환된 아민 모이어티, 구아니딘 모이어티, 질소-함유 헤테로사이클릭 모이어티 또는 헤테로아릴 모이어티일 수도 있다. 아미노 함유 모이어티들은 미세유체 디바이스 내, 및 선택적으로는 격리 펜 및/또는 흐름 영역들 (예를 들어, 채널들) 내의 환경의 pH 변경을 허용하는 구조들을 가질 수도 있다.
컨디셔닝된 표면을 제공하는 코팅 재료는 단지 한 종류의 공유 결합으로 연결된 모이어티만을 포함할 수도 있거나 1 보다 많은 상이한 종류의 공유결합으로 연결된 모이어티를 포함할 수도 있다. 예를 들어, (퍼플루오로알킬을 포함하는) 플루오로알킬 컨디셔닝된 표면들은 모두 동일한, 예를 들어 표면에 대한 동일한 연결기 및 공유결합 부착, 동일한 전체 길이, 및 플루오로알킬 모이어티를 포함하는 동일한 수의 플루오로메틸렌 유닛들을 갖는 복수의 공유 결합으로 연결된 모이어티들을 가질 수도 있다. 대안으로, 코팅 재료는 표면에 부착된 1 보다 많은 종류의 공유결합으로 연결된 모이어티를 가질 수도 있다. 예를 들어, 코팅 재료는 특정된 수의 메틸렌 또는 플루오로메틸렌 유닛들을 갖는 공유결합으로 연결된 알킬 또는 플루오로알킬 모이어티들을 갖는 분자들을 포함할 수도 있고, 더 많은 수의 메틸렌 또는 플루오로메틸렌 유닛들을 갖는 알킬 또는 플루오로알킬 체인에 공유결합으로 부착된 하전된 모이어티들을 갖는 분자들의 추가 세트를 더 포함할 수도 있으며, 이것은 코팅된 표면에서 체적이 큰 모이어티들을 제공하는 성능을 제공할 수도 있다. 이러한 예에서, 상이한, 더 적은 입체적 요구 말단을 가지면서 더 적은 백본 원자들을 갖는 분자들의 제 1 세트가 전체 기판 표면을 기능화하는 것을 도울 수 있어서, 기판 자체를 구성하는 실리콘/실리콘 옥사이드, 하프늄 옥사이드 또는 알루미나와의 원하지 않는 접착 또는 접촉을 방지할 수 있다. 다른 예에서, 공유결합으로 연결된 모이어티들은 표면 상에서 랜덤 방식으로 교번하는 전하들을 제공하는 쌍성이온 표면을 제공할 수도 있다.
컨디셔닝된
표면 특성들.
컨디셔닝된 표면의 조성 (composition) 외에, 다른 인자들, 예컨대 소수성 재료의 물리적 두께가 DEP 힘에 영향을 줄 수 있다. 컨디셔닝된 표면이 기판 위에 형성되는 방식 (예를 들어, 기상 증착, 액체 상 증착, 스핀 코팅, 플러딩 (f10oding), 및 정전 코팅) 과 같은, 다양한 인자들이 컨디셔닝된 표면의 물리적 두께를 바꿀 수 있다. 일부 실시형태들에서, 컨디셔닝된 표면은 약 1 nm 내지 약 10 nm; 약 1 nm 내지 약 7 nm; 약 1 nm 내지 약 5 nm; 또는 이들 사이의 임의의 개개의 값의 두께를 갖는다. 다른 실시형태들에서, 공유결합으로 연결된 모이어티들에 의해 형성된 컨디셔닝된 표면은 약 10 nm 내지 약 50 nm 의 두께를 가질 수도 있다. 여러 실시형태들에서, 여기에 기술된 바와 같이 준비된 컨디셔닝된 표면은 10 nm 미만의 두께를 갖는다. 일부 실시형태들에서, 컨디셔닝된 표면의 공유결합으로 연결된 모이어티들은 미세유체 디바이스의 표면 (예를 들어, DEP 구성된 기판 표면) 에 공유결합으로 연결될 때 모노레이어를 형성할 수도 있고 10 nm 미만 (예를 들어, 5 nm 미만, 약 1.5 내지 3.0 nm) 의 두께를 가질 수도 있다. 이들 값들은 예를 들어 통상적으로 약 30 nm 의 두께를 가질 수도 있는, 스핀 코팅에 의해 준비된 표면의 그것과 대조적이다. 일부 실시형태들에서, 컨디셔닝된 표면은 완벽하게 형성된 모노레이어가 DEP 구성된 미세유체 디바이스 내에의 동작을 위해 절적하게 기능하도록 요구하지 않는다.
여러 실시형태들에서, 미세유체 디바이스의 컨디셔닝된 표면을 제공하는 코팅 재료는 바람직한 전기적 특성들을 제공할 수도 있다. 이론에 의해 제한되도록 의도하지 않고, 특정의 코팅 재료로 코팅된 표면의 강건성에 영향을 주는 하나의 팩터는 고유한 전하 트래핑이다. 상이한 코팅 재료들은 전자들을 트래핑할 수도 있으며, 이것은 코팅 재료의 파괴를 야기할 수 있다. 코팅 재료에 있어서의 결함들은 전하 트래핑을 증가시키고 코팅 재료의 추가의 파괴를 야기할 수도 있다. 유사하게, 상이한 코팅 재료들은 상이한 절연 강도들 (즉, 절연 파괴를 야기하는 최소 인가 전기장) 을 가지며, 이는 전하 트래핑에 영향을 줄 수도 있다. 소정의 실시형태들에서, 코팅 재료는 그러한 전하 트래핑의 양을 감소시키거나 제한하는 전체 구조 (예를 들어, 밀집된 모노레이어 구조) 를 가질 수 있다.
그 전기적 특성들에 추가하여, 컨디셔닝된 표면은 또한, 생물학적 분자들과의 사용에서 유리한 특성들을 가질 수도 있다. 예를 들어, 플루오르화 (또는 퍼플루오르화) 탄소 체인들을 함유하는 컨디셔닝된 표면은 표면 오염의 양을 감소시키는데 있어서 알킬-종단 체인들에 비해 이익을 제공할 수도 있다. 본원에서 사용된 바와 같이 표면 오염은, 단백질 및 그 분해 산물들, 핵산들 및 각각의 분해 산물들 등과 같은 생체재료의 영구적인 또는 반-영구적인 디포지션을 포함할 수도 있는, 미세유체 디바이스의 표면 상의 무분별한 재료 디포지션의 양을 지칭한다.
단일의 또는 멀티-부분 컨디셔닝된 표면. 공유 결합으로 연결된 코팅 재료는, 이하에서 설명되는 바와 같이, 미세유체 디바이스에서 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티를 이미 포함하는 분자의 반응에 의해 형성될 수도 있다. 대안으로, 공유 결합으로 연결된 코팅 재료는 그 자신이 표면에 공유 결합으로 연결된 표면 개질 리간드에 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티를 커플링함으로써 2-부분 시퀀스로 형성될 수도 있다.
공유결합으로 연결된 코팅 재료를 준비하는 방법들. 일부 실시형태들에서, (예를 들어, 격리 펜들 및/또는 흐름 영역들의 적어도 하나의 표면을 포함하는) 미세유체 디바이스의 표면에 공유결합으로 연결되는 코팅 재료는 화학식 1 또는 화학식 2 의 구조를 갖는다. 코팅 재료가 하나의 단계에서 표면에 도입되는 경우, 그것은 화학식 1 의 구조를 갖는 반면, 코팅 재료가 다수 단계 프로세스에서 도입되는 경우, 그것은 화학식 2 의 구조를 갖는다.
코팅된 재료는 DEP-구성된 또는 EW-구성된 기판의 표면의 산화물들에 공유 결합으로 연결될 수도 있다. DEP-구성된 또는 EW-구성된 기판은 실리콘, 실리콘 산화물, 알루미나, 또는 하프늄 산화물을 포함할 수도 있다. 산화물들은 기판의 천연 화학 구조의 부분으로서 존재할 수도 있거나 또는 이하에서 논의되는 바와 같이 도입될 수도 있다.
코팅 재료는 그 산화물들과 실록산 또는 포스포닉산 기의 반응으로부터 형성된 실록시 또는 포스포네이트 에스테르기일 수도 있는 연결기 ("LG") 를 통해 산화물들에 부착될 수도 있다. 미세유체 디바이스에서 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티는 여기에 기술된 모이어티들 중 임의의 것일 수 있다. 연결기 LG 는 미세유체 디바이스에서 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 직접 또는 간접으로 연결될 수도 있다. 연결기 (LG) 가 모이어티에 직접적으로 접속되는 경우, 선택적 연결자 ("L") 는 존재하지 않고 n 은 0 이다. 연결기 (LG) 가 모이어티에 간접적으로 접속되는 경우, 연결자 (L) 는 존재하고 n 은 1 이다. 연결자 (L) 는 선형 부분을 가질 수도 있고, 여기서 선형 부분의 백본은, 당해 분야에 알려진 바와 같은 화학적 본딩 제한들이 있는, 규소, 탄소, 질소, 산소, 황 및/또는 인 원자들의 임의의 조합으로부터 선택된 1 내지 200 개의 비-수소 원자들을 포함할 수도 있다. 이것은 에테르, 아미노, 카르보닐, 아미도, 및/또는 포스포네이트 기들, 아릴렌, 헤테로아릴렌, 또는 헤테로사이클릭 기들로부터 선택될 수도 있는 하나 이상의 모이어티들의 임의의 조합으로 인터럽트될 수도 있다. 일부 실시형태들에서, 연결자 (L) 의 백본은 10 내지 20 개의 원자들을 포함할 수도 있다. 다른 실시형태들에서, 연결자 (L) 의 백본은 약 5 개의 원자들 내지 약 200 개의 원자들; 약 10 개의 원자들 내지 약 80 개의 원자들; 약 10 개의 원자들 내지 약 50 개의 원자들; 또는 약 10 개의 원자들 내지 약 40 개의 원자들을 포함할 수도 있다. 일부 실시형태들에서, 백본 원자들은 모두 탄소 원자들이다.
일부 실시형태들에서, 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티는 다중-단계 프로세스에서 기판의 표면에 추가될 수도 있고, 위에서 도시된 바와 같이 화학식 2 의 구조를 갖는다. 모이어티는 상술된 모이어티들 중의 임의의 것일 수도 있다.
일부 실시형태들에서, 커플링 기 (CG) 는 반응성 모이어티 (Rx) 및 반응성 페어링 모이어티 (Rpx) (즉, 반응성 모이어티 (Rx) 와 반응하도록 구성된 모이어티) 의 반응으로부터의 결과의 기를 나타낸다. 예를 들어, 하나의 통상적인 커플링 기 (CG) 는 활성화된 에스테르, 산 염화물 등과 같은 카르복실산의 유도체와 아미노 기의 반응의 결과인, 카르복사미딜 (carboxamidyl) 기를 포함할 수도 있다. 다른 CG 는 트리아졸일렌 기, 카르복사미딜, 티오아미딜, 옥심, 메르캡틸, 디설파이드, 에테르, 또는 알케닐 기, 또는 그 각각의 반응성 페어링 모이어티와 반응성 모이어티의 반응 시에 형성될 수도 있는 임의의 다른 적합한 기를 포함할 수도 있다. 커플링 기 (CG) 는, 상술된 바와 같은 원소들의 임의의 조합을 포함할 수도 있는, 연결자 (L) 의 제 2 단부 (즉, 미세유체 디바이스에서 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 근위인 단부) 에 위치될 수도 있다. 일부 다른 실시형태들에서, 커플링 기 (CG) 는 연결자 (L) 의 백본을 인터럽트할 수도 있다. 커플링 기 (CG) 가 트리아졸릴렌인 경우, 그것은 클릭 (Click) 커플링 반응으로부터 야기된 산물일 수도 있고 추가로 치환될 수도 있다 (예를 들어, 디벤조실코옥테닐 용융 트리아졸릴렌 기).
일부 실시형태들에서, 코팅 재료 (또는 표면 개질 리간드) 는 화학적 기상 증착을 사용하여 미세유체 디바이스의 내부 표면들상에 증착된다. 기상 증착 프로세스는 예를 들어 용매 배스, 음파처리 또는 이들의 조합에 대한 노출에 의해 커버 (110), 미세유체 회로 재료 (116), 및/또는 기판 (예를 들어, DEP-구성된 기판의 전극 활성화 기판 (206) 의 내부 표면 (208), 또는 EW-구성된 기판의 서포트 구조 (104) 의 절연층) 을 사전 세정함으로써 선택적으로 개선될 수 있다. 대안적으로, 또는 추가적으로, 그러한 사전 세정은 산화된 표면 (예를 들어, 여기에 기술된 바와 같이 공유결합으로 개질될 수도 있는, 표면의 산화물들) 을 동시에 도입하면서, 여러 불순물들을 제거할 수 있는 산소 플라즈마 세정기에서 커버 (110), 미세유체 회로 재료 (116), 및/또는 기판을 처리하는 것을 포함할 수 있다. 대안적으로, 하이드로클로릭 애시드 및 하이드로전 퍼옥사이드의 혼합물 또는 술푸릭 애시드와 하이드로전 퍼옥사이드의 혼합물 (예를 들어, 약 3:1 내지 약 7:1 의 술푸릭 애시드 대 하이드로전 퍼옥사이드의 비를 가질 수도 있는 피라나 용액) 과 같은 액상 처리들이 산소 플라즈마 세정기 대신에 사용될 수도 있다.
일부 실시형태들에서, 기상 증착은 미세유체 회로 (120) 를 정의하는 인클로져 (102) 를 형성하기 위해 미세유체 디바이스 (200) 가 조립된 후 미세유체 디바이스 (200) 의 내부 표면들을 코팅하기 위해 사용된다. 이론에 의해 제한되도록 의도되지 않고, 완전히 조립된 미세유체 회로 (120) 상에 그러한 코팅 재료를 증착하는 것은 미세유체 회로 재료 (116) 와 전극 활성화 기판 (206) 절연층 및/또는 커버 (110) 사이의 약화된 결합에 의해 유발된 박리를 방지하는데 있어서 유익할 수도 있다. 2-단계 프로세스가 채용되는 실시형태들에서, 표면 개질 리간드는 생물학적 마이크로-객체(들)의 유지보수/증식에 적절한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티의 후속적인 도입과 함께 상술된 기상 증착을 통해 도입될 수도 있다. 후속적인 반응은 용액 내의 적절한 커플링 시약에 표면 개질된 미세유체 디바이스를 노출시킴으로써 수행될 수도 있다.
도 2h 는 컨디셔닝된 표면을 제공하는 예시적인 공유결합으로 연결된 코팅 재료를 갖는 미세유체 디바이스 (290) 의 단면도를 도시한다. 도시된 바와 같이, 코팅 재료들 (298) (개략적으로 도시됨) 은 DEP 기판일 수도 있는 베이스 (286) 의 내부 표면 (294), 및 미세유체 디바이스 (290) 의 커버 (288) 의 내부 표면 (292) 양자 모두에 공유결합으로 결합된 밀집하게 패킹된 분자들의 모노레이어를 포함할 수 있다. 코팅 재료 (298) 는 일부 실시형태들에서 그리고 상술된 바와 같이 미세유체 디바이스 (290) 내의 회로 엘리먼트들 및/또는 구조들을 정의하는데 사용되는 미세유체 회로 재료 (미도시) 의 표면들을 포함하는 미세유체 디바이스 (290) 의 인클로저 (284) 에 대해 근위에, 그리고 그것을 향해 내부로 마주하는 실질적으로 모든 내부 표면들 (294, 292) 상에 배치될 수 있다. 대안적인 실시형태들에서, 코팅 재료 (298) 는 미세유체 디바이스 (290) 의 내부 표면들 중 하나에만 또는 몇몇 내부 표면들상에 배치될 수 있다.
도 2h 에 도시된 실시형태들에서, 코팅 재료 (298) 는 실록시 연결기 (296) 을 통해 미세유체 디바이스 (290) 의 내부 표면들 (292, 294) 에 각 분자가 공유결합으로 결합된 오르가노실록산분자들의 모노레이어를 포함할 수 있다. 임의의 상술된 코팅 재료들 (298) 이 사용될 수 있으며 (예를 들어, 알킬-말단, 플루오로알킬-말단 모이어티, PEG-말단 모이어티, 덱스트란 말단 모이어티, 또는 오르가노실록시 모이어티들에 대해 양 또는 음 전하들을 포함하는 말단 모이어티), 여기서 말단 모이어티는 그것의 인클로저-대향 종점 (즉, 내부 표면들 (292, 294) 에 결합되지 않고 인클로저 (284) 에 근위인 코팅 재료 (298) 의 모노레이어의 부분) 에 배치된다.
다른 실시형태들에서, 미세유체 디바이스 (290) 의 내부 표면(들) (292, 294)을 코팅하는데 사용되는 코팅 재료 (298) 는 음이온성, 양이온성, 또는 쌍성 이온성 모이어티들, 또는 이들의 임의의 조합을 포함할 수 있다. 이론에 의해 제한되는 것을 의도하지 않고, 미세유체 회로 (120) 의 인클로저 (284) 의 내부 표면들에서 양이온성 모이어티들, 음이온성 모이어티들, 및/또는 쌍성 이온성 모이어티들을 제공함으로써, 코팅 재료 (298) 는 물 분자들과 강한 수소 결합들을 형성하여, 수화의 결과적인 물이 비생물학적 분자들 (예를 들어, 기판의 실리콘 및/또는 실리콘 옥사이드) 과의 상호작용들로부터 생물학적 마이크로-객체들을 분리하는 층 (또는 "실드") 으로서 작용하도록 할 수 있다. 또, 코팅 재료 (298) 가 코팅제들과 함께 사용되는 실시형태들에서, 코팅 재료 (298) 의 음이온들, 양이온들, 및/또는 쌍성 이온들은 인클로저 (284) 내의 매질 (180) (예를 들어, 코팅 용액) 에 존재하는 비공유 코팅제들 (예를 들어, 용액 내의 단백질들) 의 하전된 부분들과 이온 결합들을 형성할 수 있다.
또 다른 실시형태들에서, 코팅 재료는 그것의 인클로저-대향 종덤들에서 친수성 코팅제를 포함하거나 그것을 제공하기 위해 화학적으로 개질될 수도 있다. 일부 실시형태들에서, 코팅 재료는 PEG 와 같은 알킬렌 에테르 함유 폴리머를 포함할 수도 있다. 일부 실시형태들에서, 코팅 재료는 덱스트란과 같은 폴리당류를 포함할 수도 있다. 상술된 하전된 모이어티들 (예를 들어, 음이온성, 양이온성, 및 쌍성 이온성 모이어티들) 과 같이, 친수성 코팅제는 물 분자들과 강한 수소 결합들을 형성하여, 수화의 결과적인 물이 비생물학적 분자들 (예를 들어, 기판의 실리콘 및/또는 실리콘 옥사이드) 과의 상호작용들로부터 생물학적 마이크로-객체들을 분리하는 층 (또는 "실드") 으로서 작용하도록 할 수 있다.
적절한 코팅 처리들 및 개질들의 추가의 상세는 2016년 4월 22일자로 출원된 미국 출원 번호 15/135,707 에서 발견될 수도 있고, 그것의 전체가 참조에 의해 포함된다.
미세유체 디바이스의 격리 펜들 내의 세포들의 생존 능력의 유지보수를 위한 추가적인 시스템 컴포넌트들. 세포 개체군들의 성장 및/또는 증식을 증진시키기 위해, 기능성 세포들을 유지하는 것에 좋은 환경적 조건들은 시스템의 추가적인 컴포넌트들에 의해 제공될 수도 있다. 예를 들어, 그러한 추가적인 컴포넌트들은 영양분들, 세포 성장 신호 종들, pH 조절, 가스 교환, 온도 제어, 및 세포들로부터의 노폐물들의 제거를 제공할 수 있다.
컴퓨터 시스템
도 7 은 본 교시들의 실시형태들, 또는 그 실시형태들의 부분들이 구현될 수도 있는 컴퓨터 시스템 (1000) 을 예시하는 블록도이다. 본 교시들의 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 정보를 통신하기 위한 버스 (1002) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스 (1002) 와 커플링된 프로세서 (1004) 를 포함할 수 있다. 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 또한 프로세서 (1004) 에 의해 실행될 명령들을 결정하기 위해 버스 (1002) 에 커플링된, 랜덤 액세스 메모리 (RAM) 또는 다른 동적 저장 디바이스일 수 있는, 메모리 (1006 를 포함할 수 있다. 메모리 (1006) 는 또한 프로세서 (1004) 에 의해 실행될 명령들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하는데 사용될 수 있다. 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 프로세서 (1004) 에 대한 정적 정보 및 명령들을 저장하기 위해 버스 (1002) 에 커플링된 판독 전용 메모리 (ROM) (1008) 또는 다른 정적 저장 디바이스를 더 포함할 수 있다. 정보 및 명령들을 저장하기 위해 자기 디스크 또는 광 디스크와 같은, 저장 디바이스 (1010) 가 제공되고 버스 (1002) 에 커플링될 수 있다.
다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 컴퓨터 사용자에게 정보를 디스플레이하기 위해, 버스 (1002) 를 통해서 음극선관 (CRT) 또는 액정 디스플레이 (LCD) 와 같은 디스플레이 (1012) 에 커플링될 수 있다. 정보 및 지령 선택들을 프로세서 (1004) 로 통신하기 위해, 영숫자 및 다른 키들을 포함한, 입력 디바이스 (1014) 가, 버스 (1002) 에 커플링될 수 있다. 사용자 입력 디바이스의 다른 유형은 방향 정보 및 지령 선택들을 프로세서 (1004) 로 통신하고 디스플레이 (1012) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 제어기 (1016) 이다. 이 입력 디바이스 (1014) 는 일반적으로 디바이스로 하여금 평면에서의 위치들을 지정가능하게 하는 2개의 축들, 즉, 제 1 축 (즉, x) 및 제 2 축 (즉, y) 에서 2개의 자유도들을 갖는다. 그러나, 3 차원 (x, y 및 z) 커서 이동을 허용하는 입력 디바이스들 (1014) 이 또한 본원에서 고려될 수 있는 것으로 이해되어야 한다.
본 교시들의 어떤 구현예들에 따르면, 프로세서 (1004) 가 메모리 (1006) 에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여 컴퓨터 시스템 (1000) 에 의해 결과들이 제공될 수 있다. 이러한 명령들은 다른 컴퓨터-판독가능 매체 또는 컴퓨터-판독가능 저장 매체, 예컨대 저장 디바이스 (1010) 로부터 메모리 (1006) 로 판독될 수 있다. 메모리 (1006) 에 포함된 명령들의 시퀀스들의 실행은 프로세서 (1004) 로 하여금 본원에서 설명되는 프로세스들을 수행가능하게 할 수 있다. 대안적으로, 하드-와이어드 (hard-wired) 회로부가 본 교시들을 구현하기 위해 소프트웨어 명령들 대신 또는 함께 사용될 수 있다. 따라서, 본 교시들의 구현예들은 하드웨어 회로부와 소프트웨어의 임의의 특정의 조합에 한정되지 않는다.
용어 "컴퓨터-판독가능 저장 매체" 는, 본원에서 사용될 때, 명령들을, 실행을 위해, 프로세서 (1004) 에 제공하는데 참여하는 임의의 저장 매체들을 지칭한다. 이러한 저장 매체는 비-휘발성 저장 매체들, 및 휘발성 저장 매체들을 포함하지만 이에 한정되지 않는, 다수의 형태들을 취할 수 있다. 비-휘발성 저장 매체들의 예들은 저장 디바이스 (1010) 와 같은, 광학, 고체 상태, 자기 디스크들을 포함할 수 있지만 이에 한정되지 않는다. 휘발성 저장 매체들의 예들은 메모리 (1006) 와 같은, 동적 메모리를 포함할 수 있지만 이에 한정되지 않는다.
컴퓨터-판독가능 저장 매체들의 일반적인 형태들은 예를 들어, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 종이 테이프, 홀들의 패턴들을 가진 임의의 다른 물리적인 매체, RAM, PROM, 및 EPROM, 플래시-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 유형의 저장 매체를 포함한다.
컴퓨터 판독가능 매체에 더해서, 명령들 또는 데이터가 하나 이상의 명령들의 시퀀스들을 실행을 위해 컴퓨터 시스템 (1000) 의 프로세서 (1004) 에 제공하기 위해 통신 장치 또는 시스템에 포함된 송신 매체들 상에 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 나타내는 신호들을 가지는 트랜시버를 포함할 수도 있다. 명령들 및 데이터는 하나 이상의 프로세서들로 하여금, 본원의 본 개시물에서 약술한 기능들을 구현가능하게 하도록 구성된다. 데이터 통신들 송신 접속들의 대표적인 예들은 전화기 모뎀 접속들, 광역 네트워크들 (WAN), 근거리 네트워크들 (LAN), 적외선 데이터 접속들, NFC 접속들, 등을 포함할 수 있지만 이에 한정되지 않는다.
본원에서 설명한 방법론들, 플로우 차트들, 다이어그램들 및 첨부된 개시물이 컴퓨터 시스템 (1000) 을 스탠드얼론 디바이스로서 이용하여 또는 클라우드 컴퓨팅 네트워크와 같은, 공유된 컴퓨터 프로세싱 리소스들의 분산 네트워크 상에서 구현될 수 있는 것으로 이해되어야 한다.
특정 실시형태들에서, 머신 판독 가능 저장 디바이스들은 본 명세서에서 설명된 방법들을 실행하거나 수행하기 위한 비일시적인 머신 판독 가능 명령들을 저장하기 위해 제공된다는 것을 또한 알아야한다. 머신 판독 가능한 명령들은 이미지 프로세싱, CNN (Convolutional Neural Network) 흐름 (아래에서 상세히 설명됨), 논리 및 메모리 모듈, 및 아래에서 상세히 설명되는 바와 같은 마이크로-객체 검출 및 카운트의 모든 측면을 제어할 수 있다. 또한, 머신 판독 가능 명령들은 초기에 메모리 모듈에 로딩되거나 클라우드를 통해 또는 API 를 통해 액세스될 수 있다.
관심의 마이크로-객체의 자동화된 검출. 일 양태에서, 이미지, 특히 디지털 이미지 (또는 디지털화된 이미지) 에서 관심의 마이크로-객체의 자동화된 검출을 위한 방법이 제공된다. 관심의 마이크로-객체는 미세유체 디바이스 내에 배치될 수 있다. 관심의 마이크로-객체는 포유류 세포 (예를 들어, 혈액 세포, 하이브리도마, 암세포, 형질 전환된 세포, 배우자, 배아 등) 와 같은 세포일 수 있다. 대안으로, 관심의 마이크로-객체는 분석에서 사용될 수 있는 것과 같은 비드 (예를 들어, 마이크로 비드, 자기 비드 등) 일 수 있다. 이 방법은 이미지 데이터 (즉, 이미지의 픽셀과 관련된 데이터) 를 처리하는 기계 학습 알고리즘의 사용을 포함할 수 있다. 기계 학습 알고리즘은 콘볼루션 신경망 (convolutional neural network) 와 같은 신경망을 포함할 수 있다.
이미지 분류는 입력 이미지를 받아들이는 것 및 이미지를 가장 잘 설명하는 클래스 또는 클래스의 확률을 출력하는 것을 요구한다. 이는 입력 이미지를 처리하고 결과를 출력하기 위해, 알고리즘을 사용하는 프로세싱 엔진이 장착된 컴퓨터 시스템을 사용하여 행해질 수 있다. 이미지 검출은 또한 유사한 프로세싱 엔진을 이용할 수 있어서, 시스템은 입력 이미지를 받아들이고 프로세싱 엔진에 미리 프로그램된 알고리즘을 사용하여 높은 정확도로 그 이미지 내에서 관심있는 객체를 식별한다.
입력 이미지와 관련하여, 시스템은 일반적으로 입력 이미지를 픽셀 값들의 배열로서 배향시킬 것이다. 이러한 픽셀 값은 이미지 해상도 및 크기에 따라, (길이) x (너비) x (채널들의 수) 에 대응하는 수들의 배열일 것이다. 채널들의 수는 깊이로서 또한 지칭될 수 있다. 예를 들어, 배열은 L x W x RGB (Red Green Blue) 컬러 모델 (RBG 값) 일 수 있다. RGB 는 3 개의 채널들로 간주되며, 각 채널은 RGB 컬러 모델에서 3 가지 컬러들 중 하나를 나타낸다. 예를 들어, 시스템은 일반적으로 (RGB의 경우) 20 × 20 × 3 의 대표 배열로 20 × 20 이미지를 특성화할 수 있으며, 그 배열의 각 포인트에는 픽셀 강도를 나타내는 값 (예를 들어, 0 내지 255) 이 할당된다. 값들의 이러한 배열이 주어질 때, 프로세싱 엔진은 이미지가 소정 클래스일 확률을 기술하는 수들 (예를 들어, 세포의 경우 0.80, 세포벽의 경우 0.15, 및 세포가 없는 경우 0.05) 을 출력하기 위해, 그것의 알고리즘을 사용하여 이들 값들을 프로세싱할 수 있다.
콘볼루션 신경망 (CNN) 은 일반적으로 예를 들어 에지 및 곡선과 같은 저레벨 피쳐를 먼저 찾은 다음 일련의 콘볼루션 계층들을 통해 보다 추상적인 (예를 들어, 이미지가 분류되는 타입에 고유한) 개념들로 전진함으로써 진보된 형태의 이미지 프로세싱 및 분류/검출을 달성한다. CNN 은 일련의 콘볼루션, 비선형, 풀링 (pooling) (또는 아래에서 자세히 설명 할 다운샘플링) 및 완전히 연결된 계층들을 통해 이미지를 통과시킴으로써 이를 수행하고, 출력을 얻을 수 있다. 다시 말하지만, 출력은 가장 잘 이미지를 기술하거나 이미지상의 객체를 검출하는 단일 클래스 또는 클래스들의 확률일 수 있다.
CNN 의 계층들에 관해서는, 제 1 계층은 일반적으로 콘볼루션 계층 (Conv) 이다. 이러한 제 1 계층은 일련의 파라미터들을 사용하여 이미지의 대표적인 배열을 처리할 것이다. 이미지를 전체적으로 처리하는 대신, CNN 은 필터 (또는 뉴런 또는 커널) 를 사용하여 이미지 서브 세트들의 집합을 분석할 것이다. 서브 세트들은 주변 포인트들 뿐아니라 배열 내의 초점을 포함할 것이다. 예를 들어, 필터는 32 x 32 이미지에서 일련의 5 x 5 면적들 (또는 영역들) 을 검사할 수 있다. 이들 영역들은 수용 필드 (receptive fields) 로서 지칭될 수 있다. 그 필터는 일반적으로 입력과 동일한 깊이를 가질 것이므로, 32 x 32 x 3 의 디멘젼들을 갖는 이미지는 동일한 깊이의 필터 (예를 들어, 5 x 5 x 3) 를 가질 것이다. 위의 예시적인 디멘젼들을 사용하여, 콘볼빙 (convolving) 하는 실제 단계는 필터를 입력 이미지를 따라 슬라이딩하는 것, 필터 값을 이미지의 오리지날 픽셀 값과 곱하여 엘리먼트별 (element wise) 곱셈들을 컴퓨팅하는 것, 및 이들 값들을 합산하여 이미지의 그러한 검사된 영역에 대한 단일의 수에 도달하는 것을 수반할 것이다.
5 x 5 x 3 필터를 사용하는 이러한 콜볼루션 단계의 완료 후에, 28 x 28 x 1 의 디멘젼들을 갖는 활성화 맵 (또는 필터 맵) 이 생성될 것이다. 사용된 각각의 추가적인 계층에 대해, 공간 디멘젼들이 더 잘 유지되어 두 개의 필터를 사용하는 것은 28 x 28 x 2 의 활성화 맵을 야기할 것이다. 각 필터는 일반적으로 최종 이미지 출력에 필요한 피쳐 식별자를 함께 나타내는, 그것이 나타내는 고유한 피쳐 (예를 들어, 컬러, 에지, 곡선 등) 를 가질 것이다. 이러한 필터들은, 조합하여 사용될 때, CNN 이 이미지 입력을 처리하여 각 픽셀에 존재하는 그러한 피쳐들을 검출하는 것을 허용한다. 따라서, 필터가 곡선 검출기로서 작용하는 경우, 이미지 입력을 따른 필터의 콘볼빙은 곡선의 높은 가능성 (likelihood) (높은 합산된 엘리먼트별 곱셈들), 곡선의 낮은 가능성 (낮은 합산된 엘리먼트별 곱셈들) 또는 소정 포인트들에서의 입력 볼륨이 곡선 검출기 필터를 활성화할 아무것도 제공하지 않는 경우의 제로 값에 대응하는, 활성화 맵에서의 수들의 배열을 생성할 것이다. 따라서, Conv 에서의 필터 (채널이라고도 함) 의 수가 많을수록, 활성화 맵에 제공되는 깊이 (또는 데이터) 가 더 많을 수록, 그리고 따라서 입력에 대한 정보가 더 많을 수록, 더 정확한 출력을 야기할 것이다.
결과를 산출하는 데 필요한 처리 시간과 전력이 CNN 의 정확성과 밸런싱된다. 즉, 더 많은 필터 (또는 채널) 가 사용될수록, Conv 를 실행하는 데 더 많은 시간과 처리 능력이 필요하다. 따라서, CNN 방법의 필요들을 충족시키기 위한 필터 (또는 채널) 의 선택과 수는 이용가능한 시간과 전력을 고려하면서 가능한 한 정확한 출력을 생성하도록 구체적으로 선택되어야 한다.
CNN 이 더 복잡한 피쳐들을 검출할 수 있도록 하기 위해, 추가의 Conv 들이 이전의 Conv 의 출력 (즉, 활성화 맵) 을 분석하기 위해 추가될 수 있다. 예를 들어, 제 1 Conv 가 곡선이나 에지와 같은 기본 피쳐를 찾는 경우, 제 2 Conv 는 이전 Conv 계층에서 검출된 개별 피쳐들의 조합일 수 있는 형상들과 같은 더 복잡한 피쳐를 찾을 수 있다. 일련의 Conv 들을 제공함으로써, CNN 은 점차적으로 더 높은 레벨의 피쳐들을 검출하여 결국 특정의 원하는 객체를 검출할 확률에 도달할 수 있다. 또한, Conv 들이 서로 적층하여 이전 활성화 맵 출력을 분석함에 따라, 스택에서의 각 Conv 는 자연스럽게 각 Conv 레벨에서 발생하는 축소 (scaling down) 로 인해 점점더 큰 수용 필드를 분석하여 CNN 이 관심의 객체를 검출함에 있어서 픽셀 공간의 성장하는 영역에 응답하는 것을 허용할 것이다.
CNN 아키텍처는 일반적으로 입력 볼륨 (이미지) 을 콘볼루팅 (convoluting) 하기 위한 적어도 하나의 처리 블록과 디콘볼루션 (또는 트랜스포즈 (transpose) 콘볼루션) 을 위한 적어도 하나의 처리 블록을 포함하는 처리 블록들의 그룹으로 구성된다. 또한, 처리 블록은 적어도 하나의 풀링 블록 및 언풀링 (unpooling) 블록을 포함할 수 있다. 풀링 블록들은 Conv 에 대해 이용가능한 출력을 생성하기 위해 해상도에 있어서 이미지를 축소하는데 사용될 수 있다. 이것은 계산적 효율성 (효율적인 시간 및 전력) 을 제공할 수 있으며, 이는 CNN 의 실제 성능을 향상시킬 수 있다. 이러한 풀링, 또는 서브샘플링 블록은 필터를 소형으로 그리고 계산상 요건들을 합리적으로 유지하므로, 이러한 블록들은 출력을 조악하게 만들 수 있어 (수용 필드 내에서 손실된 공간 정보를 야기할 수 있어), 그것을 특정 팩터에 의해 입력의 크기보다 감소시킬 수 있다.
언풀링 블록은 이러한 조악한 출력을 재구성하여 입력 볼륨과 동일한 디멘젼들을 갖는 출력 볼륨을 생성하는데 사용될 수 있다. 언풀링 블록은 오리지날 입력 볼륨 디멘전으로 활성화 출력을 복귀시키는 콘볼루팅 블록의 역 동작으로 간주될 수 있다.
그러나, 언풀링 프로세스는 일반적으로 조악한 출력을 성긴 (sparse) 활성화 맵으로 단순히 확대만 한다. 이 결과를 피하기 위해, 디콘볼루션 블록은 이러한 성긴 활성화 맵을 밀도를 높여 확대되고 밀집한 활성화 맵을 생성하여 궁극적으로 임의의 추가의 필요한 프로세싱 후에 입력 볼륨에 훨씬 가까운 크기 및 밀도의 최종 출력 볼륨을 생성한다. 콘볼루션 블록의 역 동작으로서, 수용 필드의 다수의 배열 포인트들을 단일의 수로 감소시키는 대신, 디콘볼루션 블록은 단일 활성화 출력 포인트를 다수의 출력들과 연관시켜 결과의 활성 출력을 확대 및 조밀하게 한다.
풀링 블록은 이미지를 축소하는 데 사용될 수 있고 언풀링 블록은 이러한 축소된 활성화 맵을 확대하는 데 사용될 수 있지만, 콘볼루션 및 디콘볼루션 블록은 별도의 풀링 및 언풀링 블록들을에 대한 필요 없이 콘볼빙/디콘볼빙 및 축소/확대 모두를 행하도록 구성될 수 있다.
풀링 및 언풀링 프로세스는 이미지 입력에서 검출되는 관심의 객체들에 따라 단점을 가질 수 있다. 일반적으로 풀링은 윈도우의 중첩 없이 하위 이미지 윈도우를 보고 이미지를 축소하므로 축소가 발생함에 따라 공간 정보의 분명한 손실이 존재한다.
처리 블록은 콘볼루션 또는 디콘볼루션 (deconvolutional) 계층으로 패키징되는 다른 계층들을 포함할 수 있다. 이들은 예를 들어, 정류된 선형 단위 계층 (ReLU) 또는 지수 선형 단위 계층 (ELU) 을 포함할 수 있으며, 이들은 그것의 처리 블록에서 Conv 로부터의 출력을 검사하는 활성화 함수들이다. ReLU 또는 ELU 계층은 Conv 에 고유한 관심의 피쳐의 긍정적인 검출에 대응하는 그러한 값들만 전진시키는 게이팅 함수로서 작용한다.
기본 아키텍처가 주어지면, CNN 은 (관심의 객체의) 이미지 분류/검출에서의 그의 정확성을 연마하기 위한 트레이닝 프로세스를 위해 준비된다. 이것은 CNN 이 최적, 또는 임계, 정확도에 도달함에 있어서 그것의 파라미터들을 업데이트하도록 CNN 을 트레이닝하는데 사용되는 트레이닝 데이터 세트, 또는 샘플 이미지를 사용하는 역전파 (backpropagation) (backprop) 라고 하는 프로세스를 수반한다. 역전파는 역전파의 파라미터들에 따라 천천히 또는 빠르게 CNN 을 트레이닝할 일련의 반복 단계 (트레이닝 반복) 를 수반한다. 역전파 단계는 일반적으로 주어진 학습 속도에 따라 순방향 패스 (pass), 손실 함수, 역방향 패스 및 파라미터 (가중치) 업데이트를 포함한다. 순방향 패스는 CNN 을 통해 트레이닝 이미지를 통과시키는 것을 수반한다. 손실 함수는 출력의 오류의 측정이다. 역방향 패스는 손실 함수에 대한 기여 팩터들을 결정한다. 가중치 업데이트는 필터의 파라미터를 업데이트하여 CNN 을 최적을 향해 이동시키는 것을 수반한다. 학습 속도는 최적에 도달하기 위해 반복 당 가중치 업데이트의 범위를 결정한다. 학습 속도가 너무 낮으면, 트레이닝은 너무 오래 걸리고 너무 많은 처리 용량을 수반할 수도 있다. 학습 속도가 너무 빠르면, 각각의 가중치 업데이트가 너무 커서 주어진 최적 또는 임계값의 정밀한 달성을 허용하지 않을 수도 있다.
역전파 프로세스는 트레이닝에서 복잡성을 유발할 수 있으므로 트레이닝의 시작 시 더 낮은 트레이닝 속도 및 더 특정하고 신중하게 결정된 초기 파라미터에 대한 필요를 야기한다. 하나의 그러한 복잡성은 각 반복의 끝에서 가중치 업데이트가 발생하기 때문에 Conv 의 파라미터에 대한 변경이 네트워크가 깊어질수록 증폭된다는 것이다. 예를 들어, CNN 이 상술한 바와 같이 더 높은 레벨의 피쳐 분석을 허용하는 복수의 Conv 를 갖는다면, 제 1 Conv 에 대한 파라미터 업데이트는 각각의 후속 Conv 에서 곱해진다. 네트 (net) 효과는 주어진 CNN 의 깊이에 따라 파라미터에 대한 가장 작은 변경이 큰 영향을 미칠 수 있다는 것이다. 이러한 현상은 내부 공변량 시프트로서 지칭된다.
본 명세서에 개시된 실시형태는 기지의 CNN 에 비해 몇 가지 이점을 갖는다. 이러한 이점들은 예를 들어 풀링 계층에 내재된 손실된 공간 정보를 피하고, 역전파 프로세스에 내재된 내부 공변량 시프트를 줄이거나 최소화하고, 더 복잡한 피쳐 검출을 달성하기 위해 딥 (deep) 신경망에서 일반적으로 필요한 처리 시간과 속도를 감소시키는 CNN 을 제공하는 것을 포함한다.
전술한 바와 같이, CNN 은 수용 필드의 다중 계층으로 구성된다. 이들은 입력 이미지의 일부를 처리하는 "뉴런” (또는 커널) 집합이다. 그런 다음, 이들 집합의 출력들은 오리지날 이미지의 더 나은 표현을 얻기 위해 그들의 입력 영역들이 중첩하도록 타일링된다; 이것은 모든 그러한 계층에 대해 반복된다. 타일링은 CNN 이 입력 이미지의 변환을 허용할 수 있게 한다. CNN 은 예를 들어 Long et al., "Fully Convolutional Networks for Semantic Segmentation", CVPR 2015, 및 Noh et al., "Learning Deconvolution Network for Semantic Segmentation", ICCV 2015 에 기술되었고, 이들 각각의 내용은 본원에 참조에 의해 포함된다.
CNN 은 컨벌루션 및 완전히 연결된 계층들의 조합들을 포함할 수 있으며, 각 계층의 끝에서 또는 각 계층 후에 포인트별 비선형성이 적용된다. 입력의 작은 영역들에 대한 콘볼루션 연산은 자유 파라미터의 수를 줄이고 일반화를 향상시키기 위해 도입된다. 콘볼루션 네트워크의 한 가지 주요 이점은 콘볼루션 계층에서의 공유된 가중치의 사용이며, 이는 동일한 필터 (가중치 뱅크) 가 계층의 각 픽셀에 대해 사용됨을 의미한다; 이는 메모리 사용 공간을 줄이고 성능을 향상시킨다.
일 실시형태에서, CNN 은 미분가능 함수 (differentiable function) 를 통해 입력 볼륨을 출력 볼륨으로 변환하는 (예를 들어, 클래스 스코어를 유지하는) 별개의 계층의 스택에 의해 형성된다.
이러한 실시형태에서, 콘볼루션 계층은 빈, 단일 클론 및 폴리 클론으로서 본 실시형태에 대해 정의된다. 계층의 파라미터는 작은 수용 필드를 갖지만 입력 볼륨의 전체 깊이를 통해 확장되는 학습가능 필터들의 세트를 포함할 수 있다. 순방향 패스 동안, 각 필터는 입력 볼륨의 너비와 높이에 걸쳐 콘볼빙되어 필터 및 입력의 엔트리들 사이의 내적을 컴퓨팅하고 해당 필터의 2 차원 활성화 맵을 생성한다. 결과적으로, 네트워크는 입력의 일부 공간 위치에서 특정 유형의 피쳐를 볼 때 활성화되는 필터를 학습한다.
깊이 디멘젼을 따라 모든 필터에 대한 활성화 맵을 적층하는 것은 콘볼루션 계층의 전체 출력 볼륨을 형성한다. 따라서, 출력 볼륨의 모든 엔트리는 또한, 입력의 작은 영역을 보고 동일한 활성화 맵의 뉴런과 파라미터를 공유하는 뉴런의 출력으로 해석될 수 있다.
일 실시형태에서, 공간 배열은 깊이, 스트라이드 (stride) 및 제로 패딩과 같은 콘볼 루션 계층의 출력 볼륨의 크기를 제어하는 하이퍼파라미터에 기초한다.
일 실시형태에서, 출력 볼륨의 깊이는 입력 볼륨의 동일한 영역에 연결하는 계층의 뉴런들의 수를 제어한다. 이러한 뉴런들 모두는 입력의 상이한 피쳐에 대해 활성화하는 것을 학습할 것이다. 예를 들어, 제 1 콘볼루션 계층이 원시 이미지를 입력으로 사용하면, 깊이 디멘젼을 따른 상이한 뉴런들이 다양한 배향된 에지, 또는 컬러 얼룩의 존재하에서 활성화될 수도 있다.
일 실시형태에서, 스트라이드는 공간 디멘젼 주위의 깊이 열들 (너비 및 높이) 이 할당되는 방법을 제어한다. 스트라이드가 1 일 때, 뉴런의 새로운 깊이 열이 단지 1 공간 단위 떨어져 공간 위치들에 할당된다. 이것은 열들 사이의 과도하게 중첩하는 수용 필드, 및 또한 큰 출력 볼륨을 야기한다. 반대로, 보다 높은 스트라이드를 사용하면, 수용 필드가 덜 겹치고 결과 출력 볼륨은 공간적으로 더 작은 치수를 가질 것이다.
때로는 입력을 입력 볼륨의 경계에서 0 들로 채우는 것이 편리하다. 이러한 제로 패딩의 크기는 제 3 하이퍼파라미터이다. 제로 패딩은 출력 볼륨 공간 크기의 제어를 제공한다. 특히, 때로는 입력 볼륨의 공간 크기를 정확하게 보존하는 것이 바람직하다.
이러한 실시형태에서, 파라미터 공유 방식은 자유 파라미터의 수를 제어하기 위해 콘볼루션 계층에서 사용된다. 그것은 하나의 합리적인 가정에 의존한다: 한 패치 피쳐가 일부 공간 위치에서 컴퓨팅하는 데 유용하다면, 그것은 상이한 위치에서 컴퓨팅하는 데도 유용해야 한다는 것. 즉, 깊이의 단일 2 차원 슬라이스를 깊이 슬라이스로서 표시하면, 우리는 각 깊이 슬라이스의 뉴런을 동일한 가중치와 바이어스를 사용하도록 제한한다.
단일 깊이 슬라이스의 모든 뉴런이 동일한 파라미터화를 공유하고 있기 때문에, CONV 계층의 각 깊이 슬라이스에서의 순방향 패스는 입력 볼륨과의 뉴런의 가중치의 콘벌루션 (따라서 그 이름: 콘볼루션 계층) 으로서 컴퓨팅될 수 있다.
따라서, 가중치의 세트를 입력과 콘볼빙되는 필터로서 지칭하는 것이 일반적이다. 이러한 콘볼루션의 결과는 활성 맵이며, 각각의 상이한 필터에 대한 활성 맵의 세트는 깊이 디멘젼을 따라 적층되어 출력 볼륨을 생성한다. 파라미터 공유는 CNN 아키텍처의 변환 불변성에 기여한다.
다양한 실시형태에서, 예를 들어, 도 7 의 신경망 (700) 에 의해 도시된 바와 같이, 신경망 (또는 CNN) 이 제공된다. 예시적인 신경망과 관련된 부가적인 세부 사항은 도 8 및 도 9a 내지 도 9d 에 도시되어 있으며, 도 8 및 도 9a 내지 도 9d 에 의해 캡쳐된 CNN 피쳐가 도 7 의 도시된 네트워크 또는 본 명세서의 다양한 다른 실시형태와 함께 사용될 수 있기 때문에, 이러한 실시형태를 설명할 때만 참고 목적으로 사용될 것이다.
도 7 에서, 신경망 (700) 은 연관된 제 1 (720), 제 2 (740) 및 제 3 (760) 처리 블록들 (또는 잔여 네트워크 블록) 을 갖는 제 1 다운 샘플링 블록 (710), 제 2 다운 샘플링 블록 (730) 및 제 3 다운 샘플링 블록 (750) 을 포함한다. 제 1 다운 샘플링 블록 (710) 은 입력 이미지 (701) 를 수신한다. 도시된 바와 같이, 각각의 다운 샘플링 블록은 그의 연관된 처리 (또는 잔여) 블록이 뒤따를 수 있다. 처리 (또는 잔여) 블록은 아래에서 상세히 논의되는 바와 같이 단일 또는 다중 분기될 수 있다.
CNN 은 복수의 다운 샘플링 블록 (예를 들어, 도 7 에서와 같이 3 개) 을 포함 할 수 있으며, 각각의 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층 (Conv), 배치 정규화 (놈) 계층 및 게이팅 함수를 포함하는 활성화 계층을 포함할 수 있다.
도 8b 는 입력 (871)을 수용하고 출력 (879) 을 제공하고, 커널 크기 DxD 를 갖는 Conv (874), 배치 놈 계층 (876) 및 활성화 계층 (878) 을 포함하는 다운 샘플링 블록의 예를 도시한다. 활성화 계층은 예를 들어 ELU 또는 ReLU 일 수 있다. 다양한 실시형태들에서, 활성화 계층은 다운 샘플링 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는 배치 놈 계층으로부터 직접적으로 이미지 데이터를 수신한다. 다운 샘플링 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시키도록 기능할 수 있다. 이것은 도 9a 내지 도 9d 를 참조하여 더 상세히 설명될 것이다.
처리 블록들 (또는 잔여 네트워크 블록) 은 단일 브랜치 처리 블록 또는 다중 브랜치 처리 블록일 수 있으며, 여기서 각각의 브랜치는 선행하는 다운 샘플링 블록으로부터의 출력을 처리하고, 그 다음 최종 출력에 추가의 다운 샘플링, 또는 업샘플링을 위해 다운 샘플링된 활성화 맵을 생성하기 위해 양 브랜치들의 출력을 결합한다.
도 8a 는 업스트림 다운 샘플링 블록 (도시 생략, 도 8b 와 관련된 논의를 참조) 으로부터 (예를 들어, 활성화 맵의 형태로) 입력 (805) 을 수용하도록 구성된 다중 분기 처리 블록 (800) (또는 잔여 네트워크 블록) 의 예를 도시한다. 블록 (800) 은 제 1 분기 (810) 와 제 2 분기 (840) 를 포함한다. 제 1 분기 (810) 는 NxN 의 커널을 갖는 제 1 콘볼루션 계층 (815) (Conv), 제 1 Conv (815) 로부터 데이터를 수신하는 제 1 배치 정규화 (놈) 계층 (820), 제 1 배치 놈 계층 (820) 으로부터 데이터를 수신하는 (게이팅 함수를 포함하거나 게이팅 함수로서 작용할 수 있는) 제 1 활성화 계층 (825), 제 1 활성화 계층 (825) 을 통과하는 데이터를 수신하는, MxM 의 커널을 갖는 제 2 Conv (830), 및 제 2 Conv (830) 로부터 데이터를 수신하는 제 2 배치 놈 계층 (835) 을 포함한다. Conv 815 (NxN) 및 830 (MxM) 의 커널은 동일한 크기를 가질 수 있거나 상이할 수 있다. 도 9a-9c 에 도시 된 바와 같이 (이하 논의 됨), 도시된 잔여 네트워크들 내의 직렬 Conv 들로부터의 커널들은 동일하다 (3x3). 그럼에도 불구하고, 일반적으로 Conv 들 (815/830) 이 1x1 보다 큰 커널을 갖는 것이 바람직하다.
제 2 분기 (840) 는 제 3 Conv (845), 제 3 Conv (845) 로부터 데이터를 수신하는 제 3 배치 놈 계층 (850) 및 제 3 배치 놈 계층 (850) 으로부터 데이터를 수신하는 (게이팅 함수를 포함하거나 게이팅 함수로서 작용할 수 있는) 제 2 활성화 계층 (855) 을 포함한다. 블록 (800) 은 제 2 배치 놈 계층 (835) 으로부터의 데이터 및 제 2 활성화 계층 (855) 을 통과하는 데이터 양자 모두를 수신하는 재조합 계층 (860) 을 더 포함한다. 최종적으로, 블록 (800) 은 추가 프로세싱을 위해 블록 (800) 으로부터 출력 (864) 이 생성되기 전에, 재조합 계층 (860) 으로부터 수신된 데이터에 대해 게이팅 함수로서 역할할 수 있는 블록 활성화 계층 (862) 을 포함한다. 상술된 바와 같이, 활성화 계층은 예를 들어 ELU 또는 ReLU 일 수 있다. 다양한 실시형태들에서, 활성화 계층(들)은 ELU 이다.
도 8 에서, 제 2 브랜치 (840) 는 선행 다운 샘플링 블록으로부터 수신된 이미지 데이터를 제 1 브랜치 (810) 보다 작은 정도로 처리한다. 특히, 제 1 브랜치 (810) 의 제 1 및 제 2 Conv (815/830) 가 전술한 바와 같이 일반적으로 1x1 보다 클 각각 NxN 및 MxM 의 필터 윈도우 를 사용하는 반면, 제 2 브랜치 (840) 의 제 3 Conv (845) 는 1x1 의 필터 윈도우 (또는 디멘젼 또는 커널) 를 사용한다. 이러한 필터 윈도우는 예를 들어 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약, 스트라이드 길이 (아래에서 설명함) 및 전력/처리 자원과 같은 팩터를 고려하여 필요에 따라 필요한 대로 조정될 수 있다. 예를 들어, 제 1 및 제 2 Conv (815/830) 는 3 x 3 의 필터 창 (또는 디멘젼) 을 사용할 수 있다 (이 필터 창 크기를 보여주는 아래 도 9a-9d 참조).
도 8 의 양 분기들이 1 의 스트라이드를 갖는 Conv 들을 갖지 만, 스트라이드는 마찬가지로 상이할 수 있다. 그러나, 재조합 층 (860) 이 효과적 이도록 하기 위해, 제 1 브랜치 (810) 상의 Conv 들 (815/830) 의 스트라이드를 곱한 결과는 제 2 브랜치 (840) 의 Conv (845) 의 스트라이드와 동일해야 한다.
활성화 단계 전에 배치 정규화 계층의 삽입은 내부 공변량 시프트를 최소화하는 것을 돕는 이점을 제공한다. 배치 놈 계층을 이와 같이 삽입함으로써, 그리고 확장에 의해, Conv 후에, 배치 놈은 Conv 의 출력을 정규화할 수 있으므로 활성화 단계에 정규화된 데이터를 제공하여 활성화의 보다 안정적인 분포를 허용한다. 역전파 프로세스 동안 내부 공변량 시프트를 최소화함으로써 신경망을 트레이닝하는 것이 더 높은 학습 속도 (가중치 업데이트의 정도) 를 통해 보다 적극적으로 행해질 수 있어서, CNN 이 네트워크에서의 주어진 필터에 대한 최적의 파라미터를 향해 작용함에 따라 효율성과 정확성의 손실없이 보다 빠른 CNN 학습을 야기한다.
또한, 최소 처리 정보의 분기 (예를 들어, 1x1 Conv 분기) 를 갖는 잔여 네트워크들의 추가는 트레이닝 동안 더 쉬운 학습을 허용한다. 이 최소 처리 분기는 최종 결과에 대한 이전 파라미터의 영향을 추적하는 보다 직접적인 경로를 제공한다. 결과적으로, 이 분기는 주어진 잔여 네트워크 내에서 스킵 연결 (아래에서 자세히 설명함) 과 거의 동일한 목적을 수행하여, 일부 정보가 변경되지 않은 채 네트워크를 통과할 수 있으므로 다운 샘플링 중에 손실될 수 있는 공간 정보를 손실하지 않는다.
요약하면, 따라서, 단독으로 및 배치 정규화 계층과 함께 잔여 네트워크의 사용은 종래 기술에 알려진 신경망에 비해 트레이닝 동안 보다 용이하고 더 효율적인 학습을 허용한다. 이 이점은 예를 들어 다운 샘플링 중에 더 많은 공간 정보를 유지하고 내부 공변량 시프트를 최소화함으로써 성취된다. 공간 정보의 손실을 최소화하는 것은, 덜 처리된 정보가 (전술한 바와 같은 다운 샘플링 단계들 내에서, 그리고 후술되는 바와 같이 업 샘플링 단계들로 순방향으로) 신경망 프로세스 동안 순방향으로 공급되는 것을 허용하는 연결들 뿐아니라 풀링과 같은 기지의 방법에 비해 다운 샘플링 동안 더 많은 중첩을 허용하는 스트라이딩 (striding) (아래에서 자세히 설명함) 을 사용하여 또한 달성된다.
특히 1x1 필터 윈도우를 사용하는 (즉, 다운 샘플링되지 않은) 분기들 중 하나를 갖는 다중 분기 잔여 네트워크를 사용함으로써, 신경망은 추가의 다운 샘플링을 위해 준비되는 (선행의 Conv 로부터 다운 샘플링되지 않은) 품질 이미지 데이터를 출력하기 위해 (더 큰 커널 또는 필터 크기로 다수의 컨벌루션을 겪을 수도 있는) 다른 분기로부터의 데이터와, 재결합 계층 (860) 에서, 단일 윈도우로서 모든 픽셀의 분석이 결합되는 것을 보장하기 위해 동일한 해상도를 유지하면서 선행의 Conv 로부터의 출력 데이터를 더욱 콘볼빙하는 것이 허용된다.
도 7 로 돌아가서, 신경망 (700) 은 제 1 업 샘플링 블록 (770), 제 2 업 샘플링 블록 (780) 및 제 3 업 샘플링 블록 (790) 을 더 포함하며, 출력 (799) 은 제 3 업 샘플링 블록 (790) 에 후속한다. 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 (또는 디콘볼루션) 계층, 업 샘플링 배치 놈 계층, 및 게이팅 함수를 포함하는 업 샘플링 활성화 계층을 포함할 수 있다.
도 8c 는 입력 (881) 을 수용하고 출력 (889) 을 제공하는, 그리고 커널 크기 ZxZ 를 갖는 트랜스포즈 Conv (884), 배치 놈 계층 (886) 및 활성화 계층 (888) 을 포함하는 업 샘플링 블록의 예를 도시한다. 이들 서브 컴포넌트들은 도 9a 내지 도 9d 를 참조하여 더 상세히 설명될 것이다. 각각의 업 샘플링 블록의 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키며, 이에 의해 다운 샘플링된 출력을 재구성하도록 구성될 수 있다. 부가적으로, 하나 이상의 업 샘플링 블록은 또한 재조합 계층을 포함할 수 있으며, 이것에 의해 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터는 (후술되는 스킵 연결을 통해) 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합된다.
신경망의 아키텍처와 관련하여, 업 샘플링 블록의 수는 다운 샘플링 블록의 수와 동일하게 구성될 수 있다. 다양한 실시형태들에서, 신경망은 n 개의 다운 샘플링 블록, n 개의 잔여 네트워크 (또는 처리) 블록, n 개의 업 샘플링 블록, 및 재조합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다 (도 9d 의 설명 참조). 아래에서 더 상세히 설명되는 바와 같이, 공간 해상도가 다운 샘플링 프로세스 동안 부분적으로 감소되기 때문에, 동일한 분수 비율로 공간 해상도를 증가시키길 원할 수도 있다. 예를 들어, 다운 샘플링 블록 (또는 결합된 다운 샘플링 및 잔여 네트워크 블록) 을 통해 매번 공간 해상도가 1/2 로 줄어드는 경우 (2 의 팩터), 공간 해상도를 오리지날 이미지 디멘젼까지 다시 배가시키는 것이 가장 효율적일 수도 있다. 이것은 동일한 수의 다운 샘플링 및 업 샘플링 블록들을 야기할 수 있다.
예를 들어, 도 7 에서, 각 Conv 는 이미지 데이터의 공간 해상도를 2 의 팩터로 감소시키고 각 트랜스포즈 Conv 는 이미지 데이터의 공간 해상도를 2 의 팩터로 증가시킨다. 공간 해상도의 감소는, 예를 들어 한 번에 2 픽셀 씩 콘볼루션 필터 (또는 커널) 를 슬라이딩시킴으로써 달성될 수 있다. 이 두 픽셀 슬라이드는 스트라이드 길이로서 지칭된다. 한 번에 2 픽셀 씩 슬라이딩하는 경우, 스트라이드는 2 가 될 것이다. 2 의 스트라이드 길이를 사용함으로써, Conv 는 Conv 에서 출력되는 활성화 맵의 디멘젼을 절반으로 줄임으로써 다운 샘플링할 수 있다.
그러나, 스트라이딩 (striding) 하는 것에 의해, 그리고 위에 언급된 것처럼 풀링하지 않음으로써, 풀링에 내재할 수 있는 공간 정보의 손실을 피할 수 있다. 필터 크기는 얼마나 많은 로컬 정보가 네트워크의 다음 계층의 각 픽셀에 영향을 미치는 단일 픽셀 분석으로 끌어들여지는 지를 결정한다. 일반적으로, 필터 크기는 관심 픽셀에 중심이 맞춰지도록 홀수이다. 예를 들어, 5x5 필터는 주변 24 픽셀을 검사하여 주어진 영역의 하나의 중심 픽셀을 분석한다. 풀링에 의해, 제 1 영역의 픽셀에 대응하는 단일 값을 효과적으로 결정하기 위해 제 1 영역이 검사된다. 일단 필터가 제 2 영역으로 이동하면, 제 1 영역의 픽셀은 해당 필터 스윕 중에 더 이상 분석되지 않는다. 이는 수행된 이미지 분석의 유형 (예를 들어, 검출되는 객체 유형) 에 따라 매우 오해의 소지가 있거나, 조악하거나, 부정확한 결과를 초래할 수 있다.
한편, 스트라이드 이론을 사용하는 경우, 일단 제 1 영역 (예를 들어, 5x5 영역) 이 검사되고 제 2 영역 (또한 5x5) 에 2 픽셀 스트라이드가 발생하면, 2 픽셀 스트라이드 샘플링의 최종 결과는 이전의 크기의 절반으로 이미지 출력 (활성화 맵 출력) 을 발생시킬 것이므로, 픽셀 포인트들이 2 회 이상 검토될 것이며 다수의 픽셀에 대한 결정들에 고려되어, 시종 다운 샘플링을 여전히 허용하도록 중첩이 분명히 존재할 것이다. 따라서, 스트라이드를 사용하면, 풀링에 비해 공간 정보의 훨씬 더 적은 손실로 다운 샘플링이 발생한다. 적절한 스트라이드 길이를 결정하는 팩터들은, 예를 들어, 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약 및 전력/처리 자원을 포함한다.
도시된 바와 같이, 입력 이미지 (701) 의 공간 해상도가 X 인 경우, 다운 샘플링 블록 (710) 은 공간 해상도를 X/2 로 절반만큼 감소시킨 다음, 다운 샘플링 블록 (730) 에 의해 X/4 로, 그 후 다운 샘플링 블록 (750) 에 의해 X/8 로 감소킨다. 그 다음, 업 샘플링 블록 (770) 은 X/8 입력을 X/4 로 배가시키고, 블록 (780) 은 X/2 로 및 블록 (790) 은 X, 또는 출력 (799) 에서의 오리지날 크기로 배가시킬 수 있다. 도 7 은 각 다운 샘플링 블록의 높이가 감소하고 각 업 샘플링 블록의 높이가 증가함에 따라 이를 시각적으로 나타낸다.
다운 샘플링이 진행됨에 따라, CNN 은 그의 프로세싱의 피쳐 복잡성을 증가시켜, 낮은 레벨 피쳐 분석에서 높은 레벨 피쳐 분석으로 진행하도록 설계될 수 있다. 이전에 논의된 바와 같이, CNN 이 더 복잡한 피쳐들을 검출할 수 있도록 하기 위해, 추가의 Conv 들이 이전의 Conv 의 출력 (즉, 활성화 맵) 을 분석하기 위해 추가될 수 있다. 예를 들어, 제 1 Conv 가 곡선이나 에지와 같은 기본 피쳐를 찾는 경우, 제 2 Conv 는 이전 Conv 에서 검출된 개별 피쳐들의 조합일 수 있는 형상들과 같은 더 복잡한 피쳐를 찾을 수 있다. 일련의 Conv 들을 제공함으로써, CNN 은 점차적으로 더 높은 레벨의 피쳐들을 검출하여 결국 특정의 원하는 객체 검출에 도달할 수 있다. 또한, Conv 들이 서로 적층하여 이전 활성화 맵 출력을 분석함에 따라, 스택에서의 각 Conv 는 자연스럽게 각 Conv 레벨에서 발생하는 축소 (scaling down) 로 인해 점점더 큰 수용 필드를 분석하여 CNN 이 관심의 객체를 검출함에 있어서 픽셀 공간의 성장하는 영역에 응답하는 것을 허용할 것이다.
도 7 에서, 각각의 Conv 및 프로세싱 블록은 채널 깊이를 2 의 팩터에 의해 증가시키고, 각각의 업 샘플링 블록은 제 3 업 샘플링 블록 (790) 까지 채널 깊이를 2 의 팩터에 의해 감소시킨다. 도시된 바와 같이, 다운 샘플링 블록 (710) 및 프로세싱 블록 (720) 에서, 32 개의 채널들 또는 필터들이 사용된다. 다운 샘플링 블록 (730) 및 프로세싱 블록 (740) 에서, 채널들의 수는 64 이다. 마지막으로, 다운 샘플링 블록 (750) 및 프로세싱 블록 (760) 은 128 개의 채널들을 사용한다. 반대로, 업 샘플링 블록 (770) 은 채널을 최대 64 개까지, 업 샘플링 블록 (780) 은 32 개까지 및 업 샘플링 블록 (790) 은 3 개까지 절반으로 줄인다 (그 중요성은 아래에서 보다 상세하게 논의될 것이다). 도 7 은 시각적으로 일반적으로 각 다운 샘플링 블록의 폭이 증가하고 각 업 샘플링 블록의 폭이 감소함에 따라 채널 사용의 이러한 증가 및 감소를 나타낸다 (최종 블록 (790) 제외).
공간 해상도의 변화율 (오리지날, X/2, X/4, X/8, X/4, X/2, 오리지날) 은 채널 깊이 비율 (0, 32, 64, 128 , 64, 32, 3, 0) 과 거의 반대이지만, 이는 CNN 아키텍처에는 필요하지 않다. 그러나, 공간 해상도 대 채널 수의 일치하는 변화는 CNN 이 입력 데이터 (활성화 맵 디멘젼) 에서의 순차적 감소로 필터 깊이의 순차적 증가를 오프셋함으로써 시간, 처리 능력 및 출력 (799) 의 품질을 최대화하는 것을 유리하게 허용한다. 결과적으로, CNN 에 대한 처리 요구가 각 연속 다운 샘플링 블록을 통해 필터의 깊이에 따라 증가함에 따라 CNN은 각 연속 다운 샘플링 블록을 통해 이미지 배열 입력 (활성화 맵 디멘젼) 을 감소시킴으로써 이를 오프셋하여 CNN 이 더 큰 깊이를 가로질러 더 작은 입력을 분석하는 것을 허용한다. 그에 상응하여, 그 역이 출력 (799) 에 대해 업 샘플링 블록을 백업하도록 발생한다.
이미지 볼륨의 재구성은 또한 스킵 아키텍처의 한 형태로도 도움이 될 수 있다. 예를 들어, 신경망 내에 삽입된 스킵 연결은 초기 다운 샘플링 계층에서 최신 샘플링 계층으로 정보를 투영하여 이 초기에 최소로 처리된 정보가 재구성 프로세스의 일부가 되도록 할 수 있다. 스킵 아키텍처의 사용 없이는, 업 샘플링 동안 재구성을 크게 도울 수도 있는 초기 Conv 계층에서 캡처된 일부 정보가 다운 샘플링 프로세스 동안 손실되었을 것이다. 다른 말로하면, 그러한 귀중한 정보는 그 정보가 더 사용 되는 것이 너무 추상적이 될 수 있는 포인트까지 다운 샘플링되었을 것이다. 이 정보를 스킵 아키텍처를 사용하여 프라이머리 계층에서 최신 업 샘플링 계층으로 공급하는 것은 이전 정보가 유지되고 효율적인 업 샘플링에 사용되는 것을 허용한다.
다양한 실시형태들에서, 신경망은 (예를 들어, 스킵 연결을 통해) 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, (예를 들어, 스킵 연결을 통해) 제 1 잔류 네트워크 블록으로부터의 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함할 수 있다.
도 7 에서, 예를 들어, 제 1 스킵 연결 (792) 및 제 2 스킵 연결 (794) 이 제공된다. 제 1 스킵 연결 (792) 은 X/2 해상도에서 처리 블록 (720) 으로부터의 출력 정보를 또한 X/2 해상도에서 업 샘플링 블록 (780) 의 재결합 계층, 포스트-배치 놈 (post-batch norm) (이하에 논의됨) 으로 순방향으로 공급한다. 이 스킵 연결을 통해, 신경망은 보다 정확하고 효율적인 업 샘플링을 허용하기 위해 대응하는 업 샘플링 블록과 동일한 해상도로 초기 및 최소로 처리된 정보를 제공한다. 제 2 스킵 연결 (794) 은 X/4 해상도에서 처리 블록 (740) 으로부터의 출력 정보를 또한 X/4 해상도에서 업 샘플링 블록 (770) 의 재결합 계층, 포스트-배치 놈 (이하에 논의됨) 으로 순방향으로 공급함으로써 유사하게 기능한다.
위에서 언급했듯이 CNN 은 이미지 분류 및 이미지 검출 (또한 이미지 내에서의 객체 검출) 을 포함하는 다양한 목적으로 사용될 수 있다. 따라서, CNN 의 목표에 따라, 출력은 CNN 에 제기된 주요 질문에 답해야한다. 본 명세서의 다양한 실시형태들에서, CNN 은 이미지 검출에 사용된다. 다양한 실시형태들에서, 이미지 검출은 관심있는 객체들을 검출하는데 사용될 수 있다. 여러 실시형태들에서, 관심의 객체는 마이크로-객체들일 수 있다. 다양한 실시형태들에서, 이미지 검출은 마이크로 객체를 복수의 마이크로 객체 유형 중 적어도 하나로 분류하기 위해 사용될 수 있다. 여러 실시형태들에서, 마이크로-객체는 생물학적 세포이다. 여러 실시형태들에서, 생물학적 세포는 예를 들어 T 세포, B 세포, NK 세포, 대식세포 또는 이들의 조합과 같은 면역 세포이다. 다양한 실시형태들에서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다. 다양한 실시형태들에서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
도 7 의 업 샘플링 블록 (790) 에서의 3 개의 채널의 도시된 사용과 관련하여, 다양한 실시형태들에서, CNN 을 이용하는 시스템은 이미지 입력으로부터 마이크로-객체 카운트를 획득한다. 시스템은 입력 이미지의 복수의 픽셀들에 주석을 달음으로써 이것을 행할 수 있으며, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다. 이러한 분석을 통해, 마이크로-객체 카운트가 획득될 수 있다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성은 적어도 마이크로 객체 중심, 마이크로 객체 에지 및 비 마이크로 객체 (또는 세포 중심, 세포 에지 및 비세포) 를 포함한다. 도 7 의 업 샘플링 블록 (790) 은 그것의 3 개의 채널 깊이에 의한 이러한 3 마이크로-객체 특성화를 도시한다. 이와 같이, 도 7 의 최종 업 샘플링 블록 (790) 은 신경망 (700) 이 정확한 마이크로-객체 (예를 들어, 세포) 카운트를 결정하는데 필요한 객체 특성화를 제공한다.
도 9a 내지 도 9d 는 여러 실시형태에 따른 더욱 상세한 콘볼루션 신경망 (CNN) (900) 의 개략도를 도시한다. 개략도는 위에 논의된 다수의 신경망 원리들을 포함하고, 그 때문에, 이러한 원리들은 자세히 반복하지 않을 것이다. 그러나, 원리들은 유사할 수 있지만, 본 명세서의 다양한 실시형태들에서 사용되는 파라미터들은 모두 상술된 바와 같은 특정 이유들에 기초하여 변할 수 있으며, 그것들은 예를 들어, 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약 및 전력/처리 리소스를 포함한다. 이와 같이, 도 9a 내지 도 9d 의 개략도에 사용된 파라미터는 단지 예일 뿐이다.
배향 목적을 위해, 도 9a 는 좌측에서 우측으로, 다양한 실시형태들에 따른 제 1 잔여 네트워크 블록 (920) 이 뒤 따르는 제 1 다운 샘플링 블록 (910) 을 도시한다. 도 9b 는 좌측에서 우측으로, 다양한 실시형태들에 따라 제 2 잔여 네트워크 블록 (940) 이 뒤 따르는, (도 9a 의) 제 1 잔여 네트워크 블록 (920) 으로부터 데이터를 수신하는 제 2 다운 샘플링 블록 (930) 을 도시한다. 도 9c 는 좌측에서 우측으로, 다양한 실시형태들에 따라 제 3 잔여 네트워크 블록 (960) 이 뒤 따르는, (도 9b 의) 제 2 잔여 네트워크 블록 (940) 으로부터 데이터를 수신하는 제 3 다운 샘플링 블록 (950) 을 도시한다. 도 9d 는 좌측에서 우측으로, 제 1 업 샘플링 블록 (970), 제 2 업 샘플링 블록 (980) 및 제 3 업 샘플링 블록 (990) 을 도시한다. 제 1 업 샘플링 블록 (970) 은 제 3 잔여 네트워크 블록 (960) (도 9c) 으로부터 데이터를 수신하고, 제 1 업 샘플링 재결합 계층 (976) 을 포함하여, 제 1 업 샘플링 블록 (970) 의 배치 정규화 계층으로부터의 데이터가 제 2 스킵 연결 (994) 을 통해 순방향으로 공급되는 제 2 잔여 네트워크 블록 (940) 의 최종 ELU 계층 (948) 으로부터의 데이터와 재결합된다. 유사하게, 제 2 업 샘플링 블록 (980) 은 제 2 업 샘플링 재결합 계층 (986) 을 포함하여, 제 2 업 샘플링 블록 (980) 의 배치 정규화 계층으로부터의 데이터가 제 1 스킵 연결 (992) 을 통해 순방향으로 공급되는 제 1 잔여 네트워크 블록 (920) 의 최종 ELU 계층 (928) 으로부터의 데이터와 재결합된다.
다시 도 9a 를 참조하면, CNN (900) 은 이미지 입력 (901) 을 수신하도록 구성된 제 1 다운-샘플링 블록 (910) 을 포함한다. 제 1 다운 샘플링 블록 (910) 은 제 1 Conv (912), 제 1 배치 놈 계층 (914), 및 제 1 활성화 계층 (916) (예를 들어, 도 9a 의 ELU) 을 포함한다. 제 1 Conv (912) 는 커널 크기와 스트라이드에 대해 서로 다른 매개 변수를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 2 픽셀이다. 계층 (916) 으로부터의 출력은 제 1 분기 (922) 및 제 2 분기 (924) 를 포함하는 제 1 잔여 네트워크 블록 (920) 에 공급한다. 잔여 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 1 분기 (922) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 도 9a 는 또한 전술한 바와 같이 제 1 재결합 계층 (926) 및 제 1 ELU (928) 뒤에 출력하는 순방향 데이터를 공급하는 제 1 스킵 연결 (992) 의 시작을 도시한다. 또한 CNN (900) 의 이 단계에 대한 축소는 2 의 팩터에 의해서 이며 (1/2 공간 해상도까지 다운 샘플링되며) 피쳐들의 32 개의 채널들이 이러한 단계에서 사용된다.
도 9b 를 참조하면, CNN (900) 은 제 2 Conv (932), 제 2 배치 놈 계층 (934) 및 제 2 활성화 계층 (936) (예를 들어, 도 9b 의 ELU) 을 포함하는 제 2 다운 샘플링 블록 (930) 을 더 포함한다. 제 2 다운 샘플링 블록 (930) 은 제 1 ELU (928) 로부터 출력을 수신하도록 구성된다. 제 2 Conv (932) 는 커널 크기와 스트라이드에 대해 서로 다른 매개 변수를 가질 수 있다. 여기서 커널은 다시 5x5 이고 스트라이드는 다시 2 픽셀이다. 계층 (936) 으로부터의 출력은 제 3 분기 (942) 및 제 4 분기 (944) 를 포함하는 제 2 잔여 네트워크 블록 (940) 에 공급한다. 잔여 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 1 분기 (942) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 도 9b 는 또한 전술한 바와 같이 제 2 재결합 계층 (946) 및 제 2 ELU (948) 뒤에 출력하는 순방향 데이터를 공급하는 제 2 스킵 연결 (994) 의 시작을 도시한다. 또한 CNN (900) 의 이 단계에 대한 축소는 도 9a 의 이전의 단계에 대해 2 의 팩터에 의해서 이며 (오리지날에 대해 1/4 공간 해상도까지 다운 샘플링되며) 피쳐들의 64 개의 채널들이 이러한 단계에서 사용된다.
도 9c 를 참조하면, CNN (900) 은 제 3 Conv (952), 제 3 배치 놈 계층 (954) 및 제 3 활성화 계층 (956) (예를 들어, 도 9c 의 ELU) 을 포함하는 제 3 다운 샘플링 블록 (950) 을 포함한다. 제 3 다운 샘플링 블록 (950) 은 제 2 ELU (948) 로부터 출력을 수신하도록 구성된다. 제 3 Conv (952) 는 커널 크기와 스트라이드에 대해 서로 다른 매개 변수를 가질 수 있다. 여기서 커널은 다시 5x5 이고 스트라이드는 다시 2 픽셀이다. 계층 (956) 으로부터의 출력은 제 5 분기 (962) 및 제 6 분기 (964) 를 포함하는 제 3 잔여 네트워크 블록 (960) 에 공급한다. 잔여 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 5 분기 (962) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 또한 CNN (900) 의 이 단계에 대한 축소는 2 의 팩터에 의해서 이며 (1/8 공간 해상도까지 다운 샘플링되며) 피쳐들의 128 개의 채널들이 이러한 단계에서 사용된다.
도 9d 를 참조하면, CNN (900) 은 제 1 업 샘플링 블록 (970), 제 2 업 샘플링 블록 (980) 및 제 3 업 샘플링 블록 (990) 을 포함한다. 제 1 업 샘플링 블록 (970) 은 제 1 업 샘플링 Conv (972), 제 1 업 샘플링 배치 놈 계층 (974), 제 1 업 샘플링 재결합 계층 (976) 및 제 1 업 샘플링 활성화 계층 (978) (예를 들어, ELU) 을 포함한다. 제 1 업 샘플링 재결합 계층 (976) 은 제 1 스킵 연결 (992) 로부터 입력을 수신하고, 그 입력을 제 1 업 샘플링 배치 놈 계층 (974) 으로부터의 출력과 결합하고, 그 결합된 출력을 제 1 업 샘플링 활성화 계층 (978) 으로 공급하도록 구성된다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 1 업 샘플링 Conv (972) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 3 잔여 네트워크 (960) 로부터의 출력에 대해 2 의 팩터에 의해서 이며 (1/4 공간 해상도까지 업 샘플링되며) 피쳐들의 64 개의 채널들이 이러한 단계에서 사용된다.
제 2 업 샘플링 블록 (980) 은 제 2 업 샘플링 Conv (982), 제 2 업 샘플링 배치 놈 계층 (984), 제 2 업 샘플링 재결합 계층 (986) 및 제 2 업 샘플링 활성화 계층 (988) (예를 들어, ELU) 을 포함한다. 제 2 업 샘플링 재결합 계층 (986) 은 제 2 스킵 연결 (994) 로부터 입력을 수신하고, 그 입력을 제 2 업 샘플링 배치 놈 계층 (984) 으로부터의 출력과 결합하고, 그 결합된 출력을 제 2 업 샘플링 활성화 계층 (988) 으로 공급하도록 구성된다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 2 업 샘플링 Conv (982) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 1 업 샘플링 블록 (970) 으로부터의 출력에 대해 2 의 팩터에 의해서 이며 (1/2 공간 해상도까지 업 샘플링되며) 피쳐들의 32 개의 채널들이 이러한 단계에서 사용된다.
제 3 업 샘플링 블록 (990) 은 제 3 업 샘플링 Conv (992), 제 3 업 샘플링 배치 놈 계층 (994), 및 제 3 업 샘플링 활성화 계층 (996) (예를 들어, ELU) 을 포함한다. 계층 (996) 은 CNN (900) 에 대한 출력 (999) 을 생성한다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 3 업 샘플링 Conv (992) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 2 업 샘플링 블록 (980) 으로부터의 출력에 대해 2 의 팩터에 의해서 이며 (오리지날 공간 해상도까지 업 샘플링되며) 피쳐들의 3 개의 채널들이 이러한 단계에서 사용된다.
도 7 과 관련하여 상술된 바와 같이, 다양한 실시형태들에서, CNN 을 이용하는 시스템은 이미지 입력으로부터 마이크로-객체 카운트를 획득한다. 시스템은 입력 이미지의 복수의 픽셀들에 주석을 달음으로써 이것을 행할 수 있으며, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다. 이러한 분석을 통해, 마이크로-객체 카운트가 획득될 수 있다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성은 적어도 마이크로 객체 중심, 마이크로 객체 에지 및 비 마이크로 객체 (또는 세포 중심, 세포 에지 및 비세포) 를 포함한다. 도 9d 의 업 샘플링 블록 (990) 은 그것의 3 개의 채널 깊이에 의한 이러한 3 마이크로-객체 특성화를 도시한다. 이와 같이, 도 9d 의 최종 업 샘플링 블록 (990) 은 신경망 (900) 이 정확한 마이크로-객체 (예를 들어, 세포) 카운트를 결정하는데 필요한 객체 특성화를 제공한다.
다양한 실시형태들에 따라, 이미지에서 마이크로-객체들을 자동 검출하기 위한 시스템들 및 방법들이 개시된다. 여러 실시형태들에서, 마이크로-객체는 생물학적 세포이다. 여러 실시형태들에서, 생물학적 세포는 예를 들어 T 세포, B 세포, NK 세포, 대식세포 또는 이들의 조합과 같은 면역 세포이다. 다양한 실시형태들에서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다. 다양한 실시형태들에서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
도 10 은 다양한 실시형태에 따라 이미지에서 마이크로-객체들을 자동 검출하기 위한 방법을 설명하는 예시적인 플로우챠트이다. 예시적인 플로우챠트는, 예를 들어, 이하에서 상세히 설명되는 바와 같이, 도 11의 시스템 (1200) 상에서 수행될 수 있다. 본 명세서에 도시된 바와 같이, 시스템 (1200) 의 이미지 획득 유닛 (1202) 의 이미징 소자 (1206) 에 의해 수행될 수 있는 단계 (1110) 는 미세유체 디바이스의 이미징 데이터를 수신하는 단계를 포함한다.
본원에서 도시된 바와 같이, 단계 (1120) 은 시스템 (1200) 의 이미지 획득 유닛 (1202) 의 이미지 사전 처리 엔진 (1208) 에 의해 구현될 수 있는 예시적인 작업흐름을 상술한다. 단계 (1120) 에서, 상기 방법은 상기 이미지 데이터를 미리 처리하여 상기 이미지 데이터 내의 변칙들을 감소시키는 단계를 포함한다.
본원에서 도시된 바와 같이, 단계 (1130) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 신경망 (1210) 에 의해 구현될 수 있는 예시적인 작업흐름을 상술한다. 단계 (1130) 에서, 방법은 신경망을 이용하여 이미징 데이터의 픽셀 데이터를 처리하여, 복수의 마이크로-객체 특성에 따라 픽셀 데이터에 주석을 달고 픽셀 데이터의 각 픽셀에 대한 확률 값을 출력한다. 출력 확률 값은 복수의 픽셀 마스크의 형태일 수 있고, 각각의 마스크는 복수의 마이크로-객체 특성으로부터의 마이크로-객체 특성에 대응한다. 각각의 마스크는 그 마스크와 연관된 특정 마이크로-객체 특성과 관련하여 이미지에 대한 픽셀 주석들의 세트 (또는 확률 값들의 세트) 를 포함할 수 있다.
본원에 도시된 바와 같이, 단계 (1140) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 임계값 엔진 (1212) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1150) 에서, 이 방법은 임계 값을 적용하여 적어도 어느 픽셀 확률이 정의된 임계값을 충족시키는지를 결정하는 단계를 포함한다.
본원에 도시된 바와 같이, 단계 (1150) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 검출 엔진 (1214) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1160) 에서, 상기 방법은 임계값 적용 이후에 식별 가능한 마이크로-객체들의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
도 11 은 다양한 실시형태에 따라 이미지에서의 마이크로-객체들을 자동 검출하기 위한 시스템의 개략도이다. 본 명세서에서 묘사된 바와 같이, 시스템 (1200) 은 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 및 최종 마이크로-객체를 출력하기 위한 입/출력 디바이스 (I/O 디바이스) (1216) 을 포함할 수 있다.
I/O 디바이스 (1216) 는 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합에 전송될 수 있는 데이터 (예를 들어, 파라미터, 사용자 요건 등) 의 형태일 수 있는 시스템 (1000) (도 5 참조) 의 연관된 디스플레이 디바이스 (1012) 및/또는 입력 디바이스 (1014) 를 포함하도록 구성될 수 있다. I/O 디바이스 (1216) 는 또한 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합에 전송될 수 있는 데이터 (예를 들어, 파라미터, 사용자 요건 등) 의 형태일 수 있는, 시스템 (1000) (도 5 참조) 의 연관된 디스플레이 디바이스 (1012) 및/또는 입력 디바이스 (1014) 를 통해 사용자 입력을 수신하도록 구성될 수 있다. 대안적으로, 또는 조합하여, 컴퓨터 시스템 (1000) (도 5 참조) 의 입력 디바이스 (1014) 는 또한 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합으로 사용자 입력, 파라미터 등을 직접 전송하는데 사용될 수 있다. 또한, I/O 디바이스 (1216) 는 내장된 디스플레이 디바이스 (1012) 상에 예를 들어 검출 엔진 (1214) 으로부터 수신된 데이터 또는 이미지를 디스플레이하도록 구성될 수 있다. 디바이스 (1216) 는 또한 데이터 또는 이미지를 데이터 또는 이미지 디스플레이를 위해 별도의 디스플레이 (1012) 에 전송하도록 구성될 수 있다.
(위의 도 1a 에 도시된 이미징 모듈 (164) 과 같은, 그러나 이에 한정되지 않는) 이미지 획득 유닛 (1202) 은 (이미징 디바이스 (194) 와 같은, 그러나 이에 한정되지 않는) 이미징 소자 (1206) 를 포함할 수 있다. 대안적으로, 유닛 (1202) 은 또한 이미지 사전 처리 엔진 (1208) 을 포함 (또는 하우징) 하도록 구성될 수 있다.
이미징 소자 (1206) 는 하나 이상의 이미지들 (또는 이미지 데이터) 을 캡쳐하도록 구성될 수 있다. 이미지들은 예를 들어 미세유체 디바이스의 복수의 챔버 (예를 들어 격리 펜) 및/또는 주위 구조 (예를 들어, 채널) 일 수 있다. 미세유체 디바이스는 (상기 도 1a-도 1c, 도 2a-도2b, 도 2d, 및 도 2g-도 2h 에 도시된 미세유체 디바이스 (100, 200, 230, 250, 280, 및 290 과 같은, 그러나 이에 한정되지 않는) 본원에서 설명되는 다양한 예들 중 임의의 예를 포함할 수 있다. 미세유체 디바이스는 유동 영역 및 유동 영역에 유체 연결될 수 있는 챔버, 또는 복수의 챔버들을 포함할 수 있으며, 여기서, 챔버들의 각각은 하나 이상의 마이크로-객체들을 유지할 수 있다. 앞에서 언급한 바와 같이, 챔버들은 예를 들어, 격리 펜들일 수 있다. 챔버들은 이들이 사용되는 특정의 애플리케이션에 의해 요구되는 따라 임의의 형상, 사이즈 또는 배향일 수 있는 것으로 이해되어야 한다. 흐름 영역은 (상기 도 1a 및 도 2b 에 도시된 유동 경로 (106) 와 같은, 그러나 이에 한정되지 않는) 단일 유동 경로 또는 복수의 유동 경로들을 제공하는, (상기 도 1a 및 도 2a-도 2c 에 도시된 바와 같은 채널 (122), 및 상기 도 2d-도 2f 에 도시된 바와 같은 유동 채널들 (264) 과 같은, 그러나 이에 한정되지 않는) 단일 미세유체 채널, 또는 복수의 미세유체 유동 채널들일 수 있다. 유동 영역은 단일, 또는 복수의 챔버들과 유체 연통할 수 있다. 대안적으로, 유동 영역은 예를 들어, 밸브와 같은 가역성 클로져를 통해, 단일 챔버, 또는 복수의 챔버들과 유체 연통할 수도 있다. 유동 영역은 앞에서 설명된 바와 같이 입구를 통해서 물질의 유동을 수용하도록 구성될 수 있다. 물질의 유동은 예를 들어, 마이크로-객체들, 결합제 또는 시약들의 유동, 또는 그 물질을 포함하는 배지의 유동을 포함할 수 있다.
다양한 실시형태들에서, 이미징 소자 (1206) 는 추가 처리를 위해 순방향으로 전송하기 전에 캡쳐된 이미지를 리사이징 (resizing) 하도록 구성될 수 있다. 리사이징은 예를 들어 비닝 (binning) (예를 들어, 4 픽셀을 하나로) 에 의해 달성될 수 있다.
이미지 사전 처리 엔진 (1208) 은 다양한 실시형태들에 따라 추가 분석을 위해 이미지를 준비하도록 구성될 수 있다. 예를 들어, 캡쳐 이미지가 엔진 (1208) 에 의해 수신되기 전에 비닝된 경우, 엔진 (1208) 은 비닝을 보상하기 위해 이미지를 풀 사이즈로 리사이징할 수 있다. 엔진 (1208) 은 예를 들어 픽셀 값들 사이의 선형 보간을 사용하여 리사이징할 수 있다. 엔진 (1208) 은 필요에 따라 이미지를 원하는 배향으로 플립핑 및/또는 회전시킬 수 있다. 엔진 (1208) 은, 예를 들어, 도트들 사이에 알려진 간격을 갖는 도트 배열을 검사함으로써 계산된 룩업 테이블을 사용하여 왜곡 정정 단계를 이미지에 적용할 수 있다.
다양한 실시형태들에서, 엔진 (1208) 은 이미지를 가로 질러 레벨 휘도 절차를 실행할 수 있다. 예를 들어, 엔진 (1208) 은 2 차 이상의 차수의 다항식 최적합 정정과 같은 다항식 최적합 정정을 사용할 수 있다. 선택적으로, 사인파 또는 지수 함수가 다항식 함수 대신 사용될 수 있을 것이다. 레벨링은 이미지 휘도에 스케일링 이미지를 곱하여 달성될 수 있으며, 시스템 교정 중에 최적합 함수의 원하는 승수가 결정된다. 엔진 (1208) 은 또한 예를 들어 자동 형광으로부터 유래하는 배경 휘도를 감산하기 위해 방사성 정정을 실행할 수 있다.
다양한 실시형태들에서, 때때로 형광 이미지가 그렇지 않으면 반투명하게 보일 수 있는 세포를 시각화하기 위해 필요하다 (예를 들어, DAPI 는 소정 세포를 더 잘 검출/카운팅하는 수단으로서 핵을 염색하는데 사용될 수 있다). 그러한 경우에, 엔진 (1208) 은 명시야 이미지와 정렬되도록 형광 이미지를 스케일링, 시프팅 및/또는 회전시킬 수 있으며, 교정은 도트 배열을 사용하여 달성된다.
다양한 실시형태들에서, 푸리에 변환은 미세유체 디바이스상의 도전성 실리콘 기판으로부터의 간섭을 감소시키기 위해 사용될 수 있다. 푸리에 변환은 포토-트랜지스터 배열과 같은 도전성 실리콘 기판과 연관된 간섭 및 아티팩트의 식별을 용이하게 하는 이미지의 주파수 표현을 허용한다. 시간 함수 자체의 푸리에 변환은 주파수의 복소수 함수이며, 그의 절대 값은 오리지날 함수에 있는 해당 주파수의 양을 나타내며, 그의 복소수 인수는 해당 주파수의 기본 사인 곡선의 위상 오프셋이다. 푸리에 변환은 오리지날 신호의 주파수 도메인 표현이라고 불린다. 푸리에 변환이라는 용어는 주파수 도메인 표현과 주파수 도메인 표현을 시간 함수와 관련시키는 수학적 연산 모두를 의미합니다. 푸리에 변환은 시간의 함수에 국한되지 않고, 통일된 언어를 가지기 위해, 오리지날 함수의 도메인이 일반적으로 시간 도메인으로서 지칭된다.
아래에서 더 상세히 설명되는 바와 같이, 관심있는 마이크로-객체들은, 예를 들어 광 트랜지스터 배열과 같은 미세유체 디바이스의 피쳐들과 비교하여 유사하고 혼란한 형태를 가질 수도 있다. 또한, 세포와 같은 마이크로-객체는 미세유체 디바이스의 다양한 피쳐들에 비해 상대적으로 반투명할 수 있다. 따라서, 관심있는 마이크로-객체들을 식별하기 전에 미세유체 디바이스의 불필요한 피쳐들 (예를 들어, 광 트랜지스터 배열, 벽 또는 미세유체 디바이스의 회로 소자) 을 식별 및 제거하는 것이 도움이 될 수 있다. 푸리에 분석은 예를 들어, 마이크로-객체 검출 이전에 트랜지스터 패턴을 제거하는데 사용될 수 있다. 이 단계는 엔진 (1208) 내에서, 또는 대안적으로 (이하에서 보다 상세히 설명되는) 마이크로-객체 검출 유닛 (1204) 의 검출 엔진 (1214) 에서의 사후 처리 단계에서 발생할 수 있다.
다양한 실시형태들에서, 이미지를 사전 처리하는 것은 휘도 정규화 또는 콘트라스트 향상을 이용하여 미세유체 디바이스상의 도전성 실리콘 기판으로부터의 간섭을 감소시키는 것을 포함할 수 있다.
다양한 실시형태들에서, 엔진 (1208) 은 전술한 바와 같이 사전 처리된 이미지의 복사본을 생성하여 다양한 '클라이언트'(1220) (예를 들어, GUI, 이미지 처리, 영화 제작, 이미지 캡처, 메모리/스토리지/서버 등) 로 전송할 수 있다.
다양한 실시형태들에서, 워터쉐드 (watershed) 알고리즘은 오리지날 이미지 입력상의 셀 경계를 채우기 위해 사용될 수 있다. 이 알고리즘은 유역 (catchment basin) 으로서의 관심의 객체들 및 유역 주변의 워터세드 라인으로서의 그러한 객체들의 에지들을 갖는 지형도와 매우 흡사하게 이미지를 처리합니다. 그렇게 함으로써, 이 이미지 분석 방법은 객체 (유역) 주변의 객체 경계 (웨터쉐드 라인) 의 더 명확한 정의를 가능하게 한다.
도 11 의 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 은 이미지 획득 유닛 (1202) 에 통신가능하게 접속될 수 있다. 다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 신경망 (1210), 임계값 엔진 (1212) 및 검출 엔진 (1214) 을 포함할 수 있다. 마이크로-객체 검출 유닛 (1204) 의 부분으로서 도시되는 (그리고, 본원에서 설명되는) 각각의 컴포넌트 (예컨대, 엔진, 모듈, 등) 가 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로서 구현될 수 있는 것으로 이해되어야 한다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 이미지 획득 유닛 (1202) 과의 통합된 기구 시스템 어셈블리로서 구현될 수 있다. 즉, 마이크로-객체 검출 유닛 (1204) 및 이미지 획득 유닛 (1202) 은 동일한 하우징 어셈블리 내에 하우징될 수 있으며 종래의 디바이스/컴포넌트 접속 수단 (예컨대, 직렬 버스, 광학적 케이블링, 전기적 케이블링, 등) 을 통해서 통신할 수 있다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 광학, 직렬 포트, 네트워크 또는 모뎀 접속을 통해서 이미지 획득 유닛 (1202) 에 통신가능하게 접속된 (도 11 에 나타낸 바와 같은) 스탠드얼론 컴퓨팅 디바이스로서 구현될 수 있다. 예를 들어, 이미지 프로세싱 유닛은 분석을 위해 마이크로-객체 검출 유닛 (1204) 으로의 이미지 획득 유닛 (1202) 에 의해 획득된 이미징 데이터의 송신을 가능하게 하는 LAN 또는 WAN 접속을 통해서 접속될 수 있다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 의 기능들은 WAN (또는, 등가물) 접속을 통해서 이미지 획득 유닛 1202 에 통신가능하게 접속된 (클라우드 컴퓨팅 네트워크와 같은) 공유된 컴퓨터 프로세싱 리소스들의 분산 네트워크 상에서 구현될 수 있다. 예를 들어, 마이크로-객체 검출 유닛 (1204) 의 기능들은 AMAZON WEB SERVICES™ 과 같은 클라우드 프로세싱 서비스 상의 하나 이상의 컴퓨팅 노드들에서 구현되도록 분할될 수 있다.
신경망 (1210) 은 이미지 사전 처리 엔진 (1208)으로부터 입력된 이미지 데이터를 수신하고, 복수의 마이크로-객체 특성에 따라 이미지 데이터의 픽셀 데이터에 주석을 달고, 픽셀 주석에 기초하여 픽셀 데이터의 각 픽셀에 대한 확률 값을 할당하고, 및 확률 이미지 데이터를 출력하도록 설계 및 구성될 수 있다. 신경망 (1210) 은 콘볼루션 신경망일 수 있고, 상술한 아키텍처 예들 (예컨대, 도 7, 8 및 9a-9d 및 관련 논의 참조)의 임의의 조합을 이용하는 아키텍처를 가질 수 있다.
임계값 엔진 (1212) 은 신경망 (1210) 으로부터 출력된 확률 이미지 데이터를 수신하고 어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하기 위해 주어진 임계값을 적용하도록 설계 및 구성될 수 있다. 예를 들어, 다양한 실시형태들에서, 마이크로-객체 유형은 세포 중심, 세포 경계, 또는 비세포 유형 중 어느 하나 일 수 있고, 원형성 피쳐, 크기 피쳐 또는 양자 모두와 같은 마이크로-객체 특성을 포함한다. 픽셀 주석에 할당된 확률은 할당된 임계값과 비교되어 임계값 아래의 픽셀의 추가의 분석 또는 제거를 용이하게 할 수 있다. 임계값은 사용자 정의될 수 있으며 픽셀 주석에 대한 확률이 임계 값보다 낮으면 픽셀 주석을 다른 유형으로 재분류할 수 있다. 일반적으로 할당되는 확률은 픽셀 주석의 신뢰성을 나타낸다. 예를 들어, 확률은 다음과 같이 할당될 수 있다: 경계의 경우 0.15, 세포 중심의 경우 0.8, 비세포의 경우 0.05. 픽셀의 클러스터가 분석될 때, 정확한 식별의 가능성을 결정하기 위해 각 픽셀 주석이 이웃하는 픽셀과 함께 사용될 수 있다.
도 11 의 시스템 (1200) 의 검출 엔진 (1214) 은 임계값 엔진 (1212) 에서 임계값 분석을 위해 정정된 이미지 출력 데이터를 수신하고, 이미지 사후 처리 기술을 적용하고, 마이크로-객체 카운트를 출력하도록 설계 및 구성될 수 있다.
수많은 사후 처리 기술이 다음과 같이 제공된 몇 가지 예와 함께 고려된다. 엔진 (1214) 은 (미세유체 디바이스에서) 격리 펜의 CAD 모델을 실제 이미지 출력에 정렬하여 펜이 있는 위치를 정밀하게 찾도록 구성될 수 있다. (검출되는 셀 유형에 따른) 형광 이미지의 경우 , 엔진 (1214) 은, 예를 들어, 블러 (이미지) 루틴으로부터 얻어진 대응하는 이미지를 감산함으로써 뺄셈에 의해 배경을 제거하도록 구성될 수 있다. 엔진 (1214) 은 또한 마이크로-객체 카운트를 위해 개별 펜으로 이미지 출력을 절단하도록 구성될 수 있다. 엔진 (1214) 은 또한 관심의 객체 주위의 임의의 구조 (예를 들어, 미세유체 디바이스 또는 펜 벽) 를 제거할 수 있는 픽셀 마스크를 적용할 수 있다. 최종적으로, 엔진 (1214) 은 임계값 및 사후 처리 후에 식별 가능한 객체들에 기초하여 마이크로-객체 카운트를 결정할 수 있다. 엔진 (1214) 으로부터의 그 카운트 및 출력 이미지는 I/O 디바이스 (1216) 로 전송될 수 있으며, 여기서 그것은 예를 들어 저장되거나, 메모리 스토리지로 전송되거나, 추가로 분석되고 및/또는 클라이언트 (1220) 전송될 수 있다.
다양한 실시형태들에 따르면, 이미지 획득 유닛 (1202) 및 마이크로-객체 검출 유닛 (1204) 은 단일 물리 유닛으로 통합될 수 있다. 대안적으로, 이미지 획득 유닛 (1202) 및 마이크로-객체 검출 유닛 (1204) 은, 유닛들이 여전히 정보를 교환하도록 통신가능하게 접속되도록 독립적인 유닛들로 제공되면, 분리가능하게 배향될 수 있다.
위에서 설명된 마이크로-객체 검출 유닛 (1204) 의 각각의 컴포넌트는 하드웨어일 수도 있거나 또는 부분적으로 또는 전체적으로 소프트웨어 모듈일 수도 있다.
마이크로-객체의 자동화된 검출. 이미지에서의 관심의 마이크로-객체를 자동으로 검출하는 방법이 제공된다. 관심있는 마이크로 객체는 이미지의 하나 이상의 다른 피쳐와 비교하여 유사하고 혼동시키는 형태를 가질 수 있다. 예를 들어, 일부 경우에, 미세유체 디바이스 내에 배치된 마이크로-객체의 검출은 관심있는 마이크로-객체와 유사한 형태를 갖는 미세유체 디바이스의 피쳐에 의해 복잡해질 수 있다. 예를 들어, 세포의 직경이 10 마이크론인 경우, 양 디멘젼들에서 10 마이크론 피치를 갖는 포토트랜지스터 배열 (즉, 각 포토트랜지스터는 10 마이크론 x 10 마이크론 크기를 가짐) 로부터 세포를 구별하기 어려울 수 있다. 또한, 세포와 같은 마이크로-객체는 미세유체 디바이스의 다양한 피쳐들에 비해 상대적으로 반투명할 수 있다. 따라서, 관심있는 마이크로-객체들을 식별하기 전에 미세유체 디바이스의 불필요한 피쳐들 (예를 들어, 광 트랜지스터 배열, 벽 또는 미세유체 디바이스의 회로 소자) 을 식별 및 제거하는 것이 도움이 될 수 있다.
일부 실시형태들에서, 단일 픽셀은 관심있는 마이크로-객체의 단면적보다 실질적으로 작은 미세유체 디바이스 내의 면적에 대응할 수 있다. 예를 들어, 마이크로-객체는 약 80 미크론2 의 단면적을 가질 수 있는 반면, 픽셀은 약 2 미크론2 의 면적에 대응할 수있다. 그러한 실시형태들에서, 픽셀의 하나 이상의 클러스터는 마이크로-객체의 단면적을 커버하도록 요구될 것이다 (예를 들어, 상기 예에서, 마이크로-객체의 단면적을 커버하기 위해 실질적으로 40 픽셀을 취하거나, 또는 마이크로-객체의 원주의 단면적을 커버하기 위해 24 픽셀을 취할 것이다).
픽셀 클러스터의 세트의 분석은 픽셀 클러스터의 영역 및 원주를 제외하고 다수의 다른 피쳐들을 더 포함할 수 있다. 픽셀 클러스터의 세트는 전역 형태 (즉, 하나 이상의 픽셀 클러스터의 세트의 크기 및 형상), 국소 형태 (즉, 개별 픽셀 클러스터의 크기 및 형상), 양 및 음의 광 강도 값 Li, 및 이들 요소의 조합에 기초한 다른 피쳐들 (예를 들어, 크기의 함수로서의 광 강도) 에 따라 분석될 수도 있다. 상술한 피쳐들이 마이크로-객체들의 이미지들의 세트에 대해 컴퓨팅되고 동일한 피쳐들에 기초하여 새로운 이미지에서 관심의 대상이되는 마이크로-객체를 식별하기 위해 분류기를 트레이닝시키는데 사용되는 전통적인 기계 학습 기술을 포함하는 여러 방법들이 픽셀 클러스터들의 세트를 분석하기 위해 사용될 수도 있다.
마이크로-객체 식별 (아래에서 더 자세히 논의됨) 은 또한 OET 또는 DEP 힘과 같은 힘을 사용하여 마이크로-객체를 조작하거나 재포지셔닝하는 것과 관련하여 사용될 수 있습니다. 일부 실시형태들에서, 미세유체 회로의 특정 회로 요소 (예를 들어, 채널 또는 격리 펜) 또는 위치에서 식별되는 마이크로-객체는 미세유체 회로의 다른 유형의 회로 요소 또는 위치로 이동 (즉, 리포지셔닝) 될 수도 있다. 예를 들어, 마이크로-객체는 미세유체 회로의 채널에서 식별되고 미세유체 회로 내의 격리 펜에 재포지셔닝될 수도 있다 (본 명세서에서 마이크로-객체를 "페닝 (penning)하는 것” 으로 지칭됨). 반대로, 미세유체 회로의 격리 펜에서 식별된 마이크로-객체는 미세유체 회로의 채널로 이동될 수도 있다. 대안적으로, 하나 이상의 마이크로-객체가 하나의 격리 펜 내에서 식별되고 빈 격리 펜에 재포지셔닝될 수도 있다 (여기서는 마이크로-객체를 "재페닝 (re-penning)하는 것” 으로 지칭됨). 본 실시형태에 따르면, 마이크로-객체는 OET 및 DEP 힘을 포함하는 다양한 메카니즘을 사용하여 이동될 수도 있다. 유사하게, 마이크로-객체는 순차적으로 (즉, 한번에 하나의 마이크로-객체), 병렬로, 또는 이들의 임의의 조합으로 (예를 들어, 병렬인 다수의 세포의 그룹들을 순차적으로 재포지셔닝) 재포지셔닝될 수도 있다.
마이크로-객체가 채널로부터 개별 격리 펜으로 재포지셔닝 (또는 개별 격리 펜으로부터 다른 격리 펜으로 재페닝) 되는 경우, 서로 다른 알고리즘이 사용되어 빈 격리 펜에 마이크로-객체를 할당할 수도 있다. 일부 실시형태들에서, 알고리즘은 마이크로-객체와 펜 사이의 거리 (즉, 마이크로-객체가 재포지셔닝 동안 이동해야 하는 궤적 또는 경로) 가 최소화되도록 빈 격리 펜에 마이크로-객체를 할당하는데 사용될 것이다. 이들 실시형태들에서, 마이크로-객체는 빈 격리 펜에 재포지셔닝되기 위해 최소 거리만을 이동할 것이 요구되기 때문에, 마이크로-객체를 이동시키는 힘 (예를 들어 OET 또는 DEP 힘) 의 사용도 또한 최소화된다.
이들 실시형태들에서, 채널 내의 국소 마이크로-객체 밀도 (즉, 채널의 특정 공간 영역 내의 마이크로-객체의 수) 는 채널 내의 특정 마이크로-객체를 빈 격리 펜으로 할당하기 위한 적절한 알고리즘을 결정하는데 사용될 수도 있다 . 국소 마이크로-객체 밀도는 여러 가지 방법으로 컴퓨팅될 수도 있다. 일부 실시형태들에서, 국소 마이크로-객체 밀도는 고정된 크기 면적 (예를 들어, 200 미크론2, 또는 채널 길이가 100 마이크론이고 채널의 너비가 확장된 면적) 에 기초하거나 다양한 크기의 면적을 사용하는 접근법을 사용하여 컴퓨팅될 수도 있다. 다른 실시형태들에서, 국소 마이크로-객체 밀도는 식별된 마이크로 객체들의 클러스터 또는 식별 된 마이크로 객체들 사이의 거리에 기초하여 계산될 수도 있다. 국소 마이크로 객체 밀도는 채널을 그리드로 세분화하거나 채널의 중첩 영역에 대한 밀도를 계산하기 위해 "슬라이딩 윈도우 (sliding window)"접근법을 사용함으로써 계산될 수도 있다.
국소 마이크로-객체 밀도가 임계 값 T1 density 이상이면, 마이크로-객체와 격리 펜 사이의 거리가 최소화되도록 가장 가까운 빈 격리 펜에 마이크로-객체가 할당될 수도 있다. 국소 마이크로-객체 밀도가 특정 임계 값 T1 density 이하이면, 마이크로-객체와 격리 펜 사이의 거리가 최소화되도록 빈 격리 펜에 가장 근접한 마이크로-객체에 빈 격리 펜이 할당될 수도 있다. 경우에 따라, 국소 T1 density 는 빈 펜의 수뿐만 아니라 소정의 이웃 영역 내의 채널 내의 마이크로-객체의 밀도에 기초하여 계산될 수도 있다.
마이크로-객체와 빈 격리 펜 사이의 거리 (즉, 페닝 중에 마이크로-객체 또는 경로가 이동될 필요가 있는 궤적) 를 계산하는 다양한 방법이 사용되어 특정 마이크로-객체를 빈 격리 펜에 할당할 수도 있다. 일부 실시형태들에서, 마이크로-객체와 잠재적 격리 펜 사이의 거리는 OET 및/또는 DEP 힘을 사용하여 최적의 궤적에만 기초하여 계산될 수도 있다. 어떤 경우에는 OET 또는 DEP 힘을 사용하는 최적의 궤적은 마이크로 객체를 이동시키기 위해 직교 모션 경로의 조합 (예를 들어, y 축과 x 축만을 따른 별개의 운동의 조합) 을 수반한다. 다른 경우, 거리는 제약없이 마이크로 객체와 격리 펜 사이의 가능한 가장 짧은 경로에 기초할 수도 있다 (즉, 마이크로 객체는 격리 펜에 도달하기 위해 임의의 경로를 따라 이동할 수도 있다). 대부분의 실시형태들에서, 거리 (궤적) 를 계산하는데 사용된 알고리즘에 의해 결정된 것과 동일한 궤적을 사용하여 마이크로-객체가 재포지셔닝 (즉, "페닝"또는 "재페닝") 될 것이다.
유사하게, 다수의 마이크로-객체가 격리 펜에 할당되는 경우 (또는 그 반대), 상이한 알고리즘이 펜으로의 마이크로-객체의 최적 할당을 계산하는데 (또는 그 반대로) 사용될 수도 있다. 이러한 알고리즘은 마이크로-객체를 격리 펜으로 재포지셔닝하기 위해 마이크로-객체가 이동해야 하는 전체 거리 (즉, 궤적의 길이) 를 최소화하는 마이크로-객체 대 격리 펜 할당을 결정하는 상이한 계산 방법을 사용할 수 있다. 예를 들어, 그 알고리즘은 모든 궤적의 길이의 합을 휴리스틱 (heuristic) 으로 사용하여 마이크로-객체가 이동할 필요가 있는 거리를 최소화할 수도 있다. 일부 실시형태들에서, 재포지셔닝 중에 마이크로 객체가 이동될 수 있는 최대 거리와 같은 제약이 최적 할당의 계산에 도입될 수도 있다. 다양한 조합 알고리즘이 마이크로-객체와 격리 펜 사이의 최적 할당을 계산하는 데 사용될 수도 있다. 적절한 알고리즘은 그리디 알고리즘, 비선형 최적화, 휴리스틱 기반 알고리즘 및 제약된 검색을 포함한다. 다른 유사한 알고리즘이 본 기술에서 알려져 있다.
일단 마이크로 객체에 대한 최적 할당 및 궤적이 계산되면, OET 및/또는 DEP 와 같은 힘이 마이크로 객체를 할당된 펜으로 이동시키기 위해 사용될 수도 있다. 마이크로-객체를 둘러싸고 OET 및/또는 DEP 힘에 마이크로-객체를 종속시키는 "광 케이지” 와 같은 광의 패턴을 사용하여 또는 바 또는 유사한 구조를 사용하여 OET 및/또는 DEP 힘을 마이크로-객체에 적용함으로써 마이크로 객체가 재포지셔닝될 수도 있다. 일반적으로, 광 케이지는 마이크로 객체를 실질적으로 둘러싸는 구조 (예를 들어, 정사각형, 원 또는 다각형) 일 것이다. 그러나 어떤 경우에는, 광 케이지는 마이크로-객체가 완전히 둘러싸이지 않도록 차단부 또는 개구부를 포함할 수도 있다.
상술한 바와 같이, 대부분의 실시형태들에서, 마이크로-객체는 펜에 대한 마이크로-객체의 최적 할당을 계산하는데 사용된 거리 (궤적) 에 따라 이동될 것이다. 실시형태에 따르면, 마이크로-객체는 순차적으로 또는 병렬로, 이들의 임의의 조합으로 (예를 들어, 병렬인 세포들의 그룹을 순차적으로 이동) 이동될 수도 있다. 마이크로 객체가 병렬로 이동되는 실시형태들에서, 최적 할당 또는 궤적을 계산하기 위해 사용된 알고리즘은 궤적들을 비교하고, 궤적 및 펜에 대한 마이크로-객체의 할당을 변경함으로써 마이크로 객체가 병렬로 이동될 때 마이크로 객체가 충돌하지 않도록 보장할 수도 있다. 특정 실시형태에서, 알고리즘은 잠재적인 충돌이 식별될 때 펜에 대한 마이크로 객체 할당을 "교환"할 수도 있다. 본 실시형태에서, 제 1 마이크로 객체에 대한 최적 궤적이 제 2 마이크로 객체에 대한 최적 궤도와 교차 할 때, 제 1 마이크로 객체에 대한 최적 궤적이 제 2 마이크로 객체에 할당되고 제 2 마이크로 객체에 대한 최적 궤적이 제 1 마이크로 객체에 할당된다. 또 다른 특정 실시형태에서, 알고리즘은 제 1 및 제 2 마이크로-객체가 충돌없이 각각의 궤적을 따라 이동할 수있는 그러한 시간까지 제 1 마이크로-객체의 재포지셔닝을 지연시킨다.
어떤 경우, 마이크로-객체 밀도가 너무 높아서 마이크로-객체를 격리 펜에 할당하고 마이크로-객체를 재포지셔닝 (즉, "페닝” 또는 "재페닝”) 하기 전에 마이크로-객체가 서로 분리될 필요가 있을 수도 있다. 예를 들어, 마이크로-객체 밀도가 너무 높아서 OET 및/또는 DEP 힘을 사용하여 객체를 재포지셔닝하는 데 사용되는 광 케이지가 다른 마이크로-객체와 간섭하지 않고 단일 마이크로-객체상에서 사용될 수 없기 때문에 마이크로-객체는 OET 및/또는 DEP 힘을 사용하여 페닝될 수 없을 수도 있다. 이러한 간섭은 마이크로-객체에 적용되는 OET 및/또는 DEP 힘의 양을 최소화하는 것이 중요한 경우에 특히 중요합니다. 예를 들어, 마이크로-객체가 OET 및/또는 DEP 힘 또는 OET 힘의 부산물 (예를 들어, OET 및/또는 DEP 힘과 연관된 전기 분해) 에 의해 해를 입을 수 있다. 이러한 경우에, 마이크로- 객체 식별 동안 생성된 정보 (예를 들어, 마이크로-객체의 반경, 중심, 외주 및 위치) 는 마이크로-객체가 다른 세포와 간섭 하지 않고 (여기서 마이크로-객체를 “분리하는 것” 으로서 지칭됨) 페닝 또는 재페닝될 수 있도록 마이크로-객체를 이동시키는데 사용될 수도 있다.
페닝 전에 마이크로-객체가 분리될 필요가 있는 경우를 식별하기 위해, 국소 마이크로-객체 밀도가 정의된 공간 영역에 기초하여 계산되고 제 2 임계 값 T2 density 과 비교될 수도 있다 . 대안적으로, 마이크로-객체들 사이의 거리가 계산되고 (예를 들어, 마이크로-객체의 중심 사이의 거리, 마이크로-객체의 외주 사이의 거리), 마이크로-객체가 분리되어야 하는지를 결정하는데 사용될 수도 있다. 그러나, 인정될 수 있는 바와 같이, 일부 예에서, 마이크로-객체들 사이의 거리는 너무 작아서 마이크로-객체를 개별 마이크로-객체 및 마이크로-객체로서 식별할 수 없을 수도 있다. 이러한 경우, 각 격리 펜이 하나의 마이크로-객체를 포함하는 것을 보장하기 위해 마이크로-객체를 재포지셔닝 (즉 "페닝") 한 후 마이크로-객체가 재식별될 수도 있다.
일부 실시형태들에서, 광 박스 (light box) 는 페닝 (또는 재페닝) 전에 또는 그 동안 마이크로-객체를 분리하는데 사용된다. 광 박스 (또는 광 케이지) 를 형성할 때, 분할 알고리즘이 사용되어 미세유체 디바이스의 공간 영역 (예를 들어, 채널 또는 격리 펜의 일부) 내의 각각의 식별된 마이크로-객체를, 동일한 공간 영역 내의 다른 마이크로-객체로부터 파티셔닝하는 정점들의 세트를 계산할 수 있다. 그러나, 당업자가 알 수 있는 바와 같이, 그 정점들 세트는 미세유체 디바이스의 공간 영역 내의 마이크로-객체들의 서브세트 만이 다른 마이크로-객체로부터 분리되도록 그려질 수도 있다. 예를 들어, 정점들의 세트는 다른 마이크로-객체와의 근접성으로 인해 재포지셔닝될 필요가 있는 공간 영역 내의 마이크로-객체들의 서브 세트만 분리할 수도 있다.
특정 실시형태에서, 델로네 삼각 분할은 각각의 마이크로-객체의 중심을 사용하여 계산된다. 델로네 삼각 분할은 마이크로-객체의 중심을 연결하는 삼각형들의 세트를 생성한다. 보로노이 다이어그램은 델로네 삼각 분할을 사용하여 계산된 삼각형의 외접원에 기초하여 계산된다. 보로노이 다이어그램은 정점들의 세트와 마이크로 객체의 중심 사이의 거리가 최대화되도록 공간 영역을 서브 영역들의 세트로 분할하는 정점들의 세트이다. 공간 영역 내의 다른 세포들로부터 각각의 세포를 파티셔닝하는 정점들의 세트를 계산하는 다른 방법들이 당업계에 공지되어있다.
일단 정점들의 세트가 컴퓨팅되었다면, 정점들의 세트는 OET 및/또는 DEP 힘과 함께 사용되어 마이크로-객체를 이동시킬 수 있다. 도 6a 내지 도 6f 는 본 발명의 여러 실시형태들에 따른 마이크로-객체 분리를 예시한다. 도 6a 는 특정된 공간 영역 내의 마이크로-객체 세트의 델로네 삼각 분할 및 대응하는 보로노이 다이어그램을 도시한다. 도 6b 는 델로네 삼각 분할이 없는 대응하는 보로노이 다이어그램을 도시한다. 도 6c 는 보로노이 다이어그램 위에 겹쳐진 마이크로-객체를 이동시키는데 일반적으로 사용되는 광 케이지를 도시한다. 도 6d 는 도 6c 의 전형적인 광 케이지와 보로노이 다이어그램 사이의 교차점을 계산함으로써 생성된 변경된 광 케이지를 도시한다. 도 6e 는 변경된 광 케이지를 사용하여 서로 근접한 마이크로-객체의 분리를 도시한다. 도 6f 는 분리된 마이크로-객체를 도시한다.
일 실시형태에서, 하나 이상의 광 케이지는 정점들의 세트의 정점들의 서브 세트를 링크하는 복수의 광 바를 생성함으로써 생성되며, 여기서 정점들의 서브 세트는 이동될 각 마이크로-객체에 가장 근접하고 그것을 둘러싸는 정점을 포함한다 (또는 정점들로 이루어진다). 예를 들어, 도 6b 에 도시된 임의의 다각형 형상은 마이크로-객체를 둘러싸는 광 케이지를 정의하는데 사용될 수 있다. 특정 실시형태들에서, 이러한 방식으로 형성된 광 케이지는 수축되어 광 케이지 내의 마이크로-객체를 특정 공간 영역 내의 다른 마이크로-객체 및/또는 광 케이지로부터 분리할 수 있다. 다른 실시형태들에서, 광 케이지는 다각형 형상 (도 6c 참조) 상에 "표준” 광 케이지 디자인 (예를 들어, 정사각형 또는 원형) 을 중첩하고, 도 6d 에 도시된 바와 같이, 표준 광 케이지 디자인과 다각형 형상들의 교차로부터 야기되는 광 케이지를 생성함으로써 정의될 수 있다. 이 예에서 정점과 광 케이지의 교차는 광 케이지가 교차하거나 중첩되지 않는 영역으로 정의되어, "표준” 광 케이지가 다른 마이크로-객체와 간섭하지 않도록 다시 그려지는 것을 허용한다. 형성 방법에 관계없이, 일단 형성되면, 광 케이지는 서로 멀리 떨어지게 마이크로-객체를 이동시킴으로써 마이크로-객체를 재포지셔닝함으로써 마이크로-객체를 분리하는데 사용될 수 있다. 경우에 따라, 변경된 광 케이지는 마이크로-객체가 최종 위치에 있을 때 오리지날 광 케이지가 그려지도록 마이크로-객체가 재포지셔닝됨에 따라 다시 그려질 수도 있다.
비표준 (또는 "변경된") 광 케이지는 다양한 실시형태들에서 마이크로-객체를 재포지셔닝하는데 사용될 수도 있다. 실시형태들에 따라, 2 개의 근접한 마이크로-객체에 대한 변경된 광 케이지는 각 마이크로-객체에 대한 격리 펜으로의 궤적 및 할당을 계산하고 선택하기 전 또는 후에 마이크로-객체를 재포지셔닝하는데 사용된다. 일부 실시형태들에서, 변경된 광 케이지는 반복적으로 또는 순차적으로 마이크로-객체를 재포지셔닝하는데 사용된다. 또한, 변경된 광 케이지는 그들의 할당된 격리 펜에서 마이크로-객체를 페닝하는 데 사용될 수도 있다. 일부 실시형태들에서, 공간 영역의 외주에 가장 가깝거나 공간에서 함께 가장 가깝게 있는 마이크로-객체는 다른 마이크로-객체를 재포지셔닝 또는 페닝하기 전에 재포지셔닝되거나 패닝될 수도 있다.
도 4a, 도 4b 및 도 4c 는 광 박스를 사용하여 마이크로-객체 페닝을 도시한다. 도 4a 에서, 미세유체 회로의 채널 내의 생물학적 세포는 세포의 식별 및 펜으로의 세포의 할당 직후에 도시된다. 세포를 둘러싸고 있는 검은색 박스는 세포 식별 알고리즘의 출력을 도시한다 - 즉, 세포 주위에 박스로 표시되는 세포의 식별. 검은색 박스를 둘러싼 흰색 박스는 세포를 재포지셔닝하는 데 사용되는 OET 힘의 광 케이지이다. 마지막으로, 세포를 둘러싼 박스를 격리 펜에 연결하는 검은 선은 격리 펜에 세포를 할당함에 있어서 계산된 최적의 궤적을 도시한다. 도 4b 는 광 케이지가 그들의 선택된 궤적을 따라 이동된 나중 시점의 동일한 세포를 도시한다. 도 4c 는 광 케이지가 격리 펜 내에 세포를 위치시키기 위해 그들의 선택된 궤적을 따라 거의 완전히 이동된 제 3 시점에서의 동일한 세포를 도시한다.
마이크로-객체를 이동시킴에 있어서, OET 및/또는 DEP 가 세포를 이동시키는데 사용되는 속도는 마이크로-객체의 모션을 "램프 업 (ramp up)"시키고 마이크로-객체가 그들의 광 케이지로부터 손실되지 않는 것을 보장하기 위해 점점 가속화될 수도 있다. 예를 들어, 특정 실시형태에서, 마이크로-객체의 초기 속도는 낮은 초기 속도에서 더 높은 이동 속도로 점차적으로 가속될 수도 있다. 이 점진적 가속은 마이크로-객체가 자동으로 재포지셔닝 (예를 들어, 페닝, 재페닝 및 엑스포트) 되는 경우들 및 마이크로-객체가 수동으로 재포지셔닝되는 (예를 들어, 세포를 수동으로 선택하고 및 이동시키는) 경우들 양자 모두에서 적용될 수도 있다. 유사하게, 고속 이동 속도는 마이크로-객체가 그들의 궤적 끝에 도달하고 그들의 최종 위치에 있을 때 제로의 최종 속도로 "램프 다운"될 수도 있다.
본 발명의 방법은 모든 타입의 미세유체 디바이스에서 마이크로-객체의 자동화된 검출에 유용하다. 특정 실시형태들에서, 미세유체 디바이스는 유동 영역 (또는 유동 채널) 및 하나 이상의 챔버 (또는 격리 펜) 를 포함할 수 있다. 선택적으로, 또는 부가 적으로, 미세유체 디바이스는 광학적으로 작동되는 동전기 디바이스와 같은 동전기 디바이스일 수 있거나 전기역학을 위해 구성된 영역을 포함할 수 있다. 동전기 디바이스, 특히 트랜지스터 (예를 들어 포토트랜지스터) 의 배열을 갖는 동전기 디바이스는 배열 내의 트랜지스터가 검출되고 있는 마이크로-객체의 단면적과 유사한 면적을 갖는 경우에 특히 복잡한 배경을 제공할 수 있다. 본 명세서에 설명된 방법은 그러한 디바이스에 배치된 마이크로-객체를 검출하는데 특히 효과적일 수 있다.
소정의 실시형태들에서, 본 발명은 여기에 기술된 임의의 방법들을 수행하기 위한 비일시적 머신 판독가능 명령들을 저장하기 위한 머신 판독가능 저장 디바이스들을 더 제공한다. 머신-판독 가능 명령은 이미지를 획득하는데 사용되는 이미징 디바이스 및/또는 이미지를 정렬하고, 차동 이미지를 생성하고, 및/또는 차동 이미지를 분석하는 (예를 들어, 계산 디바이스 내의) 프로세서를 제어할 수 있다.
본원에서 설명하는 방법론들은 애플리케이션에 따라서 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현을 위해, 프로세싱 유닛은 하나 이상의 주문형 집적회로들 (ASICs), 디지털 신호 프로세서들 (DSPs), 디지털 신호 프로세싱 디바이스들 (DSPDs), 프로그래밍가능 로직 디바이스들 (PLDs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에서 설명되는 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
다양한 실시형태들에서, 본 교시의 방법은 펌웨어 및/또는 소프트웨어 프로그램 및 C, C ++ 등과 같은 종래의 프로그래밍 언어로 작성된 애플리케이션으로 구현 될 수도 있다. 펌웨어 및/또는 소프트웨어로서 구현되는 경우, 여기에 기술된 실시형태들은 컴퓨터로 하여금 전술한 방법을 수행하게 하는 프로그램이 저장된 비일시적 컴퓨터 판독 가능 매체 상에 구현될 수있다. 본원에서 설명되는 다양한 엔진들이 도 5 의 컴퓨터 시스템 (1000) 과 같은 컴퓨터 시스템 상에 제공될 수 있으며, 이에 의해 프로세서 (1004) 가 메모리 컴포넌트들 (1006/1008/1010) 및 입력 디바이스 (1014) 를 통해서 제공되는 사용자 입력 중 임의의 하나, 또는 이들의 조합에 의해 제공되는 명령들에 따라, 이들 엔진들에 의해 제공되는 분석들 및 결정들을 실행할 것으로 이해되어야 한다.
본 교시들은 다양한 실시형태들과 함께 설명되지만, 본 교시들은 이러한 실시형태들에 한정되는 것으로 의도되지 않는다. 반대로, 본 교시들은 당업자들이 주지하고 있는 바와 같이, 다양한 대안들, 변경들, 및 등가물들을 포괄한다.
또, 다양한 실시형태들을 설명할 때, 본 명세서는 방법 및/또는 프로세스를 스텝들의 특정의 시퀀스로서 제시하였을 수도 있다. 그러나, 그 방법 또는 프로세스가 본원에서 개시된 스텝들의 특정의 순서에 의존하지 않는 한, 본 방법 또는 프로세스는 설명된 스텝들의 특정의 시퀀스에 한정되지 않아야 한다. 당업자가 주지하고 있는 바와 같이, 다른 스텝들의 시퀀스들이 가능할 수도 있다. 따라서, 명세서에서 개시된 스텝들의 특정의 순서는 청구범위에 대한 한정들로서 간주되지 않아야 한다. 게다가, 본 방법 및/또는 프로세스에 관한 청구범위는 서술된 순서로 이들의 스텝들의 수행에 한정되어서는 안되며, 당업자는 시퀀스들이 다양할 수도 있으며 여전히 다양한 실시형태들의 정신 및 범위 내에 있음을 쉽게 알 수 있다.
본원에서 설명하는 실시형태들은, 핸드-헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서-기반 또는 프로그래밍가능 가전제품, 미니 컴퓨터들, 메인프레임 컴퓨터들 및 기타 등등을 포함한, 다른 컴퓨터 시스템 구성들로 실시될 수 있다. 실시형태들은 또한 태스크들이 네트워크를 통해서 링크된 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다.
또한, 본원에서 설명하는 실시형태들이 컴퓨터 시스템들에 저장된 데이터를 포함하는 다양한 컴퓨터-구현 동작들을 채용할 수 있는 것으로 이해되어야 한다. 이들 동작들은 물리량들의 물리적인 조작을 필요로 하는 동작들이다. 대개, 반드시는 아니지만, 이들 양들은 저장, 전달, 결합, 비교, 및 기타 조작이 가능한 전기 또는 자기 신호들의 형태를 취한다. 또, 수행되는 조작들은 발생, 식별, 결정, 또는 비교와 같은, 용어들로 종종 지칭된다.
본원에서 설명하는 실시형태들의 부분을 형성하는 동작들 중 임의의 동작은 유용한 머신 동작들이다. 본원에서 설명되는, 실시형태들은, 또한 이들 동작들을 수행하는 디바이스 또는 장치에 관한 것이다. 본원에서 설명되는 시스템들 및 방법들은, 요구된 목적들을 위해 특별히 구성될 수 있거나 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 또는 구성되는 범용 컴퓨터일 수도 있다. 특히, 다양한 범용 머신들이 본원에서의 교시들에 따라서 작성된 컴퓨터 프로그램들과 함께 사용될 수도 있거나, 또는 요구된 동작들을 수행하기 위해 보다 특수화된 장치를 구성하는 것이 더욱 편리할 수도 있다.
어떤 실시형태들은 또한 컴퓨터 판독가능 매체 상에 컴퓨터 판독가능 코드로서 구현될 수 있다. 컴퓨터 판독가능 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 이후 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독가능 매체의 예들은 하드 드라이브들, NAS (network attached storage), 판독 전용 메모리, 랜덤-액세스 메모리, CD-ROM들, CD-R들, CD-RW들, 자기 테이프들, 및 다른 광학적, 플래시 메모리 및 비-광학적 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독가능 매체는 또한 컴퓨터 판독가능 코드가 분산된 방식으로 저장 및 실행되도록 네트워크 커플링된 컴퓨터 시스템들 상에 걸쳐서 분산될 수 있다.
본 발명의 특정 실시형태들 및 애플리케이션들이 본 명세서에서 설명되어 있으나, 이들 실시형태들 및 애플리케이션들은 단지 예시적이며, 많은 변형들이 가능하다.
본 개시의 일부 실시형태들의 열거.
1. 이미지에서의 마이크로-객체들의 자동화된 검출을 위한 방법으로서, 그 방법은 대응하는 복수의 마이크로-객체 특성들에 대해 상기 이미지로부터 복수의 픽셀 마스크들을 생성하는 단계로서, 상기 복수의 픽셀 마스크들을 생성하는 단계는 기계 학습 알고리즘을 사용하여 상기 이미지로부터의 픽셀 데이터를 프로세싱하는 단계를 포함하고, 각각의 픽셀 마스크는 픽셀 주석들의 세트를 포함하고, 상기 세트의 각각의 픽셀 주석은 상기 이미지에서의 대응하는 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타내는, 상기 복수의 픽셀 마스크들을 생성하는 단계; 및 상기 복수의 픽셀 마스크들 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계를 포함한다.
2. 실시형태 1 의 방법, 여기서 상기 마이크로-객체 카운트는 상기 복수의 픽셀 마스크들의 픽셀 마스크들의 조합으로부터 획득된다.
3. 실시형태 1 또는 2 의 방법, 여기서 상기 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성들을 포함한다.
4. 실시형태 1 또는 2 의 방법, 여기서, 상기 복수의 마이크로-객체 특성들은 적어도: (i) 마이크로-객체 중심; (ii) 마이크로-객체 에지; 및 (iii) 비 마이크로-객체를 포함한다.
5. 실시형태 4 의 방법, 여기서
상기 마이크로-객체 카운트를 획득하는 단계는 마이크로-객체 중심 특성에 대응하는 상기 픽셀 마스크 또는 상기 마이크로-객체 중심 특성에 대응하는 상기 픽셀 마스크를 포함하는 픽셀 마스크들의 조합으로부터 마이크로-객체 카운트를 획득하는 단계를 포함한다.
6. 실시형태들 1 내지 5 중 어느 하나의 방법, 여기서 상기 기계 학습 알고리즘은 신경망 (예를 들어, 콘보루션 신경망) 을 포함한다.
7. 실시형태 6 의 방법, 여기서 상기 신경망은 복수의 다운 샘플링 블록들 (예를 들어, 적어도 2, 3, 4 개 등의 다운 샘플링 블록들) 을 포함하며, 각 다운 샘플링 블록은 제 1 다운 샘플링 콘볼루션 계층, 제 1 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 1 ELU 계층을 포함하고, 제 1 다운 샘플링 콘볼루션 계층들 각각은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시킨다.
8. 실시형태 7 의 방법, 여기서 상기 다운 샘플링 블록들 중 하나 이상 (예를 들어, 각각) 은 상기 제 1 다운 샘플링 콘볼루션 계층, 상기 제 1 배치 정규화 계층, 및 상기 제 1 ELU 계층으로 이루어지고 (또는 본질적으로 이루어지고), 상기 제 1 ELU 계층은 상기 제 1 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 배치 정규화 계층은 상기 제 1 다운 샘플링 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
9. 실시형태 7 또는 8 의 방법, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 (예를 들어, 콘볼루션 필터 (또는 커널) 를 한 번에 2 픽셀 슬라이딩시킴으로써) 그것이 수신하는 상기 이미지 데이터의 공간 해상도를 감소시킨다.
10. 실시형태들 7 내지 9 중 어느 하나의 방법, 여기서 제 1 다운 샘플링 콘볼루션 계층들 각각은 5x5 콘볼루션 필터를 포함한다.
11. 실시형태들 7 내지 10 중 어느 하나의 방법, 여기서 상기 복수의 다운 샘플링 블록들 중 하나 이상 (예를 들어, 각각) 의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속된다.
12. 실시형태 11 의 방법, 여기서 상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리한다.
13. 실시형태 12 의 방법, 여기서 상기 잔여 네트워크 블록의 제 1 분기는 제 2 콘볼루션 계층, 제 2 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 2 ELU 계층을 포함한다.
14. 실시형태 13 의 방법, 여기서 상기 잔여 네트워크 블록의 제 1 분기는 상기 제 2 콘볼루션 계층, 상기 제 2 배치 정규화 계층, 및 상기 제 2 ELU 계층으로 이루어지고 (또는 본질적으로 이루어지고), 상기 제 2 ELU 계층은 상기 제 2 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 배치 정규화 계층은 상기 제 2 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
15. 실시형태 13 또는 14 의 방법, 여기서 상기 제 2 콘볼루션 계층은 1x1 콘볼루션 필터를 포함한다.
16. 실시형태들 11 내지 15 중 어느 하나의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 콘볼루션 계층 및 배치 정규화 계층을 포함한다.
17. 실시형태 16 의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 제 3 콘볼루션 계층, 제 3 배치 정규화 계층, 게이팅 함수를 포함하는 제 3 ELU 계층, 제 4 콘볼루션 계층, 및 제 4 배치 정규화 계층으로 이루어지고(또는 본질적으로 이루어지고), 상기 제 4 배치 정규화 계층은 상기 제 4 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 4 콘볼루션 계층은 상기 제 3 ELU 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 3 ELU 계층은 상기 제 3 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 3 배치 정규화 계층은 상기 제 3 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
18. 실시형태 16 또는 17 의 방법, 여기서 상기 제 3 콘볼루션 계층은 3x3 콘볼루션 필터를 포함한다.
19. 실시형태 17 또는 18 의 방법, 여기서 상기 제 4 콘볼루션 계층은 3x3 콘볼루션 필터를 포함한다.
20. 실시형태 11 내지 19 중 어느 하나의 방법, 여기서 상기 잔여 네트워크 블록의 제 1 분기 (예를 들어, 제 1 분기의 ELU 계층) 및 상기 잔여 네트워크 블록의 제 2 분기 (예를 들어, 제 2 분기의 제 4 배치 정규화 계층) 로부터의 이미지 데이터는 재결합되고, 게이팅 함수를 포함하는 제 4 ELU 계층으로 전송된다.
21. 실시형태 6 내지 20 중 어느 하나의 방법, 여기서 상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함한다.
22. 실시형태 21 의 방법, 여기서 상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
23. 실시형태 21 또는 22 의 방법, 여기서 상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함한다.
24. 실시형태 21 내지 23 중 어느 하나의 방법, 여기서 상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
25. 실시형태 7 내지 24 중 어느 하나의 방법, 여기서 상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 게이팅 함수를 포함하는 업 샘플링 ELU 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
26. 실시형태 25 의 방법, 여기서 상기 업 샘플링 블록들 중 하나 이상의 각각은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
27. 실시형태 26 의 방법, 여기서 하나 이상의 업 샘플링 블록들 각각은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 ELU 계층으로 이루어지고 (본질적으로 이루어지고), 상기 업 샘플링 ELU 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 재구성 트랜스포즈 계층으로부터 직접 이미지 데이터를 수신한다.
28. 실시형태 25 내지 27 중 어느 하나의 방법, 여기서 각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
29. 실시형태 27 또는 28 의 방법, 여기서 상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 갖고, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는다.
30. 실시형태 25 내지 29 중 어느 하나의 방법, 여기서 상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
31. 실시형태 30 의 방법, 여기서 상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
32. 실시형태 30 또는 31 의 방법, 여기서 상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
33. 실시형태 30 내지 32 중 어느 하나의 방법, 여기서 상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
34. 실시형태 6 내지 33 중 어느 하나의 방법, 여기서 상기 신경망은 도 5a 내지 도 5d 에 도시된 것과 실질적으로 동일한 구조를 갖는다.
35. 실시형태 1 내지 34 중 어느 하나의 방법, 상기 복수의 픽셀 마스크들을 생성하기 전에 상기 이미지를 미리 처리하는 단계를 더 포함한다.
36. 실시형태 35 의 방법, 여기서 상기 마이크로-객체들은 미세유체 디바이스 내에서 이미징되고, 상기 미리 처리하는 단계는 이미징 동안 상기 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성된 반복 패턴을 공제하는 단계를 포함한다.
37. 실시형태 36 의 방법, 여기서 상기 미리 처리하는 단계는 상기 반복 패턴을 식별하기 위해 상기 이미지에 푸리에 변환을 적용하는 단계를 포함한다.
38. 실시형태 36 또는 37 의 방법, 여기서 상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 기판 표면이다.
39. 실시형태 36 내지 38 중 어느 하나의 방법, 여기서 상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 포토-트랜지스터 배열을 포함하는 기판 표면이다.
40. 실시형태 35 내지 39 중 어느 하나의 방법, 여기서 상기 이미지를 미리 처리하는 단계는 상기 이미지를 원하는 배향으로 플립핑 (flipping) 하고 및/또는 회전시키는 단계를 포함한다.
41. 실시형태 35 내지 40 중 어느 하나의 방법, 여기서 상기 이미지를 미리 처리하는 단계는 (예를 들어, 쿼드래틱 또는 고차 다항식 최적합 정정과 같은 다항식 최적합 정정을 사용하여) 이미지에 걸친 휘도를 레벨링하는 단계를 포함한다.
42. 실시형태 35 내지 41 중 어느 하나의 방법, 여기서 상기 이미지를 미리 처리하는 단계는 (예를 들어, 도트들 사이의 기지의 간격을 갖는 도트 배열의 대응하는 이미지를 검사함으로써 컴퓨팅된 룩업 테이블을 사용하여) 상기 이미징 프로세스 동안 상기 이미지에 도입된 왜곡을 정정하는 단계를 포함한다.
43. 실시형태 35 내지 42 중 어느 하나의 방법, 여기서 상기 이미지를 미리 처리하는 단계는 콘트라스트 향상을 적용하는 단계를 포함한다.
44. 마이크로-객체 카운트에서 식별된 상기 마이크로-객체들을 복수의 마이크로-객체 유형들 중 적어도 하나로 분류하는 단계를 더 포함하는, 실시형태 1 내지 43 중 어느 하나의 방법.
45. 마이크로-객체들을 포함하는 트레이닝 이미지들의 세트를 사용하여 상기 신경망을 트레이닝하는 단계를 더 포함하는, 실시형태 6 내지 44 중 어느 하나의 방법.
46. 실시형태 45 의 방법, 여기서 상기 트레이닝 이미지들은 상기 트레이닝 이미지들의 수동의 시각적 검토로부터 획득된 트레이닝 데이터와 함께 사용된다.
47. 실시형태 45 또는 46 의 방법, 여기서 상기 트레이닝 이미지들은 동일한 유형 및/또는 수의 마이크로-오브젝트들을 포함하는 컴퓨터 검증 이미지들로부터 획득된 트레이닝 데이터와 함께 사용된다.
48. 실시형태 1 내지 47 중 어느 하나의 방법, 여기서 상기 마이크로-객체들은 생물학적 세포들이다.
49. 실시형태 48 의 방법, 여기서 상기 생물학적 세포들은 면역 세포들 (예를 들어, T 세포들, B 세포들, NK 세포들, 대식세포들 등) 이다.
50. 실시형태 49 의 방법, 여기서 상기 생물학적 세포들은 암 세포들 또는 세포주로부터의 세포들 (예를 들어, CHO 세포들) 이다.
51. 실시형태 49 의 방법, 여기서 상기 생물학적 세포들은 난모세포들, 정자, 또는 배아들이다.
52. 컴퓨터로 하여금 이미지에서 마이크로-객체들을 자동적으로 검출하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은: 메모리에, 하나 이상의 마이크로-객체들을 포함할 수도 있는 이미지를 저장하는 단계; 대응하는 복수의 마이크로-객체 특성들에 대해 상기 이미지로부터 복수의 픽셀 마스크들을 생성하는 단계; 및 상기 복수의 픽셀 마스크들 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계를 포함하고, 상기 생성하는 단계 및 획득하는 단계는 실시형태들 1 내지 51 또는 93 내지 128 중 어느 하나에 따라 수행된다.
53. 실시형태 52 의 방법, 여기서 상기 마이크로-객체 카운트는 미세유체 디바이스 내에 배치되는 마이크로-객체들에 대한 것이다.
54. 실시형태 52 또는 53 의 방법, 여기서 상기 방법은 상기 이미지를 미리 처리하는 단계를 더 포함하고, 상기 미리 처리하는 단계는 상기 복수의 픽셀 마스크들을 생성하기 전에 수행된다.
55. 실시형태 54 의 방법, 여기서 상기 마이크로-객체들은 미세유체 디바이스 내에서 이미징되었고, 상기 이미지를 미리 처리하는 단계는 이미징 동안 상기 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성된 반복 패턴을 공제하는 단계를 포함한다.
56. 실시형태 55 의 방법, 여기서 상기 미리 처리하는 단계는 상기 반복 패턴을 식별하기 위해 상기 이미지에 푸리에 변환을 적용하는 단계를 포함한다.
57. 실시형태 55 또는 56 의 방법, 여기서 상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 기판 표면이다.
58. 실시형태 55 내지 56 중 어느 하나의 방법, 여기서 상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 포토-트랜지스터 배열이다.
59. 실시형태 52 내지 58 중 어느 하나의 방법, 여기서 상기 복수의 마이크로-객체 특성들은 마이크로-객체 중심, 마이크로-객체 경계; 및 비 마이크로-객체를 포함한다.
60. 실시형태 52 내지 58 중 어느 하나의 방법, 여기서 상기 복수의 대응하는 마이크로-객체 특성들은 세포 특성들이다.
61. 실시형태 60 의 방법, 여기서 상기 세포 특성들은 세포 중심, 세포 경계, 및 비 세포를 포함한다.
62. 실시형태 52 내지 61 중 어느 하나의 방법, 여기서 카운트되는 상기 마이크로-객체들은 생물학적 세포들이다.
63. 실시형태 62 의 방법, 여기서 상기 생물학적 세포들은 면역 세포들 (예를 들어, T 세포들, B 세포들, NK 세포들, 대식세포들 등) 이다.
64. 실시형태 62 의 방법, 여기서 상기 생물학적 세포들은 세포주로부터의 세포들 (예를 들어, CHO 세포들) 또는 암 세포들이다.
65. 실시형태 62 의 방법, 여기서 상기 생물학적 세포들은 난모세포들, 정자, 또는 배아들이다.
66. 실시형태 52 내지 65 중 어느 하나의 방법, 여기서 상기 생성하는 단계는 제 1 모듈에서 수행된다.
67. 실시형태 52 내지 66 중 어느 하나의 방법, 여기서 상기 획득하는 단계는 제 2 모듈에서 수행된다.
68. 실시형태 52 내지 65 중 어느 하나의 방법, 여기서 상기 생성하는 단계 및 상기 획득하는 단계는 단일의 모듈에서 수행된다.
69. 복수의 격리 펜들을 포함하는 미세유체 디바이스에서 마이크로-객체들을 재포지셔닝하는 방법으로서, 상기 방법은: 상기 미세유체 디바이스 내에 배치된 마이크로-객체들의 세트를 식별하는 단계로서, 상기 마이크로-객체들의 세트는 실시형태들 1 내지 51 또는 93 내지 128 중 어느 하나의 방법에 따라 식별되는, 상기 마이크로-객체들의 세트를 식별하는 단계; 하나 이상의 궤적들을 컴퓨팅하는 단계로서, 각각의 궤적은 상기 마이크로-객체들의 세트의 하나의 마이크로-객체를 상기 복수의 격리 펜들의 하나의 격리 펜과 연결하는 경로인, 상기 하나 이상의 궤적들을 컴퓨팅하는 단계; 상기 마이크로-객체들의 세트의 하나 이상의 마이크로-객체들에 대해, 상기 하나 이상의 궤적들로부터 궤적을 선택하는 단계; 및 상기 마이크로-객체를 그의 선택된 궤적을 따라 이동시킴으로써 선택된 궤적을 갖는 상기 하나 이상의 마이크로-개체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계 (예를 들어, 재포지셔닝은 여기에 개시된 바와 같이 활성화될 수 있는 DEP 힘 또는 본 기술에서 알려진 임의의 다른 기법을 사용하여 수행될 수 있음) 를 포함한다.
70. 실시형태 69 의 방법, 여기서 상기 선택된 궤적을 갖는 상기 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 제 1 마이크로-객체를 그의 선택된 궤적을 따라 이동시키는 단계 및 제 2 마이크로-객체를 그의 선택된 궤적을 따라 이동시키는 단계를 포함한다.
71. 실시형태 70 의 방법, 여기서 상기 제 1 및 제 2 마이크로-객체들은 그들의 선택된 궤적들을 따라 병렬로 이동된다.
72. 상기 마이크로-객체들의 세트와 연관된 밀도 값을 컴퓨팅하는 단계; 및 상기 마이크로-객체들의 세트와 연관된 밀도 값에 적어도 부분적으로 기초하여 상기 하나 이상의 궤적들을 컴퓨팅하는 단계를 더 포함하는, 실시형태 69 내지 71 중 어느 하나의 방법.
73. 상기 밀도 값이 임계값을 초과한다고 결정하는 단계; 및 상기 마이크로-객체들의 세트의 제 1 마이크로-객체에 대해, 제 1 마이크로-객체를 상기 복수의 격리 펜들의 하나 이상의 격리 펜들과 연결하는 하나 이상의 궤적들을 컴퓨팅하는 단계를 더 포함하는, 실시형태 72 의 방법.
74. 상기 밀도 값이 임계값을 초과하지 않는다고 결정하는 단계; 및 상기 복수의 격리 펜들의 제 1 격리 펜에 대해, 제 1 격리 펜을 상기 마이크로-객체들의 세트의 하나 이상의 마이크로-객체들과 연결하는 하나 이상의 궤적들을 컴퓨팅하는 단계를 더 포함하는, 실시형태 72 의 방법.
75. 상기 복수의 격리 펜들 중에서 빈 격리 펜들을 식별하는 단계로서, 상기 하나 이상의 컴퓨팅된 궤적들은 상기 마이크로-객체들의 세트의 하나의 마이크로-객체를 상기 복수의 격리 펜들의 하나의 빈 격리 펜과 연결하는, 상기 빈 격리 펜들을 식별하는 단계를 더 포함하는, 실시형태들 69 내지 74 중 어느 하나의 방법.
76. 실시형태 69 내지 75 의 방법, 여기서 상기 하나 이상의 궤적들 중 궤적을 선택하는 단계는 선택된 궤적들의 길이들의 합이 최소가 되도록 재포지셔닝되고 있는 각각의 마이크로-객체에 대한 궤적을 선택하는 단계를 포함한다.
77. 실시형태 76 의 방법, 여기서 선택된 궤적들의 길이들의 합을 최소화하는 것은 다음 중 적어도 하나를 사용하는 것을 포함한다: 그리디 알고리즘, 휴리스틱-기반 알고리즘, 비선형 알고리즘, 및 제약된 탐색.
78. 실시형태 69 내지 77 중 어느 하나의 방법, 여기서 상기 하나 이상의 궤적들 중 궤적을 선택하는 단계는 상기 궤적이 미리 결정된 최대 길이를 초과하는지 여부를 결정하는 단계를 더 포함한다.
79. 실시형태 69 내지 78 중 어느 하나의 방법, 여기서 상기 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 상기 적어도 하나의 마이크로-객체들 각각을 제 1 시간 주기를 통해 초기 속도로부터 이동 속도까지 가속화하는 단계를 포함한다.
80. 실시형태 69 의 방법, 여기서 상기 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 상기 적어도 하나의 마이크로-객체들 각각을 제 2 시간 주기를 통해 상기 이동 속도로부터 최종 속도까지 감속화하는 단계를 포함한다.
81. 미세유체 디바이스에서 마이크로-객체들을 재포지셔닝하는 방법으로서, 상기 방법은: 상기 미세유체 디바이스의 특정된 공간 영역 내에 배치된 마이크로-객체들의 세트를 식별하는 단계로서, 상기 마이크로-객체들의 세트는 실시형태들 1 내지 51 또는 93 내지 128 중 어느 하나의 방법에 따라 식별되는, 상기 마이크로-객체들의 세트를 식별하는 단계; 상기 특정된 공간 영역을 서브 영역들로 분할하는 정점들의 세트를 계산하는 단계로서, 상기 서브 영역들 각각은 상기 마이크로-객체들의 세트의 하나 이상의 마이크로-객체(들) 을 포함하는, 상기 정점들의 세트를 계산하는 단계; 계산된 상기 정점들의 세트에 기초하여 상기 마이크로-객체들의 세트의 제 1 마이크로-객체에 대한 제 1 광 케이지를 생성하는 단계; 및 상기 제 1 마이크로-객체를 재포지셔닝하기 위해 상기 미세유체 디바이스의 상기 특정된 공간 영역에 대해 상기 제 1 광 케이지를 이동시키는 단계 (예를 들어, 대응하는 복수의 마이크로-객체들에 대한 복수의 광 케이지들을 생성하고, 그 후 상기 미세유체 디바이스의 상기 특정된 공간 영역에 대해 상기 복수의 광 케이지들을 이동시킬 수 있음) 를 포함한다.
82. 실시형태 81 의 방법, 여기서 정점들의 세트를 계산하는 단계는 상기 특정된 공간 영역을 서브 영역들로 분할하는 정점들의 세트를 계산하는 단계를 포함하고, 적어도 상기 서브 영역들의 서브 세트는 상기 마이크로-객체들의 세트의 단일의 마이크로-객체를 포함한다.
83. 실시형태 81 또는 82 의 방법, 여기서 정점들의 세트를 계산하는 단계는 상기 마이크로-객체들의 세트의 델로네 삼각분할을 계산하는 단계; 상기 마이크로-객체들의 세트의 델로네 삼각분할에 기초하여 보로노이 다이어그램을 생성하는 단계; 및 상기 보로노이 다이어그램에 기초하여 상기 정점들의 세트를 식별하는 단계를 포함한다.
84. 실시형태 81 내지 83 중 어느 하나의 방법, 여기서 상기 제 1 광 케이지를 생성하는 단계는 상기 정점들의 세트의 정점들의 서브 세트를 링크하는 복수의 광 바들을 생성하는 단계를 포함하고, 여기서 정점들의 서브 세트는 상기 제 1 마이크로-객체에 가장 근접하고 그것을 둘러싸는 정점들을 포함한다 (또는 그 정점들로 이루어진다).
85. 제 1 광 케이지의 사이즈를 수축시켜, 제 1 마이크로-객체를 특정된 공간 영역 내의 다른 마이크로-객체들 및/또는 광 케이지들로부터 분리하는 단계를 더 포함하는, 실시형태 84 의 방법.
86. 실시형태 81 내지 83 중 어느 하나의 방법, 여기서 제 1 광 케이지를 생성하는 단계는 상기 마이크로-객체들의 세트의 제 1 마이크로-객체에 대해, 초기 광 케이지를 컴퓨팅하는 단계; 초기 광 케이지와 정점들의 세트 사이의 교차를 컴퓨팅하는 단계; 및 초기 광 케이지와 정점들의 세트 사이의 교차에 기초하여 변경된 제 1 광 케이지를 생성하는 단계를 포함한다.
87. 계산된 정점들의 세트에 기초하여 상기 마이크로-객체들의 세트의 제 2 마이크로-객체에 대한 제 2 광 케이지를 생성하는 단계를 더 포함하는, 실시형태 81 내지 86 중 어느 하나의 방법.
88. 제 1 마이크로-객체 및 제 2 마이크로-객체를 물리적으로 분리하기 위해 미세유체 디바이스의 특정된 공간 영역에 대해 제 1 변경된 광 케이지 및 제 2 변경된 광 케이지 양자 모두를 이동시키는 단계를 더 포함하는, 실시형태 87 의 방법.
89. 실시형태 88 의 방법, 여기서 제 1 마이크로-객체 및 제 2 마이크로-객체는 초기에 특정된 공간 영역의 인접한 서브 영역들에 위치된다.
90. 실시형태 81 내지 89 중 어느 하나의 방법, 여기서 관심의 마이크로-객체는 세포이다.
91. 실시형태 90 의 방법, 여기서 상기 세포는 포유동물 세포이다.
92. 실시형태 90 또는 91 의 방법, 여기서 상기 세포는 혈액 세포, 혼성세포, 암 세포, 및 형질전환 세포를 포함하는 그룹으로부터 선택된다.
93. 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법으로서, 상기 방법은: 미세유체 디바이스의 이미지 데이터를 수신하는 단계; 상기 이미지 데이터에서의 변칙들을 감소시키기 위해 상기 이미지 데이터를 미리 처리하는 단계; 복수의 마이크로-객체 특성들에 따라 픽셀 데이터에 주석을 달고 상기 픽셀 데이터에서의 각 픽셀에 대해 확률 값들을 출력하기 위해 신경망을 사용하여 상기 이미지 데이터에서의 상기 픽셀 데이터를 처리하는 단계; 어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하기 위해 임계값을 적용하는 단계; 및 임계값 적용 후에 식별가능한 마이크로-객체들의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
94. 실시형태 93 의 방법, 여기서 상기 신경망은 다운 샘플링 블록을 포함하며, 상기 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
95. 실시형태 93 의 방법, 여기서 상기 신경망은 복수의 다운 샘플링 블록들을 포함하며, 각 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
96. 실시형태 94 또는 95 의 방법, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시킨다.
97. 실시형태 94 또는 95 의 방법, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키고, 각각의 다운 샘플링 콘볼루션 계층은 5x5 콘볼루션 필터를 포함한다.
98. 실시형태 94 또는 95 의 방법, 여기서 상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속된다.
99. 실시형태 98 의 방법, 여기서 상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리한다.
100. 실시형태 99 의 방법, 여기서 상기 잔여 네트워크 블록의 제 1 분기는 제 1 분기 콘볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
101. 실시형태 100 의 방법, 여기서 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
102. 실시형태 100 또는 101 의 방법, 여기서 상기 제 1 분기 콘볼루션 계층은 1x1 콘볼루션 필터를 포함한다.
103. 실시형태 99 내지 102 중 어느 하나의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 잔여 콘볼루션 계층 및 잔여 배치 정규화 계층을 포함한다.
104. 실시형태 103 의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 제 1 잔여 콘볼루션 계층, 제 1 잔여 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔여 콘볼루션 계층, 및 제 2 잔여 배치 정규화 계층을 포함하고, 상기 제 2 잔여 배치 정규화 계층은 상기 제 2 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 잔여 콘볼루션 계층은 상기 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 분기 활성화 계층은 상기 제 1 잔여 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 잔여 배치 정규화 계층은 상기 제 1 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
105. 실시형태 104 의 방법, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 상이한 디멘젼들을 갖는다.
106. 실시형태 104 의 방법, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 동일한 디멘젼들을 갖는다.
107. 실시형태 99 내지 106 중 어느 하나의 방법, 여기서 상기 제 1 분기 및 상기 제 2 분기로부터의 이미지 데이터는 재결합되고, 잔여 네트워크 활성화 계층으로 전송된다.
108. 실시형태 94 내지 107 중 어느 하나의 방법, 여기서 상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함한다.
109. 실시형태 108 의 방법, 여기서 상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
110. 실시형태 108 또는 109 의 방법, 여기서 상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함한다.
111. 실시형태 108 또는 110 의 방법, 여기서 상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
112. 실시형태 95 또는 111 의 방법, 여기서 상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
113. 실시형태 112 의 방법, 여기서 상기 업 샘플링 블록들 중 하나 이상은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
114. 실시형태 113 의 방법, 여기서 하나 이상의 업 샘플링 블록들은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 활성화 계층을 포함하고, 상기 업 샘플링 활성화 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 재결합 계층은 상기 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 상기 트랜스포즈 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
115. 실시형태 112 내지 114 중 어느 하나의 방법, 여기서 각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시킨다.
116. 실시형태 113 또는 114 의 방법, 여기서 상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 가질 때, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는다.
117. 실시형태 113 내지 116 중 어느 하나의 방법, 여기서 상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
118. 실시형태 117 의 방법, 여기서 상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
119. 실시형태 117 또는 118 의 방법, 여기서 상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
120. 실시형태 117 내지 120 중 어느 하나의 방법, 여기서 상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
121. 상기 마이크로-객체들을 복수의 마이크로-객체 유형들 중 적어도 하나로 분류하는 단계를 더 포함하는, 실시형태 93 내지 120 중 어느 하나의 방법.
122. 마이크로-객체들을 포함하는 트레이닝 이미지들의 세트를 사용하여 상기 신경망을 트레이닝하는 단계를 더 포함하는, 실시형태 93 내지 121 중 어느 하나의 방법.
123. 실시형태 122 의 방법, 여기서 상기 트레이닝 이미지들은 상기 트레이닝 이미지들의 수동의 시각적 검토로부터 획득된 트레이닝 데이터와 함께 사용된다.
124. 실시형태 122 또는 123 의 방법, 여기서 상기 트레이닝 이미지들은 동일한 유형 및/또는 수의 마이크로-오브젝트들을 포함하는 컴퓨터 검증 이미지들로부터 획득된 트레이닝 데이터와 함께 사용된다.
125. 실시형태 93 내지 124 중 어느 하나의 방법, 여기서 상기 마이크로-객체들은 생물학적 세포들이다.
126. 실시형태 125 의 방법, 여기서 상기 생물학적 세포들은 면역 세포들이다.
127. 실시형태 125 의 방법, 여기서 상기 생물학적 세포들은 암 세포들 또는 세포주로부터의 세포들이다.
128. 실시형태 125 의 방법, 여기서 상기 생물학적 세포들은 난모세포들, 정자, 또는 배아들이다.
129. 컴퓨터로 하여금 이미지에서 마이크로-객체들을 자동적으로 검출하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 매체로서, 상기 방법은: 미세유체 디바이스의 이미지 데이터를 수신하는 단계; 상기 이미지 데이터에서 변칙들을 감소시키기 위해 상기 이미지 데이터를 미리 처리하는 단계; 복수의 마이크로-객체 특성들에 따라 픽셀 데이터에 주석을 달고 상기 픽셀 데이터에서의 각 픽셀에 대해 확률 값들을 출력하기 위해 신경망을 사용하여 상기 이미지 데이터에서의 상기 픽셀 데이터를 처리하는 단계; 어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하기 위해 임계값을 적용하는 단계; 및 임계값 적용 후에 식별가능한 마이크로-객체들의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
130. 실시형태 129 의 방법, 여기서 상기 신경망은 다운 샘플링 블록을 포함하며, 상기 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
131. 실시형태 129 의 방법, 여기서 상기 신경망은 복수의 다운 샘플링 블록들을 포함하며, 각 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
132. 실시형태 130 또는 131 의 방법, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시킨다.
133. 실시형태 130 또는 131 의 방법, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키고, 각각의 다운 샘플링 콘볼루션 계층은 5x5 콘볼루션 필터를 포함한다.
134. 실시형태 130 또는 131 의 방법, 여기서 상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속된다.
135. 실시형태 134 의 방법, 여기서 상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리한다.
136. 실시형태 135 의 방법, 여기서 상기 잔여 네트워크 블록의 제 1 분기는 제 1 분기 콘볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
137. 실시형태 136 의 방법, 여기서 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
138. 실시형태 136 또는 137 의 방법, 여기서 상기 제 1 분기 콘볼루션 계층은 1x1 콘볼루션 필터를 포함한다.
139. 실시형태 135 내지 137 중 어느 하나의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 잔여 콘볼루션 계층 및 잔여 배치 정규화 계층을 포함한다.
140. 실시형태 139 의 방법, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 제 1 잔여 콘볼루션 계층, 제 1 잔여 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔여 콘볼루션 계층, 및 제 2 잔여 배치 정규화 계층을 포함하고, 상기 제 2 잔여 배치 정규화 계층은 상기 제 2 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 잔여 콘볼루션 계층은 상기 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 분기 활성화 계층은 상기 제 1 잔여 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 잔여 배치 정규화 계층은 상기 제 1 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
141. 실시형태 140 의 방법, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 상이한 디멘젼들을 갖는다.
142. 실시형태 140 의 방법, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 동일한 디멘젼들을 갖는다.
143. 실시형태 135 내지 142 중 어느 하나의 방법, 여기서 상기 제 1 분기 및 상기 제 2 분기로부터의 이미지 데이터는 재결합되고, 잔여 네트워크 활성화 계층으로 전송된다.
144. 실시형태 129 내지 143 중 어느 하나의 방법, 여기서 상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함한다.
145. 실시형태 144 의 방법, 여기서 상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
146. 실시형태 144 또는 145 의 방법, 여기서 상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함한다.
147. 실시형태 144 또는 146 의 방법, 여기서 상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
148. 실시형태 131 또는 147 의 방법, 여기서 상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
149. 실시형태 148 의 방법, 여기서 상기 업 샘플링 블록들 중 하나 이상은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
150. 실시형태 149 의 방법, 여기서 하나 이상의 업 샘플링 블록들은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 활성화 계층을 포함하고, 상기 업 샘플링 활성화 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 재결합 계층은 상기 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 상기 트랜스포즈 콘볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
151. 실시형태 148 내지 150 중 어느 하나의 방법, 여기서 각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시킨다.
152. 실시형태 149 또는 150 의 방법, 여기서 상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 가질 때, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는다.
153. 실시형태 149 내지 151 중 어느 하나의 방법, 여기서 상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
154. 실시형태 153 의 방법, 여기서 상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
155. 실시형태 153 또는 154 의 방법, 여기서 상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
156. 실시형태 153 내지 155 중 어느 하나의 방법, 여기서 상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
157. 상기 마이크로-객체들을 복수의 마이크로-객체 유형들 중 적어도 하나로 분류하는 단계를 더 포함하는, 실시형태 129 내지 156 중 어느 하나의 방법.
158. 마이크로-객체들을 포함하는 트레이닝 이미지들의 세트를 사용하여 상기 신경망을 트레이닝하는 단계를 더 포함하는, 실시형태 129 내지 157 중 어느 하나의 방법.
159. 실시형태 158 의 방법, 여기서 상기 트레이닝 이미지들은 상기 트레이닝 이미지들의 수동의 시각적 검토로부터 획득된 트레이닝 데이터와 함께 사용된다.
160. 실시형태 158 또는 159 의 방법, 여기서 상기 트레이닝 이미지들은 동일한 유형 및/또는 수의 마이크로-오브젝트들을 포함하는 컴퓨터 검증 이미지들로부터 획득된 트레이닝 데이터와 함께 사용된다.
161. 실시형태 129 내지 160 중 어느 하나의 방법, 여기서 상기 마이크로-객체들은 생물학적 세포들이다.
162. 실시형태 161 의 방법, 여기서 상기 생물학적 세포들은 면역 세포들이다.
163. 실시형태 161 의 방법, 여기서 상기 생물학적 세포들은 암 세포들 또는 세포주로부터의 세포들이다.
164. 실시형태 161 의 방법, 여기서 상기 생물학적 세포들은 난모세포들, 정자, 또는 배아들이다.
165. 이미지에서 마이크로-객체들을 자동적으로 검출하는 시스템으로서,
그 시스템은: 미세유체 디바이스의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 엘리먼트, 및 상기 이미지 데이터에서 변칙들을 감소시키도록 구성된 이미지 사전 처리 엔진을 포함하는 이미지 획득 유닛; 및 상기 이미지 획득 유닛에 통신가능하게 연결된 마이크로-객체 검출 유닛으로서, 복수의 마이크로-객체 특성들에 따라 이미지에서의 픽셀 데이터에 주석을 달고 상기 픽셀 데이터에서의 각 픽셀에 대해 확률 값들을 출력하도록 구성된 신경망; 어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하도록 구성된 임계값 엔진; 및 이미지 사후 처리 기법들을 적용하고 마이크로-객체 카운트를 출력하도록 구성된 검출 엔진을 포함하는, 상기 마이크로-객체 검출 유닛을 포함한다.
166. 실시형태 165 의 시스템, 여기서 상기 신경망은 다운 샘플링 블록을 포함하며, 상기 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
167. 실시형태 165 의 시스템, 여기서 상기 신경망은 복수의 다운 샘플링 블록들을 포함하며, 각 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함한다.
168. 실시형태 166 또는 167 의 시스템, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키도록 구성된다.
169. 실시형태 166 또는 167 의 시스템, 여기서 각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키도록 구성되고, 각각의 다운 샘플링 콘볼루션 계층은 5x5 콘볼루션 필터를 포함한다.
170. 실시형태 166 또는 167 의 시스템, 여기서 상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속된다.
171. 실시형태 170 의 시스템, 여기서 상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리하도록 구성된다.
172. 실시형태 171 의 시스템, 여기서 상기 잔여 네트워크 블록의 제 1 분기는 제 1 분기 콘볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
173. 실시형태 172 의 시스템, 여기서 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
174. 실시형태 172 또는 173 의 시스템, 여기서 상기 제 1 분기 콘볼루션 계층은 1x1 콘볼루션 필터를 포함한다.
175. 실시형태 171 내지 173 중 어느 하나의 시스템, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 잔여 콘볼루션 계층 및 잔여 배치 정규화 계층을 포함한다.
176. 실시형태 175 의 시스템, 여기서 상기 잔여 네트워크 블록의 제 2 분기는 제 1 잔여 콘볼루션 계층, 제 1 잔여 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔여 콘볼루션 계층, 및 제 2 잔여 배치 정규화 계층을 포함하고, 상기 제 2 잔여 배치 정규화 계층은 상기 제 2 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 제 2 잔여 콘볼루션 계층은 상기 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 제 2 분기 활성화 계층은 상기 제 1 잔여 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 제 1 잔여 배치 정규화 계층은 상기 제 1 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
177. 실시형태 176 의 시스템, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 상이한 디멘젼들을 갖는다.
178. 실시형태 176 의 시스템, 여기서 상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 동일한 디멘젼들을 갖는다.
179. 실시형태 176 내지 178 중 어느 하나의 시스템, 여기서 상기 잔여 네트워크 블록은 상기 제 1 분기 및 상기 제 2 분기로부터의 이미지 데이터를 재결합하고, 잔여 네트워크 활성화 계층으로 재결합 계층으로부터의 출력을 전송하도록 구성된 재결합 계층을 더 포함한다.
180. 실시형태 175 내지 179 중 어느 하나의 시스템, 여기서 상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함한다.
181. 실시형태 180 의 시스템, 여기서 상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
182. 실시형태 180 또는 181 의 시스템, 여기서 상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함한다.
183. 실시형태 180 또는 182 의 시스템, 여기서 상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
184. 실시형태 179 또는 183 의 시스템, 여기서 상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키도록 구성된다.
185. 실시형태 184 의 시스템, 여기서 상기 업 샘플링 블록들 중 하나 이상은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터를 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합하도록 구성된 재결합 계층을 포함한다.
186. 실시형태 185 의 시스템, 여기서 하나 이상의 업 샘플링 블록들은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 활성화 계층을 포함하고, 상기 업 샘플링 활성화 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 재결합 계층은 상기 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 업 샘플링 배치 정규화 계층은 상기 트랜스포즈 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
187. 실시형태 184 내지 186 중 어느 하나의 시스템, 여기서 각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시키도록 구성된다.
188. 실시형태 185 또는 186 의 시스템, 여기서 상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 가질 때, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는다.
189. 실시형태 185 내지 188 중 어느 하나의 시스템, 여기서 상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하도록 구성되는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하도록 구성되는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
190. 실시형태 189 의 시스템, 여기서 상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
191. 실시형태 189 또는 190 의 시스템, 여기서 상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
192. 실시형태 189 내지 191 중 어느 하나의 시스템, 여기서 상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
193. 실시형태 165 내지 192 중 어느 하나의 시스템, 여기서 상기 마이크로-객체들은 생물학적 세포들이다.
194. 실시형태 193 의 시스템, 여기서 상기 생물학적 세포들은 면역 세포들이다.
195. 실시형태 193 의 시스템, 여기서 상기 생물학적 세포들은 세포주로부터의 세포들 또는 암 세포들이다.
196. 실시형태 193 의 시스템, 여기서 상기 생물학적 세포들은 난모세포들, 정자, 또는 배아들이다.
Claims (78)
- 미세유체 디바이스 내에 위치되는 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법으로서,
상기 미세유체 디바이스 내에 위치되는 상기 마이크로-객체들의 이미지를 획득하는 단계;
대응하는 복수의 마이크로-객체 특성들에 대해 상기 이미지로부터 복수의 픽셀 마스크들을 생성하는 단계로서, 상기 복수의 픽셀 마스크들을 생성하는 단계는 신경망을 포함하는 기계 학습 알고리즘을 사용하여 상기 이미지로부터의 픽셀 데이터를 프로세싱하는 단계를 포함하고, 각각의 픽셀 마스크는 픽셀 주석들의 세트를 포함하고, 상기 세트의 각각의 픽셀 주석은 상기 이미지에서의 대응하는 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타내는, 상기 복수의 픽셀 마스크들을 생성하는 단계;
상기 복수의 픽셀 마스크들 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계;
마이크로-객체들의 세트의 제 1 마이크로-객체에 근접하여 힘을 발생시키는 단계로서, 근접도는 상기 적어도 하나의 픽셀 마스크에 적어도 부분적으로 기초하여 결정되는, 상기 힘을 발생시키는 단계; 및
미세유체 디바이스의 특정된 공간 영역으로 상기 힘을 이동시킴으로써 상기 제 1 마이크로-객체를 재포지셔닝하는 단계를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성들을 포함하고,
상기 복수의 마이크로-객체 특성들은 적어도: (i) 마이크로-객체 중심; (ii) 마이크로-객체 에지; 및 (iii) 비 마이크로-객체를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 2 항에 있어서,
상기 마이크로-객체 카운트를 획득하는 단계는 마이크로-객체 중심 특성에 대응하는 상기 픽셀 마스크 또는 상기 마이크로-객체 중심 특성에 대응하는 상기 픽셀 마스크를 포함하는 픽셀 마스크들의 조합으로부터 마이크로-객체 카운트를 획득하는 단계를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 신경망은 복수의 다운 샘플링 블록들을 포함하며, 각 다운 샘플링 블록은 제 1 다운 샘플링 콘볼루션 계층, 제 1 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 1 ELU 계층을 포함하고, 제 1 다운 샘플링 콘볼루션 계층들 각각은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시키는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 4 항에 있어서,
상기 다운 샘플링 블록들 중 하나 이상은 상기 제 1 다운 샘플링 콘볼루션 계층, 상기 제 1 배치 정규화 계층, 및 상기 제 1 ELU 계층으로 이루어지고, 상기 제 1 ELU 계층은 상기 제 1 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 배치 정규화 계층은 상기 제 1 다운 샘플링 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 5 항에 있어서,
각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 상기 이미지 데이터의 공간 해상도를 감소시키고,
상기 제 1 다운 샘플링 콘볼루션 계층들 각각은 5x5 콘볼루션 필터를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 6 항에 있어서,
상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속되며,
상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고,
상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 7 항에 있어서,
상기 잔여 네트워크 블록의 제 1 분기는 제 2 콘볼루션 계층, 제 2 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 2 ELU 계층을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 7 항에 있어서,
상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 콘볼루션 계층 및 배치 정규화 계층을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 9 항에 있어서,
상기 잔여 네트워크 블록의 제 2 분기는 제 3 콘볼루션 계층, 제 3 배치 정규화 계층, 게이팅 함수를 포함하는 제 3 ELU 계층, 제 4 콘볼루션 계층, 및 제 4 배치 정규화 계층으로 이루어지고, 상기 제 4 배치 정규화 계층은 상기 제 4 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 4 콘볼루션 계층은 상기 제 3 ELU 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 3 ELU 계층은 상기 제 3 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 3 배치 정규화 계층은 상기 제 3 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 7 항에 있어서,
상기 잔여 네트워크 블록의 제 1 분기 및 상기 잔여 네트워크 블록의 제 2 분기로부터의 이미지 데이터는 재결합되고, 게이팅 함수를 포함하는 제 4 ELU 계층으로 전송되는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 12 항에 있어서,
상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함하거나,
상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함하거나, 또는
상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 4 항에 있어서,
상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 게이팅 함수를 포함하는 업 샘플링 ELU 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 14 항에 있어서,
상기 업 샘플링 블록들 중 하나 이상의 각각은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 15 항에 있어서,
하나 이상의 업 샘플링 블록들 각각은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 ELU 계층으로 이루어지고, 상기 업 샘플링 ELU 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 재구성 트랜스포즈 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 14 항에 있어서,
각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 14 항에 있어서,
상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 갖고, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 14 항에 있어서,
상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 19 항에 있어서,
상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력하거나,
상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력하거나, 또는
상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 복수의 픽셀 마스크들을 생성하기 전에 상기 이미지를 미리 처리하는 단계를 더 포함하며,
상기 미리 처리하는 단계는 이미징 동안 상기 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성된 반복 패턴을 공제하는 단계를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 21 항에 있어서,
상기 미리 처리하는 단계는 상기 반복 패턴을 식별하기 위해 상기 이미지에 푸리에 변환을 적용하는 단계를 포함하거나, 또는
상기 미세유체 디바이스의 적어도 하나의 컴포넌트는 포토-트랜지스터 배열을 포함하는 기판 표면인, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 21 항에 있어서,
상기 이미지를 미리 처리하는 단계는:
상기 이미지를 원하는 배향으로 플립핑 (flipping), 회전, 또는 플립핑 및 회전시키는 단계;
다항식 최적합 정정을 사용하여 상기 이미지에 걸친 휘도를 레벨링하는 단계; 또는
상기 이미지에 도입된 왜곡을 정정하는 단계
중 하나 이상을 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
마이크로-객체 카운트에서 식별된 상기 마이크로-객체들을 복수의 마이크로-객체 유형들 중 적어도 하나로 분류하는 단계를 더 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 마이크로-객체들은 생물학적 세포들, 면역 세포들, 암 세포들, 세포주 (cell line) 로부터의 세포들, 난모 세포들, 정자, 배아들인, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 힘은 DEP 또는 OEP 를 사용하여 발생되는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 26 항에 있어서,
상기 DEP 또는 OEP 힘은 마이크로-객체를 둘러싸고 바들 (bars) 또는 다각형들을 사용하여 OET 힘 및 DEP 힘 중 하나 이상에 상기 마이크로-객체를 종속시켜 상기 마이크로-객체에 OEP 힘 및 DEP 힘 중 하나 이상을 인가하도록 구성된 광 케이지를 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
하나 이상의 궤적들을 컴퓨팅하는 단계로서, 각각의 궤적은 마이크로-객체들의 상기 세트의 하나의 마이크로-객체를 복수의 격리 펜들 중 하나의 격리 펜과 연결하는 경로인, 상기 하나 이상의 궤적들을 컴퓨팅하는 단계;
마이크로-객체들의 상기 세트의 하나 이상의 마이크로-객체들에 대해, 상기 하나 이상의 궤적들로부터의 궤적을 선택하는 단계; 및
선택된 궤적을 따라 상기 마이크로-객체를 이동시킴으로써 선택된 궤적을 갖는 상기 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계
를 더 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 제 1 항에 있어서,
상기 특정된 공간 영역을 서브 영역들로 분할하는 정점들의 세트를 계산하는 단계로서, 상기 서브 영역들 각각은 마이크로-객체들의 상기 세트의 하나 이상의 마이크로-객체(들)을 포함하는, 상기 정점들의 세트를 계산하는 단계; 및
계산된 상기 정점들의 세트에 기초하여 상기 하나 이상의 마이크로-객체(들) 중 제 1 마이크로-객체에 대한 제 1 광 케이지를 생성하는 단계
를 더 포함하는, 마이크로-객체들의 자동화된 검출 및 재포지셔닝을 위해 이미지를 사용하는 방법. - 컴퓨터로 하여금 미세유체 디바이스 내에 위치되는 마이크로-객체들의 자동화된 검출을 위해 이미지를 사용하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 방법은,
메모리에, 상기 미세유체 디바이스 내에 위치되는 상기 마이크로-객체들의 이미지를 저장하는 단계;
대응하는 복수의 마이크로-객체 특성들에 대해 상기 이미지로부터 복수의 픽셀 마스크들을 생성하는 단계로서, 상기 복수의 픽셀 마스크들을 생성하는 단계는 기계 학습 알고리즘을 사용하여 상기 이미지로부터의 픽셀 데이터를 프로세싱하는 것을 포함하고, 각각의 픽셀 마스크는 픽셀 주석의 세트를 포함하고, 상기 세트의 각각의 픽셀 주석은 상기 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타내는, 상기 복수의 픽셀 마스크들을 생성하는 단계;
상기 복수의 픽셀 마스크들 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계;
마이크로-객체들의 세트의 제 1 마이크로-객체에 근접하여 힘을 발생시키는 단계로서, 근접도는 상기 적어도 하나의 픽셀 마스크에 적어도 부분적으로 기초하여 결정되는, 상기 힘을 발생시키는 단계; 및
상기 미세유체 디바이스의 특정된 공간 영역으로 상기 힘을 이동시킴으로써 상기 제 1 마이크로-객체를 재포지셔닝하는 단계를 포함하고,
상기 생성하는 단계 및 획득하는 단계는 제 1 항 내지 제 29 항 중 어느 한 항에 따라 수행되는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 30 항에 있어서,
상기 마이크로-객체들은 생물학적 세포들인, 비일시적 컴퓨터 판독가능 저장 매체. - 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법으로서,
미세유체 디바이스의 이미지 데이터를 수신하는 단계;
상기 이미지 데이터에서의 변칙들을 감소시키기 위해 상기 이미지 데이터를 미리 처리하는 단계;
복수의 마이크로-객체 특성들에 따라 픽셀 데이터에 주석을 달고 픽셀 주석들에 기초하여 상기 픽셀 데이터에서의 각 픽셀에 대해 확률 값들을 출력하기 위해 신경망을 사용하여 상기 이미지 데이터에서의 상기 픽셀 데이터를 처리하는 단계로서, 출력된 상기 확률 값들은 복수의 픽셀 마스크들의 형태이고, 각각의 픽셀 마스크는 상기 복수의 마이크로-객체 특성들의 마이크로-객체 특성에 대응하고, 상기 신경망은 복수의 다운 샘플링 블록들을 포함하며, 각 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층, 다운 샘플링 배치 정규화 계층, 및 다운 샘플링 활성화 계층을 포함하는, 상기 픽셀 데이터를 처리하는 단계;
어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하기 위해 임계값을 적용하는 단계; 및
임계값 적용 후에 식별가능한 마이크로-객체들의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
각각의 다운 샘플링 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키고,
각각의 다운 샘플링 콘볼루션 계층은 5x5 콘볼루션 필터를 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔여 네트워크 블록이 후속되며,
상기 잔여 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고,
상기 제 1 분기는 상기 제 2 분기보다 더 적은 정도로 선행하는 다운 샘플링 블록으로부터 수신된 이미지 데이터를 처리하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 34 항에 있어서,
상기 잔여 네트워크 블록의 제 1 분기는 제 1 분기 콘볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함하고, 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 34 항에 있어서,
상기 잔여 네트워크 블록의 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 잔여 콘볼루션 계층 및 잔여 배치 정규화 계층을 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 36 항에 있어서,
상기 잔여 네트워크 블록의 제 2 분기는 제 1 잔여 콘볼루션 계층, 제 1 잔여 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔여 콘볼루션 계층, 및 제 2 잔여 배치 정규화 계층을 포함하고, 상기 제 2 잔여 배치 정규화 계층은 상기 제 2 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 잔여 콘볼루션 계층은 상기 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 분기 활성화 계층은 상기 제 1 잔여 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 잔여 배치 정규화 계층은 상기 제 1 잔여 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 37 항에 있어서,
상기 제 1 잔여 콘볼루션 계층은 제 1 잔여 콘볼루션 필터를 포함하고, 상기 제 2 잔여 콘볼루션 계층은 제 2 잔여 콘볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔여 콘볼루션 필터들은 동일한 디멘젼들을 갖는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 34 항에 있어서,
상기 제 1 분기 및 상기 제 2 분기로부터의 이미지 데이터는 재결합되고, 잔여 네트워크 활성화 계층으로 전송되는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 34 항에 있어서,
상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔여 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔여 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔여 네트워크 블록을 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 40 항에 있어서,
상기 제 1 다운 샘플링 블록 및 상기 제 1 잔여 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함하고, 상기 제 2 다운 샘플링 블록 및 상기 제 2 잔여 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 포함하고, 상기 제 3 다운 샘플링 블록 및 상기 제 3 잔여 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하며, 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각각의 업 샘플링 블록의 상기 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키고, 상기 업 샘플링 블록들 중 하나 이상은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행의 잔여 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 42 항에 있어서,
하나 이상의 업 샘플링 블록들은 상기 트랜스포즈 콘볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 활성화 계층을 포함하고, 상기 업 샘플링 활성화 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 재결합 계층은 상기 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 상기 트랜스포즈 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하며, 또는 각각의 트랜스포즈 콘볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시키는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 43 항에 있어서,
상기 신경망은 n 개의 다운 샘플링 블록들 및 n 개의 잔여 네트워크 블록들을 갖고, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 43 항에 있어서,
상기 신경망은 제 2 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔여 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 45 항에 있어서,
상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력하거나;
상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고, 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력하거나; 또는
상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고, 상기 이미지의 공간 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
상기 마이크로-객체들을 복수의 마이크로-객체 유형들 중 적어도 하나로 분류하는 단계를 더 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
마이크로-객체들을 포함하는 트레이닝 이미지들의 세트를 사용하여 상기 신경망을 트레이닝하는 단계를 더 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 제 32 항에 있어서,
상기 마이크로-객체들은 생물학적 세포들인, 이미지에서 마이크로-객체들을 자동적으로 검출하기 위한 방법. - 이미지에서 마이크로-객체들을 자동적으로 검출하는 시스템으로서,
이미지 획득 유닛으로서
미세유체 디바이스의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 엘리먼트; 및
상기 하나 이상의 이미지들에서 변칙들을 감소시키도록 구성된 이미지 사전 처리 엔진을 포함하는, 상기 이미지 획득 유닛; 및
상기 이미지 획득 유닛에 통신가능하게 연결된 마이크로-객체 검출 유닛으로서,
복수의 마이크로-객체 특성들에 따라 이미지에서의 픽셀 데이터에 주석을 달고 픽셀 주석들에 기초하여 상기 픽셀 데이터에서의 각 픽셀에 대해 확률 값들을 출력하도록 구성된 신경망으로서, 출력된 상기 확률 값들은 복수의 픽셀 마스크들의 형태이고, 각각의 픽셀 마스크는 상기 복수의 마이크로-객체 특성들의 마이크로-객체 특성에 대응하는, 상기 신경망;
어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하도록 구성된 임계값 엔진; 및
이미지 사후 처리 기법들을 적용하고 마이크로-객체 카운트를 출력하도록 구성된 검출 엔진을 포함하는, 상기 마이크로-객체 검출 유닛
을 포함하는, 이미지에서 마이크로-객체들을 자동적으로 검출하는 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662429071P | 2016-12-01 | 2016-12-01 | |
| US62/429,071 | 2016-12-01 | ||
| US201762579897P | 2017-11-01 | 2017-11-01 | |
| US62/579,897 | 2017-11-01 | ||
| PCT/US2017/064309 WO2018102748A1 (en) | 2016-12-01 | 2017-12-01 | Automated detection and repositioning of micro-objects in microfluidic devices |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190091298A KR20190091298A (ko) | 2019-08-05 |
| KR102669330B1 true KR102669330B1 (ko) | 2024-05-28 |
Family
ID=62242750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197018732A KR102669330B1 (ko) | 2016-12-01 | 2017-12-01 | 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US11170200B2 (ko) |
| EP (1) | EP3549099B1 (ko) |
| JP (3) | JP2019537157A (ko) |
| KR (1) | KR102669330B1 (ko) |
| CN (2) | CN116894976A (ko) |
| AU (2) | AU2017368268A1 (ko) |
| CA (1) | CA3045333A1 (ko) |
| IL (2) | IL267009B (ko) |
| TW (1) | TWI795380B (ko) |
| WO (1) | WO2018102748A1 (ko) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017046799A1 (en) | 2015-09-17 | 2017-03-23 | S.D. Sight Diagnostics Ltd | Methods and apparatus for detecting an entity in a bodily sample |
| CA3018536A1 (en) | 2016-03-30 | 2017-10-05 | S.D. Sight Diagnostics Ltd | Distinguishing between blood sample components |
| US10675625B2 (en) | 2016-04-15 | 2020-06-09 | Berkeley Lights, Inc | Light sequencing and patterns for dielectrophoretic transport |
| WO2017195205A1 (en) | 2016-05-11 | 2017-11-16 | S.D. Sight Diagnostics Ltd | Sample carrier for optical measurements |
| US10558204B2 (en) * | 2016-09-19 | 2020-02-11 | Palo Alto Research Center Incorporated | System and method for scalable real-time micro-object position control with the aid of a digital computer |
| CA3045333A1 (en) | 2016-12-01 | 2018-06-07 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
| EP3548181A4 (en) | 2016-12-01 | 2020-07-08 | Berkeley Lights, Inc. | APPARATUS, SYSTEMS, AND METHODS FOR MICRO-OBJECT IMAGING |
| CN110268108B (zh) | 2016-12-12 | 2022-09-06 | 埃克切拉生物科学公司 | 用于使用微毛细管阵列进行筛选的方法和系统 |
| WO2018226900A2 (en) | 2017-06-06 | 2018-12-13 | Zymergen Inc. | A htp genomic engineering platform for improving fungal strains |
| AU2018369859B2 (en) | 2017-11-14 | 2024-01-25 | S.D. Sight Diagnostics Ltd | Sample carrier for optical measurements |
| KR102094598B1 (ko) * | 2018-05-29 | 2020-03-27 | 한국과학기술원 | 뉴럴 네트워크를 이용한 희소 뷰 전산단층 촬영 영상 처리 방법 및 그 장치 |
| JP2021526799A (ja) | 2018-06-06 | 2021-10-11 | ザイマージェン インコーポレイテッド | 発酵および産生中の真菌の形態を制御するためのシグナル伝達に関与する遺伝子の操作 |
| GB2576191B (en) * | 2018-08-08 | 2022-11-16 | Sphere Fluidics Ltd | Droplet processing methods and systems |
| CN113227754A (zh) * | 2018-08-16 | 2021-08-06 | Essenlix 公司 | 使用智能监测结构的基于图像的测定 |
| EP3620984B1 (en) | 2018-09-06 | 2024-04-10 | Accenture Global Solutions Limited | Digital quality control using computer visioning with deep learning |
| WO2020091732A1 (en) * | 2018-10-29 | 2020-05-07 | Hewlett-Packard Development Company, L.P. | Rotation and flat-form imaging for microscopic objects |
| AU2019371417A1 (en) * | 2018-11-01 | 2021-06-17 | Berkeley Lights, Inc. | Methods for assaying biological cells in a microfluidic device |
| CN110363057A (zh) * | 2018-12-29 | 2019-10-22 | 上海北昂医药科技股份有限公司 | 一种形态学图像中的精子识别及分类方法 |
| KR20210117263A (ko) * | 2019-01-16 | 2021-09-28 | 크라운 일렉트로키네틱스 코포레이션 | 이미징 시스템을 위한 동전기 디바이스의 적용 |
| US10452980B1 (en) * | 2019-01-25 | 2019-10-22 | StradVision, Inc. | Learning method and learning device for extracting feature from input image by using convolutional layers in multiple blocks in CNN, resulting in hardware optimization which allows key performance index to be satisfied, and testing method and testing device using the same |
| CN111724309B (zh) * | 2019-03-19 | 2023-07-14 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络的训练方法、存储介质 |
| CN109977878B (zh) * | 2019-03-28 | 2021-01-22 | 华南理工大学 | 基于重加权Anchor的车辆检测方法 |
| CN116174068A (zh) | 2019-04-30 | 2023-05-30 | 伯克利之光生命科技公司 | 用于包封和测定细胞的方法 |
| US11294391B2 (en) * | 2019-05-28 | 2022-04-05 | Pixart Imaging Inc. | Moving robot with improved identification accuracy of step distance |
| CN110322438B (zh) * | 2019-06-26 | 2021-09-14 | 杭州上池科技有限公司 | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 |
| JP7452544B2 (ja) * | 2019-07-09 | 2024-03-19 | ソニーグループ株式会社 | 情報処理装置およびプログラム |
| EP3796212B1 (en) * | 2019-09-23 | 2024-06-26 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Device for image-based cell classification, method therefor and use thereof |
| GB2604481A (en) | 2019-10-10 | 2022-09-07 | 1859 Inc | Methods and systems for microfluidic screening |
| EP3894834A4 (en) | 2019-11-17 | 2022-08-31 | Berkeley Lights, Inc. | SYSTEMS AND METHODS FOR ANALYSIS OF BIOLOGICAL SAMPLES |
| TWI781408B (zh) * | 2019-11-27 | 2022-10-21 | 靜宜大學 | 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統 |
| KR102499070B1 (ko) * | 2020-03-02 | 2023-02-13 | 재단법인대구경북과학기술원 | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 |
| CN113449756B (zh) * | 2020-03-26 | 2022-08-16 | 太原理工大学 | 一种基于改进的DenseNet的多尺度图像识别方法和装置 |
| KR102286322B1 (ko) * | 2020-05-29 | 2021-08-06 | 한국광기술원 | 마이크로 led 검사 시스템 및 방법 |
| CA3184293A1 (en) * | 2020-06-29 | 2022-01-06 | Hadi Shafiee | Adaptive neural networks for analyzing medical images |
| CN111738268B (zh) * | 2020-07-22 | 2023-11-14 | 浙江大学 | 一种基于随机块的高分遥感图像的语义分割方法及系统 |
| US11479779B2 (en) | 2020-07-31 | 2022-10-25 | Zymergen Inc. | Systems and methods for high-throughput automated strain generation for non-sporulating fungi |
| CN112175824B (zh) * | 2020-09-17 | 2022-05-27 | 厦门德运芯准科技有限公司 | 一种基于数字微流控技术的全自动单细胞捕获芯片及其应用 |
| CN113298750A (zh) * | 2020-09-29 | 2021-08-24 | 湖南长天自控工程有限公司 | 一种环冷机掉轮的检测方法 |
| TWD218529S (zh) * | 2020-09-30 | 2022-05-01 | 富佳生技股份有限公司 | 核酸檢測儀之圖形化使用者介面 |
| US12020399B2 (en) | 2020-11-16 | 2024-06-25 | Xerox Corporation | System and method for multi-object micro-assembly control with the aid of a digital computer |
| US11893327B2 (en) | 2020-12-14 | 2024-02-06 | Xerox Corporation | System and method for machine-learning enabled micro-assembly control with the aid of a digital computer |
| US11921488B2 (en) | 2020-12-15 | 2024-03-05 | Xerox Corporation | System and method for machine-learning-enabled micro-object density distribution control with the aid of a digital computer |
| CN112418360B (zh) * | 2021-01-21 | 2021-04-13 | 深圳市安软科技股份有限公司 | 卷积神经网络的训练方法、行人属性识别方法及相关设备 |
| CN113205114B (zh) * | 2021-04-13 | 2024-07-09 | 联合汽车电子有限公司 | 一种流量测试方法 |
| US20230073786A1 (en) * | 2021-09-03 | 2023-03-09 | Hewlett-Packard Development Company, L.P. | Particle separation |
| CN114241245B (zh) * | 2021-12-23 | 2024-05-31 | 西南大学 | 一种基于残差胶囊神经网络的图像分类系统 |
| CN114308159B (zh) * | 2021-12-29 | 2023-09-01 | 复旦大学 | 一种光致电润湿芯片中液滴的自动化控制方法 |
| CN114693939B (zh) * | 2022-03-16 | 2024-04-30 | 中南大学 | 一种复杂环境下透明物检测深度特征提取方法 |
| EP4325444A1 (en) * | 2022-08-18 | 2024-02-21 | Roche Diagnostics GmbH | Digital pcr leakage detection and correction methods and systems |
| CN115860145A (zh) * | 2022-12-26 | 2023-03-28 | 环旭电子股份有限公司 | 芯片位置正确性的机器学习系统及机器学习方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015177268A1 (en) * | 2014-05-23 | 2015-11-26 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
| US20160171686A1 (en) * | 2014-12-09 | 2016-06-16 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
Family Cites Families (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0562657B1 (en) * | 1992-03-17 | 1998-09-16 | Koninklijke Philips Electronics N.V. | Imaging system with means for compensating vignetting and X-ray examination apparatus comprising such an imaging system |
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| US5854674A (en) | 1997-05-29 | 1998-12-29 | Optical Specialties, Inc. | Method of high speed, high detection sensitivity inspection of repetitive and random specimen patterns |
| US6294063B1 (en) | 1999-02-12 | 2001-09-25 | Board Of Regents, The University Of Texas System | Method and apparatus for programmable fluidic processing |
| US6942776B2 (en) | 1999-05-18 | 2005-09-13 | Silicon Biosystems S.R.L. | Method and apparatus for the manipulation of particles by means of dielectrophoresis |
| EP2420824B1 (en) | 2001-06-29 | 2018-11-28 | Meso Scale Technologies LLC | Multi-well plate having an array of wells and kit for use in the conduct of an ECL assay |
| DE60236672D1 (de) | 2001-09-06 | 2010-07-22 | Straus Holdings Inc | Schneller und empfindlicher nachweis von molekülen |
| US6958132B2 (en) | 2002-05-31 | 2005-10-25 | The Regents Of The University Of California | Systems and methods for optical actuation of microfluidics based on opto-electrowetting |
| AU2003278700A1 (en) | 2002-07-31 | 2004-02-16 | Arryx, Inc. | System and method of sorting materials using holographic laser steering |
| US6916584B2 (en) | 2002-08-01 | 2005-07-12 | Molecular Imprints, Inc. | Alignment methods for imprint lithography |
| AU2004261655A1 (en) | 2003-07-28 | 2005-02-10 | Fluidigm Corporation | Image processing method and system for microfluidic devices |
| US7651598B2 (en) | 2003-09-05 | 2010-01-26 | University Of Maryland | Arbitrary and simultaneous control of multiple objects in microfluidic systems |
| WO2005100541A2 (en) | 2004-04-12 | 2005-10-27 | The Regents Of The University Of California | Optoelectronic tweezers for microparticle and cell manipulation |
| US8685344B2 (en) | 2007-01-22 | 2014-04-01 | Advanced Liquid Logic, Inc. | Surface assisted fluid loading and droplet dispensing |
| WO2008119066A1 (en) | 2007-03-28 | 2008-10-02 | The Regents Of The University Of California | Single-sided lateral-field and phototransistor-based optoelectronic tweezers |
| WO2008132995A1 (ja) | 2007-04-12 | 2008-11-06 | The University Of Electro-Communications | 粒子計測装置、及び粒径計測装置 |
| JP5123756B2 (ja) | 2008-06-26 | 2013-01-23 | オリンパス株式会社 | 撮像システム、画像処理方法および画像処理プログラム |
| WO2010003043A2 (en) | 2008-07-03 | 2010-01-07 | Nec Laboratories America, Inc. | Signet ring cell detector and related methods |
| EP2318875B1 (en) * | 2008-07-25 | 2019-11-06 | Sloan Kettering Institute For Cancer Research | Rapid confocal microscopy to support surgical procedures |
| GB2464300A (en) | 2008-10-10 | 2010-04-14 | Univ Dublin City | Microfluidic multiplexed cellular and molecular analysis device and method |
| US9533306B2 (en) | 2010-08-02 | 2017-01-03 | The Regents Of The University Of California | Single sided continuous optoelectrowetting (SCEOW) device for droplet manipulation with light patterns |
| CN103154732B (zh) | 2010-08-05 | 2015-11-25 | 艾博特健康公司 | 通过显微图像用于全血样品自动分析的方法和装置 |
| US9222870B2 (en) | 2010-12-10 | 2015-12-29 | The Regents Of The University Of California | Method and device for multi-parameter imaging within a single fluorescent channel |
| GB201102037D0 (en) | 2011-02-07 | 2011-03-23 | Multi Sense Technologies Ltd | Microfluidics based assay device |
| CN102285630A (zh) | 2011-05-06 | 2011-12-21 | 中国科学技术大学苏州研究院 | 基于光镊的自动化微粒搬运方法 |
| EP2602608B1 (en) | 2011-12-07 | 2016-09-14 | Imec | Analysis and sorting of biological cells in flow |
| EP3002587B1 (en) * | 2011-12-30 | 2017-06-28 | Abbott Point Of Care, Inc. | Method and apparatus for automated platelet identification within a whole blood sample from microscopy images |
| US20140017791A1 (en) * | 2012-07-13 | 2014-01-16 | Berkeley Lights, Inc. | Combining Biological Micro-Objects |
| AU2013326786A1 (en) * | 2012-10-05 | 2015-04-30 | California Institute Of Technology | Methods and systems for microfluidics imaging and analysis |
| EP2912434B1 (en) | 2012-10-24 | 2019-12-04 | The Regents of The University of California | System and method for deforming and analyzing particles |
| US9857333B2 (en) | 2012-10-31 | 2018-01-02 | Berkeley Lights, Inc. | Pens for biological micro-objects |
| US9403172B2 (en) | 2012-11-08 | 2016-08-02 | Berkeley Lights, Inc. | Circuit based optoelectronic tweezers |
| AU2014340098B2 (en) | 2013-10-22 | 2020-05-28 | Berkeley Lights, Inc. | Micro-fluidic devices for assaying biological activity |
| SG11201602629RA (en) | 2013-10-22 | 2016-05-30 | Berkeley Lights Inc | Microfluidic devices having isolation pens and methods of testing biological micro-objects with same |
| US9889445B2 (en) * | 2013-10-22 | 2018-02-13 | Berkeley Lights, Inc. | Micro-fluidic devices for assaying biological activity |
| CN105849561B (zh) * | 2013-10-22 | 2018-09-14 | 伯克利之光生命科技公司 | 用于测定生物活性的微流体装置 |
| US20150166326A1 (en) * | 2013-12-18 | 2015-06-18 | Berkeley Lights, Inc. | Capturing Specific Nucleic Acid Materials From Individual Biological Cells In A Micro-Fluidic Device |
| US9684960B2 (en) | 2014-01-25 | 2017-06-20 | Pangea Diagnostics Limited | Automated histological diagnosis of bacterial infection using image analysis |
| US20150306598A1 (en) | 2014-04-25 | 2015-10-29 | Berkeley Lights, Inc. | DEP Force Control And Electrowetting Control In Different Sections Of The Same Microfluidic Apparatus |
| JP6802709B2 (ja) | 2014-04-25 | 2020-12-16 | バークレー ライツ，インコーポレイテッド | 同じマイクロ流体装置におけるｄｅｐ操作デバイスおよび制御可能なエレクトロウェッティングデバイスの提供 |
| US20150306599A1 (en) | 2014-04-25 | 2015-10-29 | Berkeley Lights, Inc. | Providing DEP Manipulation Devices And Controllable Electrowetting Devices In The Same Microfluidic Apparatus |
| JP2015215837A (ja) * | 2014-05-13 | 2015-12-03 | 株式会社デンソー | 演算処理装置 |
| SE538435C2 (en) * | 2014-05-14 | 2016-06-28 | Cellavision Ab | Method, device and computer program product for determining color transforms between images comprising a plurality of image elements |
| KR20170118032A (ko) * | 2014-10-17 | 2017-10-24 | 시레카 테라노스틱스, 엘엘씨 | 분석의 최적화 및 상관관계의 사용을 포함하는 생체 시료들을 분류하기 위한 방법 및 시스템 |
| WO2016094522A1 (en) * | 2014-12-09 | 2016-06-16 | Berkeley Lights, Inc. | Automated detection of assay-positive areas in microfluidic devices |
| SG10202102009QA (en) | 2014-12-10 | 2021-04-29 | Berkeley Lights Inc | Systems for operating electrokinetic devices |
| CA2966555C (en) | 2014-12-30 | 2023-06-13 | Ventana Medical Systems, Inc. | Systems and methods for co-expression analysis in immunoscore computation |
| IL293366B2 (en) | 2015-04-22 | 2023-10-01 | Berkeley Lights Inc | Kits and methods for preparing a microfluidic device for cell culture |
| CN115639134A (zh) * | 2016-06-10 | 2023-01-24 | 加利福尼亚大学董事会 | 基于图像的细胞分选系统和方法 |
| US11132529B2 (en) * | 2016-11-16 | 2021-09-28 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
| CA3045333A1 (en) | 2016-12-01 | 2018-06-07 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
| EP3548181A4 (en) | 2016-12-01 | 2020-07-08 | Berkeley Lights, Inc. | APPARATUS, SYSTEMS, AND METHODS FOR MICRO-OBJECT IMAGING |
| KR20210015947A (ko) | 2018-05-31 | 2021-02-10 | 버클리 라잇츠, 인크. | 미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화 |
| KR20220013382A (ko) | 2019-05-24 | 2022-02-04 | 버클리 라잇츠, 인크. | 기기 시스템 워크플로우를 최적화하기 위한 시스템들 및 방법들 |
-
2017
- 2017-12-01 CA CA3045333A patent/CA3045333A1/en active Pending
- 2017-12-01 CN CN202310862771.0A patent/CN116894976A/zh active Pending
- 2017-12-01 TW TW106142288A patent/TWI795380B/zh active
- 2017-12-01 EP EP17876009.6A patent/EP3549099B1/en active Active
- 2017-12-01 IL IL267009A patent/IL267009B/en unknown
- 2017-12-01 JP JP2019528810A patent/JP2019537157A/ja active Pending
- 2017-12-01 KR KR1020197018732A patent/KR102669330B1/ko active IP Right Grant
- 2017-12-01 WO PCT/US2017/064309 patent/WO2018102748A1/en unknown
- 2017-12-01 CN CN201780085461.5A patent/CN110268414B/zh active Active
- 2017-12-01 AU AU2017368268A patent/AU2017368268A1/en not_active Abandoned
-
2019
- 2019-05-31 US US16/428,792 patent/US11170200B2/en active Active
-
2021
- 2021-10-06 US US17/495,728 patent/US20220130158A1/en not_active Abandoned
-
2022
- 2022-06-08 IL IL293715A patent/IL293715B2/en unknown
- 2022-09-22 JP JP2022150955A patent/JP7221444B2/ja active Active
- 2022-10-21 AU AU2022256213A patent/AU2022256213A1/en not_active Abandoned
-
2023
- 2023-02-01 JP JP2023013800A patent/JP7535143B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015177268A1 (en) * | 2014-05-23 | 2015-11-26 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
| US20160171686A1 (en) * | 2014-12-09 | 2016-06-16 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3549099A1 (en) | 2019-10-09 |
| CN116894976A (zh) | 2023-10-17 |
| JP2023052813A (ja) | 2023-04-12 |
| WO2018102748A1 (en) | 2018-06-07 |
| CN110268414A (zh) | 2019-09-20 |
| EP3549099A4 (en) | 2020-07-29 |
| JP7221444B2 (ja) | 2023-02-13 |
| US20190384963A1 (en) | 2019-12-19 |
| CA3045333A1 (en) | 2018-06-07 |
| US20220130158A1 (en) | 2022-04-28 |
| IL267009A (en) | 2019-07-31 |
| JP2023011551A (ja) | 2023-01-24 |
| JP2019537157A (ja) | 2019-12-19 |
| US11170200B2 (en) | 2021-11-09 |
| KR20190091298A (ko) | 2019-08-05 |
| TW201830332A (zh) | 2018-08-16 |
| JP7535143B2 (ja) | 2024-08-15 |
| IL293715A (en) | 2022-08-01 |
| EP3549099B1 (en) | 2024-08-21 |
| AU2022256213A1 (en) | 2022-11-24 |
| IL293715B1 (en) | 2023-03-01 |
| CN110268414B (zh) | 2023-08-01 |
| TWI795380B (zh) | 2023-03-11 |
| IL267009B (en) | 2022-07-01 |
| IL293715B2 (en) | 2023-07-01 |
| AU2017368268A1 (en) | 2019-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102669330B1 (ko) | 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 | |
| JP7526100B2 (ja) | マイクロ流体デバイスによる微小物体の自動検出及び特徴付け | |
| US20220250071A1 (en) | Methods, systems and kits for in-pen assays | |
| US20210349075A1 (en) | Methods for assaying biological cells in a microfluidic device | |
| EP3721209A2 (en) | Methods, systems and kits for in-pen assays | |
| US20230251268A1 (en) | Methods, systems and kits for in-pen assays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |