KR20240051219A - 미세유체 기반 섬유 형성 방법 및 시스템 - Google Patents
미세유체 기반 섬유 형성 방법 및 시스템 Download PDFInfo
- Publication number
- KR20240051219A KR20240051219A KR1020247010187A KR20247010187A KR20240051219A KR 20240051219 A KR20240051219 A KR 20240051219A KR 1020247010187 A KR1020247010187 A KR 1020247010187A KR 20247010187 A KR20247010187 A KR 20247010187A KR 20240051219 A KR20240051219 A KR 20240051219A
- Authority
- KR
- South Korea
- Prior art keywords
- material flow
- camera
- printhead
- microfluidic
- fibers
- Prior art date
Links
- 239000000835 fiber Substances 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000015572 biosynthetic process Effects 0.000 title abstract description 8
- 239000000463 material Substances 0.000 claims abstract description 228
- 239000012620 biological material Substances 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000004132 cross linking Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 239000000017 hydrogel Substances 0.000 claims description 68
- 238000010801 machine learning Methods 0.000 claims description 44
- 230000000704 physical effect Effects 0.000 claims description 25
- 238000007639 printing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 10
- 239000011859 microparticle Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000007547 defect Effects 0.000 claims description 7
- 239000006285 cell suspension Substances 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 239000000975 dye Substances 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- 239000000084 colloidal system Substances 0.000 claims description 4
- 239000002872 contrast media Substances 0.000 claims description 4
- 239000000049 pigment Substances 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 14
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000006399 behavior Effects 0.000 abstract 1
- 239000012510 hollow fiber Substances 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 82
- 239000011162 core material Substances 0.000 description 60
- 239000011257 shell material Substances 0.000 description 55
- 108091006146 Channels Proteins 0.000 description 42
- 238000012549 training Methods 0.000 description 40
- 210000001519 tissue Anatomy 0.000 description 26
- 102000008186 Collagen Human genes 0.000 description 24
- 108010035532 Collagen Proteins 0.000 description 24
- 229920001436 collagen Polymers 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 229920000615 alginic acid Polymers 0.000 description 16
- 230000001413 cellular effect Effects 0.000 description 16
- 235000010443 alginic acid Nutrition 0.000 description 15
- 229940072056 alginate Drugs 0.000 description 11
- 239000000560 biocompatible material Substances 0.000 description 11
- FHVDTGUDJYJELY-UHFFFAOYSA-N 6-{[2-carboxy-4,5-dihydroxy-6-(phosphanyloxy)oxan-3-yl]oxy}-4,5-dihydroxy-3-phosphanyloxane-2-carboxylic acid Chemical compound O1C(C(O)=O)C(P)C(O)C(O)C1OC1C(C(O)=O)OC(OP)C(O)C1O FHVDTGUDJYJELY-UHFFFAOYSA-N 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010200 validation analysis Methods 0.000 description 10
- KIUKXJAPPMFGSW-DNGZLQJQSA-N (2S,3S,4S,5R,6R)-6-[(2S,3R,4R,5S,6R)-3-Acetamido-2-[(2S,3S,4R,5R,6R)-6-[(2R,3R,4R,5S,6R)-3-acetamido-2,5-dihydroxy-6-(hydroxymethyl)oxan-4-yl]oxy-2-carboxy-4,5-dihydroxyoxan-3-yl]oxy-5-hydroxy-6-(hydroxymethyl)oxan-4-yl]oxy-3,4,5-trihydroxyoxane-2-carboxylic acid Chemical compound CC(=O)N[C@H]1[C@H](O)O[C@H](CO)[C@@H](O)[C@@H]1O[C@H]1[C@H](O)[C@@H](O)[C@H](O[C@H]2[C@@H]([C@@H](O[C@H]3[C@@H]([C@@H](O)[C@H](O)[C@H](O3)C(O)=O)O)[C@H](O)[C@@H](CO)O2)NC(C)=O)[C@@H](C(O)=O)O1 KIUKXJAPPMFGSW-DNGZLQJQSA-N 0.000 description 9
- 239000000499 gel Substances 0.000 description 9
- 229920002674 hyaluronan Polymers 0.000 description 9
- 229960003160 hyaluronic acid Drugs 0.000 description 9
- 230000004807 localization Effects 0.000 description 9
- -1 polydimethylsiloxane Polymers 0.000 description 7
- 229920001661 Chitosan Polymers 0.000 description 6
- 108010010803 Gelatin Proteins 0.000 description 6
- 230000004913 activation Effects 0.000 description 6
- 238000001125 extrusion Methods 0.000 description 6
- 239000008273 gelatin Substances 0.000 description 6
- 229920000159 gelatin Polymers 0.000 description 6
- 235000019322 gelatine Nutrition 0.000 description 6
- 235000011852 gelatine desserts Nutrition 0.000 description 6
- 229920001223 polyethylene glycol Polymers 0.000 description 6
- 238000011002 quantification Methods 0.000 description 6
- 210000000130 stem cell Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000002889 endothelial cell Anatomy 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 229920000936 Agarose Polymers 0.000 description 4
- 108010049003 Fibrinogen Proteins 0.000 description 4
- 102000008946 Fibrinogen Human genes 0.000 description 4
- 239000002202 Polyethylene glycol Substances 0.000 description 4
- 239000013543 active substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000007380 fibre production Methods 0.000 description 4
- 229940012952 fibrinogen Drugs 0.000 description 4
- 239000003102 growth factor Substances 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 150000007523 nucleic acids Chemical class 0.000 description 4
- 210000000496 pancreas Anatomy 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 3
- 102000053602 DNA Human genes 0.000 description 3
- 108090000790 Enzymes Proteins 0.000 description 3
- 102000004190 Enzymes Human genes 0.000 description 3
- 108010073385 Fibrin Proteins 0.000 description 3
- 102000009123 Fibrin Human genes 0.000 description 3
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 150000001768 cations Chemical class 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229940088598 enzyme Drugs 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 229950003499 fibrin Drugs 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000004626 polylactic acid Substances 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 238000004451 qualitative analysis Methods 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 210000001685 thyroid gland Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 206010003445 Ascites Diseases 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 229920002683 Glycosaminoglycan Polymers 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- CERQOIWHTDAKMF-UHFFFAOYSA-M Methacrylate Chemical compound CC(=C)C([O-])=O CERQOIWHTDAKMF-UHFFFAOYSA-M 0.000 description 2
- KWYHDKDOAIKMQN-UHFFFAOYSA-N N,N,N',N'-tetramethylethylenediamine Chemical compound CN(C)CCN(C)C KWYHDKDOAIKMQN-UHFFFAOYSA-N 0.000 description 2
- 101710163270 Nuclease Proteins 0.000 description 2
- 108020004511 Recombinant DNA Proteins 0.000 description 2
- 238000010459 TALEN Methods 0.000 description 2
- 108010043645 Transcription Activator-Like Effector Nucleases Proteins 0.000 description 2
- 108010017070 Zinc Finger Nucleases Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- ROOXNKNUYICQNP-UHFFFAOYSA-N ammonium persulfate Chemical compound [NH4+].[NH4+].[O-]S(=O)(=O)OOS([O-])(=O)=O ROOXNKNUYICQNP-UHFFFAOYSA-N 0.000 description 2
- 239000012935 ammoniumperoxodisulfate Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000003915 cell function Effects 0.000 description 2
- 230000003833 cell viability Effects 0.000 description 2
- 229920002678 cellulose Polymers 0.000 description 2
- 239000001913 cellulose Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000001612 chondrocyte Anatomy 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000004205 dimethyl polysiloxane Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001671 embryonic stem cell Anatomy 0.000 description 2
- 210000003158 enteroendocrine cell Anatomy 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 210000001808 exosome Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 239000005556 hormone Substances 0.000 description 2
- 229940088597 hormone Drugs 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000987 immune system Anatomy 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 210000004409 osteocyte Anatomy 0.000 description 2
- 210000001672 ovary Anatomy 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 210000004560 pineal gland Anatomy 0.000 description 2
- 230000001817 pituitary effect Effects 0.000 description 2
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 2
- 229920000747 poly(lactic acid) Polymers 0.000 description 2
- 229920001610 polycaprolactone Polymers 0.000 description 2
- 239000011118 polyvinyl acetate Substances 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 150000003254 radicals Chemical class 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 235000019832 sodium triphosphate Nutrition 0.000 description 2
- 229920001059 synthetic polymer Polymers 0.000 description 2
- 210000001550 testis Anatomy 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 210000001541 thymus gland Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 108091032973 (ribonucleotides)n+m Proteins 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-M Acrylate Chemical compound [O-]C(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-M 0.000 description 1
- 108091023037 Aptamer Proteins 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 108091033409 CRISPR Proteins 0.000 description 1
- 238000010356 CRISPR-Cas9 genome editing Methods 0.000 description 1
- UXVMQQNJUSDDNG-UHFFFAOYSA-L Calcium chloride Chemical compound [Cl-].[Cl-].[Ca+2] UXVMQQNJUSDDNG-UHFFFAOYSA-L 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 229920001287 Chondroitin sulfate Polymers 0.000 description 1
- 102100022641 Coagulation factor IX Human genes 0.000 description 1
- 102100023804 Coagulation factor VII Human genes 0.000 description 1
- 102000012422 Collagen Type I Human genes 0.000 description 1
- 108010022452 Collagen Type I Proteins 0.000 description 1
- 102000047200 Collagen Type XVIII Human genes 0.000 description 1
- 108010001463 Collagen Type XVIII Proteins 0.000 description 1
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- 229920000045 Dermatan sulfate Polymers 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 108010076282 Factor IX Proteins 0.000 description 1
- 108010023321 Factor VII Proteins 0.000 description 1
- 108010054218 Factor VIII Proteins 0.000 description 1
- 102000001690 Factor VIII Human genes 0.000 description 1
- 102000016359 Fibronectins Human genes 0.000 description 1
- 108010067306 Fibronectins Proteins 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 229920002148 Gellan gum Polymers 0.000 description 1
- 101800001586 Ghrelin Proteins 0.000 description 1
- 102400000442 Ghrelin-28 Human genes 0.000 description 1
- 102400000321 Glucagon Human genes 0.000 description 1
- 108060003199 Glucagon Proteins 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 102000003886 Glycoproteins Human genes 0.000 description 1
- 108090000288 Glycoproteins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010062767 Hypophysitis Diseases 0.000 description 1
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 102000005755 Intercellular Signaling Peptides and Proteins Human genes 0.000 description 1
- 108010070716 Intercellular Signaling Peptides and Proteins Proteins 0.000 description 1
- 108010076876 Keratins Proteins 0.000 description 1
- 102000011782 Keratins Human genes 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 229920001410 Microfiber Polymers 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 108091093037 Peptide nucleic acid Proteins 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 102000018120 Recombinases Human genes 0.000 description 1
- 108010091086 Recombinases Proteins 0.000 description 1
- 108020004459 Small interfering RNA Proteins 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- QAOWNCQODCNURD-UHFFFAOYSA-L Sulfate Chemical compound [O-]S([O-])(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-L 0.000 description 1
- 108090000190 Thrombin Proteins 0.000 description 1
- 102000002938 Thrombospondin Human genes 0.000 description 1
- 108060008245 Thrombospondin Proteins 0.000 description 1
- 108090000631 Trypsin Proteins 0.000 description 1
- 102000004142 Trypsin Human genes 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000001919 adrenal effect Effects 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 210000004504 adult stem cell Anatomy 0.000 description 1
- 230000000735 allogeneic effect Effects 0.000 description 1
- 150000001413 amino acids Chemical class 0.000 description 1
- 150000001450 anions Chemical class 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940121363 anti-inflammatory agent Drugs 0.000 description 1
- 239000002260 anti-inflammatory agent Substances 0.000 description 1
- 230000000845 anti-microbial effect Effects 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 229940121375 antifungal agent Drugs 0.000 description 1
- 239000003429 antifungal agent Substances 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 239000003443 antiviral agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 229920002988 biodegradable polymer Polymers 0.000 description 1
- 239000004621 biodegradable polymer Substances 0.000 description 1
- 239000011176 biofiber Substances 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000002449 bone cell Anatomy 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000023402 cell communication Effects 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010382 chemical cross-linking Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 229940045110 chitosan Drugs 0.000 description 1
- 229940094517 chondroitin 4-sulfate Drugs 0.000 description 1
- KXKPYJOVDUMHGS-OSRGNVMNSA-N chondroitin sulfate Chemical compound CC(=O)N[C@H]1[C@H](O)O[C@H](OS(O)(=O)=O)[C@H](O)[C@@H]1O[C@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](C(O)=O)O1 KXKPYJOVDUMHGS-OSRGNVMNSA-N 0.000 description 1
- 210000003737 chromaffin cell Anatomy 0.000 description 1
- 229960005188 collagen Drugs 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 230000009146 cooperative binding Effects 0.000 description 1
- 239000003431 cross linking reagent Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- AVJBPWGFOQAPRH-FWMKGIEWSA-L dermatan sulfate Chemical compound CC(=O)N[C@H]1[C@H](O)O[C@H](CO)[C@H](OS([O-])(=O)=O)[C@@H]1O[C@H]1[C@H](O)[C@@H](O)[C@H](O)[C@H](C([O-])=O)O1 AVJBPWGFOQAPRH-FWMKGIEWSA-L 0.000 description 1
- 229940051593 dermatan sulfate Drugs 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 125000004386 diacrylate group Chemical group 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 210000003372 endocrine gland Anatomy 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 210000003499 exocrine gland Anatomy 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 229960004222 factor ix Drugs 0.000 description 1
- 229940012413 factor vii Drugs 0.000 description 1
- 229960000301 factor viii Drugs 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000003176 fibrotic effect Effects 0.000 description 1
- 230000003325 follicular Effects 0.000 description 1
- 239000000989 food dye Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 229940014259 gelatin Drugs 0.000 description 1
- 238000001879 gelation Methods 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 210000004602 germ cell Anatomy 0.000 description 1
- GNKDKYIHGQKHHM-RJKLHVOGSA-N ghrelin Chemical compound C([C@H](NC(=O)[C@@H](NC(=O)[C@H](CO)NC(=O)CN)COC(=O)CCCCCCC)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CO)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC=1N=CNC=1)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CO)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)C1=CC=CC=C1 GNKDKYIHGQKHHM-RJKLHVOGSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- MASNOZXLGMXCHN-ZLPAWPGGSA-N glucagon Chemical compound C([C@@H](C(=O)N[C@H](C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(O)=O)C(C)C)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](C)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CO)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CO)NC(=O)[C@@H](NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@@H](NC(=O)CNC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](CO)NC(=O)[C@@H](N)CC=1NC=NC=1)[C@@H](C)O)[C@@H](C)O)C1=CC=CC=C1 MASNOZXLGMXCHN-ZLPAWPGGSA-N 0.000 description 1
- 229960004666 glucagon Drugs 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000002149 gonad Anatomy 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 210000004007 growth hormone secreting cell Anatomy 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 210000002064 heart cell Anatomy 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 239000003667 hormone antagonist Substances 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 230000008004 immune attack Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 230000003914 insulin secretion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003292 kidney cell Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000001756 lactotroph Anatomy 0.000 description 1
- 230000001381 lactotroph Effects 0.000 description 1
- 210000002332 leydig cell Anatomy 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 210000005033 mesothelial cell Anatomy 0.000 description 1
- 108020004999 messenger RNA Proteins 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 108091070501 miRNA Proteins 0.000 description 1
- 239000002679 microRNA Substances 0.000 description 1
- 239000003658 microfiber Substances 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 210000003098 myoblast Anatomy 0.000 description 1
- 229920005615 natural polymer Polymers 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000849 parathyroid Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 210000003635 pituitary gland Anatomy 0.000 description 1
- 210000001778 pluripotent stem cell Anatomy 0.000 description 1
- 229920001606 poly(lactic acid-co-glycolic acid) Polymers 0.000 description 1
- 229920000671 polyethylene glycol diacrylate Polymers 0.000 description 1
- 229920002689 polyvinyl acetate Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- USHAGKDGDHPEEY-UHFFFAOYSA-L potassium persulfate Chemical compound [K+].[K+].[O-]S(=O)(=O)OOS([O-])(=O)=O USHAGKDGDHPEEY-UHFFFAOYSA-L 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 229940002612 prodrug Drugs 0.000 description 1
- 239000000651 prodrug Substances 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000010526 radical polymerization reaction Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002363 skeletal muscle cell Anatomy 0.000 description 1
- 150000003384 small molecules Chemical class 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 229960004072 thrombin Drugs 0.000 description 1
- 230000002992 thymic effect Effects 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 108700012359 toxins Proteins 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 239000012588 trypsin Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
- B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
- G01F1/704—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow using marked regions or existing inhomogeneities within the fluid stream, e.g. statistically occurring variations in a fluid parameter
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/10—Processes of additive manufacturing
- B29C64/106—Processes of additive manufacturing using only liquids or viscous materials, e.g. depositing a continuous bead of viscous material
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/20—Apparatus for additive manufacturing; Details thereof or accessories therefor
- B29C64/205—Means for applying layers
- B29C64/209—Heads; Nozzles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/307—Handling of material to be used in additive manufacturing
- B29C64/343—Metering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y10/00—Processes of additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
- B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y70/00—Materials specially adapted for additive manufacturing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y70/00—Materials specially adapted for additive manufacturing
- B33Y70/10—Composites of different types of material, e.g. mixtures of ceramics and polymers or mixtures of metals and biomaterials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Materials Engineering (AREA)
- Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Civil Engineering (AREA)
- Ceramic Engineering (AREA)
- Structural Engineering (AREA)
- Composite Materials (AREA)
- Fluid Mechanics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
미세유체 기반 섬유 형성 방법들 및 시스템들은 3D 바이오프린터들 상의 미세유체 가교 프린트헤드 내의 주요 동작 파라미터들의 비접촉식 감지, 분석, 및 모니터링을 가능하게 하기 위한 컴퓨터 비전 및 딥 러닝 시스템 및 방법을 채용한다. 실시예들은 감지, 분석, 및 모니터링을 용이하게 하기 위해 객체 검출 및/또는 시맨틱 세그먼트화를 채용할 수 있다. 딥 러닝은 컨볼루션 신경망을 사용하여 마이크로채널 내의 상이한 생물학적 재료들의 흐름을 로컬화 및 분석할 수 있을 뿐만 아니라 프린트된 조직의 최종 품질에 영향을 미칠 수 있는 다양한 미세유체 프린트헤드 온 칩 컴포넌트들의 동작을 식별할 수 있다. 프린팅된 조직들은 중공 섬유들을 포함하는 단일 재료 섬유들뿐만 아니라, 더 복합적인 동축으로 층화된 섬유들을 포함할 수 있다.
Description
관련 출원 상호 참조
본 출원은 2021년 9월 7일에 출원된 미국 가출원 제63/238,028호의 이익을 주장하, 이 가출원의 전체 내용을 본 명세서에 참고로 통합한다.
기술분야
본 발명의 양태들은 미세유체 가교 프린트헤드 성능을 모니터링하기 위한 품질 제어 방법들 및 장치에 관한 것이다. 보다 구체적인 양태들은 3차원(3D) 바이오프린팅 플랫폼에서 미세유체 가교 성능을 모니터링하기 위한 방법 및 장치에 관한 것이다. 사용되는 프린트헤드에 따라, 이러한 플랫폼은 개별 섬유 코어 및 쉘 컴포넌트들을 갖는 단일 섬유 또는 동축 다층 히드로겔 섬유 중 어느 하나를 생성할 수 있다. 더 구체적인 양태들은 섬유들의 기하학적 피처들, 이를테면 섬유 직경 및 섬유 코어 및 쉘의 동심도를 정량화하기 위해, 프린트헤드 노즐의 실시간 시각적 이미지들뿐만 아니라 노즐 내에 형성되는 섬유들을 제공하는 컴퓨터 비전 및 머신 러닝 시스템에 관한 것이다.
세포 탑재 섬유(통상적으로 코어 및 쉘을 포함함)는 3D 바이오프린팅된 조직의 빌딩 블록이다. 조직이 주입되는 호스트의 면역 시스템으로부터의 치료 세포 생존성, 조직 기능, 및 보호를 유지하기 위해 특유하고 일관적인 섬유 아키텍처가 요구된다.
섬유 아키텍처의 일 양태는 섬유의 내부 세포 함유 영역으로의 산소 및 영양소의 확산을 고려한다. 이러한 확산은 섬유의 쉘 내의 재료의 두께의 함수일 수 있다. 더 두꺼운 쉘은 산소 및 영양소의 상당한 저하 및 치료 세포의 부족, 세포사, 및 궁극적으로 기능 손실을 초래할 수 있다. 따라서, 세포 생존성 및 기능을 보장하기 위해, 쉘 치수를 특정 두께 미만으로 유지하는 것이 중요하다. 다른 한편으로, 세포 페이로드를 호스트 면역 공격으로부터 보호하기 위해, 쉘 치수를 특정 두께 초과로 유지하는 것이 또한 중요할 수 있다. 이 두 개의 경쟁 치수들은 면역 보호를 제공하고 세포 기능의 유지를 보장하는 쉘 두께 윈도우를 형성한다. 윈도우는 매우 좁을 수 있다.
섬유의 코어 및 쉘의 동심도에 더하여, 전체 섬유 직경은 섬유를 수용하는 호스트의 능력에 관련될 수 있다. 1 mm 미만의 직경을 갖는 섬유들은 더 강한 섬유증 반응을 트리거할 수 있고, 1 mm 초과의 섬유 직경의 유지는 원치 않는 섬유화를 감소시키는 데 바람직하다. 조직 제조 동안 일관된 전체 섬유 직경이 또한 중요하다. 바이오프린팅된 조직은 다수의 층들로 구성될 것이다. 섬유 직경의 충분한 제어가 없으면, 결과적인 조직의 각 층은 불균일할 수 있다. 더욱이, 불균일성의 반복은 섬유 두께의 오류들을 복합시킬 수 있다. 그 결과, 바이오프린팅된 조직의 전체 매크로 구조는 충실도를 잃을 수 있고, 감소된 기계적 무결성 및 기능을 겪을 수 있다. 따라서, 바이오프린팅된 조직이 임상적 사용을 위해 충분히 신뢰할 수 있도록 하기 위해 코어 및 쉘의 동심도, 및 전체 섬유 직경이 일관적일 필요가 있다는 것을 알 수 있다.
그러나 불행하게도, 다양한 이유로 동축 섬유의 바이오프린팅 동안 오동심이 발생할 수 있으며, 이러한 섬유를 생성하기 위한 프린트헤드의 제조가 문제의 하나의 원인이다. 특히, 이러한 프린트헤드의 종래의 제조는 층들의 다수의 스택들, 예를 들어, 투명 폴리디메틸실록산(PDMS) 또는 유리층들을 본딩하는 것을 필요로 한다. 본딩 동안 층들의 불량한 정렬은 채널들과 밸브들의 불량한 정렬을 초래할 수 있고, 불량한 채널 및/또는 밸브 정렬은 차례로 섬유 형성 동안 재료 흐름에 악영향을 미칠 수 있고, 동심도의 결여를 초래할 수 있다. 다른 고려사항은, 프린팅 동안 변화하는 압력 하에서의 점도와 같은 생체 적합 재료 속성이 섬유 직경뿐만 아니라 섬유의 코어(중간) 및 쉘(외부)의 중앙 축의 정렬에도 영향을 미칠 수 있다는 것이다.
또한, 재료 이상 이를테면 버블 및 세포 탑재 섬유의 경우, 세포들의 클러스터들이 또한 오동심도를 초래할 수 있다. 도 1a 내지 도 1f는 섬유의 쉘 내부의 코어의 상이한 각 위치들을 갖는 섬유들의 표현들의 길이들 및 직경들을 따라 취해진 각 단면도들을 도시한다. 도 1a에서, 섬유(100)는 중심축(110), 코어(120), 코어 외측 에지(130), 쉘(140), 및 쉘 외측 에지(150)를 갖는다. 대응하는 넘버링이 도 1b 내지 도 1f에 적용된다. 도 1a는 코어(120)와 쉘(140) 사이의 동심도를 갖는 섬유의 예이다. 도. 1b 내지 1f는 오동심도의 상이한 예들이다.
섬유 생성을 모니터링할 뿐만 아니라 미세유체 가교 동안 식별된 오동심도를 보정하기 위한 피드백 메커니즘을 제공하는 시스템을 제공하는 것이 바람직할 것이다. 또한, 수용될 3D 조직의 생성을 용이하게 하기 위해 일관된 코어 및 쉘 직경들을 갖는 일관된 동심 섬유들을 생성하기 위한 3D 바이오프린팅 시스템을 가르치는 시스템을 제공하는 것이 바람직할 것이다.
본 발명은 컴퓨터 비전 및 딥 러닝을 3차원(3D) 바이오프린팅 플랫폼으로 통합함으로써, 예를 들어, 세포 함유 히드로겔 및 다른 가교결합가능 물질을 포함하는 미세유체 가교결합 프린트헤드 내의 복수의 상이한 재료들의 동작 및 흐름을 모니터링하는 것을 지시할 수 있게 함으로써 당업계의 전술한 문제들을 해결한다. 실시예들에서, 본 발명은 미세유체 가교 프린트헤드 내의 복수의 상이한 재료들의 동시 흐름을 이미지화하기 위한 컴퓨터 비전 시스템 및 방법의 일부로서 하나 이상의 카메라를 포함한다. 추가적인 실시예들은 미세유체 프린트헤드 및 내부의 섬유들의 투명한 피처들을 조명하기 위해, 카메라들 각각에 대한 발광 다이오드(LED) 또는 LED 어레이를 포함한다. 실시예들에서, 하나 이상의 미러가 카메라들 중 하나를 대체할 수 있다.
본 발명의 실시예들은 3D 바이오프린팅을 위한 섬유를 형성하기 위해 미세유체 가교 디바이스들로부터 흘러나올 때 생체 적합 재료들의 특성들의 비접촉식 감지를 가능하게 한다. 실시예들은 또한 자동화된 분석을 가능하게 하며, 이는 결과적으로 프린트된 섬유 속성들의 정량적 측정치들의 도출을 가능하게 한다. 이러한 측정치들은 품질 제어 및/또는 품질 보증 파라미터들로서의 역할을 할 수 있다.
본 발명의 양태들은 미세유체 가교결합 디바이스 내의 하나 이상의 히드로겔 재료를 포함하는 상이한 재료들의 동작 및 동시 흐름을 직접 모니터링하기 위한 3D 바이오프린팅 플랫폼으로 컴퓨터 비전 및 인공 지능/딥 러닝/머신 러닝을 통합한다. 실시예들에서, 본 발명의 시스템은 섬유 형성의 비접촉식 감지를 가능하게 한다. 본 발명의 시스템의 실시예들은 품질 제어/품질 보증 파라미터들로서 프린트된 섬유 속성들의 정량적 측정치들을 도출하기 위해 자동화된 분석을 제공한다. 일부 실시예들에서, 이러한 정량적 측정들은 프린트된 섬유 전체에 걸친 생물학적 재료의 일관성의 관점에서 섬유 품질의 정성적 평가를 위해, 섬유 전체에 걸친 생체 적합 재료(예를 들어, 세포)의 프린트 동안 이의 실시간 상위 레벨 정량화를 포함한다. 일부 실시예들에서, 이러한 정량적 측정들은 재료 흐름 내의 다른 객체들, 예를 들어, 마이크로입자들의 실시간 상위 레벨 정량화를 포함한다.
실시예들에서, 상이한 머신 러닝 툴들이 채용될 수 있다. 예를 들어, 컨볼루션 신경망(convolutional neural network, CNN)이 객체 검출을 위해 사용될 수 있다. 다른 예로서, 시맨틱 세그먼트화가 프린트 동안 프린트헤드 및 결과적인 섬유의 상이한 속성들을 모니터링하고 분석하는 데 사용될 수 있다.
실시예들에서, 직경 및/또는 오동심도를 보정하기 위해 프린트헤드의 미세유체 채널들 내의 재료들의 압력 및/또는 변위 및 후속 흐름을 조정하기 위해, 다양한 머신 러닝 툴들의 출력들은 3D 바이오프린팅 플랫폼에 실시간으로 피드백될 수 있으며, 이에 따라, 고품질 섬유의 일관된 생성을 가능하게 하고, 바이오프린팅된 섬유에서의 고가의 생체 적합 재료 및 세포 입력의 손실을 최소화한다.
실시예들에서, 재료 흐름은 적어도 하나의 가교결합가능 재료, 그리고 바람직하게는 적어도 하나의 히드로겔을 포함하며, 적어도 하나의 생물학적 재료, 예를 들어, 생체적합성 재료 내의 세포군을 선택적으로 더 포함한다. 실시예들에서, 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 또는 이들의 조합을 포함하거나 이들로 이루어진 군으로부터 선택된다. 실시예들에서, 재료 흐름은 미세입자들을 포함한다.
실시예들에서, 세포군은, 췌장, 간, 갑상선, 부갑상선, 송과선, 뇌하수체, 흉선, 부신, 난소, 고환, 엔테로내분비 세포, 줄기 세포, 줄기 세포 유도 세포 또는 관심 생물학적 활성제를 분비하도록 설계된 세포를 포함할 수 있다. 실시예들에서, 세포군은 치료 단백질 또는 핵산을 함유하는 엑소좀들의 형태로 세포 유도 세포외 소포들을 방출한다. 실시예들에서, 생체적합성 재료는 알지네이트, 콜라겐, 탈세포화된 세포외 매트릭스, 히알루론산, PEG, 섬유소, 젤라틴, GEL-MA, 실크, 키토산, 셀룰로오스, PCL, PLA, POEGMA, 및 이들의 조합으로부터 선택된다.
일부 실시예들에서, 미세유체 프린트헤드들은 섬유 생성에서의 재료 흐름을 제어하기 위해 압력을 채용할 수 있다. 다른 실시예들에서, 미세유체 프린트헤드들은 섬유 생성에서의 재료 흐름을 제어하기 위해 변위를 채용할 수 있다.
특히, 본 발명의 실시예들은 생성되는 다층 섬유들의 다양한 기하학적 피처들의 실시간 검사를 가능하게 한다. 결과적인 효과들 중 하나는, 밸브 및 채널 압력을 모니터링하고 프로세스 및 프린트된 섬유에서의 결함, 이상 및/또는 결점을 검출하기 위해, 고가이고/거나 복합적인 압력 센서 또는 다른 MEMS(microelectromechanical systems) 기반 기술을 프린트헤드에 통합할 필요성을 회피하는 것이다.
일 양태에서, 본 발명은 미세유체 가교 프린트헤드 재료 흐름 감지 시스템으로서, 미세유체 가교 프린트헤드; 적어도 하나의 가교결합가능 재료를 포함하는 재료 흐름; 미세유체 가교 프린트헤드를 통한 재료 흐름을 모니터링하고 재료 흐름의 스트리밍 이미지들을 제공하기 위한 카메라 시스템; 및 스트리밍 이미지들에서 표현된 바와 같은 재료 흐름을 분석함으로써, 재료 흐름에 의해 생성된 가교결합으로부터 기인하는, 프린트된 섬유의 물리적 속성들을 결정하기 위한 컴퓨터 시스템을 포함하며; 컴퓨터 시스템은 재료 흐름의 스트리밍 이미지들을 미리 결정된 허용오차 내의 프린트된 섬유의 물리적 속성들에 대응하는 사용자 확립 재료 흐름 파라미터들과 비교하고, 재료 흐름에 대한 재료 흐름 파라미터들, 및 비교의 결과들을 기록하는 머신 러닝 기반 시스템을 포함하는 것인, 시스템을 제공한다.
실시예들에서, 미세유체 가교 프린트헤드는 하나 이상의 투명 채널을 포함하고, 카메라 시스템은 하나 이상의 투명 채널 중 적어도 하나를 통한 재료 흐름을 모니터링하며, 바람직하게는 미세유체 가교 프린트헤드는 투명 노즐 또는 디스펜싱 채널을 포함한다.
실시예들에서, 카메라 시스템은 하나 이상의 투명 채널 중 적어도 하나에 대해 제1 각도로 위치된 제1 카메라, 및 하나 이상의 투명 채널 중 적어도 하나에 대해 상이한 제2 각도로 위치된 제2 카메라를 포함한다. 실시예들에서, 제1 카메라와 제2 카메라는 서로에 대해 직각으로 있다.
대안적인 실시예들에서, 카메라 시스템은 카메라 및 복수의 미러들을 포함하며, 미러들은 하나 이상의 투명 채널 중 적어도 하나에 대해 제1 뷰 및 상이한 제2 뷰를 제공하도록 위치되며, 카메라는 제1 뷰 및 제2 뷰의 이미지들을 수신한다. 실시예들에서, 제2 뷰는 제1 뷰와 직교한다. 실시예들에서, 복수의 미러들은 제1 뷰 및 제2 뷰를 제공하도록 배열된 세 개의 미러들을 포함한다. 실시예들에서, 복수의 미러들은 두 개의 미러들을 포함하되, 미러들 중 하나는 카메라에 제1 뷰와 제2 뷰를 교대로 제공하도록 회전가능하다.
예시적인 실시예에서, 미세유체 시스템은 복수의 투명 채널들을 포함하고, 카메라 시스템은 제1 카메라와 제2 카메라의 동등한 복수의 쌍들을 포함하며, 각 쌍 내의 각 제1 카메라 및 제2 카메라는 서로에 대해 직각으로 위치되고, 제1 카메라와 제2 카메라의 복수의 쌍들 각각은 복수의 투명 채널들 중 상이한 각 투명 채널들을 통한 재료 흐름을 모니터링하기 위한 것이다.
실시예들에서, 머신 러닝 기반 시스템은 사용자 확립 재료 흐름 파라미터들로부터의 재료 흐름에서의 하나 이상의 편차를 식별한다. 실시예들에서, 그리고 식별된 하나 이상의 편차에 응답하여, 머신 러닝 기반 시스템은 재료 흐름 파라미터들을 조정하는 것이 필요한지 여부를 식별한다. 실시예들에서, 머신 러닝 기반 시스템은 누적 편차가 미리 결정된 양을 초과하는 것에 응답하여 재료 흐름 파라미터들을 조정한다. 실시예들에서, 머신 러닝 기반 시스템은 프린트된 섬유의 물리적 속성들을 미리 결정된 허용오차 내에서 유지하도록 재료 흐름 파라미터들을 조정한다. 실시예들에서, 물리적 속성들은 바이오프린팅된 섬유들의 직경을 포함한다. 실시예들에서, 물리적 속성들은 바이오프린팅된 섬유들 내의 층들의 동심도를 포함한다.
실시예들에서, 머신 러닝 기반 시스템은 재료 흐름의 스트리밍 이미지들의 객체 검출 및/또는 시맨틱 세그먼트화를 수행한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 재료 흐름 내의 하나 이상의 객체의 위치의 검출을 가능하게 한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 재료 흐름 내의 하나 이상의 객체의 형상 및/또는 크기의 시각적 추정을 가능하게 한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 물질 흐름 내의 생물학적 재료(예를 들어, 세포군)의 일반적인 양 및/또는 분포의 시각적 추정을 가능하게 한다.
실시예들에서, 미세유체 디바이스는 3차원(3D) 바이오프린팅 프린트헤드를 포함하고, 시스템은 바이오프린팅된 섬유들을 생성하기 위한 3D 바이오프린팅 시스템을 포함한다. 실시예들에서, 3D 바이오프린팅 프린트헤드는 재료 흐름을 위한 각각의 복수의 재료들을 선택적으로 제공하기 위한 복수의 채널들을 포함한다.
실시예들에서, 적어도 하나의 가교결합가능 재료는 히드로겔을 포함한다. 실시예들에서, 재료 흐름은 적어도 하나의 생물학적 재료를 더 포함하며; 바람직하게는 적어도 하나의 생물학적 재료는 세포군을 포함한다. 실시예들에서, 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 또는 이들의 조합을 포함하거나 이들로 이루어진 군으로부터 선택된다. 실시예들에서, 재료 흐름은 미세입자들을 더 포함한다. 실시예들에서, 재료 흐름은 염료, 안료, 또는 콜로이드를 더 포함한다. 실시예들에서, 재료 흐름 내의 세포들의 존재는 바이오프린팅된 섬유들의 물리적 속성들의 측정을 용이하게 하기 위한 조영제로서 작용한다.
예시적인 실시예들에서, 세포 함유 생체 적합 재료들은 각 채널들을 통해 흘러 바이오프린팅된 섬유들을 생성한다. 실시예들에서, 바이오프린팅된 섬유들은 동축으로 층화된 히드로겔 섬유들이다. 실시예들에서, 바이오프린팅된 섬유들은 코어 히드로겔 재료, 및 코어 히드로겔 재료 주위의 쉘 히드로겔 재료를 포함하되, 코어 히드로겔 재료는 미리 결정된 허용오차 내에서 쉘 히드로겔 재료 내에 동심으로 배치된다.
일 실시예에서, 컴퓨터 시스템은 비교의 결과들을 사용하여, 미세유체 디바이스 내의 재료의 변위를 조정함으로써 재료 흐름을 제어한다. 실시예들에서, 본 시스템은 비교의 결과들에 응답하여, 프린트된 섬유의 프린트 동안 미세유체 디바이스를 통한 재료 흐름 및 재료의 변위를 제어하기 위한 변위 제어기를 더 포함한다.
다른 실시예에서, 컴퓨터 시스템은 비교의 결과들을 사용하여, 미세유체 디바이스 내의 재료 흐름의 압력을 조정함으로써 재료 흐름을 제어한다. 실시예들에서, 본 시스템은 비교의 결과들에 응답하여, 프린트된 섬유의 프린트 동안 미세유체 디바이스를 통한 재료 흐름 및 압력을 제어하기 위한 압력 제어기를 더 포함한다.
실시예들에서, 머신 러닝 기반 시스템은 컨볼루션 신경망(convolutional neural network, CNN), 장단기 기억(long short term memory, LSTM) 네트워크, 순환 신경망(recurrent neural network, RNN), 순환 컨볼루션 신경망(recurrent convolutional neural network, RCNN) 또는 RNN과 CNN의 조합으로 이루어진 군으로부터 선택된다. 실시예들에서, 머신 러닝 기반 시스템은 그래픽 프로세싱 유닛(graphics processing unit, GPU)을 포함한다.
실시예들에서, 본 시스템은 투명 채널들 중 하나 이상을 조명하기 위한 발광 다이오드(light emitting diode, LED) 또는 LED 어레이를 더 포함한다. 실시예들에서, 본 시스템은 각각 카메라들 각각에 대한 하나의 LED 또는 LED 어레이를 더 포함한다. 일부 실시예들에서, 각 LED 또는 LED 어레이는 각 카메라 뒤에 위치된다. 대안적인 실시예들에서, 각 LED 또는 LED 어레이는 각 카메라로부터의 투명 채널의 반대측 상에 위치된다.
다른 양태에서, 본 발명은 미세유체 가교 프린트헤드를 통한 재료 흐름을 모니터링하기 위한 방법으로서, 카메라 시스템을 사용하여, 미세유체 가교결합 프린트헤드를 통해 재료 흐름의 스트리밍 이미지들을 획득하는 단계; 스트리밍 이미지들에서 표현된 바와 같은 재료 흐름을 분석함으로써, 재료 흐름에 의해 조성되는 가교결합으로부터 기인하는, 프린트된 섬유의 물리적 속성들을 결정하는 단계 ― 결정하는 단계는 머신 러닝 기반 시스템을 사용하여, 재료 흐름의 스트리밍 이미지들을 미리 결정된 허용오차 내의 프린팅된 섬유의 물리적 속성들에 대응하는 사용자 확립 재료 흐름 파라미터들과 비교하는 단계를 포함함 ―; 및 결정에 응답하여, 프린트된 섬유의 물리적 속성들을 미리 결정된 허용오차 내에서 유지하도록 재료 흐름을 제어하는 단계를 포함하는, 방법을 제공한다. 바람직하게는, 획득하는 단계는 미세유체 가교 프린트헤드의 하나 이상의 투명 채널을 통해 스트리밍 이미지들을 획득하는 단계를 포함한다.
실시예들에서, 획득하는 단계는 카메라 시스템 내의 제1 카메라를 하나 이상의 투명 채널 중 적어도 하나에 대해 제1 각도로, 그리고 카메라 시스템 내의 제2 카메라를 하나 이상의 투명 채널 중 적어도 하나에 대해 상이한 제2 각도로 위치시키는 단계를 포함한다. 실시예들에서, 위치시키는 단계는 제1 카메라와 제2 카메라를 서로에 대해 직각으로 위치시키는 단계를 포함한다.
대안적인 실시예들에서, 획득하는 단계는 하나 이상의 투명 채널 중 적어도 하나에 대해 제1 뷰를 제공하도록 카메라 시스템 내의 카메라를 위치시키는 단계, 및 하나 이상의 투명 채널 중 적어도 하나에 대해 상이한 제2 뷰를 제공하도록 복수의 미러들을 위치시키는 단계를 포함한다. 실시예들에서, 제2 뷰는 제1 뷰와 직교한다. 실시예들에서, 위치시키는 단계는 제2 뷰를 제공하도록 세 개의 미러들을 위치시키는 단계를 포함한다. 실시예들에서, 위치시키는 단계는 카메라에 제1 뷰와 제2 뷰를 교대로 제공하도록 두 개의 미러들을 위치시키는 단계를 포함하되, 미러들 중 하나는 카메라에 제1 뷰와 제2 뷰를 교대로 제공하도록 회전가능하다.
실시예들에서, 비교하는 단계는 사용자 확립 재료 흐름 파라미터들로부터의 재료 흐름에서의 하나 이상의 편차를 식별하는 단계를 포함한다. 실시예들에서, 본 방법은 재료 흐름에서의 하나 이상의 편차가 미리 결정된 양을 초과하는지 여부를 결정하는 단계, 및 프린트된 섬유의 물리적 속성들을 미리 결정된 허용오차 내에서 유지하도록 결정에 응답하여 사용자 확립 재료 흐름 파라미터들 중 하나 이상을 조정하는 단계를 더 포함한다. 실시예들에서, 물리적 속성들은 바이오프린팅된 섬유들의 직경을 포함한다. 실시예들에서, 물리적 속성들은 바이오프린팅된 섬유들의 동심도를 포함한다.
실시예들에서, 결정하는 단계는 머신 러닝 기반 시스템을 사용하여, 재료 흐름의 스트리밍 이미지들의 객체 검출 및/또는 시맨틱 세그먼트화를 수행하는 단계를 더 포함한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 재료 흐름 내의 하나 이상의 객체의 위치의 검출을 가능하게 한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 재료 흐름 내의 하나 이상의 객체의 형상 및/또는 크기의 시각적 추정을 가능하게 한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 물질 흐름 내의 생물학적 재료(예를 들어, 세포군)의 일반적인 양 및/또는 분포의 시각적 추정을 가능하게 한다.
실시예들에서, 획득하는 단계는 미세유체 디바이스 내의 3차원(3D) 바이오프린팅 프린트헤드 내의 하나 이상의 투명 채널을 통해 스트리밍 이미지들을 획득하는 단계를 포함하며, 3D 바이오프린팅 프린트헤드는 바이오프린팅된 섬유들을 생성한다. 실시예들에서, 모니터링은 3D 바이오프린팅 프린트헤드 내의 복수의 채널들을 모니터링하는 단계를 포함하며, 복수의 채널들은 재료 흐름을 위한 각각의 복수의 재료들을 선택적으로 제공하기 위한 것이다.
실시예들에서, 적어도 하나의 가교결합가능 재료는 히드로겔을 포함한다. 실시예들에서, 재료 흐름은 적어도 하나의 생물학적 재료를 더 포함하며; 바람직하게는 적어도 하나의 생물학적 재료는 세포군을 포함한다. 실시예들에서, 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 또는 이들의 조합을 포함하거나 이들로 이루어진 군으로부터 선택된다. 실시예들에서, 재료 흐름은 미세입자들을 더 포함한다. 실시예들에서, 재료 흐름은 염료, 안료, 또는 콜로이드를 더 포함한다. 실시예들에서, 재료 흐름 내의 세포들의 존재는 바이오프린팅된 섬유들의 물리적 속성들의 측정을 용이하게 하기 위한 조영제로서 작용한다.
예시적인 실시예들에서, 세포 함유 생체 적합 재료들은 각 채널들을 통해 흘러 바이오프린팅된 섬유들을 생성한다. 실시예들에서, 바이오프린팅된 섬유들은 동축으로 층화된 히드로겔 섬유들이다. 실시예들에서, 바이오프린팅된 섬유들은 코어 히드로겔 재료, 및 코어 히드로겔 재료 주위의 쉘 히드로겔 재료를 포함하되, 코어 히드로겔 재료는 미리 결정된 허용오차 내에서 쉘 히드로겔 재료 내에 동심으로 배치된다.
일 실시예에서, 재료 흐름을 제어하는 단계는 미세유체 디바이스 내의 재료의 변위를 제어하는 단계를 포함한다. 다른 실시예에서, 재료 흐름을 제어하는 단계는 미세유체 디바이스 내의 재료 흐름의 압력을 제어하는 단계를 포함한다.
실시예들에서, 머신 러닝 기반 시스템은 컨볼루션 신경망(CNN), 장단기 기억(LSTM) 네트워크, 순환 신경망(RNN), 순환 컨볼루션 신경망(RCNN) 또는 RNN과 CNN의 조합으로 이루어진 군으로부터 선택된다. 실시예들에서, 머신 러닝 기반 시스템은 그래픽 프로세싱 유닛(graphics processing unit, GPU)을 포함한다.
실시예들에서, 본 방법은 투명 채널들 중 하나 이상을 조명하도록 발광 다이오드(LED) 또는 LED 어레이를 위치시키는 단계를 더 포함한다. 실시예들에서, 본 방법은 각각 카메라들 각각에 대해 하나의 LED 또는 LED 어레이를 위치시키는 단계를 더 포함한다. 일부 실시예들에서, 본 방법은 각 카메라 뒤에 각 LED 또는 LED 어레이를 위치시키는 단계를 포함한다. 대안적인 실시예들에서, 본 방법은 각 카메라로부터의 투명 채널의 반대편 상에 각 LED 또는 LED 어레이를 위치시키는 단계를 포함한다.
실시예들에서, 본 방법은 머신 러닝 기반 시스템을 사용하여 스트리밍 이미지들에서 표현된 바와 같은 재료 흐름을 분석하여 스트리밍 이미지들에 대한 객체 검출 및/또는 시맨틱 세그먼트화를 수행함으로써 재료 흐름에서의 하나 이상의 결함, 예를 들어, 클로그 및/또는 버블을 식별하는 단계를 더 포함한다.
실시예들에서, 본 방법은 스트리밍 이미지들에 대해 객체 검출 및/또는 시맨틱 세그먼트화를 수행하기 위해 머신 러닝 기반 시스템을 사용하여 재료 흐름 내의 하나 이상의 객체의 일반적인 양 및/또는 분포를 제공하는 단계를 더 포함하며, 바람직하게는 하나 이상의 객체는 생물학적 재료들,예를 들어, 세포들을 포함한다.
실시예들에서, 본 방법은 코어 히드로겔 재료가 쉘 히드로겔 재료에 동심으로 배치되는지 여부를 분석하는 단계를 더 포함한다.
본 명세서에 통합되고 본 명세서의 일부를 형성하는 첨부 도면들은 본 개시의 실시예들을 예시하고, 설명과 함께, 본 개시의 원리들을 설명하고 관련 기술분야의 숙련자가 본 개시를 만들고 사용할 수 있게 하는 역할을 더 한다.
도 1a 내지 도 1f는 상이한 섬유들의 단면도들을 도시한다;
도 2a는 하나 이상의 실시예에 따른 시스템의 상위 레벨 블록도이고, 도 2b 내지 도 2d는 하나 이상의 실시예에 따른 카메라 비전 시스템의 보다 상세한 도면들이다;
도 3은 도 2의 시스템의 출력들을 보기 위한 디스플레이들의 예들을 도시한다;
도 4a 및 도 4b는 하나 이상의 실시예에 따른 섬유를 생성하는 데 사용될 재료의 제공을 위한 밸브 배열들을 도시한다;
도 5는 하나 이상의 실시예의 동작을 위한 상위 레벨 흐름도이다;
도 6a 내지 도 6d는 사례 연구를 수행하기 위한 신경망 트레이닝에 관한 사진 및 그래프를 도시한다;
도 7a 및 도 7b는 트레이닝 결과들을 도시한다;
도 8a 내지 도 8h는 사례 연구와 관련된 사진들 및 플롯들을 도시한다;
도 8i는 섬유 생성을 방해하는 클로그의 예시적인 이미지들을 도시한다;
도 8j는 섬유 생성을 방해하는 버블의 예시적인 이미지들을 도시한다;
도 9a 및 도 9b는 도 8a 내지 도 8h에 도시된 사례 연구와 관련된 트레이닝 결과들을 도시한다;
도 10a 내지 도 10i는 추가적인 사례 연구와 관련된 사진들 및 플롯들을 도시한다;
도 11a 및 도 11b는 도 10a 내지 도 10i에 도시된 사례 연구와 관련된 트레이닝 결과들을 도시한다;
도 12a 내지 도 12b는 두 개의 상이한 시점들에서 취해지고, 바이오프린팅된 섬유의 쉘 직경을 원하는 직경으로 제어하는 것을 보여주는, 도 2의 시스템의 출력들을 보기 위한 디스플레이들의 스크린 샷들이다;
도 13은 바이오프린팅된 섬유의 프린팅 동안 이의 비디오 기록의 세 시점(0초, 30초, 90초)으로부터의 생체 적합 재료의 스크린 샷(좌측) 및 대응하는 상위 레벨 정량화(우측)을 도시한다;
도 14는 섬유의 프린트 동안 이의 비디오 기록으로부터 재구성된 전체 바이오프린팅된 섬유의 일부분과 관련하여, 도 13에 도시된 것과 유사한 생체 물질을 함유하는 섬유의 세그먼트의 이미지들을 도시한다; 그리고
도 15a는 코어 및 쉘의 이미지를 도시하고, 도 15b 내지 도 15e는 쉘 내의 상이한 코어 위치들의 이미지들을 도시한다.
도 1a 내지 도 1f는 상이한 섬유들의 단면도들을 도시한다;
도 2a는 하나 이상의 실시예에 따른 시스템의 상위 레벨 블록도이고, 도 2b 내지 도 2d는 하나 이상의 실시예에 따른 카메라 비전 시스템의 보다 상세한 도면들이다;
도 3은 도 2의 시스템의 출력들을 보기 위한 디스플레이들의 예들을 도시한다;
도 4a 및 도 4b는 하나 이상의 실시예에 따른 섬유를 생성하는 데 사용될 재료의 제공을 위한 밸브 배열들을 도시한다;
도 5는 하나 이상의 실시예의 동작을 위한 상위 레벨 흐름도이다;
도 6a 내지 도 6d는 사례 연구를 수행하기 위한 신경망 트레이닝에 관한 사진 및 그래프를 도시한다;
도 7a 및 도 7b는 트레이닝 결과들을 도시한다;
도 8a 내지 도 8h는 사례 연구와 관련된 사진들 및 플롯들을 도시한다;
도 8i는 섬유 생성을 방해하는 클로그의 예시적인 이미지들을 도시한다;
도 8j는 섬유 생성을 방해하는 버블의 예시적인 이미지들을 도시한다;
도 9a 및 도 9b는 도 8a 내지 도 8h에 도시된 사례 연구와 관련된 트레이닝 결과들을 도시한다;
도 10a 내지 도 10i는 추가적인 사례 연구와 관련된 사진들 및 플롯들을 도시한다;
도 11a 및 도 11b는 도 10a 내지 도 10i에 도시된 사례 연구와 관련된 트레이닝 결과들을 도시한다;
도 12a 내지 도 12b는 두 개의 상이한 시점들에서 취해지고, 바이오프린팅된 섬유의 쉘 직경을 원하는 직경으로 제어하는 것을 보여주는, 도 2의 시스템의 출력들을 보기 위한 디스플레이들의 스크린 샷들이다;
도 13은 바이오프린팅된 섬유의 프린팅 동안 이의 비디오 기록의 세 시점(0초, 30초, 90초)으로부터의 생체 적합 재료의 스크린 샷(좌측) 및 대응하는 상위 레벨 정량화(우측)을 도시한다;
도 14는 섬유의 프린트 동안 이의 비디오 기록으로부터 재구성된 전체 바이오프린팅된 섬유의 일부분과 관련하여, 도 13에 도시된 것과 유사한 생체 물질을 함유하는 섬유의 세그먼트의 이미지들을 도시한다; 그리고
도 15a는 코어 및 쉘의 이미지를 도시하고, 도 15b 내지 도 15e는 쉘 내의 상이한 코어 위치들의 이미지들을 도시한다.
본 발명에 따른 시스템들, 장치들 및 방법들의 특정 예시적인 양태들은 다음의 설명 및 첨부 도면들과 관련하여 본 명세서에서 설명된다. 그러나, 이러한 양태들은 본 발명의 원리들이 이용될 수 있고 본 발명은 이러한 모든 양태들 및 이들의 등가물들을 포함하도록 의도된 다양한 방법들 중 몇몇을 나타낸다. 본 발명의 다른 장점들 및 신규한 특징들은 도면들과 함께 고려될 때 다음의 상세한 설명으로부터 명백해질 수 있다.
다음의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위해 다수의 특정 세부사항이 제시된다. 다른 경우들에서, 본 발명을 불필요하게 모호하게 하지 않기 위해 잘 알려진 구조들, 인터페이스들 및 프로세스들이 상세히 도시되지 않았다. 그러나, 본 명세서에서 개시된 이러한 특정 세부사항은 본 발명을 실시하기 위해 사용될 필요가 없으며 청구항에서 언급된 것을 제외하고는 본 발명의 범위에 대한 제한을 나타내지 않는다는 것이 당업자에게 명백할 것이다. 본 명세서의 어떠한 부분도 본 발명의 전체 범위의 임의의 부분의 불명예를 초래하는 것으로 해석되지 않는 것으로 의도된다. 본 개시의 특정 실시예들이 설명되지만, 이들 실시예들은 마찬가지로 본 발명의 전체 범위를 제한하도록 의도되지 않는다.
도 2a는 본 발명의 실시예들로 통합될 수 있는 요소들의 상위 레벨 블록도를 도시한다. 도 2에서의 요소들은 3D 바이오프린터 플랫폼으로 통합될 수 있다. 하나의 예는 Aspect Biosystems로부터의 RX1™ 바이오프린터이다. 도 2a를 더 자세히 살펴보면, 컴퓨터 비전 시스템의 일부를 형성하는 두 개의 카메라들(210, 215)은 스트리밍 비디오 이미지를 제공함으로써 섬유의 3D 프린팅의 실시간 보기를 가능하게 하기 위해, 노즐을 통해 수직으로 이어지는 축(225)(도 2a에서, 축(225)은 보기의 용이성을 위해 확대됨)에 수직인 투명 프린트헤드 노즐(220)의 후방 및 일측에 각각 배치될 수 있다.
본 출원에서, "투명"은 광이 마이크로채널 및/또는 노즐 구조물을 통과할 수 있게 하고, 마이크로채널 및/또는 노즐 내의 재료들을 볼 수 있게 하기에 충분히 반투명함을 의미한다. 코어 및 하나 이상의 쉘을 포함하는 다층 섬유의 경우, 노즐은 코어와 하나 이상의 쉘을 시각적으로 구별할 수 있기에 충분히 투명하다.
실시예에서, 카메라들(210, 215)은 서로에 대해 90도 각도로 위치된다. 노즐 배열 및 구성에 따라, 단독으로 또는 바이오프린팅 시스템 내에서, 상이한 각도들이 용인가능할 수 있거나 선호될 수도 있다. 또한, 상이한 실시예들에 따르면, 카메라들(210, 215)의 해상도는 달라질 수 있다. 일부 구현예들에서, 480p 해상도면 충분할 수 있다. 다른 구현예들에서는, 더 높은 해상도가 바람직할 수 있다. 추후에는 더 높은 해상도가 예상될 것이다. 인터레이스 비디오는 일부 구현예들에서 용인가능한 비디오 품질을 제공할 수 있다.
실시예에서, 카메라들(210, 215)은 30 FPS에서 4K(2160 x 3840 픽셀) 해상도를 지원할 수 있다. 다른 해상도들 및 프레임 속도들이 적절할 수 있다. 실시예들은 8MP 구조를 갖는 11.9 mm 초점 길이를 갖는 M12 렌즈(여기서 "M12" 명명은 렌즈 상의 마운트의 크기를 지칭함)를 채용할 수 있다. M12는 상이한 초점 길이들을 갖고, 상이한 f-스톱 값을 가질 수 있는 렌즈의 유형이다. 상이한 마운트 크기들(예를 들어, M4 내지 M10)을 갖는 다른 렌즈들이 적합할 수 있다. 또한, C-마운트 또는 CS-마운트와 같은 다른 유형의 마운트가 적합할 수 있다. 8MP 이외의 다른 구성들이 또한 적절할 수 있다.
도 2b는 프린트헤드 노즐(220)에 대한 카메라들(210, 215)의 배열의 사시도를 도시하고, 또한 프린트헤드 노즐(220)을 수직으로 관통해 이어지는 축(225)을 도시한다. 도 2c는 동일한 배열의 페이스 온(face-on) 뷰를 도시한다.
일부 실시예들에서, 카메라들은 시야 내의 초점 및 배율을 최적화하기 위해 각 렌즈가 프린트헤드 노즐의 중심으로부터 대략 26 mm일 수 있도록 위치된다. 상이한 f-스톱들 및 상이한 시야들을 갖는 상이한 초점 거리 렌즈들은 상이한 위치 설정을 가능하게 할 수 있다. 일 구성에서, 두 개의 카메라들은 노즐의 두 개의 직교도들을 생성하기 위해 노즐의 두 측 상에서 서로 직각으로 배치된다. 일 실시예에서, 노즐을 조명하기 위해, 각 카메라 뒤로부터 또는 각 카메라의 반대편으로부터, 또는 둘 다로부터, 추가적인 조명이 제공될 수 있다. 조명은 전방 카메라(210)를 위한 발광 다이오드(LED) 또는 LED 어레이(230), 및 측방 카메라(215)를 위한 LED 또는 LED 어레이(235)를 포함할 수 있다. LED 또는 LED 어레이(230)는 노즐을 조명하기 위해 광(실시예에서, 백색 광)을 투영하기 위해 카메라 렌즈와 축 상에 위치될 수 있다. 광은 이미지화가 행해질 곳에 광을 더 명확하게 포커싱하는 것을 돕기 위해 좁은 원형 또는 다각형 홀, 또는 슬릿(미도시)을 통해 통과될 수 있다. 이러한 부류의 광학 장치 배열로, 내측 노즐(섬유들이 형성되는 내측 직경)의 에지들뿐만 아니라, 생성되는 섬유(동심 섬유의 경우, 쉘 및 코어)가 카메라 뷰들에서 보일 수 있다.
실시예에서, 하나 이상의 미러는 본 명세서에서 설명되는 예시적인 카메라들(210, 215) 중 임의의 예시적인 카메라일 수 있는 카메라에 원하는 뷰를 제공하도록 배열될 수 있다. 도 2d에서, LED 공급원일 수 있는 광원(270, 275)은 광이 노즐(220)을 통과하게 한다. 광원(270)은 미러(252)에 충돌하고, 추가 미러(256)에 반사된 후, 카메라 구조체(262) 및 렌즈(264)를 포함하는 카메라(260)에 반사되는 광(점선)을 제공한다. 광원(275)은 다른 미러(254)에 충돌하고, 미러(256)(다이크로익 미러일 수 있음)를 통해 반사되어 카메라(260)에 도달하는 광(실선)을 제공한다. 실시예에서, 미러들 및 광원들은 직각으로 노즐(220)을 통해 광을 통과시키도록 배열된다.
프린트헤드 노즐(220)과 노즐 내부에서 생성되는 섬유의 두 개의 직교 이미지들로, 세 개의 값들을 획득하는 것이 가능하다:
1)
알려진 내측 노즐 직경 및 알려진 렌즈 및 노즐 중심으로부터의 거리로, 내측 노즐 직경 내의 픽셀들의 개수를 측정하고, 이에 따라 각 픽셀이 나타내는 수평 거리를 결정하는 것이 가능하다.
2)
섬유의 단면이 타원형이라고 가정하면, 두 개의 직교도들로부터 섬유 직경 및/또는 섬유 코어 직경의 벡터 합을 취하고 섬유와 코어의 실제 직경의 상한 및 하한을 결정하는 것이 가능하다.
3)
섬유와 코어의 좌측 및 우측 에지들의 위치에 관한 정보를 이용하여, 전체 섬유 직경에 대한 코어의 중심의 비를 취함으로써 전체 섬유에 대한 코어의 동심도를 연속적으로 계산하는 것이 가능하다. 동일한 원리를 사용하여, 내측 노즐에 대한 섬유 또는 코어의 동심도를 연속적으로 계산하는 것이 가능하다.
또한, 정의된 유량 및 측정된 섬유 직경으로, 프린트 속도를 최적화하기 위한 또 다른 중요한 피드백 조각인 섬유 속도를 계산하는 것도 가능하다. 노즐이 스테이지에 대해 너무 빠르게 또는 너무 느리게 이동한다면, 섬유와 프린트된 구조물의 충실도가 악영향을 받을 것이다.
머신 러닝 모듈(240)은 전방 카메라(210) 및 측방 카메라(215)로부터 데이터 스트림들 또는 캡처된 이미지들을 수신한다. 실시예들에서, 모듈(340)은 머신 러닝 시스템이 데이터 스트림들 또는 캡처된 이미지들의 신속한 컴퓨테이션 분석, 및 및 바이오프린팅 시스템에서의 재료 흐름을 제어하기 위한 피드백을 제공하는 모델의 트레이닝을 수행하는 데 필요한 계산들을 용이하게 하기 위해 복수의 코어들을 갖는 하나 또는 복수의 GPU 프로세서들을 채용할 수 있다. 실시예들에서, 모델 트레이닝은 트레이닝되는 모델에 의한 최적화 및 추론을 용이하게 하기 위한 테스트 및 검증을 수반할 수 있다.
머신 러닝 모듈(240)은 다수의 사용자 상호작용 기능들 및 또한 시스템 상호작용 기능들을 수행할 수 있는 컴퓨터 시스템(메인 컴퓨터)(250)과 상호작용할 수 있다. 사용자 상호작용을 위해, 컴퓨터 시스템(250)은 카메라들(210, 215), 머신 러닝 모듈, 및 바이오프린팅 시스템 자체(물론 프린트헤드 노즐(220)이 일부임)와 같은 다양한 다른 컴포넌트들과의 상호작용을 위한 적절한 그래픽 디스플레이 및 그래픽 사용자 인터페이스를 제공할 수 있다.
컴퓨터 시스템(250)이 수행하는 제어의 일부는, 아래에서 논의될 다양한 미세유체 프린트헤드 채널들에서의 압력의 제어에 의해서든, 또는 또는 채널들을 통한 재료의 변위의 제어에 의해서든, 재료 흐름을 조정하기 위해, 섬유 동심도의 모니터링과 바이오프린팅 시스템 내의 제어 시스템에 대한 액세스를 수행 수반한다. 실시예들에서, 제어는 프린트헤드 상의 공압 밸브들의 개방 및 폐쇄를 토글링하거나 또는 그 외 조정하는 것을 수반할 수 있다. 실시예들에서, 컴퓨터 시스템(250)이 수행하는 제어의 일부는 객체 검출 및/또는 시맨틱 세그먼트화를 수반한다. 실시예들에서, 객체 검출 및/또는 시맨틱 세그먼트화는 물질 흐름 내의 생물학적 재료(예를 들어, 세포군)의 일반적인 양 및/또는 분포의 시각적 추정을 가능하게 한다.
컴퓨터 시스템(250)은 또한, 카메라들(210, 215)로부터의 각 피드들의 프린트헤드 특정 정보 보기의 판독을 가능하게 하여, 피드들 중 하나 또는 둘 모두의 기록 및/또는 로딩을 가능하게 하고, 특히, 콘트라스트, 색조, 밝기, 및 선명도와 같은 카메라/비디오 파라미터들을 조정할 수 있다.
도 3은 동심도 모니터링 및 제어 시스템이 미세유체 채널 밸브들 및 압력들을 조정할 수 있게 하기 위한 소프트웨어 및 수반 사용자 인터페이스의 실시예에 따른 디스플레이들의 대표적인 이미지들을 도시한다. 실시예들에서, 디스플레이는 비디오 카메라 이미지들의 라이브 스트리밍, 자동화된 세그먼트화 결과들, 섬유 속성 및 동심도 테스트 측정치들, 및/또는 인식된 객체들(예를 들어, 생물학적 재료)에 관한 측정된 파라미터들을 보여줄 수 있다. 다른 실시예들에서, 클로그, 또는 버블, 또는 불안정성과 같은 채널 조건들이 디스플레이될 수 있다. 일부 조건들은, 클럼핑을 감소시키기 위해 바이오잉크를 교반시키거나, 또는 버블를 제거하기 위해 채널을 퍼징하는 것과 같은, 사용자들에 대한 시정 조치들을 제안할 수 있다. 다른 디스플레이 가능성들은 섬유 속성들에 관한 정량적 정보를 포함할 수 있다. 실시예에서, 머신 러닝 시스템으로부터의 신뢰 구간 등급이 디스플레이될 수 있으며, 이는 특정 이미지의 세그먼트화 또는 분류에서의 확실성의 정도를 나타낸다.
도 4a는 상이한 생체 적합 재료들 또는 세포들을 함유하는 별도의 히드로겔에 대한 제어를 제공하며, 이에 따라 바이오프린팅 동안 상이한 단일 재료 섬유들의 생성을 가능하게 할 수 있는 하나의 부류의 프린트헤드(400)의 예시적인 구성을 도시한다. Aspect Biosystems DUO™ 프린트헤드는 도 4a가 도시하는 것에 대응하는 구조를 갖는다. 도 4a에서, 상이한 재료들이 라인(410)(밸브(412)가 연결됨) 및 라인(420)(밸브(422)가 연결됨)을 통해 각각 제공된다. 버퍼는 라인(430)(밸브(432)가 연결됨)을 통해 제공될 수 있다. 가교 재료는 라인(440)(밸브(442)가 연결됨)을 통해 제공될 수 있다. 배출구(445)에서 바이오프린트된 섬유가 생성된다.
도 4b는 동축으로 층화된 히드로겔 섬유들(이 섬유들은 세포들을 갖거나 갖지 않는 상이한 히드로겔 재료들에 의해 각각 구성되는 코어 및 쉘로 구성됨)의 형성에 대한 제어를 제공할 수 있는 다른 부류의 프린트헤드(450)의 예시적인 구성을 도시한다. Aspect Biosystems CENTRA™ 프린트헤드는 도 4b가 도시하는 것에 대응하는 구조를 갖는다. 도 4b에서, 코어 재료들은 라인(460, 465)(각 밸브들(462, 467)이 연결됨)을 통해 제공될 수 있다. 쉘 재료들은 라인(470, 475)(각 밸브들(472, 477)이 연결됨)을 통해 제공될 수 있다. 버퍼 재료는 라인(480)(밸브(482)가 연결됨)을 통해 제공될 수 있다. 가교 재료는 라인(490)(밸브(492)가 연결됨)을 통해 제공될 수 있다. 배출구(495)에서 바이오프린트된 동축 섬유가 생성된다.
다시 도 2a를 참조한다. 후방 및 측방 카메라들(210, 215)은 섬유들이 생성될 때 이들의 비디오를 제공하기 위해, 도 4a 및 도 4b의 배출구들(445, 495)에 또는 전에 지향된다.
사용되는 재료 흐름 제어의 유형에 따라, 압력 제어기 또는 변위 제어기 중 어느 하나가 3D 프린팅 동안 프린트헤드를 통한 생체 적합 재료 흐름 및 압력 또는 변위의 제어를 가능하게 할 수 있다. 도 도 4a 및 도 4b를 참조하면, 라인들(410, 420, 460, 465, 470, 및 475)을 통한 생체 적합 재료의 압력은 라인들과 연관된 밸브들(412, 422, 462, 467, 472, 및 477)의 제어를 통해서를 포함하는 다양한 방식들로 제어될 수 있다.
도 5는 자동화된 피드백 제어를 제공하기 위한 컴퓨터 비전 및 머신 러닝 툴의 구현 및 사용을 위한 상위 레벨 흐름도이다. 510에서, 컴퓨터 비전 시스템 내의 카메라들이프린트헤드 노즐을 통과하는 재료의 비디오 이미지들을 기록하도록 제어된다. 이러한 이미지들은 3D 바이오프린팅 시스템의 다양한 유형들의 동작을 통해 획득된다. 예를 들어, 머신 러닝 모델에 대한 트레이닝 세트들을 위한 데이터를 생성하기 위해, 시스템은 알려진 결과들을 획득하기 위해 알려진 재료들 및 파라미터들로 동작될 수 있다. 트레이닝된 시스템의 테스트 및 평가에 사용될 다른 데이터 세트들이 또한 생성될 수 있다.
520에서, 수집된 데이터가 전술한 트레이닝 세트들 및 테스트/평가 세트들로 분리될 수 있다. 530에서, 트레이닝 세트들에 초점을 맞추면, 트레이닝 동안 관심 피처들에 초점을 맞추는 것을 용이하게 하기 위해, 관심 피처들이 라벨링될 수 있다. 540에서, 적절하게 라벨링된 트레이닝 세트들이 딥 러닝 모델에 적용되어 트레이닝 데이터로부터 정확한 결과를 생성하도록 모델을 진화시킬 수 있다. 일부 딥 러닝 모델들에서, 결과들의 순방향 전파가 사용될 수 있다. 다른 모델들에서, 역전파가 사용될 수 있다.
실시예에서, 예를 들어, UNET 네트워크 아키텍처를 갖는 컨볼루션 신경망(CNN)이 채용될 수 있다. 이러한 부류의 네트워크는 (예를 들어, 의료 이미지화 분야에서) 불량하게 정의된 경계를들을 갖는 매우 복합적인 구조물의 이미지들을 핸들링할 때 유리한 결과들을 제공하는 것으로 알려져 있다. 바이오프린터 노즐들을 이용하면, 카메라 비전 시스템이 상이한 생체 적합 재료들에 도달하기 위해 노즐을 통해 잘 볼 수 있는 능력이 더 제한될 수 있다. 당업자들은, 예를 들어, 장단기 기억(LSTM) 네트워크 또는 순환 CNN(RCNN)과 같은 상이한 다양한 CNN들이 양호한 효과를 위해 채용될 수 있다는 것을 이해할 것이다. 실시예에서, 순환 신경망(recurrent neural network, RNN)은 단독으로 또는 CNN과 조합하여 사용될 수 있다.
550에서, 트레이닝 결과들이 다양한 관심 피처들, 예를 들어, 밸브 위치, 섬유 치수, 섬유 코어들 및 섬유 쉘들의 동심도 등을 식별하기 위해 분석될 수 있다. 그 다음, 결과들은 관심 피처들, 정확도 레벨 등에 따라 분류될 수 있다. 560에서, 테스트/검증 세트들이 트레이닝된 네트워크의 성능을 평가하는 데 사용될 수 있다. 570에서, 모델이 만족스럽다면, 580에서 완료된 트레이닝된 모델이 디플로이될 수 있다. 모델이 만족스럽지 않다면, 575에서 트레이닝 세트가 수정될 수 있고, 추가 트레이닝을 위해 제어가 530으로 복귀될 수 있다. 트레이닝 세트의 수정은 이전 트레이닝 세트들로 획득된 결과들의 특성에 의해 통지될 것이다.
재료 흐름:
본 발명의 양태들은 생체 적합 재료로서 바람직하게 사용하기 위한 섬유 구조물들을 프린팅하기 위해 사용될 수 있는 재료 흐름들을 포함한다. 본 명세서에서 사용되는 바와 같은 "생체 적합 재료"는 조직, 예를 들어, 생세포를 갖거나 갖지 않는 인간 조직을 구성하거나 대체하는 데 유용한 자연 또는 합성 물질을 지칭한다. 바이오프린팅 분야에서, "생체 적합 재료"라는 용어는 종종 "바이오잉크"라는 용어와 동의어이다.
재료 흐름은 일반적으로, 적어도 하나의 가교결합가능 재료, 예를 들어, 알지네이트, 키토산, PEGDA, PEGTA, 히알루론산(HA), HAMA, 콜라겐, CollMA, 젤라틴, gelMA, 아가로스, 젤란, 피브린(피브리노겐), PVA 등 또는 이들의 임의의 조합뿐만 아니라, PCL, PLGA, PLA 등을 포함하지만 이에 제한되지는 않는 비 히드로겔, 또는 이들의 임의의 조합을 포함할 것이다. 바람직한 실시예들에서, 재료 흐름은 적어도 하나의 히드로겔을 포함한다. 히드로겔의 비제한적인 예들은 알지네이트, 아가로스, 콜라겐, 피브리노겐, 젤라틴, 키토산, 히알루론산계 겔, 또는 이들의 임의의 조합을 포함할 수 있다. 다양한 합성 히드로겔들이 알려져 있고, 본 명세서에서 제공되는 시스템들 및 방법들의 실시예들에서 사용될 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 히드로겔은 프린트되는 3차원 구조물들에 대한 구조적 기초의 적어도 일부를 형성한다. 일부 실시예들에서, 히드로겔은 하나 이상의 세포 유형의 성장 및/또는 증식을 지지하는 능력을 가지며, 이는 3차원 구성으로 프린트된 후에 히드로겔 내에 분산되거나 히드로겔에 추가될 수 있다.
실시예들에서, 히드로겔은 화학적 가교제에 의해 가교결합가능하다. 예를 들어, 알지네이트를 포함하는 히드로겔은 염화 칼슘(CaCl2)과 같은 2가 양이온의 존재 시 가교결합가능할 수 있고, 키토산을 함유하는 히드로겔은 STP(sodium tripolyphosphate)와 같은 다가 음이온을 사용하여 가교결합될 수 있고, 피브리노겐을 포함하는 히드로겔은 트롬빈과 같은 효소의 존재 시에 가교결합가능할 수 있고, 콜라겐, 젤라틴, 아가로스 또는 키토산을 포함하는 히드로겔은 열 또는 염기성 용액의 존재 시에 가교결합가능할 수 있다.
실시예들에서, 히드로겔 섬유들은 입력 재료와 혼화가능한 가교결합 재료에 대한 노출 시 입력 재료로부터의 용매 추출을 통해 이루어지는 석출 반응을 통해 생성될 수 있다. 석출 반응을 통해 섬유를 형성하는 입력 재료의 비제한적인 예는 콜라겐 및 폴리락트산(PLA)을 포함한다. 석출 매개 히드로겔 섬유 형성을 가능하게 하는 가교 재료들의 비제한적인 예들은 폴리에틸렌 글리콜(PEG) 및 알지네이트를 포함한다. 히드로겔의 가교결합은 히드로겔의 경도를 증가시킬 것이며, 일부 실시예들에서, 고형화된 히드로겔의 형성을 가능하게 한다.
일부 실시예들에서, 히드로겔은 알지네이트를 포함한다. 알지네이트는 2가 양이온과 접촉할 때 응고된 콜로이드 겔(고수분 함량 겔, 또는 히드로겔)을 형성한다. 임의의 적합한 2가 양이온은 알지네이트를 포함하는 입력 재료로 고형화된 히드로겔을 형성하기 위해 사용될 수 있다. 알지네이트 이온 친화도 시리즈 Cd2+>Ba2+>Cu2+>Ca2+>Ni2+>Co2+>Mn2+에서, Ca2+는 알지네이트 젤을 형성하는데 가장 잘 특성화되고 가장 많이 사용된다(Ouwerx, C. 외, Polymer Gels and Networks, 1998, 6(5):393-408). 연구들은 인접한 폴리머 체인들, 소위 "에그 박스" 모델 상의 폴리 G 블록들에 의한 Ca2+ 이온들의 협력적 결합을 통해 Ca-알지네이트 젤이 형성된다는 것을 나타낸다(ISP Alginates, Section 3: Algin-Manufacture and Structure, in Alginates: Products for Scientific Water Control, 2000, International Specialty Products: San Diego, pp. 4-7). G-부유 알지네이트는 열적으로 안정적이고 강하지만 취성이 있는 Ca-겔을 형성하는 경향이 있는 한편, M-부유 알지네이트는 열적으로 덜 안정적이고, 약하지만, 더 탄성 겔을 형성하는 경향이 있다. 일부 실시예들에서, 히드로겔은 탈중합된 알지네이트를 포함한다.
일부 실시예들에서, 히드로겔은 분자들 사이의 공유 결합을 생성하기 위해 자유 라디칼 중합 반응을 사용하여 가교결합가능하다. 자유 라디칼들은 광(보통 자외선)에 광개시제를 노출시킴으로써 생성될 수 있거나, 개시제 및 촉매로서 N,N,N,N-TEMED)Tetramethylethylenediamine)과 조합하여 각각 APS(ammonium peroxodisulfate) 또는 KPS(potassium peroxodisulfate)와 같은 자유 라디칼들의 화학적 공급원에 히드로겔 전구체를 노출시킴으로써 생성될 수 있다. 광 가교결합가능 히드로겔의 비제한적인 예들은: 세포에 대한 불활성으로 인해 세포 생물학에서 사용되는, 히알루론산 메타아크릴레이트(HAMA), 젤라틴 메타아크릴레이트(GEL-MA) 또는 폴리에틸렌(글리콜) 아크릴레이트 기반(PEG-Acylate) 히드로겔과 같은 메타아크릴레이트화된 히드로겔을 포함한다. 폴리에틸렌 글리콜 디아크릴레이트(PEG-DA)는 일반적으로 조직 공학에서 스캐폴드로 사용되는데, 이는 중합이 실온에서 급속하게 발생하고 낮은 에너지 입력을 요구하고, 높은 수분 함유량을 갖고, 탄성이고, 다양한 생물학적 분자들을 포함하도록 맞춤화될 수 있기 때문이다.
실시예들에서, 재료 흐름은 비생분해성 폴리머를 포함한다. 예들에서, 입력 재료는 합성 폴리머, 예를 들어, 폴리비닐 아세테이트(PVA)일 수 있다. 실시예들에서, 재료 흐름은 히알루론산(HA)을 포함할 수 있다.
실시예들에서, 재료 흐름은 마이크로입자들을 포함하고, 본 명세서에서 사용되는 바와 같은 "마이크로입자들"은 전형적으로 폴리머, 금속, 또는 다른 무기 재료로 구성되는 약 0.1 um 내지 약 100 um의 범위 내의 비혼화성 입자들을 지칭한다. 이들은 대칭적일 수 있지만(예를 들어, 구형, 입방체 등), 이는 요건이 아니다. 2:1 이상의 종횡비를 갖는 미세입자들은 미세로드 또는 미세섬유로 고려될 수 있다.
추가 컴포넌트들:
본 발명의 실시예들에 따른 재료 흐름들은 예를 들어, 알지네이트, 라미닌, 섬유소, 히알루론산, 폴리(에틸렌) 글리콜계 겔, 젤라틴, 키토산, 아가로스, 또는 이들의 조합을 포함하여, 생세포의 생존성을 지지하는 매우 다양한 자연 또는 합성 폴리머 중 어느 하나를 포함할 수 있다. 실시예들에서, 본 조성들은 생리적으로 양립가능하며, 즉, 세포 성장, 분화 및 통신에 도움이 된다. 특정 실시예들에서, 입력 재료는 하나 이상의 생리학적 매트릭스 재료, 또는 이들의 조합을 포함한다. "생리학적 매트릭스 재료"는 자연 포유류 조직에서 발견되는 생물학적 재료를 의미한다. 이러한 생리학적 매트릭스 재료들의 비제한적인 예들은 피브로넥틴, 트롬보스폰딘, 글리코사미노글리칸(GAG)(예를 들어, 히알루론산, 콘드로이틴-6-설페이트, 데르마탄 설페이트, 콘드로이틴-4-설페이트, 또는 케라틴 설페이트), 디옥시리보핵산(DNA), 접착 당단백질, 및 콜라겐(예를 들어, 콜라겐 I, 콜라겐 II, 콜라겐 III, 콜라겐 IV, 콜라겐 V, 콜라겐 VI, 또는 콜라겐 XVIII)을 포함한다.
콜라겐은 대부분의 조직에 인장 강도를 제공하고, 직경이 대략 100 nm인 다수의 콜라겐 섬유들이 조합되어 직경이 약 10 μm의 강한 코일링된 코일 섬유들을 생성한다. 특정 조직 구성물의 생체역학적 기능은 배향된 방식으로의 콜라겐 섬유 정렬을 통해 부여된다. 일부 실시예들에서, 입력 재료는 콜라겐 섬유들을 포함한다. 콜라겐 섬유들을 포함하는 입력 재료가 조직 구조물로 형성되는 섬유 구조물을 생성하기 위해 사용될 수 있다. 섬유 구조물의 직경을 변조함으로써, 콜라겐 섬유들의 배향은 원하는 방식으로 콜라겐 섬유들의 중합을 지향하도록 제어될 수 있다.
예를 들어, 이전의 연구들은 상이한 직경들의 미세유체 채널들이 콜라겐 섬유들의 중합을 지향하여 채널들의 길이를 따라 배향되지만, 100 μm 이하의 채널 직경들로만 배향되는 섬유들을 형성할 수 있다는 것을 보여주었다(Lee 외, 2006). 이러한 배향된 매트릭스들에서 성장된 일차 내피 세포들은 콜라겐 섬유들의 방향으로 정렬되는 것으로 나타났다. 다른 연구에서, Martinez 외는 셀룰로스 비드 스캐폴드 내의 500 μm 채널들이 콜라겐 및 세포 정렬을 지향할 수 있다는 것을 입증한다(Martinez 외, 2012). 섬유 직경을 수정함으로써, 섬유 구조 내의 콜라겐 섬유들의 배향이 제어될 수 있다. 따라서, 섬유 구조물 및 그 내부의 콜라겐 섬유는 3D 프린팅된 구조물 상에 원하는 생체역학적 속성들을 부여하는 데 필수적인, 원하는 콜라겐 섬유의 배열을 갖는 조직 구조물을 생성하도록 패터닝될 수 있다.
세포군:
실시예들에서, 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 또는 이들의 조합을 포함하거나 이들로 이루어진 군으로부터 선택된다. 본 발명의 실시예들에 따른 흐름 재료들은 줄기 세포들(예를 들어, 배아 줄기 세포들, 성인 줄기 세포들, 유도된 복수성 줄기 세포들), 생식 세포들, 내피 세포들(예를 들어, 폐, 간, 췌장, 위장관, 또는 비뇨 생식기 세포), 중피막 세포들(예를 들어, 신장, 뼈, 근육, 내피, 또는 심장 세포), 외피 세포들(피부, 신경계, 뇌하수체, 또는 눈 세포), 줄기 세포 유도 세포들, 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 임의의 포유류 세포 유형을 통합할 수 있다.
예를 들어, 흐름 재료는 이들에는 췌장(알파, 베타, 델타, 롭실론, 감마), 간(간세포, Kuppfer, 스텔레이트, 사인파 내피 세포, 담관세포), 갑상선(소포성 세포), 송과선(송과체세포), 뇌하수체(성장호르몬분비세포, 락토트로피, 생식선, 피질 상피 세포, 및 갑상선), 흉선(흉선세포, 가슴샘 세포, 가슴샘스트로마세포), 부신(피질 세포, 크로마핀 세포), 난소(과립증 세포), 고환(레이딕 세포), 위장관(장내분비 세포 - 장, 위, 췌장), 섬유아세포, 연골세포, 메니스커스 섬유연골세포, 골수 기질(줄기) 세포, 배아 줄기 세포, 메센키말 줄기 세포, 유도된 복수 전능성 줄기 세포, 분화된 줄기 세포, 조직 유도 세포, 평활근 세포, 골격근 세포, 심근 세포, 상피 세포, 내피 세포, 근모세포, 연골아세포, 골세포, 골세포, 및 이들의 임의의 조합을 포함하는 내분비 및 외분비 분비선으로부터의 세포들을 포함할 수 있다.
세포들은 수령자와 동일한 종으로부터의(동종), 상이한 종들로부터 수령자로(이종) 또는 수령자로부터(자가)의 도너들로부터 획득될 수 있다. 구체적으로, 실시예들에서, 세포들은 인간 또는 동물과 같은 적합한 도너로부터, 또는 세포들이 주입될 대상체로부터 획득될 수 있다. 포유류 종은 사람, 원숭이, 개, 소, 말, 돼지, 양, 염소, 고양이, 생쥐, 및 토끼, 및 쥐를 포함하지만 이에 제한되지 않는다. 일 실시예에서, 세포들은 인간 세포들이다. 다른 실시예들에서, 세포들은 예를 들어, 개, 고양이, 말, 원숭이, 또는 임의의 다른 포유류와 같은 동물들로부터 유도되는 이종발생성일 수 있다.
일부 실시예들에서, 적어도 하나의 생물학적 재료는 하나 이상의 내인성 생물학적 활성제(들), 예를 들어, 인슐린, 글루카곤, 그렐린, 췌장 폴리셉티드, 인자 VII, 인자 VIII, 인자 IX, 알파-1-안티트립신, 혈관 인자, 성장 인자, 호르몬, 항체, 효소, 단백질, 엑소좀 등을 발현/분비하는 세포군을 포함한다. 본 명세서에서 논의되는, 내인성 생물학적 활성제는 세포가 생물학적 맥락에서 자연적으로 생성하는 작용제들(예를 들어, 증가된 포도당 농도에 반응한 인슐린 방출)을 포함한다. 내인성 생물학적 활성제는 본 개시의 맥락에서 치료제를 구성할 수 있다.
일부 실시예들에서, 흐름 재료는 특정 인자들을 분비하는 유전적으로 조작된 세포들을 포함할 수 있다. 위에서 논의된 바와 같은 세포군은 실시예들에서 특정 인자들을 분비하는 가공된 세포(예를 들어, 유전적으로 가공된 세포)를 포함할 수 있다는 것이 본 개시의 범위 내에 있다. 세포들은 또한 확립된 세포 배양 라인들로부터의 것일 수 있거나, 원하는 유전자형 또는 표현형을 달성하기 위해 유전 공학 및/또는 조작을 거친 세포들일 수 있다. 일부 실시예들에서, 조직의 조각들이 또한 사용될 수 있으며, 이는 동일한 구조물 내에서 다수의 상이한 세포 유형들을 제공할 수 있다.
본 개시에 적용가능한 유전 공학 기술들은 재조합 DNA(rDNA) 기술(Stryjewska 외, Pharmacologial Reports. 2013; 65: 1075), 타겟 뉴클레아제(예컨대, 메가뉴클레아제, 아연 핑거 뉴클레아제(ZFN), 전사 활성제 유사 효과기 뉴클레아제(TALEN), 규칙적으로 인터스페이싱된 짧은 팔린드롬 반복 연관 뉴클레아제 Cas9(CRISPR-Cas9) 등의 사용에 기초한 셀 엔지니어링. (Lim 외, Nature Communications. 2020; 11: 4043; Stoddard BL, Structure. 2011; 19(1): 7-15; Gaj 외, Trends Biotechnol. 2013; 31(7): 397-405; Hsu 외, Cell. 2014; 157(6): 1262; Miller 외, Nat Biotechnol. 2010; 29(2): 143-148), 재조합효소 시스템(예컨대, CRE-LOX)을 사용한 부위 특유적 재조합의 사용에 기초한 세포 가공(Osborn 외, Mol Ther. 2013; 21(6): 1151-1159; Hockemeyer 외, Nat Biotechnol. 2009; 27(9): 851-857; Uhde-Stone 외, RNA. 2014; 20(6): 948-955; Ho 외, Nucleic Acids Res. 2015; 43(3): e17; Sengupta 외, Journal of Biological Engineering. 2017; 11(45): 1-9) 등을 포함할 수 있지만 이에 제한되지는 않는다. 일부 실시예들에서, 세포 가공을 위한 위에서 언급된 기술들의 일부 조합이 사용될 수 있다.
본 개시에 의해 포함되는 것은, 단백질, 펩티드, 핵산(예를 들어, DNA, RNA, mRNA, siRNA, miRNA, 핵산 아날로그), 펩티드 핵산, 압타머, 항체 또는 단편 또는 이들의 일부, 항원 또는 에피토프, 호르몬, 호르몬 길항제, 성장 인자 또는 재조합 성장 인자 및 단편 및 이들의 변형, 사이토카인, 효소, 항생제 또는 항균제 화합물, 항염증제, 항진균제, 항바이러스제, 독소, 전구약, 소분자, 약물(예를 들어, 약물, 염료, 아미노산, 비타민, 산화 방지제) 또는 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 하나 이상의 치료제를 생성할 수 있는 가공된 세포들이다.
예들
다음의 예들에서, 객체 검출 및 시맨틱 세그먼트화 둘 다를 위한 컨볼루션 신경망들은 겔화 및 압출 프로세스 동안 프린트헤드 및 생체 적합 재료들의 상이한 특성들을 모니터링하고 분석하도록 트레이닝되었다. Aspect Biosystems RX1™ 바이오프린팅 플랫폼을 사용하여 여러 사례 연구가 수행되었다. 예들은 동작 동안의 검출 및 밸브 로컬화 및 상태 검출을 위한 컴퓨터 비전의 사용, 마이크로채널 내의 이상 및 버블의 세그먼트화, 및 단일 재료 섬유 속성들의 분석, 뿐만 아니라 더 복합적인 동축 층의 히드로겔 섬유들의 분석을 나타낸다.
미세유체 프린트헤드를 통한 생체 적합 재료의 흐름을 세그먼트화하고 식별하는 것을 돕기 위해, 식품 염료가 다음의 사례 연구 예들의 목적으로 사용되었고, 재료 경계의 시각적 식별을 가능하게 하기 위해 바이오프린터의 바이오잉크에 추가되었다. 세포들 및 생체 적합 재료들을 채용하는 바이오프린팅 및 미세유체 실험들을 용이하게 하기 위해, 주변 조명 조건들에서 볼 수 있는 세포 친화적 바이오잉크 물질이 또한 개발되었다. 이 재료는 나중에 실제 세포를 함유하는 바이오잉크에 대한 프린트 실험을 수행하기 위해 사용되었다.
추가적인 실시예들에서, 재료들이 투명할 때에도 재료 흐름들을 세그먼트화하고 식별하는 것이 또한 가능하다. 가교결합을 통해 프린트헤드 내에 섬유가 형성됨에 따라, 주변 재료와의 굴절률의 차이로 인해 그 에지들이 더 구별가능해진다. 광원을 노즐의 반대측으로부터 카메라를 향해 직접 인라인으로 비추면서 섬유의 에지들이 이미지화된다. 구별가능한 에지들은 세그먼트화를 통해 섬유의 치수를 식별하기 위해 머신 러닝 알고리즘을 트레이닝하는 데 사용될 수 있는 관련 피처이다.
이러한 예들 및 이에 수반되는 논의로부터, 3D 바이오프린터들에서의 미세유체 프린트헤드들의 성능 및 동작을 정확하게 모니터링하기 위한 컴퓨터 비전 및 딥 러닝의 이점들이 인식될 수 있다. 특히, 3D 바이오프린터와 함께 채용되는 컴퓨터 비전 시스템은 정확한 피드백 및 비접촉식 감지를 가능하게 하며, 이에 따라 폐쇄 루프 제어가 그렇지 않으면 불가능할 성능 최적화를 달성하기 위한 향후 기회를 가능하게 한다는 것을 알 것이다.
사례 연구를 준비하기 위해, 사례 연구에서 가능한 사용을 위해 신경망을 식별하고 트레이닝하기 위한 예비 작업이 수행되었다.
미세유체 기반 3D 바이오프린팅의 맥락 내에서, 실시예에서, 밸브들은 미세유체 프린트헤드의 마이크로채널 내의 상이한 생체 적합 재료들 또는 세포들로 구성된 유체의 흐름을 제어하기 위해 사용될 수 있다. 이는 단독으로 또는 조합으로, 상이한 유체의 사용을 가능하게 하여, 단일 미세유체 디바이스로부터 복합적인 섬유 및 조직 구조물을 생성할 수 있다. 밸브가 공압식으로 가압될 때, 마이크로채널을 통한 모든 흐름이 제한된다. 이는 폐쇄 상태에 대응한다. 밸브가 공압적으로 이완될 때, 마이크로채널을 통한 모든 흐름이 허용된다. 이는 개방 상태에 대응한다. 실시예에서, 밸브는 공압적으로 이완될 때 밸브가 폐쇄되고, 공압적으로 가압될 때 밸브가 개방되도록 구성될 수 있다.
미세유체 디바이스들은 전형적으로 투명 재료들로 제조되기 때문에, 이들이 개방 및 폐쇄될 때 벽들의 팽창으로 인해 밸브 외관에 가시적인 변화가 있다. 이러한 가시적인 변화로 인해, 컴퓨터 비전은 동작 동안 밸브의 물리적 외관의 모니터링을 통해 밸브 동작 상태를 검출할 수 있다.
객체 검출 네트워크는 상이한 객체들을 분류하는 것뿐만 아니라 더 큰 이미지 내에서 이들을 로컬화하는 데에도 사용될 수 있다. 다음의 예들은 미세유체 프린트헤드 내의 각 밸브의 동작 상태를 검출하고 모니터링하기 위한 컴퓨터 비전 및 딥 러닝 시스템의 실시예의 평가 결과들을 보여준다. 다음의 예들의 목적들을 위해, 이미 확립된 컨볼루션 신경망들이 선택되었다.
실시간 검출의 경우, 추론 속도가 중요하다. 따라서, 다음의 예들의 목적들을 위해, 싱글샷 검출기(SSD)가 선택된 메타 아키텍처였다. 싱글샷 검출기 네트워크를 구현할 때, 피처 추출기는 검출될 필요가 있는 객체의 유형과 적용에 따라 달라질 수 있다. 가장 적합한 피처 추출기를 선택하는 것은 보통 상이한 네트워크들의 성능을 평가하는 것으로 귀결된다.
밸브 로컬화 및 상태 검출은 객체 검출 컨볼루션 신경망을 사용하여 실현되었다. 트레이닝 및 평가를 위한 데이터세트를 생성하기 위해 내장된 카메라를 사용하여 동작하는 동안 Aspect Biosystems Duo™ 미세유체 프린트헤드의 비디오들이 Aspect Biosystems RX1™ 바이오프린터 상에서 수집되었다. 비디오들은 480p로 기록되었고 라벨링을 위해 프레임들이 추출되었다. 밸브들은 개방 또는 폐쇄 여부에 기초하여 개별적으로 라벨링되었다. 라벨링된 이미지들의 예가 도 6a 및 도 6b에서 보여질 수 있다. 도 6a는 프린트헤드 내의 밸브들 주위의 경계 박스들을 보여준다. 도 6b는 밸브들의 개방 또는 폐쇄 상태의 추가적인 식별을 갖는 동일한 경계 박스들을 보여준다. 도 6c 및 도 6d는 프린팅 세션 동안 각각 밸브 1 및 밸브 2의 동작 상태들의 실행 추정치를 도시한다. 이 예에서, 밸브 1은 섬유를 생성하기 위해 대략 3초 동안 개방되었다. 밸브 2는 폐쇄 상태로 유지된다.
데이터 증강은 트레이닝에 사용되는 이미지의 크기 및 다양성을 증가시키기 위해 랜덤화된 콘트라스트, 밝기, 및 반사를 도입함으로써 수행되었다. 결과적인 이미지들은 두 개의 데이터세트로 분할되었다. 약 1500개의 이미지들을 갖는 제1 트레이닝 데이터세트는 객체 검출 네트워크를 트레이닝하기 위해 사용되었다. 대략 250개의 이미지들을 갖는 제2 트레이닝 세트는 디플로이먼트 전에 트레이닝된 네트워크의 성능을 평가하는 데 사용되는 검증 데이터세트였다.
세 개의 단일 샷 검출기(Single Shot Detector, SSD) 신경망, SSD-MobilenetV2, SSD-InceptionV2, 및 SSD-ResNet50이 디플로이먼트에 가장 적합한 것을 결정하도록 트레이닝되었다. 트레이닝을 돕기 위해, COCO(common object in context) 데이터세트에 대한 미리 트레이닝된 파라미터 가중치가 초기 트레이닝 포인트로서 사용되었다. 트레이닝 손실 함수는 두 개의 컴포넌트들로 구성되었다. 제1 컴포넌트는 예측 경계 박스와 실측 경계 박스 사이의 로컬화 오차를 정량화하기 위한 스무스 L1 로컬화 손실이었다. 이는 식 (1) 및 식 (2)에서 볼 수 있다:
(1)
(2)
이러한 식들에서, 는 특정 객체에 대한 실측 경계 박스에 대한 최소/최대 좌표들에 대응하고, 는 SSD 망으로부터의 예측 경계 박스에 대한 최소/최대 좌표들에 대응한다.
제2 컴포넌트는 제안된 경계 박스에 대응하는 클래스 예측에 관한 오차를 정량화하기 위한 가중 초점 손실이었다. 가중 초점 손실에 대한 식은 식 (3)에서 볼 수 있다:
(3)
식 (3)에서, 는 정확한 클래스에 대한 SSD 망 출력에 대응한다. 는 변조 인자, 를 제어하기 위해 사용된다. 는 특정 클래스들의 검출을 강조하기 위해 사용자에 의해 정의되는 클래스 가중 스케일이다. 트레이닝을 위해, 는 2로 설정되고 는 양의 클래스들(즉, 개방 및 폐쇄 밸브 상태)에 대해 0.75, 그리고 음의 클래스들(즉, 배경 클래스 예측)에 대해 0.25로 설정하였다. 로컬화 및 분류 손실 함수 둘 다를 이용하는 최종 손실은 식 (4)에서 볼 수 있다.
(4)
네트워크 트레이닝은 본 명세서에 참고로 통합되는, Kingma, Diederik & Ba, Jimmy. Adam: A Method for Stochastic Optimization, International Conference on Learning Representations (2014)에서 설명된 바와 같이, Adam 최적화기를 사용하여 수행되었다. 위에서 언급한 신경망들 중 세 개 모두는 검증 데이터세트에 대한 이들의 분류 및 로컬화 정확도를 결정함으로써 평가되었다. 분류 정확도는 식 (5) 를 사용하여 결정되었다:
(5)
정확도는 각 클래스에 대한 진양성(true positives, TP), 진음성(true negatives, TN), 위양성(false positives, FP), 및 위음성(false negatives, FN)에 기초한다. 정확한 예측을 위해 IOU(Intersection over Union) 스코어를 계산함으로써 로컬화 정확도가 결정되었다. IOU는 식 (6)에서 보여지는 바와 같이, 예측 경계 박스()와 실측 박스()의 교차점의 면적을 이들의 결합의 면적으로 나눈 것으로 정의된다:
(6)
트레이닝에 사용된 손실은 픽셀별 크로스 엔트로피 손실 함수였다. 손실을 컴퓨트하기 위해, UNET 네트워크로부터의 최종 활성화 값들을 각 클래스에 대응하는 확률 스코어들로 변환하였다. 이는 클래스들을 식별하는 망에 대해 식 (7)에서 볼 수 있는 소프트 최대 함수를 사용하여 행해졌다.
(7)
식 (7)에서, 는 이미지 내의 특정 픽셀에 대한 클래스에 대한 활성화 값이다. 소프트 맥스 함수는 각 픽셀에 대해 UNET 네트워크로부터의 활성화 값들을 프로세싱하는데 사용된다.
범주적 교차 엔트로피를 식 (8)에 보여지는 바와 같이 계산하였다.
(8)
식 (8)에서, 는 특정 픽셀에 대한 진 클래스에 대한 활성화 값이다. 다른 클래스들에 대한 활성화 값들은 고려되지 않는다. 는 특정 클래스들을 오분류하는 것에 불이익을 주기 위해 손실을 재스케일링하기 위한 클래스 가중치이다. 트레이닝에 사용된 가중치는 배경, 섬유, 및 버블에 대해 각각 1, 1.235, 및 1.35였다. 교차 엔트로피 손실은 이미지를 포함하는 모든 픽셀들에 대한 실제 클래스들과 예측 클래스들 사이의 오류를 정량화하기 위해 사용되었다. 위에서 언급된 Adam 최적화기는 네트워크를 트레이닝하고 손실 함수를 최소화하기 위해 사용되었다.
트레이닝된 UNET 네트워크는 모든 클래스들에 걸쳐 평균 IOU 및 평균 F1 점수를 계산함으로써 검증 데이터세트에 대해 평가되었다. IOU 스코어는 식 (5)를 통해 계산되었고, F1 스코어는 식 (9)를 통해 계산되었다.
(9)
식 (10) 및 식 (11)에서 볼 수 있는 바와 같이, 정밀도 및 리콜이 각 클래스에 대해 계산되었다.
(10)
(11)
세 개의 망들 모두는 동일한 데이터세트에 대해 트레이닝되었고, 그 다음, 검증 데이터세트에 대해 조사되어, 이들의 성능을 평가하고 디플로이먼트에 가장 적합한 것을 결정하였다.
트레이닝 결과들, 양 밸브 상태들에 대한 분류 정확도, 뿐만 아니라 정확한 분류를 위한 평균 IOU 스코어를 도 7a 및 도 7b에서 볼 수 있다. IOU 스코어가 0.5 이상이라면 분류는 올바른 것으로 고려하였다. 로컬화 및 개방 밸브 분류 정확도는 세 개의 망들 모두에서 매우 유사하였다. 그러나, SSD-ResNet50은 폐쇄 밸브 상태를 분류할 때 최상의 정확도를 가졌다. SSD-ResNet50은 또한 트레이닝 곡선들에 의해 보이는 최상의 것을 오버피팅하지 않고서 손실 함수를 최소화할 수 있었다. 따라서, 결과에 기초하여, SSD-ResNet50 망이 세 개의 네트워크들 중 최상의 성능을 갖는다고 결정되었다. 여기서 유용할 수 있는 CNN들의 다른 비제한적인 예들은 ImageNet, COCO, Cityscapes, PASCAL VOC 및 ADE20K 뿐만 아니라 MSRF-Net, UACANet-L, ResUNet++ +TTA, UNETR, SwinUnet, Unet++, DC-UNET, 및 KiU-Net을 포함한다.
예 1 - 단일 재료 섬유
이 예에서, Aspect Biosystems DuoTM 미세유체 프린트헤드를 채용하는 3D 바이오프린팅 시스템이 채용되었다.
단일 재료 섬유 분석뿐만 아니라 이상 검출을 수행하기 위해, 동작 동안 미세유체 프린트헤드 내의 생체 적합 재료 및 버블의 흐름을 로컬화하기 위해 시맨틱 세그먼트화 네트워크가 활용되었다. 본 사례 연구에 사용된 세그먼트화 네트워크는 UNET 네트워크였다. 섬유 분석 및 이상 검출을 위한 데이터세트는, 도 6a 내지 도 6d를 참조하여 위에서 설명된 바와 같이, 밸브 상태 검출을 위해 캡처된 동일한 비디오 및 이미지를 사용하여 생성되었다. 그러나, 이 경우, 픽셀들은 프린트헤드 내의 특정 생체 적합 재료 또는 버블에 대응하는 경우 라벨링되었다. 나머지 픽셀들은 배경으로서 라벨링되었다. 도 8a는 마이크로채널들 내의 생체 적합 재료(810) 또는 버블(820)을 도시하는 라벨링된 이미지의 예를 도시한다. 도 8b는 도 8a의 프린트헤드 압출 영역(830)의 확장도를 도시하며, 경계 박스(835)로 표기된다. 도 8c는 압출된 섬유의 에지들의 위치를 추정함으로써 섬유 직경을 계산하기 위한 접근법을 도시한다.
도 6a 내지 도 6d와 관련하여 상술한 밸브 검출 및 상태 모니터링을 수행하기 위해 수집된 동일한 비디오들을 섬유 분석 및 이상 검출을 위한 제안된 컴퓨터 비전 시스템의 성능을 검사하기 위해 사용하였다. 비디오들은 30 FPS에서 프로세싱되었고, 프린트헤드의 마이크로채널들에서의 임의의 버블 또는 이상들의 검출과 압출된 섬유 직경의 실행 추정치가 분석 및 평가를 위해 기록되었다.
이미지들은 랜덤화된 반사, 밝기, 및 콘트라스트를 사용하여 증강되었다. 결과적인 증강 이미지들은 각각 대략 900 및 150 이미지의 트레이닝 및 검증 데이터세트로 분할되었다.
도 8d는 두 개의 밸브들을 도시한다. 이 특정 예에서, 하나의 밸브만이 그 밸브와 연관된 마이크로채널로부터 생체 적합 재료를 제공하기 위해 개방되었다. 다른 밸브는 그 밸브의 대응하는 마이크로채널 내의 재료가 사용되지 않았기 때문에 폐쇄된 채로 남겨졌다. 도 8d는 프린트 동안 캡처된 하나의 프레임으로부터의 세그먼트들을 도시한다. 프레임은 도 6a 및 도 6b에서와 동일한 구조를 도시한다. 도 8d는 생체 적합 재료(850)를 도시한다. 압출 영역(860)이 있으며, 그 주위에 경계 박스(865)가 그려져 있다. 도 8e는 도 8d의 경계 박스 내의 압출 영역(860)의 확대도를 도시한다.
도 8f는 시스템의 동작 동안 압출된 섬유 직경의 실행 추정을 도시한다. 도 6c에 대응하여, 도 8f는 생체 적합 재료의 유량을 제어하는 밸브가 개방되어 있을 때 대략 3초 기간 동안의 섬유 직경을 도시한다.
생체 적합 재료 세그먼트화 결과들을 사용하여, 직경을 포함한 압출된 섬유의 기하학적 속성들이 모니터링 및 결정되었다. 이 프로세스는 압출 영역에서 세그먼트화된 생체 적합 재료의 에지 경계들을 추정함으로써 실현되었다. 에지 경계들이 결정되면, 섬유 에지들 사이의 평균 거리에 기초하여 섬유 직경이 계산되었다. 그런 다음, 추정치는 프린트헤드에 대한 카메라의 위치에 기초하여 미리 교정된 이득을 사용하여 픽셀들로부터 미크론으로 변환되었다.
프린팅 동안, 생체 적합 재료 섬유는 대략 3초 동안 압출되었다. 압출 영역에서 세그먼트화 결과를 사용하여, 섬유 직경은 대략 4 픽셀로 추정되었다. 섬유 분석을 위한 컴퓨터 비전 시스템의 정확도 및 유효성을 평가하기 위해, 프린트된 섬유들은 각각의 프린트 세션 후에 현미경 하에서 측정되었다. 그런 다음, 측정된 섬유 직경은 컴퓨터 비전 시스템으로부터의 추정된 직경과 비교되었다. 섬유 직경은 높은 정확도로 추정되었다.
압출된 섬유의 직경은 프린트된 조직의 최종 품질에 직접적으로 영향을 미치는 중요한 특성이며, 따라서 신중하게 모니터링될 필요가 있다. 섬유 직경의 불안정성 및 표류는 불량한 프린트 품질, 예측할 수 없는 결과, 및 원치 않는 샘플 대 샘플 편차를 초래할 수 있다. 본 발명의 컴퓨터 비전 시스템의 실시예를 사용하여, 컴퓨터 비전 시스템의 종단간 레이턴시는 23 내지 28 ms 범위였으며, 실시간 분석에 필요한 높은 프레임 레이트의 부류를 가능하게 한다.
미세유체 프린트헤드 내의 생체 적합 재료의 존재 및 흐름에 더하여, 프린트헤드의 미세유체 채널에서의 이물질 또는 이상의 존재와 같은 다른 요인들이 프린트된 구조물의 최종 품질에 영향을 미칠 수 있다. 세포 및 생체 적합 재료의 응집체는 프린트헤드 내의 채널을 클로깅할 수 있으며, 따라서 유체 흐름을 제한할 수 있다. 생체 적합 재료 및 세포에서의 용해된 가스로 인해 발생하는 버블은 또한 압출 동안 바이오잉크를 방해할 수 있다. 많은 경우들에서, 이러한 버블들은 비활성 채널들에 남아있는 경향이 있다. 그러나, 일부 경우들에서, 버블들은 활성 채널들에서 바이오잉크와 핵형성 및 혼합될 수 있다. 도 8g는 생체 적합 재료(870)를 방해하고 이로 인해 섬유 생성을 방해하는 버블(875)의 예를 도시한다. 도 8h는 도 8g에서의 버블 농도의 확대도이다.
이러한 버블 간섭이 발생할 때, 프린트된 생체 적합 재료의 일관성이 상당히 영향을 받을 수 있으며, 이에 따라 최종 조직 품질에 악영향을 미칠 수 있다. 대부분의 경우들에서, 버블들이 빠르게 이동하고 어떠한 경우에도 시각적으로 구별하기 어렵기 때문에, 버블들이 핵형성 및 생성된 섬유들에 영향을 미쳤을 때를 육안으로 인식하는 것이 가능하지 않다. 그러나, 세그먼트화 네트워크는 라이브 카메라 피드 내의 버블들의 준비된 식별 및 로컬화를 가능하게 하여, 개선된 동작 및 신뢰성을 위한 품질 제어를 가능하게 한다. 도 8i는 섬유 생성을 방해하는 클로그의 추가적인 예시적인 백라이트 가시광(좌측) 및 대응하는 컬러 오버레이(마스크, 우측) 이미지를 도시한다. 도 8j는 섬유 생성을 방해하는 버블의 추가적인 예시적인 백라이트 가시광(좌측) 및 대응하는 컬러 오버레이(마스크, 우측) 이미지를 도시한다. 실시예들에서, 본 명세서에서 설명되는 바와 같은 하나 이상의 카메라들에 의해 제공되는 이미지들에 응답하여, 본 명세서에서 개시되는 머신 러닝 기반 시스템은 도 8i 및 도 8j가 나타내는 바와 같이, 클로그, 버블, 및 다른 유형들의 프린트 결함들 또는 프린트 결점들을 식별할 수 있다.
도 9a는 시간이 지남에 따라 감소된 트레이닝 손실을 도시한다. 도 9b는 사용된 트레이닝 및 검증 데이터세트들을 비교하는 IOU 및 F1 스코어들을 도시하고, 98% 이상의 점수들을 도시하며, 트레이닝된 네트워크에 대한 만족스러운 성능을 나타낸다. 모든 이미지들에서의 많은 수의 배경 픽셀들로 인해 트레이닝 동안 상당한 클래스 불균형을 보상하기 위해 가중화된 클래스들이 필요했다.
예 2 - 동축으로 층화된 히드로겔 섬유
동축으로 층화된 섬유들은 복합적인 생물학적 조직의 일부일 수 있고, 용인가능한 최종 조직 품질 및 기능을 보장하기 위해 구조적 기하학적 구조에 대한 엄격한 요건들을 갖는 상이한 생체 적합 재료, 세포, 및 성장 인자를 포함하는 별개의 영역들로 구성될 수 있다.
이 예에서, 이전 사례 연구에서 사용된 바와 같이, UNET 네트워크는 또한, 동축으로 층화되거나 중공인 관류가능 섬유들의 형성을 가능하게 하는 Aspect Biosystems CENTRATM을 채용하는 3D 바이오프린팅 시스템으로부터 생성된 더 복합적인 동축으로 층화된 섬유들의 기하학적 속성들을 세그먼트화 및 분석하기 위해 사용되었다. 이러한 섬유들은 통합된 관류가능 혈관 구조물들을 갖는 조직들의 3D 패터닝을 가능하게 하고, 또한 외부 환경으로부터 코어 섬유 세포들의 엔지니어링된 분리를 가능하게 한다.
이 예에서, 적색 염색된 동축으로 층화된 피브리노겐 용액이 프린트되었고, 결과적인 압출된 섬유가 15 Hz에서 분석되었다. 컴퓨터 비전 시스템의 종단간 레이턴시는 14 내지 16 ms 범위였다. 이러한 낮은 레이턴시는 Nvidia Jetson Xavier 시스템에 의해 예시된 딥 러닝을 위해 특화된 GPU 가속 하드웨어뿐만 아니라 Nvidia의 TensorRT 라이브러리와 같은 추론 가속 라이브러리들을 사용하여 가능하게 되었다.
노즐의 직교 투영들을 동시에 프로세싱함으로써, 실시간으로 압출된 섬유의 양호한 시각화를 제공하기 위해 바이오프린팅된 섬유의 단면 프로파일을 생성하는 것이 가능했다. 단면 프로파일들은 섬유의 축 대칭성을 정성적으로 분석하고, 다수의 프린트 샘플들 사이에서 불량한 구조적 충실도 및 불균질성을 초래할 수 있는 임의의 잠재적인 오류들 또는 오정렬을 식별하기 위해 사용되었다.
원하는 생물학적 기능, 예를 들어, 동축으로 층화된 생체 적합 재료를 프린팅할 때 제어된 관류를 달성하기 위해, 쉘 및 코어의 직경 및 층 두께, 뿐만 아니라 쉘 내의 코어의 동심도가 중요하다. 실시예들에 따른 설명된 컴퓨터 비전 시스템은 최종 조직 품질에 영향을 미칠 수 있는 임의의 오정렬 및 오작동을 검출하기 위해 압출 섬유의 다양한 기하학적 속성들의 실시간 분석을 위해 3D 프린팅 플랫폼에 완전히 통합될 수 있다. 또한, 컴퓨터 비전 시스템은 비접촉식 피드백을 가능하게 하고, 그렇지 않으면 달성하는 것이 불가능할 폐쇄 루프 제어기를 개발할 기회를 다시 가능하게 한다.
이 예에서, 섬유가 형성되고 압출되는 동안 프린트헤드 상의 노즐의 1080p에서의 비디오가 기록되었다. 이미지들은 비디오들로부터 추출되었고, 픽셀들은 코어 재료, 쉘 재료, 또는 배경에 대응하는 것으로 라벨링되었다. 그런 다음, 광섬유 주위에 포커싱된 256 x 256 픽셀 이미지들을 생성하기 위해 이미지들을 잘라내었다. 이미지들은 랜덤화된 밝기, 콘트라스트, 및 반사를 통해 다시 한 번 증강되었다. 대략 2000개의 이미지들의 트레이닝 세트 및 대략 500개의 이미지들의 검증 데이터세트가 획득되었다.
도 10a 및 도 10b는 동축으로 층화된 히드로겔 섬유들(1010)을 갖는 프린트헤드 노즐(1000)의 이미지를 도시한다. 도 10c는 섬유(1010) 내의 쉘 생체 적합 재료(1014) 및 코어 생체 적합 재료(1016)를 강조한다. 도 10d는 동축 바이오프린팅된 섬유 내의 쉘의 중심축과 코어의 중심축 사이의 오정렬 또는 오동심도의 정도를 계산하는 데 수반되는 다양한 파라미터들을 도시한다. 계산은 특히 코어의 직경 및 쉘의 직경, 및 쉘의 외측 원주로부터의 코어의 외측 원주의 각 측들의 거리를 고려한다.
트레이닝을 위한 손실 함수는 식 (6)에서 보여진 바와 동일한 픽셀별 범주적 교차 엔트로피 함수였다. 식 (5)에서 보여진 바와 같은 소프트 맥스 함수는 또한, UNET 네트워크로부터의 활성화 출력을 프로세싱하기 위해 사용되었다. 트레이닝을 위해 구현된 클래스 가중치는 각각 배경, 쉘 재료, 및 코어 재료에 대해 1, 1.15, 1.25였다. 위에서 다시 참조된 Adam 최적화기는 네트워크를 트레이닝하기 위해 사용되었다.
세그먼트화 결과들로, 쉘과 코어의 층 두께 뿐만 아니라 섬유의 쉘 내의 코어 정렬이 세그먼트화 결과들의 분석을 통해 쉘과 코어의 에지 경계들을 추정함으로써 결정되었다. 에지 경계들을 사용하여, 압출된 섬유를 포함하는 상이한 재료의 층 두께가 도 10d에 도시된 바와 같이 결정되었다. 코어 정렬, 은 또한, 식 (12)를 사용하여 계산되었다.
(12)
식 12에서, 및 는 도 10d에 도시된 파라미터들에 대응한다. 0의 값은 지정된 보기 평면에서의 완벽한 정렬에 대응하는 반면, 양의 값과 음의 값은 각각 좌우의 오정렬에 대응한다.
휴대용 플랫폼으로의 잠재적인 통합을 입증하기 위해, 제안된 컴퓨터 비전 시스템은 도 2의 머신 러닝 엔진(240)으로서 Nvidia Jetson Xavier AGX 시스템을 사용하여 디플로이되었다. Nvidia 시스템 상에 디플로이되는 동안, 트레이닝된 네트워크는 네트워크 레이턴시를 감소시키고 처리량을 개선하기 위해 Nvidia의 TensorRT 소프트웨어 개발 키트(SDK) 내의 라이브러리를 사용하여 최적화되었다. 세그먼트화 결과들의 추론 및 후처리는 Nvidia 시스템에서만 수행되었다. 메인 컴퓨터(250)를 통한 명령들이 Nvidia 시스템에 전송되었다. 압출된 섬유의 기하학적 속성들에 관한 데이터는 양방향 전송 제어 프로토콜(TCP) 통신을 통해 메인 컴퓨터로 다시 전송되었으며, 이를 도 2가 도시한다. 두 개의 카메라들(도 2의 210 및 215)이 서로 직각으로 그리고 압출 노즐(220) 주위에 위치되었다. 압출 노즐 주위의 카메라 피드들은 Nvidia 시스템과의 USB 통신을 통해 수집되고 동시에 분석되었다. 분석은 15 FPS에서 수행되었다. 카메라 피드들 둘 다로부터 계산된 기하학적 속성을 사용하여, 섬유의 축 대칭 및 코어 동심도는 섬유의 전체 구조적 충실도에 대한 더 나은 통찰을 위해 실시간으로 시각화되었다.
도 10e는 캡처된 이미지들 중 하나에 대한 세그먼트화 결과들의 예를 도시한다. 세그먼트화 결과들을 사용하여, 도 10f에서 보여지는 바와 같이, 쉘 및 코어 재료들의 에지들 및 경계들이 위치되었다. 세그먼트화 네트워크는 영역들이 육안으로 쉽게 분리되지 않는다는 사실에 관계없이 높은 정확도와 신뢰도로 쉘 재료들과 코어 재료들을 구별하여 이들의 경계를 식별할 수 있다.
도 10g 및 도 10h는 출된 섬유의 층 두께 및 코어 정렬의 실행 추정들을 보여주며, 도 10g는 시간 함수로서의 직경을 보여주고, 도 10h는 경과 시간을 보여준다. 도 10i는 도 10g에서 도시된 기하학적 속성들을 사용하여 동작 동안 상이한 스테이지들에서 압출된 섬유의 생성된 단면 프로파일들을 도시한다. 도 10i는 코어와 쉘 단면의 점진적인 원형도, 및 코어와 쉘의 점진적인 동심도를 도시한다.
도 11a는 시간이 지남에 따라 감소된 트레이닝 손실을 도시한다. 도 11b는 사용된 트레이닝 및 검증 데이터세트들을 비교하는 IOU 및 F1 스코어들을 도시하고, 85% 이상의 점수들을 도시하며, 트레이닝된 네트워크에 대한 만족스러운 성능을 나타낸다. 위에서 언급된 바와 같이, 그리고 예 1에서의 경우와 유사하게, 이미지들 내의 배경 픽셀들의 큰 비율로 인해 트레이닝 동안 클래스 불균형을 보상하기 위해 가중화된 클래스들이 필요했다.
예 3 - 섬유 직경의 피드백 제어
이 예는 코어 및 쉘을 포함하는 바이오프린팅된 섬유의 피드백 제어를 보여주며, 쉘의 직경이 원하는 쉘 직경을 갖는 바이오프린팅된 섬유를 형성하기 위해 실시간으로 조정된다.
바이오프린팅 프로세스의 시작에서, 쉘 외경(OD) 및 코어 내경(ID)은 각각 1.0 mm 및 0.5 mm로 설정되었다. 도 12a는 본 명세서에서 개시된 바와 같은 머신 러닝 기반 시스템이 쉘의 직경을 0.80 mm로 검출하고, 쉘 채널에 대한 압력은 149 mBar로 검출한 것을 도시한다. 도 12b는 쉘 채널 압력이 자동으로 조정되고, 13초 동안 쉘의 직경을 1.02 mm로 증가시키기 위해 237 mBar로 천천히 증가되는 것을 도시한다.
예 4 - 세포 정량 분석
이 예는 본 명세서에서 개시되는 시스템 및 방법을 통해 바이오섬유의 프린트 동안 실시간으로 대략적인 세포 양 및/또는 위치를 모니터링하여 정성적 전체 섬유 분석을 가능하게 하는 능력을 나타낸다.
도 13은 프린트 동안 바이오프린팅된 섬유 내의 세포들의 세 개의 이미지들 및 대응하는 고레벨 정량화를 도시한다. 이미지들 각각은 선택된 시점들(0초, 30초, 90초)에서의 바이오프린팅 프로세스의 대략 2분 비디오로부터 취해진 대표적인 스크린샷이다. 이미지들 및 대응하는 세포 정량화로부터 알 수 있는 바와 같이, 셀룰러 함유량의 전체량은 다양한 인자들의 함수로서 프린팅 프로세스의 과정 동안 변동될 수 있다. 예를 들어, 세포 양은 0초 및 90초에서 관찰된 것과 비교하여 프린트 프로세스의 30초에서 더 낮다. 도 13의 우측 그래프들 각각에 대해, 섬유 직경이 나타내어진다. 섬유 직경은 이 실험에서 변동하는데, 이는 폐쇄 루프 제어가 섬유 직경을 제어하기 위해 이용되지 않았기 때문이다. 도 13에서의 x축은 컬럼 번호에 대응하며, 여기서 각 컬럼은 하나의 픽셀의 폭이다. y축은 셀룰러 물질이 식별되는 각 컬럼 내의 픽셀들의 합을 나타낸다. 그래프에서의 밝은 오렌지색은 섬유 직경을 도시한다.
도 13의 방법론은 세포 물질을 함유하는 전체 섬유들의 일반적인 정성 분석을 가능하게 한다. 예를 들어, 실시예에 따른 머신 러닝 시스템에서 구현되는 바와 같은 객체 검출 및/또는 시맨틱 세그먼트화는 섬유 에지들에 대한 셀룰러 재료의 근접성의 식별을 가능하게 하고, 이에 따라, 셀룰러 재료가 섬유 내에 얼마나 중심에 있는지의 표시를 제공한다. 세포 재료가 섬유 에지에 너무 근접한 섬유(즉, 섬유 에지에 대해 버트업되는 세포 재료)는 세포 재료의 잠재적인 면역 시스템 인식으로 인해 사용을 위해 거부될 수 있다. 추가적으로 또는 대안적으로, 본 개시의 머신 러닝 시스템에서 구현되는 바와 같은 객체 검출 및/또는 시맨틱 세그먼트화는 섬유, 갭, 또는 셀룰러 재료에서의 다른 상당한 변동들에 걸쳐 낮은 양의 형태로 셀룰러 양을 저하시킨 섬유들의 식별을 가능하게 한다. 실시예들에서, 실시예에 따른 머신 러닝 시스템에서 구현되는 바와 같은 객체 검출 및/또는 시맨틱 세그먼트화는 더 높은 품질의 섬유들, 예를 들어, 위치(즉, 셀룰러 재료가 섬유에 대해 얼마나 중심에 있는지를) 및/또는 섬유 전체에 걸친 셀룰러 양(즉, 갭 또는 다른 변동의 실질적인 부재)의 식별을 가능하게 한다.
도 14는 프린트 동안 바이오프린트된 섬유의 세그먼트의 예시적인 백라이트 가시광선(좌측) 및 대응하는 컬러 오버레이(마스크, 우측) 이미지(상단)를 갖는 추가적인 정성적 분석을 도시하며, 상기의 세그먼트는 점선 박스(하단)로 나타내어진다. 하단 이미지에서 볼 수 있는 바와 같이, 셀룰러 함량은 도시된 섬유 부분 전체에 걸쳐 실질적으로 일관적이다. 실시예에서, 실시예에 따른 머신 러닝 시스템에서 구현되는 바와 같은 객체 검출 및/또는 시맨틱 세그먼트화는 이러한 유형의 정성적 분석도 가능하게 한다.
도 15a는 실시예에 따른 하나의 카메라 뷰로부터의 코어 및 쉘의 이미지를 도시한다. 이미지는 하나의 축을 따라 쉘에서 중심이 맞춰진 코어를 도시한다. 실시예에서, 다른 카메라 뷰로부터의 대응하는 이미지는 다른 축을 따라 쉘에 대한 코어를 보여줄 수 있고, 쉘 내의 코어의 동심도를 결정할 수 있다. 도 15b 내지 15e는 쉘 내의 상이한 코어 위치들의 이미지들이며, 이미지들은 (바이오 잉크와 같은) 재료가 프린트헤드를 통해 흐르면서 연속적인 시간들에서 취해진다. 연속적인 이미지들, 또는 실제로 이미지들의 스트림은 세포 추적을 속도 벡터 필드로서 보여줄 수 있다. 이 접근법은 하나 이상의 카메라로부터의 흐름 추정을 제공할 수 있으며, 흐름 추정은 섬유 품질 프린트 시간을 측정하는 데 사용될 수 있다. 이 흐름 추정은 정확한 흐름(예를 들어, 올바른 방향으로의 흐름, 또는 어떤 이유로 정지되지 않은 흐름)을 보장하기 위해 사용될 수 있다. 실시예들에서, 흐름 추정은 (코어 및 쉘의 이미지에서 반영될 수 있는) 균질한 흐름이 있는지 여부를 결정하는 것, 섬유 내의 셀룰러 재료의 중심을 맞추는 것, 및/또는 프린트 흐름을 전체적으로 추정하는 것을 돕기 위해 사용될 수 있다.
본 명세서에서 인용된 모든 특허 및 비특허 참조는 그 전체가 그리고 모든 목적을 위해 참조에 의해 본 명세서에 포함된다.
Claims (73)
- 미세유체 가교 프린트헤드 재료 흐름 감지 시스템으로서,
미세유체 가교 프린트헤드;
상기 미세유체 가교 프린트헤드를 통한 재료 흐름을 모니터링하고 상기 재료 흐름의 스트리밍 이미지들을 제공하기 위한 카메라 시스템 ― 상기 재료 흐름은 적어도 하나의 가교가능 재료를 포함하며, 바람직하게는 상기 적어도 하나의 가교가능 재료는 히드로겔을 포함함 ―; 및
상기 스트리밍 이미지들에서 표현된 바와 같은 상기 재료 흐름을 분석함으로써, 상기 재료 흐름에 의해 생성된 가교결합으로부터 기인하는, 프린트된 섬유의 물리적 속성들을 결정하기 위한 컴퓨터 시스템을 포함하며;
상기 컴퓨터 시스템은 상기 재료 흐름의 상기 스트리밍 이미지들을 미리 결정된 허용오차 내의 프린트된 섬유의 상기 물리적 속성들에 대응하는 사용자 확립 재료 흐름 파라미터들과 비교하고, 상기 재료 흐름에 대한 상기 재료 흐름 파라미터들, 및 상기 비교의 결과들을 기록하는 머신 러닝 기반 시스템을 포함하는 것인, 시스템. - 제1항에 있어서, 상기 미세유체 가교 프린트헤드는 하나 이상의 투명 채널을 포함하고, 상기 카메라 시스템은 상기 하나 이상의 투명 채널 중 적어도 하나를 통한 재료 흐름을 모니터링하며, 바람직하게는 상기 미세유체 가교 프린트헤드는 투명 노즐 또는 디스펜싱 채널을 포함하는 것인, 시스템.
- 제1항 또는 제2항에 있어서, 상기 카메라 시스템은 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 제1 각도로 위치된 제1 카메라, 및 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 상이한 제2 각도로 위치된 제2 카메라를 포함하는 것인, 시스템.
- 제3항에 있어서, 상기 제1 카메라와 상기 제2 카메라는 서로에 대해 직각으로 있는 것인, 시스템.
- 제1항 또는 제2항에 있어서, 상기 카메라 시스템은 카메라 및 복수의 미러들을 포함하며, 상기 미러들은 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 제1 뷰 및 상이한 제2 뷰를 제공하도록 위치되며, 상기 카메라는 상기 제1 뷰 및 상기 제2 뷰의 이미지들을 수신하는 것인, 시스템.
- 제5항에 있어서, 상기 제2 뷰는 상기 제1 뷰와 직교하는 것인, 시스템.
- 제5항 또는 제6항에 있어서, 상기 복수의 미러들은 상기 제1 뷰 및 상기 제2 뷰를 제공하도록 배열된 세 개의 미러들을 포함하는 것인, 시스템.
- 제3항 또는 제4항에 있어서, 상기 미세유체 시스템은 복수의 투명 채널들을 포함하고, 상기 카메라 시스템은 제1 카메라와 제2 카메라의 동등한 복수의 쌍들을 포함하며, 각 쌍 내의 각 제1 카메라 및 제2 카메라는 서로에 대해 직각으로 위치되고, 제1 카메라와 제2 카메라의 복수의 쌍들 각각은 상기 복수의 투명 채널들 중 상이한 각 투명 채널들을 통한 재료 흐름을 모니터링하기 위한 것인, 시스템.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 상기 사용자 확립 재료 흐름 파라미터들로부터의 상기 재료 흐름에서의 하나 이상의 편차를 식별하는 것인, 시스템.
- 제9항에 있어서, 상기 식별된 하나 이상의 편차에 응답하여, 상기 머신 러닝 기반 시스템은 상기 재료 흐름 파라미터들을 조정하는 것이 필요한지 여부를 식별하는 것인, 시스템.
- 제9항 또는 제10항에 있어서, 상기 머신 러닝 기반 시스템은 누적 편차가 미리 결정된 양을 초과하는 것에 응답하여 상기 재료 흐름 파라미터들을 조정하는 것인, 시스템.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 프린트된 섬유의 물리적 속성들을 상기 미리 결정된 허용오차 내에서 유지하기 위해 상기 재료 흐름 파라미터들을 조정하는 단계를 더 포함하는, 시스템.
- 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 상기 재료 흐름의 상기 스트리밍 이미지들의 객체 검출 및/또는 시맨틱 세그먼트화를 수행하는 것인, 시스템.
- 제13항에 있어서, 상기 객체 검출 및/또는 시맨틱 세그먼트화는 상기 재료 흐름 내의 하나 이상의 객체의 위치의 검출을 가능하게 하는 것인, 시스템.
- 제14항에 있어서, 상기 객체 검출 및/또는 시맨틱 세그먼트화는 상기 재료 흐름 내의 상기 하나 이상의 객체의 형상, 크기, 및/또는 양의 시각적 추정을 가능하게 하는 것인, 시스템.
- 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 미세유체 가교 프린트헤드는 3차원(3D) 바이오프린팅 프린트헤드를 포함하고, 상기 시스템은 바이오프린팅된 섬유들을 생성하기 위한 3D 바이오프린팅 시스템을 포함하는 것인, 시스템.
- 제16항에 있어서, 상기 3D 바이오프린팅 프린트헤드는 상기 재료 흐름을 위한 각각의 복수의 재료들을 선택적으로 제공하기 위한 복수의 채널들을 포함하는 것인, 시스템.
- 제16항 또는 제17항에 있어서, 상기 물리적 속성들은 상기 바이오프린팅된 섬유들의 직경을 포함하는 것인, 시스템.
- 제16항 내지 제18항 중 어느 한 항에 있어서, 상기 물리적 속성들은 상기 바이오프린팅된 섬유들의 동심도를 포함하는 것인, 시스템.
- 제1항 내지 제19항 중 어느 한 항에 있어서, 상기 재료 흐름은 적어도 하나의 생물학적 재료를 더 포함하며; 바람직하게는 상기 적어도 하나의 생물학적 재료는 세포군을 포함하는 것인, 시스템.
- 제20항에 있어서, 상기 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 또는 이들의 조합을 포함하거나 이들로 이루어진 군으로부터 선택되는 것인, 시스템.
- 제20 항 또는 제21항에 있어서, 상기 재료 흐름은 미세입자들을 더 포함하는 것인, 시스템.
- 제20항 내지 제22항 중 어느 한 항에 있어서, 상기 재료 흐름은 염료, 안료, 또는 콜로이드를 더 포함하는 것인, 시스템.
- 제20항 내지 제23항 중 어느 한 항에 있어서, 세포 함유 생체 적합 재료들이 상기 상기 각 채널들을 통해 흘러 상기 바이오프린팅된 섬유들을 생성하는 것인, 시스템.
- 제16항 내지 제24항 중 어느 한 항에 있어서, 상기 바이오프린팅된 섬유들은 동축으로 층화된 히드로겔 섬유들인 것인, 시스템.
- 제16항 내지 제25항 중 어느 한 항에 있어서, 상기 바이오프린팅된 섬유들은 코어 히드로겔 재료, 및 상기 코어 히드로겔 재료 주위의 쉘 히드로겔 재료를 포함하되, 상기 코어 히드로겔 재료는 상기 미리 결정된 허용오차 내에서 상기 쉘 히드로겔 재료 내에 동심으로 배치되는 것인, 시스템.
- 제16항 내지 제26항 중 어느 한 항에 있어서, 상기 재료 흐름 내의 세포들의 존재는 상기 바이오프린팅된 섬유들의 물리적 속성들의 측정을 용이하게 하기 위한 조영제로서 작용하는 것인, 시스템.
- 제1항 내지 제27항 중 어느 한 항에 있어서, 상기 컴퓨터 시스템은 상기 비교의 결과들을 사용하여, 상기 미세유체 가교결합 프린트헤드 내의 재료의 변위를 조정함으로써 상기 재료 흐름을 제어하는 것인, 시스템.
- 제1항 내지 제28항 중 어느 한 항에 있어서, 상기 비교의 결과들에 응답하여, 상기 프린트된 섬유의 프린트 동안 상기 미세유체 가교 프린트헤드를 통한 상기 재료 흐름 및 재료의 변위를 제어하기 위한 변위 제어기를 더 포함하는, 시스템.
- 제1항 내지 제29항 중 어느 한 항에 있어서, 상기 컴퓨터 시스템은 상기 비교의 결과들을 사용하여, 상기 미세유체 가교결합 프린트헤드 내의 재료 흐름의 압력을 조정함으로써 상기 재료 흐름을 제어하는 것인, 시스템.
- 제1항 내지 제30항 중 어느 한 항에 있어서, 상기 비교의 결과들에 응답하여, 상기 프린트된 섬유의 프린트 동안 상기 미세유체 가교 프린트헤드를 통한 상기 재료 흐름 및 압력을 제어하기 위한 압력 제어기를 더 포함하는, 시스템.
- 제1항 내지 제31항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 컨볼루션 신경망(convolutional neural network, CNN), 장단기 기억(long short term memory, LSTM) 네트워크, 순환 신경망(recurrent neural network, RNN), 순환 컨볼루션 신경망(recurrent convolutional neural network, RCNN) 또는 RNN과 CNN의 조합으로 이루어진 군으로부터 선택되는 것인, 시스템.
- 제1항 내지 제32항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 그래픽 프로세싱 유닛(graphics processing unit, GPU)을 포함하는 것인, 시스템.
- 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 투명 채널들 중 하나 이상을 조명하기 위한 발광 다이오드(light emitting diode, LED) 또는 LED 어레이를 더 포함하는, 시스템.
- 제34항에 있어서, 각각 상기 카메라들 각각에 대한 하나의 LED 또는 LED 어레이를 더 포함하는, 시스템.
- 제34항 또는 제35항에 있어서, 각 LED 또는 LED 어레이는 각 카메라 뒤에 위치되는 것인, 시스템.
- 제34항 또는 제35항에 있어서, 각 LED 또는 LED 어레이는 상기 각 카메라로부터의 투명 채널의 반대측 상에 위치되는 것인, 시스템.
- 제5항 또는 제6항에 있어서, 상기 복수의 미러들은 두 개의 미러들을 포함하되, 상기 미러들 중 하나는 상기 카메라에 상기 제1 뷰와 상기 제2 뷰를 교대로 제공하도록 회전가능한 것인, 시스템.
- 미세유체 가교 프린트헤드를 통한 재료 흐름을 모니터링하기 위한 방법으로서,
카메라 시스템을 사용하여, 미세유체 가교결합 프린트헤드를 통해 재료 흐름의 스트리밍 이미지들을 획득하는 단계 ― 상기 재료 흐름은 적어도 하나의 가교결합가능 재료를 포함하며, 바람직하게는 상기 적어도 하나의 가교결합가능 재료는 히드로겔을 포함함 ―; 및
상기 스트리밍 이미지들에서 표현된 바와 같은 상기 재료 흐름을 분석함으로써, 상기 재료 흐름에 의해 조성되는 가교결합으로부터 기인하는, 프린트된 섬유의 물리적 속성들을 결정하는 단계 ― 상기 결정하는 단계는 머신 러닝 기반 시스템을 사용하여, 상기 재료 흐름의 상기 스트리밍 이미지들을 미리 결정된 허용오차 내의 프린팅된 섬유의 상기 물리적 속성들에 대응하는 사용자 확립 재료 흐름 파라미터들과 비교하는 단계를 포함함 ― 를 포함하는, 방법. - 제39항에 있어서, 상기 획득하는 단계는 상기 미세유체 가교 프린트헤드의 하나 이상의 투명 채널을 통해 상기 스트리밍 이미지들을 획득하는 단계를 포함하는 것인, 방법.
- 제39항 또는 제40항에 있어서, 상기 획득하는 단계는 상기 카메라 시스템 내의 제1 카메라를 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 제1 각도로, 그리고 상기 카메라 시스템 내의 제2 카메라를 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 상이한 제2 각도로 위치시키는 단계를 포함하는 것인, 방법.
- 제41항에 있어서, 상기 위치시키는 단계는 상기 제1 카메라와 상기 제2 카메라를 서로에 대해 직각으로 위치시키는 단계를 포함하는 것인, 방법.
- 제39항 또는 제40항에 있어서, 상기 획득하는 단계는 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 제1 뷰를 제공하도록 상기 카메라 시스템 내의 카메라를 위치시키는 단계, 및 상기 하나 이상의 투명 채널 중 상기 적어도 하나에 대해 상이한 제2 뷰를 제공하도록 복수의 미러들을 위치시키는 단계를 포함하는 것인, 방법.
- 제43항에 있어서, 상기 제2 뷰는 상기 제1 뷰와 직교하는 것인, 방법.
- 제43항 또는 제44항에 있어서, 상기 위치시키는 단계는 상기 제2 뷰를 제공하도록 세 개의 미러들을 위치시키는 단계를 포함하는 것인, 방법.
- 제39항 내지 제45항 중 어느 한 항에 있어서, 상기 비교하는 단계는 상기 사용자 확립 재료 흐름 파라미터들로부터의 상기 재료 흐름에서의 하나 이상의 편차를 식별하는 단계를 포함하는 것인, 방법.
- 제46항에 있어서, 상기 재료 흐름에서의 상기 하나 이상의 편차가 미리 결정된 양을 초과하는지 여부를 결정하는 단계, 및 상기 프린트된 섬유의 물리적 속성들을 상기 미리 결정된 허용오차 내에서 유지하도록 상기 결정에 응답하여 상기 사용자 확립 재료 흐름 파라미터들 중 하나 이상을 조정하는 단계를 더 포함하는, 방법.
- 제39항 내지 제47항 중 어느 한 항에 있어서, 상기 결정하는 단계는 상기 머신 기반 러닝 시스템을 사용하여, 상기 재료 흐름의 상기 스트리밍 이미지들의 객체 검출 및/또는 시맨틱 세그먼트화를 수행하는 단계를 더 포함하는 것인, 방법.
- 제48항에 있어서, 상기 객체 검출 및/또는 시맨틱 세그먼트화는 상기 재료 흐름 내의 하나 이상의 객체의 위치의 검출을 가능하게 하는 것인, 방법.
- 제48항 또는 제49항에 있어서, 상기 객체 검출 및/또는 시맨틱 세그먼트화는 상기 재료 흐름 내의 상기 하나 이상의 객체의 형상, 크기, 및/또는 양의 시각적 추정을 가능하게 하는 것인, 방법.
- 제39항 내지 제50항 중 어느 한 항에 있어서, 상기 미세유체 가교 프린트헤드는 3차원(3D) 바이오프린팅 프린트헤드를 포함하고, 상기 획득하는 단계는 상기 3D 바이오프린팅 프린트헤드 내의 하나 이상의 투명 채널을 통해 스트리밍 이미지들을 획득하는 단계를 포함하며, 상기 3D 바이오프린팅 프린트헤드는 바이오프린팅된 섬유들을 생성하는 것인, 방법.
- 제51항에 있어서, 상기 모니터링은 상기 3D 바이오프린팅 프린트헤드 내의 복수의 채널들을 모니터링하는 단계를 포함하며, 상기 복수의 채널들은 상기 재료 흐름을 위한 각각의 복수의 재료들을 선택적으로 제공하기 위한 것인, 방법.
- 제39항 내지 제52항 중 어느 한 항에 있어서, 상기 물리적 속성들은 바이오프린팅된 섬유들의 동심도를 포함하는 것인, 방법.
- 제39항 내지 제53항 중 어느 한 항에 있어서, 상기 재료 흐름은 적어도 하나의 생물학적 재료를 더 포함하며; 바람직하게는 상기 적어도 하나의 생물학적 재료는 세포군을 포함하는 것인, 방법.
- 제54항에 있어서, 상기 세포군은 단일 세포 현탁액, 세포 응집체, 세포 구형체, 세포 유기체, 및/또는 미세입자들을 포함하거나 이들로 이루어진 군으로부터 선택되는 것인, 방법.
- 제54항 또는 제55 항에 있어서, 상기 재료 흐름 내의 재료는 염료, 안료, 또는 콜로이드를 더 포함하는 것인, 방법.
- 제54항 내지 제56항 중 어느 한 항에 있어서, 상기 바이오프린팅된 섬유들은 동축으로 층화된 히드로겔 섬유들인 것인, 방법.
- 제54항 내지 제57항 중 어느 한 항에 있어서, 상기 바이오프린팅된 섬유들은 코어 히드로겔 재료, 및 상기 코어 히드로겔 재료 주위의 쉘 히드로겔 재료를 포함하되, 상기 코어 히드로겔 재료는 상기 미리 결정된 허용오차 내에서 상기 쉘 히드로겔 재료 내에 동심으로 배치되는 것인, 방법.
- 제52항 내지 제58항 중 어느 한 항에 있어서, 상기 재료 흐름 내의 세포들의 존재는 상기 바이오프린팅된 섬유들의 물리적 속성들의 측정을 용이하게 하기 위한 조영제로서 작용하는 것인, 방법.
- 제39항에 있어서, 상기 결정에 응답하여, 상기 프린트된 섬유의 상기 물리적 속성들을 상기 미리 결정된 허용오차 내에서 유지하도록 상기 재료 흐름을 제어하는 단계를 더 포함하는, 방법.
- 제60항에 있어서, 상기 재료 흐름을 제어하는 단계는 상기 미세유체 디바이스 내의 재료의 변위를 제어하는 단계를 포함하는 것인, 방법.
- 제60항에 있어서, 상기 재료 흐름을 제어하는 단계는 상기 미세유체 디바이스 내의 상기 재료 흐름의 압력을 제어하는 단계를 포함하는 것인, 방법.
- 제39항 내지 제62항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 컨볼루션 신경망(CNN), 장단기 기억(LSTM) 네트워크, 순환 신경망(RNN), 순환 컨볼루션 신경망(RCNN) 또는 RNN과 CNN의 조합으로 이루어진 군으로부터 선택되는 것인, 방법.
- 제39항 내지 제63항 중 어느 한 항에 있어서, 상기 머신 러닝 기반 시스템은 그래픽 프로세싱 유닛(GPU)을 포함하는 것인, 방법.
- 제40항 내지 제43항 중 어느 한 항에 있어서, 상기 투명 채널들 중 하나 이상을 조명하도록 발광 다이오드(LED) 또는 LED 어레이를 위치시키는 단계를 더 포함하는, 방법.
- 제65항에 있어서, 각각 상기 카메라들 각각에 대해 하나의 LED 또는 LED 어레이를 위치시키는 단계를 더 포함하는, 방법.
- 제65항 또는 제66항에 있어서, 각 카메라 뒤에 각 LED 또는 LED 어레이를 위치시키는 단계를 더 포함하는, 방법.
- 제65항 또는 제66항에 있어서, 상기 각 카메라로부터의 투명 채널의 반대편 상에 각 LED 또는 LED 어레이를 위치시키는 단계를 더 포함하는, 방법.
- 제43항 또는 제44항에 있어서, 상기 위치시키는 단계는 상기 카메라에 상기 제1 뷰와 상기 제2 뷰를 교대로 제공하도록 두 개의 미러들을 위치시키는 단계를 포함하되, 상기 미러들 중 하나는 상기 카메라에 상기 제1 뷰와 상기 제2 뷰를 교대로 제공하도록 회전가능한 것인, 방법.
- 제39항 내지 제69항 중 어느 한 항에 있어서, 상기 스트리밍 이미지들에 대해 객체 검출 및/또는 시맨틱 세그먼트화를 수행하기 위해 상기 머신 러닝 기반 시스템을 사용하여, 상기 스트리밍 이미지들에서 표현된 바와 같은 상기 재료 흐름을 분석함으로써 상기 재료 흐름에서의 하나 이상의 결함을 식별하는 단계를 더 포함하는, 방법.
- 제70항에 있어서, 상기 하나 이상의 결함은 클로그(clog) 및/또는 버블(bubble)인 것인, 방법.
- 제39항 내지 제69항 중 어느 한 항에 있어서, 상기 재료 흐름 내의 하나 이상의 객체의 일반적인 양 및/또는 분포를 제공하는 단계를 더 포함하며, 바람직하게는 상기 하나 이상의 객체는 생물학적 재료를 포함하는 것인, 방법.
- 제39항 내지 제72항 중 어느 한 항에 있어서, 상기 코어 히드로겔 재료가 상기 쉘 히드로겔 재료 내에 동심으로 배치되어 있는지 여부를 분석하는 단계를 더 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163238028P | 2021-08-27 | 2021-08-27 | |
| US63/238,028 | 2021-08-27 | ||
| PCT/IB2022/000493 WO2023026099A1 (en) | 2021-08-27 | 2022-08-26 | Microfluidic-based fiber formation methods and systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240051219A true KR20240051219A (ko) | 2024-04-19 |
Family
ID=85321424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247010187A KR20240051219A (ko) | 2021-08-27 | 2022-08-26 | 미세유체 기반 섬유 형성 방법 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| KR (1) | KR20240051219A (ko) |
| AU (1) | AU2022332665A1 (ko) |
| CA (1) | CA3230168A1 (ko) |
| IL (1) | IL311083A (ko) |
| WO (1) | WO2023026099A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11931966B2 (en) * | 2018-01-26 | 2024-03-19 | Cellink Bioprinting Ab | Systems and methods for optical assessments of bioink printability |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EA023941B1 (ru) * | 2010-04-16 | 2016-07-29 | Опкоу Дайагностикс, Ллк. | Анализатор микрофлюидного образца и способ выполнения анализа микрофлюидного образца |
| SE535671C2 (sv) * | 2011-03-15 | 2012-11-06 | Isaberg Rapid Ab | Häftapparat |
-
2022
- 2022-08-26 WO PCT/IB2022/000493 patent/WO2023026099A1/en active Application Filing
- 2022-08-26 KR KR1020247010187A patent/KR20240051219A/ko unknown
- 2022-08-26 IL IL311083A patent/IL311083A/en unknown
- 2022-08-26 CA CA3230168A patent/CA3230168A1/en active Pending
- 2022-08-26 AU AU2022332665A patent/AU2022332665A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023026099A1 (en) | 2023-03-02 |
| IL311083A (en) | 2024-04-01 |
| CA3230168A1 (en) | 2023-03-02 |
| AU2022332665A1 (en) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102421818B1 (ko) | 펜 내 분석들을 위한 방법들, 시스템들 및 키트들 | |
| Chen et al. | Extrusion bioprinting of scaffolds | |
| Anagnostidis et al. | Deep learning guided image-based droplet sorting for on-demand selection and analysis of single cells and 3D cell cultures | |
| KR102466814B1 (ko) | 미세유체 디바이스들 및 키트들 및 그것의 사용을 위한 방법들 | |
| Schmid et al. | High-speed panoramic light-sheet microscopy reveals global endodermal cell dynamics | |
| WO2018143102A1 (ja) | 細胞培養装置、撮像ユニット及び培養監視方法 | |
| US8588504B2 (en) | Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation | |
| EP3721209B1 (en) | Methods for in-pen assays | |
| US11708563B2 (en) | Platforms and systems for automated cell culture | |
| KR20240051219A (ko) | 미세유체 기반 섬유 형성 방법 및 시스템 | |
| CN105980831A (zh) | 粒子分捡装置、粒子分捡方法、程序以及粒子分捡系统 | |
| JPWO2017216930A1 (ja) | スフェロイド内部の細胞状態の解析方法 | |
| JP7065125B2 (ja) | バイオインク転写用の器具 | |
| Geiger et al. | Directed invasion of cancer cell spheroids inside 3D collagen matrices oriented by microfluidic flow in experiment and simulation | |
| Waigh et al. | Heterogeneous anomalous transport in cellular and molecular biology | |
| CN118159808A (zh) | 基于微流体的纤维形成方法和系统 | |
| Gáspár et al. | In vivo analysis of MT‐based vesicle transport by confocal reflection microscopy | |
| Sott et al. | Optical systems for single cell analyses | |
| Yamashita et al. | High‐Throughput 3D Imaging Flow Cytometry of Suspended Adherent 3D Cell Cultures | |
| Anagnostidis et al. | Deep learning-assisted concentration gradient generation for the study of 3D cell cultures in hydrogel beads of varying stiffness | |
| Yamashita et al. | High-throughput 3D imaging flow cytometry of adherent 3D cell cultures | |
| US20230251268A1 (en) | Methods, systems and kits for in-pen assays | |
| Nijjer et al. | Biofilm self-patterning: mechanical force landscaping drives a collective reorientation cascade | |
| WO2021152297A1 (en) | Bioprinters | |
| Sturm et al. | Particle Detection in Free-Falling Nanoliter Droplets |