KR20230132483A - 보행 및 자세 분석 - Google Patents
보행 및 자세 분석 Download PDFInfo
- Publication number
- KR20230132483A KR20230132483A KR1020237025393A KR20237025393A KR20230132483A KR 20230132483 A KR20230132483 A KR 20230132483A KR 1020237025393 A KR1020237025393 A KR 1020237025393A KR 20237025393 A KR20237025393 A KR 20237025393A KR 20230132483 A KR20230132483 A KR 20230132483A
- Authority
- KR
- South Korea
- Prior art keywords
- stride
- subject
- data
- determining
- metric data
- Prior art date
Links
- 230000005021 gait Effects 0.000 title claims abstract description 190
- 238000004458 analytical method Methods 0.000 title description 128
- 238000000034 method Methods 0.000 claims abstract description 208
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000006073 displacement reaction Methods 0.000 claims description 207
- 210000000548 hind-foot Anatomy 0.000 claims description 120
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 78
- 201000010099 disease Diseases 0.000 claims description 71
- 230000000694 effects Effects 0.000 claims description 58
- 230000033001 locomotion Effects 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 41
- 238000005259 measurement Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 26
- 238000010171 animal model Methods 0.000 claims description 21
- 230000002068 genetic effect Effects 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 19
- 150000001875 compounds Chemical class 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 230000007704 transition Effects 0.000 claims description 15
- 241000894007 species Species 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 4
- 210000002683 foot Anatomy 0.000 description 54
- 241000699670 Mus sp. Species 0.000 description 47
- 241000699666 Mus <mouse, genus> Species 0.000 description 41
- 238000013528 artificial neural network Methods 0.000 description 39
- 241001465754 Metazoa Species 0.000 description 36
- 238000012549 training Methods 0.000 description 24
- 230000006399 behavior Effects 0.000 description 23
- 238000007619 statistical method Methods 0.000 description 22
- 208000029560 autism spectrum disease Diseases 0.000 description 20
- 210000003414 extremity Anatomy 0.000 description 17
- 201000010374 Down Syndrome Diseases 0.000 description 16
- 206010003805 Autism Diseases 0.000 description 15
- 208000020706 Autistic disease Diseases 0.000 description 15
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 13
- 210000004744 fore-foot Anatomy 0.000 description 13
- 230000013016 learning Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 101150083522 MECP2 gene Proteins 0.000 description 11
- 208000006289 Rett Syndrome Diseases 0.000 description 11
- 241000283984 Rodentia Species 0.000 description 11
- 208000019901 Anxiety disease Diseases 0.000 description 10
- 241000282412 Homo Species 0.000 description 10
- 102100030681 SH3 and multiple ankyrin repeat domains protein 3 Human genes 0.000 description 10
- 101710101741 SH3 and multiple ankyrin repeat domains protein 3 Proteins 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 10
- 208000020925 Bipolar disease Diseases 0.000 description 9
- 230000006735 deficit Effects 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 230000000670 limiting effect Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 208000035475 disorder Diseases 0.000 description 7
- 208000015122 neurodegenerative disease Diseases 0.000 description 7
- 208000024827 Alzheimer disease Diseases 0.000 description 6
- 206010012289 Dementia Diseases 0.000 description 6
- 230000036506 anxiety Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000010172 mouse model Methods 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 6
- 108700019146 Transgenes Proteins 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000003556 assay Methods 0.000 description 5
- 230000037396 body weight Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000035772 mutation Effects 0.000 description 5
- 208000018360 neuromuscular disease Diseases 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 201000000980 schizophrenia Diseases 0.000 description 5
- 229940124597 therapeutic agent Drugs 0.000 description 5
- 238000002560 therapeutic procedure Methods 0.000 description 5
- 208000012239 Developmental disease Diseases 0.000 description 4
- 201000006347 Intellectual Disability Diseases 0.000 description 4
- 208000018737 Parkinson disease Diseases 0.000 description 4
- 108700013394 SOD1 G93A Proteins 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000001144 postural effect Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000011269 treatment regimen Methods 0.000 description 4
- 108700028369 Alleles Proteins 0.000 description 3
- 101150082209 Fmr1 gene Proteins 0.000 description 3
- 208000026680 Metabolic Brain disease Diseases 0.000 description 3
- 241000700159 Rattus Species 0.000 description 3
- 238000011831 SOD1-G93A transgenic mouse Methods 0.000 description 3
- 208000037280 Trisomy Diseases 0.000 description 3
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 210000000349 chromosome Anatomy 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 208000037765 diseases and disorders Diseases 0.000 description 3
- 238000012908 genetic validation Methods 0.000 description 3
- 108010084652 homeobox protein PITX1 Proteins 0.000 description 3
- 208000035231 inattentive type attention deficit hyperactivity disease Diseases 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000000626 neurodegenerative effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000019116 sleep disease Diseases 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010011953 Decreased activity Diseases 0.000 description 2
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 2
- 241001474791 Proboscis Species 0.000 description 2
- 108010021188 Superoxide Dismutase-1 Proteins 0.000 description 2
- 102000008221 Superoxide Dismutase-1 Human genes 0.000 description 2
- 241000282898 Sus scrofa Species 0.000 description 2
- VREFGVBLTWBCJP-UHFFFAOYSA-N alprazolam Chemical compound C12=CC(Cl)=CC=C2N2C(C)=NN=C2CN=C1C1=CC=CC=C1 VREFGVBLTWBCJP-UHFFFAOYSA-N 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 208000029028 brain injury Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012239 gene modification Methods 0.000 description 2
- 230000005017 genetic modification Effects 0.000 description 2
- 235000013617 genetically modified food Nutrition 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003917 human chromosome Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004973 motor coordination Effects 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000000144 pharmacologic effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012066 statistical methodology Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 101710159080 Aconitate hydratase A Proteins 0.000 description 1
- 101710159078 Aconitate hydratase B Proteins 0.000 description 1
- 206010069754 Acquired gene mutation Diseases 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 238000011740 C57BL/6 mouse Methods 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 108010067225 Cell Adhesion Molecules Proteins 0.000 description 1
- 206010009696 Clumsiness Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 241000699800 Cricetinae Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 206010012559 Developmental delay Diseases 0.000 description 1
- 206010052804 Drug tolerance Diseases 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000726221 Gemma Species 0.000 description 1
- 241000699694 Gerbillinae Species 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 101000828537 Homo sapiens Synaptic functional regulator FMR1 Proteins 0.000 description 1
- 244000035744 Hura crepitans Species 0.000 description 1
- 206010020651 Hyperkinesia Diseases 0.000 description 1
- 208000000269 Hyperkinesis Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241000699660 Mus musculus Species 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000029726 Neurodevelopmental disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 102000044126 RNA-Binding Proteins Human genes 0.000 description 1
- 101710105008 RNA-binding protein Proteins 0.000 description 1
- 206010042008 Stereotypy Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 102100023532 Synaptic functional regulator FMR1 Human genes 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 102000008395 cell adhesion mediator activity proteins Human genes 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002373 gas-phase electrophoretic mobility molecular analysis Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010353 genetic engineering Methods 0.000 description 1
- 230000004034 genetic regulation Effects 0.000 description 1
- 230000007614 genetic variation Effects 0.000 description 1
- 235000003869 genetically modified organism Nutrition 0.000 description 1
- 210000004602 germ cell Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000026781 habituation Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000011813 knockout mouse model Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 208000018773 low birth weight Diseases 0.000 description 1
- 231100000533 low birth weight Toxicity 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 230000006993 memory improvement Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004012 neuralation Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 230000001123 neurodevelopmental effect Effects 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- 230000007658 neurological function Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 206010029864 nystagmus Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000272 proprioceptive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011808 rodent model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 208000020685 sleep-wake disease Diseases 0.000 description 1
- 150000003384 small molecules Chemical class 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 101150062190 sod1 gene Proteins 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000037439 somatic mutation Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000004006 stereotypic behavior Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 231100000378 teratogenic Toxicity 0.000 description 1
- 230000003390 teratogenic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 108700012359 toxins Proteins 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000028838 turning behavior Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
본원에 기술된 시스템 및 방법은 대조군 데이터와 관련하여 대상체의 보행 및 자세를 분석하기 위한 기술을 제공한다. 일부 실시예에서, 시스템 및 방법은 비디오 데이터를 처리하고, 신체 부위를 나타내는 키포인트를 식별하고, 보폭 수준에서 메트릭 데이터를 결정하고, 메트릭 데이터를 대조군 데이터와 비교한다.
Description
관련 출원
본 출원은 2021년 2월 1일에 출원된 미국 가출원 번호 제63/144,052호 및 2020년 12월 29일에 출원된 미국 가출원 번호 제63/131,498의 35 U.S.C. § 119(e)에 따른 이익을 주장하며, 이의 개시 내용은 그 전체가 참조로서 본원에 통합된다.
발명의 분야
본 발명은, 일부 측면에서, 비디오 데이터를 처리함으로써 대상체의 자동화된 보행 및 자세 분석에 관한 것이다.
정부 지원
본 발명은 미국 국립보건원(National Institutes of Health)에서 수여한 R21DA048634 및 UM1OD023222 하에서의 정부 지원을 받아 이루어졌다. 미국 정부는 본 발명에서 일정한 권리를 갖는다.
인간에서, 높은 정밀도 및 민감도로 보행 및 자세를 정량화하는 능력은 이들이 다수의 신경 및 근육 시스템의 적절한 기능을 결정하는 데 사용될 수 있음을 보여주었다. 자폐 스펙트럼 장애, 조현병, 양극성 장애 및 알츠하이머병을 포함하는, 많은 정신과적, 신경퇴행성 및 신경근 질환은 보행 및 자세의 변화와 관련이 있다. 이는 적절한 보행, 균형 및 자세가 여러 신경계 과정의 제어 하에 있기 때문이고, 이는 시각, 전정, 청각, 고유감각 및 내장 입력을 처리하는 중요한 감각 중추를 포함한다. 소뇌, 운동 피질 및 뇌간과 같은 움직임을 직접적으로 제어하는 뇌의 영역은 인지 및 감정 신호에 반응한다. 따라서, 보행 및 자세 무결성은 인간에서 많은 신경 시스템의 적절한 신경 기능을 반영한다. 인간 정신 병태의 설치류 모델에서, 인간에서와 같이 보행 및 자세 메트릭의 유용성은 입증되지 않았다. 이는 상이한 마우스 계통 간의 보행 및 자세 차이를 검출하기에 충분한 정확성을 갖는 쉽게 구현 가능한 기술의 결여로 인한 것일 수 있다.
본 발명의 일 측면에 따르면, 컴퓨터 구현 방법이 제공되어 있으며, 상기 방법은, 대상체의 비디오 캡처 움직임을 나타내는 비디오 데이터를 수신하는 단계; 일정 기간에 걸쳐, 상기 대상체의 신체 부위 세트의 포인트 데이터 추적 움직임을 식별하기 위해 상기 비디오 데이터를 처리하는 단계; 상기 포인트 데이터를 사용하여, 상기 일정 기간 동안 상기 비디오 데이터에서 표시된 복수의 입각기(stance phases) 및 대응하는 복수의 유각기(swing phases)를 결정하는 단계; 상기 복수의 입각기 및 상기 복수의 유각기에 기초하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 보폭 간격을 결정하는 단계; 상기 포인트 데이터를 사용하여, 상기 대상체에 대한 메트릭 데이터를 결정하는 단계로서, 상기 메트릭 데이터는 상기 복수의 보폭 간격의 각 보폭 간격에 기초하는, 상기 단계; 상기 대상체에 대한 상기 메트릭 데이터를 대조군 메트릭 데이터와 비교하는 단계; 및 상기 비교에 기초하여, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터 사이의 차이를 결정하는 단계를 포함한다. 특정 실시예에서, 상기 신체 부위 세트는 코, 목의 베이스, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일의 베이스, 테일의 중간 및 테일의 팁을 포함하고; 및 상기 복수의 입각기 및 상기 복수의 유각기는 상기 좌측 뒷발 및 상기 우측 뒷발의 이동 속도의 변화에 기초하여 결정된다. 특정 실시예에서, 상기 방법은 또한 상기 좌측 뒷발 또는 상기 우측 뒷발의 발끝 이벤트에 기초하여 상기 복수의 입각기의 제1 입각기 및 상기 복수의 유각기의 제1 유각기로부터 전이를 결정하는 단계; 및 상기 좌측 뒷발 또는 상기 우측 뒷발의 발걸음 이벤트에 기초하여 상기 복수의 유각기의 제2 유각기로부터 상기 복수의 입각기의 제2 입각기로의 전이를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 보행 측정에 대응한다. 일부 실시예에서, 상기 신체 부위 세트는 좌측 뒷발 및 우측 뒷발을 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 각 보폭 간격에 대한 스텝 길이를 결정하는 단계로서, 상기 스텝 길이는 상기 우측 뒷발이 이전의 좌측 뒷발 스트라이크를 지나 이동하는 거리를 나타내는, 상기 단계; 상기 포인트 데이터를 사용하여, 각 보폭 간격에 대한 보폭 길이를 결정하는 단계로서, 상기 보폭 길이는 각 보폭 간격 동안 상기 좌측 뒷발이 이동하는 거리를 나타내는, 상기 단계; 발끝 이벤트에서 발걸음 이벤트까지의 각 보폭 간격 동안 좌측 앞발과 좌측 뒷발 사이; 상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 스텝 폭을 결정하는 단계를 포함하되, 상기 스텝 폭은 상기 좌측 뒷발과 상기 우측 뒷발 사이의 거리를 나타낸다. 일부 실시예에서, 상기 신체 부위 세트는 테일 베이스(Tail Base)를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는 상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터를 결정하는 단계를 포함한다. 특정 실시예에서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터 세트를 결정하는 단계; 및 상기 속도 데이터 세트를 평균화함으로써, 상기 보폭 간격에 대한 보폭 속도를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 신체 부위 세트는 우측 뒷발 및 좌측 뒷발을 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 상기 우측 뒷발이 상기 복수의 보폭 간격의 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제1 디딤 지속시간을 결정하는 단계; 상기 제1 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제1 듀티 팩터를 결정하는 단계; 상기 포인트 데이터를 사용하여, 상기 좌측 뒷발이 상기 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제2 디딤 지속시간을 결정하는 단계; 상기 제2 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제2 듀티 팩터를 결정하는 단계; 및 상기 제1 듀티 팩터 및 상기 제2 듀티 팩터에 기초하여 상기 보폭 간격에 대한 평균 듀티 팩터를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 신체 부위 세트는 테일 베이스 및 목 베이스를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스와 상기 목 베이스를 연결하는 벡터 세트를 결정하는 단계; 및 상기 벡터 세트를 사용하여, 상기 보폭 간격에 대한 상기 대상체의 각속도를 결정하는 단계를 포함한다. 특정 실시예에서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 자세 측정에 대응한다. 일부 실시예에서, 상기 신체 부위 세트는 상기 대상체의 척추 중심을 포함하고, 여기서 상기 복수의 보폭 간격의 보폭 간격은 상기 비디오 데이터의 프레임 세트와 연관되어 있고, 상기 메트릭 데이터를 결정하는 단계는, 상기 포인트 데이터를 사용하여, 상기 보폭 간격에 대한 변위 벡터를 결정하는 단계를 포함하되, 상기 변위 벡터는 상기 프레임 세트의 제1 프레임에 표시된 상기 척추 중심과 상기 프레임 세트의 마지막 프레임에 표시된 상기 척추 중심을 연결한다. 일부 실시예에서, 상기 신체 부위 세트는 상기 대상체의 코를 더 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는, 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 코의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 코의 측방향 변위 세트를 결정하는 단계를 포함한다. 특정 실시예에서, 상기 코의 측방향 변위는 상기 대상체의 신체 길이에 더 기초한다. 일부 실시예에서, 상기 메트릭 데이터를 결정하는 단계는, 상기 코의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 코의 매끄러운 곡선 측방향 변위를 생성하고; 상기 코의 매끄러운 곡선 측방향 변위를 사용하여, 상기 코의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하고; 및 상기 코의 최대 변위가 발생할 때 완료된 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 팁 변위 파스 오프셋(tail tip displacement phase offset)을 결정하는 단계를 더 포함한다. 일부 실시예에서, 상기 신체 부위 세트는 상기 대상체의 테일 베이스를 더 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 베이스의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 베이스의 측방향 변위 세트를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 메트릭 데이터를 결정하는 단계는, 상기 테일 베이스의 측방향 변위 세트를 사용하여 보간을 수행하여, 상기 보폭 간격에 대한 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 생성하고; 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 사용하여, 상기 테일 베이스의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하고; 및 상기 테일 베이스의 최대 변위가 발생할 때 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 베이스 변위 파스 오프셋을 결정하는 단계를 더 포함한다. 특정 실시예에서, 상기 신체 부위 세트는 또한 상기 대상체의 테일 팁을 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는: 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 팁의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 팁의 측방향 변위 세트를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 메트릭 데이터를 결정하는 단계는 또한, 상기 테일 팁의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 팁의 매끄러운 곡선 측방향 변위를 생성하고; 상기 테일 팁의 매끄러운 곡선 측방향 변위를 사용하여, 상기 보폭 간격 동안 상기 테일 팁의 최대 변위가 발생할 때를 결정하고; 및 상기 테일 팁의 최대 변위가 발생할 때 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 팁 변위 파스 오프셋을 결정하는 단계를 포함한다. 일부 실시예에서, 상기 비디오 데이터를 처리하는 단계는 머신 러닝 모델을 사용하여 상기 비디오 데이터를 처리하는 단계를 포함한다. 특정 실시예에서, 상기 비디오 데이터를 처리하는 단계는 신경망 모델을 사용하여 상기 비디오 데이터를 처리하는 단계를 포함한다. 특정 실시예에서, 상기 비디오는 탑-다운 뷰를 갖는 개방 아레나에서 상기 대상체의 대상체가 결정한 움직임을 캡처한다. 일부 실시예에서, 상기 대조군 메트릭 데이터는 대조군 유기체 또는 이의 복수의 유기체로부터 수득된다. 일부 실시예에서, 상기 대상체는 유기체이고, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 종이다. 특정 실시예에서, 상기 종은 설치목의 구성원이고, 선택적으로 랫트 또는 마우스이다. 특정 실시예에서, 상기 대조군 유기체는 상기 종의 실험실 계통이다. 일부 실시예에서, 상기 실험실 계통은 도 14e에 열거되어 있다. 일부 실시예에서, 상기 대조군 메트릭 데이터와 비교하여 상기 대상체의 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 표현형과 비교하여 상기 대상체의 표현형에서의 차이를 나타낸다. 일부 실시예에서, 상기 표현형 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타낸다. 특정 실시예에서, 상기 표현형 차이는 상기 대상체의 유전적 배경과 상기 대조군 유기체의 유전적 배경 간의 차이를 나타낸다. 일부 실시예에서, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 유전자형과 비교하여 상기 대상체의 유전자형의 차이를 나타낸다. 특정 실시예에서, 상기 유전자형에서의 차이는 상기 대상체와 상기 대조군 유기체 간의 계통 차이를 나타낸다. 특정 실시예에서, 상기 유전자형에서의 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타낸다. 일부 실시예에서, 상기 질환 또는 병태는 레트 증후군, 다운 증후군, 근위축성 측색 경화증(ALS), 자폐 스펙트럼 장애(ASD), 조현병, 양극성 장애, 신경퇴행성 장애, 치매, 또는 뇌 손상이다. 일부 실시예에서, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 성별이다. 특정 실시예에서, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 성별이 아니다. 일부 실시예에서, 상기 대조군 메트릭 데이터는, 대조군 보폭 길이, 대조군 스텝 길이 및 대조군 스텝 폭을 포함하는 요소에 대응하고, 상기 대상체의 메트릭 데이터는 상기 일정 기간 동안 상기 대상체에 대한 보폭 길이, 상기 일정 기간 동안 상기 대상체에 대한 스텝 길이 및 상기 일정 기간 동안 상기 대상체에 대한 스텝 폭을 포함하는 요소를 포함하고, 상기 대조군 데이터와 상기 메트릭 데이터의 요소 중 하나 이상 사이의 차이는 상기 대상체와 상기 대조군 사이의 표현형 차이를 나타낸다.
본 발명의 다른 측면에 따르면, 질병이나 병태를 가지고 있거나, 가지고 있는 것으로 의심되거나, 가지고 있을 위험이 있는 것으로 알려진 대상체의 활동 및 행동 중 하나 이상을 평가하는 방법이 제공되어 있고, 상기 방법은: 상기 대상체에 대한 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 본 발명의 전술한 방법 또는 시스템의 임의의 실시예의 컴퓨터 생성 방법을 포함하는, 상기 단계, 및 상기 수득된 메트릭 데이터에 적어도 부분적으로 기초하여, 상기 질환 또는 병태의 존재 또는 부재를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 방법은 또한 질환 또는 병태의 결정된 존재에 적어도 부분적으로 기초하여, 상기 대상체를 위한 치료 요법을 선택하는 단계를 포함한다. 일부 실시예에서, 상기 방법은 또한 상기 대상체에게 상기 선택된 치료 요법을 투여하는 단계를 포함한다. 일부 실시예에서, 상기 방법은 또한 치료 요법의 투여 이후 시점에 상기 대상체에 대한 상기 메트릭 데이터를 수득하는 단계, 및 선택적으로 초기 수득된 메트릭 데이터와 후속하여 수득된 메트릭 데이터를 비교하고 상기 투여된 치료 요법의 효능을 결정하는 단계를 포함한다. 일부 실시예에서, 상기 방법은 또한, 상기 대상체에 대해 수득된 상기 초기 및 후속 메트릭 데이터의 비교에 적어도 부분적으로 기초하여, 상기 대상체에 대한 상기 선택된 치료 처방의 투여를 반복, 증가 또는 감소시키는 단계를 포함한다. 일부 실시예에서, 상기 방법은 또한 상기 수득된 메트릭 데이터를 상기 대조군 메트릭 데이터와 비교하는 단계를 포함한다. 일부 실시예에서, 질환 또는 병태는: 신경퇴행성 장애, 신경근육 장애, 신경정신 장애, ALS, 자폐증, 다운 증후군, 레트 증후군, 양극성 장애, 치매, 우울증, 운동과잉 장애, 불안 장애, 발달 장애, 수면 장애, 알츠하이머병, 파킨슨병, 신체 상해 등이다. 본 발명의 방법 및/또는 시스템을 사용하여 평가할 수 있는 추가 질환 및 장애 및 동물 모델은 당업계에 공지되어 있으며, 예를 들어, Barrot M. Neuroscience 2012; 211: 39-50; Graham, D.M., Lab Anim (NY) 2016; 45: 99-101; Sewell, R.D.E., Ann Transl Med 2018; 6: S42. 2019/01/08; 및 Jourdan, D., et ah, Pharmacol Res 2001; 43: 103-110 참조한다.
본 발명의 다른 측면에 따르면, 질환 또는 병태에 대한 동물 모델로서 대상체를 식별하는 방법이 제공되어 있으며, 상기 방법은 상기 대상체에 대한 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 본 발명의 전술한 방법 또는 시스템의 임의의 일 실시예의 컴퓨터 생성 방법을 포함하는, 상기 단계, 상기 수득된 메트릭 데이터에 적어도 부분적으로 기초하여, 상기 대상체에서 상기 질환 또는 병태의 하나 이상의 특성을 결정하는 단계를 포함하되, 여기서 상기 대상체에서 상기 질환 또는 병태의 하나 이상의 특징의 존재는 상기 대상체를 상기 질환 또는 병태에 대한 동물 모델로서 식별한다. 일부 실시예에서, 상기 방법은 또한 상기 대상체에 대한 추가 평가를 포함한다. 일부 실시예에서, 상기 질환 또는 병태는: 신경퇴행성 장애, 신경근육 장애, 신경정신 장애, ALS, 자폐증, 다운 증후군, 레트 증후군, 양극성 장애, 치매, 우울증, 운동과잉 장애, 불안 장애, 발달 장애, 수면 장애, 알츠하이머병, 파킨슨병, 신체 상해 등이다. 일부 실시예에서, 상기 방법은 또한, 상기 수득된 메트릭 데이터를 대조군 메트릭 데이터와 비교하는 단계, 및 상기 수득된 메트릭 데이터 및 상기 대조군 메트릭 데이터에서의 하나 이상의 유사성 유사성 또는 차이점을 식별하는 단계를 포함하되, 식별된 유사성 또는 차이점은 상기 대상체를 상기 질환 또는 병태에 대한 동물 모델로서 식별하는 것을 돕는다.
본 발명의 다른 측면에 따르면, 질환 또는 병태에 대한 후보 화합물의 효과의 존재를 결정하는 방법이 제공되어 있으며, 상기 방법은 대상체에 대한 제1 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 본 발명의 전술한 컴퓨터 생성 측면의 임의의 실시예의 컴퓨터 생성 방법을 포함하고, 상기 대상체는 상기 질환 또는 병태를 가지고 있거나 상기 질환 또는 병태에 대한 동물 모델인, 상기 단계; 상기 후보 화합물을 상기 대상체에게 투여하는 단계; 상기 유기체에 대한 투여 후 메트릭 데이터를 수득하는 단계; 상기 제1 및 투여 후 메트릭 데이터를 비교하는 단계를 포함하되, 상기 제1 및 투여 후 메트릭 데이터의 차이는 상기 질환 또는 병태에 대한 상기 후보 화합물의 효과를 식별한다. 일부 실시예에서, 상기 방법은 또한 상기 질환 또는 병태의 치료에 있어서 상기 화합물의 효과에 대한 추가 시험을 포함한다.
본 발명의 다른 측면에 따르면, 질환 또는 병태에 대한 후보 화합물의 효과의 존재를 식별하는 방법이 제공되어 있으며, 상기 방법은: 상기 질환 또는 병태를 가지고 있거나 상기 질환 또는 병태에 대한 동물 모델인 대상체에게 상기 후보 화합물을 투여하는 단계;
상기 대상체에 대한 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 본 발명의 전술한 컴퓨터 생성 측면의 임의의 실시예의 컴퓨터 생성 방법을 포함하는, 상기 단계; 상기 수득된 메트릭 데이터를 대조군 메트릭 데이터와 비교하는 단계를 포함하되, 상기 수득된 메트릭 데이터와 상기 대조군 메트릭 데이터의 차이는 상기 질환 또는 병태에 대한 상기 후보 화합물의 효과의 존재를 식별한다.
본 발명의 다른 측면에 따르면, 시스템이 제공되며, 시스템은, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의해 실행될 때, 명령어를 포함하는 적어도 하나의 메모리를 포함하되, 이는 상기 시스템으로 하여금: 대상체의 비디오 캡처 움직임을 나타내는 비디오 데이터를 수신하게 하고; 일정 기간에 걸쳐, 상기 대상체의 신체 부위 세트의 포인트 데이터 추적 움직임을 식별하기 위해 상기 비디오 데이터를 처리하게 하고; 상기 포인트 데이터를 사용하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 입각기 및 대응하는 복수의 유각기를 결정하게 하고; 상기 복수의 입각기 및 상기 복수의 유각기에 기초하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 보폭 간격을 결정하게 하고; 상기 포인트 데이터를 사용하여, 상기 대상체에 대한 메트릭 데이터를 결정하게 하되, 상기 메트릭 데이터는 상기 복수의 보폭 간격의 각 보폭 간격에 기초하고; 상기 대상체에 대한 상기 메트릭 데이터를 대조군 메트릭 데이터와 비교하게 하고; 및 상기 비교에 기초하여, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터 사이의 차이를 결정하게 한다. 일부 실시예에서, 상기 신체 부위 세트는 상기 코, 목의 베이스, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일의 베이스, 테일의 중간 및 테일의 팁을 포함하고; 및 상기 복수의 입각기 및 상기 복수의 유각기는 상기 좌측 뒷발 및 상기 우측 뒷발의 이동 속도의 변화에 기초하여 결정된다. 특정 실시예에서, 적어도 하나의 메모리는 또한 명령어를 포함하며, 적어도 하나의 프로세서에 의해 실행될 때, 이는 추가로 상기 시스템으로 하여금: 상기 좌측 뒷발 또는 상기 우측 뒷발의 발끝 이벤트에 기초하여 상기 복수의 입각기의 제1 입각기 및 상기 복수의 유각기의 제1 유각기로부터 전이를 결정하게 하고; 및 상기 좌측 뒷발 또는 상기 우측 뒷발의 발걸음 이벤트에 기초하여 상기 복수의 유각기의 제2 유각기로부터 상기 복수의 입각기의 제2 입각기로의 전이를 결정하게 한다. 특정 실시예에서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 보행 측정에 대응한다. 일부 실시예에서, 상기 신체 부위 세트는 좌측 뒷발 및 우측 뒷발을 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 각 보폭 간격에 대한 스텝 길이를 결정하게 하되, 상기 스텝 길이는 상기 우측 뒷발이 이전의 좌측 뒷발 스트라이크를 지나 이동하는 거리를 나타내고; 상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 보폭 길이를 결정하게 하되, 상기 보폭 길이는 상기 각 보폭 간격 동안 상기 좌측 뒷발이 이동하는 거리를 나타내고; 상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 스텝 폭을 결정하게 하되, 상기 스텝 폭은 상기 좌측 뒷발과 상기 우측 뒷발 사이의 거리를 나타낸다. 일부 실시예에서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터를 결정하게 한다. 특정 실시예에서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터 세트를 결정하게 하고; 및 상기 속도 데이터 세트를 평균화함으로써, 상기 보폭 간격에 대한 보폭 속도를 결정하게 한다. 특정 실시예에서, 상기 신체 부위 세트는 우측 뒷발 및 좌측 뒷발을 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 우측 뒷발이 상기 복수의 보폭 간격의 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제1 디딤 지속시간을 결정하게 하고; 상기 제1 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제1 듀티 팩터를 결정하게 하고; 상기 포인트 데이터를 사용하여, 상기 좌측 뒷발이 상기 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제2 디딤 지속시간을 결정하게 하고; 상기 제2 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제2 듀티 팩터를 결정하게 하고; 및 상기 제1 듀티 팩터 및 상기 제2 듀티 팩터에 기초하여 상기 보폭 간격에 대한 평균 듀티 팩터를 결정하게 한다. 일부 실시예에서, 상기 신체 부위 세트는 테일 베이스 및 목 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스와 상기 목 베이스를 연결하는 벡터 세트를 결정하게 하고; 및 상기 벡터 세트를 사용하여, 상기 보폭 간격에 대한 상기 대상체의 각속도를 결정하게 한다. 일부 실시예에서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 자세 측정에 대응한다. 일부 실시예에서, 상기 신체 부위 세트는 상기 대상체의 척추 중심을 포함하고, 여기서 상기 복수의 보폭 간격의 보폭 간격은 상기 비디오 데이터의 프레임 세트와 연관되어 있고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금, 상기 포인트 데이터를 사용하여, 상기 보폭 간격에 대한 변위 벡터를 결정하게 하되, 상기 변위 벡터는 상기 프레임 세트의 제1 프레임에 표시된 척추 중심과 상기 프레임 세트의 마지막 프레임에 표시된 척추 중심을 연결한다. 특정 실시예에서, 상기 신체 부위 세트는 또한 상기 대상체의 코를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 코의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 코의 측방향 변위 세트를 결정하게 한다. 일부 실시예에서, 상기 코의 측방향 변위는 상기 대상체의 신체 길이에 더 기초한다. 일부 실시예에서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 코의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 코의 매끄러운 곡선 측방향 변위를 생성하게 하고; 상기 코의 매끄러운 곡선 측방향 변위를 사용하여, 상기 코의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하게 하고; 및 상기 코의 최대 변위가 발생할 때 완료된 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 팁 변위 파스 오프셋을 결정하게 한다. 특정 실시예에서, 상기 신체 부위 세트는 또한 상기 대상체의 테일 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 베이스의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 베이스의 측방향 변위 세트를 결정하게 한다. 일부 실시예에서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 테일 베이스의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 생성하게 하고; 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 사용하여, 상기 테일 베이스의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하게 하고; 및 상기 테일 베이스의 최대 변위가 발생할 때 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 베이스 변위 파스 오프셋을 결정하게 한다. 특정 실시예에서, 상기 신체 부위 세트는 또한 상기 대상체의 테일 팁을 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 팁의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 팁의 측방향 변위 세트를 결정하게 한다. 일부 실시예에서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금: 상기 테일 팁의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 팁의 매끄러운 곡선 측방향 변위를 생성하게 하고; 상기 테일 팁의 매끄러운 곡선 측방향 변위를 사용하여, 상기 보폭 간격 동안 상기 테일 팁의 최대 변위가 발생할 때를 결정하는 단계; 및 상기 테일 팁의 최대 변위가 발생할 때 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 팁 변위 파스 오프셋을 결정하게 한다. 특정 실시예에서, 상기 시스템으로 하여금 상기 비디오 데이터를 처리하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금 머신 러닝 모델을 사용하여 상기 비디오 데이터를 처리하게 한다. 일부 실시예에서, 상기 시스템으로 하여금 상기 비디오 데이터를 처리하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금 신경망 모델을 사용하여 상기 비디오 데이터를 처리하게 한다. 일부 실시예에서, 상기 비디오는 탑-다운 뷰를 갖는 개방 아레나에서 상기 대상체의 대상체가 결정한 움직임을 캡처한다. 특정 실시예에서, 대조군 메트릭 데이터는 대조군 유기체 또는 이의 복수의 유기체로부터 수득된다. 일부 실시예에서, 상기 대상체는 유기체이고, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 종이다. 일부 실시예에서, 상기 종은 설치목의 구성원이고, 선택적으로 랫트 또는 마우스이다. 특정 실시예에서, 상기 대조군 유기체는 상기 종의 실험실 계통이다. 특정 실시예에서, 상기 실험실 계통은 도 14e에 열거되어 있다. 일부 실시예에서, 상기 대조군 메트릭 데이터와 비교하여 상기 대상체의 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 표현형과 비교하여 상기 대상체의 표현형에서의 차이를 나타낸다. 일부 실시예에서, 상기 표현형 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타낸다. 특정 실시예에서, 상기 표현형 차이는 상기 대상체의 유전적 배경과 상기 대조군 유기체의 유전적 배경 간의 차이를 나타낸다. 일부 실시예에서, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 유전자형과 비교하여 상기 대상체의 유전자형의 차이를 나타낸다. 일부 실시예에서, 상기 유전자형에서의 차이는 대상체와 대조군 유기체 간의 균주 차이를 나타낸다. 일부 실시예에서, 상기 유전자형에서의 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타낸다. 특정 실시예에서, 질환 또는 병태는 레트 증후군, 다운 증후군, 근위축성 측색 경화증(ALS), 자폐 스펙트럼 장애(ASD), 조현병, 양극성 장애, 신경퇴행성 장애, 치매, 또는 뇌 손상이다. 특정 실시예에서, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 성별이다. 일부 실시예에서, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 성별이 아니다. 일부 실시예에서, 상기 대조군 메트릭 데이터는, 대조군 보폭 길이, 대조군 스텝 길이 및 대조군 스텝 폭을 포함하는 요소에 대응하고, 상기 대상체의 메트릭 데이터는 상기 일정 기간 동안 상기 대상체에 대한 보폭 길이, 상기 일정 기간 동안 상기 대상체에 대한 스텝 길이 및 상기 일정 기간 동안 상기 대상체에 대한 스텝 폭을 포함하는 요소를 포함하고, 상기 대조군 데이터와 상기 메트릭 데이터의 요소 중 하나 이상 사이의 차이는 상기 대상체와 상기 대조군 사이의 표현형 차이를 나타낸다.
본 개시의 보다 완전한 이해를 위해, 여기에서는 첨부 도면과 관련하여 취해진 다음의 설명을 참조한다.
도 1은 본 개시의 실시예에 따른, 대상체의 보행 및 자세 메트릭을 결정하기 위한 예시적인 시스템의 개념도이다.
도 2는 본 개시의 실시예에 따라, 대상체(들)의 비디오 데이터를 분석하여 대상체 보행 및 자세 메트릭을 결정하기 위해 도 1에 도시된 시스템에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 3은 본 개시의 실시예에 따라, 비디오 데이터에서 대상체 신체 부위를 추적하기 위해 도 1에 도시된 포인트 추적기 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 4는 본 개시의 실시예에 따라, 보폭 간격을 결정하기 위해 도 1에 도시된 시스템에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 5는 본 개시의 실시예에 따라, 대상체 보행 메트릭을 결정하기 위해 도 1에 도시된 보행 분석 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 6은 본 개시의 실시예에 따라, 대상체 자세 메트릭을 결정하기 위해 도 1에 도시된 자세 분석 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 7a-c는 포즈 추정을 위한 심층 컨볼루션 신경망을 도시하는 개략도 및 그래프를 도시한다. 도 7a는 포즈 추정을 수행하기 위한 HRNet-W32 신경망 아키텍처를 도시한다. 도 7b는 비디오를 보내고, HRNet으로 프레임되고, 출력으로서 12개의 키포인트 히트맵을 생성하는 추론 파이프라인을 도시한다. 도 7c는 오버피팅 없이 네트워크 수렴을 보여주는 훈련 손실 곡선을 나타낸다.
도 8a-j는 비디오 포즈 추정으로부터 보행 표현형을 유도하는 것을 도시하는 개략도 및 그래프를 도시한다. 도 8a-b는 (Green 등, Dev Med Child Neurol(2009) 51:311로부터의 도면에 기초하여) 보행의 공간적 및 시간적 특성을 보여준다. 도 8a는 3개의 공간 보폭 메트릭이 뒷발 발걸음 위치: 스텝 길이, 스텝 폭 및 보폭 길이로부터 어떻게 유래되었는지를 보여주는 도면이다. 도 8b는 이 플롯에 도시된 모든 메트릭이 유닛에 대한 보폭 시간 백분율을 갖는 힐데브란트 플롯(Hildebrand Plot)이다. 이는 보폭의 스탠스 및 유각기를 갖는 발걸음 및 발끝 이벤트 사이의 관계를 예시한다. 도 8c는 과거의 50개 프레임과 미래의 50개 프레임으로 플롯된 뒷발 트랙을 갖는 입력 비디오의 단일 프레임을 도시한다. 뒤 발걸음 이벤트의 위치는 검은색 원으로 표시되어 있다. 3개의 최외측 선은 우측 뒷발이고, 3개의 중간 선은 테일 베이스고, 3개의 최내측 선은 좌측 뒷발이다. 도 8d-f는 동일한 100 프레임 간격에 걸친 마우스의 움직임의 상이한 측면을 보여주는 3개의 플롯을 도시한다. 중심 수직선은 (도 8c에 표시된)현재 프레임을 나타낸다. 도 8d는 좌측 뒷발, 우측 뒷발, 및 테일 베이스의 속도를 나타내는 3개의 선을 도시한다. 플롯 내의 수직 암선은 각 보폭의 추정된 시작 프레임을 나타낸다. 도 8g는 추정된 12 포인트의 각각에 대한 신뢰 값의 분포를 도시한다. 도 8h는 각속도에 따라 비닝된 뒷발에 대한 힐데브란트 플롯의 집계도를 제공한다. 도 8i는 속도에 의해 비닝된 것을 제외하고 도 8h와 유사한 결과를 보여준다. 도 8j는 사지 듀티 팩터가 속도의 함수로서 변하는 것을 도시한다.
도 9a-i는 보행 사이클 동안 환상 주기적 자세 메트릭의 추출을 도시하는 개략도 및 그래프를 제공한다. 몇몇 메트릭은 포즈 키 포인트에서 관찰된 주기적 측방향 변위와 관련된다. 측방향 변위의 척도는 관련 보폭 변위 벡터로부터 직교 오프셋으로서 정의되었다. 변위 벡터를, 보폭의 제1 프레임 상의 마우스의 척추 중심을 보폭의 마지막 프레임 상의 마우스의 척추 중심과 연결하는 선으로서 정의하였다. 이러한 오프셋을 보폭의 각 프레임에서 계산한 다음, 매끄러운 변위 곡선을 생성하기 위해 큐빅 보간(cubic interpolation)을 수행하였다. 변위의 파스 오프셋은 이러한 매끄러운 곡선 상에서 최대 변위가 발생하는 백분율 보폭 위치로서 정의되었다. 보폭에 할당된 측방향 변위 메트릭은 보폭 동안 관찰된 최대 변위 값과 최소 변위 값 간의 차이였다. (도 9a)테일 팁 및 (도 9b)코의 측방향 변위를 측정하였다. 변위는 또한 코호트 내의 많은 보폭에 걸쳐 평균화되어 (도 9d) C57BL/6J 대 (도 9e) NOR/LtJ과 같은 컨센서스 뷰(consensus view)를 형성할 수 있거나 또는 많은 보폭을 개체: (도 9f) C57BL/6J 대 (도 9g) NOR/LtJ 내에서 평균화하였다. 도 9h 및 도 9i에서, 계통 조사로부터 선택된 계통 세트 간의 측방향 변위의 다양성을 도시한다. 이들 2개의 플롯에 대한 밝은 (반투명) 밴드는 각각의 계통에 대한 평균의 95% 신뢰 구간을 나타낸다.
도 10a-e는 보행 돌연변이체의 유전자 검증을 나타내는 결과를 보여준다. 도 10a는 라이너 혼합 효과 모델 및 신체 길이 및 연령에 대해 조정된 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 10b에서, 속도 분포의 커널 밀도 추정치 및 누적 분포 함수를 대조군과 돌연변이체 사이의 보폭 속도의 차이에 대한 테스트와 비교하였다. 도 10c에서, 커버된 총 거리 및 속도는, 신체 길이 및 연령에 대해 각각 조정된 선형 및 선형 혼합 모델을 사용하여 대조군과 돌연변이체 사이에서 비교하였다. 도 10d는 선형 혼합 효과 모델에 대해 상이한 것으로 밝혀진, 신체 길이 조정된 보행 메트릭의 결과를 도시한다. 도 10e는 Ts65Dn 변형에 대한 코 및 테일 팁의 측방향 변위의 결과를 보여준다. 실선은 보폭의 평균 변위를 나타내는 반면, 밝은 (반투명) 밴드는 평균에 대한 95% 신뢰 구간을 제공한다.
도 11a-f는 자폐 돌연변이체의 유전적 검증을 도시하는 표 및 그래프를 제공한다. 도 11a는 선형 표현형에 대한 모델 M1 및 원형 표현형에 대한 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 11b는 선형 표현형에 대한 모델 M3 및 원형 표현형에 대한 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 11c에서, 커버된 총 거리는 신체 길이와 연령에 대해 각각 조정된 선형 및 선형 혼합 모델을 사용하여 대조군과 돌연변이체 사이에서 비교되었다. 도시된 각 쌍에서, 좌측 데이터는 대조군의 데이터이고 우측 데이터는 돌연변이체의 데이터이다. 도 11d는 선형 혼합 효과 모델에 대해 상이한 것으로 밝혀진, 신체 길이 조정된 보행 메트릭을 보여준다. 도 11e는 대조군 및 돌연변이체가 가장 잘 분리되어 있는 다차원 공간의 2D 표현을 구축하기 위한 처음 2개의 주요 구성 요소의 사용을 도시한다. 도 11f는 ASD 모델에서 속도의 누적 분포를 보여준다. 상부 곡선은 대조군이고 하부 곡선은 돌연변이체이다. Cntnap2, Fmr1, Del4Aam은 낮은 보폭 속도를 갖는 반면, Shank3은 높은 보폭 속도를 갖는다.
도 12a-e는 시험한 계통의 결과를 보여준다. 도 12a에서, 각 박스플롯은 계통에 대응하며, 수직 위치는 신체 길이에 대해 조정된 보폭 길이의 잔차를 나타낸다. 계통은 이들의 중앙 잔차 보폭 길이 값에 따라 정렬된다. 도 12b는 클러스터 멤버십에 의해 코딩된 모든 계통 색상에 대한 신체 길이 조정된 보행 메트릭의 z-스코어를 도시한다(도 12c 참조). 도 12c는 처음 2개의 주요 구성 요소를 사용하여, 계통이 가장 잘 분리되어 있는 다차원 공간의 2D 표현을 구축하기 위한 K-평균 알고리즘의 사용을 보여준다. 상단 우측 영역은 클러스터 1이고, 하단 영역은 클러스터 2이고, 상단 좌측 영역은 클러스터 3이다. 도 12d는 클러스터를 가로지르는 코 및 테일 팁의 측방향 변위에 대한 컨센서스 뷰를 제공한다. 실선은 보폭의 평균 변위를 나타내는 반면, 반투명한 밴드는 평균에 대한 95% 신뢰 구간을 제공한다. 도 12e는 상이한 클러스터에 걸친 잔차 보행 메트릭을 요약한 클러스터링 후 플롯이다. 3개의 세트 각각에서, 좌측은 클러스터 1이고, 중간은 클러스터 2이고, 우측은 클러스터 3이다.
도 13a-d는 보행 표현형에 대한 GWAS 결과를 제공한다. 도 13a는 각 표현형 평균(좌측) 및 분산(우측)에 대한 유전성 추정치를 제공한다. 도 13b-d는 모든 평균 표현형(도 13b), 분산 표현형(도 13c), 및 이들 모두가 조합된 맨해튼 플롯(도 13d)을 제공한다; 색상은 단일 뉴클레오티드 다형성(SNP)에 대한 최저 p-값을 갖는 표현형에 대응한다.
도 14a-d는 본 발명의 특정 실시예에 사용된 동물 계통의 목록을 제공한다. 도 14a는 대조군 계통 및 보행 돌연변이체에 대한 공식 식별을 보여준다. 도 14b는 자폐 돌연변이체에 대한 대조군 계통 및 공식 식별자를 보여준다. 도 14c는 실험에서 동물의 신체 길이 및 체중을 요약한 표를 보여준다. 도 14d는 계통 조사 연구에 사용된 동물을 요약한 목록을 제공한다.
도 15a-e는 히트 맵, 곡선 및 플롯을 제공한다. 도 15a는 모델 M3으로부터 수득된 효과 크기 및 q-값을 요약한 히트 맵이다: Phenotype ~ Genotype + TestAge + Speed + BodyLength + (1 | MouseID/TestAge). 도 15b는 모든 계통에 걸친 속도의 커널 밀도(좌측) 및 누적 밀도(우측) 곡선을 보여준다. 도 15c는 상이한 보행 돌연변이체 계통에 걸쳐 신체 길이와 성별 간의 양의 연관성을 보여주는 플롯이다. 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다. 도 15d는 Mecp2 보행 돌연변이체에 대한 사지 듀티 팩터 및 스텝 길이에 대한 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 도 15e는 Mecp2 보행 돌연변이체에 대한 스텝 폭 및 보폭에 대한 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다.
도 16a-e는 히트 맵, 곡선 및 플롯을 제공한다. 도 16a는 모델 M2로부터 수득된 효과 크기 및 q-값을 요약한 히트 맵이다: Phenotype ~ Genotype + TestAge + Speed +(1 | MouseID/TestAge). 도 16b는 모든 계통에 걸친 속도의 커널 밀도 곡선을 보여준다. 도 16c는 상이한 보행 돌연변이체 계통에 걸쳐 신체 길이와 성별 간의 양의 연관성을 보여주는 플롯이다. 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다. 도 16d는 Shank3 자폐 돌연변이체에 대한, 스텝 길이 및 보폭 길이에 대한, 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 도 16e는 Del4Aam 자폐 돌연변이체에 대한 신체 길이 및 보폭 길이에 대한 신체 길이(M1), 속도(M2), 및 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 표시된 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다.
도 17a-f는 계통 조사에서 62개의 계통에 걸쳐 비교된, 신체 길이 조정된 표현형의 결과를 보여준다. 박스 플롯은 좌에서 우로의 중앙값 측정치에 대해 오름차순으로 디스플레이되어 있다. 각 패널(도 17a-f)은 상이한 보행 표현형에 대응한다.
도 18a-e는 계통 조사에서 62개의 계통에 걸쳐 비교된, 신체 길이 조정된 표현형의 결과를 보여준다. 박스 플롯은 좌에서 우로의 중앙값 측정치에 대해 오름차순으로 디스플레이되어 있다. 각 패널(도 18a-e)은 상이한 보행 표현형에 대응한다.
도 19는 모든 표현형 및 보행 계통에 대해 모델 M1, M2, M3으로부터 수득된 효과 크기 및 FDR 조정된 p-값을 요약한 목록을 제공한다.
도 20은 모든 표현형 및 자폐증 계통에 대해 모델 M1, M2, M3으로부터 수득된 효과 크기 및 FDR 조정된 p-값을 요약한 목록을 제공한다.
도 21a-d는 계통 조사 데이터에서 3개의 최적의 클러스터를 보여준다. 최적의 클러스터 수를 선택하기 위해 30개의 클러스터링 지수를 조사하였다(Bates 등, J Stat Softw (2015) 67:1). 도 21a는 계통 조사 데이터 내에 2 또는 3개의 클러스터가 있을 수 있음을 나타내는 대다수를 보여준다. 최적의 클러스터 수를 선택하기 위한 하나의 주요 기준은 클러스터 내 거리를 작게 유지하면서 클러스터 간 거리를 최대화하는 것이다. 이를 위해, (도 21b에 도시된) 집단내 자승합(within-sum-of-squares; WSS)를 조사하였다; 도 21c에 도시된 칼린스키-하라바스즈(CH) 인덱스[Calinski, T. & Harabasz, Communications in Statistics-theory and Methods 3, 1-27 (1974)]; 및 갭 통계 [Tibshirani, R. 등 Journal of the Royal Statistical Society: Series B (Statistical Methodology) 63, 411-423 (2001)] (도 21d에 도시됨) 대 사용된 클러스터의 수. 이들 모두는 3개의 클러스터가 최적의 선택임을 나타냈다.
도 22는 보행 및 자세 표현형에 대한 유의한 GWAS 히트의 표를 보여준다. 상기 정보는 정량적 형질 유전자좌(Quantitative Trait Loci; QTL) 피크 SNP, QTL 피크 SNP 위치, QTL 시작 위치, QTL 종료 위치 대립유전자 1, 대립유전자 2, 대립유전자 1 빈도, p wald, 단백질 코딩 유전자, 및 QTL이 유의한 것으로 밝혀진 군을 보여주는 연구 결과를 포함한다.
도 23은 본 개시의 실시예에 따른 장치의 예시적인 구성 요소를 개념적으로 도시하는 블록 다이어그램이다.
도 24는 본 개시의 실시예에 따른 서버의 예시적인 구성 요소를 개념적으로 도시하는 블록 다이어그램이다.
도 1은 본 개시의 실시예에 따른, 대상체의 보행 및 자세 메트릭을 결정하기 위한 예시적인 시스템의 개념도이다.
도 2는 본 개시의 실시예에 따라, 대상체(들)의 비디오 데이터를 분석하여 대상체 보행 및 자세 메트릭을 결정하기 위해 도 1에 도시된 시스템에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 3은 본 개시의 실시예에 따라, 비디오 데이터에서 대상체 신체 부위를 추적하기 위해 도 1에 도시된 포인트 추적기 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 4는 본 개시의 실시예에 따라, 보폭 간격을 결정하기 위해 도 1에 도시된 시스템에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 5는 본 개시의 실시예에 따라, 대상체 보행 메트릭을 결정하기 위해 도 1에 도시된 보행 분석 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 6은 본 개시의 실시예에 따라, 대상체 자세 메트릭을 결정하기 위해 도 1에 도시된 자세 분석 구성 요소에 의해 수행될 수 있는 예시적인 프로세스를 도시하는 흐름도이다.
도 7a-c는 포즈 추정을 위한 심층 컨볼루션 신경망을 도시하는 개략도 및 그래프를 도시한다. 도 7a는 포즈 추정을 수행하기 위한 HRNet-W32 신경망 아키텍처를 도시한다. 도 7b는 비디오를 보내고, HRNet으로 프레임되고, 출력으로서 12개의 키포인트 히트맵을 생성하는 추론 파이프라인을 도시한다. 도 7c는 오버피팅 없이 네트워크 수렴을 보여주는 훈련 손실 곡선을 나타낸다.
도 8a-j는 비디오 포즈 추정으로부터 보행 표현형을 유도하는 것을 도시하는 개략도 및 그래프를 도시한다. 도 8a-b는 (Green 등, Dev Med Child Neurol(2009) 51:311로부터의 도면에 기초하여) 보행의 공간적 및 시간적 특성을 보여준다. 도 8a는 3개의 공간 보폭 메트릭이 뒷발 발걸음 위치: 스텝 길이, 스텝 폭 및 보폭 길이로부터 어떻게 유래되었는지를 보여주는 도면이다. 도 8b는 이 플롯에 도시된 모든 메트릭이 유닛에 대한 보폭 시간 백분율을 갖는 힐데브란트 플롯(Hildebrand Plot)이다. 이는 보폭의 스탠스 및 유각기를 갖는 발걸음 및 발끝 이벤트 사이의 관계를 예시한다. 도 8c는 과거의 50개 프레임과 미래의 50개 프레임으로 플롯된 뒷발 트랙을 갖는 입력 비디오의 단일 프레임을 도시한다. 뒤 발걸음 이벤트의 위치는 검은색 원으로 표시되어 있다. 3개의 최외측 선은 우측 뒷발이고, 3개의 중간 선은 테일 베이스고, 3개의 최내측 선은 좌측 뒷발이다. 도 8d-f는 동일한 100 프레임 간격에 걸친 마우스의 움직임의 상이한 측면을 보여주는 3개의 플롯을 도시한다. 중심 수직선은 (도 8c에 표시된)현재 프레임을 나타낸다. 도 8d는 좌측 뒷발, 우측 뒷발, 및 테일 베이스의 속도를 나타내는 3개의 선을 도시한다. 플롯 내의 수직 암선은 각 보폭의 추정된 시작 프레임을 나타낸다. 도 8g는 추정된 12 포인트의 각각에 대한 신뢰 값의 분포를 도시한다. 도 8h는 각속도에 따라 비닝된 뒷발에 대한 힐데브란트 플롯의 집계도를 제공한다. 도 8i는 속도에 의해 비닝된 것을 제외하고 도 8h와 유사한 결과를 보여준다. 도 8j는 사지 듀티 팩터가 속도의 함수로서 변하는 것을 도시한다.
도 9a-i는 보행 사이클 동안 환상 주기적 자세 메트릭의 추출을 도시하는 개략도 및 그래프를 제공한다. 몇몇 메트릭은 포즈 키 포인트에서 관찰된 주기적 측방향 변위와 관련된다. 측방향 변위의 척도는 관련 보폭 변위 벡터로부터 직교 오프셋으로서 정의되었다. 변위 벡터를, 보폭의 제1 프레임 상의 마우스의 척추 중심을 보폭의 마지막 프레임 상의 마우스의 척추 중심과 연결하는 선으로서 정의하였다. 이러한 오프셋을 보폭의 각 프레임에서 계산한 다음, 매끄러운 변위 곡선을 생성하기 위해 큐빅 보간(cubic interpolation)을 수행하였다. 변위의 파스 오프셋은 이러한 매끄러운 곡선 상에서 최대 변위가 발생하는 백분율 보폭 위치로서 정의되었다. 보폭에 할당된 측방향 변위 메트릭은 보폭 동안 관찰된 최대 변위 값과 최소 변위 값 간의 차이였다. (도 9a)테일 팁 및 (도 9b)코의 측방향 변위를 측정하였다. 변위는 또한 코호트 내의 많은 보폭에 걸쳐 평균화되어 (도 9d) C57BL/6J 대 (도 9e) NOR/LtJ과 같은 컨센서스 뷰(consensus view)를 형성할 수 있거나 또는 많은 보폭을 개체: (도 9f) C57BL/6J 대 (도 9g) NOR/LtJ 내에서 평균화하였다. 도 9h 및 도 9i에서, 계통 조사로부터 선택된 계통 세트 간의 측방향 변위의 다양성을 도시한다. 이들 2개의 플롯에 대한 밝은 (반투명) 밴드는 각각의 계통에 대한 평균의 95% 신뢰 구간을 나타낸다.
도 10a-e는 보행 돌연변이체의 유전자 검증을 나타내는 결과를 보여준다. 도 10a는 라이너 혼합 효과 모델 및 신체 길이 및 연령에 대해 조정된 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 10b에서, 속도 분포의 커널 밀도 추정치 및 누적 분포 함수를 대조군과 돌연변이체 사이의 보폭 속도의 차이에 대한 테스트와 비교하였다. 도 10c에서, 커버된 총 거리 및 속도는, 신체 길이 및 연령에 대해 각각 조정된 선형 및 선형 혼합 모델을 사용하여 대조군과 돌연변이체 사이에서 비교하였다. 도 10d는 선형 혼합 효과 모델에 대해 상이한 것으로 밝혀진, 신체 길이 조정된 보행 메트릭의 결과를 도시한다. 도 10e는 Ts65Dn 변형에 대한 코 및 테일 팁의 측방향 변위의 결과를 보여준다. 실선은 보폭의 평균 변위를 나타내는 반면, 밝은 (반투명) 밴드는 평균에 대한 95% 신뢰 구간을 제공한다.
도 11a-f는 자폐 돌연변이체의 유전적 검증을 도시하는 표 및 그래프를 제공한다. 도 11a는 선형 표현형에 대한 모델 M1 및 원형 표현형에 대한 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 11b는 선형 표현형에 대한 모델 M3 및 원형 표현형에 대한 원형-선형 모델로부터 얻어진 q-값(좌측) 및 효과 크기(우측)를 보여준다. 도 11c에서, 커버된 총 거리는 신체 길이와 연령에 대해 각각 조정된 선형 및 선형 혼합 모델을 사용하여 대조군과 돌연변이체 사이에서 비교되었다. 도시된 각 쌍에서, 좌측 데이터는 대조군의 데이터이고 우측 데이터는 돌연변이체의 데이터이다. 도 11d는 선형 혼합 효과 모델에 대해 상이한 것으로 밝혀진, 신체 길이 조정된 보행 메트릭을 보여준다. 도 11e는 대조군 및 돌연변이체가 가장 잘 분리되어 있는 다차원 공간의 2D 표현을 구축하기 위한 처음 2개의 주요 구성 요소의 사용을 도시한다. 도 11f는 ASD 모델에서 속도의 누적 분포를 보여준다. 상부 곡선은 대조군이고 하부 곡선은 돌연변이체이다. Cntnap2, Fmr1, Del4Aam은 낮은 보폭 속도를 갖는 반면, Shank3은 높은 보폭 속도를 갖는다.
도 12a-e는 시험한 계통의 결과를 보여준다. 도 12a에서, 각 박스플롯은 계통에 대응하며, 수직 위치는 신체 길이에 대해 조정된 보폭 길이의 잔차를 나타낸다. 계통은 이들의 중앙 잔차 보폭 길이 값에 따라 정렬된다. 도 12b는 클러스터 멤버십에 의해 코딩된 모든 계통 색상에 대한 신체 길이 조정된 보행 메트릭의 z-스코어를 도시한다(도 12c 참조). 도 12c는 처음 2개의 주요 구성 요소를 사용하여, 계통이 가장 잘 분리되어 있는 다차원 공간의 2D 표현을 구축하기 위한 K-평균 알고리즘의 사용을 보여준다. 상단 우측 영역은 클러스터 1이고, 하단 영역은 클러스터 2이고, 상단 좌측 영역은 클러스터 3이다. 도 12d는 클러스터를 가로지르는 코 및 테일 팁의 측방향 변위에 대한 컨센서스 뷰를 제공한다. 실선은 보폭의 평균 변위를 나타내는 반면, 반투명한 밴드는 평균에 대한 95% 신뢰 구간을 제공한다. 도 12e는 상이한 클러스터에 걸친 잔차 보행 메트릭을 요약한 클러스터링 후 플롯이다. 3개의 세트 각각에서, 좌측은 클러스터 1이고, 중간은 클러스터 2이고, 우측은 클러스터 3이다.
도 13a-d는 보행 표현형에 대한 GWAS 결과를 제공한다. 도 13a는 각 표현형 평균(좌측) 및 분산(우측)에 대한 유전성 추정치를 제공한다. 도 13b-d는 모든 평균 표현형(도 13b), 분산 표현형(도 13c), 및 이들 모두가 조합된 맨해튼 플롯(도 13d)을 제공한다; 색상은 단일 뉴클레오티드 다형성(SNP)에 대한 최저 p-값을 갖는 표현형에 대응한다.
도 14a-d는 본 발명의 특정 실시예에 사용된 동물 계통의 목록을 제공한다. 도 14a는 대조군 계통 및 보행 돌연변이체에 대한 공식 식별을 보여준다. 도 14b는 자폐 돌연변이체에 대한 대조군 계통 및 공식 식별자를 보여준다. 도 14c는 실험에서 동물의 신체 길이 및 체중을 요약한 표를 보여준다. 도 14d는 계통 조사 연구에 사용된 동물을 요약한 목록을 제공한다.
도 15a-e는 히트 맵, 곡선 및 플롯을 제공한다. 도 15a는 모델 M3으로부터 수득된 효과 크기 및 q-값을 요약한 히트 맵이다: Phenotype ~ Genotype + TestAge + Speed + BodyLength + (1 | MouseID/TestAge). 도 15b는 모든 계통에 걸친 속도의 커널 밀도(좌측) 및 누적 밀도(우측) 곡선을 보여준다. 도 15c는 상이한 보행 돌연변이체 계통에 걸쳐 신체 길이와 성별 간의 양의 연관성을 보여주는 플롯이다. 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다. 도 15d는 Mecp2 보행 돌연변이체에 대한 사지 듀티 팩터 및 스텝 길이에 대한 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 도 15e는 Mecp2 보행 돌연변이체에 대한 스텝 폭 및 보폭에 대한 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다.
도 16a-e는 히트 맵, 곡선 및 플롯을 제공한다. 도 16a는 모델 M2로부터 수득된 효과 크기 및 q-값을 요약한 히트 맵이다: Phenotype ~ Genotype + TestAge + Speed +(1 | MouseID/TestAge). 도 16b는 모든 계통에 걸친 속도의 커널 밀도 곡선을 보여준다. 도 16c는 상이한 보행 돌연변이체 계통에 걸쳐 신체 길이와 성별 간의 양의 연관성을 보여주는 플롯이다. 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다. 도 16d는 Shank3 자폐 돌연변이체에 대한, 스텝 길이 및 보폭 길이에 대한, 신체 길이(M1), 속도(M2), 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 도 16e는 Del4Aam 자폐 돌연변이체에 대한 신체 길이 및 보폭 길이에 대한 신체 길이(M1), 속도(M2), 및 신체 길이 및 속도(M3) 조정된 잔차를 도시한다. 표시된 결과의 각 쌍에서, 대조군은 쌍의 좌측에 있고 돌연변이체는 쌍의 우측에 있다.
도 17a-f는 계통 조사에서 62개의 계통에 걸쳐 비교된, 신체 길이 조정된 표현형의 결과를 보여준다. 박스 플롯은 좌에서 우로의 중앙값 측정치에 대해 오름차순으로 디스플레이되어 있다. 각 패널(도 17a-f)은 상이한 보행 표현형에 대응한다.
도 18a-e는 계통 조사에서 62개의 계통에 걸쳐 비교된, 신체 길이 조정된 표현형의 결과를 보여준다. 박스 플롯은 좌에서 우로의 중앙값 측정치에 대해 오름차순으로 디스플레이되어 있다. 각 패널(도 18a-e)은 상이한 보행 표현형에 대응한다.
도 19는 모든 표현형 및 보행 계통에 대해 모델 M1, M2, M3으로부터 수득된 효과 크기 및 FDR 조정된 p-값을 요약한 목록을 제공한다.
도 20은 모든 표현형 및 자폐증 계통에 대해 모델 M1, M2, M3으로부터 수득된 효과 크기 및 FDR 조정된 p-값을 요약한 목록을 제공한다.
도 21a-d는 계통 조사 데이터에서 3개의 최적의 클러스터를 보여준다. 최적의 클러스터 수를 선택하기 위해 30개의 클러스터링 지수를 조사하였다(Bates 등, J Stat Softw (2015) 67:1). 도 21a는 계통 조사 데이터 내에 2 또는 3개의 클러스터가 있을 수 있음을 나타내는 대다수를 보여준다. 최적의 클러스터 수를 선택하기 위한 하나의 주요 기준은 클러스터 내 거리를 작게 유지하면서 클러스터 간 거리를 최대화하는 것이다. 이를 위해, (도 21b에 도시된) 집단내 자승합(within-sum-of-squares; WSS)를 조사하였다; 도 21c에 도시된 칼린스키-하라바스즈(CH) 인덱스[Calinski, T. & Harabasz, Communications in Statistics-theory and Methods 3, 1-27 (1974)]; 및 갭 통계 [Tibshirani, R. 등 Journal of the Royal Statistical Society: Series B (Statistical Methodology) 63, 411-423 (2001)] (도 21d에 도시됨) 대 사용된 클러스터의 수. 이들 모두는 3개의 클러스터가 최적의 선택임을 나타냈다.
도 22는 보행 및 자세 표현형에 대한 유의한 GWAS 히트의 표를 보여준다. 상기 정보는 정량적 형질 유전자좌(Quantitative Trait Loci; QTL) 피크 SNP, QTL 피크 SNP 위치, QTL 시작 위치, QTL 종료 위치 대립유전자 1, 대립유전자 2, 대립유전자 1 빈도, p wald, 단백질 코딩 유전자, 및 QTL이 유의한 것으로 밝혀진 군을 보여주는 연구 결과를 포함한다.
도 23은 본 개시의 실시예에 따른 장치의 예시적인 구성 요소를 개념적으로 도시하는 블록 다이어그램이다.
도 24는 본 개시의 실시예에 따른 서버의 예시적인 구성 요소를 개념적으로 도시하는 블록 다이어그램이다.
본 발명은, 부분적으로, 먼저 대상체의 제1 신체 부위를 추적하고, 보행 메트릭 및 자세 메트릭을 나타내는 데이터를 결정하고, 그런 다음 통계적 분석을 수행하여 대조군으로부터의 임의의 차이/편차를 결정하기 위해 비디오 데이터를 처리하는 방법을 포함한다. 본 발명의 방법 및 시스템은 보행 수준 및 자세 수준의 특징을 추출하기 위한 안정적이고 확장 가능한 자동화된 시스템을 제공하며, 신경 유전학 행동 실험과 관련된 시간 및 노동 비용을 극적으로 낮추고, 또한 이러한 실험에서의 변동성을 감소시킨다.
보행을 포함한 인간 및 동물의 움직임에 대한 분석은 과거로 거슬러 올라간다. 아리스토텔레스는 물리학과 형이상학적 원리를 사용하여 동물 움직임과 보행에 대한 철학적 논문을 최초로 썼다. 르네상스 시대에 보렐리는 물리학과 생체역학의 법칙을 몸 전체의 근육, 힘줄 및 관절에 적용하여 보행을 이해했다. 보행 연구에 이미징 기술의 첫 번째 적용은, 보행의 정량적 측정을 유도하기 위해 움직이는 인간 및 동물의 순차적 사진 이미지를 촬영한 마이브릿지(Muybridge) 및 머레이(Marey) 의 작품으로 인정된다. 현대 동물 보행 분석 방법은 정량화된 메트릭에 기초하여 1970년대에 분류된 보행을 힐데브란트의 공로로 인정한다. 그는 사지가 지면에 접촉하는 측면에서 보행 주기를 정의했다(스탠스 및 유각기). 근본적으로, 이 개념은 지난 40년 동안 변하지 않았다: 현재의 마우스 보행 분석 방법은 마이브릿지와 머레이의 이미징 접근법의 효율을 증가시켰지만, 근본적으로 여전히 사지가 지면에 접촉하는 타이밍에 기초한다. 이는 보렐리 시대 이후 신체 자세에 초점을 맞춘 인간 보행 및 자세 분석과는 대조적이며, 단순히 지면과의 접촉보다는 전신 움직임의 정량화와 유사하다. 마우스와 인간 간의 이러한 차이는 아마도 부분적으로는, 관절 위치를 모호하게 하는 그들의 털로 인해 변형 가능한 물체로서 나타나는, 설치류의 자세를 자동으로 추정하는 데 있어서의 어려움에 기인할 것이다. 또한, 인간과는 달리, 마우스의 일부는 국소화를 위해 웨어러블로 쉽게 마킹될 수 없다. 설치류에서, 최근의 방법은 전신 조정력의 결정에서 진전을 이루었지만, 이는 여전히 전문화된 장비를 필요로 하며, 적절한 영상화 및 사지 위치의 정확한 결정을 위해 복도 또는 트레드밀 또는 좁은 복도에서 동물을 고정 방향으로 걷게 한다. 이는 매우 부자연스럽고, 동물은 이러한 거동을 적절하게 수행하기 위해 종종 훈련을 필요로 하며, 인간 보행과 연관되는 이러한 유형의 분석의 사용을 제한한다. 측면으로부터의 이미징은, 동물의 움직임을 하나의 심도 필드로 제한함으로써 극복되는, 원근감의 장애로 이어진다. 또한, 동물이 배변과 배뇨를 하거나, 또는 침구가 있는 경우, 이로 인한 폐색은 이러한 관점에서 장기적인 모니터링을 불가능하게 한다. 실제로, 동물을 자유롭게 움직일 수 있는 행동학적으로 관련된 보행 데이터는 종종 트레드밀 기반 분석과는 상이한 결과를 생성한다. 또한, 보행 분석을 위한 상업용 트레드밀 또는 복도 기반 시스템은 종종 동일한 동물 모델에 대해 상이한 결과를 나타내는 다수의 측정값을 생성한다. 이러한 격차의 정확한 원인은 폐쇄형 독점 시스템으로 결정하기가 어렵다. 따라서, 현재 자유롭게 움직이는 동물의 보행 및 자세를 측정하기 위한 쉽고 광범위하게 구현 가능한 도구가 결여되어 있다.
오픈 필드 분석은 행동 신경유전학에서 가장 오래되고 가장 흔히 사용되는 분석 중 하나이다. 설치류에서, 이는 고전적으로 설치류의 과잉행동, 불안, 탐색 및 습관화와 같은 정서와 관련된 내적표현형을 측정하는 데 사용되었다. 비디오 기반 오픈 필드 분석의 경우, 행동 측정을 추출하기 위해 동물 움직임의 풍부하고 복잡한 행동을 단일 포인트로 추상화한다. 비디오 데이터에서 복잡한 포즈를 정확하게 추출하는 것을 금지하는 기술적 제한으로 인해 이러한 지나치게 단순화된 추상화가 주로 필요합니다. 새로운 기술은 이러한 한계를 극복할 잠재력을 가지고 있다. 신경 기능의 중요한 지표인 보행은, 동물이 자유롭게 움직이는 경우, 주로 사지 위치를 결정하는 기술적 어려움으로 인해 오픈 필드에서 종래의 시스템에 의해 일반적으로 분석되지 않는다. 보행 및 자세 분석과 오픈 필드 측정을 조합하는 능력은 행동학적으로 관련된 방식으로 동물 행동의 신경 및 유전적 조절에 대한 주요 통찰력을 제공할 것이다. 본 개시의 발명은 신경망과 같은 현대 머신 러닝 모델을 활용하여 오픈 필드에서 대상체 보행 및 자세 분석을 수행한다. 본 발명은 코트 컬러, 털 차이, 및 크기 차이를 포함하여, 마우스와 같은 대상체에서 보이는 높은 수준의 시각적 다양성에 불변하는 하향식 관점에서 보행 및 전신 자세 파라미터를 측정하는 시스템 및 방법에 관한 것이다. 종합적으로, 본 발명은 민감하고, 정확하고, 확장 가능하고, 질병 및 병태의 마우스 모델에서 보행 및 자세의 이전에 설명되지 않은 차이를 검출할 수 있는 시스템을 제공한다.
본 개시는 여러 개의 모듈식 구성요소를 포함하는 보행 및 자세 분석을 위한 기술에 관한 것으로, 이 중 하나는, 일부 실시예에서, 오픈 필드의 하향 비디오를 사용하여 포즈 추정을 수행하도록 훈련된 신경망(예를 들어, 심층 컨볼루션 신경망)이다. 신경망은 각 시점에서 대상체의 포즈를 설명하는 비디오의 각 프레임에 대해 대상체의 해부학적 위치("키포인트"로도 지칭됨)의 다수의 2차원 마커(일부 실시예에서, 12개의 이러한 마커)를 제공할 수 있다. 모듈형 구성 요소 중 다른 하나는 포즈의 시계열을 처리하고 개별 보폭을 나타내는 간격을 식별할 수 있다. 모듈형 구성 요소 중 다른 하나는 보폭 단위 기준으로 여러 개의 보행 메트릭을 추출할 수 있고, 다른 모듈형 구성 요소는 여러 개의 자세 메트릭을 추출할 수 있다. 마지막으로, 또 다른 모듈형 구성 요소는 보행 메트릭 및 자세 메트릭에 대한 통계적 분석을 수행할 뿐만 아니라, 대상체의 보행 구조의 컨센서스 뷰를 제공하기 위해 많은 양의 데이터를 집계할 수 있도록 구성될 수 있다.
본 개시의 시스템(100)은 도 1에 예시된 바와 같은 다양한 구성요소를 사용하여 작동할 수 있다. 시스템(100)은 이미지 캡처 장치(101), 하나 이상의 네트워크(199)에 걸쳐 연결된 장치(102) 및 하나 이상의 시스템(150)을 포함할 수 있다. 이미지 캡처 장치(101)는 다른 장치(예를 들어, 장치(1600))의 일부이거나, 그 안에 포함되거나, 이에 연결될 수 있고, 카메라, 고속 영상 카메라, 또는 이미지 및 영상을 캡처할 수 있는 다른 유형의 장치일 수 있다. 장치(101)는, 이미지 캡처 장치에 더하여 또는 이미지 캡처 장치를 대신하여, 모션 감지 센서, 적외선 센서, 온도 센서, 대기 조건 감지 센서, 및 다양한 특징/환경 조건을 감지하도록 구성된 다른 센서를 포함할 수 있다. 장치(102)는 노트북, 데스크톱, 태블릿, 스마트폰, 또는 다른 유형의 컴퓨팅 장치일 수 있고, 아래의 장치(1600)와 관련하여 설명된 하나 이상의 구성 요소를 포함할 수 있다.
이미지 캡처 장치(101)는 포르말린 검정이 수행되는 하나 이상의 대상체의 영상(또는 하나 이상의 이미지)를 캡처할 수 있고, 본원에 기술된 바와 같은 처리를 위해 영상을 나타내는 비디오 데이터(104)를 시스템(들)(150)에 전송할 수 있다. 시스템(들)(150)은 도 1에 도시된 하나 이상의 구성 요소를 포함할 수 있고, 시간 경과에 따라 대상체(들)의 보행 및 자세 행동을 결정하기 위해 비디오 데이터(104)를 처리하도록 구성될 수 있다. 시스템(들)(150)은 대상체 보행 및/또는 자세 및 대조군 보행 및/또는 자세에서의 하나 이상의 차이를 나타내는 차이 데이터(148)를 결정할 수 있다. 차이 데이터(148)는 비디오 데이터(104) 처리의 결과를 관찰하기 위해 사용자에게 출력하도록 장치(102)에 송신될 수 있다.
시스템(들)(150)의 구성 요소의 세부 사항은 아래에 기술된다. 다양한 구성 요소는 동일하거나 상이한 물리적 장치 상에 위치할 수 있다. 다양한 구성 요소 간의 통신은 직접적으로, 또는 네트워크(들)(199)를 통해 발생할 수 있다. 장치(101), 시스템(들)(150) 및 장치(102) 간의 통신은 직접적으로, 또는 네트워크(들)(199)를 통해 발생할 수 있다. 시스템(들)(150)의 일부로서 도시된 하나 이상의 구성 요소는 장치(102), 또는 이미지 캡처 장치(101)에 연결된 컴퓨팅 장치(예를 들어, 장치(1600))에 위치될 수 있다. 예시적인 실시예에서, 시스템(들)(150)은 포인트 트랙 구성 요소(110), 보행 분석 구성 요소(120), 자세 분석 구성 요소(130), 및 통계 분석 구성 요소(140)를 포함할 수 있다. 다른 실시예에서, 시스템(들)(150)은 도 1에 도시된 것보다 더 적거나 더 많은 구성 요소를 포함하여 이하에서 설명되는 바와 같은 동일하거나 유사한 기능을 수행할 수 있다.
도 2는 본 개시의 실시예에 따라, 대상체의 비디오 데이터(104)를 분석하기 위해 도 1에 도시된 시스템(100)에 의해 수행되어 보행 및 자세 메트릭을 결정할 수 있는 예시적인 프로세스(200)를 도시하는 흐름도이다. 높은 수준에서, 프로세스(200)는 이미지 캡처 장치(101)가 대상체의 움직임의 비디오(들)를 녹화하는 것으로 시작한다. 일부 실시예에서, 비디오 데이터(104)는 대상체의 하향식 사시도이다. 일부 실시예에서, 대상체(들)는, 예를 들어, 트레드밀, 터널 등이 없는 개방된 아레나를 갖는 인클로저 내에 있을 수 있다. 상기 대상체(들)를 특정 방식으로 유도하기 위해. 이는 대상체가 트레드밀 위를 걷거나 터널 내에서 이동하는 것과 같은 특정 움직임을 수행하도록 훈련할 필요 없이 대상체를 관찰할 수 있게 한다. 단계 202에서, 시스템(들)(150)은 이미지 캡처 장치(101)(또는 이미지 캡처 장치(101)에 연결된 장치(1600) 또는 이미지 캡처 장치(101)가 포함되는 장치)로부터 비디오 데이터(104)를 수신할 수 있다. 단계 204에서, 시스템(들)(150)의 포인트 추적자 구성 요소(110)가 비디오 데이터(104)를 처리하여 포인트 데이터(112)를 결정할 수 있다. 포인트 데이터(112)는 비디오 데이터(104)에 표시된 일정 기간에 걸쳐 대상체 신체 부위 세트의 움직임을 추적하는 데이터를 나타낼 수 있다. 포인트 추적기 구성 요소(110)에 대한 추가의 세부사항은 도 3과 관련하여 이하에서 설명된다. 단계 206에서, 시스템(들)(150)의 보행 분석 구성 요소(120)는 포인트 데이터(112)를 처리하여 메트릭 데이터(122)를 결정할 수 있다. 메트릭 데이터(122)는 대상체에 대한 보행 메트릭을 나타낼 수 있다. 보행 분석 구성 요소(120)에 대한 추가의 세부 사항은 도 4와 관련하여 아래에 기술된다. 단계 208에서, 시스템(들)(150)의 자세 분석 구성 요소(130)는 포인트 데이터(112)를 처리하여 메트릭 데이터(132)를 결정할 수 있다. 메트릭 데이터(132)는 대상체에 대한 자세 메트릭을 나타낼 수 있다. 자세 분석 구성 요소(130)에 대한 추가적인 세부 사항은 도 5와 관련하여 아래에 기술된다. 일부 실시예에서, 단계 208은 단계 206 전에 수행될 수 있다. 일부 실시예에서, 단계 206 및 208은 병렬로 수행될 수 있는데, 예를 들어, 보행 분석 구성 요소(120)는 자세 분석 구성 요소(130)가 포인트 데이터(112)를 처리하는 동안 포인트 데이터(112)를 처리할 수 있다. 일부 실시예에서, 시스템 구성에 따라, 단계 206 및 208 중 단 하나만이 수행될 수 있다. 예를 들어, 일부 실시예에서, 시스템(들)(150)은 보행 메트릭만을 결정하도록 구성될 수 있고, 따라서 단계 206만이 보행 분석 구성 요소(120)에 의해 수행될 수 있다. 다른 예에서, 일부 실시예에서, 시스템(들)(150)은 자세 메트릭만을 결정하도록 구성될 수 있고, 따라서 단계 208만이 보행 분석 구성 요소(120)에 의해 수행될 수 있다. 단계 210에서, 시스템(들)(150)의 통계 분석 구성 요소(140)는 메트릭 데이터(122), 메트릭 데이터(132) 및 대조군 데이터(144)를 처리하여 차이 데이터(148)를 결정할 수 있다. 통계 분석 구성 요소(140)에 대한 추가 세부 사항은 아래에 기술된다.
도 3은 본 개시의 실시예에 따라, 비디오 데이터(104)에서 대상체 신체 부위를 추적하기 위한 포인트 추적기 구성 요소(110)에 의해 수행될 수 있는 예시적인 프로세스(300)를 도시하는 흐름도이다. 단계 302에서, 포인트 추적기 구성 요소(110)는 대상체 신체 부위(들)를 위치시키기 위해 머신 러닝 모델(들)을 사용하여 비디오 데이터(104)를 처리할 수 있다. 단계 304에서, 포인트 추적기 구성 요소(110)는 머신 러닝 모델(들)을 사용하여 비디오 데이터(104)를 처리하는 것에 기초하여 대상체 신체 부위(들)에 대한 히트맵(들)을 생성할 수 있다. 포인트 추적기 구성 요소(110)는 머신 러닝 모델(들)을 사용하여 대상체 신체 부위가 비디오 데이터(104)의 비디오 프레임 내에 나타나는 2차원 픽셀 좌표를 추정할 수 있다. 포인트 추적기 구성 요소(110)는 하나의 비디오 프레임에 대한 하나의 대상체 신체 부위의 위치를 추정하는 히트맵을 생성할 수 있다. 예를 들어, 포인트 추적기 구성 요소(110)는 제1 히트맵을 생성할 수 있으며, 여기서 히트맵 내의 각 셀은 비디오 프레임 내의 픽셀에 대응할 수 있고, 각각의 픽셀에 위치되어 있는 제1 대상체 신체 부위(예를 들어, 우측 앞발)의 가능성을 나타낼 수 있다. 실시예를 계속하면서, 포인트 추적기 구성 요소(110)는 제2 히트맵을 생성할 수 있으며, 여기서 각 셀은 각각의 픽셀에 위치되어 있는 제2 대상체 신체 부위(예를 들어, 좌측 앞발)의 가능성을 나타낼 수 있다. 단계 306에서, 포인트 추적기 구성 요소(110)는 생성된 히트맵(들)을 사용하여 포인트 데이터(112)를 결정할 수 있다. 최고/최대 값을 갖는 히트맵 셀은 각각의 대상체 신체 부위가 비디오 프레임 내에 위치되어 있는 픽셀 좌표를 식별할 수 있다.
포인트 추적기 구성 요소(110)는 이미지 또는 비디오에서 키포인트로서 식별된 대상체 신체 부위 세트의 2차원 좌표를 위치시키도록 구성될 수 있다. 일부 실시예에서, 대상체 신체 부위 세트는 미리 정의될 수 있고, 어떤 키포인트가 귀 또는 코와 같이 시각적으로 현저한지 및/또는 어떤 키포인트가 사지 관절 또는 발과 같은 대상체의 보행 및 자세를 분석하기 위한 중요한 정보를 캡처하는지에 기초할 수 있다. 예시적인 실시예에서, 대상체 신체 부위 세트는 12개의 키포인트를 포함할 수 있다. 다른 실시예에서, 대상체 신체 부위 세트는 12개 미만 또는 초과의 키포인트를 포함할 수 있다. 예시적인 실시예에서, 대상체 신체 부위 세트는 다음을 포함할 수 있다: 코, 좌측 귀, 우측 귀, 목 베이스, 좌측 앞발, 우측 앞발, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일 베이스, 미들 테일(mid tail) 및 테일 팁(도 7b에 도시된 바와 같음).
포인트 추적기 구성 요소(110)는 하나 이상의 포즈 추정 기술을 구현할 수 있다. 포인트 추적기 구성 요소(110)는 비디오 데이터(104)를 처리하도록 구성된 하나 이상의 머신 러닝 모델을 포함할 수 있다. 일부 실시예에서, 하나 이상의 머신 러닝 모델은 심층 신경망, 심층 컨볼루션 신경망, 순환 신경망 등과 같은, 신경망일 수 있다. 다른 실시예에서, 하나 이상의 머신 러닝 모델은 신경망 이외의 다른 유형의 모델일 수 있다. 포인트 추적기 구성 요소(110)는 높은 정확성 및 정밀도로 포인트 데이터(112)를 결정하도록 구성될 수 있는데, 이는 메트릭 데이터(122, 132)가 포인트 데이터(112)의 오류에 민감할 수 있기 때문이다. 포인트 추적기 구성 요소(110)는 머신 러닝 모델 스택 전체에 걸쳐 고해상도 특징부를 유지하는 아키텍처를 구현함으로써 공간 정밀도를 보존할 수 있다. 일부 실시예에서, 포인트 추적기 구성 요소(110) 아키텍처는 히트맵 출력 해상도와 비디오 데이터(104) 해상도 간의 일치를 유발하는 하나 이상의 트랜스포즈 컨볼루션을 포함할 수 있다. 포인트 추적기 구성 요소(110)는 거의 실시간 속도로 포인트 데이터(112)를 결정하도록 구성될 수 있고, 높은 처리 용량 GPU를 실행할 수 있다. 포인트 추적기 구성 요소(110)는 변형 및 연장이 쉽게 이루어질 수 있도록 구성될 수 있다. 일부 실시예에서, 포인트 추적기 구성 요소(110)는 컴퓨팅 자원 및 시간을 절약하기 위해, 다수의 규모로 처리하기 보다는 고정된 규모로 추론을 생성하도록 구성될 수 있다.
일부 실시예에서, 비디오 데이터(104)는 하나의 대상체의 움직임을 추적할 수 있고, 포인트 추적기 구성요소(110)는 임의의 대상체 감지 기술/알고리즘을 수행하도록 구성되지 않을 수 있다. 다른 실시예에서, 비디오 데이터(104)는 하나 초과의 대상체의 움직임을 추적할 수 있고, 포인트 트랙 구성 요소(110)는 비디오 데이터(104) 내의 다른 대상체로부터 하나의 대상체를 식별하기 위한 대상체 감지 기술을 수행하도록 구성될 수 있다.
일부 실시예에서, 포인트 추적기 구성 요소(110)는 다수의 히트맵을 생성할 수 있으며, 각 히트맵은 하나의 대상체 신체 부위를 나타내는 하나의 키포인트가 비디오 데이터(104)의 프레임 내에 위치되는 추론을 나타낸다. 일 예에서, 비디오 데이터(104)는 480 x 480 프레임을 가질 수 있고, 포인트 추적기 구성요소(110)는 12개의 480 x 480 히트맵을 생성할 수 있다. 각 히트맵에서의 최대값은 각각의 키포인트에 대한 각각의 최고 신뢰 위치를 나타낼 수 있다. 일부 실시예에서, 포인트 추적기 구성 요소(110)는 12개의 히트맵 각각의 최대값을 취할 수 있고, 이에 따라 포인트 데이터(112)로서, 포인트 데이터(112)는 12개의 (x,y) 좌표를 포함할 수 있음을 출력할 수 있다.
일부 실시예에서, 포인트 추적기 구성 요소(110)는 손실 기능, 예를 들어 각각의 키포인트에 중심을 둔 가우스 분포에 대해 훈련될 수 있다. 포인트 추적기 구성 요소(110)의 신경망의 출력은 키포인트 중심 가우스 분포와 비교될 수 있고, 손실은 각각의 키포인트와 포인트 추적기 구성 요소(110)에 의해 생성된 히트맵 사이의 평균 제곱 차이로서 계산될 수 있다. 일부 실시예에서, 포인트 추적기 구성 요소(110)는 최적화 알고리즘, 예를 들어, 확률적 경사 하강 최적화 알고리즘을 사용하여 훈련될 수 있다. 포인트 추적기 구성 요소(110)는 상이한 코트 색상, 상이한 신체 길이, 상이한 신체 크기 등과 같은 다양한 물리적 특성을 갖는 대상체의 훈련 비디오 데이터를 사용하여 훈련될 수 있다.
포인트 추적기 구성 요소(110)는 대상체 신체 상의 대상체 신체 부위의 위치에 따라 다양한 수준의 신뢰도를 갖는 주어진 키포인트를 추정할 수 있다. 예를 들어, 뒷발의 위치는 앞발의 위치보다 더 높은 신뢰도로 추정될 수 있는데, 이는 하향식 관점에서 앞발이 뒷발보다 더 막힐 수 있기 때문이다. 또 다른 예에서, 척추 중심과 같은, 시각적으로 현저한 신체 부위는, 포인트 추적기 구성요소(110)가 정확하게 위치하기가 더 어려울 수 있기 때문에, 더 낮은 신뢰도를 가질 수 있다.
이제 보행 분석 구성 요소(120) 및 자세 분석 구성 요소(130)를 참조한다. 본원에서 사용되는 바와 같이, 보행 메트릭은 대상체의 발 움직임으로부터 유래된 메트릭을 지칭할 수 있다. 보행 메트릭은 스텝 폭, 스텝 길이, 보폭 길이, 속도, 각속도, 및 사지 듀티 팩터를 포함할 수 있지만, 이에 한정되지 않는다. 본원에서 사용되는 바와 같이, 자세 메트릭은 대상체의 전신의 움직임으로부터 유래된 메트릭을 지칭할 수 있다. 일부 실시예에서, 자세 메트릭은 대상 코 및 테일의 움직임에 기초할 수 있다. 자세 메트릭은, 코의 측방향 변위, 테일 베이스의 측방향 변위, 테일 팁의 측방향 변위, 코 측방향 변위 파스 오프셋, 테일 베이스 변위 파스 오프셋, 및 테일 팁 변위 파스 오프셋을 포함할 수 있지만, 이에 한정되지 않는다.
보행 분석 구성 요소(120) 및 자세 분석 구성 요소(130)는 보행 메트릭 및 자세 메트릭 중 하나 이상을 보폭 단위 기준으로 결정할 수 있다. 시스템(들)(150)은 비디오 데이터(104)의 비디오 프레임에 표시된 보폭 간격(들)을 결정할 수 있다. 일부 실시예에서, 보폭 간격은 입각기 및 유각기에 기초할 수 있다. 도 4는 분석을 위해 보폭 간격 세트를 결정하기 위한 보행 분석 구성 요소(120) 및/또는 자세 분석 구성 요소(130)에 의해 수행될 수 있는 예시적인 프로세스(400)를 도시하는 흐름도이다.
예시적인 실시예에서, 보폭 간격을 검출하기 위한 접근법은 보행의 환형 구조에 기초한다. 보폭 사이클 동안, 각각의 발은 입각기 및 유각기를 가질 수 있다. 입각기 동안, 대상체의 발은 대상체의 체중을 지지하고 지면과 정적 접촉한다. 유각기 동안, 발은 앞으로 이동하고 대상체의 체중을 지지하지 않는다. 입각기에서 유각기로의 전이는 본원에서 발끝 이벤트로서 지칭되고, 유각기에서 입각기로의 전이는 본원에서 발걸음 이벤트로서 지칭된다. 도 8a-c는 예시적인 입각기, 예시적인 유각기, 예시적인 발끝 이벤트 및 예시적인 발걸음 이벤트를 도시한다.
단계 402에서, 시스템(들)(150)은 일정 기간 동안 표시되는 복수의 스탠스 및 유각기를 결정할 수 있다. 예시적인 실시예에서, 대상체의 뒷발에 대해 스탠스 및 유각기가 결정될 수 있다. 시스템(들)(150)은 발 속도를 계산할 수 있고, 속도가 임계 값 아래로 떨어질 때 발이 입각기에 있는 것으로 추론할 수 있고, 그 임계 값을 초과할 때 발이 유각기에 있는 것으로 추론할 수 있다. 단계 404에서, 시스템(들)(150)은 유각기로부터 입각기로의 전이가 발생하는 비디오 프레임에서 발걸음 이벤트가 발생하는 것으로 결정할 수 있다. 단계 406에서, 시스템(들)(150)은 일정 기간에 표시된 보폭 간격을 결정할 수 있다. 보폭 간격은 비디오 데이터(104)의 다수의 비디오 프레임에 걸쳐질 수 있다. 시스템(들)(150)은, 예를 들어, 10초의 일정 기간이 5개의 보폭 간격을 가지며, 5개의 보폭 간격 중 하나가 비디오 데이터(104)의 5개의 연속 비디오 프레임으로 표시되는 것을 결정할 수 있다. 예시적인 실시예에서, 좌측 뒤 발걸음 이벤트는 보폭 간격을 분리/차별화하는 이벤트로서 정의될 수 있다. 또 다른 예시적인 실시예에서, 우측 뒤 발걸음 이벤트는 보폭 간격을 분리/차별화하는 이벤트로서 정의될 수 있다. 또 다른 예시적인 실시예에서, 좌측 뒤 발걸음 이벤트와 우측 뒤 발걸음 이벤트의 조합을 사용하여 별도의 보폭 간격을 정의할 수 있다. 일부 다른 실시예에서, 시스템(들)(150)은 앞발에 대한 스탠스 및 유각기를 결정할 수 있고, 앞발에 기초하여 발 속도를 계산할 수 있고, 우측 및/또는 좌측 앞발 발걸음 이벤트에 기초하여 보폭 간격 사이를 구별할 수 있다. 일부 다른 실시예에서, 보폭 간격을 분리/구별하기 위해, 입각기로부터 유각기로의 전이-발끝 이벤트-가 사용될 수 있다.
일부 실시예에서, 일부 경우에 낮은 신뢰도인, 앞발에 대한 (포인트 추적자 구성 요소(110)에 의해 결정된)키포인트 추론 정확도로 인해 앞발 발걸음 이벤트보다는 뒷발 발걸음 이벤트에 기초하여 보폭 간격을 결정하는 것이 바람직할 수 있다. 이는, 탑-다운 뷰 내에서 뒷발보다 앞발이 더 자주 막히기 때문에 앞발을 정확하게 위치시키기가 더 어려운 결과일 수 있다.
단계 408에서, 시스템(들)(150)은 결정된 보폭 간격을 필터링하여 메트릭 데이터(122, 132)를 결정하는 데 사용되는 보폭 간격을 결정할 수 있다. 일부 실시예에서, 이러한 필터링은 허위 또는 낮은 신뢰 보폭 간격을 제거할 수 있다. 일부 실시예에서, 보폭 간격을 제거하기 위한 기준은, 낮은 신뢰 키포인트 추정치, 생리학적으로 비현실적 키포인트 추정치, 우측 뒷발 스트라이크 이벤트 누락, 및 대상체의 불충분한 전체 신체 속도(예를 들어, 10cm/초 미만의 속도)를 포함할 수 있지만, 이에 한정되지 않는다.
일부 실시예에서, 보폭 간격의 필터링은 보폭 간격을 결정하는 데 사용되는 키포인트를 결정하는 데 있어서 신뢰 수준에 기초할 수 있다. 예를 들어, 임계 값 미만의 신뢰 수준으로 결정된 보폭 간격은 메트릭 데이터(122, 132)를 결정하는 데 사용된 보폭 간격 세트로부터 제거될 수 있다. 일부 실시예에서, 첫 번째 및 마지막 보폭은, 시작 및 정지 동작이 분석될 데이터에 노이즈를 추가하는 것을 피하기 위해 보폭 연속적인 시퀀스에서 제거된다. 예를 들어, 7개 보폭의 시퀀스는 최대 5개의 보폭이 분석에 사용될 것이다.
비디오 데이터(104)에 표시된 보폭 간격을 결정한 후, 시스템(들)(150)은 보행 메트릭 및 자세 메트릭을 결정할 수 있다. 도 5는 본 개시의 실시예에 따라, 대상체 보행 메트릭을 결정하기 위해 보행 분석 구성 요소(120)에 의해 수행될 수 있는 예시적인 프로세스(500)를 도시하는 흐름도이다. 프로세스(500)의 단계는 도 5에 도시된 선택적 시퀀스로 수행될 수 있다. 다른 실시예에서, 프로세스(500)의 단계는 상이한 시퀀스로 수행될 수 있다. 또 다른 실시예에서, 프로세스(500)의 단계는 병렬로 수행될 수 있다.
단계 502에서, 보행 분석 구성 요소(120)는 포인트 데이터(112)를 사용하여, 도 4에 도시된 단계 408에서 분석되도록 결정된 보폭 간격에 대한 스텝 길이를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 스텝 길이를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 좌측 뒷발, 좌측 앞발, 우측 뒷발 및 우측 앞발을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 스텝 길이는 보폭 간격에 대한 좌측 앞발과 우측 뒷발 사이의 거리일 수 있다. 일부 실시예에서, 스텝 길이는 보폭 간격에 대한 우측 앞발과 좌측 뒷발 사이의 거리일 수 있다. 일부 실시예에서, 스텝 길이는 우측 뒷발이 이전의 좌측 뒷발 스트라이크를 지나 이동하는 거리일 수 있다.
단계 504에서, 보행 분석 구성 요소(120)는 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 보폭 길이를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 보폭 길이를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 좌측 뒷발, 좌측 앞발, 우측 뒷발 및 우측 앞발을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 보폭 길이는 각 보폭 간격에 대해 좌측 앞발과 좌측 뒷발 사이의 거리일 수 있다. 일부 실시예에서, 보폭 길이는 우측 앞발과 우측 뒷발 사이의 거리일 수 있다. 일부 실시예에서, 보폭 길이는, 발끝 이벤트에서 발걸음 이벤트까지 보폭을 위해 좌측 뒷발이 이동하는 전체 거리일 수 있다.
단계 506에서, 보행 분석 구성 요소(120)는 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 스텝 폭을 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 스텝 폭을 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 좌측 뒷발, 좌측 앞발, 우측 뒷발 및 우측 앞발을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 스텝 폭은 좌측 앞발과 우측 앞발 사이의 거리이다. 일부 실시예에서, 스텝 폭은 좌측 뒷발과 우측 뒷발 사이의 거리이다. 일부 실시예에서, 스텝 폭은 뒷발을 분리하는 평균화된 측방향 거리이다. 이는, 우측 뒷발 스트라이크를, 좌측 뒷발의 발끝 위치와 후속 발걸음 위치를 연결하는 선에 연결하는 가장 짧은 선분의 길이로서 계산될 수 있다.
단계 508에서, 보행 분석 구성 요소(120)는 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 발 스피치를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 발 속도를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 좌측 뒷발, 우측 뒷발, 좌측 앞발, 및 우측 앞발을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 발 속도는 보폭 간격 동안 발 중 하나의 속도일 수 있다. 일부 실시예에서, 발 속도는 대상체의 속도일 수 있고 대상체의 테일 베이스에 기초할 수 있다.
단계 510에서, 보행 분석 구성 요소(120)는 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 보폭 속도를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 보폭 속도를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 테일 베이스를 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 보폭 속도는 보폭 간격을 나타내는 비디오 프레임 세트 동안 대상체 테일 베이스의 움직임에 기초하여 대상체에 대한 속도 데이터 세트를 결정함으로써 결정될 수 있다. 속도 데이터 세트 내의 각 속도 데이터는 비디오 프레임 세트 중 하나의 프레임에 대응할 수 있다. 보폭 속도는 속도 데이터 세트를 평균화(또는 다른 방식으로 조합)함으로써 계산될 수 있다.
단계 512에서, 보행 분석 구성 요소(120)는, 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 사지 듀티 팩터를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 사지 듀티 팩터를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 우측 뒷발 및 좌측 뒷발을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 보폭 간격에 대한 사지 듀티 팩터는 제1 듀티 팩터 및 제2 듀티 팩터의 평균일 수 있다. 보행 분석 구성 요소(120)는 보폭 간격 동안 우측 뒷발이 지면과 접촉하는 시간의 양을 나타내는 제1 스텐스 시간을 결정할 수 있고, 그런 다음 보폭 간격에 대한 제1 스텐스 시간 및 시간 길이에 기초하여 제1 듀티 팩터를 결정할 수 있다. 보행 분석 구성 요소(120)는 보폭 간격 동안 좌측 뒷발이 지면과 접촉하는 시간의 양을 나타내는 제2 스텐스 시간을 결정할 수 있고, 그런 다음 보폭 간격에 대한 제2 스텐스 시간 및 시간 길이에 기초하여 제2 듀티 팩터를 결정할 수 있다. 다른 실시예에서, 사지 듀티 팩터는 앞발의 스탠스 시간 및 듀티 팩터에 기초할 수 있다.
단계 514에서, 보행 분석 구성 요소(120)는, 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 각속도를 결정할 수 있다. 보행 분석 구성 요소(120)는 일정 기간 동안 각 보폭 간격에 대한 각속도를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 테일 베이스 및 목 베이스를 나타내는 키포인트에 대한 것일 수 있다. 보행 분석 구성 요소(120)는 테일 베이스와 목 베이스를 연결하는 벡터 세트를 결정할 수 있으며, 세트 내의 각 벡터는 보폭 간격에 대한 프레임 세트의 프레임에 대응한다. 보행 분석 구성 요소(120)는 벡터 세트에 기초하여 각속도를 결정할 수 있다. 벡터는 대상체의 각도를 나타낼 수 있고, 각도 값의 제1 유도체는 프레임에 대한 각속도일 수 있다. 일부 실시예에서, 보행 분석 구성 요소(120)는 보폭 간격에 대한 프레임의 각속도를 평균화함으로써 보폭 각 속도를 결정할 수 있다.
도 6은 본 개시의 실시예에 따라, 대상체 자세 메트릭을 결정하기 위해 자세 분석 구성 요소(130)에 의해 수행될 수 있는 예시적인 프로세스(600)를 도시하는 흐름도이다. 높은 수준에서, 자세 분석 구성 요소(130)는 개별 보폭 간격에 대한 대상체 상에 코, 테일 팁 및 테일 베이스의 측방향 변위를 결정할 수 있다. 코, 테일 팁, 및 테일 베이스의 측방향 변위에 기초하여, 자세 분석 구성 요소(130)는 각각의 대상체 신체 부위 각각의 변위 파스 오프셋을 결정할 수 있다. 그 각각에서, 프로세스(600)의 단계는 도 6에 도시된 것과 상이한 시퀀스로 수행될 수 있다. 예를 들어, 자세 분석 구성 요소(130)는 테일 팁 및 테일 팁 변위 파스 오프셋의 측방향 변위를 결정한 후 또는 결정하는 것과 병행하여 코 및 코 변위 파스 오프셋의 측방향 변위를 결정할 수 있다.
측방향 변위를 결정하기 위해, 자세 분석 구성 요소(130)는 먼저, 단계 602에서, 포인트 데이터(112)를 사용하여, 단계 408에서 분석되도록 결정된 보폭 간격에 대한 변위 벡터를 결정할 수 있다. 자세 분석 구성 요소(130)는 일정 기간 동안 각 보폭 간격에 대한 변위 벡터를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 대상체의 척추 중심을 나타내는 키포인트에 대한 것일 수 있다. 보폭 간격은 다수의 비디오 프레임에 걸쳐 있을 수 있다. 일부 실시예에서, 변위 벡터는 보폭 간격의 제1 비디오 프레임에서의 척추 중심과 보폭 간격의 마지막 비디오 프레임에서의 척추 중심을 연결하는 벡터일 수 있다.
단계 604에서, 자세 분석 구성 요소(130)는 포인트 데이터(112) 및 변위 벡터(단계 602로부터)를 사용하여, 보폭 간격에 대한 대상체 코의 측방향 변위를 결정할 수 있다. 자세 분석 구성 요소(130)는 일정 기간 동안 각 보폭 간격에 대한 코의 측방향 변위를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 대상체의 척추 중심 및 코를 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 코의 측방향 변위 세트를 결정할 수 있으며, 코의 각 측방향 변위는 보폭 간격의 비디오 프레임에 대응할 수 있다. 측방향 변위는 보폭 간격에 대한 변위 벡터로부터 각각의 비디오 프레임 내의 코의 수직 거리일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 최대 거리로부터 최소 거리를 빼고 이를 대상체 신체 길이로 나눌 수 있어서 더 큰 대상체에서 측정된 변위가 더 작은 대상체에서 측정된 변위와 비교 가능할 수 있다.
단계 606에서, 자세 분석 구성 요소(130)는, 보폭 간격에 대한 코의 측방향 변위 세트를 사용하여, 코 변위 파스 오프셋을 결정할 수 있다. 자세 분석 구성 요소(130)는 코의 측방향 변위 세트를 사용하여 보간을 수행하여 보폭 간격에 대한 코의 매끄러운 곡선 측방향 변위를 생성한 다음, 코의 매끄러운 곡선 측방향 변위를 사용하여, 코의 최대 변위가 보폭 간격 동안 발생할 때를 결정할 수 있다. 자세 분석 구성 요소(130)는 코의 최대 변위가 발생할 때 완료된 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정할 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 변위에 대한 매끄러운 곡선을 생성하기 위해 큐빅 스플라인 보간을 수행할 수 있고, 큐빅 보간으로 인해 비디오 프레임들 사이의 시점에서 최대 변위가 발생할 수 있다.
단계 608에서, 자세 분석 구성 요소(130)는 포인트 데이터(112) 및 변위 벡터(단계 602로부터)를 사용하여, 보폭 간격에 대한 대상체 테일 베이스의 측방향 변위를 결정할 수 있다. 자세 분석 구성 요소(130)는 일정 기간 동안 각 보폭 간격에 대한 테일 베이스의 측방향 변위를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 대상체의 척추 중심 및 테일 베이스를 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 테일 베이스의 측방향 변위 세트를 결정할 수 있으며, 테일 베이스의 각 측방향 변위는 보폭 간격의 비디오 프레임에 대응할 수 있다. 측방향 변위는, 보폭 간격에 대한 변위 벡터로부터 각각의 비디오 프레임에서 테일 베이스의 수직 거리일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 최대 거리로부터 최소 거리를 빼고 이를 대상체 신체 길이로 나눌 수 있어서 더 큰 대상체에서 측정된 변위가 더 작은 대상체에서 측정된 변위와 비교 가능할 수 있다.
단계 610에서, 자세 분석 구성 요소(130)은, 보폭 간격에 대한 테일 베이스의 측방향 변위 세트를 사용하여, 테일 베이스 변위 파스 오프셋을 결정할 수 있다. 자세 분석 구성 요소(130)는, 보폭 간격에 대한 테일 베이스의 매끄러운 곡선 측방향 변위를 생성하기 위해 테일 베이스의 측방향 변위 세트를 사용하여 보간을 수행할 수 있고, 그런 다음, 테일 베이스의 매끄러운 곡선 측방향 변위를 사용하여, 코의 최대 변위가 보폭 간격 동안 발생할 때를 결정할 수 있다. 자세 분석 구성 요소(130)는 테일 베이스의 최대 변위가 발생할 때 완료되는 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정할 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 변위에 대한 매끄러운 곡선을 생성하기 위해 큐빅 스플라인 보간을 수행할 수 있고, 큐빅 보간으로 인해 비디오 프레임들 사이의 시점에서 최대 변위가 발생할 수 있다.
단계 612에서, 자세 분석 구성 요소(130)는 포인트 데이터(112) 및 변위 벡터(단계 602로부터)를 사용하여, 보폭 간격에 대한 대상체 테일 팁의 측방향 변위를 결정할 수 있다. 자세 분석 구성 요소(130)는 일정 기간 동안 각 보폭 간격에 대한 테일 팁의 측방향 변위를 결정할 수 있다. 일부 실시예에서, 포인트 데이터(112)는 대상체의 척추 중심 및 테일 팁을 나타내는 키포인트에 대한 것일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 테일 팁의 측방향 변위 세트를 결정할 수 있으며, 테일 팁의 각 측방향 변위는 보폭 간격의 비디오 프레임에 대응할 수 있다. 측방향 변위는, 보폭 간격에 대한 변위 벡터로부터 각각의 비디오 프레임 내의 테일 팁의 수직 거리일 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 최대 거리로부터 최소 거리를 빼고 이를 대상체 신체 길이로 나눌 수 있어서 더 큰 대상체에서 측정된 변위가 더 작은 대상체에서 측정된 변위와 비교 가능할 수 있다.
단계 614에서, 자세 분석 구성 요소(130)는, 보폭 간격에 대한 테일 팁의 측방향 변위 세트를 사용하여, 테일 베이스 변위 파스 오프셋을 결정할 수 있다. 자세 분석 구성 요소(130)는, 보폭 간격에 대한 테일 팁의 매끄러운 곡선 측방향 변위를 생성하기 위해 테일 팁의 측방향 변위 세트를 사용하여 보간을 수행할 수 있고, 그런 다음, 테일 팁의 매끄러운 곡선 측방향 변위를 사용하여, 코의 최대 변위가 보폭 간격 동안 발생할 때를 결정할 수 있다. 자세 분석 구성 요소(130)는 테일 팁의 최대 변위가 발생할 때 완료되는 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정할 수 있다. 일부 실시예에서, 자세 분석 구성 요소(130)는 변위에 대한 매끄러운 곡선을 생성하기 위해 큐빅 스플라인 보간을 수행할 수 있고, 큐빅 보간으로 인해 비디오 프레임들 사이의 시점에서 최대 변위가 발생할 수 있다.
시스템(들)(150)의 통계 분석 구성 요소(140)을 참조하여, 통계 분석 구성 요소(140)는 (보행 분석 구성 요소(120)에 의해 결정된) 메트릭 데이터(122) 및 (자세 분석 구성 요소(130)에 의해 결정된) 메트릭 데이터(132)를 입력으로서 취할 수 있다. 본 발명의 일부 실시예에서, 통계 분석 구성 요소(140)은 보행 메트릭 데이터만을 처리하도록 구성된 시스템에 기초하여 메트릭 데이터(122)만을 취할 수 있다. 다른 실시예에서, 통계 분석 구성 요소(140)는, 자세 메트릭 데이터만을 처리하도록 구성된 시스템에 기초하여 메트릭 데이터(132)만을 취할 수 있다.
대상체 신체 크기 및 대상체 속도는 대상체의 보행 및/또는 자세에 영향을 미칠 수 있다. 예를 들어, 더 빠르게 이동하는 대상체는 느리게 이동하는 대상체와는 상이한 보행을 가질 것이다. 또 다른 예로서, 더 큰 신체를 가진 대상체는 더 작은 신체를 가진 대상체와는 상이한 보행을 가질 것이다. 그러나, 일부 경우에, (대조군 대상체 보행과 비교하여) 보폭 속도의 차이는 유전적 또는 약리학적 섭동으로 인한 보행 및 자세 변화의 한정적인 특징일 수 있다. 시스템(들)(150)은 (비디오 데이터(104) 및 개방 영역의 대상체를 통해) 각 대상체에 대한 다수의 반복된 측정을 수집하고, 각 대상체는 불균형 데이터를 발생시키는 상이한 수의 보폭을 갖는다. 대상체 당 하나의 평균 값을 산출하는 반복되는 보폭을 평균화하는 것은 변이를 제거하고 거짓 신뢰도를 도입하기 때문에 오해의 소지가 있을 수 있다. 동시에, 고전적인 선형 모델은 통계적 분석에 편향될 수 있는, 안정적인 대상체 내 변이와 대상체 간 변동을 구별하지 않는다. 이러한 문제를 해결하기 위해, 통계 분석 구성 요소(140)는, 일부 실시예에서, 선형 혼합 모델(들)(LMM)을 사용하여 대상체들 간의 유전자형 기반 변이로부터 대상체 내 변이를 해리시킨다. 일부 실시예에서, 통계 분석 구성 요소(140)는 대상체 크기, 유전자형, 연령과 같은 주요 효과를 캡처할 수 있고, 대상체 내 변이에 대한 무작위 효과를 추가적으로 캡처할 수 있다. 본 발명의 기술은 중첩된 계층적 데이터 구조를 생성하는 대상체의 상이한 연령에서 다수의 반복된 측정을 수집한다. 통계 분석 구성 요소(140)에서 구현된 예시적인 통계 모델은 모델 M1, M2 및 M3으로서 아래에 도시되어 있다. 이들 모델은 고정 효과를 나타내는 (Genotype, BodyLength, Speed, TestAge) 및 무작위 효과를 나타내는 (SubjectID/TestAge)(시험 연령이 대상체 내에 중첩되는 경우) 표준 LMM 표기법을 따른다.
M1 : Phenotype ~ Genotype + TestAge + BodyLength + (1 | MouseID/TestAge)
M2 : Phenotype ~ Genotype + TestAge + Speed + (1 | MouseID/TestAge)
M3 : Phenotype ~ Genotype + TestAge + Speed + BodyLength + (1 | MouseID/TestAge)
모델 M1은 연령과 신체 길이를 입력으로 취하고, 모델 M2는 연령과 속도를 입력으로 취하고, 모델 M3은 연령, 속도 및 신체 길이를 입력으로 취한다. 일부 실시예에서, 성별이 대상체의 신체 길이/크기와 높은 상관관계가 있을 수 있기 때문에, 통계 분석 구성 요소(140)의 모델은 대상체 성별을 효과로서 포함하지 않는다. 다른 실시예에서, 통계 분석 구성 요소(140)의 모델은 대상체 성별을 입력값으로 취할 수 있다. (포인트 추적자 구성 요소(110)에 의해 결정된) 포인트 데이터(112)를 사용하여 이들 모델에 대한 대상체 신체 크기 및 속도를 결정할 수 있다. 따라서, 모델에 대해 이들 변수에 대한 추가 측정은 필요하지 않다.
메트릭 데이터(122, 132)에 포함된 하나 이상의 데이터는 원형 변수(예를 들어, 보폭, 각속도 등)일 수 있고, 통계 분석 구성 요소(140)는 원형-선형 회귀 모델을 사용하여 선형 변수의 기능을 구현할 수 있다. 신체 길이 및 속도와 같은 선형 변수는 모델에서 공변량으로서 포함될 수 있다. 일부 실시예에서, 통계 분석 구성 요소(140)는 부상 및 발달 효과를 가진 대상체를 식별하기 위해 개별 대상체 수준에서 다변수 이상치 검출 알고리즘을 구현할 수 있다.
일부 실시예에서, 통계 분석 구성 요소(140)는 또한 대조군 데이터(144)에 대해 메트릭 데이터(122, 132)를 처리하고 차이 데이터(148)를 출력하는 선형 구별 분석을 구현할 수 있다. 선형 구별 분석은 대상체 보행 및/또는 자세 메트릭과 대조군 대상체 보행 및/또는 자세 메트릭 간의 정량적인 구별을 가능하게 한다.
비디오 피드 스티칭
일부 실시예에서, 비디오 데이터(104)는 다수의 상이한 각도/뷰로부터 대상체의 움직임을 캡처하는 다수의 영상 피드를 사용하여 생성될 수 있다. 비디오 데이터(104)는 대상체의 상면 뷰의 제1 영상 및 대상체의 측면 뷰의 제2 영상을 스티칭/결합함으로써 생성될 수 있다. 제1 영상은 제1 이미지 캡처 장치(예를 들어, 장치(101a))를 사용하여 캡처될 수 있고, 제2 영상은 제2 이미지 캡처 장치(예를 들어, 장치(101b))를 사용하여 캡처될 수 있다. 대상체의 다른 뷰는, 우측 뷰, 좌측 뷰, 탑-다운 뷰, 상향 뷰, 전방 뷰, 후방 뷰, 및 다른 뷰를 포함할 수 있다. 이러한 상이한 뷰로부터의 영상은 비디오 데이터(104)를 생성하도록 조합되어, 자동화된 표현형 분석 시스템을 사용하여 대상체 행동을 보다 정확하고/하거나 효과적으로 분류할 수 있는 대상체의 움직임에 대한 포괄적이고/광범위한 뷰를 제공할 수 있다. 일부 실시예에서, 상이한 뷰로부터의 영상은, 전체 뷰에 대한 탑-다운 사시 뷰를 유지하는 동시에, 짧은 초점 거리를 갖는 넓은 시야를 제공하도록 조합될 수 있다. 일부 실시예에서, 상이한 뷰로부터의 다수의 영상은 비디오 데이터(104)를 생성하기 위해 하나 이상의 ML 모델(예를 들어, 신경망)을 사용하여 처리될 수 있다. 일부 실시예에서, 시스템은 2D 비디오/이미지를 사용하여 3D 비디오 데이터를 생성할 수 있다.
일부 실시예에서, 다수의 이미지 캡처 장치(101)에 의해 캡처된 영상은 다양한 기술을 사용하여 동기화될 수 있다. 예를 들어, 다수의 이미지 캡처 장치(101)는 중앙 클럭 시스템에 동기화되고 마스터 노드에 의해 제어될 수 있다. 다수의 영상 피드의 동기화는 어댑터, 멀티플렉서, 이미지 캡처 장치 사이의 USB 연결, 네트워크(들)(199)에 대한 무선 또는 유선 연결, 장치(예를 들어, MotionEyeOS) 등을 제어하기 위한 소프트웨어와 같은 다양한 하드웨어 및 소프트웨어의 사용을 포함할 수 있다.
예시적인 실시예에서, 이미지 캡처 장치(101)는 넓은 파노라마 또는 반구형 이미지를 생성하도록 의도된 강력한 시각적 왜곡을 생성하며, 매우 넓은 시야각을 달성할 수 있는 초광각 렌즈(즉, 어안(FishEye) 렌즈)일 수 있다. 예시적인 실시예에서, 비디오 데이터(104)를 위한 영상을 캡처하기 위한 시스템은 4개의 단일 기판 컴퓨팅 장치(예를 들어, Raspberry Pi)에 연결된 4개의 어안 렌즈 카메라, 및 탑-다운 뷰를 캡처하기 위한 추가의 이미지 캡처 장치를 포함할 수 있다. 시스템은 다양한 기술을 사용하여 이들 구성 요소를 동기화할 수 있다. 하나의 기술은, 예를 들어 관심 포인트(예를 들어, 대상체 상의 신체 부위)가 (x, y)에 위치하는 픽셀/공간 보간을 포함하고, 여기에서, 시스템은 시간에 대해 x 및 y 축을 따라 탑-다운 뷰 영상 내의 위치를 식별한다. 일 실시예에서, x-축에 대한 픽셀 보간은 다음의 식에 따라 단일-보드 컴퓨팅 장치를 사용하여 계산될 수 있다:
(Pi 오프셋 △ X / Pi 오프셋 △ T) * (탑-다운 뷰 오프셋 △ T) + 시작 포인트 (x).
이에 이어서, 전술한 식을 사용하여 y축에 대한 관심 포인트 위치를 계산할 수 있다. 일부 실시예에서, 영상 교정 동안 렌즈 왜곡을 해결하기 위해, (영상 피드의 스케일링 대신에) 하나 이상의 영상 피드에 패딩이 추가될 수 있다.
대상체
본 발명의 일부 측면은 대상체에 대한 보행 및 자세 분석 방법의 사용을 포함한다. 본원에서 사용되는 용어 "대상체"는 인간, 비인간 영장류, 소, 말, 돼지, 양, 염소, 개, 고양이, 돼지, 조류, 설치류, 또는 다른 적절한 척추동물 또는 무척추동물 유기체를 지칭할 수 있다. 본 발명의 소정의 실시예에서, 대상체는 포유동물이고, 본 발명의 소정의 실시예에서, 대상체는 인간이다. 일부 실시예에서, 본 발명의 방법에 사용되는 대상체는, 마우스, 랫트, 저빌, 햄스터 등을 포함하지만 이에 한정되지 않는 설치류이다. 본 발명의 일부 실시예에서, 대상체는 정상의 건강한 대상체이고, 일부 실시예에서, 대상체는 질환 또는 병태를 앓고 있거나, 앓고 있는 것으로 의심될 위험이 있는 것으로 알려진 것이다. 본 발명의 특정 실시예에서, 대상체는 상기 질환 또는 병태의 동물 모델이다. 예를 들어, 제한하려는 것은 아니지만, 본 발명의 일부 실시예에서, 대상체는 자폐증에 대한 동물 모델인 마우스이다.
비제한적인 예로서, 본 발명의 방법 및 시스템으로 평가된 대상체는 정신 질환, 신경퇴행성 질환, 신경근 질환, 자폐 스펙트럼 장애, 조현병, 양극성 장애, 알츠하이머병, 레트 증후군, ALS 및 다운 증후군 중 하나 이상에 대한 모델과 같은 병태에 대한 동물 모델인 대상체일 수 있다.
본 발명의 일부 실시예에서, 대상체는 야생형 대상체이다. 본원에서 사용되는 "야생형"은 자연에서 발생하는 종의 전형적인 형태의 표현형 및/또는 유전자형을 의미한다. 본 발명의 소정의 실시예에서, 대상체는 비야생형 대상체, 예를 들어, 대상체의 종의 야생형 유전자형 및/또는 표현형과 비교하여 하나 이상의 유전적 변형을 갖는 대상체이다. 일부 경우에, 야생형과 비교한 대상체의 유전자형/표현형 차이는 유전적(생식선) 돌연변이 또는 후천적(체세포) 돌연변이의 결과이다. 대상체로 하여금 하나 이상의 체세포 돌연변이를 나타내게 할 수 있는 인자는 다음을 포함하지만, 이에 한정되지 않는다: 환경 인자, 독소, 자외선 방사선, 세포 분열에서 발생하는 자발적 오류, 방사선, 모체 감염, 화학물질 등과 같지만 이에 한정되지 않는 기형 유발 이벤트.
본 발명의 방법의 소정의 실시예에서, 대상체는 유전자 변형된 유기체이며, 조작된 대상체로도 지칭된다. 조작된 대상체는 사전에 선택되고/되거나 의도된 유전자 변형을 포함할 수 있으며, 이와 같이, 조작되지 않은 대상체에서의 형질과 상이한 하나 이상의 유전자형 및/또는 표현형 형질을 나타낸다. 본 발명의 일부 실시예에서, 통상적인 유전자 조작 기술이 종의 비조작 대상체와 비교하여 유전자형 및/또는 표현형 차이를 나타내는 조작된 대상체를 생산하는 데 사용될 수 있다. 비제한적인 예로서, 기능적 유전자 산물이 누락되거나 마우스에서 감소된 수준으로 존재하는 유전적으로 조작된 마우스 및 본 발명의 방법 또는 시스템이 유전적으로 조작된 마우스 표현형을 평가하는 데 사용될 수 있으며, 그 결과는 대조군으로부터 획득된 결과(대조군 결과)와 비교될 수 있다.
본 발명의 일부 실시예에서, 대상체는 본 발명의 보행 수준 결정 방법 또는 시스템을 사용하여 모니터링될 수 있고, 활동 장애 또는 병태의 존재 또는 부재가 검출될 수 있다. 본 발명의 특정 실시예에서, 활동 및/또는 움직임 병태의 동물 모델인 테스트 대상체는 병태에 대한 테스트 대상체의 반응을 평가하는 데 사용될 수 있다. 또한, 움직임 및/또는 활동 병태의 동물 모델인 테스트 대상체는 후보 치료제 또는 방법이 투여될 수 있고, 본 발명의 보행 모니터링 방법 및/또는 시스템을 사용하여 모니터링될 수 있고, 결과는 병태를 치료하기 위한 후보 치료제의 효능을 결정하는 데 사용될 수 있다. 용어 "활동" 및 "작용"은 본원에서 상호 교환적으로 사용될 수 있다.
본원의 다른 곳에서 기술된 바와 같이, 본 발명의 학습된 모델은 대상체의 물리적 특성에 관계없이, 대상체의 행동을 검출하도록 구성될 수 있다. 본 발명의 일부 실시예에서, 대상체의 하나 이상의 물리적 특성은 미리 식별된 특성일 수 있다. 예를 들어, 제한하려는 것은 아니지만, 미리 식별된 물리적 특성은 신체 형상, 신체 크기, 코트 색상, 성별, 연령, 및 질환 또는 병태의 표현형 중 하나 이상일 수 있다.
대조군 및 후보 화합물 테스트 및 스크리닝
본 발명의 방법 또는 시스템을 사용하여 대상체에 대해 수득된 결과를 대조군 결과와 비교할 수 있다. 본 발명의 방법은 또한 대상체 대 대조군에서의 표현형의 차이를 평가하는 데 사용될 수 있다. 따라서, 본 발명의 일부 측면은 대조군과 비교하여 대상체에서의 활동에서의 변화의 존재 또는 부재를 결정하는 방법을 제공한다. 본 발명의 일부 실시예는 질환 또는 병태의 표현형 특성을 식별하기 위해 본 발명의 보행 및 자세 분석을 사용하는 것을 포함한다.
본 발명의 방법 또는 시스템을 사용하여 얻어진 결과는 대조군과 유리하게 비교될 수 있다. 본 발명의 일부 실시예에서, 하나 이상의 대상체는 자동화된 보행 분석 방법을 사용하여 평가될 수 있고, 이에 이어서 대상체(들)에게 후보 치료 화합물을 투여한 후 대상체를 재검사할 수 있다. 용어 "시험" 대상체는 본 발명의 방법 또는 시스템을 사용하여 평가되는 대상체와 관련하여 본원에서 사용될 수 있다. 본 발명의 특정 실시예에서, 테스트 대상체를 평가하기 위해 자동화된 보행 분석 방법을 사용하여 획득된 결과를 다른 테스트 대상체에 대해 수행된 자동화된 보행 분석 방법으로부터 획득된 결과와 비교한다. 본 발명의 일부 실시예에서, 테스트 대상체의 결과를 상이한 시간에 테스트 대상체에 대해 수행된 자동화된 보행 분석 결과와 비교한다. 본 발명의 일부 실시예에서, 테스트 대상체를 평가하기 위해 자동화된 보행 분석 방법을 사용하여 획득된 결과를 대조군 결과와 비교한다.
대조군 값은 본 발명의 보행 분석 방법을 사용하여 복수의 대상체를 테스트하여 얻은 값일 수 있다. 본원에서 사용되는 바와 같이, 대조군 결과는 다양한 형태를 취할 수 있는 소정의 값일 수 있다. 이는 중앙 값 또는 평균과 같은 단일 컷오프 값일 수 있다. 이는, 테스트 대상체와 유사한 조건 하에서의 본 발명의 자동화된 보행 분석 방법을 사용하여 평가된 대상체와 같은, 비교군에 기초하여 확립될 수 있으며, 여기에서 테스트 대상체는 후보 치료제를 투여받고, 비교군은 후보 치료제와 접촉되지 않는다. 비교군의 다른 예는 질환 또는 병태를 갖는 것으로 알려진 대상체 및 질환 또는 병태를 갖지 않는 군을 포함할 수 있다. 또 다른 비교군은, 질환 또는 병태의 가족력을 갖는 대상체, 또는 이러한 가족력을 갖지 않는 군으로부터의 대상체일 수 있다. 예를 들어, 시험된 모집단이 시험 결과에 따라 군으로 균등하게 (또는 불균등하게) 나뉘어지는 경우 사전에 정해진 수로 배열할 수 있다. 당업자는 본 발명의 비교 방법에 사용하기 위한 적절한 대조군 및 수를 선택할 수 있다. 후보 화합물 유형의 비제한적인 예는 화학물질, 핵산, 단백질, 저분자, 항체 등을 포함한다.
본 발명의 자동화된 보행 분석 방법 또는 시스템을 사용하여 평가된 대상체는 시험 조건 대 대조군 조건에서 발생하는 변화의 존재 또는 부재에 대해 모니터링될 수 있다. 비제한적인 예로서, 대상체에서 발생하는 변화는, 다음 중 하나 이상을 포함할 수 있지만 이에 한정되지 않는다: 움직임 빈도, 외부 자극에 대한 반응 등. 본 발명의 방법 및 시스템은 테스트 대상체의 질환 또는 병태의 효과를 평가하기 위해 테스트 대상체와 함께 사용될 수 있고, 질환 또는 병태를 치료하기 위한 후보 치료제의 효능을 평가하기 위해 사용될 수 있다. 후보 치료제의 효능을 식별하기 위한 수단으로서, 테스트 대상체에서의 변화의 존재 또는 부재를 평가하기 위한 본 발명의 방법의 사용에 대한 비제한적인 예로서, 자폐증과 같은 질병의 동물 모델인 것으로 알려진 테스트 대상체는 본 발명의 자동화된 보행 분석 방법을 사용하여 평가된다. 테스트 대상체에게 후보 치료제를 투여하고 자동화된 보행 분석 방법을 사용하여 다시 평가한다. 테스트 대상체의 결과에서의 변화의 존재 또는 부재는 테스트 대상체의 자폐증에 대한 후보 치료제의 효과의 존재 또는 부재를 각각 나타낸다. 본 발명의 보행 분석 방법을 사용하여 평가될 수 있는 질환 및 병태는: ALS, 자폐증, 다운 증후군, 레트 증후군, 양극성 장애, 치매, 우울증, 운동과다 장애, 불안 장애, 발달 장애, 수면 장애, 알츠하이머병, 파키슨병, 신체적 손상 등을 포함하지만 이에 한정되지 않는다.
본 발명의 일부 실시예에서, 테스트 대상체는, 예를 들어, 본 발명의 자동화된 보행 분석 방법을 사용하여 2회 이상 평가되고 2회 이상의 상이한 평가에서 얻어진 결과를 비교함으로써, 자체 대조군으로서 기능할 수 있음을 이해할 것이다. 본 발명의 방법 또는 시스템은 본 발명의 방법 또는 시스템의 실시예를 사용하여 대상체의 2회 이상의 평가를 사용하여 시간 경과에 따른 대상체에서의 보행 특성의 변화를 식별하고 비교함으로써, 대상체에서 질환 또는 병태의 진행 또는 퇴행을 평가하는 데 사용될 수 있다.
질환 및 장애
본 발명의 방법 및 시스템은 질환 또는 병태를 앓고 있거나, 앓고 있는 것으로 의심되거나, 앓고 있는 위험이 있는 것으로 알려진 대상체의 활동 및/또는 행동을 평가하는 데 사용될 수 있다. 일부 실시예에서, 질환 및/또는 병태는 비정상적인 수준의 활동 또는 행동과 연관된 것이다. 비제한적인 예에서, 불안을 가진 대상체일 수 있는 테스트 대상체 또는 불안의 동물 모델인 대상체는 본 발명의 방법의 실시예를 사용하여 검출될 수 있는 불안과 연관된 하나 이상의 활동 또는 행동을 가질 수 있다. 테스트 대상체를 평가한 결과는, 예를 들어, 불안이 없는 대조군 대상체, 불안의 동물 모델인 대상체가 아닌 대조군 대상체, 병태가 없는 복수의 대상체로부터 수득된 대조군 표준 등의 평가의 대조군 결과와 비교될 수 있다. 테스트 대상체와 대조군의 결과의 차이를 비교할 수 있다. 본 발명의 방법의 일부 실시예는 비정상적인 활동 및/또는 행동과 연관된 질환 또는 병태를 갖는 대상체를 식별하는 데 사용될 수 있다.
비정상적인 활동 및/또는 행동과 관련된 질환 또는 병태의 발병, 진행 및/또는 퇴행이 또한 본 발명의 방법의 실시예를 사용하여 평가되고 추적될 수 있다. 예를 들어, 본 발명의 방법의 특정 실시예에서, 대상체의 활동 및/또는 행동에 대한 2, 3, 4, 5, 6, 7회 이상의 평가가 상이한 시간에 수행된다. 상이한 시간에 이루어진 평가 결과 중 둘 이상의 비교는 대상체의 활동 및/또는 행동의 차이를 보여줄 수 있다. 활동의 결정된 수준 또는 유형의 증가는 평가된 활동과 관련된 질환 또는 병태의 대상체에서 발병 및/또는 진행을 나타낼 수 있다. 활동의 결정된 수준 또는 유형의 감소는 평가된 활동과 연관된 질환 또는 병태의 대상체에서 퇴행을 나타낼 수 있다. 대상체에서 활동이 중단되었다는 결정은 평가된 활동과 연관된 질환 또는 병태의 대상체에서 중단을 나타낼 수 있다.
본 발명의 방법의 특정 실시예는 비정상적인 활동 및/또는 행동과 관련된 질환 또는 병태를 치료하기 위한 요법의 효능을 평가하는 데 사용될 수 있다. 예를 들어, 테스트 대상체에는, 대상체에서, 질병 또는 상태와 관련된 활동에서의 변화의 존재 또는 부재를 결정하기 위해 사용되는 본 발명의 후보 요법 및 방법을 투여될 수 있다. 후보 요법의 투여 후 비정상적인 활동의 감소는 질환 또는 병태에 대한 후보 요법의 효능을 나타낼 수 있다.
본원의 다른 곳에서 나타낸 바와 같이, 본 발명의 보행 분석 방법은 대상체에서 질환 또는 병태를 평가하는 데 사용될 수 있고, 질환 및 병태의 동물 모델을 평가하는 데 사용될 수도 있다. 다수의 마우스 모델을 포함하지만 이에 한정되지 않는, 질환 및 병태에 대한 다수의 상이한 동물 모델이 당업계에 공지되어 있다. 본 발명의 시스템 및/또는 방법으로 평가되는 대상체는, 신경퇴행성 장애, 신경근 장애, 신경정신 장애, ALS, 자폐증, 다운 증후군, 레트 증후군, 양극성 장애, 치매, 우울증, 운동 과다 장애, 불안 장애, 발달 장애, 수면 장애, 알츠하이머병, 파킨슨병, 신체적 상해 등과 같은, 질환 또는 병태에 대한 모델과 같은 질환 또는 병태에 대한 동물 모델이지만, 이에 한정되지 않는 대상체일 수 있다. 본 발명의 방법 및/또는 시스템을 사용하여 평가될 수 있는 질환 및 장애의 추가 모델은 당업계에 공지되어 있으며, 예를 들어, Barrot M. Neuroscience 2012; 211: 39-50; Graham, D.M., Lab Anim (NY) 2016; 45: 99-101; Sewell, R.D.E., Ann Transl Med 2018; 6: S42. 2019/01/08; 및 Jourdan, D., 등, Pharmacol Res 2001; 43: 103-110을 참조하며, 이의 내용은 그 전체가 참조로서 본원에 통합된다.
공지된 질환 또는 장애를 갖는 대상체를 테스트하는 것 이외에, 본 발명의 방법은 또한 조작된 유기체와 같은 새로운 유전자 변이를 평가하는 데 사용될 수 있다. 따라서, 본 발명의 방법은 질환 또는 병태의 하나 이상의 특성에 대해 조작된 유기체를 평가하는 데 사용될 수 있다. 이러한 방식으로, 새로운 마우스 계통과 같은 새로운 유기체 계통이 평가될 수 있고, 새로운 계통이 질환 또는 장애에 대한 동물 모델인지 여부를 결정하는 데 결과를 사용할 수 있다.
실시예
실시예 1. 모델 개발: 데이터 학습, 테스트, 및 모델 검증
방법
훈련 데이터
표지된 데이터는, 12개의 수동으로 표지된 포즈 키포인트와 함께 오픈 필드에 단일 마우스를 함유하는 8,910개의 480x480 그레이스케일 프레임으로 구성되어 있다. 상이한 외관을 갖는 다양한 세트의 마우스 계통으로부터 계통을 선택하여 코트 색상, 신체 크기 및 비만의 변화를 설명하였다. 도 8c는 오픈 필드 장치에 의해 생성된 대표적인 프레임을 도시한다. 프레임은 이전에 실험 데이터를 생성하는 데 사용한 것과 동일한 오픈 필드 장치로부터 생성되었다(Geuther, B. Q. 등, Commun Biol (2019) 2:1-11). 포즈 키포인트 주석은 몇몇 쿠마르 실험실(Kumar lab) 멤버에 의해 수행되었다. 프레임 이미지 및 키포인트 주석을 신경망 훈련에 사용된 HDF5 포맷을 사용하여 함께 저장하였다. 프레임 주석은 훈련을 위해 훈련 데이터세트(7,910 프레임) 및 검증 데이터세트(1,000 프레임)로 분할되었다.
신경망 훈련
네트워크는 600개의 에포크에 걸쳐 훈련되었으며, 모든 에포크가 끝날 때 검증을 수행하였다. 훈련 손실 곡선(도 8c)은 검증 손실의 오버피팅 없이 훈련 손실의 신속한 수렴을 보여준다. 표지 요건을 최소화하고 모델의 일반성을 개선하기 위해, 전달 학습(Weiss, K. 등, J Big Data (2016) 3:9 ; Tan, C. 등 27th Inti Conference on Artificial Neural Networks (2018), 270-279, arXiv: 1808.01974 [cs.LG])을 네트워크에서 사용하였다. 처음에, HRNet 논문(hrnet_w32-36af842e.pth)의 저자들이 제공한 이미지넷 모델을 사용하였고, 훈련하는 동안 가중치를 제2 단계까지 동결시켰다. 네트워크의 일반성을 더욱 개선하기 위해, 훈련 중에 회전, 뒤집기, 스케일링, 밝기, 대조 및 폐색을 포함하는 여러 데이터 증강 기술을 사용하였다. ADAM 옵티마이저를 사용하여 네트워크를 훈련시켰다. 학습 속도는 초기에 5 x 10-4로 설정된 다음, 400th 에포크에서 5 x 10-5로, 500th 에포크에서 5 x 10-6으로 감소시켰다.
통계 분석
다음의 LMM 모델은 반복된 측정을 위해 고려되었다:
여기서 n은 총 대상체 수이고; y ij 는 i th 대상체에 대한 j th 반복 측정이고, n i 는 대상체 i에 대한 반복 측정의 수를 나타내고; x ij 는 신체 길이, 속도, 유전자형, 연령과 같은 공변량의 p x 1 벡터이고; β는 알려지지 않은 고정된 집단 수준 효과의 p x 1 벡터이고; γi는 모집단 평균 효과로부터의 대상체 특이적 편차를 기술하는 무작위 절편이고; 및 ε ij 는 무작위 효과와는 독립적인 것으로 가정되는 i th 대상체의 대상체 내 변이를 기술하는 오차 항이다. 고정 효과를 테스트하고 p-값을 얻기 위해, 자유도에 대한 새터스웨이트(Satterthwaite)의 근사치를 이용한 F 테스트가 사용되었다. LMM 모델은 R(Bates, D. et al, J Stat Softw (2015) 67:1-48) 중 lme4 패키지를 사용하여 적합화되었다.
도 14a의 원형상 변수는 원형-선형 회귀 모델을 사용하여 선형 변수의 함수로서 모델링하였다. 원형 데이터를 분석하는 것은 간단하지 않으며, 선형 데이터를 위해 개발된 통계 모델은 원형 데이터에 적용되지 않는다[Calinski, T. & Harabasz, Communications in Statistics-theory 및 Methods 3, 1-27 (1974)]. 원형 반응 변수는 알려지지 않은 평균 방향 μ 및 농도 파라미터 κ가 본-미세스(von-Mises) 분포로부터 도출된 것으로 가정하였다. 평균 방향 파라미터는 식을 통해 변수 X와 관련되었다:
여기서, g(u ) = 2 tan-1(u)은 -∞ <u< ∞, -π < g(u) < π에 대한 링크 함수이다. 파라미터 μ; γ1 ... γ k 및 κ는 최대 가능성을 통해 추정하였다. 모델은 R [Tibshirani, R. 등 Journal of the Royal Statistical Society: Series B (Statistical Methodology) 63, 411-423 (2001)]의 원형 패키지를 사용하여 적합화되었다.
동물
실험에 사용된 동물 계통은 도 14b-d에 도시되어 있다.
실험 설명 및 결과
보행 및 자세 분석에 대한 접근법은 여러 개의 모듈 구성 요소로 구성되었다. 툴킷의 베이스에는, 오픈 필드의 탑-다운 비디오에 대한 포즈 추정을 수행하도록 훈련된 심층 컨볼루션 신경망이 있었다. 이러한 네트워크는, 각 시점에서 마우스의 자세를 설명하는 비디오의 각 프레임에 대해 마우스 해부학적 위치의 12개의 2차원 마커 또는 "키포인트"를 제공하였다. 또한, 포즈의 시계열을 처리할 수 있고 개별 보폭을 나타내는 간격을 식별할 수 있는 하류 구성요소를 개발하였다. 이러한 보폭은 이어지는 거의 모든 표현형 및 통계적 분석의 기초를 형성하였다. 상기 방법은 각 보폭 간격에 대해 포즈 정보가 획득되었기 때문에, 보폭 단위 기준으로 몇 가지 중요한 보행 메트릭의 추출을 가능하게 한다(메트릭의 목록은 도 14a 참조). 이는, 마우스 보행 구조의 컨센서스 뷰를 제공하기 위해, 보폭 메트릭에 대한 통계적 분석을 수행할 뿐만 아니라 많은 양의 데이터를 집계할 수 있는 상당한 힘을 초래하였다.
포즈 추정
포즈 추정은 이미지 또는 비디오에서 미리 정의된 키포인트 세트의 2D 좌표에 위치하였으며, 보행을 정량화하고 분석하기 위한 방법의 기초였다. 선택된 포즈 키포인트는 귀 또는 코와 같이 시각적으로 두드러지거나, 사지 관절 또는 발과 같은 포즈를 이해하기 위한 중요한 정보를 캡처하였다. 마우스 포즈를 캡처하기 위해 12개의 키포인트가 선택되었다: 코, 좌측 귀, 우측 귀, 목 베이스, 좌측 앞발, 우측 앞발, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일 베이스, 미들 테일 및 테일 팁(도 7b).
인간 포즈에 대한 포즈 추정 기술을 개발하고 정제하는 데 많은 노력을 기울였다(Moeslund, T. B. 등, Comput Vis Image Underst (2006) 104:90-126; Dang, Q. 등, Tsinghua Sci Technol (2019) 24:663-676). 포즈 추정에 대한 전통적인 접근법은 국소 신체 부위 검출기의 사용 및 골격 관절의 모델링과 같은 기술에 의존하였다. 이러한 접근법은 복잡한 구성 및 신체 부위 폐색과 같은 복잡한 인자를 극복하는 능력이 제한되었다. 포즈 추정을 위한 심층 신경망을 개발함으로써 이러한 단점들 중 일부를 해결하였고, 이는 딥포즈(DeepPose)였다(Toshev, A. & Szegedy, C., Proc IEEE Conf Comp Vis Pattern Recognit (2014), 1653-1660). 딥포즈는 몇 가지 벤치마크를 사용하여 포즈 추정을 위한 최첨단 성능 개선을 입증할 수 있었다. 딥포즈의 발표 후, 포즈 추정에 대한 성공적인 작업의 대부분은 심층 컨볼루션 신경망 아키텍처를 이용하였다. 일부 대표적인 예는, DeeperCut(Insafutdinov, E., 등, European Conference on Computer Vision (2016), 34-50), Stacked Hourglass Networks(Newell, A. 등, European Conference on Computer Vision (2016), 483-499), 및 Deep High-Resolution Architecture(HRNet)( Sun, K. 등, Proc IEEE Conf Comp Vis Pattern Recognit (2019), 5693-5703)를 포함한다. 인간 포즈 추정을 위해 개발된 고성능 포즈 추정 아키텍처에 사용된 일부 개념은 본 발명의 방법에 포함된 설치류 포즈 추정 방법의 개발에 고려되었다.
설치류 포즈 추정 아키텍처 선택에 기초를 둔 몇 가지 중요한 고려사항이 있었다.
·
포즈 추론을 위한 높은 정확성과 정밀도: 보행 추론 방법은 포즈 추정의 오차에 민감하므로 이러한 오차를 가능한 한 많이 감소시키는 것이 바람직하다
·
추론 속도: 최신 하이 엔드 GPU에서 실시간 속도(30fps) 또는 그 이에 근접한 속도로 추론할 수 있어야 한다
·
수정 및 확장을 용이하게 하기 위한 아키텍처의 단순성 및 일반성.
·
고정 스케일 추론: 모든 이미지가 고정 스케일이기 때문에, 다수의 스케일에서 작동하도록 설계된 접근법은 네트워크 용량 및 추론 시간을 낭비한다.
·
이용 가능한 오픈 소스 구현
·
향후 잠재적인 업그레이드를 용이하게 하기 위한 아키텍처의 모듈화.
이들 기준에 기초하여, HRNet 아키텍처(Sun, K. et alh, Proc IEEE Conf Comp Vis Pattern Recognit (2019), 5693-5703)가 네트워크용으로 선택되었고, 이는 실험 설정을 위해 수정되었다. 이 아키텍처의 주요 차별화 요소는 네트워크 스택 전체에 걸쳐 고해상도 특징을 유지하여 공간 정밀도를 보존한다는 점이다(도 7a). HRNet은 GPU 효율과 포즈 정확성 측면에서 매우 경쟁력 있는 성능을 보였다. 인터페이스는 또한 매우 모듈화되어 있으며, 필요한 경우 비교적 간단한 네트워크 업그레이드를 가능하게 할 것으로 기대된다. 정확도를 약간만 감소시키기 위해 상당한 속도 및 메모리 개선을 제공하는 것으로 나타났기 때문에 HRNet-W48보다는 더 작은 HRNet-W32 아키텍처가 사용되었다. 히트맵 출력 해상도와 비디오 입력 해상도를 일치시키기 위해 2개의 5x5 트랜스포즈 컨볼루션을 네트워크 헤드에 추가하였다(도 7b). 모든 실험이 오픈 필드에 단일 마우스를 갖기 때문에, 인스턴스화를 위한 객체 검출에 의존할 필요가 없었다. 따라서, 이 단계는 추론 알고리즘에서 제거되었고, 이는 또한 명확한 런타임 성능 이점을 초래하였다. 객체 검출 후 포즈 추정을 수행하는 대신에, 완전한 해상도 포즈 키포인트 히트맵을 사용하여 모든 프레임에서 단일 마우스의 자세를 추론하였다. 이는 비디오의 480x480 프레임 각각에 대해 12개의 480x480 히트맵이 생성되었음을 의미한다(키포인트당 1개의 히트맵). 각 히트맵의 최대값은 각각의 포인트에 대해 각각 가장 높은 신뢰 위치를 나타낸다. 따라서, 12개의 히트맵 각각의 argmax를 취함으로써 12개의 (x, y) 좌표를 생성하였다.
네트워크를 훈련하기 위해, 손실 함수 및 최적화 알고리즘을 선택하는 것이 필요하였다. 손실의 경우, 원래의 HRNet 설명에 사용된 접근법(Sun, K. 등, Proc IEEE Conf Comp Vis Pattern Recognit (2019), 5693-5703)을 사용하였다. 각 키포인트 라벨에 대해, 각각의 키포인트에 중심을 둔 2D 가우스 분포를 생성하였다. 그런 다음, 키포인트 중심 가우스로 네트워크의 출력을 준비하였고, 표지된 키포인트 가우스와 네트워크에 의해 생성된 히트맵 간의 평균 제곱 차이로서 손실을 계산하였다. 네트워크는 확률적 경사 하강의 변이체인 ADAM 최적화 알고리즘을 사용하여 훈련되었다(Kingma, D. P. & Ba. J. (2014) arXiv: 1412.6980). 도 7c는 검증 손실이 빠르게 수렴함을 보여준다. 코트 색상, 신체 길이 및 비만의 변화를 포함하여, 광범위한 마우스 외관을 나타내는 라벨을 의도적으로 생성하여, 생성된 네트워크가 이러한 차이에 걸쳐 강력하게 작동하도록 보장하였다. 이러한 다양한 계통에 걸쳐 8,910개의 프레임을 훈련용으로 손으로 표지하였다(방법 참조). 생성된 네트워크는 다양한 신체 크기, 형상 및 코트 색상을 갖는 수십 개의 마우스 계통을 추적할 수 있었다(Geuther, B. Q. 등, Commun Biol (2019) 2:1-11).
보폭 추론
보폭 간격을 검출하는 접근법은 힐데브란트에 의해 기술된 보행의 환형 구조에 기초하였다(도 8a)(Hildebrand, M. J Mammalogy (1977) 58:131-156; Hildebrand, M. Bioscience (1989) 39:766). 보폭 사이클 동안, 각각의 발은 입각기 및 유각기를 갖는다(Lakes, E. H. & Allen, K. D. Osteoarthr Cartil (2016) 24:1837-1849). 입각기 동안, 마우스의 발은 마우스의 중량을 지지하고 지면과 정적 접촉한다. 유각기 동안, 발은 앞으로 이동하고 마우스의 체중을 지지하지 않는다. 힐데브란트에 이어서, 입각기에서 유각기로의 전이는 발끝 이벤트로서 지칭되고, 유각기에서 입각기로의 전이는 발걸음 이벤트로서 지칭된다.
보폭 간격을 계산하기 위해, 뒷발에 대한 스탠스 및 유각기를 결정하였다. 발 속도를 계산하였고, 속도가 임계값 아래로 떨어질 때 발이 입각기에 있고, 그 임계값을 초과했을 때 유각기에 있는 것으로 추정하였다(도 8c-f). 그런 다음, 유각기로부터 입각기로의 전이 프레임에서 발걸음 이벤트가 발생하였음을 결정할 수 있다(도 8c). 좌측 뒤 발걸음은 보폭 주기를 분리하는 이벤트로서 정의되었다. 뒷발에 대한 발 속도와 발걸음 이벤트 사이의 관계의 예가 도 8d에 도시되어 있다. 도 8e에 도시된 바와 같이, 앞발이 아닌 뒷발의 깨끗하고 높은 진폭 진동이 관찰되었다. 앞발과 뒷발 간의 이러한 추론 정확도의 차이는 앞발이 탑-다운 뷰에서 뒷발보다 더 자주 폐색되어 정확한 위치를 찾기가 더 어렵다는 사실 때문일 수 있다. 도 8g에 나타낸 바와 같이, 앞발 추론의 신뢰성에 있어서 상응하는 감소가 관찰되었다. 이러한 이유로, 보폭 간격을 도출할 때 앞발은 고려 대상에서 제외되었고, 대신에 뒷발에 초점을 맞추었다. 또한, 상당한 양의 필터링을 보폭에 대해 수행하여 데이터세트로부터 불순한 또는 낮은 품질의 보폭 주기를 제거하였다(도 8g). 보폭을 제거하기 위한 기준에는 낮은 신뢰도 또는 생리학적으로 비현실적인 포즈 추정치, 누락된 우측 뒷발 스트라이크 이벤트, 및 10cm/초 미만의 임의의 속도인, 마우스의 불충분한 전체 신체 속도가 포함되었다. 도 8g는 각 키포인트에 대한 신뢰 분포를 보여준다. 필터링 방법은 0.3을 신뢰 임계값으로서 사용하였다. 매우 높은 신뢰도 키포인트는 1.0에 가깝다. 보폭의 연속 시퀀스에서 첫 번째 및 마지막 보폭은 항상 제거되어 시작 및 정지 행동이 보폭 데이터에 노이즈를 추가하지 않도록 하였다(도 8c-d, Track A 및 B에서 A 및 D로 표시됨). 이는 7개의 보폭 시퀀스는 분석에 사용되는 최대 5개의 보폭을 야기한다는 것을 의미하였다. 키포인트 신뢰도의 분포는 키포인트 유형에 따라 다르다(도 8g). 앞발과 같은 탑-다운 뷰에서 폐색되는 경향이 있는 키포인트는 다른 키포인트와 비교하여 신뢰 분포를 하향 이동시켰다. 또한, 가시 중심과 같이 가시적으로 두드러지지 않은 키포인트는 정확하게 위치를 찾기가 더 어렵기 때문에 신뢰도가 더 낮게 나타나는 것으로 관찰되었다. 마지막으로, 순간 각속도도 계산하였는데, 이는 각 보폭의 방향성 결정을 허용하였다(도 8f). 각속도는 마우스의 테일 베이스를 그의 목 베이스에 연결하는 선에 의해 형성된 각도의 제1 유도체를 취함으로써 계산하였다. 종합적으로 이러한 접근법은, 오픈 필드에서 마우스의 개별적인 고품질 보폭을 식별할 수 있었다.
보행 정량화가 제대로 기능했는지 검증하기 위해, 흔히 사용되는 근친종 계통인 C57BL/6NJ의 데이터를 분석하였다. 마우스 당 대략 1시간의 오픈 필드 비디오를 사용하여 31마리 동물의 15,667회의 보폭으로부터 스탠스 및 스윙의 백분율을 계산하였다. 뒷발의 데이터를 분석하였는데, 이는 이들이 스탠스 및 스윙 동안 가장 높은 진폭 진동을 나타내기 때문이다(도 8d,e). 데이터를 테일 베이스 포인트에 기초하여 9개의 각속도 및 8개의 스피드 빈으로 계층화하였다(각각 도 8h, i). 예상대로, 동물이 좌회전할 때 좌측 뒷발의 보폭에 대한 스탠스 백분율의 증가를 결정하였다. 상호적으로, 동물이 우회전할 때, 우측 뒷발의 스탠스 백분율이 증가하였다(도 8h). 그런 다음, 보폭을 중심 각속도 빈(-20 내지 20도/초)에서 분석하여 보폭의 속도가 증가함에 따라 보폭 주기 동안의 스탠스 백분율이 감소하는지를 결정하였다. 보폭 속도가 증가함에 따라 스탠스 시간이 감소한 것으로 결정하였다(도 8i). 속도와 이러한 관계를 정량화하기 위해 뒷발에 대한 듀티 팩터를 계산하였다(도 8j). 종합적으로, 상기 방법들이 탑-다운 관점에서 이들 오픈 필드 비디오로부터 보폭을 정량적으로 및 정확하게 추출할 수 있다는 결론을 내렸다.
보폭 간격이 결정된 후, 도 14a에 정의된 바와 같은 여러 보폭 메트릭을 유도하기 위해, 프레임 포즈를 스탠스 및 유각기 간격과 함께 사용할 수 있다. 모든 관련 시공간 메트릭은 뒷발에서 추출할 수 있었으며, 이는 통계 분석을 위한 일차 데이터 소스로 사용되었다(Lakes, E. H. & Allen, K. D. Osteoarthr Cartil (2016) 24:1837-1849).
보행 주기 중 전신 자세 추정
탑-다운 비디오는 6개의 키포인트(코, 목 베이스, 척추 중심, 테일 베이스, 테일 미들(Tail middle) 및 테일 팁(Tail tip))로 척추의 상대 위치를 결정할 수 있게 한다. 이들로, 보폭 주기 동안 전신 포즈를 추출하였다. 보폭 주기 동안 측방향 움직임을 캡처하기 위해 3개의 포인트(코, 테일 베이스 및 테일 팁)만을 사용하였다(도 9a-c). 이들 측정은 코 및 테일 팁의 대향 파스를 갖는 원형이었다. 디스플레이의 경우, C57BL/6J 및 NOR/LtJ를 사용하였는데, 이는 보폭 사이클 동안 상이한 테일 팁 파스를 갖는다. 각 보폭에 대한 이들 파스 플롯을 추출하는 것이 가능하였는데, 이는 높은 민감도를 제공하였다(도 9d-e). 각 계통에 걸쳐 몇 시간 분량의 비디오가 획득되었기 때문에, 높은 수준의 민감도를 가능하게 하는 수천 개의 보폭을 추출할 수 있었다. 이들은 하나의 속도 및 각속도 빈에서 조합되어 각 동물 및 계통에 대한 컨센서스 보폭 파스 플롯을 결정할 수 있다(도 9f-g). 마지막으로, 이들 파스 플롯을 여러 계통 간에 비교하였고, 보행 주기 동안 전신 자세에서 현저한 다양성을 발견하였다.
여러 개의 메트릭은 포즈 키포인트에서 관찰된 주기적 측방향 변위와 관련되었다(도 9a-i). 측방향 변위의 척도는 관련 보폭 변위 벡터로부터 직교 오프셋으로서 정의되었다. 변위 벡터를, 보폭의 제1 프레임 상의 마우스의 척추 중심을 보폭의 마지막 프레임 상의 마우스의 척추 중심과 연결하는 선으로서 정의하였다. 이러한 오프셋을 보폭의 각 프레임에서 계산한 다음, 매끄러운 변위 곡선을 생성하기 위해 큐빅 보간을 수행하였다. 변위의 파스 오프셋은 이러한 평활화된 곡선 상에서 최대 변위가 발생한 보폭 위치의 백분율로서 정의되었다. 예로서, 파스 오프셋에 대한 90의 값이 관찰되지 않은 경우, 이는, 보폭 주기가 90% 완료된 포인트에서 피크 측방향 변위가 발생했음을 나타냈다. 보폭에 할당된 측방향 변위 메트릭은 보폭 동안 관찰된 최대 변위 값과 최소 변위 값 사이의 차이였다(도 9a). 이러한 분석은 매우 민감하고 미묘한 검출을 허용하였지만, 매우 유의한 차이는 보폭 동안 전반적인 자세이다. 힐데브란트의 방법에 기초한 이전의 고전적 시공간 측정치를 분석을 위한 조합된 전신 자세 메트릭과 함께 사용하였다. 파스-오프셋 메트릭의 주기적 성질로 인해, 분석에서 이들 메트릭에 순환 통계를 적용하기 위해 주의를 기울였다. 다른 측정은 선형 방법을 사용하여 분석하였다.
보행 측정의 통계적 분석 및 유전적 검증
보행 및 자세 추출 후, 데이터 분석을 위한 통계적 프레임워크를 확립하였다. 방법을 검증하기 위해, 3개의 마우스 모델을 표현형화하였는데, 각각은 보행 결함을 가지며 전임상 모드인 것으로 이전에 나타났다; 인간 질환의 원인 - 레트 증후군, 근위축성 측색 경화증(ALS 또는 루게릭병), 및 다운 증후군. 3개의 모델인, Mecp2 녹아웃, SOD1 G93A 이식 유전자, 및 Ts65Dn 삼염색체를 각각 1시간의 오픈 필드 분석에서 2개의 연령의 적절한 대조군으로 시험하였다(도 14b). 보행 메트릭은 동물 크기 및 보폭 속도와 고도로 상관되어 있다(Hildebrand, M. Bioscience (1989) 39:766) (도 8i-j). 그러나, 많은 경우에, 보폭 속도의 변화는 유전적 또는 약리학적 섭동으로 인한 보행 변화의 한정적인 특징이다. 또한, 상기 방법은 각 대상체(마우스)에 대한 다수의 반복 측정을 수집하기 위해 사용되었고, 각 대상체는 상이한 수의 (보폭) 불균형 데이터를 생성하였다. 대상체 당 하나의 평균 값을 산출하는, 반복 보폭을 평균화하는 것은 변이를 제거하고 거짓 신뢰도를 도입하기 때문에 오해의 소지가 있을 수 있다. 동시에, 고전적인 선형 모델은 추정치를 심각하게 편향시키는 안정적인 대상체 내 변이와 대상체 간 변동을 구별하지 않는다. 이를 해결하기 위해, 선형 혼합 모델(LMM)을 사용하여 대상체들 간의 유전자형 기반 변이로부터 대상체 내 변이를 분리하였다(Laird, N. M. & Ware, J. H., Biometrics (1982) 38:963-974; Pinheiro, J. & Bates, D. Mixed-effects Model in S and S-PLUS, New York: Springer-Ver-La, 2000). 구체적으로, 동물 크기, 유전자형, 연령과 같은 주요 효과에 추가하여, 대상체 내 변이를 포착하는 무작위 효과가 포함된다. 마지막으로, 중첩된 계층적 데이터 구조를 발생시키는 2개의 상이한 연령에서 다수의 반복 측정이 이루어졌다. 모델(M1, M2 M3)은 고정 효과를 나타내는 (Genotype, BodyLength, Speed, TestAge) 및 무작위 효과를 나타내는 (MuseID/TestAge) (동물 내에 중첩된 테스트 연령)을 갖는 표준 LMM 표기법을 따른다. 동물 크기 및 때로는 보폭 속도를 고려하지 않는 이전에 공개된 데이터와 결과를 비교하기 위해, 연령 및 신체 길이(M1), 연령 및 속도(M2), 연령, 속도 및 신체 길이(M3)만을 취하는 3개의 모델을 사용해 결과를 통계적으로 모델링하였다(도 10 및 도 14). 모델들은: M1 : Phenotype ~ Genotype + TestAge + BodyLength + (1 | MouseID/TestAge); M2 : Phenotype ~ Genotype + TestAge + Speed + (1 | MouseID/TestAge); 및 M3: Phenotype ~ Genotype + TestAge + Speed + BodyLength + (1 | MouseID/TestAge)이다.
성별은 신체 길이와 상관관계가 높기 때문에 모델에 포함되지 않았다(ANOVA를 사용해 측정되고 η로 표시됨, SOD1(η = 0.81) 및 Ts65Dn(전체 η = 0.16, 대조군 η = 0.89, 돌연변이체 η = 0.61 모두에서 강함). Mecp2 수컷 및 암컷을 별도로 분석하였다. 도 14a의 원형 파스 변수는 원형-선형 회귀 모델(Fisher, N. I. & Lee, A.J., Biometrics (1992) 48:665-677)을 사용하여 선형 변수의 함수로서 모델링되었다. 신체 길이 및 속도와 같은 선형 변수에 대해 조정하기 위해, 이들을 모델에 공변량으로 포함시켰다(또한 방법 참조). 도 10 및 도 11은 p-값 및 정규화된 효과 크기를 보고한다. 명확성을 위해, 정확한 통계는 도 19 및 도 20에 상세히 보고되었다.
레트 증후군 모델을 사용한 검증
유전적 신경발달 장애인 레트 증후군은 X-연결 MECP2 유전자의 돌연변이에 의해 야기된다(Amir, R. E. 등, Nat Genet (1999) 23:185-188). 연구에는 움직임 감소, 보행 이상, 사지 고정, 출생 시 저체중, 및 치사율을 포함하여, 레트 증후군의 많은 특징을 재현하는 일반적으로 연구되는 Mecp2의 결실이 포함되었다(Guy, J. 등, Nature Genet, (2001) 27:322-326). 반접합성 수컷(n = 8), 이형접합성 암컷(n = 8), 및 한배 새끼 대조군(각 성별의 n = 8)을 시험하였다(도 14b). 널(Null) 수컷은 출생 시 정상이며 약 50~60일의 기대 수명을 갖는다. 이들은 3~8주까지 연령 의존적 표현형이 나타나기 시작하고, 10주까지 치사율이 나타나기 시작한다. 이형접합성 암컷은 훨씬 더 나이가 들어도 경미한 증상을 갖는다(Guy, J. 등, Nature Genet, (2001) 27:322-326). 수컷 마우스를 43일 및 56일에 2회 테스트하고 암컷을 43일 및 86일에 테스트하였다.
이러한 녹아웃에 대한 연구는 반접합성 수컷에서 연령 의존적 방식으로 보폭 길이 및 스탠스 폭의 변화를 보여주었다(Kerr, B. 등, PLoS One (2010) 5(7):el 1534; (2010); Robinson, L. 등, Brain (2012) 135:2699-2710). 최근의 분석은 스텝 폭 증가, 보폭 길이 감소, 보폭 시간 변화, 스텝 각도, 및 중첩 거리를 보여주었다(Gadalla, K. K. 등, PloS One (2014) 9(11):el 12889). 그러나, 이들 연구는 Mecp2 반접합성 수컷에서 보이는 신체 크기 감소에 대해 조정하지 않았으며(도 14d) 일부 경우에 보폭의 속도를 모델링하지 않았다. 이전에 공개된 데이터에 대해 수득된 실험 데이터의 가장 관련 있는 비교는 M2를 사용하였는데, 이는 속도를 모델링하지만 신체 길이는 그렇지 않다(Gadalla, K. K. 등, PloS One (2014) 9(11):el 12889; Fig. 14d). 대부분의 보행 메트릭과 여러 신체 조정 메트릭스는 사지 듀티 팩터, 스텝 및 보폭 길이, 스텝 폭 및 시간적 대칭성을 포함하는 대조군에 대해 반접합성 수컷에서 유의하게 상이하다는 것을 발견하였다. 그러나, 대부분의 보행 메트릭은 동물의 크기에 따라 달라지며, 반접합성 수컷은 신체 길이가 13% 더 작다(도 14d) (Guy, J. 등, Nature Genet, (2001) 27:322-326). 또한, 분석은 20-30cm/s의 보폭 속도로 제한되었으며, 이는 속도 차이에 의해 도입된 변동의 감소를 허용하였다. 따라서, 속도 대신 신체 길이를 공변량으로 포함하는 모델(M1, 도 10a)과, 그리고 신체 길이와 속도가 모두 포함되는 모델(M3, 도 15a)도 비교하였다. M2 모델의 결과는 반접합성 수컷에서 보폭 속도, 스텝 폭, 보폭 길이, 전신 조정 표현형(테일 팁 진폭, 테일 팁 및 코의 파스)에 있어서 유의한 차이를 나타냈다(도 10b). 대부분의 표현형은 수컷에서 7주(56일)까지 심각한 영향을 미치는 연령에 따라 달라졌다(도 10d). 속도 및 신체 길이(M3) 둘 다를 포함하는 모델은, 스텝 폭의 상당한 감소 및 보폭 길이의 암시적 차이, 및 전신 조정 메트릭(테일 팁 진폭, 테일 팁의 상, 테일 베이스, 및 코)의 강력한 차이를 보여주었다(도 15). Mecp2 이형접합성 암컷에서는 유의한 차이가 거의 관찰되지 않았으며, 이들은 3가지 모델 모두에서 일관적이었다. 3개의 모델 모두는 일관되게 테일 팁 진폭이 상당히 더 높다는 것을 확인하였는데, 이는 암컷에서 더 많은 측방향 움직임을 시사한다(도 10a-b 및 도 15). 종합적으로, 이 방법이 이전에 기술된 Mecp2의 차이를 정확하게 검출할 수 있음을 입증하였다. 또한, 전신 조정 메트릭은 이전에 설명되지 않은 차이를 검출할 수 있었다.
ALS 모델을 사용한 검증
SOD1-G93A 이식 유전자를 가진 마우스는 운동 뉴런의 점진적 손실을 갖는 ALS의 전임상 모델이다(Gurney, M. E. 등의 Science (1994) 264:1772-1775; Rosen, D. R. 등의 Nature (1993) 362:59-62). SOD1-G93A 모델은 보행 표현형, 특히 뒷다리의 변화를 갖는 것으로 나타났다(Wooley, C. M. et al,. Muscle & Nerve (2005) 32:43-50; Amende, I. 등, J Neuroeng Rehabilitation (2005) 2:20; Preisig, D. F. 등, Behavioural Brain Research (2016) 311:340-353; Tesla, R. 등, PNAS (2012) 109:17016-17021; Mead, R. J. 등, PLoS ONE (2011) 6:e23244; Vergouts, M. 등, Metabolic Brain Disease (2015) 30:1369-1377; Mancuso, R. 등, Brain Research (2011) 1406:65-73). 가장 현저한 표현형은, 연령 의존적인 방식으로, 스탠스 시간(듀티 팩터)의 증가, 및 보폭 길이의 감소이다. 그러나, 몇몇 다른 연구는 반대 결과를 관찰하였다(Wooley, C. M. 등, Muscle & Nerve (2005) 32:43-50; Amende,I. 등, J Neuroeng Rehabilitation (2005) 2:20; Mead, R. J. 등, PLoS ONE (2011) 6:e23244; Vergouts, M. 등, Metabolic Brain Disease (2015) 30:1369-1377), 일부에서는 유의한 보행 효과가 나타나지 않았다 (Guillot, T. S. 등, Journal of Motor Behavior (2008) 40: 568-577). 이들 연구는 신체 크기 차이에 대해 조정되지 않았거나, 일부 경우에는 속도에 대해 조정되지 않았다. SOD1-G93A 이식 유전자 및 적절한 대조군을 질환 발병 시간 동안 64 및 100일차에 시험하였다(Wooley, C. M. et al,. Muscle & Nerve (2005) 32:43-50; Preisig, D. F. 등, Behavioural Brain Research (2016) 311:340-353; Vergouts, M. 등, Metabolic Brain Disease (2015) 30:1369-1377; Mancuso, R. 등, Brain Research (2011) 1406:65-73; Knippenberg, S. 등, Behavioural Brain Research (2010) 213: 82-87).
놀랍게도, 이식유전자 담체와 대조군 간에 상이한 표현형은 사용된 선형 혼합 모델에 따라 상당히 다양하다는 것을 발견하였다. 신체 길이와 연령을 조정하지만 속도는 조정하지 않는 M1은, 보폭 속도, 길이 및 듀티 팩터가 상당히 다르다는 것을 발견한다(도 10a). 그러나, 속도가 모델(M2)에 있었거나, 속도 및 신체 길이가 모델(M3)에 있었던 경우, 유일한 차이는 테일 팁과 코의 파스에 작은 변화가 있었다(도 10b 및 15 참조). 이는 M1을 사용하여 듀티 팩터 및 보폭 길이에서 관찰된 변화가 보폭 속도의 변화로 인한 것임을 나타냈다. 이러한 결과는 SOD1 이식유전자의 주요 효과가 보폭 속도에 있으며, 이는 보폭 시간 및 듀티 팩터의 변화를 초래한다는 것을 주장한다. 전신 조정의 약간의 변화는 신체 크기의 감소로 인한 것이다(도 14d). 결과는 보행 변화가 이 ALS 모델에서 가장 민감한 전임상 표현형이 아닐 수 있다는 보고와 일치하였으며, 가시적인 임상 징후 및 로타로드와 같은 운동 학습 과제와 같은 다른 표현형은 보다 민감한 척도이다(Mead, R. J. 등, PLoS ONE (2011) 6:e23244; Guillot, T. S. 등, Journal of Motor Behavior (2008) 40: 568-577). 요약하자면, 테스트 결과는 통계적 모델을 검증하였으며 문헌에서 불일치하는 결과의 일부를 설명하는 데 도움이 될 수 있다.
다운 증후군 모델을 사용한 검증
21번 염색체의 전부 또는 일부의 삼염색체증에 의해 야기되는 다운 증후군은 복잡한 신경학적 및 신경감각 표현형을 갖는다(Haslam, R. H. 다운 증후군: 지역사회에서 생활 및 학습. 뉴욕: Wiley-Liss, 107-14 (1995) 참조). 지적 장애, 발작, 사시, 안진, 및 청각 저하와 같은 표현형의 스펙트럼이 있지만, 더 현저한 표현형은 미세 운동 능력에서의 발달 지연이다 (Shumway-Cook, A. & Woollacott, M. H. Physical Therapy 65:1315-1322 (1985); Morris, A. 등, Journal of Mental Deficiency Research (1982) 26:41-46). 이들은 종종 서투르거나 조정되지 않은 움직임으로 기술된다(Vimercati, S. 등, Journal of IntellectualDisability Research (2015) 59:248-256; Latash, M. L. Perceptual-motor behavior in Down Syndrome (2000) 199-223). 가장 잘 연구된 모델 중 하나인, Tn65Dn 마우스는 인간 염색체 21에 대해 신테닉인 마우스 염색체 16의 영역에 대해 삼염색체이며, 다운 증후군의 많은 특징을 요약한다(Reeves, R. 등, Nat Genet (1995) 11:177-184; Herault, Y. 등, Dis Model Meeh (2017) 10:1165-1186). Tn65Dn 마우스는 전통적인 잉크블롯 발자국 분석 또는 트레드밀 방법을 사용하여 보행 표현형에 대해 연구되었다(Hampton, T. G. and Amende, I. J Mot Behav (2009) 42:1-4; Costa, A. C. 등, Physiol Behav (1999) 68:211-220; Faizi, M. 등, Neurobiol Dis (2011) 43, 397-413). 잉크블롯 분석은 환자에서 관찰된 운동 조정 결핍과 유사하게, 더 짧고 더 "부적합한" 및 "불규칙한" 보행을 갖는 마우스를 보여주었다(Costa, A. C. 등, Physiol Behav (1999) 68:211-220). 트레드밀 기반 분석은 보폭 길이, 빈도, 일부 동역학 파라미터, 및 발자국 크기의 추가적인 변화를 밝혀냈다(Faizi, M. 등, Neurobiol Dis (2011) 43, 397-413; Hampton, T. G. 등, Physiol Behav (2004) 82:381-389). 이러한 이전의 분석은 이들 마우스의 전신 자세를 연구하지 않았다.
본 발명의 방법을 사용하여, Tn65Dn 마우스를 대조군 마우스와 함께 대략 10주 및 14주차에 분석하였고(도 14b), 3개의 선형 혼합 모델 M1-M3 모두는 일관된 변화를 발견하였다. Ts65Dn 마우스는, 이들이 보폭 속도를 증가시켰지만(도 10a,c), 오픈 필드에서는 과활성이 아니다(도 10c). 이는 Tn65Dn 마우스가 더 빠른 스텝을 밟지만 대조군과 동일한 거리를 이동한다는 것을 나타냈다. 스텝 폭을 증가시키고, 스텝 및 보폭 길이를 상당히 감소시켰다. 대조군으로부터의 가장 다양한 결과는 속도 및 신체 길이를 설명하는 M3으로 얻어진다. 특히, 전신 조정 표현형은 Tn65Dn 마우스에서 큰 영향을 받았다. 테일 베이스 및 팁의 진폭, 및 테일 베이스, 팁 및 코의 파스가 상당히 감소하였다(도 15a). 결과는 코 및 테일 팁의 파스 플롯을 사용해 이를 확인하였다(도 10e). 놀랍게도, 파스에는 큰 차이가 있음을 발견하였다. 테일 팁 파스 피크는 대조군에서 보폭 주기의 30%에 가까웠고, 다중 속도에서의 돌연변이체에서 60%에 가까웠다(도 10e). 코에 대한 파스 플롯에서 유사한 변화가 관찰되었다. 종합적으로, 이들 결과는 전통적인 보행 척도에서 이전에 보고된 차이를 확인하였고, 인간 질환의 모델에서 분석 가능한 표현형 특징을 확대하는 데 있어서 신규한 오픈 필드 전신 조정 척도의 유용성을 강조하였다. 실제로, Tn65Dn 보행의 가장 현저한 특징은, 이전에 잉크블롯 분석을 사용하여 질적 형질로서 보고된 전신 조정의 변화였고(Costa, A. C. 등, Physiol Behav (1999) 68:211-220), 이제 본 발명의 방법을 사용하여 정량화 가능하다.
자폐 스펙트럼 장애 관련 돌연변이체의 특성
분석 접근법을 추가로 검증하기 위해, 또한 이러한 스펙트럼에 해당하는 상기의 Mecp2 외에도, 보행은 4개의 자폐 스펙트럼 장애(ASD) 마우스 모델에서 조사되었다. 인간에서, 보행 및 자세 결함은 종종 ASD 환자에서 관찰되며, 때때로 보행 및 운동 결함은 언어적 및 사회적 의사소통 및 입체형 행동의 고전적 결함에 선행한다(Licari, M. K. 등, Autism Research (2020) 13:298-306; Green 등, Dev Med Child Neurol (2009) 51:311-316). 최근의 연구는 운동 변화가 ASD 사례에서 종종 진단되지 않음을 시사한다(Hughes, V. Motor problems in autism move into research focus. Spectrum News (2011)). 이러한 차이가 유전적 병인을 갖는지 또는 소아가 학습된 운동 조정을 발달시키는 데 도움이 될 수 있는 사회적 상호작용의 결여에 부차적인지는 명확하지 않다(Zeliadt, N., Autism in motion: Could motor problems trigger social ones. Scientific American, Spectrum, Mental Health (2017)). ASD의 마우스 모델에서, 보행 결함은 제대로 특성화되지 않았기 때문에, 10주차에 적절한 대조군으로 특성화된 4개의 흔히 사용되는 ASD 유전자 모델에서 보행 표현형이 발생하는지 여부를 결정하기 위한 연구를 수행하였다(도 14c). 보행 결함이 알려진 3개의 모델과 유사하게, 이들 돌연변이체 및 대조군을 1시간 오픈 필드 분석에서 테스트하였고, 보행 및 자세 메트릭을 추출하였다(도 14a). 결과는 보행 돌연변이체에 사용된 동일한 접근법을 사용하여 모델링하였다(M1 및 M3 결과는 도 11에 제시되어 있고, M2 결과는 도 16에 제시되어 있다).
Cntnap2는 뉴런과 아교세포 사이의 세포 부착 분자로서 기능하는 뉴렉신 유전자 계열의 구성원이다(Poliak, S. 등, Neuron (1999) 24:1037-1047). Cntnap2에서의 돌연변이는 ASD, 조현병, 양극성 장애 및 간질과 같은 신경 장애와 관련이 있었다(Toma, C. 등, PLoS Genetics (2018) 14:el007535). Cntnap2 녹아웃 마우스는 이전에 경미한 보행 효과를 갖는 것으로 나타났고, 증가된 보폭 속도는 보폭 지속시간을 감소시켰다(Brunner, D. 등, PloS One (2015) 10(8):e0134572). 모델 M2를 사용하여 우리의 결과를 이전 연구와 비교하였고, Cntnap2 마우스는 대부분의 보행 측정에서 유의한 차이를 나타내는 것을 발견하였다(도 16). 이들 마우스는 대조군보다 신체 길이 및 체중이 상당히 더 작다(도 14d 도 16c). 오픈 필드에서, Cntnap2 마우스는 과활성이 아니었으나(도 11c) 크게 증가된 보폭 속도를 나타냈다(M1, 도 11a,c 및 도 16c). 이러한 결과는 Cntnap2 마우스가 Ts65Dn 마우스와 유사하게 더 많이 이동하지 않고, 이동 시에 더 빠른 스텝을 취한다는 것을 주장한다.
Cntnap2 마우스는 더 작고 더 빠른 보폭 속도를 가지기 때문에, M3의 결과를 사용하여 보행 파라미터가 신체 크기 및 보폭 속도에 대해 조정한 후 변경되었는지 여부를 결정하였다(도 14d). 결과는, Cntnap2 마우스가 M1 및 M3 모델 모두에서 전통적인 보행 메트릭의 대부분뿐만 아니라 전신 조정 척도에 대해 대조군과 상당히 상이함을 나타냈다(도 11b). Cntnap2 마우스는 감소된 사지 듀티 팩터, 스텝 길이, 스텝 폭, 및 고도로 감소된 보폭 길이를 갖는다(도 11b, d 및 도 16c). 마우스는 또한 테일 팁, 베이스 및 코의 변경된 파스뿐만 아니라 테일 팁 베이스 및 코의 진폭에 있어서 유의미하지만 작은 변화를 나타냈다. Cntnap2 마우스에서 보행의 또 다른 현저한 특징은 대조군에 비해, 특히 사지 듀티 팩터(Fligner-Killeen 테스트, p < 0.01), 스텝 길이(Fligner-Killeen 테스트, p < 0.01), 및 보폭 길이(Fligner-Killeen 테스트, p < 0.02)에 대한 동물간 분산의 감소이다(도 11d). 이는 이들 돌연변이체에서 보다 입체적인 보행을 나타낼 수 있다. 종합적으로, 이들 결과는 Cntnap2 마우스가 오픈 필드에서 이동한 총 거리에 의해 측정했을 때 과활성이 아니지만, 개별 보폭 수준에서는 과활성이다. 짧은 보폭과 스텝 길이, 좁은 스텝 폭으로 더 빠른 스텝을 취한다. 마지막으로, 감독되지 않은 클러스터링을 사용하여 모든 조합된 보행 측정에 기초하여 대조군과 Cntnap2 마우스를 구별하기 위한 연구를 수행하였다. 먼저, 선형 보행 표현형에 대해 주요 성분 분석(PCA)을 수행한 다음, 가우스 혼합 모델링(GMM)을 PC에 사용하여 동물을 2개의 별도 그룹으로 클러스터링하였다. 보행 메트릭은 Cntnap2가 대조군과 구별될 수 있게 하는 것으로 결정되었다(도 11e). 이 분석은 Cntnap2 마우스가 오픈 필드에서의 보행 패턴에 기초하여 대조군과 구별될 수 있고, 이들 표현형이 이전에 검출된 것보다 더 극적이라고 주장하였다(Brunner, D. 등, PloS One (2015) 10(8):e0134572).
스캐폴딩 시냅스 후 단백질인 Shank3에서의 돌연변이는 ASD의 다수의 사례에서 발견되었다(Durand, C. M. 등, Nat Genet (2007) 39:25-27). 전이 조절자로서 기능하는 RNA 결합 단백질인 Fmr1에서의 돌연변이는 인간에서 가장 흔히 유전되는 형태의 정신 질환인 취약성 X 증후군과 관련이 있다(Crawford, D. C. 등, Genetics in Medicine (2001) 3:359-371). 취약성 X 증후군은 ASD 특징과 중첩되는 광범위한 표현형 스펙트럼을 갖는다(Belmonte, M. K. and Bourgeron, T. Nat Neurosci (2006) 9:1221-1225). Del4Aam 마우스는 인간 염색체 16p11.2에 대한 신테닉인 마우스 염색체 7 상에서 0.39Mb의 결실을 함유한다(Horev, G. 등, PNAS (2011) 108:17076-17081). 인간 16p11.2의 복제 수 변이(CNV)는 지적 장애, 상동증, 및 사회 및 언어 결함을 포함하는 다양한 ASD 특징과 관련이 있었다(Weiss, L. A. 등, NEJM (2008) 358:667-675). Fmr1 돌연변이체 마우스는 오픈 필드에서 더 많이 이동하고(도 11c) 더 높은 보폭 속도를 갖는다(도 11a, c). 보폭 속도 및 신체 길이에 대해 조정될 때(M3), 이들 마우스는 M2 및 M3에서 사지 듀티 팩터에 약간이지만 유의한 변화를 가졌다. Shank3 및 Del4Aam은 둘 다 대조군과 비교하여 오픈 필드에서 저활성이다. Shank3 마우스는 보폭 속도가 상당히 감소한 반면, Del4Aam 마우스는 보폭 속도가 더 빨랐다(도 11a, c). 3개의 통계적 모델 모두는 두 계통 모두에서 스텝 길이의 암시적 또는 유의한 감소를 보여준다. M3을 사용하여, Shank3은 더 긴 스텝 및 보폭 길이를 갖는 반면, Del4Aam은 더 짧은 스텝 및 보폭을 갖는 것으로 결정하였다. 전신 조정에서, Shank3 마우스는 코 파스가 감소하였고, Del4Aam은 테일 팁 파스가 증가하였다. 이러한 결과는, Shank3 및 Del4Aam 둘 모두가 오픈 필드에서 저활성이지만, Shank3은 더 느리고 더 긴 보폭과 스텝을 취하는 반면, Del4Aam은 더 짧은 스텝과 보폭으로 더 빠른 보폭을 취한다는 것을 나타냈다. 두 돌연변이체는 전신 조정에서 일부 결함을 갖는다. 요약하면, ASD 모델 각각은 일부 보행 결함을 가지고 있으며, Cntnap2는 가장 강력한 표현형을 가지고 있는 것으로 결정되었다. 변화의 방향성 및 표현형의 분산이 다르지만, 모두 보폭 속도의 일부 변화를 가졌다.
계통 조사
분석 방법의 검증 후, 표준 실험실 마우스 계통에서 오픈 필드의 보행 및 자세 표현형의 범위를 이해하기 위해 실험을 수행하였다. 44개의 고전적인 근친종 실험실 계통, 7개의 야생형 유래 근친종 계통, 및 11개의 F1 혼성 계통(1898마리, 1,740시간의 비디오)을 조사하였다. 모든 동물은 동종이며, 수컷과 암컷 모두를 1시간 오픈 필드 분석으로 조사하였다(도 14e) (Geuther, B. Q. 외, Commun Biol (2019) 2:1-11). 그런 다음, 각 비디오로부터 보행 메트릭을 추출하고, 데이터를 동물당 수준에서 분석하였다(도 12a-b, 도 17 및 도 18). 동물이 중간 속도(20 내지 30cm/초)로 그리고 직선 방향(-20 내지 +20도/초의 각속도)으로 이동할 때, 보폭 데이터를 분석하였다. 이러한 선택적 분석은 자유롭게 이동하는 마우스에서 수집되고 처리될 수 있는 많은 양의 데이터로 인해 수행될 수 있다. 이들 마우스의 크기가 상당히 다양했기 때문에, 신체 크기에 대해 조정되는 M1의 잔차(Geuther, B. Q. 등, Commun Biol (2019) 2:1-11)를 사용하였다. M1은 보폭 속도의 추출을 특징으로서 허용하였는데, 이는 ASD 돌연변이체에서 중요한 것으로 결정되었다. 계통 간의 차이를 시각화하기 위해, 각 계통의 표현형에 대해 z-스코어를 계산하고 k-평균 클러스터링을 수행하였다(도 12b). 전반적으로, 고전적인 보행 및 전신 자세 메트릭의 대부분에서 높은 계통 간 변동성이 관찰되었는데, 이는 이들 형질의 높은 수준의 유전성을 나타낸다. 또한, 유사한 거동을 나타내는 특정 계통을 갖는 실험실 마우스의 오픈 필드 보행 움직임에서 새로운 패턴이 관찰되었다.
계통이 오픈 필드 보행 및 자세 표현형에 기초하여 클러스터링될 수 있는지 여부를 결정하기 위한 연구를 수행하였다. Cntnap2 돌연변이체에 대해 수행된 바와 같이, 원래의 선형 보행 특징에 대한 PCA를 수행하여 수득된 주요 성분에 k-평균 클러스터링 알고리즘을 적용하였다. PCA 및 k-평균 클러스터링 알고리즘 둘 다는 메트릭이 유클리드 공간에 있다고 가정하므로, 원형 파스 메트릭은 클러스터링 분석에 포함되지 않았다. 처음 2개의 PC는 원래 특징 공간에서의 총 분산의 53%를 설명하므로 선택하였다. 클러스터링의 품질을 평가하기 위해 4개의 기준을 살펴보고, k-평균 클러스터링 알고리즘에서 최적의 클러스터 수를 선택하였으며, 이들 모두는 3개의 최적의 클러스터를 나타냈다(도 21). 이들의 오픈 필드 보행 거동에 기초하여 구별될 수 있는 3개의 계통 클러스터가 있는 것으로 결정되었다(도 12c-e). 클러스터 1은 A/J, C3H/HeJ, 129S1/SvImJ와 같은 대부분 고전적인 계통으로 구성되었다; 클러스터 2는 몇몇 고전적인 계통 및 MOLF/EiJ 및 CAST/EiJ와 같은 다수의 야생형 유래 계통으로 구성되었다. 클러스터 3은 주로 C57 및 참조 C57BL/6J를 포함하는 관련 계통으로 구성되었다. 각 클러스터에 대한 코 및 테일 팁의 컨센서스 보폭 파스 플롯이 구성되었다. 클러스터 3은 훨씬 더 높은 진폭을 가졌지만, 클러스터 1 및 2는 유사한 진폭을 갖지만 전환된 파스 오프셋을 가졌다(도 12d). 선형 보행 메트릭의 조사는 클러스터를 구별하는 개별 메트릭을 보여주었다(도 12e). 예를 들어, 클러스터 1은 더 긴 보폭 및 스텝 길이를 가진 반면, 클러스터 3은 테일 베이스 및 팁의 더 높은 측방향 변위를 가졌고, 클러스터 2는 코의 낮은 측방향 변위를 가졌다. 전반적으로, 개별 메트릭의 분석은 11개의 측정 중 9개에서 상당한 차이를 보여주었다. 종합적으로, 이러한 분석은 실험실 마우스에서의 보행 및 전신 자세에서 높은 수준의 유전적 변이를 보여주었다. 이들 메트릭의 다차원 클러스터링을 사용하는 조합된 분석은 실험실 마우스에서 3개의 보행 하위 유형을 발견하였다. 또한, 결과는 기준 마우스 계통인 C57BL/6J가 다른 흔한 마우스 계통 및 야생형 유래 계통과 구별된다는 것을 보여주었다.
GWAS
계통 조사는 측정된 보행 특징이 매우 가변적임을 입증하였으므로, 오픈 필드에서 마우스 보행의 유전적 구성 요소 및 유전적 아키텍처를 조사하기 위한 연구를 수행하였다. 인간 GWAS에서, 보행 형질의 평균 및 분산 둘 다는 매우 유전적이다(Adams, H. H. 등, J of Gerontol A Biol Sci Med Sci (2016) 71:740-746). 마우스 게놈에서 정량적 형질 유전자좌(QTL)를 식별하기 위한 GWAS를 수행하기 위해, 각 동물의 보폭을 이동 속도(10~15, 15~20, 20~25, 및 25~30cm/s)에 따라 4개의 상이한 빈으로 분리시키고, 각 형질의 평균 및 분산을 각 동물에 대해 계산하였다. 성별 및 신체 길이를 고정 효과로 고려하고 집단 구조를 무작위 효과로 고려하여 선형 혼합 모델을 사용하여 게놈-와이드 연관성 분석을 수행하기 위해 GEMMA(Zhou, X. and Stephens, M. Nat Genet (2012) 44: 821-824)를 사용하였다. 선형 혼합 모델은 원형 값을 처리하지 않기 때문에, 파스 보행 데이터는 이 분석에서 제외되었다. 유전성은 유형화된 유전자형(PVE)에 의해 설명되는 표현형의 분산 비율을 결정함으로써 추정하였다(도 13a 좌측 패널). 보행 측정의 유전성은 넓은 범위를 나타냈고, 표현형의 대부분은 중간 내지 높은 유전성이다. 가장 낮은 유전성을 갖는 평균 표현형은 각속도 및 시간적 대칭성이며, 이는 보행 또는 방향 전환 거동의 대칭적 성질의 분산이 실험실 마우스에서의 유전적 분산에 기인하지 않았음을 나타낸다. 대조적으로, 전신 조정 척도(진폭 척도) 및 전통적인 보행 척도는 중간 내지 높은 유전성을 갖는 것으로 밝혀졌다. 표현형의 변이는 평균 형질의 낮은 유전성을 갖는 형질에 대해서도 중간 정도의 유전성을 나타냈다(도 13a 우측 패널). 예를 들어, 평균 AngularVelocity 표현형은 낮은 유전성(PVE < 0.1)을 갖는 반면, 분산 AngularVelocity 표현형은 중간 유전성(0.25~0.4의 PVE)을 갖는다. 이러한 유전성 결과는 보행 및 자세 형질이 평균 및 분산 형질의 GWAS에 적절함을 나타냈다.
유의성 임계값의 경우, 개체 간에 값(오픈 필드에서 이동한 총 거리)을 1000회 셔플링함으로써 SNP와 표현형의 연관성에 대한 경험적 p-값 보정을 계산하였다. 각 순열에서, 0.05(1.9 Х 10-5)의 보정된 p-값을 나타내는 임계값을 찾기 위해 최저 p-값을 추출하였다. 각 SNP에 대해 조합된 모든 평균 표현형, 분산 표현형, 및 두 부류에 대한 최소 p-값을 취해 조합된 맨해튼 플롯을 생성하였다(도 13b-d). 각 SNP는 최저 p-값을 갖는 SNP와 관련된 표현형에 따라 착색된다. 상이한 속도 빈은 일반적으로 각 표현형에 대해 일관성이 있었으며, 각 SNP에 대해 4개의 빈의 최소 p-값을 취함으로써 동일한 표현형의 모든 빈을 조합하기로 결정하였다.
평균 형질에 대해 239개의 QTL 및 분산 형질에 대해 239개의 QTL이 있는 것으로 결정하였다(도 13b-c). 최소 유전성 표현형인 평균 AngularVelocity는 단 하나의 유의한 연관 게놈 영역을 나타낸 반면, AngularVelocity의 분산은 53개의 연관 게놈 유전자좌를 가졌다. 가장 많이 연관된 유전자좌를 갖는 표현형은 95개의 유전자좌를 갖는 보폭 수였다. 전반적으로, 모든 표현형을 함께 고려할 때, 적어도 하나의 표현형과 연관된 400개의 유의한 게놈 영역이 발견되었는데(도 22), 이는 평균 표현형 및 분산 표현형 모두에 대해 78개의 QTL만이 식별되었음을 나타낸다. 대부분의 표현형은 특징의 평균 및 그 분산과 연관된 QTL 간의 중첩되지 않는 것으로 제한되었다. 참고로, 평균 TemporalSymmetry 및 분산 TemporalSymmetry와 관련된 QTL은 많은 중첩 영역을 가졌다. 평균 표현형과 연관된 28개의 유전자좌 및 분산과 연관된 52개의 유전자좌 중, 10개의 QTL이 중첩되었다. 이러한 데이터는 마우스의 평균 및 분산 형질의 유전적 구조가 대부분 독립적이라는 것을 주장한다. 이들 결과는 또한 마우스 보행 및 자세의 유전적 지형을 오픈 필드에서 개략적으로 설명하기 시작한다.
논의
보행과 자세는 건강을 나타내는 중요한 지표이며, 많은 신경, 신경근육 및 신경정신 질환에서 교란된다. 이러한 실험의 목표는 마우스에 대한 포즈 추정을 수행할 수 있는 간단하고 신뢰성 있는 자동화 시스템을 개발하고 포즈로부터 주요 보행 및 자세 메트릭을 추출하는 것이었다. 본원의 정보는 연구원이 보행 메트릭을 추출하기 위해 오픈 필드 분석에 사용되는 비디오 이미징 시스템을 적용할 수 있는 솔루션을 제공한다. 이러한 접근법은 몇 가지 분명한 장점과 한계를 갖는다. 이러한 방법은, 캡처할 필요가 있는 유일한 데이터가 오픈 필드에서 마우스의 탑-다운 그레이 스케일 비디오이고, 그 후에 모든 포즈 추정 및 보행 메트릭 추출이 완전히 자동화되기 때문에, 적은 노력과 적은 비용으로 많은 양의 데이터를 처리할 수 있게 한다. 상기 방법은 값비싼 전문화된 장비를 필요로 하지 않기 때문에, 마우스가 개방 필드에 적응하고 장기간에 걸쳐 데이터를 수집할 수 있게 하는 것도 가능하다. 또한, 본 발명의 방법은 보다 윤리적으로 관련된 분석(Jacobs, B. Y. 등, Curr Pain Headache Rep (2014) 18:456)인, 동물에게 익숙한 환경에서 동물이 그 자체의 의지(강제되지 않은 거동)를 움직일 수 있게 한다. 비디오 방법(Lakes, E. H. & Allen, K. D. Osteoarthr Cartil (2016) 24:1837-1849)을 사용하기 때문에 보행의 동역학 특성을 측정하는 것은 불가능하였다. 탑-다운 비디오를 사용하기로 한 결정은 또한 일부 포즈 키포인트가 종종 마우스의 신체에 의해 폐색된다는 것을 의미하였다. 포즈 추정 네트워크는 뒷발의 경우와 같이 어느 정도의 폐색에 대해 강력하지만, 보행 중에 거의 항상 폐색되는 앞발은 너무 부정확하여 분석에서 배제되었다. 그럼에도 불구하고, 테스트된 모든 유전자 모델에서, 뒷발 데이터는 보행 및 신체 자세에서의 강력한 차이를 검출하기에 충분하였다. 또한, 자유롭게 움직이는 동물에서 대량의 데이터를 분석하는 능력은 매우 민감한 것으로 입증되었으며, 보행으로 간주되는 것에 대한 매우 엄격한 휴리스틱 규칙도 있다.
추출된 보행 측정은 일반적으로 실험에서 정량화되지만(예를 들어, 스텝 폭 및 보폭 길이), 테일의 측방향 변위 및 파스와 같은 전신 조정의 측정은 일반적으로 설치류 보행 실험에서 측정되지 않는다(보폭 동안 키포인트의 파스 및 진폭). 보행 및 전신 자세는 정신 질환의 내적표현형 sanders2010gait, licari2020prevalence, flyckt1999neurological, walther2012motor으로서 인간에서 빈번하게 측정된다. 본원에 기술된 마우스를 대상으로 한 연구의 결과는 보행 및 전신 조정 척도가 매우 유전적이고 질환 모델에서 교란됨을 나타낸다. 구체적으로, 신경퇴행성(Sod1), 신경발달성(다운 증후군, Mecp2) 및 ASD 모델(Cntnap2, Shank3, FMR1, Del4Am)을 평가하기 위한 테스트를 수행하였고, 이들 돌연변이체 모두에서 변경된 보행 특징이 식별되었다. 다른 이들은 또한 신경퇴행성 모델인 machado2015quantitative에서 유사한 결과를 발견하였다. 중요한 것은 다운 증후군에 대한 데이터이다. 인간에서, 오조화 및 서투름은 다운 증후군의 두드러진 특징이다. 마우스 모델에서, 이러한 오조화는 이전에는 잉크블롯 보행 분석에서 무질서한 뒷발자국으로서 특징지어졌다. 여기서, 분석은 대조군과 Tn65Dn 마우스 간의 교란된 전신 조정 차이를 보여주었다. 따라서, 본원에 기술된 접근법은 이전에 질적 형질의 정량화를 가능하게 한다.
보행 및 자세에 대한 다수의 마우스 계통의 분석은 전체 움직임의 3가지 뚜렷한 부류를 식별하였다. 참조 C57BL/6J 및 관련 계통은 다른 공통 실험실 및 야생형 유래 계통과는 별개인 클러스터에 속하는 것으로 밝혀졌다. 주요 차이는 C57BL/6 및 관련 계통의 테일 및 코 움직임의 높은 진폭에서 관찰되었다. 이는 상이한 유전적 배경의 보행 및 자세를 분석할 때 중요할 수 있다. GWAS는 평균 및 분산 표현형 모두에 대해 오픈 필드에서 보행 및 자세에 대해 400개의 QTL을 나타냈다. 형질의 평균 및 분산은 뚜렷한 유전자좌에 의해 조절되는 것으로 밝혀졌다. 실제로, 본 발명의 방법은 대부분의 분산 표현형이 낮은 유전성을 갖는 평균 형질에 대해서도 중간 정도의 유전성을 나타낸다는 것을 식별하였다. 인간 GWAS는 보행 및 자세에 대해 수행되었지만, 부족한 샘플로 인해 유전성에 대한 좋은 추정치를 이끌어 냈지만, 유의미하게 연관된 유전자좌 유전성은 소수에 불과하다. 본원에 제시된 마우스의 결과는 인간을 대상으로 한 매우-강력한 연구가 보행 및 자세를 조절하는 수백 개의 유전적 인자를 식별할 수 있다는 결론을 뒷받침한다.
예 2
기기 및 시스템
시스템(들)(150)의 머신 러닝 모델 중 하나 이상은, 신경망을 포함하여, 다양한 형태를 취할 수 있다. 신경망은 입력 레이어로부터 출력 레이어를 통한 다수의 레이어를 포함할 수 있다. 각각의 레이어는 특정 유형의 데이터를 입력으로 취하고 또 다른 유형의 데이터를 출력하도록 구성된다. 하나의 계층으로부터의 출력은 다음 계층에 대한 입력으로서 취해진다. 특정 계층의 입력 데이터/출력 데이터에 대한 값은, 신경망이 실제로 실행 시간 동안 작동될 때까지는 알려지지 않지만, 신경망을 설명하는 데이터는 신경망 계층의 구조, 파라미터, 및 작동을 기술한다.
신경망의 중간 계층 중 하나 이상은 또한 숨겨진 계층으로 알려져 있을 수 있다. 숨겨진 계층의 각 노드는 입력 계층의 각 노드와 출력 계층의 각 노드에 연결된다. 신경망이 다수의 중간 네트워크를 포함하는 경우, 숨겨진 계층 내의 각 노드는 다음 상위 계층 및 다음 하위 계층 내의 각 노드에 연결될 것이다. 입력 계층의 각각의 노드는 신경망에 대한 잠재적 입력을 나타내고, 출력 계층의 각각의 노드는 신경망의 잠재적 출력을 나타낸다. 다음 계층의 하나의 노드에서 다른 노드로의 각각의 연결은 가중치 또는 스코어와 연관될 수 있다. 신경망은 단일 출력 또는 가중된 가능한 출력 세트를 출력할 수 있다.
일부 실시예에서, 신경망은 다층 퍼셉트론의 정규화된 버전일 수 있는 컨볼루션 신경망(CNN)일 수 있다. 다층 퍼셉트론은 완전히 연결된 네트워크일 수 있고, 즉, 한 계층의 각 뉴런은 다음 계층의 모든 뉴런에 연결되어 있다.
일 측면에서, 신경망은, 네트워크의 숨겨진 계층의 출력이 다음 입력 세트를 위해 숨겨진 계층 내로 다시 공급되도록 반복되는 연결을 갖도록 구성될 수 있다. 입력 계층의 각 노드는 숨겨진 계층의 각 노드에 연결된다. 숨겨진 계층의 각 노드는 출력 계층의 각 노드에 연결된다. 숨겨진 계층의 출력은 다음 입력 세트를 처리하기 위해 숨겨진 계층에 다시 입력된다. 재발성 연결을 포함하는 신경망은 순환 신경망(RNN)으로 지칭될 수 있다.
일부 실시예에서, 신경망은 긴 단기 메모리(LSTM) 네트워크일 수 있다. 일부 실시예에서, LSTM은 양방향 LSTM일 수 있다. 양방향 LSTM은 2개의 시간 방향으로부터 입력을 실행하며, 여기에서 이 중 하나는 과거 상태로부터 미래 상태까지, 다른 하나는 미래 상태부터 과거 상태까지이고, 여기에서 과거 상태는 제1 시간 프레임에 대한 비디오 데이터에 대한 특징에 상응할 수 있고 미래 상태는 제2 후속 시간 프레임에 대한 비디오 데이터에 대한 특징에 상응할 수 있다.
신경망에 의한 처리는 각 노드 입력 상의 학습된 가중치 및 네트워크의 구조에 의해 결정된다. 특정 입력이 주어지면, 신경망은 전체 네트워크의 출력 계층이 계산될 때까지 한 번에 하나의 계층으로 출력을 결정한다.
연결 가중치는, 주어진 입력이 공지된 출력과 연관되는 경우, 학습 동안 신경망에 의해 초기에 학습될 수 있다. 일련의 학습 데이터에서, 다양한 학습 예가 네트워크에 공급된다. 각각의 예는 일반적으로 입력에서 출력으로의 올바른 연결의 가중치를 1로 설정하고 모든 연결에 0의 가중치를 부여한다. 학습 데이터의 예가 신경망에 의해 처리됨에 따라, 입력은 네트워크로 전송되고 연관된 출력과 비교하여 네트워크 성능이 목표 성능과 어떻게 비교되는지를 결정할 수 있다. 역방향 전파와 같은 학습 기술을 사용하여, 신경망의 가중치는 학습 데이터를 처리할 때 신경망에 의해 이루어진 오류를 감소시키도록 업데이트될 수 있다.
다양한 기계 학습 기술이 사용자 인식 특징부 추출, 인코딩, 사용자 인식 스코어링, 사용자 인식 신뢰도 결정 등과 같은, 본원에 기술된 다양한 단계를 수행하기 위한 모델을 학습시키고 작동시키는 데 사용될 수 있다. 모델은 다양한 기계 학습 기술에 따라 학습되고 작동될 수 있다. 이러한 기술은, 예를 들어, 신경망(예를 들어, 심층 신경망 및/또는 순환 신경망), 추론 엔진, 학습된 분류기 등을 포함할 수 있다. 학습된 분류기의 예는 Support Vector Machine(SVM), 신경망, 결정 트리, 결정 트리 및 무작위 포레스트과 결합된 AdaBoost("적응적 증강"의 약어)를 포함한다. 예로서 SVM에 초점을 맞추면, SVM은 데이터를 분석하고 데이터의 패턴을 인식하는 관련 학습 알고리즘이 구비된 감독 대상 학습 모델이며, 이는 분류 및 회귀 분석에 흔히 사용된다. 각각의 카테고리가 2개의 카테고리 중 하나에 속하는 것으로 표시된 일련의 학습 예가 주어지는 경우, SVM 학습 알고리즘은 새로운 예를 하나의 카테고리 또는 다른 카테고리에 할당하는 모델을 구축하여, 이를 비 확률적 이진 선형 분류기로 만든다. 보다 복잡한 SVM 모델은 3개 이상의 카테고리를 식별하는 학습 세트로 이루어질 수 있으며, 여기에서 SVM은 어떤 카테고리가 입력 데이터와 가장 유사한지를 결정한다. SVM 모델은 별도의 카테고리의 예가 명확한 갭으로 나뉘도록 맵핑될 수 있다. 이어서, 새로운 예를 동일한 공간에 맵핑하고, 갭의 어느 쪽에 속하는지에 기반하여, 해당 예가 어떠한 카테고리에 속하는지를 예측한다. 분류기는 데이터가 가장 일치하는 카테고리를 나타내는 "스코어"를 발급할 수 있다. 스코어는 데이터가 카테고리와 얼마나 가깝게 일치하는지를 표시할 수 있다.
기계 학습 기술을 적용하기 위해서는, 기계 학습 프로세스 자체가 학습될 필요가 있다. 이 경우, 제1 또는 제2 모델 중 하나와 같은 기계 학습 구성 요소를 학습시키는 단계는 학습 예에 대한 "그라운드 참(ground truth)"을 확립하는 것을 필요로 한다. 기계 학습에서, 용어 "그라운드 참"은 감독 학습 기술에 대한 학습 세트의 분류의 정확도를 지칭한다. 역전달, 통계적 학습, 감독 학습, 반 감독 학습, 확률적 학습, 또는 다른 공지된 기술을 포함하는 다양한 기술이 모델을 학습시키는 데 사용될 수 있다.
도 23은 시스템과 함께 사용될 수 있는 장치(1600)를 개념적으로 예시하는 블록 다이어그램이다. 도 24는 비디오 데이터의 처리, 대상체의 행동 식별 등을 보조할 수 있는, 시스템(들)(150)과 같은 원격 장치의 예시적인 구성 요소를 개념적으로 도시하는 블록 다이어그램이다. 시스템(들)(150)은 하나 이상의 서버를 포함할 수 있다. 본원에서 사용되는 "서버"는 서버/클라이언트 컴퓨팅 구조에서 이해되는 바와 같은 전통적인 서버를 지칭할 수 있지만, 본원에서 논의된 작업을 보조할 수 있는 다수의 상이한 컴퓨팅 구성 요소를 지칭할 수도 있다. 예를 들어, 서버는, 물리적으로 및/또는 네트워크를 통해 다른 장치/구성 요소에 접속되고 컴퓨팅 작업을 수행할 수 있는 하나 이상의 물리적 컴퓨팅 구성 요소(예: 랙 서버)를 포함할 수 있다. 서버는 또한, 컴퓨터 시스템을 에뮬레이트하고 하나 또는 다수의 장치에서 실행되는 하나 이상의 가상 머신을 포함할 수 있다. 서버는 또한, 본원에서 논의된 작동을 수행하기 위한 하드웨어, 소프트웨어, 펌웨어 등의 다른 조합을 포함할 수 있다. 서버(들)는 클라이언트-서버 모델, 전산국 모델, 그리드 컴퓨팅 기술, 포그 컴퓨팅 기술, 메인프레임 기술, 유틸리티 컴퓨팅 기술, 피어-투-피어 모델, 샌드박스 기술, 또는 다른 컴퓨팅 기술 중 하나 이상을 사용하여 작동하도록 구성될 수 있다.
키포인트/신체 부위 트래킹을 수행하기 위한 하나 이상의 시스템(150), 보행 메트릭 추출을 위한 하나 이상의 시스템(150), 자세 메트릭 추출을 위한 하나 이상의 시스템(150), 통계적 분석을 위한 하나 이상의 시스템(150), 시스템을 학습/구성하기 위한 하나 이상의 시스템(150) 등과 같은, 다수의 시스템(150)이 본 개시의 전체 시스템에 포함될 수 있다. 작동시, 이들 시스템 각각은 아래에서 더 논의되는 바와 같이, 각각의 장치(150) 상에 상주하는 컴퓨터 판독가능 명령어 및 컴퓨터 실행가능 명령어를 포함할 수 있다.
이들 장치(1600/150) 각각은 하나 이상의 컨트롤러/프로세서(1604/1704)를 포함할 수 있으며, 이는 각각 데이터 및 컴퓨터 판독 가능 명령어를 처리하기 위한 중앙 처리 유닛(CPU) 및 각각의 장치의 데이터 및 명령어를 저장하기 위한 메모리(1606/1706)를 포함할 수 있다. 메모리(1606/1706)는 휘발성 랜덤 액세스 메모리(RAM), 비휘발성 판독 전용 메모리(ROM), 비휘발성 자기 저항 메모리(MRAM), 및/또는 다른 유형의 메모리를 개별적으로 포함할 수 있다. 각각의 장치(1600/150)는 또한 데이터 및 컨트롤러/프로세서 실행 가능 명령어를 저장하기 위한 데이터 저장 구성 요소(1608/1708)를 포함할 수 있다. 각각의 데이터 저장 구성 요소(1608/1708)는 하나 이상의 비휘발성 저장소 유형, 예컨대 자기 저장소, 광학 저장소, 솔리드 저장소 등을 개별적으로 포함할 수 있다. 각각의 장치(1600/150)는 또한 각각의 입력/출력 장치 인터페이스(1602/1702)를 통해 탈착식 또는 외부 비휘발성 메모리 및/또는 저장 장치(예컨대, 탈착식 메모리 카드, 메모리 키 드라이브, 네트워크 저장 장치 등)에 연결될 수 있다.
각각의 장치(1600/150) 및 그의 다양한 구성 요소를 작동시키기 위한 컴퓨터 명령어는, 메모리(1606/1706)를 런타임에 임시 "작동" 저장소로서 사용하여, 각각의 장치의 컨트롤러(들)/프로세서(들)(1604/1704)에 의해 실행될 수 있다. 장치의 컴퓨터 명령어는 비휘발성 메모리(1606/1706), 저장소(1608/1708), 또는 외부 장치(들)에 비일시적 방식으로 저장될 수 있다. 대안적으로, 실행가능 명령어의 일부 또는 전부는 소프트웨어에 더하여 또는 소프트웨어 대신에 각각의 장치 상의 하드웨어 또는 펌웨어에 내장될 수 있다.
각각의 장치(1600/150)는 입력/출력 장치 인터페이스(1602/1702)를 포함한다. 이하에서 더 논의되는 바와 같이, 다양한 구성 요소가 입력/출력 장치 인터페이스(1602/1702)를 통해 연결될 수 있다. 또한, 각각의 장치(1600/150)는 각각의 장치의 구성 요소 사이에서 데이터를 전달하기 위한 어드레스/데이터 버스(1624/1724)를 포함할 수 있다. 장치(1600/150) 내의 각 구성 요소는 버스(1624/1724)를 가로질러 다른 구성 요소에 연결되는 것 이외에(또는 그 대신에) 다른 구성 요소에 직접 연결될 수도 있다.
도 23을 참조하면, 장치(1600)는 스피커(1612), 유선 헤드셋 또는 무선 헤드셋(미도시), 또는 오디오를 출력할 수 있는 다른 구성 요소와 같은 오디오 출력 구성 요소와 같은 다양한 구성 요소에 연결되는 입력/출력 장치 인터페이스(1602)를 포함할 수 있다. 장치(1600)는 콘텐츠를 디스플레이하기 위한 디스플레이(1616)를 추가로 포함할 수 있다. 장치(1600)는 카메라(1618)를 추가로 포함할 수 있다.
안테나(들)(1614)를 통해, 입력/출력 장치 인터페이스(1602)는, 무선 근거리 통신망(WLAN)(예컨대 WiFi) 라디오, 블루투스, 및/또는 무선 네트워크 라디오, 예컨대, Long Term Evolution(LTE) 네트워크, WiMAX 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크 등과 같은 무선 통신이 가능한 무선 네트워크를 통해 하나 이상의 네트워크(199)에 연결할 수 있다. 이더넷과 같은 유선 연결 또한 지원될 수 있다. 네트워크(들)(199)를 통해, 시스템은 네트워크화된 환경에 걸쳐 분산될 수 있다. I/O 장치 인터페이스(1602/1702)는, 또한, 서버 또는 다른 구성 요소의 컬렉션 내의 상이한 물리적 서버와 같은, 장치 간 데이터가 교환될 수 있게 하는 통신 구성 요소를 포함할 수 있다.
장치(들)(1600) 또는 시스템(들)(150)의 구성 요소는 그들 자신의 전용 프로세서, 메모리 및/또는 저장소를 포함할 수 있다. 대안적으로, 장치(들)(1600), 또는 시스템(들)(150)의 하나 이상의 구성 요소는, 장치(들)(1600), 또는 시스템(들)(150)의 I/O 인터페이스(1602/1702), 프로세서(들)(1604/1704), 메모리(1606/1706), 및/또는 저장소(1608/1708)를 각각 이용할 수 있다.
전술한 바와 같이, 다수의 장치가 단일 시스템에 사용될 수 있다. 이러한 다중 장치 시스템에서, 각각의 장치는 시스템 처리의 상이한 측면을 수행하기 위한 상이한 구성 요소를 포함할 수 있다. 다수의 장치는 중첩 구성 요소를 포함할 수 있다. 본원에 기술된 바와 같은 장치(1600)의 구성 요소 및 시스템(들)(150)은 예시적인 것이며, 독립형 장치로서 위치될 수 있거나, 보다 큰 장치 또는 시스템의 구성 요소로서 전체적으로 또는 부분적으로 포함될 수 있다.
본원에 개시된 개념은, 예를 들어, 범용 컴퓨팅 시스템, 영상/이미지 처리 시스템, 및 분산형 컴퓨팅 환경을 포함하는 다수의 상이한 장치 및 컴퓨터 시스템 내에 적용될 수 있다.
전술한 본 개시의 측면은 예시적인 것으로 의도된다. 이들은 본 개시의 원리 및 응용을 설명하기 위해 선택되었으며, 완전한 것이거나 본 개시를 제한하려는 것이 아니다. 개시된 측면의 많은 변이 및 변형이 당업자에게 명백할 수 있다. 컴퓨터 및 음성 처리 분야에서 통상의 기술을 가진 당업자는 본원에 기술된 구성 요소 및 방법의 단계가 다른 구성 요소 또는 단계, 또는 구성 요소 또는 단계의 조합과 상호 교환될 수 있으며, 여전히 본 개시의 이점 및 장점을 달성할 수 있음을 인식해야 한다. 또한, 본 개시는 본원에 개시된 특정 세부 사항 및 단계 중 일부 또는 전부가 없이도 실시될 수 있다는 것이 당업자에게 명백할 것이다.
개시된 시스템의 측면은 컴퓨터 방법으로서 또는 메모리 장치 또는 비일시적 컴퓨터 판독가능 저장 매체와 같은 제조 물품으로서 구현될 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터에 의해 판독 가능할 수 있고, 컴퓨터 또는 다른 장치가 본 개시에서 설명된 프로세스를 수행하도록 하기 위한 명령어를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 휘발성 컴퓨터 메모리, 비휘발성 컴퓨터 메모리, 하드 드라이브, 솔리드 스테이트 메모리, 플래시 드라이브, 탈착식 디스크, 및/또는 다른 매체에 의해 구현될 수 있다. 또한, 시스템의 구성 요소는 펌웨어 또는 하드웨어에서와 같이 구현될 수 있다.
등가물
본 발명의 몇몇 실시예가 본원에 기술되고 예시되었지만, 당업자는 본 발명에 기술된 기능 및/또는 결과 및/또는 하나 이상의 이점을 수행하기 위한 다양한 다른 수단 및/또는 구조를 쉽게 구상할 것이고, 이러한 변형 및/또는 변형 각각은 본 발명의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 당업자는 본원에 기술된 모든 파라미터, 치수, 재료 및 구성이 예시적인 것이며, 실제 파라미터, 치수, 재료 및/또는 구성이 본 발명의 교시가 사용되는 특정 응용 또는 응용에 따라 달라질 것임을 쉽게 이해할 것이다. 당업자는 본원에 기술된 본 발명의 소정의 실시예와 많은 균등물을 통상적인 실험을 사용하여 인식하거나 확인할 수 있을 것이다. 따라서, 전술한 실시예는 단지 예시로서 제시되고, 첨부된 청구범위 및 그에 상응하는 것의 범주 내에서 제시되는 것으로 이해될 것이다. 본 발명은 구체적으로 기술되고 청구된 바와 달리 실시될 수 있다. 본 발명은 본원에 기술된 각각의 개별 특징부, 시스템, 물품, 재료, 및/또는 방법에 관한 것이다. 또한, 이러한 특징부, 시스템, 물품, 재료 및/또는 방법이 상호 불일치하지 않는 경우, 둘 이상의 이러한 특징부, 시스템, 물품, 재료 및/또는 방법의 임의의 조합이 본 발명의 범위 내에 포함된다. 본원에서 정의되고 사용되는 모든 정의는 사전 정의, 참조로서 통합된 문헌에서의 정의, 및/또는 정의된 용어의 통상적인 의미에 대해 통제하는 것으로 이해되어야 한다.
본 명세서 및 청구범위에서 사용된 바와 같이, 명백하지 않은 "일" 및 "하나"라는 표현은, 달리 명확하게 표시되지 않는 한, "적어도 하나"를 의미하는 것으로 이해되어야 한다. 본 명세서 및 청구범위에서 사용된 바와 같은, "및/또는"이라는 어구는 이렇게 결합된 요소, 즉, 일부 경우에 연속적으로 존재하고 다른 경우에 분리적으로 존재하는 요소의 "하나 또는 둘 모두"를 의미하는 것으로 이해되어야 한다. 달리 명확하게 표시되지 않는 한, "및/또는" 어구에 의해 구체적으로 식별된 요소 이외의 다른 요소는, 구체적으로 식별된 요소와 관련되었는지 또는 무관한지의 여부와는 무관하게, 선택적으로 존재할 수 있다.
특히, 본원에서 사용되는 조건부 언어, 예컨대, "~수 있다", "~수 있는", "~할 수 있다", "~할 수 있는", "예를 들어" 등은 달리 구체적으로 언급되지 않는 한, 또는 달리 사용되는 문맥 내에서 이해되지 않는 한, 일반적으로 해당 소정의 실시예가 특정 특징, 요소 및/또는 단계를 포함하는 반면에, 다른 실시예는 특정 특징부, 요소 및/또는 단계를 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 이러한 조건부 언어는 일반적으로 특징, 요소, 및/또는 단계가 하나 이상의 실시예에 대해 어떤 방식으로도 요구되거나, 하나 이상의 실시예가 다른 입력 또는 프롬프트와 함께 또는 없이, 이러한 특징, 요소, 및/또는 단계가 어떠한 소정의 실시예에서 포함되거나 수행될 것인지를 결정하기 위한 로직을 반드시 포함하는 것을 암시하도록 의도되지 않는다. 용어 "포함하는", "포함하여", "갖는" 등은 동의어이며, 개방형 방식으로 포괄적으로 사용되고, 추가 요소, 특징, 행위, 작동 등을 배제하지 않는다. 또한, 용어 "또는"은, 예를 들어, 요소 목록을 연결하기 위해 사용될 경우, "또는"이라는 용어는 목록 내의 요소 중 하나, 일부 또는 전부를 의미하도록, 그 포괄적 의미로(이의 배타적 의미는 아님) 사용된다.
본 출원에서 인용되거나 언급된 모든 문헌 참조, 특허 및 특허 출원 및 간행물은 그 전체가 참조로서 본원에 통합된다.
Claims (55)
- 컴퓨터 구현 방법으로서,
대상체의 비디오 캡처 움직임을 나타내는 비디오 데이터를 수신하는 단계;
일정 기간에 걸쳐, 상기 대상체의 신체 부위 세트의 포인트 데이터 추적 움직임을 식별하기 위해 상기 비디오 데이터를 처리하는 단계;
상기 포인트 데이터를 사용하여, 상기 일정 기간 동안 상기 비디오 데이터에서 표시된 복수의 입각기 및 대응하는 복수의 유각기를 결정하는 단계;
상기 복수의 입각기 및 상기 복수의 유각기에 기초하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 보폭 간격을 결정하는 단계;
상기 포인트 데이터를 사용하여, 상기 대상체에 대한 메트릭 데이터를 결정하는 단계로서, 상기 메트릭 데이터는 상기 복수의 보폭 간격의 각 보폭 간격에 기초하는, 상기 단계;
상기 대상체에 대한 상기 메트릭 데이터를 대조군 메트릭 데이터와 비교하는 단계; 및
상기 비교에 기초하여, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터 사이의 차이를 결정하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 신체 부위 세트는 코, 목의 베이스, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일의 베이스, 테일의 중간 및 테일의 팁을 포함하고; 및
상기 복수의 입각기 및 상기 복수의 유각기는 상기 좌측 뒷발 및 상기 우측 뒷발의 이동 속도의 변화에 기초하여 결정되는, 방법. - 제2항에 있어서,
상기 좌측 뒷발 또는 상기 우측 뒷발의 발끝 이벤트에 기초하여 상기 복수의 입각기의 제1 입각기 및 상기 복수의 유각기의 제1 유각기로부터 전이를 결정하는 단계; 및
상기 좌측 뒷발 또는 상기 우측 뒷발의 발걸음 이벤트에 기초하여 상기 복수의 유각기의 제2 유각기로부터 상기 복수의 입각기의 제2 입각기로의 전이를 결정하는 단계를 더 포함하는, 방법. - 제1항에 있어서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 보행 측정에 대응하는, 방법.
- 제1항 또는 제4항에 있어서, 상기 신체 부위 세트는 좌측 뒷발 및 우측 뒷발을 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 각 보폭 간격에 대한 스텝 길이를 결정하는 단계로서, 상기 스텝 길이는 상기 우측 뒷발이 이전의 좌측 뒷발 스트라이크를 지나 이동하는 거리를 나타내는, 상기 단계;
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 보폭 길이를 결정하는 단계로서, 상기 보폭 길이는 각 보폭 간격 동안 상기 좌측 뒷발이 이동하는 거리를 나타내는, 상기 단계;
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 스텝 폭을 결정하는 단계를 포함하되, 상기 스텝 폭은 상기 좌측 뒷발과 상기 우측 뒷발 사이의 거리를 나타내는, 방법. - 제1항 또는 제4항에 있어서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터를 결정하는 단계를 포함하는, 방법. - 제1항 또는 제4항에 있어서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터 세트를 결정하는 단계; 및
상기 속도 데이터 세트를 평균화함으로써, 상기 보폭 간격에 대한 보폭 속도를 결정하는 단계를 포함하는, 방법. - 제1항 또는 제4항에 있어서, 상기 신체 부위 세트는 우측 뒷발 및 좌측 뒷발을 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 우측 뒷발이 상기 복수의 보폭 간격의 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제1 디딤 지속시간을 결정하는 단계;
상기 제1 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제1 듀티 팩터를 결정하는 단계;
상기 포인트 데이터를 사용하여, 상기 좌측 뒷발이 상기 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제2 디딤 지속시간을 결정하는 단계;
상기 제2 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제2 듀티 팩터를 결정하는 단계; 및
상기 제1 듀티 팩터 및 상기 제2 듀티 팩터에 기초하여 상기 보폭 간격에 대한 평균 듀티 팩터를 결정하는 단계를 포함하는, 방법. - 제1항 또는 제4항에 있어서, 상기 신체 부위 세트는 테일 베이스 및 목 베이스를 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스와 상기 목 베이스를 연결하는 벡터 세트를 결정하는 단계; 및
상기 벡터 세트를 사용하여, 상기 보폭 간격에 대한 상기 대상체의 각속도를 결정하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 자세 측정에 대응하는, 방법.
- 제1항 또는 제10항에 있어서, 상기 신체 부위 세트는 상기 대상체의 척추 중심을 포함하고,
상기 복수의 보폭 간격의 보폭 간격은 상기 비디오 데이터의 프레임 세트와 연관되어 있고,
상기 메트릭 데이터를 결정하는 단계는, 상기 포인트 데이터를 사용하여, 상기 보폭 간격에 대한 변위 벡터를 결정하는 단계를 포함하되, 상기 변위 벡터는 상기 프레임 세트의 제1 프레임에 표시된 상기 척추 중심과 상기 프레임 세트의 마지막 프레임에 표시된 상기 척추 중심을 연결하는, 방법. - 제11항에 있어서, 상기 신체 부위 세트는 상기 대상체의 코를 더 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 코의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 코의 측방향 변위 세트를 결정하는 단계를 포함하는, 방법. - 제12항에 있어서, 상기 코의 측방향 변위는 상기 대상체의 신체 길이에 더 기초하는, 방법.
- 제12항에 있어서, 상기 메트릭 데이터를 결정하는 단계는,
상기 코의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 코의 매끄러운 곡선 측방향 변위를 생성하고;
상기 코의 매끄러운 곡선 측방향 변위를 사용하여, 상기 코의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하고; 및
상기 코의 최대 변위가 발생할 때에 완료된 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 팁 변위 파스 오프셋을 결정하는 단계를 더 포함하는, 방법. - 제11항에 있어서, 상기 신체 부위 세트는 상기 대상체의 테일 베이스를 더 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 베이스의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 베이스의 측방향 변위 세트를 결정하는 단계를 포함하는, 방법. - 제15항에 있어서, 상기 메트릭 데이터를 결정하는 단계는:
상기 테일 베이스의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 생성하고;
상기 테일 베이스의 매끄러운 곡선 측방향 변위를 사용하여, 상기 테일 베이스의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하고; 및
상기 테일 베이스의 최대 변위가 발생할 때에 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 베이스 변위 파스 오프셋을 결정하는 단계를 더 포함하는, 방법. - 제11항에 있어서, 상기 신체 부위 세트는 상기 대상체의 테일 팁을 더 포함하고, 여기서 상기 메트릭 데이터를 결정하는 단계는:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 팁의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 팁의 측방향 변위 세트를 결정하는 단계를 포함하는, 방법. - 제17항에 있어서, 상기 메트릭 데이터를 결정하는 단계는,
상기 테일 팁의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 팁의 매끄러운 곡선 측방향 변위를 생성하고;
상기 테일 팁의 매끄러운 곡선 측방향 변위를 사용하여, 상기 보폭 간격 동안 상기 테일 팁의 최대 변위가 발생할 때를 결정하고; 및
상기 테일 팁의 최대 변위가 발생할 때에 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정함으로써, 테일 팁 변위 파스 오프셋을 결정하는 단계를 더 포함하는, 방법. - 제11항에 있어서, 상기 비디오 데이터를 처리하는 단계는 머신 러닝 모델을 사용하여 상기 비디오 데이터를 처리하는 단계를 포함하는, 방법.
- 제1항에 있어서, 상기 비디오 데이터를 처리하는 단계는 신경망 모델을 사용하여 상기 비디오 데이터를 처리하는 단계를 포함하는, 방법.
- 제1항에 있어서, 상기 비디오는 탑-다운 뷰를 갖는 개방 아레나에서 상기 대상체의 대상체가 결정한 움직임을 캡처하는, 방법.
- 제1항에 있어서, 상기 대조군 메트릭 데이터는 대조군 유기체 또는 이의 복수의 유기체로부터 수득되는, 방법.
- 제22항에 있어서, 상기 대상체는 유기체이고, 상기 대조군 유기체 및 상기 대상체 유기체는 동일한 종인, 방법.
- 제23항에 있어서, 상기 대조군 유기체는 상기 종의 실험실 계통이고, 선택적으로 상기 실험실 계통은 도 14e에 열거된 것인, 컴퓨터 구현 방법.
- 제22항에 있어서, 상기 대조군 메트릭 데이터와 비교하여 상기 대상체의 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 표현형과 비교하여 상기 대상체의 표현형에서의 차이를 나타내는, 방법.
- 제25항에 있어서, 상기 표현형 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타내는, 방법.
- 제25항 또는 제26항에 있어서, 상기 표현형 차이는 상기 대상체의 유전적 배경과 상기 대조군 유기체의 유전적 배경 간의 차이를 나타내는, 방법.
- 제22항에 있어서, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터의 통계적으로 유의한 차이는 상기 대조군 유기체의 유전자형과 비교하여 상기 대상체의 유전자형의 차이를 나타내는, 방법.
- 제28항에 있어서, 상기 유전자형에서의 차이는 상기 대상체와 상기 대조군 유기체 간의 계통 차이를 나타내는, 방법.
- 제28항에 있어서, 상기 유전자형에서의 차이는 상기 대상체에서 질환 또는 병태의 존재를 나타내는, 방법.
- 제1항에 있어서, 상기 대조군 메트릭 데이터는, 대조군 보폭 길이, 대조군 스텝 길이 및 대조군 스텝 폭을 포함하는 요소에 대응하고, 상기 대상체의 메트릭 데이터는 상기 일정 기간 동안 상기 대상체에 대한 보폭 길이, 상기 일정 기간 동안 상기 대상체에 대한 스텝 길이 및 상기 일정 기간 동안 상기 대상체에 대한 스텝 폭을 포함하는 요소를 포함하고, 상기 대조군 데이터와 상기 메트릭 데이터의 요소 중 하나 이상 사이의 차이는 상기 대상체와 상기 대조군 사이의 표현형 차이를 나타내는, 방법.
- 질환 또는 병태에 대한 후보 화합물의 효과의 존재를 결정하는 방법으로서,
대상체에 대한 제1 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 제1항 내지 제31항 중 어느 한 항의 컴퓨터 생성 방법을 포함하고, 상기 대상체는 상기 질환 또는 병태를 가지고 있거나 상기 질환 또는 병태에 대한 동물 모델인, 상기 단계;
상기 후보 화합물을 상기 대상체에게 투여하는 단계;
상기 유기체에 대한 투여 후 메트릭 데이터를 수득하는 단계; 및
상기 제1 및 투여 후 메트릭 데이터를 비교하는 단계를 포함하되, 상기 제1 및 투여 후 메트릭 데이터의 차이는 상기 질환 또는 병태에 대한 상기 후보 화합물의 효과를 식별하는, 방법. - 제32항에 있어서, 상기 질환 또는 병태의 치료에 있어서 상기 화합물의 효과에 대한 추가 시험을 더 포함하는, 방법.
- 질환 또는 병태에 대한 후보 화합물의 효과의 존재를 식별하는 방법으로서, 상기 방법은:
상기 질환 또는 병태를 갖거나 상기 질환 또는 병태에 대한 동물 모델인 대상체에게 상기 후보 화합물을 투여하는 단계;
상기 대상체에 대한 메트릭 데이터를 수득하는 단계로서, 상기 수득하기 위한 수단은 제1항 내지 제32항 중 어느 한 항의 컴퓨터 생성 방법을 포함하는, 상기 단계; 및
상기 수득된 메트릭 데이터를 대조군 메트릭 데이터와 비교하는 단계를 포함하되, 상기 수득된 메트릭 데이터와 상기 대조군 메트릭 데이터의 차이는 상기 질환 또는 병태에 대한 상기 후보 화합물의 효과의 존재를 식별하는, 방법. - 시스템으로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 의해 실행될 때, 명령어를 포함하는 적어도 하나의 메모리를 포함하되, 이는 상기 시스템으로 하여금:
대상체의 비디오 캡처 움직임을 나타내는 비디오 데이터를 수신하게 하고;
일정 기간에 걸쳐, 상기 대상체의 신체 부위 세트의 포인트 데이터 추적 움직임을 식별하기 위해 상기 비디오 데이터를 처리하게 하고;
상기 포인트 데이터를 사용하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 입각기 및 대응하는 복수의 유각기를 결정하게 하고;
상기 복수의 입각기 및 상기 복수의 유각기에 기초하여, 상기 일정 기간 동안 상기 비디오 데이터에 표시되는 복수의 보폭 간격을 결정하게 하고;
상기 포인트 데이터를 사용하여, 상기 대상체에 대한 메트릭 데이터를 결정하게 하되, 상기 메트릭 데이터는 상기 복수의 보폭 간격의 각 보폭 간격에 기초하고;
상기 대상체에 대한 상기 메트릭 데이터를 대조군 메트릭 데이터와 비교하게 하고; 및
상기 비교에 기초하여, 상기 대상체의 메트릭 데이터와 상기 대조군 메트릭 데이터 사이의 차이를 결정하게 하는, 시스템. - 제35항에 있어서, 상기 신체 부위 세트는 상기 코, 목의 베이스, 중간 척추, 좌측 뒷발, 우측 뒷발, 테일의 베이스, 테일의 중간 및 테일의 팁을 포함하고; 및
상기 복수의 입각기 및 상기 복수의 유각기는 상기 좌측 뒷발 및 상기 우측 뒷발의 이동 속도의 변화에 기초하여 결정되는, 시스템. - 제36항에 있어서, 적어도 하나의 메모리는 명령어를 추가로 포함하며, 적어도 하나의 프로세서에 의해 실행될 때, 이는 추가로 상기 시스템으로 하여금:
상기 좌측 뒷발 또는 상기 우측 뒷발의 발끝 이벤트에 기초하여 상기 복수의 입각기의 제1 입각기 및 상기 복수의 유각기의 제1 유각기로부터의 전이를 결정하게 하고; 및
상기 좌측 뒷발 또는 상기 우측 뒷발의 발걸음 이벤트에 기초하여 상기 복수의 유각기의 제2 유각기로부터 상기 복수의 입각기의 제2 입각기로의 전이를 결정하게 하는, 시스템. - 제35항에 있어서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 보행 측정에 대응하는, 시스템.
- 제35항 또는 제38항에 있어서, 상기 신체 부위 세트는 좌측 뒷발 및 우측 뒷발을 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 각 보폭 간격에 대한 스텝 길이를 결정하게 하되, 상기 스텝 길이는 상기 우측 뒷발이 이전의 좌측 뒷발 스트라이크를 지나 이동하는 거리를 나타내고;
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 보폭 길이를 결정하게 하되, 상기 보폭 길이는 상기 각 보폭 간격 동안 상기 좌측 뒷발이 이동하는 거리를 나타내고;
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 스텝 폭을 결정하게 하되, 상기 스텝 폭은 상기 좌측 뒷발과 상기 우측 뒷발 사이의 거리를 나타내는, 시스템. - 제35항 또는 제38항에 있어서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 각 보폭 간격에 대한 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터를 결정하게 하는, 시스템. - 제35항 또는 제38항에 있어서, 상기 신체 부위 세트는 테일 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스의 움직임에 기초하여 상기 대상체의 속도 데이터 세트를 결정하게 하고; 및
상기 속도 데이터 세트를 평균화함으로써, 상기 보폭 간격에 대한 보폭 속도를 결정하게 하는, 시스템. - 제35항 또는 제38항에 있어서, 상기 신체 부위 세트는 우측 뒷발 및 좌측 뒷발을 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 우측 뒷발이 상기 복수의 보폭 간격의 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제1 디딤 지속시간을 결정하게 하고;
상기 제1 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제1 듀티 팩터를 결정하게 하고;
상기 포인트 데이터를 사용하여, 상기 좌측 뒷발이 상기 보폭 간격 동안 지면과 접촉하는 시간의 양을 나타내는 제2 디딤 지속시간을 결정하게 하고;
상기 제2 디딤 지속시간 및 상기 보폭 간격의 지속시간에 기초하여 제2 듀티 팩터를 결정하게 하고; 및
상기 제1 듀티 팩터 및 상기 제2 듀티 팩터에 기초하여 상기 보폭 간격에 대한 평균 듀티 팩터를 결정하게 하는, 시스템. - 제35항 또는 제38항에 있어서, 상기 신체 부위 세트는 테일 베이스 및 목 베이스를 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 복수의 보폭 간격의 보폭 간격을 나타내는 프레임 세트 동안 상기 테일 베이스와 상기 목 베이스를 연결하는 벡터 세트를 결정하게 하고; 및
상기 벡터 세트를 사용하여, 상기 보폭 간격에 대한 상기 대상체의 각속도를 결정하게 하는, 시스템. - 제35항에 있어서, 상기 메트릭 데이터는 각 보폭 간격 동안 상기 대상체의 자세 측정에 대응하는, 시스템.
- 제35항 또는 제44항에 있어서, 상기 신체 부위 세트는 상기 대상체의 척추 중심을 포함하고,
상기 복수의 보폭 간격의 보폭 간격은 상기 비디오 데이터의 프레임 세트와 연관되어 있고,
상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금, 상기 포인트 데이터를 사용하여, 상기 보폭 간격에 대한 변위 벡터를 결정하게 하되, 상기 변위 벡터는 상기 프레임 세트의 제1 프레임에 표시된 척추 중심과 상기 프레임 세트의 마지막 프레임에 표시된 척추 중심을 연결하는, 시스템. - 제45항에 있어서, 상기 신체 부위 세트는 상기 대상체의 코를 더 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 코의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 코의 측방향 변위 세트를 결정하게 하는, 시스템. - 제46항에 있어서, 상기 코의 측방향 변위는 상기 대상체의 신체 길이에 더 기초하는, 시스템.
- 제46항에 있어서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 코의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 코의 매끄러운 곡선 측방향 변위를 생성하게 하고;
상기 코의 매끄러운 곡선 측방향 변위를 사용하여, 상기 코의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하게 하고; 및
상기 코의 최대 변위가 발생할 때에 완료된 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 팁 변위 파스 오프셋을 결정하게 하는, 방법. - 제45항에 있어서, 상기 신체 부위 세트는 상기 대상체의 테일 베이스를 더 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 베이스의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 베이스의 측방향 변위 세트를 결정하게 하는, 시스템. - 제49항에 있어서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 테일 베이스의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 베이스의 매끄러운 곡선 측방향 변위를 생성하게 하고;
상기 테일 베이스의 매끄러운 곡선 측방향 변위를 사용하여, 상기 테일 베이스의 최대 변위가 상기 보폭 간격 동안 발생할 때를 결정하게 하고; 및
상기 테일 베이스의 최대 변위가 발생할 때에 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 베이스 변위 파스 오프셋을 결정하게 하는, 방법. - 제45항에 있어서, 상기 신체 부위 세트는 상기 대상체의 테일 팁을 더 포함하고, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 포인트 데이터를 사용하여, 상기 프레임 세트 내의 각 프레임에 대한 상기 변위 벡터로부터의 테일 팁의 수직 거리에 기초하여 상기 보폭 간격에 대한 상기 테일 팁의 측방향 변위 세트를 결정하게 하는, 시스템. - 제51항에 있어서, 상기 시스템으로 하여금 상기 메트릭 데이터를 결정하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금:
상기 테일 팁의 측방향 변위 세트를 사용하여 보간을 수행하여 상기 보폭 간격에 대한 상기 테일 팁의 매끄러운 곡선 측방향 변위를 생성하게 하고;
상기 테일 팁의 매끄러운 곡선 측방향 변위를 사용하여, 상기 보폭 간격 동안 상기 테일 팁의 최대 변위가 발생할 때를 결정하게 하고; 및
상기 테일 팁의 최대 변위가 발생할 때에 완료되는 상기 보폭 간격의 백분율을 나타내는 백분율 보폭 위치를 결정하게 함으로써, 테일 팁 변위 파스 오프셋을 결정하게 하는, 시스템. - 제35항에 있어서, 상기 시스템으로 하여금 상기 비디오 데이터를 처리하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금 머신 러닝 모델을 사용하여 상기 비디오 데이터를 처리하게 하는, 시스템.
- 제35항에 있어서, 상기 시스템으로 하여금 상기 비디오 데이터를 처리하게 하는 상기 명령어는, 추가로 상기 시스템으로 하여금 신경망 모델을 사용하여 상기 비디오 데이터를 처리하게 하는, 시스템.
- 제35항에 있어서, 상기 비디오는 탑-다운 뷰를 갖는 개방 아레나에서 상기 대상체의 대상체가 결정한 움직임을 캡처하는, 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063131498P | 2020-12-29 | 2020-12-29 | |
| US63/131,498 | 2020-12-29 | ||
| US202163144052P | 2021-02-01 | 2021-02-01 | |
| US63/144,052 | 2021-02-01 | ||
| PCT/US2021/065425 WO2022147063A1 (en) | 2020-12-29 | 2021-12-29 | Gait and posture analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230132483A true KR20230132483A (ko) | 2023-09-15 |
Family
ID=82261092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237025393A KR20230132483A (ko) | 2020-12-29 | 2021-12-29 | 보행 및 자세 분석 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20240057892A1 (ko) |
| EP (1) | EP4243685A1 (ko) |
| JP (1) | JP2024505350A (ko) |
| KR (1) | KR20230132483A (ko) |
| AU (1) | AU2021414124A1 (ko) |
| CA (1) | CA3203340A1 (ko) |
| WO (1) | WO2022147063A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115300891B (zh) * | 2022-08-29 | 2023-10-31 | 浪潮软件科技有限公司 | 一种防作弊健步走距离计算方法及工具 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
| CA2543785A1 (en) * | 2003-10-24 | 2005-05-06 | Mmi Genomics, Inc. | Compositions, methods, and systems for inferring canine breeds for genetic traits and verifying parentage of canine animals |
| CA2873218C (en) * | 2012-05-10 | 2022-06-07 | President And Fellows Of Harvard College | Automated system and method for collecting data and classifying animal behavior |
| US10716492B2 (en) * | 2018-03-30 | 2020-07-21 | Bay West Veterinary Surgery, Inc. | Quadruped lameness detection |
-
2021
- 2021-12-29 KR KR1020237025393A patent/KR20230132483A/ko unknown
- 2021-12-29 WO PCT/US2021/065425 patent/WO2022147063A1/en active Application Filing
- 2021-12-29 US US18/260,006 patent/US20240057892A1/en active Pending
- 2021-12-29 JP JP2023539116A patent/JP2024505350A/ja active Pending
- 2021-12-29 EP EP21916381.3A patent/EP4243685A1/en active Pending
- 2021-12-29 AU AU2021414124A patent/AU2021414124A1/en active Pending
- 2021-12-29 CA CA3203340A patent/CA3203340A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022147063A1 (en) | 2022-07-07 |
| EP4243685A1 (en) | 2023-09-20 |
| AU2021414124A1 (en) | 2023-07-13 |
| US20240057892A1 (en) | 2024-02-22 |
| CA3203340A1 (en) | 2022-07-07 |
| JP2024505350A (ja) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10430533B2 (en) | Method for automatic behavioral phenotyping | |
| Sheppard et al. | Stride-level analysis of mouse open field behavior using deep-learning-based pose estimation | |
| Feng et al. | An imaging system for standardized quantitative analysis of C. elegans behavior | |
| Geuther et al. | Action detection using a neural network elucidates the genetics of mouse grooming behavior | |
| Nasiri et al. | Pose estimation-based lameness recognition in broiler using CNN-LSTM network | |
| JP2005502937A (ja) | 行動情報工学を監視するシステムおよび方法 | |
| Sheppard et al. | Gait-level analysis of mouse open field behavior using deep learning-based pose estimation | |
| KR20230132483A (ko) | 보행 및 자세 분석 | |
| Hu et al. | LabGym: Quantification of user-defined animal behaviors using learning-based holistic assessment | |
| Eerdekens et al. | Resampling and data augmentation for equines’ behaviour classification based on wearable sensor accelerometer data using a convolutional neural network | |
| CN116801799A (zh) | 步态和姿势分析 | |
| Zhang et al. | Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-Autoencoder | |
| Widrick et al. | Optimizing assays of zebrafish larvae swimming performance for drug discovery | |
| Yang et al. | Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision | |
| Xie et al. | Behavior Recognition of a Broiler Chicken using Long Short-Term Memory with Convolution Neural Networks | |
| US20240156369A1 (en) | Automated Phenotyping of Behavior | |
| CN117715585A (zh) | 使用机器学习模型确定视觉衰弱指数 | |
| KR20230069216A (ko) | 기계 학습 모델을 사용한 동작 탐지 | |
| Kottler et al. | Dopamine D1 receptor signalling differentially regulates action sequences and turning behaviour in freely moving Drosophila | |
| Sundharram | MOUSE SOCIAL BEHAVIOR CLASSIFICATION USING SELF-SUPERVISED LEARNING TECHNIQUES | |
| Marques | Density Valley Clustering Reveals New Swim Types of the Zebrafish Larvae | |
| Klibaite et al. | Mapping the Landscape of Social Behavior |