KR20150103723A - 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 - Google Patents
가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 Download PDFInfo
- Publication number
- KR20150103723A KR20150103723A KR1020157021052A KR20157021052A KR20150103723A KR 20150103723 A KR20150103723 A KR 20150103723A KR 1020157021052 A KR1020157021052 A KR 1020157021052A KR 20157021052 A KR20157021052 A KR 20157021052A KR 20150103723 A KR20150103723 A KR 20150103723A
- Authority
- KR
- South Korea
- Prior art keywords
- space
- user
- sensor
- gesture
- sensory
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 90
- 239000011521 glass Substances 0.000 title claims description 184
- 230000004438 eyesight Effects 0.000 title claims description 69
- 238000000034 method Methods 0.000 claims description 290
- 230000003190 augmentative effect Effects 0.000 claims description 180
- 239000012636 effector Substances 0.000 claims description 168
- 230000001953 sensory effect Effects 0.000 claims description 144
- 238000012545 processing Methods 0.000 claims description 142
- 210000003811 finger Anatomy 0.000 claims description 112
- 210000001508 eye Anatomy 0.000 claims description 98
- 238000011161 development Methods 0.000 claims description 95
- 230000018109 developmental process Effects 0.000 claims description 95
- 230000008207 sensory development Effects 0.000 claims description 95
- 230000000694 effects Effects 0.000 claims description 69
- 230000033001 locomotion Effects 0.000 claims description 65
- 230000001404 mediated effect Effects 0.000 claims description 63
- 210000003813 thumb Anatomy 0.000 claims description 47
- 238000005286 illumination Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 23
- 210000005224 forefinger Anatomy 0.000 claims description 21
- 239000011324 bead Substances 0.000 claims description 20
- 230000007613 environmental effect Effects 0.000 claims description 20
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000035807 sensation Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000000153 supplemental effect Effects 0.000 claims description 8
- 230000009545 invasion Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 230000015541 sensory perception of touch Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000001747 exhibiting effect Effects 0.000 claims description 4
- 208000033748 Device issues Diseases 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 51
- 239000002609 medium Substances 0.000 description 47
- 230000003993 interaction Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 32
- 210000004247 hand Anatomy 0.000 description 23
- 210000003128 head Anatomy 0.000 description 23
- 238000012549 training Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 23
- 238000005259 measurement Methods 0.000 description 22
- 239000000123 paper Substances 0.000 description 22
- 230000004927 fusion Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 19
- 238000013461 design Methods 0.000 description 19
- 238000001125 extrusion Methods 0.000 description 15
- 238000010422 painting Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000006854 communication Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 235000003166 Opuntia robusta Nutrition 0.000 description 11
- 244000218514 Opuntia robusta Species 0.000 description 11
- 239000012530 fluid Substances 0.000 description 11
- 230000010354 integration Effects 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 210000002683 foot Anatomy 0.000 description 10
- 239000004927 clay Substances 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000007667 floating Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000006641 stabilisation Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000000712 assembly Effects 0.000 description 7
- 238000000429 assembly Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 239000004744 fabric Substances 0.000 description 7
- 238000012876 topography Methods 0.000 description 7
- 230000001351 cycling effect Effects 0.000 description 6
- 238000010891 electric arc Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010304 firing Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 230000009183 running Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000036461 convulsion Effects 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003973 paint Substances 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000009184 walking Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 3
- 101100274557 Heterodera glycines CLE1 gene Proteins 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000009428 plumbing Methods 0.000 description 3
- 239000000843 powder Substances 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241000270728 Alligator Species 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 241000270722 Crocodylidae Species 0.000 description 2
- 101150027068 DEGS1 gene Proteins 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241001481166 Nautilus Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 208000018747 cerebellar ataxia with neuropathy and bilateral vestibular areflexia syndrome Diseases 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- LNNWVNGFPYWNQE-GMIGKAJZSA-N desomorphine Chemical compound C1C2=CC=C(O)C3=C2[C@]24CCN(C)[C@H]1[C@@H]2CCC[C@@H]4O3 LNNWVNGFPYWNQE-GMIGKAJZSA-N 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000011121 hardwood Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000000869 occipital lobe Anatomy 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000005060 rubber Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000000551 statistical hypothesis test Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241000372033 Andromeda Species 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 241000905957 Channa melasoma Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- GVGLGOZIDCSQPN-PVHGPHFFSA-N Heroin Chemical compound O([C@H]1[C@H](C=C[C@H]23)OC(C)=O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4OC(C)=O GVGLGOZIDCSQPN-PVHGPHFFSA-N 0.000 description 1
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 241001544487 Macromiidae Species 0.000 description 1
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 241000555745 Sciuridae Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 229910000746 Structural steel Inorganic materials 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 235000014121 butter Nutrition 0.000 description 1
- 230000000981 bystander Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 108010038204 cytoplasmic linker protein 190 Proteins 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000010410 dusting Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- RDYMFSUJUZBWLH-UHFFFAOYSA-N endosulfan Chemical compound C12COS(=O)OCC2C2(Cl)C(Cl)=C(Cl)C1(Cl)C2(Cl)Cl RDYMFSUJUZBWLH-UHFFFAOYSA-N 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 229920001821 foam rubber Polymers 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 235000013490 limbo Nutrition 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- -1 low power Substances 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000051 modifying effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000001603 reducing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009834 selective interaction Effects 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000004584 weight gain Effects 0.000 description 1
- 235000019786 weight gain Nutrition 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
제1 증강매개된-현실 공간과 동작가능하게 인터페이스하도록 구성된 제1 현상 인터페이스와, 제2 증강매개된-현실 공간과 동작가능하게 인터페이스하도록 구성된 제2 현상 인터페이스를 포함하는 센싱 및 디스플레이 장치가 엑스트라미시브 공간 이미징 디지털 아이 글래스로 구현된다.
Description
우선권 주장 및 관련 출원에 대한 상호 참조
본 출원은 2013년 1월 3일자로 출원된 미국 가특허 출원 제61/748,468호 및 2013년 12월 16일자로 출원된 미국 가특허 출원 제61/916,773호와 관련된 출원이고, 이들 기초출원 문헌의 35 USC§119(e) 하에서의 국내 우선권의 이익을 주장하며, 이들 기초출원 문헌의 전체 내용은 본 명세서에 명시적으로 병합된다.
센서 기술이 산업 공정에서 온도 센서의 사용과 같은 환경에 대한 정보를 모니터링하거나 및/또는 측정하는 상황에서 사용된다. 모바일 디바이스는 점점 증가하는 강력한 처리 능력을 사용하여 전화 통신 및 다른 모바일 통신과 같은 여러 응용을 지원할 수 있다.
일 측면에 따르면, 센싱 및 디스플레이 장치로서, 인터페이스 어셈블리를 포함하고, 상기 인터페이스 어셈블리는, 제1 연산 매개 공간 (예를 들어, 장면, 대상, 또는 등)과 인터페이스하도록 구성된 제1 인터페이스 모듈로서, 상기 제1 인터페이스 모듈은 상기 제1 공간과 센서 신호(sensor signal)와 이펙터 신호(effector signal)를 교환하도록 구성된, 상기 제1 인터페이스 모듈; 및 제2 연산 매개된 공간 (예를 들어, 디지털 아이 글래스 공간에서 또는 그 주위에서 사용자 자신의 퍼스널 뷰 공간)과 인터페이스하도록 구성된 제2 인터페이스 모듈로서, 상기 제2 인터페이스 모듈은 이펙터 신호를 제공하거나 교환하고, 일부 실시예에서, 또한 상기 제2 공간과 센서 신호(예를 들어, 아이-추적기, 또는 등)를 제공하거나 교환하도록 구성된, 상기 제2 인터페이스 모듈을 포함하고, 상기 이펙터 신호는 상기 제1 공간과 상기 제2 공간 중 어느 공간에서 적어도 부분적으로 사용자 제시가능한, 센싱 및 디스플레이 장치가 제공된다.
일 측면에 따르면, 센싱 및 디스플레이 장치로서, 인터페이스 어셈블리를 포함하고, 상기 인터페이스 어셈블리는, 감각 현상(sensory phenomenon) 및/또는 현상들을 나타내는 센서 신호와 인터페이스하도록 구성된 제1 인터페이스 모듈로서, 상기 신호 및/또는 현상은, 일 구현에서, 제1 현실 공간, 예를 들어, 시각적-현실 공간으로부터 수신되고, 일 구현에서 또한 제2 시각적-현실 공간으로부터 수신된 감각 현상을 나타내는, 상기 제1 인터페이스 모듈; 및 감각 현상을 상기 제1 시각적-현실 공간 및/또는 상기 제2 시각적-현실 공간에 표시하거나 디스플레이하거나 제시하거나 제공하거나 및/또는 등을 수행하는 이펙터 신호와 인터페이스하도록 구성된 제2 인터페이스 모듈을 포함하는, 센싱 및 디스플레이 장치가 제공된다.
일 측면에 따르면, 방법으로서, 제1 공간과 제2 공간으로부터 수신된 감각 현상을 나타내는 센서 신호를 수신하는 동작을 포함하는 방법이 제공된다.
일 측면에 따르면, 센싱 및 디스플레이 장치로서, 제1 공간과 제2 공간과 인터페이스하도록 구성된 인터페이스 어셈블리로서, 상기 인터페이스 어셈블리는 상기 제1 공간과 상기 제2 공간과 연관된 센서 신호와 이펙터 신호를 운반하도록 구성된, 상기 인터페이스 어셈블리; 상기 인터페이스 어셈블리에 동작가능하게 연결된 처리 장치로서, 상기 처리 장치는 상기 인터페이스 어셈블리에 의해 운반된 상기 센서 신호와 상기 이펙터 신호를 처리하도록 구성된, 상기 처리 장치; 및 처리 프로그램을 유형적으로 구현하도록 구성된 메모리 어셈블리를 포함하고, 상기 메모리 어셈블리는, 상기 처리 장치에 상기 센서 신호와 상기 이펙터 신호에 대한 동작을 실행하도록 구성된 프로그래밍된 명령의 시퀀스를 포함하는, 센싱 및 디스플레이 장치가 제공된다.
일 측면에 따르면, 사용자 인터페이스로서, 제1 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제1 인터페이스 섹션; 및 제2 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제2 인터페이스 섹션을 포함하는 사용자 인터페이스가 제공된다.
일 측면에 따르면, 센싱 및 디스플레이 장치로서, 제1 공간에서 현상 및/또는 현상들과 동작가능하게 인터페이스하도록 구성된 제1 현상 인터페이스; 및 제2 공간에서 현상 및/또는 현상들과 동작가능하게 인터페이스하도록 구성된 제2 현상 인터페이스를 포함하는 센싱 및 디스플레이 장치가 제공된다.
일 측면에 따르면, 청구범위에 한정된 다른 측면이 제공된다.
비-제한적인 실시예(예, 옵션 등)의 다른 측면과 특징은 이제 첨부 도면과 함께 비-제한적인 실시예의 이하 상세한 설명으로부터 보다 명백해질 것이다.
비-제한적인 실시예는 첨부 도면과 함께 취해진 비-제한적인 실시예의 이하 상세한 설명을 참조하는 것에 의해 보다 명백히 이해될 수 있을 것이다.
도 1a는 일 실시예에서 센서 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1aa는 일 실시예에서 도 1a의 감각 및 디스플레이 장치(1300)와 연관된 방법의 개략 예를 도시한 도면;
도 1b는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1c는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1d는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1e는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1ee는 음향 센싱 또는 음향 센싱 및 이펙토리(effectory)(예를 들어, 수중 음파 탐지기(sonar)) 장치로부터 뿐만 아니라 광 센싱 또는 광 센싱 및 이펙토리 (발광체(luminary)) 장치로부터 입력을 수신하는 일 실시예의 신호 처리 시스템을 도시한 도면;
도 1f는 도 1e의 감각 및 디스플레이 장치(1300)의 일 실시예를 사용하여 공유된 객체와 상호 작용하는 예를 도시한 도면;
도 1g는 도 1e의 감각 및 디스플레이 장치(1300)를 사용하는 일 실시예에서 아바코그래픽 궤적(abakographic trajectory)을 따라 공유된 객체와 상호 작용하는 일례를 도시한 도면;
도 1h는 도 1e의 센서 및 디스플레이 장치(1300)를 사용하여 공유된 객체와 상호 작용하는 방법의 일례를 도시한 도면;
도 2a는 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 2b는 일 실시예에서 비디오 궤도 안정화(Video Orbits stabilization)와 콤패러메트릭 정렬(comparametric alignment) 등을 도시한 도면;
도 2c는 일 실시예에서 앱세멘트(absement)-기반 신호 프로세서를 도시한 도면;
도 2d는 일 실시예에서 토포스컬푸팅 시스템(toposculputing system)을 도시한 도면;
도 2e는 일 실시예에서 토포스컬프팅 시스템(toposculpting system)의 다른 상세를 도시한 도면;
도 2f는 일 실시예에서 손-기반 토포스컬프팅 메쉬기(mesher)를 도시한 도면;
도 2g는 일부 구현에서 메타테이블 수스페이스(METAtable sousface) (상표) 시스템이라고 언급될 수 있는, 반대 표면(inverse surface)과 메타 테이블의 일 실시예를 도시한 도면;
도 3은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 4는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 5는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 타이밍과 시퀀싱 동작을 나타내는 다이아그램의 일례를 도시한 도면;
도 5a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 방법의 일례를 도시한 도면;
도 6은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)를 사용하여 다수의 참가자(사용자) 중에 공유된 실시간 증강매개된 현실의 일례를 도시한 도면;
도 7은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)를 사용하여 다수의 참가자(사용자) 중에 공유된 실시간 증강매개된 현실(augmediated reality)의 다른 예를 도시한 도면;
도 8a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 8b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 8c는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 9a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 9b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 10a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 10b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11c는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 12는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 13은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면; 및
도 14는 일 실시예에서 도 13의 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면.
도면은 반드시 축척에 맞는 것은 아니고, 점선, 개략적인 표현 및 파단도로 도시되었을 수 있다. 특정 경우에, 실시예를 이해하는데 불필요한 사항(및/또는 다른 사항을 이해하기 어렵게 하는 사항)은 생략되었을 수 있다.
대응하는 참조 부호는 여러 도면에 걸쳐 대응하는 컴포넌트를 나타낸다. 여러 도면에 있는 요소들은 명확화를 위해 도시된 것일 뿐 반드시 축척에 맞게 그려진 것은 아니다. 예를 들어, 이 도면에서 일부 요소의 차원은 현재 개시된 여러 실시예의 이해를 돕기 위해 다른 요소에 비해 과장되었을 수 있다.
[부호의 설명]
2B : 대상, 또는 진짜 대상
100 : 광학 센서
110 : 이동식 가리개
120 : 센서-인터페이스 유닛
130 : 표면
140 : 공개 대상
141 : 매니폴드
142 : 신체 부분
143 : 신체 부분
144 : 트레이스
145 : 신체 부분
145 : 매니폴드
146 : 매니폴드
147 : 신체 부분
150 : 네트워크 연결
160 : 컴퓨터
170 : 프로젝션
180AM : 아바코그래픽 매니폴드, 또는 매니폴드
180DEG : 디지털 아이 글래스, 또는 글래스, 또는 공간 이미징 글래스
180D : 디스플레이, 또는 디스플레이 유닛, 또는 스테레오 디스플레이
180F : 손가락
180G : 지오폰
180H : 헤드 스트랩
180IMU : 관성 센서
180IRR : 적외선 수신기
180IRT : 적외선 송신기
180L : LiDAR 유닛
180MD : 손
180MS : 손
180M : 마인드스트랩
180O : 객체
180P : 객체
180Q : 객체
180T : 테더 클립
180TT : 엄지 손가락
180U : 사용자
180VR : 가시광 수신기
180VT : 가시광 송신기
180V : 비전 시스템
180 : 디지털 아이 글래스
180U : 사용자
181BB : 객체
181DEG : 글래스, 또는 디지털 아이 글래스, 또는 공간 이미징 글래스
181G : 지오폰
181IRR : 수신기
181L : LiDAR 유닛
181MD : 손
181MS : 손
181M : 메뉴 선택
181SM : 스팻 메뉴
181U : 사용자
181 : 디스플레이 유닛, 또는 디스플레이 유닛들
182 : 지오폰
183 : 헤드-장착가능한 어셈블리
184 : 관성 측정 유닛
185 : 적외선 수신기
186 : 적외선 송신기
187 : LiDAR 유닛
188 : 헤드 뒤쪽 밴드
189 : 클립
190 : 디지털 아이 글래스
191 : 가시광 수신기
192 : 가시광 송신기
193 : 비전 시스템
194 : 지오폰
195 : 적외선 수신기
196 : 디지털 아이 글래스
197 : LiDAR 유닛
198 : 눈 또는 나안
199A : 우측 눈(oculus dexter) 지점
199B : 좌측 눈(oculus sinister) 지점
200 : 도구 지점
201 : 드로잉 도구
202 : 가상 대상
203 : 지오폰 센서
204 : 관성 측정 유닛
240 : 공개 대상
2D8 : 램프
2F8 : 램프
330 : 푸드 항목
331 : 버너
334 : 쿠킹탑(cooktop)
340 : 비밀 대상
341 : 싱크
400 : 접촉 검출기
401 : 호모그래피 침입 검출기
402 : 융합 센서
403 : 비디오-궤도 안정화 프로그램
404 : 콤패러메트릭 합성기
405 : 슈퍼포지메트릭 합성기
406 : 콤패러메트릭 분석 프로그램
407 : 슈퍼포지메트릭 분석기
408 : 슈퍼포지메트릭 공간 이미징 프로그램
409 : 콤패러메트릭 합성기
410 : 공간적-이미징 다중화기
411 : 시분할 다중화기
412 : 공동 제스처-기반 인터페이스
413 : 제스처-추적 검출기
414 : 신경 네트워크
415 : 최상의 맞춤(best-fit) 최적화기
416 : 그래디언트 디센터
417 : 규칙화기
418 : 오버플로우 페널라이저
419 : 사람-제스처 인식 프로그램
420 : 버블-메타퍼 생성기
421 : 구형 볼륨 측정 침입 추정기
422 : 볼륨-침입 검출기
423 : 버블-버스트 프로그램
424 : 학습 소프트웨어
430 : 패턴
500 : 펄스 트레인 신호
502 : 동작
504 : 동작
506 : 동작
508 : 동작
509 : 펄스 트레인 신호
510 : 더 약한 조명 신호
511 : 더 약한 조명 신호
513 : 방법
520 : 중간 조명 신호
521 : 중간 조명 신호
530 : 더 강한 조명 신호
531 : 더 강한 조명 신호
540 : 더 약한 조명 신호
541 : 더 약한 조명 신호
550 : 중간 조명 신호
551 : 중간 조명 신호
560 : 더 강한 조명 신호
561 : 더 강한 조명 신호
570 : 제1 시간 슬롯
571 : 제2 시간 슬롯
572 : 제3 시간 슬롯
573 : 제4 시간 슬롯
574 : 제5 시간 슬롯
575 : 제6 시간 슬롯
580 : 방법
582 : 동작
584 : 동작
586 : 동작
588 : 동작
600 : 객체
601 : 표면
602 : 인식가능한 표면 텍스처
603 : 이미지 아이콘
610 : 제스처 입력
611 : 제스처 입력
612 : 제스처 입력
630 : 무선 통신 모듈
631 : 무선 통신 모듈
632 : 무선 통신 모듈
700 : 실제 객체
710 : 손
720 : 버스트 버블
800 : 사용자 인터페이스
801 : 사용자
802 : 뷰
803 : 버블 세트
804 : 작업 버블
805 : 매체 버블
806 : 플레이 버블
807 : 소셜 버블
808 : 설정 버블
810 : 설정 유형
811 : 설정 유형
812 : 설정 유형
813 : 설정 유형
8x8 : 8
902 : 인터페이스 어셈블리
903 : 제1 인터페이스 모듈
904 : 센서 신호, 또는 센서 신호들
905 : 제2 인터페이스 모듈
906 : 이펙터 신호, 또는 이펙터 신호들
907 : 처리 프로그램, 또는 프로그램
908 : 처리 장치
909 : 메모리 어셈블리, 또는 비-일시적인 기계-판독가능한 저장 매체
910 : 제1 감각-현상 센서, 또는 감각-현상 센서
911 : 전자 네트워크 연결
912 : 제1 감각-현상 이펙터, 또는 감각-현상 이펙터
914 : 제2 센서-현상 이펙터, 또는 감각-현상 이펙터
916 : 제2 감각-현상 센서, 또는 감각-현상 센서
1000 : 제1 증강매개된-현실 공간
1002 : 제2 증강매개된-현실 공간
1100 : 방법
1102 : 동작
1104 : 동작
1106 : 동작
1108 : 동작
1110 : 동작
1300 : 장치, 또는 디스플레이 장치
1302 : 제1 현상 인터페이스
1304 : 처리 어셈블리
1306 : 제2 현상 인터페이스
1308 : 깊이 맵
1C10 : 토폴로지컬 센서
1C20 : 매니플레이
1C30 : 지속성 검출기
1C40 : 매니플레이 종료기
1C50 : 제스처 센서
1C60 : 객체 삭제기
1C70 : 스팻 메뉴
1C80 : 서브매니폴드 이동기
1C90 : 매니폴드 이동기
2B00 : 대상
2B05 : 대상
2B06 : 대상
2B10 : 대상
2B11 : 코너
2B12 : 코너
2B13 : 코너
2B14 : 코너
2B15 : 대상
2B16 : 대상
2B20 : 대상
2B25 : 대상
2B26 : 대상
2B30 : 대상
2B35 : 대상
2B36 : 대상
2C10 : 공정
2C15 : 공정 변수
2C20 : 가산기
2C25 : 에러 신호
2C30 : 키네매틱 프로세서
2C35 : 프로세서
2C40 : 처리된 키네매틱스 신호
2C45 : 가산기
2C50 : 신호
2C55 : 양
2C60 : 양
2C70 : 신호
2D21 : 광선
2D22 : 광선
2D23 : 가시 광선
2D24 : 광선
2D32 : 광선
2D34 : 광선
2D40 : 노출
2D51 : 문자 노출
2D55 : 문자 노출
2D60 : 문자 노출
2D70 : 테이블탑 표면
2D90 : 노출
2D91 : 아바코그래프
2D92 : 아바코그래프
2E10 : 아바코그래프
2E11 : 약한 노출
2E12 : 노출
2E13 : 노출
2F64 : 램프
1EE10 : 음향 밀림 입력
1EE20 : 시각적 밀림 입력
1EE25 : 음향 밀림 센서
1EE30 : 시각적 밀림 센서
1EE35 : 다차원 밀림 신호
1EE40 : 노드
1EE45 : 연결
1EE50 : 노드
1EE60 : 연결
1EE70 : 노드
1EE80 : 접촉 신호
1EE85 : 접촉 신호
1EE90 : 접촉 신호
1EE91 : 침입 검출기
1EE92 : 터치 검출기
1EE93 : 압출 검출기
1EE94 : 신호
1EE95 : 신호
1EE96 : 신호
1EE97 : 제스처 센서
1EE98 : 여러 출력 신호
2G110 : 메타가능한 라벨
2G120 : 객체
2G130 : 메타가능한 원형 객체
2G140 : 객체
2G150 : 객체
2G160 : 토포스컬프팅 완드
2G161 : 링
2G162 : 트리거
2G163 : 분리가능한 그립
22G164 : 핸들
22G165 : 샤프트
2G168 : 아바코그래프
2G169 : 추가적인 장치, 또는 장치
2G181 : 매니폴드
2G182 : 매니폴드
2G184 : 매니폴드
2G189 : 매니폴드
2G190 : 제스처 밴드
2G193 : 객체
2G199 : 가운데 손가락
도 1a는 일 실시예에서 센서 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1aa는 일 실시예에서 도 1a의 감각 및 디스플레이 장치(1300)와 연관된 방법의 개략 예를 도시한 도면;
도 1b는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1c는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1d는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1e는 일 실시예에서 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면;
도 1ee는 음향 센싱 또는 음향 센싱 및 이펙토리(effectory)(예를 들어, 수중 음파 탐지기(sonar)) 장치로부터 뿐만 아니라 광 센싱 또는 광 센싱 및 이펙토리 (발광체(luminary)) 장치로부터 입력을 수신하는 일 실시예의 신호 처리 시스템을 도시한 도면;
도 1f는 도 1e의 감각 및 디스플레이 장치(1300)의 일 실시예를 사용하여 공유된 객체와 상호 작용하는 예를 도시한 도면;
도 1g는 도 1e의 감각 및 디스플레이 장치(1300)를 사용하는 일 실시예에서 아바코그래픽 궤적(abakographic trajectory)을 따라 공유된 객체와 상호 작용하는 일례를 도시한 도면;
도 1h는 도 1e의 센서 및 디스플레이 장치(1300)를 사용하여 공유된 객체와 상호 작용하는 방법의 일례를 도시한 도면;
도 2a는 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 2b는 일 실시예에서 비디오 궤도 안정화(Video Orbits stabilization)와 콤패러메트릭 정렬(comparametric alignment) 등을 도시한 도면;
도 2c는 일 실시예에서 앱세멘트(absement)-기반 신호 프로세서를 도시한 도면;
도 2d는 일 실시예에서 토포스컬푸팅 시스템(toposculputing system)을 도시한 도면;
도 2e는 일 실시예에서 토포스컬프팅 시스템(toposculpting system)의 다른 상세를 도시한 도면;
도 2f는 일 실시예에서 손-기반 토포스컬프팅 메쉬기(mesher)를 도시한 도면;
도 2g는 일부 구현에서 메타테이블 수스페이스(METAtable sousface) (상표) 시스템이라고 언급될 수 있는, 반대 표면(inverse surface)과 메타 테이블의 일 실시예를 도시한 도면;
도 3은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 4는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 다른 개략 예를 도시한 도면;
도 5는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 타이밍과 시퀀싱 동작을 나타내는 다이아그램의 일례를 도시한 도면;
도 5a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 방법의 일례를 도시한 도면;
도 6은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)를 사용하여 다수의 참가자(사용자) 중에 공유된 실시간 증강매개된 현실의 일례를 도시한 도면;
도 7은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)를 사용하여 다수의 참가자(사용자) 중에 공유된 실시간 증강매개된 현실(augmediated reality)의 다른 예를 도시한 도면;
도 8a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 8b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 8c는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 9a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 9b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 10a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 10b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11a는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11b는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 11c는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 12는 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한 도면;
도 13은 일 실시예에서 도 1e의 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면; 및
도 14는 일 실시예에서 도 13의 감각 및 디스플레이 장치(1300)의 개략 예를 도시한 도면.
도면은 반드시 축척에 맞는 것은 아니고, 점선, 개략적인 표현 및 파단도로 도시되었을 수 있다. 특정 경우에, 실시예를 이해하는데 불필요한 사항(및/또는 다른 사항을 이해하기 어렵게 하는 사항)은 생략되었을 수 있다.
대응하는 참조 부호는 여러 도면에 걸쳐 대응하는 컴포넌트를 나타낸다. 여러 도면에 있는 요소들은 명확화를 위해 도시된 것일 뿐 반드시 축척에 맞게 그려진 것은 아니다. 예를 들어, 이 도면에서 일부 요소의 차원은 현재 개시된 여러 실시예의 이해를 돕기 위해 다른 요소에 비해 과장되었을 수 있다.
[부호의 설명]
2B : 대상, 또는 진짜 대상
100 : 광학 센서
110 : 이동식 가리개
120 : 센서-인터페이스 유닛
130 : 표면
140 : 공개 대상
141 : 매니폴드
142 : 신체 부분
143 : 신체 부분
144 : 트레이스
145 : 신체 부분
145 : 매니폴드
146 : 매니폴드
147 : 신체 부분
150 : 네트워크 연결
160 : 컴퓨터
170 : 프로젝션
180AM : 아바코그래픽 매니폴드, 또는 매니폴드
180DEG : 디지털 아이 글래스, 또는 글래스, 또는 공간 이미징 글래스
180D : 디스플레이, 또는 디스플레이 유닛, 또는 스테레오 디스플레이
180F : 손가락
180G : 지오폰
180H : 헤드 스트랩
180IMU : 관성 센서
180IRR : 적외선 수신기
180IRT : 적외선 송신기
180L : LiDAR 유닛
180MD : 손
180MS : 손
180M : 마인드스트랩
180O : 객체
180P : 객체
180Q : 객체
180T : 테더 클립
180TT : 엄지 손가락
180U : 사용자
180VR : 가시광 수신기
180VT : 가시광 송신기
180V : 비전 시스템
180 : 디지털 아이 글래스
180U : 사용자
181BB : 객체
181DEG : 글래스, 또는 디지털 아이 글래스, 또는 공간 이미징 글래스
181G : 지오폰
181IRR : 수신기
181L : LiDAR 유닛
181MD : 손
181MS : 손
181M : 메뉴 선택
181SM : 스팻 메뉴
181U : 사용자
181 : 디스플레이 유닛, 또는 디스플레이 유닛들
182 : 지오폰
183 : 헤드-장착가능한 어셈블리
184 : 관성 측정 유닛
185 : 적외선 수신기
186 : 적외선 송신기
187 : LiDAR 유닛
188 : 헤드 뒤쪽 밴드
189 : 클립
190 : 디지털 아이 글래스
191 : 가시광 수신기
192 : 가시광 송신기
193 : 비전 시스템
194 : 지오폰
195 : 적외선 수신기
196 : 디지털 아이 글래스
197 : LiDAR 유닛
198 : 눈 또는 나안
199A : 우측 눈(oculus dexter) 지점
199B : 좌측 눈(oculus sinister) 지점
200 : 도구 지점
201 : 드로잉 도구
202 : 가상 대상
203 : 지오폰 센서
204 : 관성 측정 유닛
240 : 공개 대상
2D8 : 램프
2F8 : 램프
330 : 푸드 항목
331 : 버너
334 : 쿠킹탑(cooktop)
340 : 비밀 대상
341 : 싱크
400 : 접촉 검출기
401 : 호모그래피 침입 검출기
402 : 융합 센서
403 : 비디오-궤도 안정화 프로그램
404 : 콤패러메트릭 합성기
405 : 슈퍼포지메트릭 합성기
406 : 콤패러메트릭 분석 프로그램
407 : 슈퍼포지메트릭 분석기
408 : 슈퍼포지메트릭 공간 이미징 프로그램
409 : 콤패러메트릭 합성기
410 : 공간적-이미징 다중화기
411 : 시분할 다중화기
412 : 공동 제스처-기반 인터페이스
413 : 제스처-추적 검출기
414 : 신경 네트워크
415 : 최상의 맞춤(best-fit) 최적화기
416 : 그래디언트 디센터
417 : 규칙화기
418 : 오버플로우 페널라이저
419 : 사람-제스처 인식 프로그램
420 : 버블-메타퍼 생성기
421 : 구형 볼륨 측정 침입 추정기
422 : 볼륨-침입 검출기
423 : 버블-버스트 프로그램
424 : 학습 소프트웨어
430 : 패턴
500 : 펄스 트레인 신호
502 : 동작
504 : 동작
506 : 동작
508 : 동작
509 : 펄스 트레인 신호
510 : 더 약한 조명 신호
511 : 더 약한 조명 신호
513 : 방법
520 : 중간 조명 신호
521 : 중간 조명 신호
530 : 더 강한 조명 신호
531 : 더 강한 조명 신호
540 : 더 약한 조명 신호
541 : 더 약한 조명 신호
550 : 중간 조명 신호
551 : 중간 조명 신호
560 : 더 강한 조명 신호
561 : 더 강한 조명 신호
570 : 제1 시간 슬롯
571 : 제2 시간 슬롯
572 : 제3 시간 슬롯
573 : 제4 시간 슬롯
574 : 제5 시간 슬롯
575 : 제6 시간 슬롯
580 : 방법
582 : 동작
584 : 동작
586 : 동작
588 : 동작
600 : 객체
601 : 표면
602 : 인식가능한 표면 텍스처
603 : 이미지 아이콘
610 : 제스처 입력
611 : 제스처 입력
612 : 제스처 입력
630 : 무선 통신 모듈
631 : 무선 통신 모듈
632 : 무선 통신 모듈
700 : 실제 객체
710 : 손
720 : 버스트 버블
800 : 사용자 인터페이스
801 : 사용자
802 : 뷰
803 : 버블 세트
804 : 작업 버블
805 : 매체 버블
806 : 플레이 버블
807 : 소셜 버블
808 : 설정 버블
810 : 설정 유형
811 : 설정 유형
812 : 설정 유형
813 : 설정 유형
8x8 : 8
902 : 인터페이스 어셈블리
903 : 제1 인터페이스 모듈
904 : 센서 신호, 또는 센서 신호들
905 : 제2 인터페이스 모듈
906 : 이펙터 신호, 또는 이펙터 신호들
907 : 처리 프로그램, 또는 프로그램
908 : 처리 장치
909 : 메모리 어셈블리, 또는 비-일시적인 기계-판독가능한 저장 매체
910 : 제1 감각-현상 센서, 또는 감각-현상 센서
911 : 전자 네트워크 연결
912 : 제1 감각-현상 이펙터, 또는 감각-현상 이펙터
914 : 제2 센서-현상 이펙터, 또는 감각-현상 이펙터
916 : 제2 감각-현상 센서, 또는 감각-현상 센서
1000 : 제1 증강매개된-현실 공간
1002 : 제2 증강매개된-현실 공간
1100 : 방법
1102 : 동작
1104 : 동작
1106 : 동작
1108 : 동작
1110 : 동작
1300 : 장치, 또는 디스플레이 장치
1302 : 제1 현상 인터페이스
1304 : 처리 어셈블리
1306 : 제2 현상 인터페이스
1308 : 깊이 맵
1C10 : 토폴로지컬 센서
1C20 : 매니플레이
1C30 : 지속성 검출기
1C40 : 매니플레이 종료기
1C50 : 제스처 센서
1C60 : 객체 삭제기
1C70 : 스팻 메뉴
1C80 : 서브매니폴드 이동기
1C90 : 매니폴드 이동기
2B00 : 대상
2B05 : 대상
2B06 : 대상
2B10 : 대상
2B11 : 코너
2B12 : 코너
2B13 : 코너
2B14 : 코너
2B15 : 대상
2B16 : 대상
2B20 : 대상
2B25 : 대상
2B26 : 대상
2B30 : 대상
2B35 : 대상
2B36 : 대상
2C10 : 공정
2C15 : 공정 변수
2C20 : 가산기
2C25 : 에러 신호
2C30 : 키네매틱 프로세서
2C35 : 프로세서
2C40 : 처리된 키네매틱스 신호
2C45 : 가산기
2C50 : 신호
2C55 : 양
2C60 : 양
2C70 : 신호
2D21 : 광선
2D22 : 광선
2D23 : 가시 광선
2D24 : 광선
2D32 : 광선
2D34 : 광선
2D40 : 노출
2D51 : 문자 노출
2D55 : 문자 노출
2D60 : 문자 노출
2D70 : 테이블탑 표면
2D90 : 노출
2D91 : 아바코그래프
2D92 : 아바코그래프
2E10 : 아바코그래프
2E11 : 약한 노출
2E12 : 노출
2E13 : 노출
2F64 : 램프
1EE10 : 음향 밀림 입력
1EE20 : 시각적 밀림 입력
1EE25 : 음향 밀림 센서
1EE30 : 시각적 밀림 센서
1EE35 : 다차원 밀림 신호
1EE40 : 노드
1EE45 : 연결
1EE50 : 노드
1EE60 : 연결
1EE70 : 노드
1EE80 : 접촉 신호
1EE85 : 접촉 신호
1EE90 : 접촉 신호
1EE91 : 침입 검출기
1EE92 : 터치 검출기
1EE93 : 압출 검출기
1EE94 : 신호
1EE95 : 신호
1EE96 : 신호
1EE97 : 제스처 센서
1EE98 : 여러 출력 신호
2G110 : 메타가능한 라벨
2G120 : 객체
2G130 : 메타가능한 원형 객체
2G140 : 객체
2G150 : 객체
2G160 : 토포스컬프팅 완드
2G161 : 링
2G162 : 트리거
2G163 : 분리가능한 그립
22G164 : 핸들
22G165 : 샤프트
2G168 : 아바코그래프
2G169 : 추가적인 장치, 또는 장치
2G181 : 매니폴드
2G182 : 매니폴드
2G184 : 매니폴드
2G189 : 매니폴드
2G190 : 제스처 밴드
2G193 : 객체
2G199 : 가운데 손가락
이하 상세한 설명은 단지 예시를 위하여 제시된 것일 뿐, 설명된 실시예(예, 옵션 등) 또는 설명된 실시예의 응용과 용도를 제한하는 것으로 의도된 것이 아니다. 본 명세서에 사용된 바와 같이, "예시적인" 또는 "개략적인" 이라는 단어는 "예, 경우, 또는 개략적인 것으로 기능하는" 것을 의미한다. "예시적인" 또는 "개략적인" 것으로 본 명세서에 설명된 임의의 구현은 다른 구현에 비해 반드시 바람직하다라거나 유리한 것으로 해석되어서는 안 된다. 아래에 설명된 구현들 전부는 본 발명의 실시예를 실시하거나 사용하는데 제공된 예시적인 구현들일 뿐, 본 발명의 범위를 제한하려고 의도된 것이 아니다. 본 명세서에서 설명을 하기 위한 목적으로, "상부", "하부", "좌측", "후방", "우측", "전방", "수직", "수평" 이라는 용어와 그 파생어는 도면에 배향된 예에 대한 것이다. 나아가, 전술한 기술 분야, 배경 기술, 발명의 내용 또는 이하 상세한 설명란에 제시된 임의의 명시적이거나 암시적인 이론으로 한정되는 것으로 의도된 것이 아니다. 또한 첨부된 도면에 도시되고, 이하 명세서에서 설명된 특정 디바이스와 공정은 예시적인 실시예(예), 측면 및/또는 개념인 것으로 이해되어야 한다. 그리하여, 본 명세서에 개시된 실시예와 관련된 특정 차원 및 다른 물리적인 특성은, 임의의 청구항의 문맥에서 명시적으로 달리 언급되지 않는 한, 발명을 제한하는 것으로 고려되어서는 안 된다. "적어도 하나의 요소"라는 것은 "요소"와 등가인 것으로 이해된다. 측면(예, 변경(alteration), 변형(modification), 옵션, 변동(variation), 실시예 및 이들의 임의의 균등물)이 도면을 참조하여 설명된다; 본 명세서에 있는 설명은 청구된 발명을 실시할 수 있는 여러 예시적인 일부 실시예를 개략적으로 도시하는 것으로 이해되어야 한다. 이들은 청구된 원리를 이해하고 개시하는 것을 단지 도와주기 위해 제시된 것이다. 이들은 모든 청구된 발명을 나타내는 것이 아닌 것으로 이해되어야 한다. 그리하여, 본 발명의 특정 측면은 본 명세서에 설명되지 않았다. 이 대안적인 실시예는 본 발명의 특정 부분에 대해 제시되지 않았을 수 있고 또는 다른 설명되지 않은 대안적인 실시예는 일부에 이용가능할 수 있고 이 대안적인 실시예를 포기하는 것으로 고려되어서는 안 된다. 이 설명되지 않은 실시예들 중 많은 것은 본 발명의 동일한 원리를 포함하고 다른 것들은 등가인 것으로 이해된다. 따라서, 다른 실시예들이 사용될 수 있고, 기능적인, 논리적인, 조직적인(organizational), 구조적인 및/또는 토폴로지컬 변형(topological modification)이 본 발명의 범위 및/또는 사상을 벗어남이 없이 이루어질 수 있는 것으로 이해되어야 한다.
도 1a는 일 실시예에서 센싱 및 디스플레이 장치(1300)의 개략 예를 도시한다.
도 1a에 따라, 센싱 및 디스플레이 장치(1300)는 인터페이스 어셈블리(902)를 포함한다(그리고 이로 제한되지 않는다). 일 구현에서, 인터페이스 어셈블리(902)는 제1 증강매개된-현실 공간(1000)으로부터 수신되거나 및/또는 이 공간에서 검출된 감각 현상을 나타내는 센서 신호(904)와 인터페이스하도록 구성된다. 제1 증강매개된-현실 공간(1000)은 증강된 현실 공간(augmented reality space) 및/또는 매개된-현실 공간(mediated-reality space)이라고 지칭될 수 있다. 또한 센서 신호(904)는, 일 구현에서, 제2 증강매개된-현실 공간(1002)과 같은 하나 이상의 추가적인 공간으로부터 수신되거나 및/또는 이 추가적인 공간에서 검출된 감각 현상을 나타낼 수 있다. 일 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)은 배타적일 수 있는 (예를 들어, 서로 오버랩(overlap)하지 않는) 반면, 다른 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)의 전부 또는 일부는 오버랩하거나, 일치(coincident)하거나, 동연(coextensive)하거나, 및/또는 등일 수 있다. 일부 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)은 대안적으로 사용자의 신원(identity), 디바이스에서 실행되는 하나 이상의 소프트웨어 애플리케이션의 신원, 검출된 및/또는 측정된 주위 팩터(예를 들어, 광 레벨, 시간, GPS, 및/또는 등)의 특성 및/또는 값, 및/또는 등과 같은 여러 팩터에 따라 배타적이거나 및/또는 동연할 수 있다. 또한 인터페이스 어셈블리(902)는, 일 구현에서, 감각 현상을 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)에 나타내거나 작용(effecting)하거나 디스플레이하거나 제공하거나 및/또는 등을 수행하는 이펙터 신호(906)와 인터페이스하도록 구성될 수 있다. 여러 구현에서 본 명세서에 사용된 바와 같이, 인터페이스하는 것은 교환하거나, 운반하거나, 수신하거나, 및/또는 등을 수행하는 것을 포함할 수 있다.
또 다른 예에 따라, 센싱 및 디스플레이 장치(1300)는 제1 인터페이스 모듈을 포함하는 인터페이스 어셈블리(902)를 포함한다(그리고 이로 제한되지 않는다). 일 구현에서, 제1 인터페이스 모듈은 제1 증강매개된- 현실 공간(1000)과 인터페이스하도록 (또는 이 공간 쪽으로 배향되거나 이 공간 쪽을 향하도록) 구성될 수 있다. 또 다른 구현에서, 제1 인터페이스 모듈은 제1 증강매개된-현실 공간(1000)과 다른 방식으로 상호 작용하도록 구성될 수 있다. 예를 들어, 오디오 실시예에서, 제1 인터페이스 모듈은, 일부 구현에서, 사운드 소스 쪽으로 배향될 수 있는 하나 이상의 마이크(microphone)를 포함할 수 있다. 제1 인터페이스 모듈은 제1 증강매개된-현실 공간(1000)과 센서 신호(904)와 이펙터 신호(906)를 운반 및/또는 교환하도록 구성될 수 있다. 또한 인터페이스 어셈블리(902)는 일 구현에서 제2 인터페이스 모듈을 포함할 수 있다. 제2 인터페이스 모듈은 제2 증강매개된-현실 공간(1002)과 인터페이스하도록 (또는 이 공간 쪽으로 배향되거나 이 공간 쪽을 향하도록) 구성될 수 있다. 제2 인터페이스 모듈은 제2 증강매개된- 현실 공간(1002)과 센서 신호(904)와 이펙터 신호(906)를 운반 및/또는 교환하도록 구성될 수 있다. 일 구현에서, 이펙터 신호(906) (및/또는 이펙터 신호(906)의 표현)는 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 중 하나의 공간 또는 둘 모두의 공간에서 적어도 부분적으로, 사용자 제시가능할 수 있다.
센서 신호(904)와 이펙터 신호(906)는 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 중 하나의 공간 또는 둘 모두의 공간에서 예를 들어 시각적 디스플레이, 오디오 프리젠테이션, 사용자 조작, 및/또는 임의의 다른 사용자 소비 형태를 통해 사용자-감각 프리젠테이션 및/또는 소비를 위해 적어도 부분적으로 여러 형태로 제시가능하다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 인터페이스 어셈블리(902)에 동작가능하게 연결하도록 구성된 처리 장치(908)를 더 포함할 수 있다. 일 구현에서, 처리 장치(908)는 인터페이스 어셈블리(902)와 인터페이스하거나 및/또는 이와 연관된 센서 신호(904)를 처리하고, 및/또는 인터페이스 어셈블리(902)와 인터페이스하거나 및/또는 이와 연관된 이펙터 신호(906)를 처리하도록 구성될 수 있다. 처리 장치(908)는 센서 신호(904) 및/또는 이펙터 신호(906)를 처리(예를 들어, 증강, 변경(modifying), 및/또는 등을 수행)하는 동작을 포함할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 인터페이스 어셈블리(902)를 포함할 수 있다. 일 구현에서, 인터페이스 어셈블리(902)는 제1 증강매개된-현실 공간(1000)으로부터 수신된 감각 현상을 나타내거나, 및/또는 또한 제2 증강매개된-현실 공간(1002)으로부터 수신된 감각 현상을 나타내는 센서 신호(904)와 인터페이스하도록 구성된 제1 인터페이스 모듈(903)을 포함할 수 있다. 일 구현에서, 인터페이스 어셈블리(902)는 감각 현상을 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)에 표시하거나 디스플레이하거나 제공하거나 투영(projecting)하거나 및/또는 등을 수행하는 이펙터 신호(906)와 인터페이스하도록 구성된 제2 인터페이스 모듈(905)을 더 포함할 수 있다. 인터페이스 어셈블리(902)의 다른 구성도 본 명세서에 제공된 설명을 고려하여 가능하다.
예를 들어, 제1 증강매개된-현실 공간(1000)은 2개 이상의 사용자 중에 공유된 공간(공개적으로 공유된 공간)이도록 구성된 증강된 또는 매개된-현실 환경 (공간)이다. 제2 증강매개된-현실 공간(1002)은 사용자에 의해 사용되는 공간(예를 들어, 개인적인 공간(personal space)), 또는 제한된 수의 사용자에 의해 (예를 들어, 사용을 위해) 공유될 수 있는 공간 (예를 들어, 사적인 공간(private space)), 또는 제1 증강매개된-현실 공간(1000)의 모든 사용자에 의해 공유될 수 있는 공간이도록 구성된 증강된 또는 매개된-현실 환경 (공간)이다.
예를 들어, 제2 증강매개된-현실 공간(1002)은 제1 증강매개된-현실 공간(1000)의 라이브(직접 또는 간접) 뷰(view)를 (사용자 또는 사용자들에) 제공하도록 구성된다. 일 구현에서, 제1 증강매개된-현실 공간(1000)은, 제1 증강매개된-현실 공간(1000)에 포함된 물리적인 요소로 투영될 수 있는 컴퓨터-생성된 감각 현상 (예를 들어, 사운드, 비디오, 그래픽, 촉각 요소, 및/또는 등), 또는 사용자에 제시된 변형된 버전(예를 들어, 사용자가 "클러터({clutter)"를 제거하는 것에 의해 세계를 더 잘 센싱하고 이해하는 것을 도와주기 위해 축소된 현실(diminished reality), 이러한 축소된 현실은 증강매개된 현실의 다른 예임)으로 (예를 들어, 컴퓨터에 의해) 변형된 감각 현상에 의해 증강, 보충(supplemented) 및/또는 매개(예를 들어, 증강매개)될 수 있는 물리적인 요소를 가지는 물리적인 (실제 세계) 환경을 포함한다. 따라서 장치(1300)는, 일부 구현에서, 환경으로 또는 환경으로부터 작용되거나, 투영되거나, 감산(subtracted)되거나, 및/또는 등이 수행된 물리적인 요소 및/또는 정보, 가상 요소 및/또는 정보, 및/또는 요소의 임의의 조합을, 출력 디스플레이를 통해, 예를 들어, 디바이스의 사용자에 프리젠테이션하기 위해 디스플레이가능한 대상에 병합하도록 구성될 수 있다. 일부 구현에서, 이펙터 신호 및/또는 다른 컴퓨터-생성된 감각 현상은 환경에서 대상을 넘어 및/또는 이 대상의 조명, 증강 및/또는 경계(demarcation)에 더하여 다양한 용도들 중 어느 것을 위해 사용될 수 있다. 예를 들어, 일 구현에서, 이펙터 신호 및/또는 다른 컴퓨터-생성된 감각 현상은 레드아이 감소 플래쉬 능력(redeye reduction flash capability)을 포함할 수 있고, 여기서 이 플래쉬보다 일련의 저전력 플래쉬가 선행하여 동공의 수축(contraction)을 트리거한다. 또 다른 예에서, 일 구현에서, 이펙터 신호 및/또는 다른 컴퓨터-생성된 감각 현상은 경보(alerting), 경고(warning), 현혹(blinding), 디스에이블(disabling), 배향 해제(disorienting), 및/또는 등을 위한 플래쉬, 스트로브(strobe), 및/또는 등을 포함할 수 있다.
일 구현에서, 제1 증강매개된-현실 공간(1000)은 다수의 사용자에 의해 공유된 공유 공간일 수 있다. 일 구현에서, 제1 증강매개된-현실 공간(1000)을 공유하는 사용자들은, 예를 들어, 로컬 영역 네트워크, 블루투스(상표) 네트워크, WiFi(상표) 네트워크, 및/또는 등을 포함하는(그러나 이로 제한되지 않는) 임의의 유형의 네트워크 연결을 통해 전자 연결을 통해 서로 가까이 위치될 수 있는 반면, 또 다른 구현에서, 사용자는, 예를 들어, 서로 원격에 위치될 수 있고, 광역 네트워크, 셀룰러 네트워크. TCP/IP 네트워크, 및/또는 등을 통해 연결된다. 또한 제2 증강매개된-현실 공간(1002)은 공유된 공간일 수 있고, 다른 사용자와 제한된 공유를 위한 옵션을 포함할 수 있다. 제2 증강매개된-현실 공간(1002)은, 일 구현에서, 사용자 그룹으로부터 그리진 유도된 미리 결정된 및/또는 선택된 사용자에 속하거나 및/또는 할당될 수 있다. 이런 의미에서, 제2 증강매개된-현실 공간(1002)은 미리 결정된 사용자의 개인 공간이다. 제2 증강매개된-현실 공간(1002)의 사용자는 어느 사용자에게도 제2 증강매개된-현실 공간(1002)의 액세스를 허용하지 않을 수 있고, (예를 들어, 제2 증강매개된-현실 공간(1002)에 할당된 사용자의 희망 또는 제어에 따라) 제1 증강매개된-현실 공간(1000)과 연관된 사용자의 서브셋 또는 전부에 액세스를 허용할 수 있다. 여러 구현에서, 제1 증강매개된-현실 공간(1000)의 하나 또는 둘 모두와 제2 증강매개된-현실 공간(1002)의 하나 이상의 인스턴스는 로컬 영역 네트워크, 광역 네트워크, 셀룰러 네트워크, WiFi (상표) 네트워크, 블루투스 (상표) 네트워크, TCP/IP 인에이블 네트워크, 및/또는 등을 포함하는(그러나 이로 제한되지 않는) 임의의 유형의 네트워크를 통해 네트워크 액세스가능할 수 있다. 인터넷 프로토콜 수트(suite)는 인터넷 및 유사한 네트워크에 사용되는 네트워크 모델과 통신 프로토콜 세트이다. 가장 중요한 프로토콜, 전송 제어 프로토콜 (Transmission Control Protocol: TCP) 및 인터넷 프로토콜 (IP)은 이 표준에 정의된 제1 네트워크 프로토콜이기 때문에 인터넷 프로토콜 수트는 일반적으로 TCP/IP로 알려져 있다.
예를 들어, 제1 증강매개된-현실 공간(1000)과 연관된 사용자가 7명 있는 경우에, 이 사용자 그룹의 각 멤버는 제1 증강매개된-현실 공간(1000)에 액세스하고, 이런 방식으로, 제1 증강매개된-현실 공간(1000)은 공동체 공간(communal space)(예를 들어, 공개 공간)으로 처리된다. 제1 증강매개된-현실 공간(1000)과 연관된 현상 (감각 현상)은 감각 및 디스플레이 장치(1300)의 각 사용자의 각 인스턴스에 의하여 제1 증강매개된-현실 공간(1000)에 액세스하는 사용자에 의해 공동체 방식으로 경험되거나 공유될 수 있다.
일 구현에서, 각 사용자에는 감각 및 디스플레이 장치(1300)의 각 인스턴스를 통해 제2 증강매개된-현실 공간(1002)의 고유 인스턴스(own instnace)가 할당될 수 있다. 장치(1300)는 장치(1300)의 사용자가 제1 증강매개된-현실 공간(1000)에 액세스하고, 제2 증강매개된-현실 공간(1002)의 인스턴스에 액세스하도록 구성된다. 장치(1300)는 사용자에 제1 증강매개된-현실 공간(1000)의 다른 사용자에 제2 증강매개된-현실 공간(1002)의 인스턴스에 액세스하는 정도(예를 들어, 액세스 금지, 제한된 액세스, 완전한 액세스)를 허용하도록 구성된다. 일 구현에서, 예를 들어, 설정 및/또는 제한된 시간 및/또는 위치에의 액세스; 프로파일, 허가(permission) 및/또는 역할(role)-기반 액세스; 태스크(task) 및/또는 달성(accomplishment)-기반 액세스; 및/또는 등과 같은 액세스 범위가 적용되거나 및/또는 강제(enforced)될 수 있다. 이러한 액세스 범위는, 일 구현에서, 액세스 트리거 및/또는 파라미터 값과 연관된 데이터 레코드에 링크된 액세스 레코드에 기초하여 강제될 수 있다. 공유된 액세스의 구현에서, 하나 이상의 다른 사용자의 제1 증강매개된-현실 공간(1000)에 공유된 제2 증강매개된-현실 공간(1002)의 제1 사용자의 인스턴스는, 주석을 달거나, 태그를 붙이거나, 및/또는 다른 방식으로 라벨 부착될 수 있다. 예를 들어, 제2 증강매개된-현실 공간(1002) 인스턴스는 예를 들어, 제2 증강매개된-현실 공간(1002)과 연관된 것으로 제1 사용자를 식별할 수 있는, 하나 이상의 특성 주석, 로고, 워터마크, 드로잉(drawing), 그래픽, 사진, 이름, 라벨, 태그, 컬러, 형상, 사운드, 및/또는 등을 포함할 수 있다. 일 구현에서, 제2 증강매개된-현실 공간(1002)의 2개 이상의 인스턴스에 액세스하는 특권을 갖는 사용자는 선택된 공유된 제2 공간 뷰(space view)를 개방하거나(opening) 폐쇄하거나(closing) 이동시키거나 사이즈 재지정(resizing)하거나 최대화하거나 최소화하거나 배향하거나 압착(squeezing)하거나 신장(stretching)하거나 스컬프팅(sculpting)하거나 및/또는 등을 수행하는 것에 의해 복수의 제2 증강매개된-현실 공간(1002)의 뷰 옵션 및/또는 직접 뷰를 선택할 수 있다. 일 구현에서, 적어도 하나의 공유된 제2 공간에 액세스하는 특권을 갖는 사용자에는, 제1 증강매개된-현실 공간(1000), 제2 증강매개된-현실 공간(1002) 및, 일부 경우에서 하나 이상의 추가적인 공유된 제2 공간 사이에 동일한 객체 및/또는 물리적인 공간이 충돌하거나 및/또는 불일치하는 뷰들이 제시될 수 있다. 예를 들어, 게임 시나리오에서, 가상 객체는 게임 파라미터에 기초하여 일부 사용자에는 보일 수 있으나 다른 사용자에는 보이지 않을 수 있다. 2개의 공유된 제2 공간, 즉 가상 객체를 갖는 공간과 가상 객체 없는 공간을 보는 사용자는 동일한 물리적인 공간 (예를 들어, 가상 객체를 갖는 공간과 가상 객체 없는 공간)이 상이한 뷰를 인식할 수 있다. 일 구현에서, 제2 증강매개된-현실 공간(1002)의 뷰는 제1 증강매개된-현실 공간(1000)의 뷰 및/또는 서로 오버레이(overlay)될 수 있다. 일 구현에서, 객체, 가상 객체, 및/또는 다른 디스플레이 컴포넌트의 서브셋이, 예를 들어, 수신 사용자의 역할, 특권, 설정, 및/또는 등에 기초하여 주어진 제2 증강매개된-현실 공간(1002)의 특정 공유된 뷰 내에 제시될 수 있다.
예를 들어, 제1 사용자는, 감각 및 디스플레이 장치(1300)에 의해 제공된 구성 설정에 의하여, 제2 증강매개된-현실 공간(1002)의 인스턴스에의 액세스를 제한하여, (센싱 및 디스플레이 장치(1300)의 각 인스턴스에 의해 액세스되는) 제1 증강매개된-현실 공간(1000)의 다른 사용자들이 제1 사용자의 제2 증강매개된-현실 공간(1002)에의 액세스 또는 공유된 액세스를 하게 못하게 할 수 있다. 제1 사용자는 제2 증강매개된- 현실 공간(1002)의 인스턴스를 (센싱 및 디스플레이 장치(1300)를 통해) 개인 전용으로 만들어, 장치(1300)의 고유 인스턴스를 갖는 다른 사용자는 액세스가능하지 않도록 결정하였다.
하나의 예에서, 제1 증강매개된-현실 공간(1000)의 제2 사용자는, 장치(1300)의 인스턴스의 구성 설정에 의하여, 제3 사용자와 제4 사용자가 제2 사용자에 할당된 제2 증강매개된- 현실 공간(1002)에 액세스할 수 있게 한다. 제3 사용자와 제4 사용자는 제2 증강매개된-현실 공간(1002)의 고유 각 인스턴스를 제2 사용자와 공유할지 여부를 결정할 수 있다.
(제1 증강매개된-현실 공간(1000)과 연관된) 나머지 사용자는 (예를 들어) 지시된 바와 같이 각 요구, 선택, 역할, 특권에 따라, 및/또는 등에 따라 (센싱 및 디스플레이 장치(1300)의 각 인스턴스를 통해) 제2 증강매개된-현실 공간(1002)의 인스턴스의 액세스를 설정할 수 있다.
예를 들어, 일 실시예에서, 사용자의 2개의 반대 팀이 팀 노력으로 그 솜씨가 일치하는 전자 게임(예를 들어, 증강된 또는 매개된 현실 게임)이 설정될 수 있다. 그리하여, 제1 증강된 또는 제1 증강매개된-현실 공간(1000)의 사용자의 제1 팀이 이 팀의 각 멤버가 제1 팀의 각 멤버의 제2 증강매개된-현실 공간(1002)의 각 인스턴스에 액세스하는 방식으로 센싱 및 디스플레이 장치(1300)의 인스턴스를 구성할 수 있다. 이런 방식으로, 팀 멤버는 게임을 플레이하는 동안 자기들끼리 채팅(사용자 통신을 교환)할 수 있고 게임이 제1 증강매개된- 현실 공간(1000)에서 플레이아웃된 동안 사용자의 제2 팀에 대해 승리 전략을 짠다. 제1 증강매개된-현실 공간(1000)에서, 모든 사용자는 제1 증강매개된-현실 공간(1000)에 액세스할 수 있고, 게임이 플레이아웃된 동안 상호 작용할 수 있다. 전자 게임은 팀 플레이어 등을 수행(engage)하는 전쟁 게임, 체스 게임, 및 임의의 다른 종류의 게임일 수 있다. 팀의 사이즈는 적어도 하나의 사용자일 수 있다. 사용자는, 일 예에서, 물리적으로 원격 위치에 위치될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)의 인스턴스를 각각 착용하는 다수의 사용자는, (예를 들어, 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서) 공유된 컴퓨터-매개된 현실을 경험할 수 있다. 또 다른 옵션에서, 센싱 및 디스플레이 장치(1300)를 착용하지 않는 사용자는 심지어 제1 증강매개된-현실 공간(1000)에서 컴퓨터-매개된 현실의 일부 요소를 공유할 수 있고 또한 제1 증강매개된-현실 공간(1000) 내에 참가할 수 있다.
하나를 초과하는 사용자는 동일한 대상을 보며 센싱 및 디스플레이 장치(1300)의 인스턴스를 착용할 수 있다. 장치(1300)의 다수의 인스턴스의 경우에, 센싱 및 디스플레이 장치(1300)의 각 인스턴스는, 일 구현에서, 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서 센싱 및 디스플레이 장치(1300)의 하나 이상의 다른 인스턴스와 데이터(예를 들어, 현상 신호)를 공유하며 공간적-이미징 기능(동작)을 수행하도록 구성될 수 있다.
센싱 및 디스플레이 장치(1300)는 하나 이상의 가상 객체와 자유-공간에서 상호 작용하거나, 및/또는 편평한 표면(flat surface) (예를 들어, 테이블, 카운터탑(countertop), 쿠킹탑(cooktop), 바닥, 지면(ground), 및/또는 등)과 같은 유형적인 (물리적인) 객체와 상호 작용하는 사용자의 부속 기관(손, 손가락, 팔, 다리, 발 등)의 움직임을 통해 제어가능할 수 있는 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)을 통해 증강매개된 현실 환경 (예를 들어, 증강매개된 현실, 매개된 현실 경험)을 제공하도록 구성될 수 있다.
일 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)은 3차원 이미저리(imagery)와 같은 이미저리를, 사용자 또는 사용자들에 제공하도록 구성될 수 있다. 제1 증강매개된- 현실 공간(1000)과 제2 증강매개된-현실 공간(1002)은, 일부 구현에서, 사이보그 공간(syborg space) 및/또는 매개된 현실 환경이라고 지칭될 수 있다. 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)은 처리 장치(908)에 의해 변경(예를 들어, 축소된, 증강매개된, 및/또는 등이 수행)될 수 있는 현실에 액세스(예를 들어, 뷰)를 제공하도록 구성될 수 있다. 처리 장치(908)는, 일 구현에서, 사용자 및/또는 사용자들을 위한 현실의 인식을 개선시키도록 구성될 수 있다. 일 구현에서, 처리 장치(908)는 경기 동안 스포츠 이벤트의 스포츠 스코어와 같은 환경 요소와 의미적인 상황에서 실시간으로 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)을 제공하거나 및/또는 촉진하도록 구성된다. 예를 들어, 컴퓨터-비전 디바이스 및/또는 객체-인식 디바이스를 추가하거나 및/또는 사용하는 것에 의해, 사용자 또는 사용자들의 주변 실제 세계에 대한 정보가 상호 작용하고, 센싱 및 디스플레이 장치(1300)의 처리 장치(908)에 의해 디지털 방식으로 조작될 수 있다. 일 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)에 대한 메타(예를 들어, 인공적인, 가상, 추가적인, 증강매개, 및/또는 등의) 정보가 제1 증강매개된-현실 공간(1000)과 연관된 (예를 들어, 이 공간에 위치된) 물리적인 요소 위에 오버레이될 수 있다. 예로서, 제1 증강매개된-현실 공간(1000)은 사용자(예를 들어, 2명을 초과하는 사용자)에 의해 액세스가능하도록 구성될 수 있고, 제2 증강매개된-현실 공간(1002)은 제2 증강매개된-현실 공간(1002)의 인스턴스의 사용자에 의해 요구되는 대로 단일 사용자 또는 임의의 수의 사용자에 의해 액세스가능하도록 구성될 수 있다. 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)의 추가적인 예는 도면과 함께 아래에서 설명된다. 일 옵션에 따라, 제1 증강매개된-현실 공간(1000)은 제1 증강매개된-현실 공간(1000)에 위치된 물리적인 객체에 그래픽 정보를 디스플레이하도록 구성된 디지털 프로젝터 (이펙터 어셈블리의 일례)를 사용하는 것에 의해 실제 세계 객체와 장면(scene)을 증강시키도록 구성된 공간 증강매개 현실 환경을 포함한다. 공간 증강매개 현실 환경은 사용자 그룹에 액세스를 수용하여, 공간 증강매개 현실 환경의 사용자들 간에 공동 위치된 집합 및/또는 협력을 허용하도록 구성될 수 있다.
센서 신호(904)는 하나 이상의 감각 현상 (예를 들어, 시각적 현상, auditory 청각 현상, 촉각 현상, 및/또는 등)을 적어도 부분적으로, 수신한 것에 응답하여 센서 및/또는 센서 어셈블리에 의해 생성되거나 및/또는 제공된다. 센서 어셈블리는, (또한 감각 자극이라고 언급되는) 감각 현상의 수신에 적어도 부분적으로 센싱하도록 구성된다. 센서 어셈블리는 (예를 들어, 하나 이상의 감각 현상과 연관된) 물리적인 품질 및/또는 양(quantity)을 검출하고, 물리적인 질 및/또는 양을 센서 신호(904)로 변환 및/또는 매니페스트(manifest)하도록 구성된다. 센서 신호(904)는 전자 장치(예를 들어, 도 1a 등의 처리 장치(908))에 의해 판독가능하도록 구성된다. 센서 신호(904)는, 예를 들어, 전기 신호, 광 신호, 또는 임의의 적절한 매체에 구현된 임의의 유형의 신호일 수 있다. 센서 어셈블리의 일례는 온도계(상기rmometer) 또는 열전쌍(상기rmocouple)을 포함한다. 또 다른 예에서, 센서 어셈블리는 촉각-기반 센서를 포함할 수 있다. 센서 어셈블리의 다른 예는 도 1e (및 다른 도면)와 함께 아래에서 식별된다.
이펙터 신호(906)는 이펙터 및/또는 이펙터 어셈블리에 의해 제공(송신)된 신호이다. 이펙터 어셈블리는 입력(예를 들어, 입력 신호, 감각 현상)을 수신한 것에 응답하여 객체(예를 들어, 이미지)에 원하는 (미리 결정된) 변화를 생성하도록 구성된다. 이펙터 어셈블리의 일례는 광-프로젝션 시스템을 포함한다. 객체는 광 객체, 이미지 객체, 비디오 객체, 및/또는 등일 수 있고, 가시광에 기초한 이미지를 포함할 수 있다. 일 구현에서, 이펙터 어셈블리는 작동 또는 제어하도록 구성된 액추에이터를 포함할 수 있다. 일 구현에서, 액추에이터는 제어 시스템이 환경에 작용하는 메커니즘이다. 이펙터 어셈블리의 다른 예는 도 1e (및 다른 도면)와 관련하여 아래에서 식별된다.
도 1b를 참조하면, 일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는, 일부 경우에, 공간적-이미징 디바이스라고 언급될 수 있는 제1 감각- 현상 이펙터(912)와 제2 감각-현상 이펙터(914)를 포함하도록 구성될 수 있다. 제1 감각-현상 이펙터(912)와 제2 감각-현상 이펙터(914)의 예는 이미지 또는 비디오 카메라 및/또는 프로젝터, 홀로그래픽 이미징 디바이스, 3차원 이미징 디바이스, 레이저-이미징 디바이스, LiDAR 디바이스, 비행 시간(time-of-flight) 이미징 디바이스, RaDAR 디바이스, SoNAR 디바이스, 깊이 카메라, 깊이 센서, 가시광-기반 디바이스, 적외선-기반 디바이스, 마이크로파-기반 디바이스, 사운드-기반 디바이스, 홀로그래피 디바이스, 스테레오스코피 디바이스, (임의의 형태의) 3차원 이미징 디바이스, 깊이-센싱 디바이스, 비전-기반 디바이스, X의 형상(shape-from-X) 디바이스, 및/또는 등을 포함한다(그리고 이로 제한되지 않는다). LiDAR는 Light Detection And Ranging을 나타낸다. RaDAR는 Radio Detection And Ranging을 나타낸다. SoNAR는 Sound Navigation And Ranging을 나타낸다.
일 구현에서, 인터페이스 어셈블리(902)는 처리 장치(908) (예를 들어, 컴퓨터)와 임의의 다른 개체, 예를 들어, 프린터 또는 사람 운영자(human operator)(사용자) 사이의 상호 작용 또는/또는 통신 지점을 제공하도록 구성된다.
처리 장치(908)는 하나 이상의 입력(예를 들어, 데이터 및/또는 정보)을 수신하거나 및/또는 판독하도록 구성되고, 또한 수신된 한정된 입력에 기초하여 하나 이상의 출력을 생성(예를 들어, 제공, 기록)하도록 구성된다. 처리 장치(908)는 한정된 입력과 한정된 출력을 데이터, 사실, 정보, 및/또는 등으로 해석하도록 구성된다. 예로서 (그리고 이로 제한됨이 없이), 처리 장치(908)는 데이터를 또 다른 포맷으로 변환하도록 구성된 변환 모듈; 공급된 데이터가 클린(clean)하고, 정확하고 유용하다는 것을 보장하도록 구성된 검증 모듈(validation module); 일부 시퀀스로 및/또는 상이한 세트로 항목을 배열하도록 구성된 분류 모듈(sorting module); 상세 데이터를 주요 지점으로 감소시키도록 구성된 요약 모듈(summarization module); 다수의 데이터를 결합하도록 구성된 취합 모듈(aggregation module); 데이터 및/또는 정보를 수집하고 조직(organize)하고 분석하고 해석하고 제시하도록 구성된 분석 모듈; 및 상세(detail) 또는 요약(summary) 데이터 또는 연산된 정보를 디스플레이하거나 리스트하도록 구성된 리포트 모듈(reporting module)의 조합을 포함할 수 있다. 도 1a 및/또는 도 1b의 처리 장치(908)를 구현하는데 사용될 수 있는 처리 장치(908)의 많은 어셈블리 및/또는 컴포넌트가 있다.
도 1a를 다시 참조하면, 처리 장치(908)는, 예를 들어, 중앙 처리 유닛, 처리 유닛, 마이크로프로세서, 마이크로컴퓨터, 어레이 프로세서, 및/또는 벡터 프로세서 (및 이들의 임의의 등가물)를 포함할 수 있다. 처리 장치(908)는 산술적, 논리적, 및/또는 입력/출력 동작을 수행하는 것에 의해 컴퓨터 프로그램 명령을 수행하는 컴퓨터 내 하드웨어 회로를 포함할 수 있다. 처리 장치(908)는 처리 유닛의 하나 이상의 인스턴스를 포함할 수 있다(이 경우는 다중 처리라고 지칭된다). 어레이 프로세서 및/또는 벡터 프로세서는 다수의 병렬 컴퓨팅 요소를 포함하고, 여기서 어느 하나의 처리 유닛도 중심으로 고려되지 않는다. 분산 컴퓨팅 모델에서, 동작이 프로세서의 상호 연결된 분산 세트에 의해 실행된다. 일 구현에서, 처리 장치(908)는 처리 장치(908)에 의해 동작되거나 실행되는 임의의 명령을 교체하는 전용 회로 세트를 포함할 수 있다; 이러한 전용 회로는 조합 로직 회로를 구현하도록 구성된 프로그래밍가능한 로직 어레이(PLA) (및 이들의 임의의 등가물)를 포함할 수 있다. PLA는 출력을 생성하도록 조건부로 상보(complemented)될 수 있는 프로그래밍가능한 OR 게이트 플랜 세트에 링크되는 프로그래밍가능한 AND 게이트 플랜 세트를 구비한다.
처리 장치(908)는 이후 메모리 어셈블리(909)라고 언급되는 비-일시적인 기계- 판독가능한 저장 매체 909를 포함할 수 있다. 메모리 어셈블리(909)는 처리 장치(908)에 의해 판독가능한 포맷으로 데이터와 실행가능한 프로그램(프로그래밍된 명령)을 저장하도록 구성된다. 메모리 어셈블리(909)의 예는 컴퓨터 판독가능한 및/또는 컴퓨터 기록가능한 매체, 자기 매체, 예를 들어, 자기 디스크, 카드, 테이프, 및 드럼, 펀칭된(punched) 카드와 페이퍼 테이프, 광 디스크, 바코드와 자기 잉크 문자, 및/또는 등을 포함할 수 있다. 기계- 판독가능한 기술의 예로는 자기 레코드, 처리 파형, 바코드, 및/또는 등을 포함한다. 일 구현에서, 광학 문자인식(optical character recognition: OCR)을 사용하여 처리 장치(908)가 사람에 의해 판독가능한 정보와 같은 정보를 판독할 수 있다. 임의의 형태의 에너지에 의해 검색가능한 임의의 정보는 기계-판독가능할 수 있다.
일 구현에서, 처리 장치(908)는 전자 네트워크 연결(911)과 인터페이스하도록 구성될 수 있다. 인터넷 연결(또는 액세스)과 같은 전자 네트워크 연결(911) (또는 네트워크 액세스)은, 처리 장치(908)의 인스턴스(예를 들어, 컴퓨터 단말, 컴퓨터, 모바일 디바이스, 셀 폰, 컴퓨터 네트워크, 및/또는 등)를 하나 이상의 전자 네트워크에 연결하여 사용자가 네트워크 서비스(예를 들어, 이메일, 월드와이드웹 등)에 액세스할 수 있도록 구성될 수 있다. 일부 구현에서, 처리 장치(908)는 원격 처리 장치 또는 분산 처리 장치로 구현될 수 있고, 전체적으로 또는 부분적으로, 하나 이상의 무선 및/또는 유선 통신 네트워크를 통해 장치(1300)의 하나 이상의 인스턴스에 통신가능하게 연결될 수 있다.
일부 구현에서, 처리 장치(908)는 사용자-입력 어셈블리 (예를 들어, 마우스 디바이스, 키보드 디바이스, 카메라, 터치 센싱 디스플레이 스크린, 마이크, 망막 판독기(retina reader), 가속도계(accelerometer), 주위 광 센서, GPS, 안테나, 및/또는 등)를 포함하도록 구성될 수 있다. 처리 장치(908)는 사용자-출력 어셈블리 (예를 들어, 컴퓨터 단말, 텔레비전 스크린 또는 다른 비디오-디스플레이 인터페이스, 프로젝터, 터치 센싱 스크린, 및/또는 등)를 포함하도록 더 구성될 수 있다.
메모리 어셈블리(909)는 이후 프로그램(907)으로 언급되는 처리 프로그램(907)을 유형적으로 구현하도록 구성된다. 프로그램(907)은 처리 장치(908)에 지정된 동작(예를 들어, 판독, 기록, 처리 작업)을 수행(실행)하도록 구성된 프로그래밍된 명령의 시퀀스를 포함한다. 처리 장치(908)는 예를 들어 프로세서 어셈블리를 사용하는 것에 의해 프로그램(907)을 실행한다. 프로그램(907)은 프로그램(907)에 의해 제공되는 프로그래밍된 명령을 실행하기 위해 처리 장치(908)가 사용할 수 있는 실행가능한 형태를 구비한다. 프로그램(907)은 프로그램(907)에 사용되거나 포함되는 프로그래밍된 명령을 구성하기 위해 실행가능한 프로그램을 유도하는(예를 들어, 컴파일하는) 사람-판독가능한 소스 코드 형태로 사용될 수 있다. 프로그램(907)은 프로그램 명령 및/또는 관련된 데이터의 집합이고, 소프트웨어 (코드)로 언급될 수 있다. 프로그램(907)은 (본 명세서에 병합된), 예를 들어, S. Mann이 저술한 착용가능한 컴퓨팅 텍스트북(제목: "Intelligent Image Processing", published by John Wiley and Sons, through Wiley Interscience, IEEE Press, 2001)에 설명된 유형의 이미지-처리 동작을 처리 장치(908)에 수행하게 한다.
메모리 어셈블리(909)는 사용자 인터페이스(800)를 유형적으로 매니페스트하도록 구성될 수 있고, 이의 일례는 도 8a에 도시되어 있다. 사용자 인터페이스(800)는, 일 구현에서, (예를 들어, 제2 증강매개된- 현실 공간(1002)을 통해) 센싱 및 디스플레이 장치(1300)의 사용자에 디스플레이되거나 제공될 수 있다. 제2 증강매개된-현실 공간(1002)의 사용자가 센싱 및 디스플레이 장치(1300)의 구성을 설정하여 다른 사용자와 제2 증강매개된-현실 공간(1002)의 인스턴스 및/또는 인스턴스들을 공유하기를 원하는 경우, 센싱 및 디스플레이 장치(1300)의 구성을 통해 사용자는 사용자 인터페이스(800)에 (예를 들어, 다른 사용자에) 액세스할 수 있다. 사용자 인터페이스(800)는, 일 구현에서, 도 1a의 처리 장치(908)에 의해 사용되는 도 1a의 프로그램(907)이 사용자 활동에 응답하는 방식과 함께 제어 요소(예를 들어, 그래픽-제어 요소 및/또는 텍스트-제어 요소)의 레이아웃을 포함할 수 있다. 일 구현에서, 사용자 인터페이스(800)는 센싱 및 디스플레이 장치(1300)의 사용자와 센싱 및 디스플레이 장치(1300) 그 자체 사이에 상호 작용을 촉진하는 컴포넌트이다. 사용자 인터페이스(800)는, 일부 구현에서, 사용자 종단에서 처리 장치(908)의 효과적인 동작과 제어를 위해 사용될 수 있고, 처리 장치(908)로부터 피드백이 처리 장치(908)의 사용자가 동작 판단(decision) (예를 들어, 처리 장치(908)를 동작시키는 방법에 대한 판단)을 하는 것을 지원할 수 있다. 사용자 인터페이스(800)는 하드웨어 컴포넌트 (물리적인 컴포넌트) 및/또는 소프트웨어 컴포넌트(논리적 컴포넌트 또는 가상 컴포넌트)를 포함할 수 있다. 사용자 인터페이스(800)는, 일 구현에서, 사용자가 처리 장치(908)를 제어하거나 조작하도록 구성된 사용자 입력(예를 들어, 필드)과, 처리 장치(908)가 사용자 입력을 통해 사용자 조작의 효과를 사용자에 디스플레이하거나 및/또는 나타내도록 구성된 출력(예를 들어, 필드)을 제공하도록 구성된다. 사용자 인터페이스(800)는, 일부 구현에서, 또한 그래픽 사용자 인터페이스 및/또는 사람-기계 인터페이스로 지칭될 수도 있다. 사용자 인터페이스(800)의 다른 용어는 사람-컴퓨터 인터페이스(human-computer interface: HCI)와 사람-기계 인터페이스(man-machine interface: MMI)를 포함할 수 있다. 사용자 인터페이스(800)는 센싱 및 디스플레이 장치(1300)를 통해 사용자가 보기 위해 디스플레이되도록 구성된다. 일 구현에서, 사용자 인터페이스(800)는 (예를 들어, 도 1b에 도시된 바와 같이) 제2 감각-현상 이펙터(914)를 통해 사용자에 제시될 수 있다. 사용자 인터페이스(800)는 사용자에 하나 이상의 필드에 제공하거나 디스플레이하도록 구성될 수 있다. 일 구현에서, 필드는 사용자 이름과 같은 특정 정보 항목에 할당된 공간이다. 필드는 이들과 연관된 특정 속성(attribute)을 가지도록 구성될 수 있다. 예를 들어, 일부 필드는 수치일 수 있는 반면 다른 필드는 텍스트일 수 있다. 일부 구현에서, 모든 필드는 필드 이름이라고 언급되는 이름을 가질 수 있다. 일 구현에서, 필드의 집합은 레코드로 언급될 수 있다. 사용자는 인터페이스된 회로 또는 요소를 통해 사용자 인터페이스(800)에 의해 제공된 필드와 상호 작용할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 인터페이스 어셈블리(902), 처리 장치(908), 및 메모리 어셈블리(909)의 조합을 포함할 수 있다(그리고 이로 제한되지 않는다). 인터페이스 어셈블리(902)는, 일 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)과 인터페이스하도록 구성될 수 있다. 인터페이스 어셈블리(902)는, 일 구현에서, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)과 연관된 센서 신호(904)와 이펙터 신호(906)를 운반하도록 구성될 수 있다. 처리 장치(908)는, 일 구현에서, 인터페이스 어셈블리(902)에 동작가능하게 연결되도록 구성될 수 있다. 처리 장치(908)는 인터페이스 어셈블리(902)에 의해 운반되는 센서 신호(904)와 이펙터 신호(906)를 처리하도록 더 구성될 수 있다. 메모리 어셈블리(909)는, 일 구현에서, 처리 장치(908)에 센서 신호(904) 및/또는 이펙터 신호(906)에 대한 동작을 실행하도록 구성된 프로그래밍된 명령의 시퀀스를 포함하는 처리 프로그램(907)을 유형적으로 구현하도록 구성될 수 있다.
도 1aa는 도 1a의 센싱 및 디스플레이 장치(1300)와 연관된 방법(1100)의 개략 예를 도시한다.
방법(1100)은 도 1a의 프로그램(907)에 포함되는 프로그래밍된 명령으로 구현될 수 있고; 방법(1100)은 프로그램(907)을 통해 처리 장치(908)에 의해 실행되는 실행가능한 동작(프로그래밍된 명령)의 예를 포함한다.
방법(1100)은, 제1 증강매개된-현실 공간(1000)으로부터 수신된 감각 현상을 나타내는 센서 신호(904)의 인터페이스된 인스턴스를 수신(판독)하고, 제2 증강매개된-현실 공간(1002)으로부터 수신된 감각 현상을 나타내는 센서 신호(904)의 인터페이스된 인스턴스를 수신(판독)하는 것을 포함하는 동작(1102)을 포함한다(그리고 이로 제한되지 않는다). 센서 신호(904)의 인터페이스된 인스턴스는 예를 들어 인터페이스 어셈블리(902)로부터 처리 장치(908)에 의해 수신된다. 동작 제어는 동작(1104)으로 전달된다.
방법(1100)은 감각 현상을 나타내는 이펙터 신호(906)의 인터페이스된 인스턴스를 제1 증강매개된- 현실 공간(1000)에 제공(송신, 기록)하고, 이펙터 신호(906)의 인터페이스된 인스턴스를 제2 증강매개된-현실 공간(1002)에 제공(예를 들어, 송신, 기록)하는 것을 포함하는 동작(1104)을 더 포함한다(그리고 이로 제한되지 않는다). 이펙터 신호(906)의 인터페이스된 인스턴스는 처리 장치(908)에 의해 인터페이스 어셈블리(902)에 제공된다. 동작 제어는 동작(1106)으로 전달된다.
방법(1100)은 (인터페이스 어셈블리(902)로부터 수신된) 센서 신호(904)를 처리하는 것을 포함하고, (인터페이스 어셈블리(902)로부터 수신된) 이펙터 신호(906)를 처리하는 것을 더 포함하는 동작(1106)을 더 포함한다(그리고 이로 제한되지 않는다). 센서 신호를 처리하는 동작은 센서 신호 데이터를 변경하거나 증강매개하거나 보충하거나 상보하거나 개선하거나 축소하거나 불명료하게 하거나 차단하거나 및/또는 등을 수행하는 것을 포함할 수 있으나 이로 제한되지 않는다. 동작 제어는 처리 장치(908)와 연관된 다른 동작으로 전달된다.
일부 구현에서, 방법(1100)은 처리 장치(908)에 의해 실행되는 추가적인 동작을 포함할 수 있다. 프로그램(907)을 위한 프로그래밍된 명령은 방법(1100)으로부터 유도된다.
예를 들어, 방법(1100)은 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 사이에 센서 신호(904)를 라우팅하는 (예를 들어, 스위칭하거나 믹싱하거나 및/또는 등을 수행하는) 것을 포함하는 동작(1108)을 더 포함한다(그리고 이로 제한되지 않는다). 동작 제어는 동작(1110)으로 전달된다. 예를 들어, 스위칭하는 동작은 상이한 정확도 및/또는 정밀도의 2개의 센서들 사이에서; 상이한 환경에 위치된 센서들 사이에서, (예를 들어, 센서 레코드에 저장된 측정된 값에 기초하여) 상이한 시간에 주어진 센서들 사이에서; 상이한 및/또는 상보적인(complementary) 감각 현상 (예를 들어, 컬러와 세기; 피치와 볼륨; 열적인(상기rmal) 및 가시적인(visible); 및/또는 등)에 민감한 센서들 사이에서; 상이한 사용자 및 또는 장치(1300) 인스턴스들과 연관된 센서들 사이에서; 및/또는 등에서 일어날 수 있다.
예를 들어, 방법(1100)은 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 사이에서 이펙터 신호를 라우팅하는 (예를 들어, 스위칭하거나 막싱하거나 및/또는 등을 수행하는) 것을 포함하는 동작(1110)을 더 포함한다(그리고 이로 제한되지 않는다). 동작 제어는 처리 장치(908)의 다른 동작으로 전달된다. 예를 들어, 스위칭하는 동작은 상이한 위치에 있는; 상이한 및/또는 상보적인 출력, 결과물(product), 및/또는 등(예를 들어, 가시광 대(versus). 적외선 광; 조명 대. 사운드)을 가지는 2개의 이펙터들 사이에서; 상이한 사용자 및 또는 장치(1300) 인스턴스들과 연관된 2개의 이펙터들 사이에서; 및/또는 등에서 일어날 수 있다.
처리 장치(908)의 추가적인 동작은 예를 들어 제1 증강매개된-현실 공간(1000)에 수반된 사용자의 수에 따라, 및/또는 사용자가 도면과 연관하여 설명된 동작과 연관하여 도 1a의 제1 증강매개된-현실 공간(1000)의 선택된 다른 사용자와 제2 증강매개된- 현실 공간(1002)의 인스턴스를 공유하는지 여부에 따라, (프로그래밍된 명령의) 다수의 조합 및/또는 치환(permutation)에 제공될 수 있는 것으로 이해된다.
도 1aa에 도시된 방법1100의 동작 순서는 순차 방식으로 실행될 필요가 없고, 도 1a의 방법(1100) 및/또는 프로그램(907)의 동작 실행 순서는 프로그래밍된 컴퓨터 명령을 통해 임의로 수행될 수 있는 것으로 이해된다. 일부 구현에서, 전술한 동작, 및/또는 등의 전부 또는 임의의 서브셋이 주어진 실시예, 구현 및/또는 응용에 따라 병렬, 부분 시퀀스, 직렬, 및/또는 이들의 임의의 조합으로 수행될 수 있다.
도 1aa는 또한 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 사이에 센서 신호(904)를 라우팅(예를 들어, 스위칭, 믹싱, 및/또는 등을 수행)하도록 구성된 처리 장치(908)를 도시하는 일 실시예에 따른 데이터 흐름도를 도시한다. 처리 장치(908)는 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 사이에 이펙터 신호를 라우팅(예를 들어, 스위칭, 믹싱, 및/또는 등을 수행)하도록 구성된다. 나아가, 처리 장치(908)는 (예를 들어 도 1b에 도시된 제1 감각-현상 센서(910)를 통해) 제1 증강매개된-현실 공간(1000)으로부터 (예를 들어 도 1b에 도시된 제2 감각-현상 이펙터(914)를 통해) 제2 증강매개된-현실 공간(1002)으로 수신된 센서 신호(904)를 라우팅하도록 구성될 수 있다. 일 옵션에 따라, 처리 장치(908)는 (예를 들어, 도 1b에 도시된 제2 감각-현상 센서(916)를 통해) 제2 증강매개된-현실 공간(1002)으로부터 (예를 들어, 도 1b에 도시된 제1 감각-현상 이펙터(912)를 통해) 제1 증강매개된-현실 공간(1000)으로 수신된 센서 신호(904)를 라우팅하도록 구성된다. 센서 신호 및/또는 이펙터 신호를 라우팅하는 다른 옵션이 가능한 것으로 이해된다.
도 1aa는 또한 일부 실시예에서, 도면에 도시된 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 다양한 프로그램(예를 들어, 프로그래밍된 명령), 데이터 테이블, 및/또는 등을 도시한다. 프로그램은 접촉 검출기(taction detector)(400), 호모그래피 침입 검출기(homography intrusion detector)(401), 융합 센서(confluence sensor)(402), 비디오-궤도 안정화 프로그램(403), 콤패러메트릭 합성기(comparametric compositor)(404), 슈퍼포지메트릭 합성기(superposimetric compositor)(405), 콤패러메트릭 분석 프로그램(406), 슈퍼포지메트릭 분석기(407), 슈퍼포지메트릭 공간 이미징 프로그램(408), 콤패러메트릭 합성기(409), 공간적-이미징 다중화기(410), 시분할 다중화기(411), 공동 제스처-기반 인터페이스(412), 제스처-추적 검출기(413), 신경 네트워크(414), 최상의 맞춤 최적화기(415), 그래디언트 디센터(gradient descenter)(416), 규칙화기(regularizer)(417), 오버플로우 페널라이저(overflow penalizer)(418), 사람-제스처 인식 프로그램(419), 버블-메타퍼 생성기(bubble-metaphor generator)(420), 구형 볼륨 측정 침입 추정기(421), 볼륨-침입 검출기(422), 버블-버스트 프로그램(bubble-bursting program)(423), 학습 소프트웨어(424), 및/또는 등을 포함할 수 있으나 이로 제한되지 않는다. 이들 프로그램은 도 1a 및/또는 도 1b의 메모리 어셈블리(909)에 저장되고, 도 1a 및/또는 도 1b의 처리 장치(908)에 의해 실행가능하다. 이들 프로그램은 아래에서 보다 상세히 설명된다.
도 1b는 센싱 및 디스플레이 장치(1300)의 개략 예를 도시한다.
도 1b에 도시된 예에 따라, 센싱 및 디스플레이 장치(1300)는 제1 증강매개된-현실 공간(1000)으로부터 수신된 감각 현상으로부터 유도된 센서 신호(904)를 송신하도록 구성된 감각-현상 센서(910, 916)를 포함한다(그리고 이로 제한되지 않는다). 감각-현상 센서(910, 916)는 또한, 일 구현에서, 제2 증강매개된-현실 공간(1002)으로부터 수신된 감각 현상으로부터 유도된 센서 신호(904)를 송신하도록 구성될 수 있다.
센싱 및 디스플레이 장치(1300)는 감각 현상과 연관된 이펙터 신호(906)를 제1 증강매개된-현실 공간(1000)에 송신하도록 구성된 감각- 현상 이펙터(912, 914)를 더 포함한다. 감각-현상 이펙터(912, 914)는 또한, 일 구현에서, 감각 현상과 연관된 이펙터 신호(906)를 제2 증강매개된-현실 공간(1002)에 송신하도록 구성될 수 있다. 예를 들어, 일 구현에서, 감각-현상 이펙터 (912, 914)는 홀로그래픽 비디오 디스플레이, 스테레오스코픽 비디오 디스플레이, 및/또는 등에서 임의의 하나를 디스플레이하도록 구성될 수 있다. 감각-현상 이펙터(912, 914)는, 일 예에서, 구조화된-광 또는 비행 시간 카메라와 같은 3차원 카메라를 포함할 수 있다.
일 구현에서, 센싱 및 디스플레이 장치(1300)는 또한 제1 증강매개된-현실 공간(1000)으로부터 감각-현상 센서(910, 916)를 통해 수신된 감각 현상을 나타내는 센서 신호(904) 및 또한 제2 증강매개된-현실 공간(1002)으로부터 수신된 감각 현상을 나타내는 센서 신호(904)를 인터페이스(예를 들어, 운반, 수신)하도록 구성된 인터페이스 어셈블리(902)를 더 포함한다. 인터페이스 어셈블리(902)는 또한 감각- 현상 이펙터(912, 914)를 통해 감각 현상을 나타내는 이펙터 신호(906)를 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)에 인터페이스(예를 들어, 운반, 송신)하도록 구성될 수 있다.
일 구현에서, 센싱 및 디스플레이 장치(1300)는 인터페이스 어셈블리(902)에 동작가능하게 연결된 처리 장치(908)를 더 포함할 수 있다. 일 구현에서, 처리 장치(908)는 인터페이스 어셈블리(902)와 인터페이스된 (이와 연관된) 센서 신호(904)를 처리하고, 인터페이스 어셈블리(902)와 인터페이스된 (이와 연관된) 이펙터 신호(906)를 처리하도록 구성된다.
예로서, 여러 구현에서, 센서 신호(904)는 오디오 감각 현상, 시각적 감각 현상, 촉각 감각 현상, 및/또는 등에서 하나 이상으로부터 유도될 수 있다. 여러 구현에서, 이펙터 신호(906)는 오디오 감각 현상, 시각적 감각 현상, 촉각 감각 현상, 및/또는 등에서 하나 이상으로부터 유도될 수 있다.
일 옵션에 따라, 감각-현상 센서(910, 916)와 감각-현상 이펙터(912, 914)는 제1 감각-현상 센서(910)와 제1 감각-현상 이펙터(912)를 더 포함할 수 있다. 제1 감각-현상 센서(910)는 제1 증강매개된- 현실 공간(1000)으로부터 센서 현상으로부터 유도된 센서 신호(904)를 송신하도록 구성된다. 제1 감각-현상 이펙터(912)는 감각 현상과 연관된 이펙터 신호(906)를 제1 증강매개된-현실 공간(1000)에 송신하도록 구성된다.
일 옵션에 따라, 감각-현상 센서(910, 916)와 감각-현상 이펙터(912, 914)는 제2 감각-현상 이펙터(914)와 제2 감각-현상 센서(916)를 포함할 수 있다. 제2 감각-현상 이펙터(914)는 감각 현상을 가지는 이펙터 신호(906)를 제2 증강매개된- 현실 공간(1002)에 송신하도록 구성된다. 제2 감각-현상 센서(916)는 제2 증강매개된-현실 공간(1002)으로부터 센서 현상으로부터 유도된 센서 신호(904)를 송신하도록 구성된다. 제2 감각- 현상 센서(916)의 일례는 사용자의 눈의 동공을 추적하도록 구성된 눈 추적기 디바이스를 포함한다. 일 구현에서, 눈 추적은 응시 지점(사용자가 보고 있는 곳) 또는 사용자의 헤드에 대해 눈의 모션을 측정하는 공정이다. 눈 추적기는 눈의 위치와 눈의 움직임을 측정하도록 구성된다. 눈의 움직임은, 예를 들어, 눈의 위치를 추출하는 비디오 이미지를 사용하여, 서치 코일(search coil)을 사용하여 또는 안구전위도(electrooculogram)를 사용하여 여러 방식으로 측정될 수 있다.
사용자가 센싱 및 디스플레이 장치(1300)를 착용하는 경우에, 제1 감각-현상 센서(910) 및/또는 제1 감각- 현상 이펙터(912)는, 일 구현에서, (예를 들어, 제1 증강매개된-현실 공간(1000)에서) 사용자의 관측 시야(field of view)의 방향을 향할 수 있다(예를 들어, 이 방향 쪽으로 배향될 수 있다). 사용자의 관측 시야는, 예를 들어, 눈이 전방을 보는 방향에 있는 뷰일 수 있다. 예를 들어, 사용자의 관측 시야는, 손가락이 사용자의 관측 시야에서 벗어나 위치되지 않는 것을 고려하면, 사용자가 사용자의 손가락의 위치를 볼 수 있는 방향을 포함할 수 있다. 사용자가 가상 키보드를 타이핑하는 경우에, 사용자가 다른 곳을 보고 있다 하더라도 사용자의 손가락은 제1 감각-현상 이펙터(912)에 의해 추적될 수 있다. 일 구현에서, 제2 감각-현상 이펙터(914)와 제2 감각-현상 센서(916)는 사용자의 눈(제2 증강매개된-현실 공간(1002)) 쪽 방향을 향한다(예를 들어, 이 방향 쪽으로 배향된다). 일부 구현에서, 제1 감각-현상 센서(910), 제1 감각-현상 이펙터(912), 제2 감각-현상 센서(916), 및/또는 제2 감각-현상 이펙터(914) 중 하나 이상은 사용자의 관측 시야와는 다른 방향으로 배향될 수 있다. 예를 들어, 청각 현상과 연관된 센서 및/또는 이펙터, 및/또는 오디오를 센싱하고 및/또는 오디오를 환경에 및/또는 장치(1300)의 하나 이상의 사용자의 귀에 삽입하는 센서는, "사운드 방향(field of sound)"으로, 예를 들어, 사용자의 한 귀 또는 두 귀 쪽으로 배향된 방향으로, 사용자의 한 귀 또는 두 귀로부터 멀어지는 방향으로 배향될 수 있고, 장치(1300) 및/또는 등에 전방향(omnidirectional)으로, 지오폰(geophonically)으로 및/또는 유압음(hydraulophonically)으로 연결(예를 들어, 두개골을 터치하거나 및/또는 사용자가 수중에 있을 때 물과 임피던스 매칭)될 수 있다. 또 다른 예에서, 센서 및/또는 이펙터는 환경 주변 부분, 뒤쪽 부분(back portion)(예를 들어, 사용자의 뒤쪽), 블라인드 스팟(blind spot), 및/또는 등과 맞물리도록 구성될 수 있다.
일례에 따라, 인터페이스 어셈블리(902)는 (A) 제1 감각-현상 센서(910)와 인터페이스하도록 구성된 제1 인터페이스 모듈(903); (B) 제1 감각-현상 이펙터(912)와 인터페이스하도록 구성된 제2 인터페이스 모듈(905); (C) 제2 감각-현상 이펙터(914)와 인터페이스하도록 구성된 제3 인터페이스 모듈; 및 (D) 제2 감각-현상 센서(916)와 인터페이스하도록 구성된 제4 인터페이스 모듈을 포함한다. 인터페이스 어셈블리(902)를 위한 다른 인터페이스 모듈이 임의의 개수의 센서 및/또는 이펙터를 수용하도록 요구되거나 및/또는 원하는 경우 추가되거나 제거될 수 있다.
도 1c는 일 실시예에서 센싱 및 디스플레이 장치(1300)의 개략 예를 도시한다.
도 1c에 도시된 바와 같이, 센싱 및 디스플레이 장치(1300)는, 일 실시예에서, 인터페이스 어셈블리(902)와 처리 장치(908)의 조합을 포함한다. 제1 감각-현상 센서(910), 제1 감각-현상 이펙터(912), 제2 감각-현상 이펙터(914) 및 제2 감각-현상 센서(916)는 사용자에 의해 또는 센싱 및 디스플레이 장치(1300)의 제조사에 의해 인터페이스 어셈블리(902)와 통합되는 별도의 항목으로 제공된다. 분산-제어 옵션에 따라, 처리 장치(908)는 제1 감각-현상 센서(910), 제1 감각-현상 이펙터(912), 제2 감각- 현상 이펙터(914) 및 제2 감각-현상 센서(916)의 설정과 동작을 제어하도록 구성된다. 일 옵션에 따라, 처리 장치(908)는 제1 감각-현상 센서(910), 제1 감각- 현상 이펙터(912), 제2 감각-현상 이펙터(914) 및 제2 감각-현상 센서(916) 중 2개 이상에 전용되거나 및/또는 분산 프로세서 유닛의 인스턴스를 포함할 수 있다. 일 구현에서, 처리 장치(908)는 감독 제어기(supervising controller)로 작용하도록 구성될 수 있는 반면, 센서 각각에 및 이펙터에 있는 전용 프로세서는 (예를 들어 도 1b에 도시된 바와 같은) 센서 또는 이펙터의 동작을 관리하도록 구성될 수 있다.
도 1d는 센싱 및 디스플레이 장치(1300)의 개략 예를 도시한다.
도 1d에 도시된 바와 같이, 센싱 및 디스플레이 장치(1300)는, 일 실시예에서, 그리하여 사용자에 제공되는 단일 유닛으로 통합되거나 및/또는 모두 결합된, 인터페이스 어셈블리(902), 처리 장치(908), 제1 감각-현상 센서(910), 제1 감각-현상 이펙터(912), 제2 감각-현상 이펙터(914) 및 제2 감각-현상 센서(916)의 조합을 포함한다.
일 구현에서, 팽창 슬롯(expansion slot) 또는 룸(room)(및 이들의 임의의 등가물)이 추가적인 센서 및/또는 이펙터의 설치를 디스플레이 장치(1300)에 수용하기 위해 제공될 수 있다. 일 구현에서, 하나 이상의 센서 및/또는 이펙터는 디스플레이 장치(1300) 외부에 있을 수 있고, 및/또는 예를 들어, 하나 이상의 유선 또는 무선 통신 네트워크를 통해 이와 인터페이스할 수 있다.
도 1a, 도 1b, 도 1c 및 도 1d를 참조하면, 일 옵션에 따라, (또한 도 13 및 도 14에 도시된) 센싱 및 디스플레이 장치(1300)는 공간 대상 및/또는 3차원 공간 대상을 스캔하도록 구성된다. 적절한 센서 어셈블리 및/또는 이펙터 어셈블리에 의해, 센싱 및 디스플레이 장치(1300)는 또한 대상의 이미지, 예를 들어, 대상의 컴퓨터-생성된 버전, 컴퓨터-개선된 버전, 컴퓨터-매개된 버전, 및/또는 등을 (적절한 센서 어셈블리 및/또는 이펙터 어셈블리에 의해) 사용자에 제공하거나 및/또는 디스플레이하도록 구성되고, 도면과 연관하여 식별될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 사용자가 센싱 및 디스플레이 장치(1300)를 착용하는 것을 촉진하도록 구성된 사용자-착용가능한 인터페이스를 포함할 수 있다. 예를 들어, 일 구현에서, 센싱 및 디스플레이 장치(1300)는 사용자 착용가능하도록 (예를 들어, 사용자의 헤드에 착용되도록) 구성된다. 다른 옵션이 센싱 및 디스플레이 장치(1300)가 사용자와 인터페이스하는 방식을 위해 수용될 수 있는 것으로 이해된다. 예를 들어, 사용자는 센싱 및 디스플레이 장치(1300)를 장착할 수 있는 헬멧(예를 들어, 하키, 축구, 및/또는 등)을 착용할 수 있다. 이런 방식으로, 스포츠 팀의 멤버는, 팀에 포함되는 잠재적인 멤버를 평가하거나 선택하거나, 및/또는 등을 수행하기 위하여 실제 게임 플레이의 일체 부분으로 스포츠 게임을 준비하는, 예를 들어, 트레이닝 도구로 센싱 및 디스플레이 장치(1300)를 사용할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 사용자의 눈 앞에 착용되도록 구성된다. 센싱 및 디스플레이 장치(1300)는, 예를 들어, 사용자의 헤드에 장착될 수 있다. 센싱 및 디스플레이 장치(1300)는 (예를 들어, 카메라를 통해) 제1 증강매개된- 현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)으로부터 사용자의 눈에 이용가능한 장면을 레코드하도록 구성될 수 있다. 센싱 및 디스플레이 장치(1300)는 사용자의 눈에 이용가능한 원래의 장면에 컴퓨터-생성된 이미지를 디스플레이하거나 및/또는 중첩하도록 구성될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 착용자의 한 눈 또는 두 눈을 수용하도록 구성될 수 있다(예를 들어, 두 눈이 센싱 및 디스플레이 장치(1300)를 통해 본다). 일 구현에서, 센싱 및 디스플레이 장치(1300)의 별도의 인스턴스는 사용자의 각 눈을 수용하도록 구성될 수 있다. 센싱 및 디스플레이 장치(1300)는 센싱 및 디스플레이 장치(1300)의 착용자의 한 눈 또는 두 눈이 보도록 구성될 수 있다. 일 구현에서, 센싱 및 디스플레이 장치(1300)는 두 눈의 뷰(예를 들어, 동일한 또는 유사한 센서 및/또는 상이한 및/또는 상보적인 센서를 가지고 단일 공간을 보는 두 눈의 뷰; 상이한 공간을 각각 보는 두 눈의 뷰, 및/또는 등)를 장치(1300) 내 단일-눈의 디스플레이에 제공하도록 구성될 수 있다. 또한 추가적인 뷰가 일부 구현에서 단일 눈의 디스플레이에 제공될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 보고 관찰하는데 사용될 수 있는 착용자의 한 눈 또는 두 눈을 통해 액세스를 제공하도록 구성된다. 일 구현에서, 센싱 및 디스플레이 장치(1300)는 엑스트라미시브 공간 이미징 디지털 아이 글래스, 엑스트라미시브 스페이스글래스(extramissive spaceglass)(상표) 시스템, 공간 이미징 글래스, 디지털 아이 글래스, 컴퓨터 아이 글래스, 아이탭(EyeTap), 컴퓨터-비전 시스템, 관찰 보조구(seeing aid), 비전 보조구(vision aid), 및/또는 등으로 언급될 수 있다. 일부 경우에, 센싱 및 디스플레이 장치(1300)는 디지털 아이 글래스 (digital eye glass: DEG)로 언급될 수 있고; 디지털 아이 글래스라는 언급은 예시들을 디지털 아이 글래스로만 제한하는 것이 아니고, 예시들은 센싱 및 디스플레이 장치(1300)에 적용되는 것으로 이해되어야 한다. 엑스트라미시브 공간 이미징 디지털 아이 글래스는 광(예를 들어, 가시광)을 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002)의 사용자 또는 사용자들에 송신하거나 이로부터 수신하도록 구성된다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 (A) 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서 사용자에 이미지를 디스플레이하는 동작(예를 들어, 모니터 및/또는 디스플레이 디바이스로 동작하는 것); (B) 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서 환경 이미지를 취하는 동작(예를 들어, 카메라로 동작하는 것); 및 (C) 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서 사용자에 디스플레이된 이미지를 처리(예를 들어, 증강, 분석, 변경, 및/또는 등을 수행)하는 동작을 수행하도록 구성된다. 이미지를 증강매개시키는 것은, 일 구현에서, 센싱 및 디스플레이 장치에서 컴퓨터로-생성된 정보(예를 들어, 데이터 및/또는 이미지)를 정상 세계의 이미지(예를 들어, 도 1b의 제1 증강매개된-현실 공간(1000)에 있는 원래의 장면)의 상부에 오버레이하는 것을 포함한다. 센싱 및 디스플레이 장치(1300)는 사용자가 제1 증강매개된-현실 공간(1000) 및/또는 제2 증강매개된-현실 공간(1002)에서 인식하는 현실을 증강시키고 매개하도록 구성된다.
일부 구현에서, 사용자 입력은 센싱 및 디스플레이 장치(1300)에 대해 (예를 들어, 사용자에 의해) 자가-제스처에 의한다. 센싱 및 디스플레이 장치(1300)는, 물리적인 객체(예를 들어, 데스크탑 또는 유사한 표면)와 연관된 촉각 피드백과 함께 또는 촉각 피드백 없이 작동할 수 있는 컴퓨터 비전 시스템, 예를 들어, 3차원 컴퓨터 비전 시스템을 포함할 수 있다. 일 구현에서, 센싱 및 디스플레이 장치(1300)는 표면 또는 객체를 히트(hit)하거나 스트라이크(striking)하거나 문지르거나(rubbing) 터치하는 것이 3차원 컴퓨터 비전 시스템이 보는 곳에서 수행되는 보조 센서(예를 들어, 3차원 촉각 음향 제스처 또는 진동 제스처 및/또는 음향 멀티모달 제스처 입력 디바이스)를 더 포함할 수 있다.
일 구현에서, 도 1a의 프로그램(907)은 처리 장치(908)에 공간 이미징 동작을 실행하도록 구성될 수 있고 및/또는 센싱 및 디스플레이 장치(1300)는 보조 명령에 의해 공간 이미징 동작을 실행하도록 구성될 수 있다. 공간 이미징 동작은, 일 구현에서, 대상의 홀로그래픽 디스플레이, 예를 들어, 예를 들어, 대상(예를 들어, 사람들)의 3차원 프로젝션으로 실시간 비디오 채팅 및/또는 토론을 포함할 수 있다. 본 명세서에 사용된 바와 같이, "공간 이미징"이라는 용어는, 여러 구현에서, 3차원 카메라, 3차원 센서, 깊이 카메라, 깊이 센서, 공간 이미징 기술을 사용하도록 구성된 임의의 디바이스, 예를 들어, 홀로그래픽-이미징 디바이스, 3차원 이미징 디바이스, 레이저-이미징 디바이스, LiDAR (Light Detection And Ranging) 디바이스, 비행 시간 이미징 디바이스, RaDAR (Radio Detection And Ranging) 디바이스, SoNAR (Sound Navigation And Ranging) 디바이스, 깊이-카메라 디바이스, 깊이- 센서 디바이스, 가시광-기반 디바이스, 적외선-기반 디바이스, 마이크로파-기반 디바이스, 사운드-기반 디바이스, 및/또는 등을 포함하나 이들로 제한되지 않는 임의의 이미지-스캐닝 디바이스를 포함할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 소형화되도록 구성될 수 있고, 센싱 및 디스플레이 장치(1300)는 기존의 또는 새로운 아이 글래스 프레임에 통합될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 오디오 센서 (마이크 및/또는 이어폰), 및/또는 등과 같은 다른 센서를 포함할 수 있다. 센싱 및 디스플레이 장치(1300)의 여러 측면에서, 마이크는 임의의 매체(고체, 액체, 또는 기체)와 이들의 임의의 등가물에서 사운드 압력, 또는 사운드 압력의 변화, 또는 흐름, 또는 흐름의 변화를 센싱하거나 결정하도록 구성된 어셈블리를 포함한다.
일 구현에서, 센싱 및 디스플레이 장치(1300)는 퍼스널 컴퓨터(예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 셀 폰, 스마트 폰, 카메라 폰, 테블릿 컴퓨터, 및/또는 등)와 함께 사용되거나 및/또는 이와 통합될 수 있고, 일 구현에서, 아이 글래스로 보이도록 구성될 수 있다.
도 1e는 일 실시예에서 센싱 및 디스플레이 장치(1300)의 개략 예를 도시한다.
보다 구체적으로, 도 1e는 착용자의 한 눈 또는 두 눈이 대상을 볼 수 있는 센싱 및 디스플레이 장치(1300)의 일례를 도시하고; 센싱 및 디스플레이 장치(1300)는 또한 도 1a의 제1 증강매개된-현실 공간(1000)에서 다른 사람(예를 들어, 다른 사용자)에 보이거나 및/또는 보이지 않을 수 있는 엑스트라미시브 비전을 제공할 수 있다. 도 1e의 예에 도시된 제1 증강매개된-현실 공간(1000)은 체스 게임을 플레이하는데 사용되는 유형의 가상 게임 보드를 포함한다. 도 1e, 도 2a, 도 3 및 도 4는 도 1b와 연관된 감각-현상 센서 (910, 916)와 감각-현상 이펙터 (912, 914)의 예를 도시한다. 도 1e 내지 도 1g, 도 2a, 도 3, 도 4는 센싱 및 디스플레이 장치(1300)에서 동일한 위치를 공유할 수 있는 이펙터 어셈블리와 센서 어셈블리의 인스턴스를 도시하고, 이 배열은 예시와 명료함을 위한 것으로 이해된다.
센싱 및 디스플레이 장치(1300)는 간단히 디스플레이 장치로 언급되거나 또는 훨씬 더 간단히 장치로 언급될 수 있고; 일반적으로, 장치(1300)는 이미지를 (사용자 및/또는 사용자들에) 디스플레이하도록 구성될 수 있고, 디스플레이 어셈블리와 인터페이스하도록 구성될 수 있고, 센싱하도록 구성될 수 있고, 및/또는 센싱 디바이스와 인터페이스하도록 구성될 수 있는 것으로 이해된다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는, 예를 들어, 제1 감각-현상 센서(910) (도 1b) 및/또는 제2 감각-현상 센서(916) (도 1b)의 일례인 가시광 수신기(191), 및/또는 제1 감각-현상 이펙터(912) (도 1b), 또는 제2 감각-현상 이펙터(914) (도 1b)의 일례인 가시광 송신기(192)를 포함한다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 센싱 및 디스플레이 장치(1300)를 사용자의 헤드에 고정 연결하도록 구성된 헤드-장착가능한 어셈블리(183)를 포함한다. 일 구현에서, 헤드-장착가능한 어셈블리(183)는 예를 들어, 사용자의 헤드의 뒤쪽에 위치될 수 있는, 센싱 및 디스플레이 장치(1300)를 사용자의 헤드에 고정하도록 구성된 헤드 뒤쪽 밴드(back-of-head band)(188)를 포함할 수 있다. 일 구현에서, 헤드의 뒤쪽 밴드(188)는 사용자의 헤드 뒤쪽 구역을 센싱하도록 구성된 센서를 포함할 수 있다. 헤드의 뒤쪽 밴드(188)에 위치된 센서는, 예를 들어, 도 1a의 제1 증강매개된-현실 공간(1000)과 연관된 다른 사용자와 공유될 수 있다.
일 구현에서, 센싱 및 디스플레이 장치(1300)는 배향 및 관성 측정 유닛(184), LiDAR 유닛(187), 비전 시스템(193), 광학 센서(100), 디스플레이 유닛(181), 이동식 가리개(110), 및/또는 등과 같은 여러 컴포넌트를 포함하는 디지털 아이 글래스(180)를 포함한다. 일 구현에서, 이동식 가리개(110)는 2개의 인치 x 4.25 인치 (대략 51 밀리미터 x 108 밀리미터) 표준 사이즈의 용접 가리개일 수 있다. 이 이동식 가리개는, (예를 들어, ANSI 가리개 번호 5 내지 7을 사용하여) 밝은 태양광에서 또는 (예를 들어, ANSI 가리개 번호 2 내지 4를 사용하여) 밝지만 구름 있는 날에, 또는 HDR (High Dynamic Range) 이미징을 사용하여 전기 아크를 보면서, (예를 들어, 더 어두운 가리개를 사용하여) 센싱 및 디스플레이 장치(1300)를 사용하여 용접하기 위해, 디스플레이 유닛(181)을 볼 수 있게 한다.
일 옵션에 따라, 디지털 아이 글래스(180)는, 예를 들어, 용접공의 헬멧의 구성에 두 눈이 보는 단일 글래스(singular glass)를 포함하도록 구성된다. 일 변형에 따라, 별도의 디스플레이 또는 매개 구역이 각 눈에 대해, 하나의 글래스 내에, 또는 각 눈에 별도의 글래스로, 또는 하나의 눈에 대해 모노큘러 글래스(monocular glass)로 제공될 수 있다.
일 구현에서, 디지털 아이 글래스(180)는 관찰 보조구(seeing aid), 비전 보조구(vision aid), 및/또는 등으로 기능하도록 구성될 수 있고, 높은 동적 범위(HDR) 비전을 제공하여, 예를 들어, 착용자가 또한 전기 아크를 보면서 칠흑 같은 어두움(complete darkness)에서 볼 수 있거나, 또는 어두운 골목길에서 밝은 자동차 헤드라이트를 보고, 자동차 운전 면허증 번호와 운전자의 얼굴을 여전히 명확히 볼 수 있도록 구성될 수 있다.
일 옵션에 따라, 이동식 가리개(110)는 전기변색이고, 광학 센서(100) 및/또는 LiDAR 유닛(187) 및/또는 비전 시스템(193)에 의해 및/또는 이들의 임의의 조합과 치환에 의해 제어가능하도록 구성된다. 이 경우에, 디지털 아이 글래스(180)는 실내에서 실외로의 변화, 태양, 구름, 전기 아크 용접, 밝은 광 등, 일어날 수 있는 바와 같이 넓은 범위의 비전 조건에 적응하거나, 또는 예를 들어, 레이저 포인터 또는 다른 광 소스로부터 고의적인 또는 조명 공격으로부터 보호를 제공하여 디지털 아이 글래스(180)가 사용자에 눈의 보호를 제공하도록 구성된다.
일 옵션에 따라, 광학 센서(100)는 디지털 아이 글래스(180)의 이동식 가리개(110)의 주변 주위에 위치되거나, 또는 내부에 직접 병합된다. 광학 센서(100)는 또한, 또는 추가적으로, 이동식 가리개(110) 위에 위치될 수 있다. 이동식 가리개(110)가 제거되면, 이것은 가리개 0으로 고려될 수 있다(예를 들어, 이동식 가리개(110)의 설정은 가리개 0이 된다).
일 옵션에 따라, 센서는 이동식 가리개(110) 위에 위치된다. 일 옵션에 따라, 센서는 적외선 송신기(186) 및/또는 적외선 수신기(185)를 포함한다. 일 구현에서, 적외선 수신기(195)는 디지털 아이 글래스(190)에 설치된다. 적외선 수신기(185)는, 일부 구현에서, 적외선 검출기로 언급될 수 있다. 적외선 송신기(186)와 적외선 수신기(185)는, 일 구현에서, 적외선 LiDAR 또는 다른 3차원 적외선 카메라 시스템, 및/또는 등과 같은 거리-센싱 비전 시스템으로 협력하도록 구성된다.
일 옵션에 따라, 가시광 수신기(191)가 제공되고, 이 가시광 수신기는, 일 구현에서, (예를 들어, 컬러를 가지는 사진 이미지를 제공하는) 가시광 카메라로 구성될 수 있고, 일 구현에서, 적외선 송신기(186)와 적외선 수신기(185)에 의해 형성된 거리 맵 또는 거리 이미지와 함께 조립될 수 있다.
일 옵션에 따라, 가시광 송신기(192)가 제공되고, 이 가시광 송신기는 디지털 아이 글래스(180)의 착용자에 보일 수 있는 광고, 스폰서 공지문(sponsor notice), 카운터(counter), 시간/날짜 지시자, 또는 프로젝션(170)과 같은 다른 표식과 같은 가시적인 컨텐츠를 갖는 표면(130) (예를 들어, 테이블탑(tabletop))과 같은 대상을 조명하도록 가시광 스펙트럼에서 동작하도록 구성된다. 일 구현에서, 이러한 프로젝션은 또한 디지털 아이 글래스(180)의 인스턴스를 구비하지 않는 임의의 사용자(사람)의 나안(198)에서도 보일 수 있다.
일 구현에서, 센싱 및 디스플레이 장치(1300)에 사용되는 센서와 이펙터는 사용자의 눈 주위(예를 들어, 사용자의 헤드에) 위치된 주변 프레임(이는 프레임 어셈블리의 일례임)에 고정 부착되거나 및/또는 장착될 수 있다. 디지털 아이 글래스(180)는 일부 구현에서, 수평-패럴랙스-전용 이미지 및/또는 스테레오스코픽 이미지를 구비할 수 있는 공간 이미지를 (2개의 눈에 대해) 제공한다. 이것은, 예를 들어, 사용자의 두 눈이 볼 수 있는 단일 글래스, 또는 별도의 글래스에서 디스플레이 유닛(181)의 2개의 별도의 인스턴스 또는 디스플레이 유닛(181)의 스테레오 인스턴스를 사용하여 수행될 수 있다. 1988 Army Survey로부터 동공간 거리 (interpupillary distance: IPD) 값은 남자에 대해서는 평균 64.7 밀리미터(mm)를 나타내고, 여자에 대해서는 평균 62.3 밀리미터를 나타낸다. (예를 들어, 두 성에 대한) 이들 2 값을 평균하면, 그 결과 총 64.7+62.3=127.0 밀리미터가 되고, 이를 2로 나누면 결과는 127/2=63.5 밀리미터가 되어, 2.5 인치가 된다. 따라서, 디스플레이 유닛(181)의 인스턴스는 눈의 지점에서, 예를 들어, 약 2.5 인치 떨어져 위치될 수 있다. 일부 구현에서, 디스플레이 유닛(181)의 인스턴스는, 예를 들어, 주어진 사용자의 IPD의 선험적인 측정, 동시적인 및/또는 실시간 측정에 기초하여 조절가능하게 및/또는 동적으로 위치될 수 있다. 예를 들어, 일 구현에서, 사용자의 얼굴 쪽을 향하는 센서는 사용자에 대해 IPD를 검출 및/또는 측정할 수 있고, 각 눈에 대해 디스플레이 유닛(181)들 사이의 거리는 이에 기초하여 조절될 수 있다. 또 다른 구현에서, 각 디스플레이 유닛(181)의 능동 디스플레이 영역은, 예를 들어, 특정 사용자 IPD에 기초하여 디스플레이 영역의 적절한 구역에 디스플레이되는 컨텐츠를 제시하기 위하여 측정된 사용자 IPD에 기초하여 조절될 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 두 눈 디스플레이, 모노큘러 디스플레이, 및/또는 등을 제공하도록 구성된 디지털 아이 글래스(180)를 포함할 수 있다. 두 눈 뷰의 경우에, 우측 눈의 지점(oculus dexter point-of-eye)(199A)이 제공되고, 좌측 눈의 지점(oculus sinister point-of-eye)(199B)(즉, 우측 아이탭 지점과 좌측 아이탭 지점)이 제공된다.
일 구현에서, 진짜(true)(또는 거의 진짜) 3차원 이미지를 캡처하는 능력을 사용하여 센싱 및 디스플레이 장치(1300)에 대한 합성 효과를 생성하도록 구성된 라이트스페이스 공선화기(lightspace collinearizer)를 생성할 수 있다. 예를 들어, 눈 쪽으로 한정된 광의 광선은 이미징 시스템을 통해 전환되고, 처리되어, 원래의 광선과 실질적으로 동일 직선에 있도록 재렌더링될 수 있다. (일부 구현에서, 합성 공선화기(collinearizer)로 언급될 수 있는) 라이트스페이스 공선화기는, 진짜 또는 거의 진짜 3차원 모델을 캡처하고 나서, 3차원 모델이 실제로 사용자의 눈의 수정체(lens)의 중심에서 카메라의 렌즈의 중심(홍채, 결절 지점(nodal point), 광 중심, 또는 등)과 착용자의 화면 내에 배치된 것처럼 카메라에 의해 발생될 수 있는 이미지를 계산하도록 구성될 수 있다.
일 구현에서, 3차원 카메라는 공간 이미징 디바이스의 효과를 합성하도록 사용되거나 및/또는 구성될 수 있고, 착용자의 눈을 지나 라이트스페이스-분석 글래스를 포함할 수 있고; 예를 들어, 센싱 및 디스플레이 장치(1300)의 전체 바이저(visor)는 라이트스페이스-분석 글래스로 작용하도록 구성될 수 있다. 일 구현에서, 3차원 카메라는 센싱 및 디스플레이 장치(1300)를 통과하는 광의 모든 광선의 라이트스페이스, 라이트필드(lightfield), 플렌옵틱(plenoptic), 홀로그래픽, 및/또는 등의 이미지를 생성하도록 구성될 수 있다. 도 1a의 처리 장치(908)는 (예를 들어, 가상) 라이트스페이스-분석 글래스의 출력에 응답하도록 구성될 수 있고, 처리 장치(908)는 라이트스페이스 합성 글래스에 대한 광선을 연산하도록 구성될 수 있다. 이러한 구현에서, 3차원 카메라, 프로세서, 및 디스플레이의 조합은 라이트스페이스 공선화기를 구현할 수 있다.
비전 시스템의 구현에서 진짜 3차원 특성으로 인해, 디지털 아이 글래스(180)와 디지털 아이 글래스(190)는, 공유된 게임 테이블(예를 들어, 실제 또는 상상 또는 가상 체스보드, 또는 테이블 표면(130))과 같은 공중 대상(140)의 진짜 3차원 이미지를 캡처하고, 이미지가 카메라 그 자체, 카메라의 렌즈, 카메라의 필름, 카메라의 CCD, 및/또는 등이 우측 눈(oculus dexter)의 수정체의 중심 부근에 정확히 위치되거나 및/또는 실질적으로 중심 부근에 위치된 카메라에 의해 캡처된 것처럼, 테이블(130)의 이 실제 뷰 또는 컴퓨터-변경된 뷰, 또는 이들 뷰의 임의의 조합을 렌더링하고, 또 이미지가 센싱 및 디스플레이 장치(1300)의 착용자의 좌측 눈(oculus sinister)의 수정체의 중심에 정확히 위치되거나 및/또는 실질적으로 중심 부근에 위치된 카메라에 의해 캡처된 것처럼, 다른 뷰를 렌더링하도록 각각 구성될 수 있다. CCD는 charge-coupled device를 말한다.
일 구현에서, 디지털 아이 글래스(180) (제1 사용자용)와 디지털 아이 글래스(190) (제2 사용자용) 각각은 고유 비전 시스템 + 디지털 아이 글래스(190)로부터 수신된 정보를 사용하여 각자 비전 시스템만에 의한 것보다 훨씬 더 상세하고, 진짜 및/또는 정확한 3차원 현실 모델을 구성할 수 있다. 이런 점에서, 일 구현에서, 다수의 상이한 참가자는 실제 (물리적인) 세계(제1 증강매개된-현실 공간(1000))가 상대적으로 더 상세하고, 정밀하며, 및/또는 정확하게 캡처되고, 및/또는 추가적인 및/또는 보충적인 관점(supplementary perspective), 방향, 뷰(view) 및/또는 등과 연관된 데이터를 포함하는 컴퓨터로-매개된 현실을 공유할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 다중화된 방식으로 동작하도록 구성될 수 있고, 및/또는 다중화를 실행하도록 구성될 수 있다. 예를 들어, 디지털 아이 글래스(180)와 디지털 아이 글래스(190)는, 예를 들어, 시분할 다중화에 의해 협력하고, 이에 대해 제1 증강매개된-현실 공간(1000)에 위치된 객체를 센싱하거나 및/또는 이해하기 위해 장면을 교대로 조명하도록 구성될 수 있다. 다중화는, 예를 들어, (예를 들어, 상이한 확산 시퀀스 또는 확산 스펙트럼 또는 확산 공간 패턴을 사용하여) 코드 분할 다중화를 사용하여, 및/또는 공동 센싱에 의하여 수행될 수 있다. 후자의 경우에, 디지털 아이 글래스(180)와 디지털 아이 글래스(190)는 공개 대상(140)과 표면(130)을 조명하고 센싱하도록 함께 동작하도록 구성된다. 예를 들어, 적외선 송신기(186)가 적외선 광으로 장면(제1 증강매개된-현실 공간(1000))을 조명하는 동안, 적외선 수신기(185)와 적외선 수신기(195)는 장면(제1 증강매개된-현실 공간(1000))에서 물리적인 객체로부터 반사된 적외선 광을 센싱한다. 디지털 아이 글래스(180)와 디지털 아이 글래스(190) 사이에 교차 센싱은 제1 증강매개된-현실 공간(1000)에서 디지털 아이 글래스(180)와 디지털 아이 글래스(190) 사이에 더 긴 베이스라인(baseline)으로 인해 존재하는 극단적 패럴랙스를 통해 추가적인 장면 정보를 제공한다. 일 구현에서, (센싱 및 디스플레이 장치(1300)의 인스턴스에 사용되는) 도 1a의 프로그램(907)은 센싱 및 디스플레이 장치(1300)의 다른 인스턴스와 다중 동작을 실행하도록 구성된다.
그 결과, 일 구현에서, 별도의 작은 패럴랙스 상호-글래스 베이스라인라인과, 큰 패럴랙스 내부-글래스 베이스라인라인으로 수학적으로 분해될 수 있는 분해 능력(resolving power)을 가지는 합성 애퍼처 LiDAR, 또는 등이 된다.
일 옵션에 따라, 디지털 아이 글래스(180)는 컴퓨터(160)(이는 도 1a의 처리 장치(908)의 일례임)를 포함할 수 있다. 컴퓨터(160)는 디지털 아이 글래스(180)로 구축(이와 통합)될 수 있거나, 또는 디지털 아이 글래스(180)와는 별개일 수 있거나, 및/또는, 예를 들어, 사용자의 셔츠 포켓에 끼워지도록 구성될 수 있다. 일 옵션에 따라, 컴퓨터(160)는 네트워크 연결(150), 예를 들어, 무선 연결, WLAN(무선 로컬 영역 네트워크), WiFi(상표명) 네트워크, PSA(Personal Area Network), 블루투스 (상표) 네트워크, 셀룰러 연결, CDMA(Code Division Multiple Access), HSPA(High Speed Packet Access), HSDPA(High-Speed Downlink Packet Access) 및/또는 GSM(Global System for Mobile Communications) 등을 포함한다. 컴퓨터(160)가 디지털 아이 글래스(180)와 함께 사용되는 일부 구현에서, 컴퓨터(160)는 지오폰(182)에 통합될 수 있다.
일 옵션에 따라, 디지털 아이 글래스(180)는 자체 독립적이다. 일 옵션에 따라, 디지털 아이 글래스(180)는 컴퓨터(160)에 테더(tethered)되고, 디지털 아이 글래스(180)는, 예를 들어, 저장을 위해 착용자의 셔츠의 포켓에 배치될 수 있다. 디지털 아이 글래스(180)가 테더된 일부 구현에서, 배선이, 통상의 아이글래스 안전 스트랩(strap)의 외관을 가지는 천 파이프(cloth pipe), 천 튜브(cloth tubing), 및/또는 등 내에 은닉될 수 있다. 예를 들어, 아이글래스 안전 스트랩은 사용자의 천 조각(article of clothing)에 클립 고정되어 아이글래스 테더의 변형 완화(strain relief)를 제공하도록 구성된 클립(189)을 포함할 수 있다. 예로서, 클립(189)은, 헤드셋, 소형 마이크(lavalier microphone) 등이, 예를 들어, 착용자의 천에 그립(grip)되어, 예를 들어, 변형 완화 형태를 제공하는데 사용되는 종류의 "크로커다일 클립(crocodile clip)", "앨리게이터 클립(alligator clip)", 스프링 클립, 스프링-장착된 클램프일 수 있다.
일부 상황에서, (도 1a의 처리 장치(908)의 일례인) 컴퓨터(160)는 사용자가 착석된 위치에 위치될 때 사무실 또는 홈 공간 내 바닥이나 테이블에 배치될 수 있다. 일부 이러한 구현에서, 컴퓨터(160)는, 지오폰(182)을 포함하는 센서- 인터페이스 유닛(120) (예를 들어, 테이블탑 유닛 내에 수용될 수 있고 이런 방식으로 센서-인터페이스 유닛(120)이 지오폰으로 인에이블된다. 센서- 인터페이스 유닛(120)은 컴퓨터(160)에 제공되는 감각 입력을 인터페이스하도록 구성된 센서 인터페이스 어셈블리를 포함한다. 일 구현에서, 센서-인터페이스 유닛(120)은, 예를 들어, 체스 피스(chess piece)가 테이블을 가로질러 슬라이딩될 때 (또는 테이블과 터치될 때), 누군가 테이블에 손가락을 댈 때, 및/또는 등에서 테이블 표면에 사운드 진동을 지오폰으로 청취하도록 구성된다.
지오폰이라는 용어는, 여러 구현에서, 예를 들어, 고체 내 압력, 속도, 움직임, 압축, 소파(rarefaction), 및/또는 등의 변화를 전기 신호로 변환시키는 다양한 압력 트랜스듀서, 압력 센서, 속도 센서, 흐름 센서, 및/또는 등 중 어느 것을 말할 수 있다. 지오폰은 테이블탑과 같은 고체 표면 등에서 차동 압력 센서, 절대 압력 센서, 변형 게이지(strain gauge), 굽힘 센서(flex sensor) 등을 포함할 수 있다. 따라서, 지오폰은 단일 청취 포트(listening port) 또는 이중 포트(dual port)를, 글래스 또는 세라믹 판, 스테인레스 스틸 다이아프램, 또는 등의 각 측에 하나씩 구비할 수 있고, 또는 1-비트 지오폰으로 고려될 수 있는 압력 스위치와 같은 압력의 이산 변화에만 응답하는 압력 센서를 더 포함할 수 있다. 나아가, 지오폰이라는 용어는 또한 압력 또는 압력 차이의 변화에만 응답하는 디바이스, 즉 정적 압력을 운반할 수 없는 디바이스에 대하여 사용될 수 있다. 일 구현에서, 지오폰이라는 용어는 주파수 범위가 사람 청취 범위, 또는 (일 구현에서, 아래로 초당 0 사이클에 이르는 것을 포함하는) 아음속(subsonic) 또는 초음파 내에 있든 있지 않든 상관없이 임의의 주파수 범위의 압력 또는 압력 변화를 센싱하는 압력 센서를 나타내는데 사용된다. 나아가, 지오폰이라는 용어는, 일부 구현에서, 고체 내 진동 또는 압력 또는 압력 변화를 센싱하도록 구성된 임의의 종류의 접촉 마이크(contact microphone) 또는 유사한 트랜스듀서를 나타내는데 사용될 수 있다. 따라서, 지오폰이라는 용어는 가청 주파수 범위에서 동작하는 접촉 마이크에 대해서 뿐만 아니라 단지 가청 주파수가 아닌 임의의 주파수 범위에서 동작하는 다른 압력 센서에 대하여 사용될 수 있다. 지오폰은, 예를 들어, 테이블탑에서 사운드 진동, 스크래치(scratch), 하향 가압 압력, (예를 들어, DC 또는 Direct Current 오프셋을 통해) 테이블에의 중량, 및 (예를 들어, AC 또는 Alternating Current 신호를 통해) 작은-신호 진동을 센싱하도록 구성될 수 있다. 일부 구현에서, "자연 사용자 인터페이스(natural user interface)"라는 용어는 실제-세계 객체와 같은 물리적인 매체를 사용하여 이런 형태 및 다른 유사한 형태의 상호 작용에 대하여 사용될 수 있고, 메타퍼의 간접적인 수단을 제거한다. 일 옵션에 따라, 디지털 아이 글래스(180)는, 특히 센서-인터페이스 유닛(120)의 지원으로 자연 사용자 인터페이스를 구현한다.
나아가, 일 구현에서, 3차원 객체 위치 등을 센싱하도록 구성된 LiDAR 유닛(187)과 LiDAR 유닛(197)은, 센서-인터페이스 유닛(120)과 함께 컴퓨터(160)에 데이터를 제공하여, 지오폰(182)과 다른 센서에 의하여 멀티모달 감각 촉각 피드백을 제공한다.
일 옵션에 따라, 센서-인터페이스 유닛(120)에서 지오폰(182)은 송신 및 수신하도록 구성되고, 예를 들어 사용자의 손가락에 의해 클릭되거나 터치되거나 또는 접촉되는 것에 의해 사용자에 의해 느껴질 수 있는 진동촉각 에너지를 테이블탑에 전달하도록 테이블탑에 고정 부착될 수 있다. 대안적으로, 일 구현에서, 이 힘 및/또는 진동촉각 에너지는 예를 들어 극적 효과를 위하여 반-파괴적으로 사용될 수 있다.
예를 들어 (도 1e에 도시된 바와 같이), "증강매개된 체스" 게임에서, 지오폰(182)은 하나의 플레이어가 게임을 이기는 경우 테이블을 흔들고 실제 체스 피스를 녹오버(knock over)하여, 비-글래스-착용 참가자(예를 들어, 센싱 및 디스플레이 장치(1300)를 사용하지 않는 사용자)의 나안(198)에도 보이는 극적 시각적 효과를 생성하도록 구성될 수 있다.
나아가, 다수의 참가자가 테이블탑과 같은 표면(130)에 센서-인터페이스 유닛(120)과 컴퓨터(160)의 각 인스턴스를 설정하면, 예를 들어, 지오폰 어레이를 형성하도록 센서-인터페이스 유닛(120)과 컴퓨터(160)의 각 인스턴스에 지오폰(182)과 지오폰(194)의 다수의 인스턴스가 있을 수 있다. 센서-인터페이스 유닛(120)과 컴퓨터(160)의 각 인스턴스에 관성 측정 유닛(184), 가속도계, 및/또는 등, 및/또는 다른 추가적인 센서를 일 구현에서 사용하여 센서-인터페이스 유닛(120)과 컴퓨터(160)의 상대적인 위치를 연산하고, 표면(130)에 음향 및/또는 다른 물리적인 교란을 찾을 수 있는 센서의 위상 어레이를 형성할 수 있다.
디지털 아이 글래스(180)와 디지털 아이 글래스(190)는, 일부 구현에서, 가시광과 같은 광을 센싱 및/또는 방출하도록 각각 구성된다. 완전히 양방향인 인스턴스의 구현에서, 디지털 아이 글래스(180) DEG 는 양 방향으로 광을 센싱하고 방출하여, 예를 들어, 눈 그 자체에 엑스트라미시브 능동 비전 순방향 보기(active vision forward-looking)와, 엑스트라미시브 능동 비전 내부-보기(inward-looking)를 제공하도록 구성될 수 있다. 이것은 (예를 들어, 센싱으로) 눈-추적과 디스플레이(작용)를 포함할 뿐만 아니라, (예를 들어, 센싱으로) 도 1a의 제1 증강매개된-현실 공간(1000)의 환경의 공간 이미징과 (예를 들어, 작용으로) 환경으로의 프로젝션을 포함할 수 있다. 이런 의미에서, 디지털 아이 글래스(180)는 눈으로 광을 송신하고 이 눈으로부터 광을 수신하며, 디지털 아이 글래스(180)는 또한 예를 들어, 사용자의 눈이) 보는 대상으로 광을 송신하고 이 대상으로부터 광을 수신한다.
일 옵션에 따라, 디지털 아이 글래스(180)는 사용자 주위의 환경을 센싱하고 및/또는 사용자를 센싱하도록 구성된다. LiDAR 유닛(187)과 같은 공간적-이미징 센서 어셈블리는, 일 구현에서, 깊이 맵(1308) (일 예에서 도 13에 도시된)을 제공하여, 예를 들어, 사용자의 팔, 손, 손가락, 및/또는 등의 공간 좌표, 위치, 배향, 및/또는 등을 결정하도록 구성될 수 있다. 공간적-이미징 센서 어셈블리는 또한 깊이 맵을 제공하여, 예를 들어, 사용자가 아래 지면을 보는 경우에 사용자의 다리, 발, 및/또는 등의 공간 좌표, 위치, 배향, 및/또는 등을 결정하도록 구성될 수 있다. 일 구현에서, 2종류의 스캐닝가능한 대상이, 예를 들어, 비-자가 대상(예를 들어, 룸 내 다른 객체)과 자기 자신으로 분리될 수 있다. 이 2개가 충족될 때, 이 충족이 검출되거나 및/또는 추적될 수 있고, 이 상황은 일부 구현에서 "물리적인 컨택(physical contact)" 또는 "접촉"이라고 언급될 수 있다.
일 옵션에 따라, 도 1a의 처리 장치(908)는, 일 구현에서, 접촉 검출기를 포함할 수 있다. 접촉 검출기는 접촉(예를 들어, 사람 신체와 다른 객체 간, 2개의 객체 간, 및/또는 등 간의 물리적인 컨택)을 검출하고 이에 따라 응답하도록 구성된다. 접촉 검출기는, 예를 들어, 접촉의 발생을 검출하도록 구성된 프로그램 명령을 포함할 수 있다. 일 옵션에 따라, 접촉 검출기는 접촉의 사운드를 픽업하거나 및/또는 검출하도록 구성된 지오폰(182)을 포함하고, 비전 시스템 (센싱 및 디스플레이 장치(1300))은 표면(예를 들어, 테이블탑)을 3차원 스캐닝하고, 손, 손가락, 및/또는 등이 표면과 터치한 시기와 터치하였는지 여부를 결정하는 것에 의해 접촉의 발생을 관찰하도록 구성된다. 일 구현에서, 이것은, 그룹 액션(1)으로 표시된 바와 같이, 손 또는 손가락의 포인트 클라우드가 평면의 호모그래피에 침입할 때, 포인트 클라우드를 통해 달성될 수 있다. 수식 {1}은 도 1a의 처리 장치(908)에 의해 사용되어, 일 구현에서, 일 예에서 도 1aa에 도시된 바와 같이 접촉 검출기(400)에 의한 접촉의 발생을 검출하는데 사용될 수 있다.
수식 {1}:
공간에서 동일한 평면 표면의 임의의 2개의 이미지는 (핀홀 카메라 모델을 가정하면) 호모그래피와 관련된다. 이것은 이미지 교정(rectification), 이미지 등록, 2개의 이미지들 간에 카메라 모션(회전과 병진이동)의 연산, 및/또는 등과 같은 많은 실제 응용을 할 수 있다. 일단 카메라 회전과 병진이동이 추정된 호모그래피 매트릭스로부터 추출되었다면, 이 정보는, 예를 들어, 네비게이션에서, 3차원 객체 모델을 이미지 또는 비디오, 및/또는 등으로 삽입하는데 사용되어, 정확한 관점으로 렌더링되어 원래의 장면의 일부이었던 것으로 보이게 할 수 있다.
일 구현에서, [A]는 2 x 2 (2x2) 선형 연산자이고, [b]는 2 x 1 (2x1) 병진이동이고, [c]는 2 x 1 (2x1) 처프(chirp)(투영)(projective)이고, [d]는 스칼라 상수이고, [x]는 2 x 1 (2x1) 공간 좌표이고, [x] = [x1, x2]T 이고, 여기서 T는 위치 치환(transposition)을 나타낸다.
일 구현에서, 통계적 유의성 테스트(statistical significance test)가 접촉 검출기에 의해 검출된 호모그래픽 침입의 정도에 대해 수행될 수 있다. 호모그래픽 침입의 정도의 측정을 수행하도록 구성된 장치는, 일부 구현에서, 호모그래피 침입 추정기 또는 호모그래픽-침입 추정기라고 추정될 수 있다. 이러한 추정기가 임계값을 넘어서, 다른 액션, 및/또는 등을 위한 트리거로 사용되는 구현에서, 장치는 호모그래피 침입 검출기로 언급될 수 있다. 일 구현에서, 노이만-피어슨 이론(Neyman-Pearson 상기ory), 또는 등과 같은 검출과 추정 이론이 도 1aa에 도시된 호모그래피 침입 검출기(401)에 적용될 수 있다.
비전, (예를 들어, 지오폰(182)을 통해) 오디션, 및/또는 다른 감각 입력의 조합이 사용되는 경우에, (도 1aa에 도시된) 융합 센서(402)는 2개의 센싱 모드들을 퓨즈(fuse)하는데 사용될 수 있다.
융합 센서는, 일 구현에서, 예를 들어, 도 1ee의 예에 도시된 시각적 밀림 센서(visual trusion sensor) 및/또는 음향 밀림 센서(acoustic trusion sensor)의 조합으로 구축될 수 있다. 일 구현에서, 이러한 센서는 밀림(trusiveness)(침입(intrusiveness), 압출(extrusiveness), 또는 이들 둘 모두), 접촉, 및/또는 등을 추정하도록 구성된 신경 네트워크를 사용할 수 있다.
일 구현에서, 디지털 아이 글래스(180)는 (일부 구현에서 헤드 스트랩으로 언급된) 예를 들어 헤드-장착가능한 어셈블리(183)로 프레임에 의한 (사용자의) 헤드에 지지될 수 있다. 일 구현에서, 헤드-장착가능한 어셈블리(183)는 헤드-장착가능한 어셈블리(183)의 일부분(예를 들어, 절반)이 후두부 로브(occipital lobe), 또 다른 부분 (예를 들어, 다른 절반) 아래에 정렬, 위치 및/또는 등에 있거나, 후두부 로브 위에 정렬, 위치 및/또는 등에 있도록 분할되어, 수류(water current)가 사용자의 얼굴로부터 멀리 디지털 아이 글래스(180)를 브러시(brush)할 수 있는 곳인 짐나스틱(gymnastics), 요가, 및/또는 수영과 같은 강한 물리적인 활동 동안 디지털 아이 글래스(180)를 사용자의 헤드에 체류하게 한다. 예를 들어, 디지털 아이 글래스(180)의 밀봉된(수밀(water tight) 인스턴스)의 정면 평면 표면은 수상 및/또는 수중에서 동작하도록 구성될 수 있다.
개시된 장치, 방법 및 시스템의 측면은 공간(평면/호모그래피, 구형 객체, 또는 등)으로 침입을 검출하는 시각적 침입 검출기를 포함하거나, 또는 보다 일반적으로, 밀림(침입 또는 압출, 또는 이들 둘을 동시에)의 정도를 추정하고, 일종의 임계값, 또는 등 (예를 들어, 제스처 센싱, 추정, 검출, 및 제스처 분류)에 의해 밀림을 이후 (또는 직접) 검출할 수 있는 밀림 추정기를 포함할 수 있다.
일부 구현에서, 밀림 센서는 또한 예를 들어, 멀티모달 밀림 센싱의 융합 결과 융합에 기초할 수 있다. 예로는 전자기 복사선(제1 모드)과 음향 복사선(제2 모드)에 의해 센싱하는 밀림 센서를 포함할 수 있다.
도 1ee는 광 센싱 또는 광 센싱 및 이펙토리 (발광체) 장치로부터 뿐만 아니라 음향-센싱 장치, 또는 음향 센싱 및 이펙토리 (예를 들어, 수중 음파 탐지기) 장치로부터 입력을 수신하는 신호-처리 시스템의 일 실시예를 도시한다.
도 1ee는 시각적 밀림 입력 1EE20과 음향 밀림 입력 1EE10을 포함하는 융합 센서를 도시한다. 일 구현에서, 2종류의 밀림: 침입(예를 들어, 절도(burglar) 또는 "침입자"가 구내(premises)에 들어올 때 우리가 보는 바와 같은 것)과 압출(예를 들어, 문자 "I"의 형상으로 금속을 "압출"하는 것에 의해 알루미늄 I" 빔이 만들어질 때 우리가 보는 바와 같은 것)이 있다.
침입이란, 일 구현에서, 어떤 것 안으로 또는 어떤 것 상으로 또는 어떤 것으로 "밀고 들어가거나" "푸시"하는 것이나 어떤 것 부근으로 들어가는 것을 의미한다. 침입은 바이너리 온/오프(binary on/off)일 수 있고, 예를 들어, 침입자가 구내에 들어갈 때 "트리거"될 수 있고, 및/또는 정도로 일어날 수 있다. 예를 들어, 사람을 터치하지 않고서도 예를 들어, 사람의 "개인적인 버블"에 가까이 가는 것에 의해 다른 사람의 개인적인 공간을 침입할 수 있다.
우리는, 예를 들어, 테이블에 가까이 오는 것, 테이블 위에 떠 있는(hovering over) 것, 테이블을 터치하는 것, 및/또는 등에 의해 테이블의 표면으로 침입하여, 예를 들어, 테이블의 표면에 가상 객체를 그릴 수 있다. 우리는 테이블을 가볍게 푸시할 수 있다. 우리는 또한 테이블을 더 많이 푸시할 수 있다. 따라서, 일 구현에서, 침입의 정도는 테이블탑 부근에 오는 것으로부터, 테이블탑을 매우 가볍게 터치하는 것으로, 가볍게 가압하는 것으로, 푸시하는 것으로, 매우 많이 푸시하는 것으로, 사람이 주먹으로 테이블을 강하게 치는(pounding) 것으로, 및/또는 등으로 변할 수 있다. 따라서, 시스템은 밀림과 접촉(예를 들어, 터치, 탭핑(tapping), 문지름(rubbing), 히트(hitting) 등과 같은 촉각 요소)을 센싱할 수 있다.
우리는 또한 테이블(압출)로부터 멀어질 수 있다. 시각적 밀림 센서(1EE30)과 같은 착용가능한 비전 시스템은 테이블과의 터치, 침입 또는 압출의 정도, 및/또는 등을 센싱할 수 있다. 일 구현에서, 터치 센서는, 예를 들어, 또한 음향 밀림 센서(1EE25)를 사용하여 센싱하는 것과 같이 복수의 모드에 의한 멀티모달 센싱을 수행하도록 구성될 수 있다.
본 명세서에 사용된 바와 같이, 음향 신호는 아래로 DC (초당 0 사이클)에 이르는 것을 포함하는 사운드 레벨을 포함할 수 있다. 일 구현에서, 음향 밀림 센서(1EE25)는 테이블의 굽힘을 센싱하는 테이블 내 또는 테이블 상에 변형 게이지, 및/또는 테이블 내 "벤더(bender)" 또는 "굽힘(bend) 센서", 및/또는 테이블에의 중량 또는 힘을 센싱하는 테이블의 다리에 있는 센서일 수 있다.
일 구현에서, 음향 밀림 센서(1EE25)와 시각적 밀림 센서(1EE30)는 "뉴런(neuron)" 또는 가중치 또는 요소에 의해 함께 연결된 노드(1EE40), 노드(1EE50), 노드(1EE70), 또는 등에 의해 형성된 신경 네트워크의 특징 벡터로 고려될 수 있는 밀림 메트릭 및/또는 다차원 밀림 신호(1EE35)를 공급하도록 구성된다. 노드와의 연결(1EE45)과 연결(1EE60), 또는 등은, 침입, 터치, 및 압출을 인식하도록 트레이닝된 신경 네트워크를 형성한다.
일 구현에서, 접촉 신호(1EE80)는, 침입, 및/또는 등의 본질(essence)을 풍부하게 캡처하는 특징 벡터(feature vector)로 단일 부동 소숫점 수(single floating point number)로 구성될 수 있는 침입의 정도를 검출하거나 및/또는 제공한다.
일 구현에서, 접촉 신호(1EE85)는 터치의 정도를 캡처하고, 예를 들어, 얼마나 많은 터치가 있는지와 같은 터치에 대한 정보를 운반한다. 일 구현에서, 이 접촉 신호는 테이블탑 또는 등과 같은 실제 물리적인 객체에 대하여, 또는 하나 이상의 사람들이 함께 경험할 수 있는 공유된 가상 객체와 같은 가상 객체에 대하여 얼마나 많은 손가락이 터치하고 있는지, 어느 손가락이 터치하고 있는지, 및/또는 등에 대한 정보를 운반한다.
일 구성에서, 접촉 신호(1EE80), 접촉 신호(1EE85), 및 접촉 신호(1EE90)는, 각각, 침입 검출기(1EE91), 터치 검출기(1EE92), 및 압출 검출기(1EE93)로 전달된다. 검출된 신호, 각각, 신호(1EE94), 신호(1EE95), 및 신호(1EE96)는 제스처 센서(1EE97)에 공급되고, 이 제스처 센서는 접촉 및/또는 밀림이 센싱되는 실제 또는 가상 객체와 연관하여 수행되는 제스처를 센싱한다.
제스처 센서(1EE97)는 예를 들어 특정 제스처를 각각 나타내는 여러 출력 신호(1EE98)를 제공할 수 있다.
침입 센싱은 여러 객체, 즉 실제 객체 및/또는 가상 객체에 대해 수행될 수 있다. 예를 들어, 침입은 벽, 테이블, 바닥, 빌딩 면 등과 같은 평면 및/또는 대략 평면 표면에 대하여 센싱될 수 있다. 따라서, 호모그래피 (예를 들어, 좌표 변환의 투영 그룹(projective group)의 궤도 하에서 평면 표면에서 대수 투영 형상)이 평면에 한정될 수 있고, 침입 검출이, 예로서, 도 2b의 상황에서 도시된 바와 같이 그 위에 수행될 수 있다. 이 경우 침입 검출은 이 평면 표면에 대해 동작하는 제스처에 대한 정보를 제공한다.
일 구현에서, 임의의 매니폴드는 사용자가 상호 작용할 수 있는 공간에 있는 "스트링(strip)", 및/또는 등과 같이 사용자가 상호 작용할 수 있는 표면으로 구성될 수 있다.
따라서, 도 1ee의 밀림 및 접촉 센서는 토포스컬프팅 (상표) 시스템 (예를 들어, 토폴로지컬 스컬프팅)을 통해 상호 작용과 착용가능한 상호 작용 설계를 위한 매니폴다이저-기반 인터랙터("Interactor")로 구성될 수 있다.
상호 작용, 또는 상호 작용 설계를 위한 장치, 방법 및 시스템은, 일부 실시예에서, 유클리드 공간에 국부적으로 호메오몰픽(homeomorphic)이거나, 또는 대략 그래서, 구, 가상 버블, 다각형, 파이프, 곡선 파이프, 광, 지점, 아이콘, 문자, 불규칙 형상, 곡선 라인과 표면, 얼룩(blob) 등과 같은 다른 객체와 상호 작용을 더 포함하는 강성의 평면 패치의 호모그래피를 넘어 가는 가상 토폴로지컬 공간, 토폴로지컬 스컬프팅 또는 토포스컬프팅(상표) 시스템을 생성하거나 편집하는 것을 포함한다.
(n-차원 토폴로지컬 매니폴드는 n-차원 유클리드 공간에 국부적으로 호메오몰픽 제2 카운트가능한 하우스도르프(countable Hausdorff) 공간이다.)
예를 들어, 3-차원(3D) 공간에 홀딩되거나 시각적화된 로프 또는 와이어 또는 케이블은 1-차원 유클리드 공간에 국부적으로 호메오몰픽 제2 카운트가능한 하우스도르프 공간으로 표현될 수 있다. (구어체로, 이것은 " 내부에 한정된 "곡선을 따른 지점의 작은 인근에서 라인과 같이 거동한다"). 일 실시예에서, 이것은 AR 환경에서 공간 상호 작용을 위한 기초를 형성한다. AR은 증강매개된 Reality를 말한다.
"매니폴드"라는 용어는, 예를 들어, 하나의 매니폴드가 아니라, 매니폴드 피스들이 교차점(즉 "비-매니폴드한(non-manifoldness)" 지점) 너머에서 "함께 고정된" "숫자-8" 형상과 같은 부분 매니폴드들을 포함하는 것으로 넓고 비-제한적인 의미로 본 명세서에서 사용될 수 있다.
마찬가지로, 접힌 지하철 노선도(subway map)와 상호 작용하는 것은 수학적으로 덜 잘 거동되는 부분(예를 들어, 샤프한 폴드)을 포함하는지 여부에 상관없이 개시된 장치, 방법 및 시스템의 구현 범위 내에 있다. 또한 컴퓨터 스크린(실제 또는 가상)과 상호 작용하는 것은 전체 토폴로지컬 또는 비-토폴로지컬 구조(들)에 상관없이 일부 구현에 포함된다.
매니폴드 상호 작용의 제2 예로서, 자폐증(autism) 여성인 앨리스(Alice)는, 지하철 역에 들어가 맵을 픽업한다. 그녀는 맵에 있는 모든 라인으로 인해 혼란스러우나, 그녀의 스페이스글래스(공간 이미징 글래스)는, 일 구현에서, 맵을 "보고" "이해"하여 그녀가 맵을 "네비게이션"하는 것을 도와줄 수 있는 "홀로그래픽 비전"을 사용하는 것에 의해 그녀를 도와준다. 스페이스글래스는 표면을 보는 것을 인식한다 (예를 들어, 2차원 유클리드 공간에 국부적으로 호메오몰픽 제2 카운트가능한 하우스도르프 공간, 즉 표면은 페이퍼 표면에 있는 지점의 작은 인근에서 평면과 같이 거동한다).
일 실시예에서, 스페이스글래스 (상표) 시스템은 주위 환경에 있는 객체 쪽으로 광을 방출하고 나서, 리턴된 광과, 주위 또는 자연 광을 센싱하는 엑스트라미시브 공간 이미징 시스템에 의하여 이것을 달성할 수 있다. 이 시스템은 어딘가로부터 리턴하는 광과 (예를 들어, 주위 광) 이로부터 방출된 광으로 인해 공간을 (라이트스페이스를 사용하여) 구별하는 록인 카메라(lock-in camera)를 포함할 수 있다.
스페이스글래스는 알로라이트 소스(allolight source)로부터 오토라이트 소스(autolight source)를 구별하도록 구성될 수 있다 (그리스 접두사 "오토(auto)"는 "자기 자신", 즉 스페이스글래스 그 자체로부터 조명되는 것으로 인한 광을 의미하고, "알로(allo)"는 자기 자신과는 반대, 즉 광 스페이스글래스가 아닌 소스로 인한 광을 의미한다).
일 구현에서, 이 구별을 가능하게 하는 디바이스 또는 메커니즘은 "광스페이서(lightspacer)"라고 지칭된다. 록인 카메라는 광스페이서의 일 실시예이지만, 이 카메라는, 일부 구현에서, 매 두 번째 비디오 프레임마다 광을 밝게 플래쉬하고 라이트스페이스의 이론과 프락시스(praxis)를 사용하여 별개의 광벡터, 또는 등으로 알로루미네이션(allolumination) 이미지와 오토루미네이션(autolumination) 이미지를 비교하는 타이밍 회로를 더 포함할 수 있다.
앨리스의 스페이스글래스는 그녀의 맵에 도시된 지하철 노선의 일부를 인식하기 시작한다. 비록 맵이 접히고 심지어 이 맵이 휘어진 것으로 인해 외관상 "편평한" 부분이 다소 굴곡되었다 하더라도, 그녀의 스페이스글래스는 맵이 있는 3-차원 공간의 국부적인 2차원 서브공간을 한정하는 것을 센싱할 수 있다. 나아가, 지하철 노선 그 자체는 매니폴드: 맵의 2차원 표면 내 1-차원 매니폴드: 이 주위 3차원 공간 내 매니폴드 그 자체이다.
그녀가 맵을 터치할 때, 그녀의 스페이스글래스는 도 1ee의 접촉/밀림 센서에 따라 터치 제스처를 인식한다. 스페이스글래스, 또는 그 프로세서에서 컨택-센서 또는 터치 센서는, 맵의 표면과 터치 및 컨택을 센싱하고, 접촉 신호를 생성하고, 또 지하철 노선의 1-차원 매니폴드와 컨택하여, 다른 접촉 신호를 더 생성한다. 접촉 신호(1EE80), 접촉 신호(1EE85), 및 접촉 신호(1EE90)는 함께 동작하고, 즉 도 1ee의 접촉/밀림 센서의 2개의 인스턴스가 있는데, 하나는 맵의 페이퍼와의 접촉을 센싱하는 일을 하고, 다른 하나는 그 위에 도시된 지하철 노선과 접촉/밀림을 센싱하는 일을 한다. 제1 센서는 페이퍼의 2차원 매니폴드와의 접촉/밀림 ("퓨전(fusion)")을 센싱하는 반면, 제2 센서는 이 페이퍼에 그려진 지하철 노선도의 1 차원 매니폴드와의 퓨전을 센싱한다.
터치-센서는, 여러 구현에서, 하나 또는 2개의 레벨의 터치 센싱, 즉, 페이퍼가 터치될 때 제1 레벨의 터치 센싱과, 페이퍼에서 경로, 또는 곡선, 또는 다른 매니폴드가 터치될 때 제2 레벨의 터치 센싱을 포함할 수 있다. 각 경우에, 응답이 증강매개된 디스플레이, 또는 디스플레이 매체 형태로 생성될 수 있고, 페이퍼 표면 또는 그 위 지하철 노선과 같은 매니폴드로부터 방출되는 것처럼 렌더링될 수 있다.
증강매개된 센싱에서 맵을 판독하는 것에 더하여, 그녀는 또한 설계를 조작하는 것에 의해 새로운 지하철을 위한 설계를 제안할 수 있고, 매니폴드들이 와이어에 있는 비드인 것처럼 이동하는 것이 1-차원 매니폴드를 따라 주위에서 정지한다. 그녀가 정지를 터치할 때, 이것은 맵의 페이지에 있는 것처럼 렌더링된 정지에 대한 정보를 조명하도록 구성될 수 있다. 이후 (예를 들어, 반대 방향으로부터 지하철 역 또는 다른 맵 지점에 접근한 후 엄지 손가락과 집게 손가락(index finger)이 터치할 때를 센싱하여) "핀치(pinching)" 제스처와 같은 특정 제스처에서, 선택된 객체 또는 관심 지점은 가상 공간에서 하이라이트될 수 있고, 지하철 노선의 서브매니폴드를 따라 앞뒤로 슬아이딩될 수 있다. 이것은, 일 구현에서, 상호 작용 설계 형태로 실시간으로 매니폴드를 "편집하거나" 또는 "스컬프팅할 수 있는" ("토포스컬프팅할 수 있는") "플래니폴다이저(planifoldizer)", 예를 들어, 매니폴드 계획 시스템(manifold planning system)이라고 언급될 수 있다.
일 실시예에서, 플래니폴다이저는 편집가능한 가상 매니폴드에서 페이퍼 피스와 같은 실제 물리적인 객체의 촉각 피드백을 조합할 수 있다.
일 구현에서, 플래니폴다이저는 차원 계층으로 구성될 수 있다. 페이퍼의 시트(sheet)를 따라 엄지 손가락과 집게 손가락(forefinger)을 슬라이딩하는 것은 페이지에서 3D 공간에서 그렇게 하는 것과는 상이한 방식으로 지점을 선택할 수 있는 제스처로 인식된다. 따라서 차원 계층은 2D (2 차원) 매니폴드에 있는 것이 아니라 3D (3 차원) 공간에 있는 것과는 상이한 것으로 2D 매니폴드로 구속된 제스처를 인식한다. 나아가, 또 다른 등급의 제스처는, 예를 들어, 지하철 노선을 따라 엄지 손가락과 집게 손가락, 일측에 있는 엄지 손가락과 다른 측에 있는 집게 손가락을 이어, 어느 하나의 측으로부터 특정 지하철 역에 접근하고 나서, 엄지 손가락과 집게 손가락을 함께 가져가 특정 역을 선택하는 1 차원 (1D) 매니폴드로 한정된 것이다. 이 제스처는, 예를 들어, 노선을 따라 이동하는 동작을 호출하는 반면, 2D 페이퍼 평면에 있으나 노선을 벗어나는 제스처를 하는 것은 노선을 이동시키는 동작(전체 노선을 이동시키고 단순히 역만을 이동시키는 것은 아님)을 호출한다.
일부 구현에서, 플래니폴다이저는 임의의 맵에서 또는 심지어 페이퍼의 블랭크 시트에서 노선 계획을 위해 사용될 수 있고 이 페이퍼는 플래니폴다이저에 사용자-인터페이스로 사용되어 촉각 피드백의 능력을 "에어리(airy)" 사용자-인터페이스에 제공한다. 이러한 페이퍼 시트는, 이 상황에서, "플래니폴드"(예를 들어, 노선을 계획하는 대화식 매니폴드)라고 언급될 수 있다.
일 실시예에서, 매니폴다이저는 사용자를 초청하여 가상 공간에서 매니폴드를 생성하는 대화식 입력 디바이스를 합성한다. 예로는 제스처-제어된 스트링 생성기와, 제스처-제어된 표면 생성기를 포함한다.
일부 실시예에서, 제스처를 통해, 사용자는 매니폴드의 접선 라인(tangent-line)을 따라 사용자의 제스처의 대략 시간-적분을 따라 매니폴드를 생성하여 이 매니폴드를 한정한다. 예를 들어, 가상 스트링, 로프, 또는 와이어는, 공간을 통해 손가락을 이동시키는 것에 의해 생성되는 반면, 매니폴다이저는 움직임의 시간-적분을 합성한다. 그 결과 광 전구(light bulb)가 이를 따라 이동된 것처럼(누적 광벡터) 긴 노출 사진과 유사하다. 이런 형태의 토포스컬프팅은 아바코스컬프팅(상표) 시스템이라고 언급될 수 있다. "아바코스컬프팅"은 단어 "아바커스(abacus)"가 유래된 동일한 루트 단어(root word)인 "티끌(dust)"을 의미하는 히브리 단어(Hebrew form) "아바크(abaq)"로부터 온 것이다. 일부 의미에서, 아바코스컬프팅은 아바커스를 동작시키는 것과 같은데, 즉 아바커스에 비드가 있는 것처럼 가상 로프, 스트링, 와이어, 또는 등을 따라 관심 지점을 이동시키는 것과 같다. 아바코그래피(상표) 시스템은 또한 더스팅(Dusting) (상표) 시스템으로 언급될 수 있고, 이 시스템을 가이드로 사용하여, 객체의 아바코그래프, 또는 객체를 수반하는 룰렛(roulette)의 아바코그래프를 구성하거나, 또는 객체를 수반하여 아바코그래프를 제작할 때 객체를 "티끌화"한다고 말할 수 있다. 티끌화하는 하나의 방법은 공기 중에 역반사 분말을 스프링클링하거나 던져서, 이를 주위로 날리는 동안, 공통의 광 축을 공유하는 카메라와 프로젝터는 이 티끌을 조명한다. "티끌화"의 일 실시예에서, 긴 노출 비디오 합산(summation), "티끌"은 메타퍼적으로(metaphorically), 아바커스에 와이어로 고려될 수 있는 광의 스트리크(streak)를 트레이스아웃(trace out)한다. 또 다른 실시예에서, 분말의 일부는 사용자의 손에 증착되어 손 제스처가 아바코그래프를 생성한다. 또 다른 실시예에서 분말은 컴퓨터 비전 알고리즘이 컴퓨터 비전만을 사용하여 공정을 시뮬레이팅할 수 있도록 충분히 개선되기 때문에 요구되지 않는다.
또 다른 예에서, 2차원 매니폴드는 사용자의 손 또는 다른 신체 부분에 접선 표면으로 3차원 가상 또는 증강매개된 공간에서 생성된다.
이러한 디바이스는 "입력 매니폴다이저"라고 언급될 수 있다.
일 실시예에서, 매니폴드는 가상 또는 증강매개된 공간에서 디스플레이되거나, 또는 증강매개기(augmediator), 장치, 또는 등에 의해 디스플레이되고, 사용자는 미리-디스플레이된 매니폴드와 상호 작용할 수 있다.
이러한 디바이스는 "출력 매니폴다이저" 또는 "매니폴다이즈된 디스플레이"라고 언급될 수 있다.
일 실시예에서, 입력 매니폴다이저는 출력 "매니폴다이저"를 생성하는데 사용될 수 있다.
예로는 공간을 통해 손가락을 이동시키는 것에 의해 1-차원 매니폴드 디스플레이를 생성하여, 손가락이 공간을 통해 더 이동할 때 더 길게 성장하는 "광 로프" 또는 LED (Light Emitting Diodes) 스트링의 일반적인 외관을 가지는 것을 초래하는 것을 포함한다. 그 결과 "광 로프"-같은 매니폴다이저는 터치-로프인 것으로 거동한다는 점에서 상호 작용하는 3차원 공간에서 합성된 1-차원 매니폴드이다.
일 구현에서, 객체는, 예를 들어, 스트링에 비드가 있는 것처럼 1D 매니폴드를 따라 합성될 수 있다. 이들 객체는, 예를 들어, 지하철 노선을 따라 지하철 역에 대응한다. 이런 의미에서, 우리는 이들 객체를 입체각(solid angle)의 영국 단위(British Unit)마다 "스팻(spat)"(1 스팻은 입체각의 4 pi 스테라디안(steradian)과 같음)이라고 언급한다. 스팻은 1D 매니폴드의 경로를 따라 선택되거나 생성되거나 삭제될 수 있다. 스팻은 또한, 일 구현에서, 원할 때 실제-세계 파노라마에 대응할 수 있다. 가상 스트링을 따라 스팻을 클릭하는 것은, 예를 들어, 특정 지하철 역의 파노라마 풍경(panoramic vista)을 띄울(bring up) 수 있다. 인터랙터를 호출하는 개시된 장치, 방법 및 시스템의 서브시스템은, 제스처를 센싱하고 이 센싱된 제스처로 인한 응답을 합성한다. 이 서브시스템은 평면 외측에서 행해진 제스처와 비교할 때 1D 매니폴드를 따르지 않고 페이지의 평면에서 행해진 제스처와 비교할 때 1D 매니폴드를 따라 행해진 제스처들 간을 구별할 수 있다. 따라서 페이지 내에서부터 객체를 파지(grasping)하는 것은, 예를 들어, 페이지에서 떨어져서 이를 파지하는 것(즉, 페이지에서 벗어나서 스팻에 접근하여, 페이지와 초기 접촉 지점이 스팻 그 자체인 것과, 대(versus). 페이지와 그 어디선가 터치하고 나서 스팻으로 슬라이딩하는 것)과는 상이한 결과를 제공한다.
여러 실시예에서, 다른 제스처가 사용되고 또한 명확화(disambiguated)될 수 있다. 예를 들어, 일 구현에서, 1D 매니폴드에 있으나 스팻으로부터 멀어지게 페이지에 터치하는 것은 매니폴드를 선택하고 나서, 매니폴드를 따라 한정된 슬라이드를 허용한다. 페이지와 어디에선가 터치하는 것은 매니폴드 그 자체의 슬라이드를 허용하거나, 또는 매니폴드로 슬라이드를 허용한다 -- 제1 제스처와는 다른 제스처를 허용한다.
그 다음 차원에서, 입력/출력 매니폴다이저는, 일 구현에서, 터치-스크린인 것처럼, 3차원 공간에서 합성된 2차원 매니폴드(국부적으로 유클리드 2차원 공간)인 것처럼 거동한다.
개시된 장치, 방법 및 시스템은 또한 더 높은 차원으로 구성될 수 있고, 예를 들어, 매니폴다이저-기반 인터랙터로 합성된 공간을 내장하는 더 높은 차원으로 하이퍼큐브 디스플레이로 구성될 수 있다.
일부 실시예에서, 매니폴다이저는 시각적 상호 작용 설계(예를 들어, 가상 스크린 상호 작용, 또는 스컬프팅 3-차원 객체)를 위해 구성될 수 있으나, 개시된 장치, 방법 및 시스템은 시각적 상호 작용 설계로 제한되지 않는다. 예를 들어, 실시예는 해밀토니안(Hamiltonian)과 전통적인 라그랑지안 역학(classical Lagrangian mechanics)의 위상 공간과 상호 작용하는 심플렉틱(symplectic) 및 메타플렉틱(metaplectic) 매니폴드와 같은 사운드 파일(예를 들어, 1-차원 매니폴다이즈된 파형으로) 또는 다른 매체를 조작하도록 구성될 수 있다. 예로는 객체 또는 매체의 부분이 위상 공간에서 조작될 수 있는 시간-주파수 평면 (예를 들어, 처프릿(chirplet)과 처프릿 변환)의 메타플렉토몰피즘(metaplectomorphism)을 조작하는 것을 포함한다.
일 구현에서, 이미지는 매니폴다이저를 통해 그 4-차원 위상 공간에서와 같이 편집될 수 있다.
일 실시예에서 상호 작용 설계 형태인 매니폴다이저는, 또한 액션을 조작하거나, 액션을 취하거나, 또는 액션을 편집하는데 사용될 수 있어서, 정지 액션의 원리로 제한되지 않으나, 공간화된 증강매개 현실에서 큐레이터(curatorial)의 액션 조작을 부여할 수 있다.
이런 방식으로 로켓 등과 같은 디바이스는, 실시간 분석, 라그랑지안(또는 해밀토니안) 모델링, 등을 제공하고 생성하는 가상 환경 중에 설계되고 조작될 수 있다. 추가적으로, 일 구현에서, 일부가 조작되고 있는 동안 일부는 실시간 CFD (Computational Fluid Dynamics)가 실행되는 상호 작용 환경 중에 스컬프팅될 수 있다. 예를 들어, 공기 흐름의 "예상" 흐름("would-be" flow)을 보고, Navier Stokes 수식에 대한 실시간 솔루션의 효과를 보면서, 로켓 표면을 형성하여 이 형상이 단지 미적인 것을 넘어 가이드되도록 할 수 있다.
따라서, 일부 실시예에서, 유체 흐름 그 자체는 상호 작용의 일부를 형성할 수 있고, 예를 들어, 사람은 실제 바람 터널(wind tunnel)에서 일부를 홀딩할 수 있고, 센서는 일부 상에 유체의 실제 흐름을 센싱하고, 시뮬레이션으로 이 실제 흐름을 가져갈 수 있다.
도 1f는 도 1e의 감각 및 디스플레이 장치(1300)의 일 실시예를 사용하여 공유된 객체와 상호 작용하는 예를 도시한다.
도 1f는 3-차원 공간에 내장된 공유된 매니폴다이즈된 상호 작용 공간과 매니폴다이즈된 디스플레이와, (데스크탑, 벽, 또는 바닥과 같은 물리적인 표면일 수 있는) 또 다른 매니폴드에 내장된 공유된 매니폴다이즈된 인터랙터와 디스플레이를 보여주는 매니폴다이저의 일 실시예를 도시한다.
도 1f는 2개의 착용가능한 아이글래스 디바이스(디지털 아이 글래스), 글래스(180DEG) 및 글래스(181DEG)에서 실행되는 매니폴다이저의 일 실시예를 도시한다. 글래스(180DEG)와 글래스(181DEG)는 엑스트라미시브 스페이스글래스 (예를 들어, 공간 이미징 글래스)이다. 글래스(180DEG)와 글래스(181DEG)라고 지칭되는 DEG (디지털 아이 글래스)는, 여러 구현에서, 배향 및 관성 센서(180IMU), LiDAR 유닛(180L), 비전 시스템(180V), 광학 센서, 및 디스플레이 유닛(180D)을 포함하나 이로 제한되지 않는 여러 요소를 포함할 수 있다. LiDAR는 Light Direction And Ranging을 나타낸다.
도 1f의 아이글래스 디바이스(들), 또는 DEG는 시야(eyesight)를 개선하여, 뷰의 콘트라스트를 증가시키거나, 또는 또한 장치를 은닉하는 것을 도와주는 가리개를 포함할 수 있다. 일 구현에서, 단일 가리개 또는 2개의 별도의 가리개(각 아이에 하나씩)가 사용될 수 있다.
도 1f에 도시된 가리개의 예시적인 구현은 2인치 x 4.25 인치(대략 51 밀리미터 x 108 밀리미터) 표준-사이즈의 용접 가리개이다. 이것은 (예를 들어, ANSI 가리개 5 내지 7을 사용하여) 밝은 햇빛에서 또는 (예를 들어, ANSI 가리개 2 내지 4를 사용하여) 밝지만 구름 낀 날에, 또는 (예를 들어, 더 어두운 가리개를 사용하여) 용접용 디지털 아이 글래스를 사용하는 동안, HDR(High Dynamic Range) 이미징을 사용하는 것에 의해 전기 아크를 보는 동안, 디스플레이(180D)를 볼 수 있게 한다.
글래스(180DEG)는, 일 구현에서, 두 눈이 보는 (용접공의 헬멧 같은) 단일 글래스(singular glass)를 포함할 수 있다. 일 구현에서, 글래스(180DEG)는 각 눈에 대해 별도의 디스플레이 또는 매개 구역, 하나의 글래스, 또는 각 눈에 별도의 글래스, 또는 하나의 눈에 모노큘러 글래스를 더 포함할 수 있다.
글래스(180DEG)는 헤드 스트랩(180H) 및/또는 마인드스트랩(180M)을 포함할 수 있는 프레임에 의해 헤드에 지지될 수 있다. 마인드스트랩(180M)은 그 절반이 후두부 로브 아래에 있고 그 절반이 그 위에 있도록 분할될 수 있어서, 수류(water current)가 디지털 아이 글래스를 "브러시(brush)"하여 착용자의 얼굴에서 떨어지게 할 수 있는 곳인 짐나스틱, 요가, 또는 수영과 같은 강한 물리적인 활동 동안에 아이글래스를 유지하도록 할 수 있다. 글래스(180DEG)의 적절히 밀봉된 인스턴스의 정면 평면 표면은 수상 또는 수중에서 동작가능하다.
디지털 아이 글래스(180DEG)는 관찰 보조구, 비전 보조구, 또는 등으로 기능하는 것을 포함하나 이로 제한되지 않는 다양한 용도 및/또는 응용에 사용될 수 있고, 또 HDR 비전을 허용하여, 예를 들어, 착용자가 상대적인 어두움에서(또는 심지어 칠흑 같은 어두움에서, 예를 들어, 높은 동적 범위의 볼로미터(bolometer)에 의하여) 또한 전기 아크를 볼 수 있거나, 또는 어두운 좁은길에서 밝은 자동차 헤드라이트를 보면서도 자동차 운전 면허 번호와 운전자의 얼굴을 여전히 명확히 볼 수 있다.
일 구현에서, 이동식 가리개(110)는 전기변색일 수 있고, 센서 또는 LiDAR 유닛(180L) 또는 비전 시스템(180V)에 의해 또는 이들의 조합에 의해 제어될 수 있다. 이런 방식으로, 글래스(180DEG)는, 자연히 일어날 수 있는 바와 같이, 실내로부터 실외로의 변화, 태양, 구름, 전기 아크 용접, 밝은 광 등과 같은 넓은 범위의 비전 상태에 적응될 수 있고, 또는 심지어 레이저 포인터 또는 다른 광 소스와 같이 계획적이거나 악의적인 조명 공격으로부터 디지털 아이 글래스(180DEG)에 의해 보호를 제공할 수 있다.
일 구현에서, 센서는 글래스(180DEG)의 이동식 가리개(110)의 주변 주위에 위치되고, 및/또는 내부에 직접 포함될 수 있다. 센서는 또한 또는 추가적으로, 이동식 가리개(110)가 존재하든지 아니든지에 상관없이 이동식 가리개(110) 위에 위치될 수 있다. 이동식 가리개(110)가 제거되면, 이것은 가리개 0으로 고려되고, 예를 들어, 이동식 가리개(110)의 설정이 가리개 0가 된다.
여러 구현에서, 이동식 가리개(110) 위에 있는 센서는 적외선 송신기(180IRT)와, 적외선 수신기(180IRR) (검출기 또는 수신기) 형태를 취할 수 있다. 일 구현에서, 적외선 송신기(180IRT)와 적외선 수신기(180IRR)는 적외선 LiDAR 또는 다른 유형의 3D 적외선 카메라 시스템과 같은 거리-센싱 비전 시스템으로 동작된다.
일 구현에서, 비전 센서는 가시광 수신기(180VR) 라고 언급되는 가시광 카메라로 형성될 수 있다. 이것에 의해 사진 이미지, 아마도 풀-컬러 이미지가, 적외선 송신기(180IRT)와 적외선 수신기(180IRR)에 의해 형성된 거리 맵 또는 거리 이미지와 서로 조립될 수 있다. 마찬가지로 가시광 송신기(180VT)는 다른 사람, 심지어 디지털 아이 글래스를 착용하지 않는 사람이라도 볼 수 있는 방식으로 대상으로 프로젝션하는데 사용될 수 있다.
일 구현에서, 비전 송신기는 DEG를 구비하지 않는 사람의 나안(198)에 뿐 아니라 DEG의 착용자에게도 보이는, 광고, 스폰서 공지문, 카운터, 시간/날짜, 및/또는 프로젝션과 같은 다른 표식과 같은 가시적인 컨텐츠를 갖는 표면(130) (예를 들어, 테이블탑)과 같은 대상을 조명하도록 가시광 스펙트럼에서 동작할 수 있다.
일부 구현에서, 글래스(180DEG)는, 예를 들어, 수평 패럴랙스 전용, 스테레오스코픽, 및/또는 등을 가지는 공간 이미지를 두 눈에 제공한다. 이것은, 일 구현에서, 두 눈이 볼 수 있는 단일 글래스, 또는 별도의 글래스에서 디스플레이(180D) 또는 스테레오 디스플레이(180D)의 2개의 별도의 인스턴스를 사용하여 행해질 수 있다. 1988년 Army Survey로부터 동공간 거리(IPD) 값은 남성에 대해서는 평균 64.7 밀리미터를 나타내고, 여성에 대해서는 평균 62.3 밀리미터를 나타낸다.
(예를 들어, 두 성에 대한) 이들 2개의 값을 평균하면, 총 64.7 + 62.3 = 127.0 밀리미터를 취하고, 이를 2로 나누면 127/2 = 63.5 밀리미터가 된다. 이것은 63.5/25.4 인치가 되고 이는 2.5 인치가 된다. 일 구현에서, 디스플레이(180D)는 대량 생산된 시스템에서 눈의 지점에서 약 2.5 인치 떨어져 있고, 일부 구현에서, 최종 사용자에 일부 조절가능성을 제공한다.
일부 구현에서, 두 눈, 또는 모노큘러 디스플레이 용량을 제공하는 글래스(180DEG)와 글래스(181DEG)와 같은 복수의 DEG (디지털 아이 글래스)이 있을 수 있다. 두 눈으로 보는 경우에, 좌측 눈(OD: Oculus Dexter) 지점(181POEOD)과, 우측 눈(OS: Oculus Sinister) 지점(181PEOOS), 예를 들어, "우측 아이탭 지점"과 "좌측 아이탭 지점"이 제공된다.
진짜 3D 이미지를 캡처하는 이 용량을 사용하여 일 구현에서 합성 아이탭 효과를 생성하는 라이트스페이스 공선화기를 생성할 수 있다. 특히, 진짜 아이탭 시스템에서, 눈 쪽으로 한정된 광의 광선은 이미징 시스템을 통해 전환되고, 처리되어, 원래의 광선과 동일직선에 있도록 재렌더링된다.
합성 공선화기(라이트스페이스 공선화기)는, 일 구현에서, 진짜 3D 모델을 캡처하고, 눈의 수정체의 중심에서 카메라의 렌즈의 중심(홍채, 결절 지점, 광 중심, 또는 등)과 착용자의 눈 내에 실제 배치되었다면 카메라에 의해 발생되었을 수 있는 이미지를 계산하는 것에 의해 작동한다.
나아가, 3D 카메라는 일 구현에서 착용자의 눈 위를 지나가는 라이트스페이스 분석 글래스를 포함하는 공간 이미징 디바이스의 효과를 합성하는데 사용될 수 있고, 예를 들어, 스페이스글래스의 전체 바이저는 효과적으로 라이트스페이스 분석 글래스가 될 수 있다. 이 3D 카메라는 이에 따라 스페이스글래스를 통과하는 광의 모든 광선의 라이트스페이스, 라이트필드, 플렌옵틱, 및/또는 홀로그래픽 이미지를 생성한다. 프로세서는 그리하여 이 (가상) "라이트스페이스 분석 글래스"의 출력에 응답할 수 있고, 프로세서는 프로세서의 출력에 응답하여 "라이트스페이스 합성 글래스"에 대한 광선을 더 연산할 수 있다.
일 구현에서, 3D 카메라, 프로세서, 및 디스플레이의 조합은 라이트스페이스 공선화기를 수행한다.
3D 글래스(DEG180)와 글래스(DEG181)의 비전 시스템의 구현에서 진짜 3D 특성으로 인해, 글래스의 각 인스턴스는 공유된 게임 테이블(예를 들어, 실제 또는 상상 또는 가상 체스보드, 또는 테이블 표면(130) 그 자체)과 같은 공개 대상(140)의 진짜 3D 이미지를 캡처하고, 우측 눈(Oculus Dexter)의 수정체의 중심에 위치되거나 및/또는 실질적으로 이 중심 부근에 위치된 카메라에 의해 캡처된 것처럼 이 실제 뷰, 또는 이의 컴퓨터-변경된 뷰, 또는 이들 뷰의 임의의 조합을 렌더링하고, DEG (글래스)의 착용자의 좌측 눈(Oculus Sinister)의 수정체의 중심에 위치되거나 및/또는 실질적으로 이 중심 부근에 위치된 카메라에 의해 캡처된 것처럼 다른 뷰를 렌더링하도록 구성될 수 있다.
일 구현에서, 글래스(180DEG)와 글래스(181DEG)는 각각 5-세대 글래스로 기능할 수 있다. 나아가, 글래스(180DEG)는 글래스(181DEG)로부터 수신된 정보에 고유 비전 시스템을 사용하여 각자 비전 시스템만에 의한 것보다 훨씬 더 상세하고, 진짜 정확한 3D 현실 모델을 구성할 수 있다. 이런 의미에서, 다수의 상이한 참가자가 실제 세계가 매우 상세하고, 정밀하며 정확하게 캡처되는 컴퓨터-매개된 현실을 공유할 수 있다.
일 구현에서, 2개의 DEG는, (예를 들어, 세계를 이해하기 위해 장면을 교대로 조명하는) 예를 들어, 시간- 분할 다중화에 의해, (예를 들어, 상이한 확산 시퀀스 또는 확산 스펙트럼 또는 확산 공간 패턴을 사용하여) 코드 분할 다중화에 의해, 공동 센싱, 및/또는 등에 의해 협력할 수 있다. 후자의 경우에, 2개 이상의 DEG는 공개 대상(140)과 표면(130)을 조명하고 센싱하도록 함께 동작할 수 있다. 예를 들어, 적외선 송신기(180IRT)가 장면을 조명하는 동안, 적외선 수신기(180IRR)와 수신기(181IRR)는 장면을 센싱한다. 글래스(180DEG)와 글래스(181DEG) 사이에 교차 센싱은 글래스(180DEG)와 글래스(181DEG) 사이에 더 긴 베이스라인으로 인해 존재하는 극단적인 패럴랙스를 통해 추가적인 장면 정보를 제공한다.
일 구현에서, 결과는 별도의 작은 패럴랙스 상호-글래스 베이스라인과, 큰 패럴랙스 내부-글래스 베이스라인으로 수학적으로 분해될 수 있는 분해 능력을 가지는 합성 애퍼처 LiDAR, 또는 등이다.
일 구현에서, 글래스(180DEG)는 착용가능한 컴퓨터를 포함하거나 착용가능한 컴퓨터일 수 있고, 또는 착용가능한 컴퓨터는 셔츠 포켓에 맞는 별도의 유닛일 수 있다. 글래스(180DEG)의 일부 변환 실시예에서, 장치는 완전히 자체 독립적일 수 있고, 또는 글래스(180DEG)의 착용자의 셔츠의 포켓에 배치되기 위해 착용가능한 컴퓨터에 테더될 수 있다. 장치가 테더된 경우, 배선은, Croakies(상표명) 아이글래스 안전 스트랩의 외관을 가지는, 예를 들어, 천 파이프 또는 천 배관, 또는 등 내에 은닉될 수 있다. 일 구현에서, 아이글래스 안전 스트랩은 천 조각에 클립 결합되어 아이글래스 테더의 변형 완화를 제공하는 테더 클립(180T)을 구비한다. 테더 클립(180T)은 예를 들어 헤드셋, 소형 마이크, 및/또는 등에 사용될 수 있는 표준 "크로커다일 클립'", "앨리게이터 클립'" 및/또는 스프링-장착된 클램프일 수 있다.
일부 구현에서, 착용가능한 컴퓨터는 글래스(180DEG)가 착석된 위치에 사용되고 있을 때 사무실 또는 홈 공간에 바닥 또는 테이블에 배치될 수 있다. 이 경우에 착용가능한 컴퓨터는 지오폰(180G)을 포함하는 센서-인터페이스 유닛(120) (또한 테이블탑 유닛이라고도 지칭됨) 내에 수용될 수 있다. (테이블탑 유닛으로 구현된) 센서-인터페이스 유닛(120)의 지오폰 인에이블된 인스턴스는 착용가능한 컴퓨터의 감각 입력을 센싱하고 이 감각 입력을 처리하는 것을 도와준다는 점에서 센서를 가지게 구성될 수 있다. 이 경우에, 센서-인터페이스 유닛(120)은, 예를 들어, 체스 피스가 테이블을 가로질러 슬라이딩되거나 또는 테이블에 터치될 때, 또는 누군가가 테이블에 손가락을 탭핑할 때 테이블의 사운드 진동을 지오폰으로 "청취"할 수 있다.
일 구현에서, 3D 객체 위치 등을 센싱하는 LiDAR 유닛(180L)과 LiDAR 유닛(181L)은 데이터를 센서-인터페이스 유닛(120)과 함께 착용가능한 컴퓨터에 제공하여, 지오폰(180G) 및 다른 센서에 의해 멀티모달 감각 촉각 피드백을 제공할 수 있다.
일 구현에서, 센서-인터페이스 유닛(120)에서 지오폰(180G)은 사용자의 손가락에 의해 터치하거나 접촉하거나 "클릭"으로 느껴질 수 있는 진동촉각 에너지의 큰 양을 테이블에 전달하도록 테이블탑에 볼트 결합될 수 있는 클라크 Clarke 합성에 의해 만들어진 유닛과 같은 송신 및 수신 지오폰일 수 있다.
대안적으로, 이 힘 및/또는 진동촉각 에너지는 예를 들어 극적 효과를 위해 반-파괴적으로 사용될 수 있다.
예를 들어, "증강매개된 체스" 게임에서 지오폰(180G)은 테이블을 흔들고 하나의 플레이어가 게임을 이길 때 실제 체스 피스 위로 녹오버되어, 글래스를 착용하지 않는 참가자의 나안(198)에도 보이는 극적인 시각적 효과를 생성할 수 있다.
나아가, 다수의 참가자가 인터페이스 유닛을 테이블탑과 같은 표면(130)으로 다운 설정하면, 예를 들어 지오폰 어레이를 형성하기 위해 각 유닛에서 지오폰(180G)과 지오폰(181G)의 다수의 인스턴스가 있을 수 있다. 일 구현에서, 각 유닛에서, 및/또는 다른 추가적인 센서에서 추가적인 IMU (Inertial Measurement Unit)는 표면(130)에서 음향 또는 다른 교란을 찾아낼 수 있는 센서의 위상 어레이를 형성하도록 이들 유닛의 상대적인 위치를 연산하는데 사용될 수 있다.
카메라에 대하여 뿐만 아니라 사람 비전에 대하여, 광의 광선은 그 소스(예를 들어, 광 전구 또는 다른 광 소스, 또는 이로부터 조명되는 대상)로부터, 예를 들어, 반사, 굴절, 회절, 및/또는 등을 통해 그 도착지로 트레이스된다. 광의 이 개념화는 광의 "intramission 이론" 이라고 언급될 수 있다. 대안적인 개념화는 광선이 두 눈으로부터 나올 때 광에 "extramission 이론"이라고 말할 수 있다.
일 실시예에서, "능동 비전"은 둘 모두가 광을 센싱하고 방출하는 것처럼 눈이 거동할 수 있는 특수한 관찰 글래스, 예를 들어, 5-세대 디지털 아이 글래스를 통해 구현될 수 있다.
일 실시예에서, 다수의 디지털 아이 글래스는 예를 들어 하나 이상의 다중화기를 사용하는 것에 의해 공간을 공유할 수 있다. 이러한 다중화기의 일례는 일 실시예에서, 한 사람이 송신하는 동안 다른 사람이 "정적"으로 유지되는 (광 출력 없음) 것을 교대로 취하는 것에 의해 형성되는 TDM(Time Division Multiplexer)이다. 이후 이 다중화기는 장소를 스위치하여, 교대로 전송하여 서로 간섭하지 않는다. 이러한 전송은 일 구현에서 에너지 최적화되어, 더 많거나 더 적은 에너지 방출을 적응시켜 적응적 방식으로 적절히 볼 것을 필요로 하는 것을 만족시킬 수 있다. 적응적 능동 비전은 동일한 대상의 여러 노출된 취득물(getting)을 사용하여, 에너지를 절감할 뿐만 아니라, 비전 시스템이 더 잘 센싱하고 센싱하거나 및/또는 관찰하는 것에 의해 HDR(High Dynamic Range)에 대해 협력적으로 수행될 수 있다.
양 방향으로 광을 센싱하고 광을 방출하는 완전히 양방향인 DEG의 구현에서 엑스트라미시브 능동 비전 순방향 보기; 엑스트라미시브 능동 비전 내부-보기를, 예를 들어 눈 그 자체에 제공할 수 있다. 이것은 (예를 들어, 센싱으로) 눈-추적과 (작용으로) 디스플레이를 포함할 뿐만 아니라, (예를 들어, 센싱으로) 환경의 공간 이미징과, 환경에 프로젝션(예를 들어, 작용으로)을 포함할 수 있다.
이런 의미에서 글래스(180DEG)는 광을 눈으로 송신하고 이 눈으로부터 광을 수신할 수 있고, 또한 광을 눈의 시야에 있는 대상으로 송신하고 이 대상으로부터 광을 수신할 수 있다.
일부 실시예에서, 공간 이미징 글래스(180DEG)와 공간 이미징 글래스(181DEG)와 같은 스페이스글래스는, 사용자 주위의 환경과, 사용자 그 자신을 센싱한다. LiDAR 유닛(180L)과 같은 공간 이미징 카메라는, 일 구현에서 깊이 맵을 제공하여, 예를 들어, 사용자의 시각적 배향, 관측 시야, 및/또는 등에 따라 사용자의 팔, 손, 손가락, 다리, 발, 및/또는 등의 공간 좌표, 위치, 배향, 등을 결정할 수 있다. 일 구현에서, 2종류의 스캐닝가능한 대상은 (A) 비-자가 대상 (예를 들어, 룸 내 다른 객체)과, (B) 자기 자신이 별도로 검출될 수 있다.
이 2개가 충족되면, 시스템은 이것을 추적할 수 있고, 이 상황은 일부 구현에서, "물리적인 컨택" 또는 "접촉"이라고 언급될 수 있다.
일 구현에서, 컴퓨터(160) (착용가능한 컴퓨터 또는 WearComp 유닛)는 접촉(예를 들어, 사람 신체와 어떤 것 사이의 물리적인 컨택)을 검출하고 이에 응답하는 접촉 검출기 컴포넌트를 포함할 수 있다.
접촉 검출기의 일례는 접촉의 사운드를 픽업하는 지오폰(180G)이지만, 비전 시스템은 테이블탑과 같은 표면을 3D 스캐닝하고, 손 또는 손가락이 이를 터치할 때 및 터치하는지 여부를 결정하는 것에 의해 이것을 더 관찰할 수 있다. 일 구현에서, 이것은 손 또는 손가락의 포인트 클라우드가 수식 {1}에 도시된 예와 같은 그룹 액션에 의해 한정된 평면의 호모그래피에 침입할 때 지점-클라우드(point-cloud)와 공지문(noting)을 형성하는 것에 의해 달성될 수 있다.
일 구현에서, 통계적 유의성 테스트는 호모그래픽이 침입하여 시각적 접촉 검출기를 형성하는 정도에서 수행될 수 있다. 호모그래픽 침입 정도를 측정하는 장치, 방법 및 시스템은 호모그래피 침입 추정기, 또는 호모그래픽 침입 추정기라고 지칭될 수 있고, 이러한 추정기가 임계값을 넘거나 또는 다른 액션에 대한 트리거로 사용될 때, 이러한 디바이스는 호모그래피 침입 검출기로 언급될 수 있다. 일 구현에서, 노이만-피어슨 이론과 같은 검출과 추정 이론, 또는 등은, 호모그래피 침입 검출기의 생성에 적용될 수 있다.
일부 실시예는 단독으로 사용되거나, 또는 다른 사용자와, 공동으로 조합하여 사용될 수 있다. 모든 사용자가 DEG를 착용하는 것이 필요한 것은 아니다. 예를 들어, 공유된 컴퓨터-매개된 현실은 글래스(180DEG)와 글래스(181DEG)의 착용자 중에 존재한다.
이 공유는 공개 대상(140)과 실제 표면과 같은 실제 또는 가상 매니폴드 위에 일어날 수 있다. 공개 대상(140)은 테이블탑, 초크보드(chalkboard), 또는 등에 페이퍼 피스 상에 있을 수 있거나, 또는 매니폴드로 가상 공간에 완전히 존재할 수 있다.
일 구현에서, 비밀 대상은 글래스(180DEG)와 글래스(181DEG)를 착용하는 참가자에 의해 공유된 가상 세계에서 생성될 수 있다. 글래스(180DEG)의 사용자는, 여러 구현에서, 가상 사이보그공간에만 있는 표면(130)을, 매니폴드(146)을 마킹하는 것과 함께 생성하거나, 마킹하거나, 주석을 달거나, 변경하거나 및/또는 등을 수행하도록 선택될 수 있다.
일 구현에서, 이것은, 일부 구현에서, 글래스(181DEG)의 다른 사용자와 협력하는 것을 포함하여 매니폴드(146)를 생성하도록 매니폴드(146)의 궤적을 따라 신체 부분(147)을 이동시키는 것에 의해 수행된다. 제2 사용자의 신체 부분(145)은 또한 매니폴드(146)를 편집하고 한정한다.
도 1f에서, 매니폴드는 그 자체가 3차원 공간 내 표면(130)의 2차원 인스턴스 내에 1-차원 매니폴드로 도시된다. 일 실시예에서, 매니폴다이저는 프로세서(글래스(180DEG) 또는 글래스(180DEG)에서 존재하거나 또는 이들 사이에 분배된) 프로세서, 비전 시스템(180V)과 같은 센서, 및 디스플레이(180D)와 같은 디스플레이를 포함한다. 일 구현에서, 센서 및/또는 프로세서는 신체 부분(145)과 같은 신체 부분의 위치를 인식하고, 이 부분을 추적하고, 데이터베이스에 저장될 수 있는 지점 위치의 집합으로 적분된 매니폴드 경로를 생성하고 나서, 이 경로를 디스플레이한다. 사용자는 그리하여 신체 부분(145)이 공간을 통해 또는 이 공간을 따라 이동할 때 연속적으로 및/또는 주기적으로 업데이트하는 시간-적분된 경로를 본다. 매니폴드(146)는 표면(130)과 같은 표면에 내장되거나, 또는 매니폴드(141)와 같은 "공간에 떠 있을"수 있다. 매니폴드가 내장될 때, 표면(130)과 같은 표면 상의 매니폴드(146)와 같이, 이 매니폴드는 표면(130)과 터치하는 것에 의해 색인되거나 어드레스될 수 있고, 표면 컨택 센서는 신체 부분(145)이 표면(130)과 컨택하는지를 결정하는 평면 호모그래피 검출 시스템을 포함할 수 있다. 이런 방식으로, 프로세서는 신체 부분이 매니폴드(146)의 평면에 있는지 여부를 센싱할 수 있다. 일부 구현에서, 가상 객체는 매니폴드(146)에 존재할 수 있다. 예를 들어, 와이어 위 비드로 렌더링된 슬라이더는 보일 수 있고, 표면(130)의 평면에 있을 때 신체 부분(145)을 추적하고, 없을 때에는 추종 해제될 수 있다. 이것은 선택 조절, 상호 작용 또는 추종을 가능하게 하여, 다차원 매니폴리다이제이션(manifolidization)(예를 들어, 다차원 공간에서 위 또는 아래로 슬라이딩하는)이라고 언급될 수 있다.
매니폴드가 표면에 있을 때, 이 매니폴드는 디지털 아이 글래스 (글래스 또는 DEG)를 착용하지 않을 때에도 다른 사람에 보이게 만들어질 수 있다.
일 구현에서, 글래스를 착용하지 않는 사람은 참가자가 마킹을 공개하는 것으로 결정하면 마킹을 볼 수 있다. 이 경우에, 공개 마킹은 글래스(180DEG) 또는 글래스(181DEG)로부터 엑스트라미시브 시각적 프로젝션에 의해 가시적인 것으로 유지될 수 있는데, 이 마킹은 비디오 궤도 안정화에 의해 안정화될 수 있는 프로젝션을 포함한다.
일 구현에서, 비밀 대상(340)은 글래스(180DEG)와 글래스(181DEG)의 사용자들과 협력하는 데이터베이스 내에서만 볼 수 있다. 공개 대상(240)은 비-참가자에도 보이는데, 예를 들어, DEG(디지털 아이 글래스 또는 글래스)를 수반하지 않거나 착용하지 않는 사람의 눈(198)에도 보인다.
데이터의 사용자는 공유된 비밀 또는 공개된 것으로 매니폴드(146)를 렌더링할지를 판단할 수 있다.
여러 구현에서, 표면(130)은 데스크, 초크보드(chalkboard), 페이퍼, 편평한, 곡선 2차원 매니폴드, 및/또는 등일 수 있다. 대안적으로 이 표면은 표면(130)이 데스크 또는 테이블탑이 아니라 바닥인 스마트 바닥일 수 있다. 일 구현에서, 바닥은 의사 랜덤 타일로 정교하게 만들어질 수 있는 의사 랜덤 텍스처, 또는 변경된 텍스처, 먼지(dirt), 스카프 마크(scuff mark), 또는 단단한 목재(hardwood) 바닥에 목재 결(wood grain)의 천연 텍스처 또는 석재 또는 콘크리트 또는 마블(marble) 또는 고무(rubber) 또는 카펫의 천연 텍스처에 의해 자연히 일어날 수 있는 것으로 구성될 수 있다. 텍스처는 패턴을 형성한다. 대수 투영 형상을 통해 이 패턴의 호모그래피는, 적외선 송신기(180IRT)와 적외선 수신기(180IRR)에 의해 형성된 3D 카메라 시스템의 출력에 응답하여 프로세서에서 실행되는 비디오 궤도 절차 하에서 그룹 액션을 형성한다. 바닥 텍스처의 좌표 변환의 그룹은 수식 {1}에 도시된 예와 유사한 수식으로 주어진 궤도에 있다.
바닥이 DEG (디지털 아이 글래스 또는 글래스)의 복수의 착용자에 의해 보이는 대로 이 궤도에 유지될 수 있으므로, 이것은 바닥과 동일한 평면에 있지 않는 다른 물체로부터 명확화될 수 있다.
일 구현에서, 진짜 3D 센싱 특성은 그 바닥 자체를 진짜 3D 모델에 두어서, 이 3D 평면에서 지점은 클러스터되고 세그먼트될 수 있다.
비밀 대상(340)은, 예를 들어, 안단테포닉 걷기(andantephonic walk)로 하나 이상의 참가자에 보이는 표면(130) (또한 바닥 표면이라고 언급되는)에 디스플레이된 노래 가사를 포함할 수 있다.
개시된 장치, 방법 및 시스템의 측면은 가상 3D 명령기에 의해, 또는 스페이스글래스의 다수의 착용자를 통해 물리적인 명령(요가, 댄싱, 연극(acting), 무술, 달리기(running), 스포츠 등)을 위해 구성될 수 있다. 다수의 스페이스글래스의 경우에, 하나의 신체 움직임은 다른 스페이스글래스에 의해 또는 환경에 고정된 스페이스글래스에 의해 스캐닝되어, 명령기가 협력을 지원할 수 있게 한다.
대안적으로 매니폴드는 매니폴드(146)와 같은 바닥에 놓여 있거나, 또는 매니폴드(141)와 같은 자유 공간을 통해 이동하는 줄 넘기 로프(skipping rope) 또는 실제 물리적인 객체일 수 있다.
대안적으로, 매니폴드는 실제-세계 대응물(counterpart)이 존재하지 않는 각자 가상 객체일 수 있다. 이 실시예에서, 매니폴드(141)는, 글래스(180DEG)와 글래스(181DEG)의 사용자에게는 보이지만, 나안(198)에는 보이지 않는 이미지로 자유 공간에 떠 있을 수 있다.
일 구현에서, 글래스(181DEG)의 사용자는 신체의 사지(extremity) 또는 신체 부분(143)을 사용하여 공유된 3D 공간에서 1D 매니폴드를 아바코스컬프트(abakosculpt)할 수 있다. 아바코스컬프팅은, 일부 실시예에서, 트레이스(144)로 긴 노출("광벡터로 페인팅하는") 3D 사진을 그리는 광 전구 또는 LED 또는 다른 실제 광 소스로 수행될 수 있다. 다른 실시예에서 아바코스컬프팅은 "그리기 도구(draw tool)"로 손가락 끝에서 수행되어 그려진 트레이스(144) 뒤쪽에 남길 수 있다. 글래스(180DEG)의 착용자(사용자)와 같은 다른 사용자는, (신체 부분(142)을 사용하여) 글래스(181DEG)의 착용자(사용자)에 의해 형성된 아바코그래프에 "도달하고 터치"할 수 있다. 이 경우에 아바코그래프는 신체 부분(142)과 터치되거나, 또는 이로부터 선택되는 동안 글래스(180DEG)의 사용자에 할당된 상이한 컬러를 성장하기 시작하여, 글래스(181DEG)의 사용자가 다른 협력기(collaborator)와 아바코그래프를 공유하고 있는 것을 볼 수 있게 한다.
아바코그래프는 공유된 3D 공간에서 1D 매니폴드로 표현되고, 생성기가 이 객체에 기록 허가를 제공한 경우 사람이 이를 편집할 수 있다.
일 구현에서, 글래스(181DEG)의 착용자와 같은 사용자는 아바코그래프를 따라 슬라이딩하는 스팻에 기록 허가를 허여하면서도 아바코그래프에 판독 허가만을 제공할 수도 있다. 이런 방식으로 아바코그래프는 다른 사용자에는 아바커스 형태로 보이고 이 다른 사용자는 이를 따라 "비드" 또는 다른 객체를 단지 슬라이딩할 수는 있으나, 이를 변경할 수는 없다.
도 1g는 도 1e의 감각 및 디스플레이 장치(1300)를 사용하여 일 실시예에서 아바코그래픽 궤적을 따라 공유된 객체와 상호 작용하는 일례를 도시한다.
도 1g는 일 구현에서 (이후 매니폴드(180AM)이라고 언급되는) 아바코그래픽 매니폴드(180AM)를 도시한다. 매니폴드는 실제 또는 가상일 수 있다. 예를 들어, 이 매니폴드는 사용자(180U)의 손(180MD)과 손(180MS)에 홀딩된 와이어의 실제 나선(spiral) 또는 헤릭스(helix) 또는 다른 곡선 피스일 수 있고, 또는 이 매니폴드는 완전히 가상 공유된 아바코그래프일 수 있다. 대안적으로, 이 매니폴드는 편평한 페이퍼에 또는 초크보드 또는 바닥에 그려진 노틸러스 쉘(nautilus shell) 또는 나선의 드로잉 또는 사진 같은 노틸러스 쉘, 페이퍼 피스, 맵, 또는 드로잉 같은 2D 매니폴드 또는 3D 매니폴드일 수 있다. 이 매니폴드는 심지어 사용자(180U)의 손에 홀딩된 모델링 클레이(clay) 피스일 수 있다.
사용자(180U)의 우측 손(180MD) ("마누스 덱스터(manus dexter)")이 (나선 형상을 가질 수 있는) 매니폴드(180AM)와 터치하고, 글래스(180DEG)는, 일 구현에서, 광을 손(180MD)에 송신하고 광을 다시 수신하여, 손(180MD)이 매니폴드(180AM)와 컨택하였는지 여부를 결정하는 것에 의해 능동 비전 시스템을 통해 이것을 센싱한다.
터치될 수 있는 객체(180O)(실제 객체 또는 가상 객체)가 존재한다. 여기서 이 객체는 와이어에 "비드"로 제시되고, 손이 그 표면과 컨택할 때, 비드는 "하이라이트"되고 -- 사용자(180U)에 대응하여 상이한 컬러로 렌더링되는데 -- 다시 말해, 사용자(180U)에는 적색으로 렌더링되고 사용자(181U)에는 청색으로 렌더링된다.
일 구현에서, 비드는 스팻인데, 이는 요구될 때 및 원하는 경우 환경 맵을 나타낼 수 있다는 것을 의미한다. 여기서 이 비드는 객체(180O)에 의해 형성된 구의 중심과 정렬된 프로젝션 중심으로부터 캡처된 파노라마 사진 가상 환경을 나타낸다. 여기서 객체는 구형이지만 이 객체는 트리-형상 또는 왕관-노즈(clown-nose) 형상, 래브라도(labrador)-형상, 거라프(giraffe)-형상, 또는 그 밖의 어느 형상일 수 있다.
일부 실시예에서 객체는 현실에서 실제로 구형이지만 다면체(polyhedra)와 같은 다른 형상 또는 게임 항목, 또는 룸 쪽으로 한정된 광의 광선이 이를 통과하여 이에 레코드된 것처럼 텍스처 맵을 보여주는 사진 스팻으로 뷰어에 제시된다.
일 구현에서, 손(180MD)으로 객체(180O)와 같은 객체를 터치함과 동시에 손(180MS)으로 다른 객체(180P)를 터치하면 2개의 객체들이 서로 연관되어, 이들 2개의 객체들을 모두 하이라이트시킴은 물론, 그 사이에 경로를 적색으로 하이라이트시킬 수 있다.
이후 사용자(181U)가 매니폴드와 터치할 때, 객체(180Q)의 인스턴스는 글래스(181DEG)의 인스턴스와 글래스(180DEG)의 제1 사용자의 인스턴스에서 청색으로 성장하기 시작하고, 또한 객체(180O)와 객체(180Q) 사이에 경로는 마젠타(magenta)(적색과 청색의 가산 혼합색)로 성장하기 시작한다.
매니폴드(180AM)를 따라 한정된 이들 경로는, 선택된 객체들이 가상 공유된 공간에서 슬라이딩될 수 있는 경로이다.
여러 상이한 종류의 제스처가 사용될 수 있다. 이들 제스처는 매니폴드(180AM)에 터치하는 것; 객체(180O)와 같은 스팻에 터치하는 것; 손(181MD)의 엄지 손가락과 집게 손가락 사이에 객체(180Q)와 같은 스팻을 파지하는 것; 및 손(181MS)의 집게 손가락으로 스팻을 펀치하며 터치하는 것, 또한 스팻으로 손(181MS)의 마디(knuckle)를 푸시하는 것을 포함한다.
일 구현에서, 매니폴드화 제스처 센서는 매니폴드를 따라 슬라이딩하고 나서 객체와 터치하는 제스처와, 매니폴드(180AM)를 따르지 않고 3차원 공간을 통해 접근한 후 객체에만 터치하는 제스처 사이의 차이를 인식한다.
일 구현에서, 객체(180O)와 같은 객체는 "스냅" 특성을 가져서, 부근 터치로 이들을 하이라이트할 수 있는 "퍼지" 클라우드로 표현될 수 있다. 이들 클라우드는, 예를 들어, 접근시 점진적으로 및 유체적으로 하이라이트하여, 예를 들어, 액션 분석(예를 들어, 역 변위(inverse displacement)의 시간-적분 또는 프리세멘트(presement), 여기서 프리세멘트는 시간 적분에서 앱세멘트의 역수(reciprocal absement)이고, 앱세멘트(absement)는 변위의 시간-적분임)을 사용하여 아날로그 선택과, 선택의 정도를 허용하는 아우라(aura)로 스팻 주위에 디스플레이될 수 있다.
일 구현에서, 선택은 변위의 역수(reciprocal displacement)를 적분하여, 선택 아우라의 강도를 결정하는 액션 적분기에 의해 수행된다.
추가적으로 노출 적분기는 일부 구현에서 선택기를 생성하는데 사용되는 손-제스처와 같은 노출 또는 노출기를 시간-적분하는데 사용될 수 있다.
일 구현에서, "크러쉬(crush)" 제스처는 버스트 버블과 같이 "죽을"수 있는 객체(181BB)와 같은 객체의 파괴를 나타내는 제스처이다.
일부 실시예에서, 개시된 장치, 방법 및 시스템은 Pi-메뉴, Tau-메뉴, 및 스팻-메뉴를 포함한다.
일 구현에서, Pi-메뉴는 아래에서부터 객체에 접근하는 것에 의해 선택되고, 이 경우에 객체의 하부 절반이 선택 아우라로 제공된다. Tau-메뉴는 예를 들어 (예를 들어, 엄지 손가락과 집게 손가락)을 파지하는 것에 의해 다수의 접근 방향으로부터 선택될 수 있다. 스팻 메뉴는 수스페이스로 크러쉬하는 것에 의해 선택될 수 있다. 수스페이스는, 일 구현에서, 표면의 반대쪽("아래쪽(soffit)"으로부터 라는 프랑스 어원)이다. 터치 표면은 객체에 터치하는 것에 의해 생성될 수 있으나, 객체에 도달하는 제스처는 터치와는 구별될 수 있고, 일 구현에서 객체를 통해 도달하고 내부와 연결하는 것에 의해 수행될 수 있다. 여기서 우리는 객체에 도달하는 손(181MS)이 그 중심을 통과하고 나서, 객체의 내부에 와서 수스페이스에 터치하기 때문에 스팻 메뉴(181SM)가 나타나는 것을 본다.
일단 수스페이스 터치(예를 들어, 객체를 통과하여, 예를 들어, 버블을 "팝핑"하고, 다른 측으로부터 "비누 같은(soapy)" 단편을 잡는 터치)가 검출되면, 3D 클록 면 메뉴가 일 구현에서 보인다. 이것은, 스팻이 장식을 넘어 3D 선택을 위한 프레임작업으로 사용되기 때문에 3D 파이(pie) 메뉴를 넘어간다. 클록의 손은 또한 풀 3D 스팻에 더하여 개별적으로 조작될 수 있다. 손가락은 출발 방식(예를 들어, 방향, 속도, 가속도, 저크(jerk), 저운스(jounce), 및/또는 등과, 변위, 앱세멘트(absement), 앱시티(absity), 앱셀러레이션(abseleration), 및/또는 등)으로 추적되고, 이 스팻은 메뉴를 확장하기 위해 팽창된다("멀어진다(pulled apart)"). 여기서 손(181MS)의 집게 손가락은 객체의 중심으로부터 멀어져서 메뉴 선택(181M)으로 4시 위치를 선택하여, 여기서 공정에서 모라토리움을 나타낸다. 4시 제스처는 가까울 필요가 있는 애플리케이션에 대해 최종 제스처로 인코딩된다.
상기 사항은 단지 하나의 예시적인 예로서 제공된 것이고, 본 발명의 범위를 제한하는 것으로 의도된 것이 아닌 것으로 이해되어야 한다. 예를 들어, 일 구현에서, 공유된 증강매개된 현실 환경에서 하나 이상의 사용자의 하나 이상의 신체 부분의 진입 및/또는 출발의 3D 방향이 사용될 수 있다. 여러 구현에서, 각 제스처는 메타제스처, 오토제스처(autogesture), 또는 등일 수 있다. 예로서, 사용자는 버블을 펀치하거나, 이 버블을 한 손가락으로 찌르거나, 또는 이 버블을 2개의 손가락으로 부드럽게 터치하여 이 버블을 선택-후 회전시키는 제스처로 회전시키거나, 또는 이 버블을 2개의 가운데 손가락으로 터치하여, 집게 손가락과 엄지 손가락을 동시에 꽉 쥐거나, 집게 손가락과 엄지 손가락을 더 단단히 또는 더 유연하게 압착하여 제스처가 일어나는 동안 연속적으로 변하며 동적으로 전개되는 연속적인 다중-터치 오토제스처를 수립할 수 있다. 일부 구현에서, 이러한 동적 "유체 제스처"는 연속적으로 동작하여 이산 "트리거-기반" 사용자 인터페이스 방식이 아니라 연속적으로 상승할 수 있다. 예로는, 모두 다중 터치 메타제스처, 다중 터치 오토제스처 등으로 윈도우를 터치하고, 문지르고, 이동하고, 파열하고(burst), 파손하고, 고정하고, 수리하고, "세척하고(washed)" (예를 들어, 문지르는 모션으로 텍스트 윈도우로부터 텍스트를 소거함) 등을 수행하는 RWM(Reality Window Manager) 인터페이스를 포함할 수 있다.
스팻 메뉴(181SM)는 단순 클록 면이 아니라 3차원이다. 예를 들어, 손이 사용자 쪽을 향해 직선으로 멀어지거나, 또는 사용자로부터 멀어지는 방향으로 직선으로 이동하면, 다른 액션이 취해질 수 있다.
개시된 장치, 방법 및 시스템의 실시예는 임의의 수의 차원으로 동작하도록 구성될 수 있다. 여기서 우리는 아바코그래픽 매니폴드(180AM)를 사용하는 일 실시예를 보지만, 실시예는 또한 모델링 클레이와 같은 3D 객체를 사용하거나 시뮬레이팅하거나 및/또는 조작하도록 구성될 수 있다. 사용자(180U)는 손(180MD)에 의해 스컬프팅되는 클레이를 홀딩하고, 사용자는 실제 클레이에서 완벽한 스컬프처를 만들기 위해 오버레이에 의해 가이드된다. 일 구현에서, 이것은 클레이 자체가 보다 증강매개된 스컬프팅을 넘어 긴 노출 스컬프팅 효과에 노출되는 노출기일 수 있는 착용가능한 3D 홀로그래픽 비전을 통해 수행될 수 있다. 일 구현에서, 사용자는 이것을 (가상으로) 3D 프린터에 삽입하여 프린트할 수 있다.
클레이는 액션이 야외(open-air)에서 수행될 수 있기 때문에 필요치 않으나, 클레이는 토포스컬프팅 경험과 정확도를 개선시키는 유용한 촉각 피드백을 제공한다.
다른 실시예는 사용자(180U)와 사용자(181U)가 걷기, 댄싱, 또는 대화 같은 액션을 통해 토포스컬프팅을 하게 하는 특수 마커를 갖는 특수 신발을 포함한다. 이들은, 예를 들어, 함께 춤을 출 수 있고, 발로, 예술적인 형태로, 또는 육체적인 피트니스(physical fitness) 및 운동기능적 데이터(kinesiological data)를 측정하는 실제적인 방법으로 아바코그래프를 생성할 수 있다. 실시예는 아바코그래프를 사용하여 성능을 측정하고 성능 메트릭을 생성할 수 있는, 댄스 신발, 요가 쇼, 명상 훈련, 호기성 훈련, 및 자전거 타기로 동작하도록 구성될 수 있다.
나아가, 일 구현에서, 다수의 사용자들 중에서 콤패러메트릭 상호 작용을 사용하여 예를 들어 차후 시간에 아바코그래프를 생성할 수 있는 아바코그램(abakogram) 또는 다른 데이터 구조를 생성할 수 있다.
일 구현에서, 토포스컬프팅은 또한 각 촉각 매체로서 유체를 사용하여 유체에서 또는 유체와 함께 수행될 수 있다. 예를 들어, 압축된 또는 가압된 유체는 촉각 스컬프처를 생성하기 위하여 유체 흐름 필드로 사용될 수 있다.
도 1h는 도 1e의 센서 및 디스플레이 장치(1300)를 사용하여 공유된 객체와 상호 작용하는 방법의 일례를 도시한다.
도 1h는 일 실시예에서 개시된 장치, 방법 및 시스템의 측면을 도시하는 흐름도를 도시한다.
도 1h는 개시된 장치, 방법 및 시스템의 일부 측면을 도시하는 흐름도이다. 토폴로지컬 센서(1C10)는 객체가 사용자(180U)의 손(180MD)의 범위 내에 있는지 여부를 결정한다. 만약 범위 내에 있지 않다면, 이 센서는 손이 객체의 범위 내에 있을 때까지 기다린다. 손이 객체(180O)와 같은 객체의 "공간"에 충분히 "침입"하면, 매니폴드화 디스플레이는, 선택된 스팻으로부터 라이브 비디오와 같은 상황의 레코드 또는 라이브 이미지를 플레이백하기 시작한다.
이 시나리오에서 위에서 보는 것(예를 들어, 경찰이 죄수를 보고 있으므로, 감시(surveillance))도 없고 아래에서 보는 것도 없는 베일런스 시스템(veillance system)을 고려한다(예를 들어, 시민이 경찰을 사진 찍으므로, 수스베일런스(sousveilance)). 베일런스는 관찰 행위이다.
베일런스 시스템은 사물 인터넷(Internet-of-Things: IoT) 또는 SMARTWORLD 프레임워크 내에서 동작한다. 예로는 광 출력의 조절을 자동화하도록 각 광에 카메라를 가지는 스트리트라이트(streetlight)를 포함한다. 스트리트에서 걷고 있는 시민은 (모든 사람이 필요한 경우 광을 요청하거나 또는 변화를 제안할 수 있는 기록 허가를 가지는 것으로 가정하여) 공간을 편집하고 기록 허가의 일부 양과 일정 정도와 상호 작용할 수 있다.
시민은 도시의 맵과 상호 작용하여 스팻을 선택한다. 손가락이 스팻을 터치하면, 스팻은 라이브 비디오를 플레이하기 시작한다. 우리는 이것을 구체(globe)가 이를 레코드한 바로 그 어안 렌즈(fisheye lens)인 것처럼 구체에 라이브 비디오를 플레이백하는 매니플레이어(상표) 장치, 매니폴드 (디스)플레이어라고 지칭한다. 다른 프로젝션은 예를 들어 실린더 상에 메르케이터(mercator) 프로젝션을 포함할 수 있다.
카메라가 선택되면 매니플레이(1C20)가 스트라트라이트 카메라로부터 라이브 비디오를 플레이하기 시작하는 매니플레이어 표면으로 객체(180O)의 구를 고려한다. 사용자(180U)는 비디오에서 자기 자신을 보고, 나무의 가지가 바람에 날리고 스트리트에 아무도 없을 때 스트리트라이트가 최대 브라이트니스에 있어서 많은 전기를 낭비하는 문제를 찾아낼 수 있다. 사용자는 이 상황의 라이브 비디오를 캡처하고 이를 위키에 전송하여 이 문제를 해결하는 시의회(City Council)에 참석하는 그 다음 시간에 이를 플레이백할 수 있다. 한편 사용자는 스팻 메뉴(181SM)를 사용하여 자기의 손가락으로 베일런스 마스크를 그려서 나무 가지를 커버하여 이를 무시할 수 있다. 사용자는 이 제안된 마스크를 위키에 포스팅한다.
베일런스에서 이렇게 시민이 개입하는 것은 감시 사회일 수 있는 것을 베일런스 사회로 변화시킨다.
개시된 장치, 방법 및 시스템의 일부 실시예는 상호 작용에 의하여 실제 또는 가상 매니폴드에서 또는 이 매니폴드로 손 제스처와 상호 작용 설계를 촉진하여, 예를 들어, 이 매니폴드를 형성할 수 있다.
매니폴드는 국부적으로 평면이고: 매니폴드의 작은 충분한 패치를 보는 경우 "세계는 편평"하다(대략). 일 구현에서, 라이 대수(Lie algebra)를 사용하여 신원과 같은 하나의 지점의 인근에 있는 토폴로지컬 매니폴드의 거동을 고려할 수 있다. 따라서, 토폴로지컬 센서(1C10)는 형상(예를 들어, 구)에 상관없이 객체(180O)와 하나의 접촉 지점의 인근에 로컬 평면 비교로 구현된다.
일 구현에서, 손(180MD)의 손가락 끝과 같은 신체 부분이 객체(180O)와 같은 객체와 교차하면, 지속성(sustainment) 검출기(1C30)는 터치가 우연한 브러시인지 또는 지속된 터치인지를 결정한다. 우연한 터치인 경우, 매니플레이는 매니플레이 종료기(1C40)에 의해 종료될 수 있다. 일 구현에서, 지속성 검출은 밀림 및/또는 접촉의 지속시간, 시퀀스, 패턴, 정도, 및/또는 등에 기초할 수 있다.
그렇지 않은 매니플레이는 계속하고 제스처 센서(1C50)는 객체(180O)에서, 이 객체와, 이 객체 내에서 또는 이 객체 상에서 여러 가능한 제스처로부터 센싱한다.
슬라이드 제스처는 경로를 따라 스팻을 슬라이드하여, 예를 들어, 스트리트를 따라 그 다음 스트리트라이트를 선택하거나, 또는 스트리트라이트들 사이에 카메라 뷰를 보간하는 능력을 초래한다.
이것은 사용자(180U)가 경로(route)를 따라 더 부시 뒤에 총을 은닉한 남자가 있는 것을 볼 수 있는 실시간 대화식 스트리트 뷰를 제공한다. 사용자는 객체(180O)의 스팻을 이를 따라 더 슬라이딩하여 더 잘 보고 나서, 엄지 손가락과 집게 손가락 사이에 스팻을 선택하고, 이 스팻을 가상 페이지의 하부 우측 손 코너에 있는 파출소(Police Box)로 드래그한다. 총을 든 남자는 여자가 총을 든 남자를 피하기 위해 대안적인 경로를 취하기 시작한 동안 수감되어 있고, 순찰차(police cruiser)와 맞나 리포트를 작성하고 나서, 효율적으로 자기의 집을 가이드하는 개시된 장치, 방법 및 시스템의 일 실시예의 계획 기능으로 인해 원래의 경로보다 길지 않은 경로를 따라 집으로 걸어간다.
이후 그녀는 파출소에 레코드된 비디오를 저장한 후 클록 면을 4시로 당겨서 근접한 제스처를 제공한다.
또 다른 경우에 그녀는 와이어를 따라 달리는 다람쥐를 보고, 예쁜 화상(picture)을 자기의 웹로그에 송신하고, 스트리트를 따라 "카메라 비드"로 여러 제스처를 수행할 수 있다. 일 구현에서, 터치 제스처는 스팻을 하이라이트하고, 터치가 행해질 때 이를 로우라이트(lowlight)하여 종료한다. 압착 제스처는 마디로 크러쉬될 수 있는 스팻을 선택하여, 예를 들어, 이를 보다 영구적으로 폐쇄하고, 특히 과도한 광고를 가지는 앱과, 진짜 폐쇄할 필요성이 있는 앱에 그러하다.
스팻이 그녀의 리스트로부터 삭제된 경우에, 그려는 그녀가 이 리스트를 다시 원하여 그녀의 카메라 리스트에 다시 넣지 않는 한, 이 리스트를 다시 우연히 열지 못한다. 이런 방식으로, 즐겨찾기 또는 가장 유용한 카메라의 "숏리스트(shortlist)"는 일 구현에서 유지되는 반면, 덜 유용한 것은 객체 삭제기(1C60)에 의해 숏리스트에서 제거될 수 있다.
일 구현에서, 스팻이 예를 들어, 엄지 손가락과 집게 손가락 사이에서 압착될 때, 와이어에 있는 비드와 같이 스팻 그 자체가 이동될 뿐만 아니라, 또한 전체 "와이어", 예를 들어, 사용자가 인접한 스트리트로 "당길(pull)"수 있는(그리고 그 다음 스트리트에서 카메라의 새로운 행을 통해 볼 수 있는) 특수 메뉴가 생성될 수 있다.
스팻 메뉴(1C70)에서 당기는 것은 하나의 경로를 따른 위치 변화가 아니라 경로의 변화가 요청된 시스템을 나타낼 수 있다.
이것은 스트리트 라인과 같은 서브-매니폴드를, 그 다음 스트리트로 이동시키거나, 그 사이에 (예를 들어, 좁은 골목길의 어느 측에 스트리트로부터 보간된 뷰를 사용하여, 카메라가 존재하지 않은 뒷 골목길의 뷰를 합성하는 것에 의해) 이동시키거나 및/또는 등으로 이동시킨다.
더 강한 제스처는, 일 구현에서, 복수의 당기는 제스처이거나, 또는 하나를 초과하는 손가락에 의해 "와이어"를 당기는 것에 의해 수행되는 "당기는" 제스처이다.
일 구현에서, 당기는 제스처는 하나의 차원을 위로 이동시키고, 2D 매니폴드로 처리하는 요구를 나타낸다.
따라서 우리는 일 실시예에서 제스처의 계층을 가지고 있다: (A) 0D (0 차원) 제스처: "와이어"를 따라 스팻과 터치하거나 이를 이동시키고 (예를 들어, 스트리트를 따라 이동시키고); (B) 1D (1차원) 제스처: "와이어" 그 자체를 이동시키고 (예를 들어, 하나의 스트리트로부터 다른 스트리트로 이동시키고); (C) 2D (2 차원)제스처: 매니폴드들의 매니폴드: 예를 들어, 도시의 메쉬, 또는 등을 이동시키고; 및 (D) 3D (3차원) 제스처: 매니폴드들의 매니폴드들의 매니폴드를 이동시키고, 예를 들어, 내장 3D 공간 그 자체를 이동시킨다.
서브매니폴드 이동기(1C80)는, 일 구현에서, 스트리트 레벨에서 이동하는 반면, 매니폴드 이동기(1C90)는 맵 또는 차트 레벨에서 이동한다.
차트-레벨 맵핑과 매니폴드 조작은, 일 구현에서 중심에 사용자가 있고, 사용자-중심으로 설계된 관점으로부터 방사방향으로 외부쪽으로 도시가 도시된 레이더 세트의 PPI(Plan-Position-Indicator)와 같이 디스플레이될 수 있는, 일부 구현에서, 플래니폴드(상표) 장치로 언급될 수 있다.
플래니폴드는 다른 매니폴드와 같이 파지되고 이동될 수 있다.
플래니폴드는 임의의 텍스처를 갖는 스크랩 페이퍼의 임의의 피스 위에 디스플레이되고, 접히며 조작될 수 있다.
일부 구현에서, 개시된 장치, 방법 및 시스템은, 예를 들어, 신속한 촉각 프로토타이핑을 위해 페이퍼 또는 임의의 종류의 브리콜라주(bricolage)의 스크랩 또는 클레이를 사용하여 가상 공간 또는 증강매개된 공간에서 손을 사용하여 3D로 스컬프팅하고, 객체를 만들고, 객체를 변경하는, 등을 수행하여 새로운 부분을 만들도록 구성될 수 있다.
다른 실시예에서, 의사(doctor)가 토포스컬프팅을 사용하여 환자를 지원할 수 있다. 상처를 가진 환자는 피부 또는 피부 같은 물질을 프린트하는 3D 프린터에 의하여 지원받을 수 있다. 외과 의사는 토포스컬프팅을 사용하여 환자의 신체에 피부 프린트를 형성할 수 있다.
도 2a는 도 1e의 센싱 및 디스플레이 장치(1300)의 다른 개략 예를 도시한다.
보다 구체적으로, 도 2a는 일부 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에 사용된 메타퍼-없는 연산과 자연 사용자 인터페이스의 원리를 도시한다. 디지털 아이 글래스(180)와 디지털 아이 글래스(190)의 착용자 중에 도 1a의 제1 증강매개된-현실 공간(1000)과 같은 공유된 컴퓨터-매개된 현실이 도시된다. 표면(130)은 공개 대상(140)이 프린트물을 그 위에 포함하는 테이블탑 위에 페이퍼의 피스이다. 디지털 아이 글래스(180)를 착용하는 참가자(사용자)는, 일 구현에서, 드로잉도구(상표) 시스템이라고 불리울 수 있는 드로잉 도구(201)를 사용할 수 있다. 드로잉 도구(201)는 관성 측정 유닛(204) 및/또는 등을 포함할 수 있다. 드로잉 도구(201)는 가상 디바이스이도록 구성된 도구 지점(200)을 포함할 수 있고 또는 물리적인 마킹 도구(잉크 또는 흑연, 또는 다른 마킹 물질을 가지는)를 포함하도록 구성될 수 있다. 지오폰 센서(203)는 드로잉 도구(201)와 연관된 사운드 또는 다른 교란을 픽업하도록 구성되고; 이런 방식으로, 드로잉 도구(201)는 표면(130)과의 컨택을 센싱하는 드로잉 도구(201)의 다른 센서와 연관하여 응답으로 상호 작용하도록 구성된다. 가상 대상(202)은 (예를 들어, 센싱 및 디스플레이 장치(1300)의 인스턴스를 사용하지 않는 사람들은 볼 수 없게) 비밀로 유지될 수 있다. 가상 대상(202)은 제1 증강매개된-현실 공간(1000)에서 가상 환경에서 생성되고 디스플레이되고 제시되고 및/또는 등이 수행될 수 있고, (제1 증강매개된-현실 공간(1000)에서) 디지털 아이 글래스(180)와 디지털 아이 글래스(190)를 착용하는 참가자에 의해 공유된다. 디지털 아이 글래스(180)의 사용자는 제1 증강매개된-현실 공간(1000)(예를 들어, 사이보그 공간)에서만 표면(130)을 마크하거나, 또는 물리적인 마킹으로 표면(130)을 마크하도록 선택될 수 있다. 디지털 아이 글래스의 임의의 인스턴스를 착용하지 않는 사람은 참가자(센싱 및 디스플레이 장치(1300)의 인스턴스를 사용하는 사용자)가 가상 마킹을 공개 방식으로 이용가능하게 할 것을 결정하는 상황에서 가상 마킹을 여전히 볼 수 있다. 이 경우에, 공개 대상(240)과 같은 공개 마킹은, 예를 들어, 디지털 아이 글래스(180) 또는 디지털 아이 글래스(190)로부터 엑스트라미시브 시각적 프로젝션에 의해 보이게 유지될 수 있고, 이 마킹은 도 1aa에 도시된 비디오-궤도 안정화 프로그램(403)에 의해 안정화될 수 있는 프로젝션을 포함한다. 대안적으로, 마킹은 흑연 또는 잉크와 같은 마킹 물질에 의해 보이게 유지될 수 있다.
도 2b는 일 실시예에서 비디오 궤도 안정화와 콤패러메트릭 정렬 등을 도시한다.
도 2b는 일 실시예에서 비디오-궤도 안정화 시스템을 도시한다. 비디오 궤도는 여러 구현으로 여러 가지 방식; 예를 들어, 픽셀 궤도 및/또는 복셀(voxel) 궤도로 동작할 수 있다. 일 구현에서, 픽셀 궤도는 하나 이상의 강성의 평면 패치 및/또는 그 세그먼트(들)의 호모그래피를 사용할 수 있다. 일 구현에서, 복셀 궤도는 객체의 3D 위치를 추적하고, 평면을 식별하며, 및/또는 연관된 포인트 클라우드를 추적한다.
일 구현에서, 픽셀 궤도는 2D 카메라를 사용할 수 있는 반면 복셀 궤도는 3D 카메라를 사용할 수 있다. 일 구현에서, 픽셀 궤도와 복셀 궤도는 예를 들어 장치(1300)가 하나 이상의 2D 카메라와 하나 이상의 3D 카메라를 포함하는 경우 결합될 수 있다. 예를 들어, 장치(1300)가 하나의 3D 카메라와 2개의 2D 카메라를 포함하는 경우, 궤도는, 예를 들어, 2D 비전, 스테레오비전, 진짜 3D 비전, 및/또는 등을 사용하여 추적될 수 있고 및/또는 여러 추정(예를 들어, 표면 텍스처가 픽셀에 나타나는 방식, 형상이 복셀에 나타나는 방식)이, 예를 들어, 가중된 합계를 통해 결합될 수 있는 경우 예를 들어 융합 취합기(confluence aggregator), 확실성 결합기(certainty combiner), 및/또는 등을 사용하여 이들 결과를 결합할 수 있다. 일 구현에서, 가중치는, 예를 들어, (예를 들어, 콤패러메트릭 수식을 통해) 콤패러메트릭적으로, (예를 들어, 슈퍼포지메트릭 수식을 통해) 슈퍼포지메트릭적으로, 또는 임의의 다른 에러 추정에 의해 결정된 확실성일 수 있다. 따라서, 일 구현에서, 알베도(albedo)(표면 또는 객체 또는 등의 휘도(lightness), 컬러, 텍스처 등), 거리, 및/또는 등이, 예를 들어, 최적의 및/또는 최적화된 방식으로 결합될 수 있다. 알베도와 거리 둘 모두가 동일한 모션을 제공하는 정도까지, 융합 결합기(confluence combiner)는, 일 구현에서, 추정에 사용될 수 있다. 종종 표면 또는 객체는 3D 거리 정보가 보다 정확할 수 있는 패턴이 없는 균일한 알베도일 수 있다. 밤하늘의 별(star) 또는 하늘(sky) 또는 먼 객체에 대해 자체 운동(egomotion)을 추적하는 것과 같은 일부 구현 및/또는 사용에서, 거리 측정은 덜 신뢰성 있고, 2D 비디오 궤도가 사용될 수 있다. 일부 구현에서, 2D 비디오 궤도와 3D 비디오 궤도가 결합될 수 있고, 강성의 평평한 패치와 같은 객체를 추적하기 위해 알베도와 거리 정보 둘 모두를 적절히 사용한다.
2D (픽셀) 궤도의 구현에서, 궤도는 그룹 액션 하에서 일어날 수 있는 변환 세트로 고려될 수 있다.
다음 수식으로 한정된 g(q) = f(kq)으로 주어진 콤패러메트릭 그룹 액션을 고려해 보자:
g(f(q(x)) = f(kq((Ax+b)/(cx+d))),
여기서 f는 변환 도메인이고, g는 변환 범위이다. 특히, f와 g는 광량그래픽(photoquantitigraphic) 응답 함수의 도메인이고, 이 도메인은 광량(photoquantity), q (quantimetric unit)이다.
나아가, q는 x로부터 맵핑 거리이고, 여기서 x는 공간 이미지 좌표의 2 x 1 열 벡터(column vector)이고, 예를 들어, x=[x1; x2]이고너, 그 트랜스포즈(transpose)이거나, 및/또는 볼드페이스(boldface) x를 사용하여 x=[x1; x2]이다.
매트릭스 A는 x1과 x2에서 전단(shear) 뿐만 아니라 x1과 x2에서 스케일을 캡처한다. 이들은 함께 2x2 매트릭스 A가 회전 매트릭스일 때 캡처된 x 방향으로 회전을 더 한정할 수 있다.
행 벡터(row vector)(c)는 차원 1x2이고, 일 구현에서, x1과 x2 방향으로 처프, 또는 처프율(chirprate)을 나타낸다(이는 처프와 처프 방향으로 교대로 생각될 수 있는 2개의 자유도를 가지고 있다).
상기 수식에서 상수 d 는 스칼라 상수이다.
맵핑 g은 그룹을 형성하고, 이 그룹은, 일 구현에서, 매트릭스 [A, b, 0; c, d, 0; 0 0 k]로 배열될 수 있는 5개의 실제 파라미터 A, b, c, d, 및 k를 구비한다.
일 구현에서, d가 0이 아닐 때마다(또는 d가 0에 근접하지 않을 때마다) 매트릭스의 모든 요소를 d로 나눌 수 있기 때문에, 4의 자유도(9의 스칼라 자유도)만이 있다.
또한 스페이스글래스(상표) 장치로도 알려진 공간 이미징 글래스의 시야에 있는 대상, 예를 들어, 센싱 및 디스플레이 장치의 시야에 있는 대상은, 편평한 또는 다소 편평한, 또는 평면인 또는 다소 평면인 표면 또는 개체에 종종 떨어진다.
대상이, 특히 도회지에서 또는 실내 설정으로 센싱될 때, 종종 다소 편평한 다수의 표면이 있다. 빌딩과 가구 같은 많은 객체는 스페이스글래스 장치에 의해 자동적으로 세그먼트될 수 있는 다소 편평한 표면으로 만들어진다. 예를 들어, 윈도우를 보면, 편평한 표면에 컨텐츠가 있으나, 윈도우 뒤에 및/또는 앞에 컨텐츠가 있을 수 있는 것을 볼 수 있다. 예를 들어, 일부 편평한 컨텐츠를 구비하지만 또한 이 앞에 및/또는 이 뒤에 객체를 가질 수 있는, 글래스의 별도의 페인(pane), 또는, 대안적으로, 펜스(fence), 메쉬, 스크린, 감옥 문(jail door), 그릴(grille), 및/또는 등으로 만들어진 윈도우를 고려해 보자.
대상(2B10)과 같은 대상은, 대상(2B20)과 대상(2B30)으로 상이한 유리한 지점으로부터 보일 수 있다. 대상(2B10), 대상(2B20), 및 대상(2B30)의 일부는 각각, 대상(2B16) (예를 들어, 평면), 대상(2B26) (예를 들어, 평면), 및 대상(2B36) (예를 들어, 평면)에 의해 한정된 평면에 있으나, 대상, 각각, 대상(2B15), 대상(2B25), 및 대상(2B35)의 다른 것은, 대상(2B16), 대상(2B26), 및 대상(2B36)에 의해 각각 한정된 평면에 있지 않다.
동일한 대상의 이들 3개의 "취득물" 각각은, 취득물(2B1), 취득물(2B2), 및 취득물(2B3)로 표현된다. 일부 구현에서, 취득물은 화상, 능동 비전 시스템으로부터 측정값 세트, 예를 들어, 응답 측정값, 및/또는 등일 수 있다. 이런 의미에서, 취득물은 콤패러메트릭 측정, 화상, 비디오, 퀀티그래프(quantigraph), 또는 등일 수 있고, 또는 이 취득물은 또한 예를 들어, 자극, 또는 자극의 집합, 예를 들어, 전자기 복사선에 하나 이상의 노출에 응답하여 만들어진 슈퍼포지메트릭 측정, 또는 그 집합일 수 있다.
예를 들어, 우리는 응답을 측정(예를 들어, 캡처, 사진 찍기, 및/또는 등을 수행)하는 동안 테이블에서 전자 플래쉬(flash) 소스를 점화하는 것에 의해 테이블탑 (예를 들어, 아바코그래픽적으로)을 "티끌화"할 수 있다.
일 구현에서, 플래쉬는 구조화된 조명 소스와 같은 아레맥(aremac)으로 구성된다.
아레맥(그 어원은 "카메라"를 거꾸로 스펠링(spelling)한 것임)은 조명 소스로 동작할 수 있고, 함께, 카메라와 아레맥("아레마카메라" 또는 간단히 "마캄(macam)")은, 일 구현에서, 슈퍼포지메트릭 측정과 응답(여기(excitation)와 센싱) 시스템을 형성할 수 있다.
아레맥은 노출을 가변시키는 조명 패턴과 가변 양을 제공할 수 있다.
카메라와 같은 센서는, 제시된 경우 그 조명과 같은 자극 소스일 수 있는 바와 같이 가변 이득을 가지게 구성될 수 있다. 따라서, 카메라 또는 마캄은 동일한 대상의 다양하게 노출된 취득물, 예를 들어, 취득물(2B1), 취득물(2B2), 및 취득물(2B3)을 제공할 수 있다.
취득물(2B1), 취득물(2B2), 및 취득물(2B3)은 진짜 대상(2B)에 상이한 변환을 나타낸다. 취득물(2B1)은 센서의 관측 시야의 좌측 쪽 대상에 낮은 레벨의 노출 또는 조명이 취해졌다(예를 들어, 수신되었다). 취득물(2B2)은 이득 또는 감도(sensi샤퍄ty) 또는 노출 또는 조명의 적절한 (중간) 양이 "취해졌고", 여기서 대상은 관측 시야의 대략 중간에 있으나, 약간 위쪽을 본다. 취득물(2B3)은 많은 광량으로 "취해졌고", 다시 말해, 관측 시야의 우측 쪽 대상이 "과다 노출되었다(overexposed)".
이들 3개의 취득물은 대상(2B)에서 현실의 3개의 상이한 해석을 나타낸다.
이들은, 일 구현에서, 형태 g(f(q(x)) = f(kq((Ax+b)/(cx+d)))의 변환, 예를 들어, 콤패러메트릭적으로, 투영적으로(projectively), 슈퍼포지메트릭적으로 (예를 들어, 상이한 조명들이 각각 사용된 경우), 및/또는 등에 의해 서로 관련될 수 있다.
이 경우에 하나의 취득물이 픽업될 수 있고, 다시 말해 중간 것, 취득물(2B2), 및 다른 것은 취득물(2B2)에 대하여 표현될 수 있다. 취득물(2B1)을 취득물(2B2)에 관련시키는 A12, b12, c12, d12, 및 k12으로 주어진 하나의 변환이 있을 수 있고, 취득물(2B2)을 취득물(2B3)에 관련시키는 A23, b23, c23, d23, k23으로 주어진 다른 변환이 있을 수 있다.
장면에서 일어나고 있는 것에 대한 "진실"은, 일 구현에서, 취득물(2B1), 취득물(2B2), 및 취득물(2B3)로부터 추정된 합성 취득물(composite getting)(2B0)을 구성하는 것에 의해 재구성될 수 있다. 취득물(2B0)은 스페이스글래스가 대상(2B)에 대해 "아는" 것을 모두 나타낸다.
이런 의미에서, 대상(2B06)의 디-처프된 표현(de-chirped representation)은 평면에서 지점들이 균일하게 이격되어 있도록 평면에 있는 것으로 제공될 수 있다.
일 구현에서, 처프는 새(bird)가 만드는 사운드, 예를 들어, 주파수가 증가하거나 감소하는 노트(note) 또는 톤(tone) 또는 주기적인 파형과 같다. 비전의 경우, 처프는 이를 가로질러 이동할 때 주파수가 상승 또는 하강하는 것이다. 취득물(2B1)의 대상은, 예를 들어, 대상(2B16) (평면 컨텐츠 대상)이 (예를 들어, x을 따라 증가하는 차원에서) 좌측으로부터 우측으로 이동함에 따라 (예를 들어, 윈도우 창살(muntin) 또는 그릴을 낮게 시작하고 공간 주파수가 증가하는 공간 주파수를 구비한다는 점에서 "업-처프(up-chirped)"된다.
일 구현에서, 취득물(2B3)의 대상(2B36)은 "다운-처프(down-chirped)"되고, 예를 들어, 대상은 높은 피치에서 시작하고, 증가하는 x에서 좌측으로부터 우측으로 이동함에 따라 더 낮은 피치로 떨어진다.
일 구현에서, 취득물(2B0) (합성 취득물)의 대상(2B06)은 디-처프되어, 평면의 유닛은 스페이스글래스 시스템에서 내부적으로 저장된 어레이에 균일하게 이격된다.
일 구현에서, 현실로부터 각 평면은, 제일 먼저 취득물(2B2)과 같은 취득물 중 하나가 아니라, 예를 들어, 현실로부터 평면을 세그먼트화하고 취득물(2B1)로부터 취득물(2B0)로 직접 맵핑하는 코너(2B11), 코너(2B12), 코너(2B13), 및 코너(2B14)에 의해 지시된 변환을 적용하는 것에 의해 스페이스글래스에서 디-처프된 퀀티그래프 q(x,y)로 저장될 수 있다.
이것은, 일 구현에서, A1, b1, c2, d1, k1 형태를 취득물(2B0) 쪽 취득물(2B1)로 변환하고, A2, b2, c2, d2, k2 형태를 취득물(2B0) 쪽 취득물(2B2)로 변환하며, 및 A3, b3, c3, d3, k3 형태를 취득물(2B0) 쪽 취득물(2B3)로 변환하는 것에 의해 달성될 수 있고, 이들 3개의 변환 각각은 취득물(2B0)의 추정을 제공한다. 이들 3개의 추정은 콤패러메트릭 이미지 합성(image compositing)의 확실성 규칙에 따라 취득물(2B0)과 결합된 것으로 함께 결합된다.
대상(2B16), 대상(2B26), 및 대상(2B36)은 대상(2B06)에 융합되어 정렬되는 반면, 대상(2B15), 대상(2B25), 및 대상(2B35)은 이 대상이 평면에 있지 않아서 대상(2B05)에 덜 융합되어 오정렬될 수 있다.
마찬가지로, 윈도우를 통해 보이는 배경에 있는 클라우드는 오정렬된다.
그 결과 윈도우와 윈도우 프레임의 문설주(mullion)와 창살과, 글래스(예를 들어, 평면의 글래스, 텍스처, 패턴, 및/또는 등에 있는 티끌)의 융합 합성이 된다.
우리는 관측 시야에 있는 윈도우로 대상을 보면, 우리는 전경(foreground)의 대상을, 예를 들어, 어둡게, 실루엣(silhouette)으로, 및/또는 등으로 본다. 한 쪽을 볼 때, 윈도우가 우리의 시야의 한 쪽으로 갈 때, 예를 들어, 바닥 쪽을 볼 때, 일부 카메라의 AGC(Automatic Gain Control)는, 예를 들어, 대상(2B25)으로 윈도우의 앞에 서 있는 사람의 얼굴의 일부이지만 그렇게 상세한 것은 아닌 것의 렌더링을 "게인 업(gain up)"할 수 있다. 조명이 하우스에서 켜 있지 않아서, 카메라의 중심이 어두운 룸에 있는 것, 예를 들어, 일부 검은 옷이 걸려 있는 벽장에 검은 천 또는 출입구의 어두운 개구를 가리키는 상태에서, 일부 더 아래를 보거나, 또는 한 쪽을 보면, AGC는 매우 선명하게 대상(2B35)의 사람의 얼굴을 "게인 업"하고 렌더링하지만, 클라우드와 하늘 외부는 백색으로 "세척(washed out)" (예를 들어, 과다 노출)될 수 있다. 심지어 문설주와 창살은 일부 정도로 "백화(whiteout)"된다.
따라서 취득물(2B0)에 기여하는, 하늘과 태양과 같은 대상의 밝은 영역의 대부분은, 취득물(2B1)로부터 오고, 대상(2B35)의 거의 실루엣 면과 같은 어두운 영역의 대부분은 취득물(2B3)로부터 온다. 취득물(2B2)은 중간 톤(mid tone)을 많이 제공한다.
이것은, 일 구현에서, 대상의 3D 형상으로 한정된 매니폴드 위에 콤패러메트릭 이미지 합성하는 것에 의해 달성될 수 있다. 가장 간단한 형상은 평면이고, 매우 정확히 수행될 수 있으나, 이 얼굴은 보다 복잡하고, 더 낮은 정확도로 취합된다.
따라서, 취득물(2B0)은, (추정으로) 진짜 대상(2B)을 추정하고, 대상(2B)의 현실의 대상(2B00)을 추정하는데 사용될 수 있다.
평면이 큰 정확도로 "취해질" 수 있으므로, 이것은 스페이스글래스에서 호모그래픽 사용자-인터페이스로 기능할 수 있다. 마찬가지로, 구와 같은 다른 기하학적 형상을 가질 수 있다.
대상 취득물은, 예를 들어, 콤패러메트릭 방정식 이론의 확실성 함수(Certainty Function)를 사용하여, 예를 들어, 융합에 의해 결합될 수 있다. 대안적으로, 융합 결합기가 사용될 수 있다.
일 구현에서, 융합은 개체가 함께 오는 정도 또는 함께 동의(agreement)하여야 하는 정도이다. 동의가 있다면, 예를 들어, 2개의 취득물이 신뢰도 있게 현실에 동의한다면, 이들 2개의 취득물은 보다 확실하게 결합된다. 이것은 콤패러메트릭 이미지 합성의 이론에 변형을 포함할 수 있다.
융합 합성
2개의 신호 "a"와 "b"를 융합(conflate)하기를 원한다고 하자. 이들 신호는 확실성에 의해, 융합에 의해, 및/또는 등에 의해 가중될 수 있다. 디지털 구현에서, 융합은 배타적 OR 게이트, 예를 들어, (a+b) (a XOR b)에 의해 구현되어 보다 강한 동의를 가중할 수 있다.
아날로그 구현에서, 곱 [ab]을 고려해 보자. [a]와 [b]가 클 때 곱 [a] x [b]는 크다. 이들 중 하나가 음이고 다른 하나가 양일 때 곱은 음이다.
그리하여, 융합은, 일 구현에서, 다음과 같이 표현될 수 있다:
c = (a+b)ab.
대안적인 구현에서, 융합은 다음 식을 사용할 수 있다:
c = (a+b) exp(ab).
이러한 융합 합성은, 일부 구현에서, 융합 센서(402)를 위해, 오디오 밀림 검출을 시각적 밀림 검출과 결합하기 위해, 멀티모달 감각 퓨전의 다른 형태를 위해, 및/또는 등을 위해 사용될 수 있다.
일 구현에서, 전력을 절감하기 위해, 스페이스글래스로부터 조명은, 예를 들어, 여러 대상에 적응적인 방식으로 조절될 수 있다. 예를 들어, 부근에 있는 대상은 더 적은 광으로 조명될 수 있는 반면, 더 멀리 있는 대상은, 예를 들어, (1) 최상의 노출을 위해; (2) 전력, 에너지, 및 액션을 절감하기 위해; 및/또는 등을 위해 더 많은 광으로 조명될 수 있다.
일부 구현에서, 액션은 해밀토니안 액션(예를 들어, 운동 에너지(T) + 위치 에너지(V)의 시간 적분), 라그랑지안 액션, T - V의 시간 적분), 및/또는 등을 포함할 수 있다.
일부 구현에서, 정지 액션의 원리는 좌표 변환의 투영 그룹의 궤도에 적용될 수 있다.
적응적 PEAMS (Power, Energy Action Management System)는, 일 구현에서, (A) 낮은 감도의 수동 취득물이 수행되는 것; (B) 분석이 취득물에 이루어져, 취득물의 확실성을 결정하는 것: 이미지 노출인 취득물에 대해, 확실성은 확실성 이미지이다; (C) (예를 들어, 임계값, 표준, 및/또는 등과 비교한 것에 기초하여) 불확실성이 있는 영역이 있다면, 더 큰 감도의 취득물이 수행되는 것; 및 (D) 예를 들어, 임계값, 표준, 및/또는 등과 비교한 것에 기초하여 충분한 노출 센싱itivity이 달성될 때까지 공정이 반복되는 것을 포함할 수 있다.
일부 상황에서, SPEAMS (슈퍼포지메트릭 Power Enery Action Management System)가 사용될 수 있다. SPEAMS 시스템은, 일 구현에서, (A) 낮은 감도와 낮은 출력의 능동 취득물이 수행되는 것; (B) 분석이 취득물에 이루어져, 취득물의 확실성을 결정하는 것; 이미지 노출인 취득물에 대해, 확실성은 확실성 이미지이다; (C) 불확실한 영역이 있다면, 더 큰 감도의 능동 취득물이 수행되는 것; (D) 충분한 노출 감도가 달성될 때까지 공정이 반복되는 것; (E) 이들 결과가 콤패러메트릭적으로 융합되는 것; (F) 그 결과 융합 이미지가 광벡터로서 낮은 출력의 취득물에 로깅(logged)되는 것; (G) 출력이 증가되는 것과 다수의 취득물(예를 들어, 노출)의 공정이 중간 출력의 방출로부터 야기되는 광벡터를 캡처하도록 반복되는 것; (H) 이들 광벡터 각각은 슈퍼포지메트릭 이미지 공간을 표시하는 것, 여기서 각 광벡터는 특정 에너지 비용을 가지고, 즉 각 광벡터에 대해 특정 강도의 광 출력의 버스트를 각각 요구하는 다수의 취득물이 존재한다는 것(예를 들어, 낮은 출력, 중간 출력 등); (I) 에너지 비용 함수가 생성된 광의 각 버스트에 대해 연산될 수 있는 것과, 이들 에너지 비용 함수가 슈퍼포지메트릭 라이트스페이스의 연산과 연관된 액션 비용으로 누적되는 것; 및 (J) 예를 들어, 라이트스페이스 비용 함수에서 에러 항이 충분히 최소화될 때까지 대상 또는 장면이 충분한 정도로 광이격될 때까지 공정이 계속되는 것을 포함할 수 있다.
이런 방식에서, 액션이 실질적으로 보존될 수 있다.
일부 구현에서, 라이트스페이스은 또한 정지 액션 (라그랑지안)의 원리를 사용하여 연산될 수 있거나 또는 해밀토니안 액션(총 액션)을 보존할 수 있다.
일 구현에서, PID(Proportional, Integral, Derivative) 제어기에서와 같이, 모든 적분 또는 미분에서 모션을 결정 및/또는 추정할 수 있다. 예를 들어, 카메라 또는 헤드 또는 아이글래스의 궤도는 변위에서, 피드백 루프에서, 변위의 미분과 적분을 통해, 공간 모션, 및/또는 등을 통해 추정된다.
일 구현에서, 이것은 모션, 추정된 모션, 파라미터, 및/또는 등으로부터 연산된 앱셀러레이션(abseleration), 앱시티(absity), 앱세멘트(absement), 변위, 속도, 가속도, 저크(jerk), 저운스(jounce) 등의 시그너처를 통해 달성될 수 있다.
도 2c는 일 실시예에서 앱세멘트(absement)-기반 신호 프로세서를 도시한다.
도 2c에서 일 실시예에 도시된 예를 참조하면, "SP"라고 지시된 설정 지점(Set Point)은 신호(2C70)로 구축된다. 이것은, 예를 들어, 신체 부분, 또는 예를 들어, 도 2a에 도시된 드로잉 도구(201)와 같은 드로잉도구에 의해 아바코그래픽 제스처 입력일 수 있다. 신호(2C70)는, 대안적으로, 사용자에 의해 유지되는 광 소스, 예를 들어, LED(Light Emitting Diode) 광, 또는 LED 광의 어레이와 같은 사용자에 의해 홀딩되는 광 소스, 또는 이 내에 광을 갖는 특수 장갑, 또는 공간 이미징 글래스(상표) 장치에 공급되는 광 스틱에 의해 입력될 수 있다. 이런 방식으로, 설정 지점은, 현실에서 센싱되고, 관찰된 특정 궤적과, 특정 키네매틱스(kinematics)를 갖는 공간을 통해 그려지거나 이동되는 공간 내 지점일 수 있다.
정지 액션의 원리는, 일 구현에서, 실제 운동량과 비교해서 관찰된 운동량에 대해 연산될 수 있고, 그리하여 제어 시스템, 이펙토리 시스템, 및/또는 등이 나타나서, 예를 들어, 일반 목적 제스처 센싱, 아바코그래프, 아바코그래픽 사용자-인터페이스, 토포스컬프팅, 및/또는 등을 위해 궤적과 움직임을 센싱하고 추적한다.
설정 지점 입력은, 오디오 신호, 시각적 신호, 또는 이들의 조합일 수 있고, 후각(olfaction)(화학적 센서) 및/또는 등과 같은 다른 컴포넌트를 더 구비할 수 있는 시간-가변 파형 신호(r(t))를 생성한다.
공정(2C10)은, 일 구현에서, 실제 현실에 존재하기 때문에 객체와 그 모션과 같은 세계의 측면을 캡처할 수 있다. 이 현실은, 예를 들어, 수학적으로, K_{-m}, ... K_{-3}, K{-2}, K_{-1}, K0, K1, K2, ... K_n으로 표시된 프로세서(2C35)의 여러 인스턴스에 의하여 모델링될 수 있다.
"공정 변수", PV은 현실로부터 캡처(예를 들어, 센싱)되고 공정 변수(2C15)로 표시될 수 있다. 설정 지점과 공정 변수의 음의 합계, 예를 들어, [SP] - [PV]는 가산기(2C20)에 의해 연산되어, 에러 신호(2C25)를 제공한다.
에러 신호(2C25)는, 수학적으로, e(t)로 표시된다. 일 구현에서, 에러는 공정 변수와 설정 지점에 의해 측정된 유닛에서의 에러이다. 예를 들어, 이 에러는 "깊이"(센서로부터의 거리, 또는 예를 들어 변위)를 측정하는 것을 의미하는 변위 센서, 위치 센서, 거리 센서, 또는 등, 예를 들어, LiDAR (Light Direction and Ranging) 장치, 예를 들어, Kinect (상표) 깊이 센서, Primesense (상표) 깊이 센서, 및/또는 소프트 운동(Soft Kinetic)(상표) 깊이 센서에 의해 센싱된 위치, 변위, 거리, 또는 등에서의 에러일 수 있다.
제어 시스템은 시간 미분과 시간 적분 중 하나 또는 둘 모두 뿐만 아니라 센싱된 양을 사용할 수 있다. 키네매틱 프로세서(kinematic processor)(2C30)는 신호 e(t), 예를 들어, 그 속도, 가속도, 저크(jerk), 저운스(jounce), 앱세멘트(absement), 앱시티(absity), 앱셀러레이션(abseleration), 앱서크(abserk), 앱사운스(absounce), 및/또는 등의 키네매틱스를 연산한다.
변위의 시간-미분은 변위의 변화율이고, 속도라고 한다. 크기 또는 절대 값에서, 거리의 시간-미분은 속력이다.
변위의 시간-적분, 즉 변위-시간 그래프 아래의 면적은, 앱세멘트(absement)라고 알려져 있다.
따라서 "깊이" 센서에서 PID 제어기는, 일 구현에서, 연산 깊이, (예를 들어, 미터, 센티미터, 및/또는 등)를 포함할 뿐만 아니라, 미분(예를 들어, 초당 미터(m/s))과 적분(예를 들어, 미터-초(ms)), 속도와 앱세멘트(absement)를 각각 포함할 수 있다. 일 구현에서, 적분 및/또는 미분은 깊이 에러(e(t))에 대해 연산될 수 있다.
프로세서(K_{-1})는 앱세멘트(absement) 신호(e(t)의 시간 적분)에 동작하는 앱세멘트(absement) 프로세서이다. 프로세서(K0)는 e(t)에 대해 동작한다. 프로세서 K1는 미분 de(t)/dt에 대해 동작한다.
일 구현에서, 제어기는 앱시티(absity)(변위의 적분의 적분, 즉 앱세멘트(absement)의 적분)와 앱셀러레이션(abseleration) 신호와, 가속도 신호를 사용한다. 일부 구현에서, 저크(jerk), 저운스(jounce), 앱서크(abserk), 앱사운스(absounce), 및/또는 등과 같은 더 높은 미분과 적분이 또한 사용될 수 있다.
처리된 키네매틱스 신호(2C40)는 가산기(2C45)에서 가산되고, 이 합은 수학적으로 도 2c에서 신호(2C50)로 표시된 신호(u(t))로 표시된 MV (Manipulated Variable) 또는 SV (Sculpted Variable)이다.
키네매틱 신호는 베이스 변수로서 거리 또는 위치로 도시되어 있으나, 이것은 본 발명을 제한하는 것으로 의도된 것이 아니다. 키네매틱 신호는 대안적으로 양(2C55) (예를 들어, 모멘텀(momentum)과 그 시간-미분)으로 및/또는 양(2C60) (예를 들어, 액션과 그 시간-미분)으로 나타날 수 있다.
따라서, 스페이스글래스에서 제스처-센싱 또는 토포스컬프팅 시스템은 증강매개된 현실 조작 또는 스컬프팅의 상황에서 물리적인 모델링을 위해 및 물리적인 현실을 이해하기 위한 기초로서 물리적의 원리를 사용할 수 있다.
도 2d는 일 실시예에서 토포스컬푸팅 시스템(toposculputing system)을 도시한다.
도 2d는, 예를 들어, 압출에 의하여 드로잉 도구(201)를 3차원 공간에서 2차원 매니폴드를 그리는데 사용하는 일 실시예를 도시한다. 드로잉 도구(201)는, 일 구현에서, 개별적으로 각각 어드레스가능한 광 소스의 어레이를 포함할 수 있다. 일 구현에서, 각 광 소스는 4개의 컬러 채널: R (Red), G (Green), B (Blue), 및 I (적외선)에 대해 예를 들어 PWM (Pulse Width Modulation)을 사용하여 컬러마다 어드레스 가능하다. 일 구현에서, 각 RGBI 소스는 각 컬러 채널에 대해 예를 들어 8비트 버퍼와 같은 버터로부터 PWM 입력을 수신하여, 예를 들어, 각 컬러를 32 비트 길이인 컬러 워드에 의해 결정한다. 이것은 각 광 소스가 표현할 수 있는 대략 4,295 밀리언(million) 컬러 (또는 4,096 메가컬러(Megacolor))를 제공하는데, 여기서 16 메가컬러는 가시광 스펙트럼에서 고유하다.
드로잉 도구(201)는, 여러 구현에서, 가상 전투와 같은 게임을 플레이하는 검(sword) 또는 기병(saber) 또는 가상 무기-같은 객체의 형태를 취할 수 있다. 대안적으로, 드로잉 도구(201)는 광 로프와 같은 유연한 항목일 수 있고, 또는 이 드로잉 도구는, 예를 들어 LED 장갑, 하나 이상의 엑스트라미시브 공간 이미징 디지털 아이 글래스 디바이스의 능동(엑스트라미시브) 비전 시스템에 수동으로 되 응답하는 되반사 비드를 갖는 장갑, 및/또는 등의 형태를 취하여 착용가능할 수 있다.
도 2d의 예에 도시된 드로잉 도구(201)는 그 길이를 따라 48개의 광 소스를 구비하고, 각 광 소스는, 일 예에서, 4개의 채널을 포함하여, 내부에 총 192개의 광 소스가 있다. 드로잉 도구가, 예를 들어, 긴 노출 사진에서 공간을 통해 이동됨에 따라, 드로잉 도구(201)의 좌측에 도시된 노출(2D40) 뒤에 남는다. 드로잉 도구(201)의 48개의 램프 중 최상위 8개가 노출(2D40)의 좌측에 확대 도시되어 있다.
이 8개의 램프 중 이 확대 도시된 것은 노출(E1)을 만드는 램프(L1)와, 노출(E2)을 만드는 램프(L2)로 라벨링되어 도시되어 있고, 램프(L1)와 램프(L2)는 모두 이 시간 시점에서 턴온된다. 램프(L3)는 오프 상태이다. 램프(L5)는 온 상태이고, 램프(L8)는 또한 온 상태이며, 이들 둘 모두는 또한 램프(L1)와 램프(L2)로부터 각각 노출(E1)과 노출(E2)과 같은 광의 각 트레이스 또는 스트리크 또는 얼룩(smear) 뒤에 남는다.
램프(2D8)(여기서 맵(L8)에 있는 램프(L1)는 예시적인 것임)는 노출(2D40)로서 광의 스트리크 뒤에 남아 있어, 이는, 램프(2D8)가 제어가능하게 변조될 때, 제어가능하고 어드레스 가능한 2-차원 매니폴드 노출을 생성한다. 이 노출은, 예를 들어, 3D 시각화에 유용한, 예를 들어, 워드, 텍스트, 그래픽, 또는 형상(예를 들어, 로켓 엔진의 노즈 원추체)을 스펠링할 수 있다. 텍스트의 예에서, 공간에서, 긴 노출 사진 동안 공간에서, 또는 노출-적분된 비디오(예를 들어, 광량그래픽적으로 디스플레이된 비디오에서 워드(예를 들어, "HELLO WORLD")를 스펠링할 수 있다.
드로잉 도구(201)가 페이지를 가로질러 좌측에서 우측으로 이동될 때, 이 드로잉 도구는 드로잉 도구(201)가 페이지를 가로질러 점점 더 이동됨에 따라 점점 더 길어지는 노출(2D40) 뒤에 남는다.
"HELLO WORLD" 메시지에서 일부 지점에서, 제1 문자, 문자 "H"는, 예를 들어, "퍼지 폰트(fuzzy font)" (앤티-에일리어싱(anti-aliased) 폰트 또는 tru-유형(상표) 폰트) 또는 원하는 경우, 3D 공간에서 생성된 풀 컬러 화상을 더 포함할 수 있는 폰트 문자 생성기 세트로부터, 예를 들어, 문자 노출(2D51)로서 공간을 통해 "페인트"되거나 "그려"질 수 있다.
메시지 또는 알파벳을 스펠링하는 문자 세트는 문자 노출(2D60)을 나타내는데 여기서 문자 "H" (문자 노출(2D51))가 하나의 예시이다. 드로잉은 공간을 통해 계속되어, 문자들 사이에 어두움(0 노출)을 가지거나, 또는 일부 구현에서, 문자들 사이에 배경 노출을 가지고 각 문자를 스펠링하는데, 여기서 이들 문자는 제일 먼저 "H", 그 다음에 "E" 등으로 이어지고 나서 종국적으로 제5 문자, 즉 문자 노출(2D55)로서 "O" 에 이르고, 다음에 스페이스가 이어지고, 이어서, 문자 "W", "O", "R", "L", "D" 등이 이어지는 공간에 걸쳐 3D 리본 권선(ribbon winding) 위에 떠 있는(hover) 것으로 보이도록 한다. 일부 구현에서, 드로잉, 텍스트, 및/또는 등은 하우스 주위에, 계단 아래에, 정면 도어에, 스트리트 아래에, 및/또는 등에 리본을 트레이스할 수 있다.
예를 들어, 드로잉 도구(201)를 홀딩하는 사람이 테이블탑 표면(2D70)과 같은 표면 뿐만 아니라 드로잉 도구(201)를 볼 수 있는 장치(1300)와 같은 DEG (디지털 아이 글래스)를 착용하고 있으므로, 문자는, 일 구현에서, 비디오 궤도 안정화된 공간에서 그려질 수 있다.
드로잉 도구(201)는 문자 노출(2D60)을 위한 가시광을 방출하고, 이 가시광은 DEG에 의하여 추적하는 것과 간섭하지 않는다. 일 구현에서, 장치(1300)로부터 적외선 광의 광선(2D21)은 드로잉 도구(201)를 조명하고 나서 광선(2D22)으로 리턴하여, 드로잉 도구(201)에 의해 방출되는 가시 컬러(RGB)에 상관없이 센싱될 수 있다.
가시 광선(2D23)은 또한 드로잉 도구(201)를 조명하고, 광선(2D24)으로 반사되어 장치(1300)에 의해 레코드된다. 일 구현에서, 장치(1300)는 공간을 통해 이동하는 드로잉도구의 비디오를 캡처하며, 시간의 함수로서 장치(1300)에 대해 드로잉 도구(201)의 정확한 위치를 레코드한다. 장치(1300)는 또한 시간의 함수로서 장치(1300)에 대해 테이블탑 표면(2D70)의 위치를 레코드한다. 장치(1300)에 대한 드로잉 도구(201)의 위치 뿐만 아니라 이 장치에 대한 테이블탑 (또는 정적 장면에서 임의의 다른 인식가능한 객체)의 위치를 알면, 환경에 대한 드로잉 도구의 상대적인 위치가 결정될 수 있다.
공간에 걸쳐 드로잉 도구를 사용할 때, 환경 맵은, 일 구현에서, 공간으로 구성되거나, 또는 (이용가능한 경우) 다운로드될 수 있는데, 이에 드로잉도구가 비어 있는 하우스에서 룸마다 취해질 수 있고 공중에서 가구를 그리는데 사용될 수 있어서, 예를 들어, 사용자가 하우스가 갖춰진 것으로 보일 수 있는 것을 시각화할 수 있는 경우, 실외 경치, 또는 빌딩의 내부 공간이 있든 없든 상관없이, 드로잉도구는 공간에서 주위로 이동될 수 있다.
후자의 예에서, 사용자(180U)는 각자 현실을 스컬프팅하고 생성하는 사이트페인팅(Sightpainting)(상표) 움직임 (이것은 라이트페인팅과 "외관을 갖는 페인팅(painting with looks)"의 조합임)을 수행한다. 일 구현에서, 이펙터 신호 및/또는 프로젝션 등은 보여지는 환경을 마크하고 주석달고 설명하고/하는 등을 수행하는데 더 사용될 수 있다. 이펙터 신호는 저장된 레코드 등으로부터 주문 제작되거나, 실시간으로 만들어지거나, 그려지거나 및/또는 유도될 수 있다.
일 구현에서, 제2 사용자(181U)는 사용자(180U)에 의해 그려진 것과 같은 아바코그래프 또는 토포스컬프처를 볼 수 있고, 이들에 주석을 달고, 및/또는 이들에 추가하는 등을 수행할 수 있다.
이것은 3D 시각화, 로켓 엔진을 함께 설계하는 것, 병원에서 환자를 지원하는 것, 및/또는 등과 같은 여러 형태의 협력을 위해 사용될 수 있다.
일 구현에서, 사이트페인팅을 사용하는 다른 형태의 협력은, 예를 들어, Unity 3D (상표) 게임 환경을 사용하는 게임일 수 있다.
예를 들어, 사용자(180U)는 공간을 통해 워드, 예를 들어, "HELLO WORLD"를 쓰고, 이들에 적색 컬러를 할당한다. 사용자(180U)는 이렇게 적색으로 자가-식별하였다.
단어 HELLO WORLD의 긴 노출 사진은 사용자(180U)가 주위를 걸어다니며 상이한 각도로부터 문자 노출(2D60)의 아바코그래프를 볼 수 있기 때문에 3D 공간에서 떠 있는 것으로 보인다.
사용자(180U)는 또한 이 아바코그래프를 볼 수 있다.
하나의 게임 시나리오에서, 사용자(180U)는 "적색 플레이어"이고 사용자(181U)는 "청색 플레이어"이다.
적색 플레이어는 "세계를 적색으로 페인트"하려고 하고, 청색 플레이어는 세계를 "청색"으로 페인트하려고 한다. 적색 플레이어는 "적색 페인트" (적색 컬러의 아바코그래프)를 터치하고 심지어 이를 통과할 수 있으나, 청색 플레이어가 적색인 아바코그래프를 터치하는 경우, 청색 플레이어는 "죽고" 게임에 진다.
마찬가지로, 청색 플레이어, 사용자(181U)는 노출(2D90)을 생성한다. 적색 플레이어는 "VOXaber of Death" (상표) 시스템, 48 LED (light emitting diode)를 갖는 검 같은 객체를 선택한 반면, 청색 플레이어는 사용자(181U)가 공간을 통해 노출(2D90)과 같은 "청색 파이프(Blue Pipe)"를 그리는(draw) 링 또는 "올가미(noose)"로 루프 형성된 LED 광 로프인 "티번의 청색 로프(Blue Rope of Tyburn)" (상표) 시스템을 선택하였다.
두 플레이어는 실제로 드로잉도구, 발포 고무(연해서 어린이가 플레이하는 동안 다치지 않음)로 만들어진 "검(sword)"에 부착되거나, 또는 다른 유연한 형상을 만들기 위해 분리될 수 있는 유연한 광 로프를 포함하는 동일한 드로잉도구 또는 드로잉 도구의 유형을 사용한다. 또 다른 구현에서, 플레이어는 단일 애플리케이션 인스턴스에서 상이한 그리기 도구 및/또는 그리기 도구의 유형을 사용할 수 있다.
일 구현에서, 드로잉도구는 각 DEG 시판된 판촉 항목(promotional item)으로 포함될 수 있다.
일 구현에서, 장치(1300)의 DEG를 착용하지 않는 사람은 사용자(180U)가 드로잉도구를 앞뒤로 연속적으로 파도치는(wave) 경우 "HELLO WORLD"와 같은 단어를 볼 수 있다. 이것에 의해 비-참가자가 스페이스글래스를 구매하거나 렌트하는 것에 의해 게임에 가입하도록 유혹할 수 있다. 예를 들어, 방관자는 플레이어들이 공간을 통해 광을 파도치는 것을 보고 플레이하기를 원할 수 있다. 아바코그래프의 일부의 라이브 비디오 공급물은 사람들이 플레이하는 것에 관심을 가지는 것을 도와주기 위해 프린트될 수도 있어서, 사람들이 스페이스글래스를 렌트하고 게임에 가입하기를 더 원하게 될 수 있다. 전용 플레이어는 각자 스페이스글래스를 구매하고 유지할 수 있는 드로잉 도구(201)와 같은 Xaber (상표) 시스템을 취득할 수 있다. 따라서, 도 2d의 실시예는 장치(1300)의 DEG를 마케팅하는 방법으로 사용될 수 있다.
추가적으로, 게임은, 예를 들어, 적색 플레이어가 출입구에 걸쳐 "HELLO"를 쓰는 것에 의해 룸에서 청색 플레이어를 구금하였을 수 있으므로 피트니스를 촉진한다. 청색 플레이어는 적색 텍스트 "HELLO"와 터치한 경우 죽을 수 있으나, 예를 들어, 문자 노출(2D55) 부근 노출의 우측손 아래에서 포복하여, 여기서 작은 양만큼 지면에서 떨어질 수 있다.
주위를 포복하여 타이트한 공간에 맞추는 것은 강도와 유연성을 개발하는 것을 도와주고, Limbo Dance와 같은 게임은 증강매개된 세계에서 보이는 공간을 통해 그려진 아바코그래픽 라인으로 플레이될 수 있다.
또 다른 게임에서, 여러 플레이어는 공간을 통해 파이프를 그릴 수 있다. 노출(2D90)과 같은 청색 파이프는 청색 플레이어에 속한다. 사용자는 측면에 터치함이 없이 파이프에서 포복하거나 점프하고 나서, 및/또는 매번 파이프를 더 오래 압출하려고 시도한다. 이 게임은, 예를 들어, 차례대로 진행하는 하나를 제외한 모든 플레이어가 파이프가 차지하는 가상 공간에 떨어지거나 터치할 때까지, 점점 더 오래 "풀아웃(pulled out)되는" "후프" 또는 링으로 시작할 수 있다.
또 다른 게임 시나리오에서, 플레이어는 파이프의 측면에 터치함이 없이 파이프를 통해 공(ball)을 던진다.
일 구현에서, 사이트페인팅(상표) 시스템은 다음을 통해 달성될 수 있다: 장치(1300)는 드로잉 도구(201)의 위치를 추적하면서도 환경에서 참조 지점을 센싱한다. 드로잉 도구(201)로부터 장치(1300)로의 콤패러메트릭 좌표 변환은 g_{2, 1}이라고 하자. 장치(1300)로부터 테이블탑 표면(2D70)과 같은 환경에서 일부 표면으로의 변환은 g_{1, 0}이라고 하자. 드로잉도구로부터 환경으로의 변환은 g_{2,0} = g_{2, 1} g_{1, 0}으로 주어진다.
나아가, 드로잉도구, 또는 그 선택된 서브셋에서 모든 LED (light emitting diode)의 위치는, 노출의 광 스트리크의 사진 또는 비디오그래픽 이미지, 예를 들어, 고해상도와 함께 시간의 함수로서 레코드된다. 이후 이미지 기반 렌더링을 사용하여 사용자(180U)가 서 있는 위치와, 특히, 사용자의 각 눈의 POE (Point-of-Eye)의 좌표에서 아바코그래프를 렌더링한다.
일 구현에서, 이것은 사용자가 공간을 통해 이동할 때, 및 또한 장치(1300)의 인스턴스가 노출(2D40)의 인스턴스 뿐만 아니라 램프(2D8)로부터 광선(2D32)과 광선(2D34)을 센싱하는 사용자(181U)와 같은 다른 참가자에 대해 실시간으로 (예를 들어, 연속적으로, 주기적으로, 트리거에 기초하여, 및/또는 등) 수행되고 업데이트된다.
"HELLO WORLD"를 쓰는 데 사용되는 드로잉 도구(201)는 마케팅되고 시판될 수 있고, 광 스틱, 복셀 스틱, 픽셀 스틱, 광 검(light sword), VOX STIX (상표) 시스템, PIX STIX (상표) 시스템, LIGHT SABER (상표) 시스템, Pixel Saber (상표) 시스템, Pix Saber (상표) 시스템, PIXaber (상표) 시스템, VOXaber (상표) 시스템, LIGHT SWORD (상표) 시스템, LightBroom (상표) 시스템, 및/또는 등을 통해 여러 구현에서 본 명세서에서 언급될 수 있다.
일 실시예에서, DEG (디지털 아이 글래스)를 마케팅하는 방법은, (A) 판매용 DEG를 제공하는 것; (B) 드로잉 도구(201)의 자유 인스턴스를 제공하는 것, 또는 DEG에서 판촉 제안의 일부로서 드로잉 도구(201)의 론(loan)을 제공하는 것; (C) 고객이 이렇게 제공된 드로잉도구를 사용하여 경쟁(competition)에 참가할 것을 초대하는 것; 및 (D) 이 경쟁 결과로 인센티브를 제공하여, 간접적으로, 드로잉 도구(201)에서 DEG 제품을 판촉하는 것을 포함할 수 있다.
일 구현에서, 다수의 참가자가 토포스컬프팅이거나 또는 아바코그래프를 만들 때, 예를 들어, 장치(1300)의 별도의 인스턴스 각각으로부터 여러 각도로부터 가시광 레코드를 결합하여, 더 많은 정보를 캡처하고, 더 우수한 아바코그래프를 렌더링할 수 있다.
나아가, 일부 구현에서, 환경에 하나 이상의 보조 카메라, 센서, 광 소스, 프로젝터, 및/또는 등이 사용될 수 있다. 예를 들어, 게임 공간에서, 감시 카메라가 오버헤드로부터 사용될 수 있는 반면, 개인 플레이어는 참가자의 각자 수스베일런스 활동 레코드를 제공한다. 수스베일런스와 감시의 조합은 단독일 때보다 더 우수한 정확도의 베일런스 레코드를 제공한다.
카메라는, 일 구현에서, 이한 모드에서 동작될 수 있다. 예를 들어, 감시 카메라는 고해상도 가시광 레코드를 제공하는 반면, 수스베일런스 카메라는 "팔 길이의" 근거리 정확도로 시각적 위치 정보를 제공한다.
주파수-분할 다중화
일부 구현에서, 드로잉 도구(201)는 장치(1300)가 객체의 위치 및/또는 거리를 센싱하는 "취득물"과는 상이한 스펙트럼 밴드에서 동작할 수 있다.
예를 들어, 일 구현에서, 드로잉도구는 장치(1300)에 의해 사용되는 스펙트럼의 적외선 부분에 더 많은 에너지, 전력, 및/또는 등을 포함하지 않는 가시광을 방출하여 그 위치를 결정할 수 있다. 일 구현에서, 장치(1300)의 2개의 사용자는 서로의 센싱과 간섭하지 않을 뿐아니라, 드로잉도구가 적외선을 방출하지 않는 한, 드로잉도구와 간섭(예를 들어, 장치(1300)가 수동 적외선 비전을 사용하여 이를 찾아낼 수 있음)하지 않도록 (예를 들어, 2개의 상이한 주파수 밴드를 통해) 주파수-분할 다중화를 사용할 수 있다.
게임에서 상이한 플레이어는, 예를 들어, 상이한 컬러의 가시광을 사용할 수 있는 정도까지, 이러한 상이한 컬러는 또한 게임 시스템에 의해 사용될 수 있는 주파수 분할 다중화를 사용하여 여러 플레이어의 드로잉 도구를 명확화될 수 있다.
대안적으로, 예를 들어, 하나의 드로잉도구는 제1 "취득물" 동안 방출할 수 있고 다른 드로잉도구는 제2 취득물 동안 방출할 수 있고 이들 취득물은 장치(1300)의 2개 이상의 인스턴스로부터 인터리브되거나 인터레이스된 노출이므로 시분할 다중화가 사용될 수 있다.
나아가, 라이트스페이스의 원리는 (예를 들어, 슈퍼포지메트릭 이미징의 원리) 각 광 소스로 인한 최종 노출을 결정하는데 적용될 수 있다.
이 상황에서, 소스는 라이트스페이스에서 명확화될 수 있다. 나아가, 드로잉 도구(201) 내 각 광 소스는 이 소스로 인한 광이 센싱되도록 별도로 변조되어, 토포스컬프처의 개별 피스가 별도로 조작될 수 있다(예를 들어, 파이프 메쉬 또는 파이프 스컬프처의 개별 "스레드").
도 2e는 일 실시예에서 토포스컬프팅 시스템의 다른 상세를 도시한다.
도 2e는 사용자가 노출(2E12) 쪽으로 노출을 증가시켜, 종국적으로 노출이 훨씬 더 강해지는 노출(2E13)로 증가시키면서 나선형으로 공간을 통해 광 소스 (또는 손가락 끝)를 이동시킬 때 약한 노출(2E11)에서 시작하는 아바코그래프(2E10)와 같은 아바코그래프의 여러 예를 도시한다. 여러 구현에서, 노출에서 변동은 (예를 들어, 드로잉도구 인터페이스, 트리거, 가상 트리거 제스처, 미리 설정된 노출 프로파일, 및/또는 등을 통해) 사용자-제어가능할 수 있다, 자동화, 미리 설정된, 환경적으로 트리거되거나, 및/또는 등으로 수행될 수 있다.
일 구현에서, 트리거는, 예를 들어, 장난감 경주 자동차로부터 구조되는 60옴 레오스탯(ohm rheostat)일 수 있고, 더 많이 압착될 때 자동차를 더 빠르게 가게 하는 트리거를 압착할 수 있다. 이런 방식으로 드로잉도구는 트리거가 더 많이 압착될 때 더 밝게 빛나는 광 소스를 갖는 장난감 총으로 형성된다. 광은 출력이 연속적으로 조절가능하다. 따라서, "드로잉 총"으로서 드로잉 도구는 총 케이스(holster)로부터 그려지고 나서 공간 내 형상을 그리는데 사용될 수 있고 이 형상은 3D 공간에서 렌더링된 임의의 각도로부터 볼 수 있는 아름다운 광 페인트 같이 보인다.
대안적으로, 손가락 끝을 인식하는 구현에서, 효과는 예를 들어, 가상 광 소스의 세기를 증가시키기 위해 엄지 손가락이 집게 손가락 쪽으로 이동할 때 합성될 수 있다. 손가락(180F) 그 자체는 드로잉도구이고, 60 옴 레오스탯을 사용하는 것이 아니라, 엄지 손가락(180TT)은 손가락에 더 가까이 가서, 손가락 끝과 엄지 손가락 끝 사이의 검출 거리, 손가락과 엄지 손가락(180TT) 사이의 각도, 및/또는 등과 상관된 가상 광소스의 세기로 조절된다.
일부 구현에서, 아바코그래프가 그려질 때, 꽉 쥐는 제스처로 이것을 잡을 수 있다. 하나의 이러한 구현에서, 장치(1300)는, 예를 들어, 손들을 쥐거나(clasped) 또는 손가락들을 쥘 때 살 위에 살(flesh-on-flesh)이 컨택하는 것을 검출한다.
살 위에 살이 컨택하는 것은, 예를 들어, 살이 다른 살, 및/또는 등으로 가압될 때 일어나는 살의 변형에 의해 공간 내 3D 위치에 의해 센싱될 수 있어서, 이에 연속적으로 가변적인 제스처를 형성하는 압력의 정도를 확인하고 센싱할 수 있다. 연속적으로 가변적인 제스처는, 예를 들어, 비전 시스템(180V)을 통해, 엄지 손가락(180TT)에 대해 손가락(180F)의 각도로서 장치(1300)에 의해 취해진 "각도 FVT"라고 언급되는, 손가락(180F)과 엄지 손가락(180TT) 사이에 형성된 각도에 비례하는 램프 출력을 제공하는, 광 디머(dimmer) 제스처와 같은 파라미터화된 제어기로서 이 상황에서 사용가능하다.
일 구현에서, 각도 FVT의 코사인을 연산하고 사용하여 광 소스에 대해 PWM 운전자의 듀티 사이클을 조절하거나, 및/또는 가상 광 소스의 레벨을 제어할 수 있다.
가상 광 소스의 경우에, 조명 효과는 예를 들어 아바코그래프(2E10)의 광 소스와 인스턴스에 의해 룸 조명을 캡처하는 것으로 합성된다(예를 들어, 렌더링된다).
여러 종류의 아바코그래프가 조작될 수 있다. 예를 들어, 노출(2D90)의 파이프-형상의 인스턴스가 손 제스처를 사용하여 아바코그래프(2D91)로 개방되거나 벤딩되거나 재스컬프팅된다. 이 다각형 압출은 또한 아바코그래프(2D92)로 언랩핑(unwrapped)될 수 있다.
여러 형태의 컴퓨터 그래픽과 이미지-기반 렌더링은 높은 시각적 시각적 매력을 제공하는 포토리얼리스틱 스컬프처(photorealistic sculpture)를 제공하고, 기술 객체, 게임 객체, 또는 실제 및/또는 산업 목적으로 조작될 수 있는데, 예를 들어, 도시의 파이프워크를 설계하는 것, CFD(Computational Fluid Dynamics) 환경에서 토포스컬프팅될 수 있는 파이프를 통해 흐르는 가상의 물을 사용하여 가상 파이프로부터 유압음(hydraulophone)과 같은 가상 악기를 스컬프팅하고 구축하는 것 및/또는 등으로 조작될 수 있다.
도 2f는 일 실시예에서 손-기반 토포스컬프팅 메쉬기를 도시한다.
도 2f는 드로잉도구로 손가락 그 자체를 사용하는 일 실시예를 도시한다. 손가락은 도시된 예에서 "장갑 광(Glove Light)" 장난감과 같은 LED 장갑을 착용한다. 또 다른 구현에서, 손가락으로 프로젝션되는 검출가능한 구조를 포함할 수 있고, 손가락 또는 착용된 장갑, 및/또는 등에 고정된 반사기로부터 반사될 수 있는 광 소스를 가지고 손가락으로 프로젝션이 이루어진다. 일 구현에서, 드로잉도구는 (예를 들어, 손가락 추적만으로) 합성적으로 수행될 수 있다. 광이 존재하는 상황을 고려해 보자(빈 손 버전에서는, 이를 가상 광으로 고려할 수 있다).
일 구현에서, 8개의 LED의 선형 어레이가 존재하고(또는 합성되고), 이들 LED는, 예를 들어, 램프(2F64)에서 64개의 지점의 8 x 8 (8x8) 어레이에 의해 한정된 아바코그래픽 메쉬로 놓인다. 일 구현에서, 지점들은 스팻으로 모델링되고, 예를 들어, 감시 카메라와 유리한 지점을 나타낼 수 있고, 이에 따라 손(180MD)의 손 제스처를 통해 감시 메쉬, 또는 메쉬 도시, 또는 다른 메쉬 공간을 스위프아웃(sweep out)하고 한정할 수 있다.
메쉬는 램프(L11)로부터 노출(E1)과 같은 8개의 성장하는 노출을 포함할 수 있다. 램프(2F8)의 8개의 인스턴스는 제1 시점(point of time)에서, 램프(L11), 램프(L21), 램프(L31), ..., 및 램프(L81)를 한정한다.
램프(L11)는 노출(E1)을 생성하는 것으로 이동되고, 이 램프는 턴온 및 턴오프되거나 출력이 변하여 아바코그래프를 생성한다. 차후 일부 시점에, 이것은 램프(L12)로 다시 보이고 나서, 램프(L13) 등으로 다시 보이고, 노출(E1)의 8개의 상이한 부분을 만들기 위해 8개의 시간에 나타난다.
램프(L21)는 또한 램프(L22)로 다시 보이고 나서, 램프(L23) 등으로 다시 보인다. 램프(L81)로 내려 가는 각 램프는 경로를 트레이스아웃한다. 예를 들어, 램프들이 여러 시점에서 고려되므로 램프(L81)는 램프(L82)로 트레이스아웃하고 나서 램프(L83)로 트레이스아웃한다.
도시된 구현에서, 좌측으로부터 우측으로 가로지르는데 시간이 들고, 상부에서 하부로 가는데 공간이 있다.
8개의 램프는 공간적으로는 샘플링(이산화(discretized))되지만, 시간적으로는 거의 연속인 공간-시간 연속체(space-time continuum)를 트레이스아웃하지만, 도시된 예에서는 8 x 8 (즉, 64 픽셀) 어레이로 이를 샘플링하도록 선택하였다. 공간과 매칭하는 시간을 분할하는 작업을 수행하는 수단, 장치, 디바이스, 소프트웨어, 펌웨어, 또는 등은 메쉬기(상표) 방법 또는 시스템이라고 언급된다. 메쉬기를 통해 아바코그래프로부터 3D "와이어프레임"을 생성할 수 있다. 교과서의 라인 페이퍼와 같은 평행한 라인의 행에 적용될 때, 메쉬기는 곡선 페이퍼로부터 그래프 페이퍼와 같이 보이는 것을 생성한다. 공간-시간 연속체에서, 메쉬기는, 일 실시예에서, 공간 증분과 매칭하는 시간 증분을 결정하여서, 메쉬의 축이 등방성이 된다. 유추에 의해, 일 실시예에서, 아바코그래피는 비드없는 아바커스와 유사한 3D 공간 내 객체를 생성한다. 메쉬기는 비드들 사이의 간격이 와이어들 사이의 간격과 매칭하는 방식으로 아바커스 같은 노출의 각 "와이어" (노출 스트리크 라인)에 가상 비드를 삽입한다. 이후 비드는 와이어에 수직 방향으로 함께 연결되어, 와이어프레임 메쉬를 생성할 수 있다.
이런 방식으로, 손가락은 실제 및/또는 합성된 광 소스로 공간에서 "손가락 페인팅"을 하여, 일 실시예에서, 광 또는 손 제스처, 또는 등으로 텍스처-맵핑되거나 또는 "페인트"될 수 있는 와이어프레임 모델 또는 메쉬를 생성할 수 있다.
따라서, 일 구현에서, 메쉬는 시간적으로 직접 한정되고, 공간적으로 간접 한정된다(예를 들어, 시간적으로 유추된다).
비디오는 스위프 횡단으로 캡처되기 때문에, 컨텐츠는 (예를 들어, 합성적으로) 후-제작(post-production)에서 광 출력을 가변시켜, 사후에 임의의 원하는 패턴을 달성하도록 편집될 수 있다.
일 구현에서, 디지털 아이 글래스(190)의 사용자는 드로잉 도구(201)를 사용할 수 있다. 각 사용자는 드로잉 도구의 인스턴스를 추적할 수 있고, 2개 이상의 사용자는 사용자 상호 작용 동안 및/또는 사용자 상호 작용이 완료된 후 임의의 물리적인 마킹을 생성함이 없이 디지털 아이 글래스(180)와 디지털 아이 글래스(190)를 통해 공유된 드로잉 공간 (예를 들어, 도 1a의 제1 증강매개된-현실 공간(1000)에서)을 경험할 수 있다. 레코드는 협력 세션(session)으로 만들어질 수 있어서, 레코드는 플레이백될 수 있고 이에 따라 사용자는 추가적인 연구를 위해 협력 세션을 검토할 수 있다.
이런 형태의 컴퓨팅은 메타퍼를 요구하지 않아서, 일 구현에서, 직접 사용자 인터페이스 경험을 형성하는 자연 사용자 인터페이스를 생성한다.
도 2g는 일부 구현에서 메타테이블 수스페이스(상표) 시스템으로 언급될 수 있는 반대 표면과 메타 테이블의 일 실시예를 도시한다.
도 2g는 일 실시예에서 반대 표면과 메타 테이블을 도시한다. 일 구현에서, 스마트 표면은 감시 카메라(예를 들어, 소유물(property), 건축물(architecture), 벽, 천장(ceiling), 보드 등에 고정된 카메라)에 의해 제어될 수 있는 반면, 표면(130)의 반대 인스턴스(inverse instance)는, 예를 들어, 사용자(180U)에 의해 착용될 수 있는 착용가능한 카메라 시스템에 의해 추적되도록 구성되거나 및/또는 최적화될 수 있다.
일 구현에서, 제스처 추적은 예를 들어 수스베일런스 하에 있는 객체와 같은 객체에 대해 수행될 수 있다. 일 구현에서, 수스베일런스는 활동하는 참가자에 의해 활동을 레코드, 센싱, 캡처 및/또는 등을 수행하는 것이다. 일 구현에서, 착용가능한 카메라는 감시 카메라가 아니라 수스베일런스 카메라이어서, 사람-중심 상호 작용 설계와 같은 사람 중심 좌표를 제공할 수 있다.
일 구현에서, 객체에 대해 수행되거나 객체에 수행된 제스처는 메타-촉각 경험 및/또는 정보를 제공하고, 예를 들어, 여기서 메타 정보는 객체 및/또는 관련된 객체에 고정, 마킹, 디스플레이, 지시, 연관, 제공, 및/또는 등이 수행될 수 있다. 일 구현에서, 이러한 경험 및/또는 정보는 햅틱(예를 들어, 터치) 및/또는 오토햅틱(autohaptics)(예를 들어, 자기 자신의 터치, 각자의 손이 함께 할 때 센싱, 및/또는 등)을 제공한다. 일부 구현에서, 제스처 센싱과 결합된 햅틱과 메타햅틱은 메타 햅틱으로 언급될 수 있고, 여기서 메타 정보는 햅틱과 제스처 센싱의 넥서스(nexus)에 존재한다. 일부 구현에서, 각자의 신체와 햅틱, 예를 들어, 손과 터치, 가운데 손가락과 어느 것을 터치하면서 집게 손가락과 엄지 손가락과 터치하는 것, 및/또는 등은, "오토햅틱스"라고 언급될 수 있다. 예를 들어, 일 구현에서, 오토햅틱 다중 터치 제스처는, 일 구현에서, 3D 공간에서 9개의 자유도를 가지는 손가락 끝 지점에 의해 삼각형을 형성하는 나머지 3개의 손가락으로 객체를 터치하면서 엄지 손가락과 집게 손가락을 잡는 것을 포함할 수 있다. 일 구현에서, 10번째 자유도는 엄지 손가락과 집게 손가락이 함께 압착되는 정도에 의해 한정될 수 있다. 일 구현에서, 엄지 손가락과 집게 손가락에 의해 만들어진 폐쇄된 살 루프는 넓고 다양한 오토제스처의 입력 및/또는 추가적인 파라미터를 제공할 수 있다. 일부 구현에서, 메타 햅틱에 따르는 객체는 "메타가능한(metable)"것으로 언급될 수 있고, "메타가능하지 않은(immetable)" 것으로 언급될 수 있다. 일 구현에서, 사용자의 도달, 터치, 파지, 및/또는 등을 넘는 개체는 메타가능하지 않을 수 있고, 예를 들어, 별과 먼 행성(planet), 태양, 달, 매우 높은 천장을 갖는 빌딩에서 천장 부근 높이에 있는 객체(2G140), 및/또는 등이 있을 수 있다. 일 구현에서, 객체(2G150)와 같은 도달 범위를 약간 넘는 객체는 "준(semi)-메타가능한" 것으로 언급될 수 있고, 토포스컬프팅 완드(2G160), 드로잉 도구(201), 및/또는 등과 같은 메타 완드로 도달될 수 있다.
일 구현에서, 메타가능하지 않은 객체는, 예를 들어, 일 구현에서, 메타가능한 객체에 대해서보다 더 낮은 일부 햅틱 감각(sensation)으로 가상으로 터치되어 상호 작용할 수 있다. 토포스컬프팅 완드(2G160)는, 일 구현에서, 지오폰, 바이브레이터, 페이저 모터, 택타이드(Tactaid)(상표) 시스템, 및/또는 등을 장착하여, 예를 들어, "완드되는(wanded)" 먼 객체로부터 오는 가상 햅틱을 운반할 수 있다. 예를 들어, 완드를 잡고, 예를 들어, 먼 은하에서 링(2G161)을 보면, 완드는 안드로메다 은하(Andromeda galaxy)가 링(2G161)에 위치될 때 진동할 수 있다. 따라서, 링(2G161)은, 일 구현에서, 햅틱 뷰파인더(viewfinder)로 동작하여, 사용자로 하여금, 예를 들어, "별에 터치"하거나 또는 하늘, 부근 또는 먼 객체, 빌보드, 광고, 문서 또는 컴퓨터 스크린 상의 이미지, 및/또는 등을 "느낄" 수 있게 한다. 일 구현에서, 지오폰 신체 접촉은 장치(1300)에서 구현되어 사용자는 별을 보고 헤드에서 진동으로 특정 것을 느낄 수 있게 한다. 또 다른 구현에서, 토포스컬프팅 완드(2G160) 및/또는 장치(1300)의 핸들은 직접 및/또는 간접 자극 (예를 들어, 순한(mild), 통증 없는 전기 충격) 및/또는 다른 형태의 자극을 생성하도록 구성된 전극을 장착하여, 원격 또는 먼 객체와 연관된 접촉 감각을 생성할 수 있다.
일 구현에서, 토포스컬프팅 완드(2G160)는 이 위에 있거나 이 위에 일부 제어를 가지는 사용자 파지가능한 부분을 구비한다. 예를 들어, 사용자 파지가능한 부분은, 일 구현에서, 가변적인 저항기를 포함할 수 있는 트리거일 수 있고 및/또는 이 트리거를 포함할 수 있다. 15, 25, 45, 60, 및 90 옴의 저항 값에 있는 트리거 레오스탯은, 조명 소스와 직렬로 배선될 수 있고, 및/또는 광(L1), 광(L2), 광(L3) 등과 같은 기능의 제어를 위해 토포스컬프팅 완드(2G160)와 연관된 장치(1300) 및/또는 하나 이상의 마이크로제어기에 의해 센싱될 수 있다.
일 구현에서, 토포스컬프팅 완드(2G160)는 토포스컬프팅 완드이다. 일 구현에서, 토포스컬프팅 완드(2G160)는 "매직(magic) 완드"로 게임에 사용될 수 있다. 일 구현에서, 토포스컬프팅 완드(2G160)는 스컬프팅 도구로 사용되어, 예를 들어, 3D 공간에서 여러 객체를 형성할 수 있다. 일 구현에서, 토포스컬프팅 완드(2G160)는, 예를 들어, 시각적 기술 형태로, 객체를 시각화하는 방식, 객체를 설계하는 방식, 3D 시각화, 네비게이션, 및/또는 등을 수행하는 방식으로 광벡터(예를 들어, 페인팅과 스컬프팅 광벡터)를 위해 사용될 수 있다.
일 구현에서, 토포스컬프팅 완드(2G160)는 링(2G161) 또는 다른 형상 및/또는 배열의 광 소스, 예를 들어 컬러 어드레스가능한 LED(Light Emitting Diodes)이다(를 포함한다). 링(2G161)은 램프(L1), 램프(L2), 램프(L3) 등을 포함한다.
일 구현에서, 토포스컬프팅 완드(2G160)는 토포스컬프팅 완드(2G160)의 샤프트(2G165)를 스핀시키는데 사용될 수 있는 분리가능한 그립(2G163)을 포함할 수 있는 핸들(2G164)을 구비한다. 일 구현에서, 완드를 스핀시키는 이 능력은 아바코그래프(2G168)와 같은 긴 노출 아바코그래프에서 구를 생성한다. 구형 아바코그래프는 3D 공간에서 "파지"될 수 있고, 예를 들어, 다른 객체를 설계하고 구축하는 "프리미티브(primitive)"로서 조작될 수 있다.
일 구현에서, 아바코그래프(2G168)와 같은 구형 아바코그래프는 디너 판, 받침 접시(saucer), 디스크, 및/또는 등과 같은 메타가능한 원형 객체(2G130)를 사용하여 생성될 수도 있고, 여기서 파지와 스핀 제스처는 센싱 및 디스플레이 장치(1300)를 통해 인식되고, 포인트 클라우드가 결정되고 압출되거나, 및/또는 등이 수행된다. 메타가능한 원형 객체(2G130)는 메타가능한 객체라고 언급될 수 있다. 일 구현에서, 센싱 및 디스플레이 장치는 특정, 특수화된 및/또는 전용 이펙터 및/또는 센서 신호를 사용하여 메타가능한 원형 객체(2G130)로부터 구형 바코그래프를 생성할 수 있다.
객체(2G120)와 같은 다른 메타가능한 객체는, 일부 구현에서, 아바코그래프를 생성하는데 사용될 수 있다. 일 구현에서, 메타터치는, 예를 들어 객체가 표면(130)과 터치하는 경우, 객체가 손(180MS), 손(180MD), 및/또는 등과 터치하는 경우 인식된다. 일 구현에서, 상이한 제스처는 객체(2G120)가 다른 손과 터치하는 하나의 손에 의해 터치될 때(예를 들어 두 손이 서로 터치하면서 두 손이 객체와 터치하거나, 또는 다른 손이 객체와 터치함이 없이 다른 손이 제1 손과 터치하면서 한 손이 터치하는 경우, 및/또는 등)보다 한 손에 의해 터치될 때 할당될 수 있다. 메타 햅틱의 이들 예는 고유한 효과를 가지는 고유한 제스처를 형성한다.
예를 들어, 한 손(180MS)으로 토포스컬프팅 완드(2G160)를 잡는 사용자는 다른 손(180MD)으로 디너 판 또는 다른 객체와 터치한다; 이 제스처는, 일 구현에서, 사용자가 아바코그래피를 신호하여, 디너 판이 메타-브리콜라주를 위한 아바코그래픽 객체로 인식되는 것을 의미할 수 있다. 일 구현에서, 메타 브리콜라주는, 예를 들어, 테이블 위에 놓여 있거나, 작업 환경에서 수집되거나, 주위를 걸으면서 수집되거나, 및/또는 등으로 이루어진 실제 객체로부터 가상 객체를 만드는 것이다.
일 구현에서, 로켓 엔진, 모터사이클의 배기 매니폴드, 파이프 스컬프처, 및/또는 등은 디너 판 또는 메타가능한 원형 객체(2G130)를 잡는 것에 의해, 이를 스핀시켜 구를 만드는 것에 의해, 공간에서 디너 판을 이동시켜 (실린더를 압출하여) 파이프를 만드는 것에 의해, 3D 공간에서 아바코그래프(2G168) (완드에 의해, 디너 판, 손 제스처에 의해, 및/또는 등에 의해 생성되었든지 여부에 상관없이, 또는 손 제스처를 사용하여 3D 객체의 라이브러리로부터 리콜되었든지 여부에 상관없이, 구 객체와 같은 것)를 파지하는 것에 의해, 2개의 객체를 함께 결합시키는 것에 의해, 및/또는 등에 의해 설계될 수 있다.
일 구현에서, 구형과 원통형과 같은 일부 형상은, 형상의 라이브러리로부터 당겨질 수 있다. 예를 들어, 우측 손(180MD)으로 드로잉 형상을 만들면서 좌측 손(180MS)으로 디너 판과 터치하는 것과 같은 손 제스처는, "원을 그리는" (예를 들어 이 디너 판과 같은 것을 작성하는) 제스처로 인식될 수 있다. 일 구현에서, 장치(1300) 및 또는 컴포넌트는 터치된 객체의 이미지를 검색하고, 이 이미지를 형상 라이브러리의 레코드와 비교하고, 하나 이상의 가장 가까운 매칭하는 형상을 선택할 수 있다. 일 구현에서, 사용자는 터치된 객체에 대해 복수의 선택가능한 형상이 제시될 수 있고, 여기서, 객체 이미지와 저장된 형상 레코드 사이의 비교를 통해 임계값 미만만큼 구별가능한 결과를 산출할 수 있다.
일부 구현에서, 보다 복잡한, 난해한(intricate), 및/또는 화합물(compound) 형상이 사용되거나 및/또는 생성될 수 있다. 예를 들어, 사용자(180U)는 디너 판을 픽업하고 이 디너 판을 공간에서 파도쳐서, 예를 들어, 매니폴드(2G184)를 만들 수 있다. 매니폴드(2G184)는 곡선 파이프-같은 형상일 수 있다. 이러한 매니폴드에서, 사용자(180U)는 원형 아크에서 디너 판을 파도쳐서, 예를 들어, 전기 도관에 사용된 원만하게 벤딩된 그레이 플라스틱 엘보우 피팅(elbow fitting)과 같은 "스위프(sweep)" 파이프를 생성할 수 있다.
매니폴드(2G184)는, 일 구현에서, 공간에서 아크로 객체 주위에 디너 판, 덕트 테이프의 롤, 프리스비(Frisbee), 및/또는 등을 파도치는 것에 의해 생성될 수 있다. 일 구현에서, 이러한 매니폴드는 토포스컬프팅 완드(2G160)로 생성될 수 있다.
일부 구현에서, 매니폴드는 2D 및/또는 3D 공간에서 뻗거나, 파지하거나, 찌르거나 및/또는 등을 수행하는 것에 의해 형성되고 신장되고 이동될 수 있다. 일 구현에서, 두 손이 파이프 또는 스위프 또는 2개의 단부를 가지는 다른 유사한 객체의 두 단부와 터치하는 경우, 이 객체는 상이한 컬러로 성장하고, 플래쉬하고, 플리커(flicker)하고, 및/또는 등을 수행하도록 만들어져, 예를 들어, 선택된 객체가 매니폴드(2G189)인 것으로 선택된 것을 나타낸다. 선택된 객체가 이런 방식으로 하이라이트되면, 손 제스처는 예를 들어 손가락의 곡률을 사용하여 파이프 단부의 원하는 곡률을 나타내도록 파이프의 굴곡이나 휨에 허용되거나 인식되거나 및/또는 이와 연관된다. 일 구현에서, 손(180MS)의 굴곡 손가락은 더 타이트한 곡선 반경이 사용자(180U)에 의해 요구되는 것을 나타내는데, 이에 따라 사용자의 좌측(도 2g에서 뷰어의 우측)으로 파이프의 단부는 "언랩핑"하는 손 제스처에 응답하여 "직선화된" 파이프의 다른 단부보다 더 타이트한 곡선을 가지게 렌더링된다.
일 구현에서, 비디오그래픽 아바코그래프는 공간을 스위프한(sweep) 객체의 비디오, 이미지, 위치 데이터, 및/또는 등과 같은 객체 데이터를 캡처하는 것을 포함하는 동작(1); 및 객체 데이터를 세그먼트화하여 아바코그래프를 만드는 것을 포함하는 동작(2)을 포함하는 CEMENT (Computer Enhanced Multiple Exposure Numerical Technique)을 사용하여 편집될 수 있다. 일 구현에서, 토포스컬프팅 완드(2G160)를 사용할 때, 예를 들어 광(L1), 광(L2), 광(L3) 등이, 예를 들어, 슈퍼포지메트릭 분석과 라이트스페이스)의 원리를 사용하여 이들 광을 제외하고는 모든 광을 무시할 수 있는 록인(lock-in) 카메라, 비전 시스템, 및/또는 등에 의해 변조되고 센싱되는 경우, 세그먼트화는 자동이다. 동작(3)은 특정 제스처 취득물의 시간에 따라 적분된 객체의 에지 또는 림 압출을 디스플레이하는 것을 포함한다. 일 구현에서, 취득물은 손 제스처로 시작되고 중지되고, 또는 완드의 경우에, 취득물은 트리거(2G162)를 압착하고 해제하는 것에 의해 시작되고 중지될 수 있다. 일 구현에서, 취득물은 예를 들어 매니폴드(2G184)와 결합하는 곳에서 좌측에서 부드럽게 시작해서, 우측에서 급하게 종료하는 매니폴드(2G181)에 도시된 바와 같이 시작 또는 종료를 "나타내기(feather)" 위해 토포스컬프팅 완드(2G160)를 이동시키면서 약간 트리거를 용이하게 하는 것에 의해 유연한 시작과 유연한 종료를 구비한다. 완드를 사용하지 않는 구현에서, 엄지 손가락과 집게 손가락 사이에 각도를 가변시켜, 아바코그래프의 시작이나 종료를 "나타내는" 연속적인 트리거를 생성하는 비-디지털 다중 손가락 제스처가 사용될 수 있다. 일 구현에서, 광(L1), 광(L2), 광(L3) 등에 의해 형성된 아바코그래프는, 지점과 크로스 메쉬(cross-meshing)를 보간하는 것에 의해 토포스컬프처에 적분되어 연속적인 곡선 파이프 또는 등과 같이 충전된 "와이어프레임(wireframe)" 모델을 생성한다.
일 구현에서, 매니폴드(2G182), 매니폴드(2G181), 및 매니폴드(2G184) 사이에 결합은 매니폴드(2G184)로 "푸시"하는 것에 의해, 예를 들어, 다른 손(180MS)으로 주먹을 쥐면서 한 손(180MD)으로 매니폴드(2G184) 쪽으로 매니폴드(2G181) 또는 매니폴드(2G182)를 드로잉하는 것에 의해 만들어져서, 매니폴드(2G184)가 다른 파이프와의 파이프 연결을 수신하도록 "펀칭된" 홀(hole)을 가진다는 것을 나타낸다.
일 구현에서, 파이프들이 연결되면, 유체 흐름 시뮬레이션이, 예를 들어, 누설, 연결 등을 체크하기 위해 실행될 수 있다. 예를 들어, 파이프들이 결합될 때, 테스트 유체는 특정 컬러로 렌더링되어 어느 파이프가 플럼빙 회로(plumbing circuit)에 함께 연결되었는지를 보여준다.
일 구현에서, 부드럽게 흐르는 곡선 파이프 회로는 브리콜로직(Bricologic) (상표) 시스템을 사용하여 설계되거나, 시뮬레이팅되거나 및/또는 테스트될 수 있는 변덕스러운 스컬프처(whimsical sculpture), 실제 플럼빙(practical plumbing), 전기 도관 설치로 구축되거나 및/또는 생성될 수 있다. 일 구현에서, 브리콜로직은, 모든 가정용품(household) 객체, 산업적 및/또는 설계 객체, 건축물 요소, 특수하게 설계되거나 및/또는 태그된 객체, 및/또는 등을 포함하는 다양한 객체를 사용하여 물건을 구축하는데, 예를 들어, 메타 제스처, 메타스컬프팅(metasculpting), 아바코그래피, 토포스컬프팅, 및/또는 등을 위한 객체를 사용하여 논리적 (연산) 브리콜라주, 예를 들어, 틴커링(tinkering)이다.
동작(4)에는 다음이 적용된다: 일 구현에서, 매니폴드(2G189)와 같은 파이프(굴곡된 파이프)는, 예를 들어, 노출의 특정 세그먼트에 대해 노출의 광량그래픽 합산으로 렌더링된다. 이러한 매니폴드(2G189) (예를 들어, 파이프)는, 이에 따라 이동되는 디너 판, 및/또는 등의 객체에 의해 예를 들어, 사용자의 좌측 손(180MS)으로부터 사용자의 우측 손(180MD)으로 스위프되는. 예를 들어, 토포스컬프팅 완드(2G160)를 사용하여 생성될 수 있다. 사용자(180U)는 손(180MS)을 파이프의 중심 쪽으로 이동하는 일 구현에서, 예를 들어, 이 손을 단축하기를 원하는 ("손을 안쪽으로 압착하기"를 원하는) 일 구현에서, 비디오 프레임은 레코드의 시작으로부터 제거되어, 적분된 노출 프레임들의 합계가 시퀀스에서 나중에 시작한다. 예로서, 10초의 비디오 노출로부터 만들어진 아바코그래프는 600 프레임(초당 60 프레임 x 10 초)을 가질 수 있다. 전체 노출은 프레임 1로부터 프레임(600)까지의 광량그래픽 합계이다. 사용자의 좌측 손에 대응하는 파이프의 종료시에 파이프를 단축시키는 것은, 제스처 인식 및/또는 손-위치 인식을 사용하여, 손이 파이프를 따라 안쪽으로 이동한 곳을 결정하는 동작(4a); 공간 위치의 이 변화를 시간의 변화로 변환시키는 공간-시간 보상(compensation)을 계산하여 (예를 들어, 원래의 노출 가속도를 보상하여), 공간 위치를 시간 위치로 변환시키는 것, 예를 들어, 비디오를 통한 경로의 1/4에 대응하는, 예를 들어, 좌측 손이 파이프를 따라 거리의 1/3 안쪽으로 이동한 것과 같은 것을 포함하는 동작(4b); 시간 위치를, 예를 들어, 프레임 수 150일 수 있는 비디오의 프레임 수로 변환하는 것을 포함하는 동작 (4c); 및 비디오 프레임(151)으로부터 600까지 새로운 광량그래픽 합계를 연산하고, 프레임 1로부터 150까지의 기여도를 더 이상 포함하지 않는, 파이프의 새로운 아바코그래프로 이 합계를 디스플레이 하거나 렌더링하는 것을 포함하는 동작(4d)을 수반한다.
마찬가지로, 우측 손(180MD)은 적분된 노출의 합산의 종료 프레임을 제어할 수 있다. 예를 들어, 우측 손을 중심 쪽으로 이동시키면 이 합계를 변화시켜 프레임(150)으로부터 프레임(600)으로 가는 대신, 이제 프레임(150)으로부터 프레임(400)으로 가게 할 수 있다. 따라서, 긴 노출 사진은 두 손에서 시작하고 종료하는 트레이스의 스트리크로 생성될 수 있고, 손이 이동함에 따라, 스트리크 및/또는 사진이 렌더링되어, 예를 들어, 비디오 시퀀스에서 적절한 프레임을 선택하는 것에 의해 손의 종료 지점과 매칭하게 한다. 일 구현에서, 비전 시스템은 진짜 3D이므로, 결과는 사용자가 위치된 임의의 각도로부터 렌더링될 수 있다. 또한, 하나 이상의 추가적인 카메라가 환경에 고정되어, 예를 들어, 공간을 통해 이동한 완드 또는 객체의 고해상도 노출을 캡처하여, 원하는 경우 현실적으로 사진을 렌더링할 수 있다(예를 들어, 실제로 긴 노출 사진 같이 보여서 자동차 헤드라이트가 예를 들어 어두운 도로에서 내려가는 것을 초래한다).
동작(5)에는 다음이 적용된다: 일 구현에서, 메타-공간-시간 연속체 운영자는 공간과 시간 사이의 관계, 예를 들어, 아바코그래프의 비디오 레코드의 공간과 프레임 수 사이의 관계를 결정한다. 비디오 레코드는, 예를 들어, 표면(130)과 같은 압출기 객체(또한 객체라고도 지칭됨) 또는 토포스컬프팅 완드(2G160)에 있는 모든 지점의 포토리얼리스틱 트레이스 및/또는 진짜 3D 위치를 캡처할 수 있다. 압출기 객체가 토포스컬프팅 완드(2G160)일 때, 트리거(2G162)의 위치와 같은 추가적인 메타 정보가 레코드될 수 있다. 일부 구현에서, 압출기는 또한 프린트된 문자, 제스처 문자, 2D 이미지, 아이콘, 노즐, 압출 다이(extrusion die), "쿠키 커터(cookie cutter)", 및/또는 등일 수 있다. 예를 들어, 우측 손(180MD)으로 압출 제스처를 당기면서 사용자(180U)가 좌측 손(180MS)으로 신문 헤드라인에 있는 문자 I"를 가리키는 경우, "I" 빔이 문자 "I"를 압출하는 것에 의해 만들어진다. 유사하게, 가상 "앵글 아이언(angle iron)" 빔은 한 손으로 문자 "L"를 가리키고 이를 다른 손으로 압출하는 것에 의해 만들어질 수 있다. 일 구현에서, 컴퓨터 비전은 이 문자의 정확한 폰트를 사용하여, 예를 들어, 사용자는 뉴스 프린트된 폰트, 또는 컷아웃(cutout), 어린이의 문자 블록, 및/또는 등과 같은 여러 실제 물리적인 "I" 형상의 객체를 사용하여, 예를 들어, 빔 강도, 강성의 컴퓨터 시뮬레이션을 사용하여 신속하게 빔 설계를 하고 테스트할 수 있다.
일 구현에서, 공간-시간 운영자는, 예를 들어, 빔 또는 다른 압출을 따라 동일한 거리가 비디오에 위치될 수 있도록 빔을 따라 어느 위치에 비디오의 어느 프레임이 대응하는지를 결정한다.
동작(6)에는 다음이 적용된다: 일 구현에서, 교차-메쉬가, 예를 들어, 공간 및/또는 시간적으로 동일한 지점에 적용된다. 도 2g에 도시된 트레이스는 압출 경로를 따른다. 일부 구현에서, 교차 메쉬는 파이프를 따라 원으로 디스플레이될 수 있고, (일 구현에서, 파이프를 구성하는 파이프-형상의 아바커스의 각 "와이어"를 따라 "비드"로서 디스플레이될 수 있고, 여기서 특정 시점에 대응하는 각 비드 세트가 "와이어"와 결합되어 원을 형성한다), 예를 들어, 하나의 원은 파이프를 따라 각 거리 유닛에 렌더링되거나, 및/또는 가변적인 간격 프로파일에 따라 이격된다.
이런 방식으로, 열십자 메쉬(crisscross mesh)가 생성되고, 이 메쉬는, 예를 들어, 광량그래픽적으로(photoquantitigraphically) 비디오 프레임을 합산하는 것에 의해 생성된 긴-노출 "광벡터 페인팅" 사진과 유사한 만족스런 외관을 가지는 포토리얼리스틱 성장 광으로 렌더링될 수 있다.
일 구현에서, 가위, 및/또는 등으로 컷아웃될 수 있는 디너 판, 박스, 카드보드와 같은 메타가능한 객체는 사용자(180U)에 의해 사용되어, 예를 들어, 풀, 테이프, 가위, 및 다른 객체를 사용하여 로켓 엔진을 구축할 수 있다. 일 구현에서, 장치(1300)의 비전 시스템은, 예를 들어, 이미지 비교를 통해, 풀, 테이프, 가위, 및/또는 다른 컴포넌트를 인식하여, 사용자가 어떤 것을 구축하거나, 명령 데이터 및/또는 애플리케이션을 수행하거나, 사용자가 구축하려고 하는 것을 결정하는, 및/또는 등을 추론할 수 있다.
일 구현에서, 메타가능한 수스페이스는, 예를 들어, 표면(130)이 터치될 때를 센싱하고, 그 위의 손 제스처를 센싱하는 것에 의해 토포스컬프팅 제스처를 센싱하는 것을 지원하는 추가적인 장치(2G169)를 갖는 표면(130)일 수 있다.
일부 구현에서, 장치(2G169)는 테이블 위에 터치를 센싱한다. 이것은, 예를 들어, 장치(1300)가 실제로 테이블을 가압하는 손가락과 테이블에 가까이 있으나 떨어져 있는 손가락들 사이의 차이를 센싱하는데 곤란성이 있는 경우 적용될 수 있다. 일 구현에서, 장치(2G169)는, 예를 들어, 다른 사용자(181U)에 의해 착용된 장치(1300)의 다른 인스턴스이고, 여기서 "다른 사람의 눈을 통해 보는" 능력은 측면도를 허여한다. 일 구현에서, 테이블 위에 가로질러 보는 카메라가 사용될 수 있다.
일 구현에서, 표면(130)은 사람 및/또는 기계 판독가능한 마킹 격자를 그 위에 포함하여, 예를 들어, 표면은 사용자가 표면 위에 손을 배향하는 것을 도와주는 도트 또는 다른 형상의 어레이를 그 위에 구비한다. 일 구현에서, 터치될 때, 예를 들어, 직접(촉각) 및 간접(예를 들어, 찾아내기 어려운 마일드한 전기 자극에 의해) 손가락에 자극을 제공할 때, 촉각 도트가 사용될 수 있다. 간접 자극은, 예를 들어, 객체가 느껴지게 할 수 있다. 따라서, 일 구현에서, 매니폴드(2G189)와 같은 공중 가상 객체와 터치하면서 표면(130)에 좌측 손을 두는 사용자(180U)는, 예를 들어, 마일드한 전기 충격을 통해 이와 터치하면서 통증 임계값 아래에, 및/또는 불량한 발견 품질(예를 들어, 정확히 어느 곳으로부터 오는지를 말할 수 없는 것)을 가지는 "쑤시는(tingle)" 느낌을 받는다. 대안적으로, 장치(1300)의 헤드기어에서 클릭 사운드 및/또는 진동이 사용자가 터치를 잘못한 단서일 수 있다. 이런 방식으로, 매니폴드(2G189)는 터치될 때 매우 잘 "살아 있는(alive)" 것 같이 만들어질 수 있는데, 예를 들어, 터치될 때 불량한 발견을 한 것이 발생하므로 세계에서 실제로 거기에 있는 것 같이 보인다.
일부 구현에서, 수스베일런스를 통해 센싱되는, 표면(130) (또한 메타가능한 객체 또는 메타가능한 표면이라고 언급되는)을 가지는 테이블은 메타가능한 수스페이스(상표) 시스템으로 언급될 수 있다. 일 구현에서, 자기 신체(auto body)와 같은 형상의 표면은, 상부일 수 있지만, 수스페이스는 그 내부일 수 있고, 예를 들어, 신체가 이격되었거나 및/또는 뒤집혀 있는지를 볼 수 있다.
일 구현에서, 수스페이스는 수스베일런스, 예를 들어, 보는 것을 하는 표면(예를 들어 센서를 갖는 표면)이 아니라 보이는 표면에 따른다. 수스페이스는, 일부 구현에서, 반대 센서(inverse sensor)를 가지는 것처럼 동작 및/또는 작용하는 것으로 말할 수 있다.
일 구현에서, 에피트로초이드(epitrochoid)(이 에피사이클로이드(epicycloid)는 예시적인 것임)는 더 큰 디스크의 표면 위에 작은 디스크를 롤링하는 것에 의해 형성될 수 있다. 일 구현에서, 하이포트로초이드(hypotrochoid)(하이포사이클로이드(hypocycloid)는 예시적인 것이다)는 더 큰 디스크의 수스페이스 위에 작은 디스크를 롤링하는 것에 의해 형성될 수 있다.
일 구현에서, 큰 곡률 반경의 한계를 취하면, 하이포트로클로이드(hypotrocloid)와 에피트로클로이드(eptrocloid)는 트로클로이드(trocloid)(사이클로이드(cycloid)는 하나의 예임)가 될 수 있다. 이러한 구현에서, 표면과 수페이스(souface)는 병합될 수 있다.
상기 설명된 디스크 예에서, 수페이스 및/또는 표면은 1-차원으로 고려될 수 있다. 2차원 구현에서, 하이퍼트로클로이드(hypertrocloid)는 일부 경우에 "하이퍼룰렛(hyperroulette)"이라고 언급될 수 있는 다른 실린더, 원추체, 구, 박스, 쟁반, 및/또는 등 위에 실린더, 원추체, 구, 박스, 및/또는 등을 롤링하는 것에 의해 구성될 수 있다. 일 구현에서, 하이퍼사이클로이드(hypercycloid)는 표면 및/또는 수스페이스(예를 들어, 편평한 또는 곡선) 위에 롤링하는 객체의 외부 표면을 따라 라인에 의해 트레이스아웃되는 하이퍼트로클로이드(hypertrocloid)의 일례일 수 있다. 예를 들어, 긴 노출 사진 동안 테이블을 가로질러 롤링하는 실린더 (예를 들어, 카드보드 메일링(mailing) 튜브)의 외부 에지를 따라 길이방향으로 이어지는 광 로프, 또는 되반사 테이프, 또는 컬러 테이프, 또는 컬러 라인은 일부 경우에 토포로이드(Topoloid) (상표) 시스템 또는 토포이드(Topoid)(상표) 시스템이라고 언급될 수 있는 이미지, 사진 문서, 및/또는 등을 형성할 수 있다. "토포로이드(Topoloid)"는 상기 마다 형성된 아바코그래프, 또는 아바코그래프 (즉 그 "와이어프레임" 메쉬)의 메쉬 버전을 말한다. 일 실시예에서, 메쉬 버전은 아바코그래프에서 메쉬기를 동작시키는 것에 의해 구성된다. 이 실시예에서, 광을 연결하는 라인과 함께 광의 행은 장치(1300)에 의해 인식되어 광이 아바커스의 "와이어"를 트레이스아웃하고, 테이프의 전체 스트립을 사용하여 특정 시점에 각 열십자 라인을 그려서, 열십자 라인이 아바커스 와이어와 동일한 간격을 가지게 한다. 이것은 치킨 와이어와 유사한 메쉬를 생성하여, 토포스컬프처가 원하는대로 텍스처 맵핑될 수 있는 와이어프레임 모델이 되게 한다.
일 구현에서, 토포로이드는 하이퍼룰렛으로부터 가상 객체를 만드는 것, 예를 들어, 이들 액션을 레코드하는 스페이스글래스를 통해 이들을 보며 다른 것 위에 이것을 롤링하는 것을 포함하여 브리콜라주 접근법에서 사용될 수 있다.
일 구현에서, 수스페이스는 립(lip) 및/또는 에지(edge), 예를 들어, 그 주변 주위에 위치된 림(rim)(예를 들어, 쟁반, 대야(basin), 및/또는 등에서와 같이)을 구비할 수 있다. 이러한 수스페이스는 (예를 들어, 긴 노출 브리콜로직으로부터) 브리콜로이드(Bricoloids)(상표) 시스템 및/또는 브리초이드(Brichoid)(상표) 시스템을 구성하는데 사용될 수 있다.
여러 구현에서, 상이한 객체는, 예를 들어, 수스페이스 위에 롤링되는 손으로, 발견된 객체, 및/또는 등으로, 및/또는 완드 객체 및/또는 수스페이스에 하나 이상의 상이한 종류의 완드로 구성될 수 있다.
일 구현에서, 토포스컬프팅 완드(2G160)는 예를 들어 모터에 의하여 스핀하거나 회전하여 수스페이스, 및/또는 등을 따라 이를 롤링하는 휠, 디스크, 및/또는 등을 베어링 위에 포함하는 링(2G161)을 포함할 수 있다. 일 구현에서, 샤프트 인코더가 긴 노출 비디오 사진의 공간-시간 연속체를 인코딩하는데 사용될 수 있다. 일 구현에서, 모터, 액추에이터, 및/또는 등이, 예를 들어, 표면 및/또는 수스페이스를 따라 롤링할 때 링(2G161)을 터닝하거나 이 터닝을 센싱하는 샤프트 인코더로 사용될 수 있다. 일 구현에서, 램프(L1), 램프(L2), 램프(L3) 등은, 표면 및/또는 수스페이스를 따라 토포스컬프팅 완드(2G160)를 롤링하는 동안 만들어지는 긴 노출 사진에서 사이클로이드(cycloid) 형상을 각각 그리거나 및/또는 생성할 수 있다. 표면(130)이 대야 형상일 수 있는 정도까지, 이 표면은 표면에서 주축(완만한 곡률), 부축(급한 곡률) 및 여러 다른 곡선과 기복(undulation)에 의해 한정된 이용가능한 여러 곡률을 구비할 수 있다. 따라서 표면(130)과 토포스컬프팅 완드(2G160)를 여러 구현에서 사용하여, 표면(130), 및/또는 등 주위에, 예를 들어, 장치(1300)의 3D 카메라 및/또는 다른 보조 카메라로, 예를 들어, 영화화될 때, 사진으로 찍힐 때, 비디오에 의해 캡처될 때, 광범위한 상이한 종류의 하이포사이클로이드를 아바코그래프로 생성할 수 있다.
예를 들어 바로 에지에서가 아니라, 더 먼 토포스컬프팅 완드(2G160) 위에 다른 광은, 일 구현에서, 긴 노출에서 사진으로 찍힐 때 하이포트로초이드를 한정할 수 있다. 플래쉬 광은, 일 구현에서, 대시 곡선, 예를 들어, 하이포트로초이드의 형상으로 굴곡된 도트 라인 같이 보이는 하이포트로초이드의 경로를 제공한다. 다른 형상이 표면(130)을 따라 롤링하는 토포스컬프팅 완드(2G160)에 부착되는 일 구현에서, 다른 토포로이드/토플로이드(toploid)는, 예를 들어, 손 제스처 및 다른 형태의 상호 작용을 더 사용하여 생성되거나 및/또는 이후 토포스컬프팅되어, 도시의 모델, 파이프 작업, 파이프 네트워크, 공간 스테이션, 로켓 엔진 등과 같은 브리콜로이드를 생성할 수 있다. 일 구현에서, 정점으로부터 베이스로 가는 광의 행으로 링(2G161)에 부착된 원추체는 이 원추체의 정점으로부터 표면(130)과 평행한 곡선, 원추체의 베이스에서 광으로부터 하이포사이클로이드와, 이들 사이에 광으로부터 여러 하이포트로초이드를 포함하여 3D 공간에 곡선 군을 생성할 수 있다.
일 구현에서, 토포스컬프팅 완드(2G160)는 또한 상이한 속력 및 상이한 회전 각도로 완드의 다른 부분을 터닝하는 것과 같은 유성 기어 및/또는 다른 기어를 특징으로 할 수 있다. 예를 들어, 링(2G161)은 이에 직각으로 다른 링을 구동하여, 일 구현에서, 하이포트로초이드가 아니라 헤릭스가 생성될 수 있다. 2개의 링은 또한 조절가능할 수 있고, 일 구현에서, 그 각도는 변화되어, 예를 들어, 헤릭스와 하이포트로초이드 사이에 있는 것의 아바코그래프를 생성할 수 있다.
일 구현에서, 아바코그래프 및/또는 다른 장치로-생성된 형상은 전기 신호로 해석될 수 있고, 이는 사용자로 하여금, 예를 들어, 긴-노출 사진 및/또는 비디오 그래프를 통해 토포스컬프팅 완드(2G160)를 사용하는 임의의 신호를 생성하여, 손 제스처, 및/또는 등으로 신호를 스컬프팅할 수 있다.
따라서, 일부 구현에서, 장치(1300)는 예를 들어 손 제스처, 객체에 대한 손 제스처, 객체와 함께 손 제스처, 토포스컬프팅 환경에서 객체의 브리코로지 (상표) 시스템, 및/또는 등을 사용하여 여러 객체를 스컬프팅하는데 사용될 수 있다. 일 구현에서, 테이블, 메타가능한 및/또는 다른 유사한 테이블, 표면, 수스페이스, 및/또는 등이 동작 및/또는 사용 중 하나 이상에 대해 사용될 수 있다.
일 구현에서, 표면(130) (테이블 베어링 표면)은 도 2g의 예에서와 같이 메타가능한 라벨(2G110) (예를 들어, "메타가능한 수스페이스")로 표시될 수 있다. 일 구현에서, 메타가능한 라벨(2G110)은 예를 들어, 테이블의 측면에서 기계 판독가능하고, 라벨의 상부 절반은 되반사 물질로 백색이고, 하부 절반은 되반사 문자로 흑색이다. 메타가능한 라벨(2G110)과 같은 라벨은, 표면(130)의 에지 주위에 놓일 수 있어서, 예를 들어, 완전히 어두운 곳에서도 3D 공간에서 인식되고 발견될 수 있다.
일 구현에서, 완전한 어두움은 트리거(2G162)를 압착하는 것에 의해 주어질 수 있다. 예를 들어, 트리거를 가압하면 룸 광을 자동적으로 턴오프하여, 토포스컬프팅을 더 용이하고 더 아름답고, 및/또는 시각적으로 보이게 할 수 있다.
일부 구현에서, 어두운 곳에서도, 표면(130)은 어두운 곳에서 보도록 구성될 수 있는 장치(1300)에 의하여 사용자(180U)에 보일 수 있으나, 추가적으로, 테이블은 예를 들어, 장치(1300)의 블랭킹 간격 동안 가시광을 방출하도록 조명되는 메타가능한 원형 객체(2G130)의 인스턴스로 구성될 수 있다. 메타가능한 원형 객체(2G130)는 스마트 도트라고 언급될 수 있다. 장치(1300)는, 일 구현에서, 120 FPS (Frames Per Second)의 프레임율로 센싱하고, 메타가능한 원형 객체(2G130)는 장치(1300)가 광에 응답하지 않는 시간 동안 잠시 (예를 들어, 약 1 마이크로초 동안) 광을 방출할 수 있다. 이러한 동기화는 도트의 시스템 제어를 허용하여 이들 도트들이 원하는대로 장치(1300)에 보이거나 보이지 않게 할 수 있다. 이런 방식으로, 사람 눈(들)과 장치(1300)에 가시성은 별도로 제어가능하거나, 최적화되거나, 및/또는 등일 수 있다. 일부 구현에서, 메타가능한 원형 객체(2G130)는 예를 들어, 적외선 광을, 방출하여 가시적인 취득물, 및/또는 등에서 장치(1300)에 발견 작업, 정교한 노출을 도와줄 수 있다. 일 구현에서, 이렇게 3개의 취득물 및/또는 취득물 제어가 있다; (1) 사람 눈 노출; (2) 장치(1300)의 가시광 카메라 노출; (3) 장치(1300)의 적외선 비전 시스템 카메라. 일 구현에서, 4번째로, 장치(1300)와 상호 작용하여, 이 장치로 하여금 테이블에서 자기 자신을 발견할 수 있게 하는 메타가능한 원형 객체(2G130)의 되반사 품질이다. 또 다른 구현에서, 각 메타가능한 원형 객체(2G130)는 테이블 위에 있는 객체를 발견하고, 이들 객체가 얼마나 멀리 있는지를 측정하고, 예를 들어 손(180MS)과 손(180MD)에 의해 컨택을 측정하고, 및/또는 등을 수행하는 근접 센서이다. 또 다른 구현에서, 테이블은 사용자의 손, 장갑, 및/또는 등과의 컨택을 센싱하는 금속과 같은 물질이다. 또 다른 구현에서, 스마트 도트는, 예를 들어, 프로토타이핑을 위해 나사산이 형성된 홀을 포함하여, 사용자가 틴커링을 위해 테이블에 객체를 나사 결합시킬 수 있게 한다. 이 홀은, 예를 들어, 진공을 끌어들이거나 또는 공기 하키 테이블과 같은 공기 압력을 제공하여, 테이블 주위로 슬라이딩되거나 이 테이블로 흡입되는 객체를 떠 있게 하여 거기에 유지할 수 있다. 일 구현에서, 테이블은 강자성이어서, 광 테이블 또는 등 위에 자석을 사용할 수 있다.
따라서, 일 실시예에서, 테이블은 브리콜로직 및/또는 연산 브리콜라주에 사용될 수 있다.
지오폰은 터치를 센싱하고 터치를 수행할 수 있고, 예를 들어 테이블은 진동하여 진동촉각 햅틱을 제공할 수 있다.
일부 실시예에서, 표면(130)은 메타 햅틱을 위해 설계되거나 및/또는 구체적으로 구성될 수 있다. 하나의 이러한 실시예에서, 메타 테이블(상표) 시스템은 사용자(180U)에 의해 착용된 비전 시스템으로 되반사되는 패턴을 그 위에 구비하게 구성될 수 있다. 일 예에서 도 2g에 도시된 이러한 비전 시스템은, 2개의 컬러 카메라와 같은 거리 카메라, LiDAR 유닛(187), 여러 다른 센서, 및/또는 등을 포함할 수 있다.
여러 다른 센서는, 예를 들어, 손(180MD)의 손목에 제스처 밴드(2G190)를 포함할 수 있다. 일 구현에서, 제스처 밴드(2G190)는, 움직임에 의해, 자가 피부의 전기 전도성에 의해, 임피던스 토모그래피(impedance tomography)에 의해, 및/또는 등에 의해 자기 제스처를 센싱한다. 따라서, 가운데 손가락(2G199)이 객체(2G193)와 터치하면, 제스처는 손(180MD)의 집게 손가락과 엄지 손가락이 터치 하는지 여부에 따라 상이하게 해석될 수 있다. 제스처의 의미는, 일 구현에서, 또한 하나 이상의 변형 게이지, 및/또는 등을 통해 예를 들어, EMG(근육 신호), 진동, 전기적으로, 측정 밴드 변형(예를 들어, 손목 띠에 의해 야기되는)을 사용하여, 제스처 밴드(2G190)에 의해 측정될 수 있는 손(180MD)의 집게 손가락과 엄지 손가락이 서로 얼마나 단단히 압착하는 지의 함수로서 연속적으로 변할 수 있다. 일 구현에서, 장치(1300)에서 비전 시스템은 이 작업을 수행하도록 구성될 수 있고, 예를 들어, 매우 과도한 제스처들이 사용될 수 있고, 예를 들어, 터치에 대한 다른 입력 변수로서 살 위에 살이 루프를 형성하거나 또는 폐쇄 또는 결합하는 것에 기초할 수 있다.
일 구현에서, 이들과 같은 입력 변수를 통해 사용자는 무엇이 일어나는지, 객체가 생성되는지 및/또는 조작되는지, 및/또는 등을 느낄 수 있다. 상기 예에서 주어진 메타 접촉은, 사용자에 의해 느껴질 수 있고, 장치(1300)에 의해, 예를 들어, 처리 장치(908)를 통해 이해될 수 있는 여러 방식으로 다른 손가락 또는 엄지 손가락을 서로 압착하면서 하나의 손가락을 터치하는 것과 같은 곱셈 햅틱인 제스처와, 메타가능한 대상 위에 메타가능한 제스처를 통해 유용한 촉각 피드백을 제공하는 것을 도와준다.
일부 구현에서, 메타 테이블은 햅틱과 메타 햅틱을 센싱하고 수행하도록 선택되거나 및/또는 최적화된 여러 센서 및/또는 이펙터를 포함할 수 있다.
일부 구현에서, 브리코로지컬 환경은 단지 테이블을 사용하는 것이 아니라 어디에서나 생성될 수 있다. 예를 들어, 브리코로지는 지면 위 실외에서 실시될 수 있고, 여기서 수스페이스는 지면이다. 지면은, 예를 들어, 스페이스글래스 또는 등으로 수스베일런스를 도와주기 위해 지오폰 및/또는 다른 센서를 장착할 수 있다. 이런 상황에서 스마트 지면 스테이크(ground stake)는 지면으로 박힐 수 있다. 스페이스글래스 및/또는 장치(1300)에 사용되거나 및/또는 이와 인터페이싱하는 스테이크는, 일부 구현에서, 탑-다운("서베이(survey)") 계층이 아니라 바텁-업("수스베이(sousvey)")을 제공하는 수스베이어(sousveyor) 스테이크라고 언급될 수 있다. 예를 들어, 스페이스글래스의 임의의 착용자는 현실에 주석을 다는 것에 참여할 수 있고, 소유물과 물리적인 공간의 큐레이션(curation)은 더 이상 서베이어(surveyor)와 다른 직원들(official)만의 범위 내에 있지 않다. 일 구현에서, 수베이어 데이터(souveyor data)는 하나 이상의 사용자 식별자 및/또는 프로파일과 연관되어 저장될 수 있는 주석, 거리, 각도, 높이, 수평 위치, 랜드마크, 및/또는 등을 포함할 수 있다.
일 구현에서, 최종 수스베일런스는, 개인이, 예를 들어, 빌딩이 스컬프팅된 가상 도시, 증강매개된 도시, 및/또는 등을 팅커링하거나 생성할 수 있는 참가 세계를 생성한다. 일 구현에서, 수납기(dumpster) 또는 공차 면(curb side)으로부터 구(old) 카드보드 박스와 같은 심지어 흠이 생기거나(distressed) 또는 폐기된(discarded) 객체는, 장치(1300)가 보이는 위치에 유지될 수 있고, 형상을 복사하고 중실 직사각형 객체를 신장시킨 다음, 스카이스크래퍼를 거기서 보기 위해 스트리트 상에 빈 주차장에 빌딩을 "놓는" 것에 의해 손 제스처를 통해 조작된 이미지를 구비하여 박스를 빌딩으로 형성할 수 있다.
따라서, 일부 구현에서, 브리콜로로지(bricolology)를 통한 토포스컬프팅은, 객체, 예를 들어, 스트리트에서 픽업된 스크랩 자료를, 위 손 제스처를 통해, 예를 들어, 미래의 도시, 공간 스테이션, 물 위에 달리는 "파이프 드림" 악기, 및/또는 등을 설계하고 조작할 수 있게 한다.
객체 및/또는 토포스컬프팅된 매니폴드는 차용되고 공유될 수 있다. 따라서, 일 구현에서, 사용자는 디너 판을 사용하여 로켓 엔진을 만들 수 있고, 다른 사용자를 따라 판 및/또는 로켓 엔진 설계를 전달할 수 있고, 이 다른 사용자는 판을 사용하여 파이프 오르간 스컬프처를 만들고, 제1 사용자, 및/또는 등과 이를 공유할 수 있다.
일부 구현에서, 브리코로지는, 예를 들어, 공간을 통해, 압출, 스핀, 트위스트, 및/또는 이동되어, 메타터치와 메타-햅틱을 사용하여 물건을 제조할 수 있는 예를 들어 소품(prop)으로 객체를 공유하는 것을 포함할 수 있다.
도 3은 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)의 다른 개략 예를 도시한다.
도 3은 도 1e의 센싱 및 디스플레이 장치(1300)를 사용하여 사용자의 홈에 푸드를 준비하는 것에 대하여 사용자에 명령하는데 사용될 수 있는 소프트웨어 애플리케이션(도 1b의 프로그램(907)에 포함되는 프로그래밍된 명령)의 일례를 도시한다. 싱크(341)와 버너(331)를 가지는 쿠킹탑(cooktop)(334)을 가지는 표면(130)으로 키친 카운터탑 위에 공유된 컴퓨터-매개된 현실 (예를 들어, 도 1a의 제1 증강매개된-현실 공간(1000))이 도시된다. 비밀 대상(340)은 예를 들어, 데이터베이스에 저장된 액세스 권리, 특권, 역할, 및/또는 등의 데이터에서 반영될 수 있는 디지털 아이 글래스(180)와 디지털 아이 글래스(190)의 사용자와 협력하는 그룹 내에서만 볼 수 있다. 공개 대상(240)은 비-참가자(디지털 아이 글래스(180)를 착용하거나 수반하지 않는 사람)에게 보인다.
표면(130)의 카운터탑에 있는 푸드 항목(330)은 디지털 아이 글래스(180)와 디지털 아이 글래스(190)의 3차원 카메라 시스템에 의해 센싱될 수 있다. 데이터는 디지털 아이 글래스(180)와 디지털 아이 글래스(190) 각각과 연관된 처리 장치(908) (도 1a의) 사이에 통신되고, 각 처리 장치(908)는 제1 증강매개된-현실 공간(1000)에서 푸드 항목의 보다 정확한 3차원 모델을 연산하도록 구성된다.
도 4는 일 실시예에서 도 1a 및/또는 도 1e의 센싱 및 디스플레이 장치(1300)의 다른 개략 예를 도시한다.
도 4는 도 1a 및/또는 도 1e의 센싱 및 디스플레이 장치(1300)를 모두 사용할 수 있는 건강, 웰니스(wellness), 개인 및 그룹 피트니스, 운동, 엔터테인먼트, 게임, 음악, 댄스 활동, 및/또는 등과 같은 도 1a의 제1 증강매개된-현실 공간(1000)에서 제공될 수 있는 여러 유형의 활동에 센싱 및 디스플레이 장치(1300)를 적용한 일례를 도시한다.
표면(130)을 가지거나 및/또는 제공하는 바닥이 도시되어 있다. 표면(130)은 데스크 또는 테이블탑, 및/또는 등일 수 있다. 텍스처는 바닥에 위치된다. 텍스처는, 일 구현에서, 변경된 텍스처, 먼지(dirt), 스카프 마크(scuff mark), 또는 단단한 목재(hardwood) 바닥에 목재 결(wood grain)의 천연 텍스처 또는 석재 또는 콘크리트 또는 마블(marble) 또는 고무 또는 카펫의 천연 텍스처 및/또는 등에 의해 자연히 일어날 수 있는 의사 랜덤 패턴, 의사 랜덤 타일로부터 정교하게 만들어질 수 있는 패턴을 포함할 수 있다. 텍스처는, 일 구현에서, 패턴(430)을 형성할 수 있다. 패턴(430)의 호모그래피는, (도 1b의 제1 감각-현상 이펙터(912)의 일례인) 적외선 송신기(186)에 의해 및 (도 1b의 제1 감각-현상 센서(910)의 일례인) 적외선 수신기(185)에 의해 제공되는 3차원 카메라 이미지의 출력에 응답하여, 대수 투영 형상(algebraic projective geometry)을 통해, 도 1a의 처리 장치(908)에 의해 실행되는 (예를 들어, 도 1a의 프로그램(907)과 함께 포함된) 비디오-궤도 소프트웨어 하에서 그룹 액션을 형성할 수 있다. 비디오-궤도 안정화의 일례는 일 구현에서 도 2b에 대하여 앞서 제공된다.
일 구현에서, 바닥 텍스처의 좌표 변환의 그룹은 수식 {2}에 의해 주어진 궤도에 있다.
수식 {2}:
[A]는 2 x 2 (2x2) 선형 연산자이고, [b]는 2 x 1 (2x1) 병진이동이고, [c]는 2 x 1 (2x1) 처프(투영)이고, [d]는 스칼라 상수이고, 및 [x]는 2 x 1 (2x1) 공간 좌표이고, 및 [x] = [x1, x2]T이다.
센싱 및 디스플레이 장치(1300)의 복수의 착용자 (예를 들어, 사용자)에 의해 보이는 바닥은 이 궤도에 유지되기 때문에, 대상은 바닥과 동일한 평면에서가 아니라 다른 대상으로부터 명확화될 수 있다. 일 옵션에 따라, 3차원 센싱 특성은 바닥 그 자체를 3차원 모델로 두고, 이 3차원 평면에 위치된 지점은 클러스터링되고 세그먼트될 수 있다. 비밀 대상(340)은, 예를 들어, 안단테포닉 걷기에서와 같이 하나 이상의 참가자에 보이는 바닥의 표면(130)에 디스플레이되는 노래 가스를 포함할 수 있다. 안단테폰(andantephone)은 사용자가 걷는 것에 응답하여 플레이되는 악기이다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 도 1a의 프로그램(907)에 의해 생성된 증강매개된 현실 (가상 3차원) 명령기에 의하여 물리적인 (짐나스틱) 명령 (예를 들어, 요가, 댄싱, 연기, 무술, 달리기, 스포츠 등)에 사용된다. 일 구현에서, 가상 명령기의 이미지는 (예를 들어) 도 1b의 제1 감각-현상 이펙터(912)에 의해 도 1a의 제1 증강매개된-현실 공간(1000)으로 투영된다. 하나를 초과하는 사용자가 센싱 및 디스플레이 장치(1300)의 각자 인스턴스를 구비하는 경우, 센싱 및 디스플레이 장치(1300)의 선택된 인스턴스는 가상 명령기의 프로젝션을 도 1a의 제1 증강매개된-현실 공간(1000)으로 제공할 수 있고; 대안적으로, 가상 명령기는 센싱 및 디스플레이 장치(1300)의 임의의 인스턴스와 연관되지 않은 처리 장치(908)의 인스턴스에 의해 제공될 수 있다.
사용되는 센싱 및 디스플레이 장치(1300)에 다수의 인스턴스가 있는 일부 구현에서, 사용자의 신체 움직임은 센싱 및 디스플레이장치(1300)의 다른 인스턴스에 의해, 및/또는 환경 (도 1a의 제1 증강매개된-현실 공간(1000))에 정지 위치에 고정된 센싱 및 디스플레이 장치(1300) (또는 도 1b의 제1 감각-현상 이펙터(912))의 인스턴스에 의해 스캐닝될 수 있다. 일부 이러한 구현에서, 가상 명령기는 사용자(들)의 액션을 지원하거나 및/또는 이와 상호 작용할 수 있다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 (도 1a의 프로그램(907)에 포함된 프로그래밍된 명령과 조합하여 제1 증강매개된-현실 공간(1000)에 배치된 이펙터를 통해) 가상 미러, 예를 들어, 전신-길이 미러, 욕실 미러, 및/또는 등을 제공하도록 구성되고, 예를 들어, 피트니스 추적 (몸무게 증가, 신체 측정, 및/또는 등)을 위해 사용자의 신체를 스캐닝하도록 구성가능하다. 일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 신체 스캔이 수행될 수 있는 미러와 같이 거동하도록 구성될 수 있다. 일부 구현에서, 센싱 및 디스플레이 장치(1300)는 예를 들어 주기적인, 연속적인, 및/또는 트리거에 기초하여 사용자 피트니스, 신체 형상, 신체 파라미터, 및/또는 등을 수동적으로 스캐닝하거나 모니터링하거나 추적하거나 및/또는 등을 수행하고, 예를 들어, 통지와 연관된 값과 측정된 신체 파라미터를 상관시키는 것에 의해 이에 기초하여 통지, 경보, 추천, 쿠폰, 및/또는 등을 제공하도록 구성될 수 있다.
도 5는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)의 타이밍과 시퀀싱 동작을 나타내는 다이아그램의 일례를 도시한다.
도 5는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용되는 프로그램(907) (도 1a)에 의해 제공되는 공동 공간 이미징의 타이밍과 시퀀싱의 일례를 도시한다. 센싱 및 디스플레이 장치(1300)의 콤패러메트릭 및/또는 슈퍼포지메트릭 공정의 시퀀싱이 도 5에 도시된다. 센싱 및 디스플레이 장치(1300)는, 일 구현에서, 펄스 트레인 신호(500)로 적외선 광 에너지와 같은 엑스트라미시브 전송(transmission)(예를 들어, 송신과 수신)의 주기적인 펄스 트레인을 방출하도록 구성될 수 있다. (예를 들어, 센싱 및 디스플레이 장치(1300)에 장착된 적외선 이펙터로부터) 제1 방출(emission)은 (상대적으로 더 약한 강도를 가지는) 더 약한 조명 신호(510)를 제공한 다음, (상대적으로 중간 강도를 가지는) 중간 조명 신호(520)를 제공하고 나서, (상대적으로 더 강한 강도를 가지는) 더 강한 조명 신호(530)를 제공한다. 조명 신호들은 시간적으로 이격되어, 도 1a의 제1 증강매개된-현실 공간(1000)에서 객체 쪽으로 잇따라 센서로부터 방출된다.
도 1a의 프로그램(907)은, 일 구현에서, 도 1a의 제1 증강매개된-현실공간(1000)을 공유하는 참가자의 조명기(예를 들어, 이펙터)에 의해 생성된 라이트스페이스에 응답하도록 구성된 합성 애퍼처 이미징 작성기 (예를 들어, 프로그래밍된 명령으로)를 포함하도록 구성될 수 있다. 프로그램(907)은, 일 구현에서, (일 예에서 도 1aa에 도시된) 콤패러메트릭 합성기(404) 및/또는 (일 예에서, 도 1aa에 도시된) 슈퍼포지메트릭 합성기(405)를 포함하도록 구성될 수 있다. 콤패러메트릭 및/또는 슈퍼포지메트릭 합성기 실시예의 추가적인 설명은 도 2b와 관련하여 앞서 제공되었다.
상대적으로 중간 강도를 가지는 중간 조명 신호(520)는, 디지털 아이 글래스(180) (또는 센싱 및 디스플레이 장치(1300))의 3차원 카메라 (센서)에 정상 노출을 초래하는 정상 강도 신호이다. 더 약한 조명 신호(510)는, 예를 들어, 2개의 f-스톱(stop) 노출 부족(underexposed)인 3차원 카메라 노출을 초래하는 1/4 (25%) 강도와 같은 약한 신호이다. 더 강한 조명 신호(530)는, 예를 들어, 2개의 f-스톱 과다 노출(overexposed)인 3차원 카메라 노출을 초래하는 중간 조명 신호(520)의 것보다 4배 더 강한 것과 같은 상대적으로 더 강한 신호이다. 제1 감각-현상 이펙터(912)(도 1b)는, 일 구현에서, (예를 들어, 송신 또는 방출) 초기 신호를 제1 증강매개된-현실 공간(1000)으로 송출할 수 있고, 도 1b의 제1 감각-현상 센서(910)는 도 1b의 제1 증강매개된-현실 공간(1000)에 위치된 객체로부터 반사를 수신할 수 있다.
결과는 센서를 포화시킬 수도 있는 취득물의 영역에 하이라이트 상세 또는 상세에 더 약한 조명 신호(510)의 제1 취득물이 풍부한 정보의 3개의 노출 또는 3개의 "취득물"이다. 취득물은, 일 구현에서, 도 1a의, 및/또는 원래의 소스 조명의 제1 증강매개된-현실 공간(1000)에 위치된 객체로부터 반사된 조명의 수신이다. 더 강한 조명 신호(530)로부터의 반사는, 예를 들어, 3차원 카메라(예를 들어, 도 1b의 제1 감각-현상 센서(910))로 약한 에너지 리턴(예를 들어, 되반사)을 가지는 객체 또는 보다 먼 객체에 대해 음영 상세(shadow detail) 또는 약한-신호 상세가 풍부하다.
도 1b의 프로그램(907)은, 일 구현에서, 임의의 하나의 취득물이 개별적으로 제공할 수 있는 것보다 장면(제1 증강매개된-현실 공간(1000))으로부터 더 많은 정보를 결정하기 위하여 이 3개의 취득물 (수신된 반사된 신호)을 결합하도록 구성될 수 있다. 프로그램(907)은, 일 구현에서, 그 결과를 결정하기 위하여 수신된 (예를 들어, 반사된) 데이터에 콤패러메트릭 분석을 실행하도록 구성될 수 있고: 예를 들어, 연장된 응답 3차원 카메라는 콤패러메트릭 분석 프로그램(406) (일 예에서 도 1aa에 도시되고 도 2b에 대하여 설명된)을 사용하는 것에 의해 콤패러메트릭 분석을 수행하도록 제공될 수 있다.
또 다른 구현에서, 카메라 (센서 및/또는 이펙터)의 감도는, 예를 들어, 약한, 중간, 및 강한 3차원 이미지를 획득하도록 조절될 수 있다. 이들 신호가 수신되면, 프로그램(907)은 이들 신호를 결합하고 나서, 결합된 이미지를 도 1b의 제2 감각-현상 이펙터(914)의 인스턴스를 통해 사용자(들)에 디스플레이하도록 구성된다. 추가적으로, 가시광 이미지들이 이렇게 획득될 수 있다.
도 1b의 제1 증강매개된-현실 공간(1000)에 제시된 복수의 사용자가 있는 일부 구현에서, 프로그램(907)은 슈퍼포지메트릭 분석기(407) (도 1aa에 도시되고 도 2b에 대하여 설명된)을 포함하도록 구성될 수 있고, 프로그램(907)은 슈퍼포지메트릭 공간 이미징 프로그램(408) (도 1aa에 도시되고 도 2b에 대하여 설명된)을 사용하는 것에 의해 슈퍼포지메트릭 공간 이미징을 결정하도록 구성될 수 있다.
일 구현에서, 센싱 및 디스플레이 장치(1300)의 제1 인스턴스는 펄스 트레인 신호(500)에 의하여 (및 도 1b의 제1 감각-현상 센서(910)와 제1 감각-현상 이펙터(912) 및 프로그램(907)을 사용하는 것에 의해) 3차원 장면 정보 또는 이미지를 캡처하도록 구성된다. 센싱 및 디스플레이 장치(1300)의 제2 인스턴스는 펄스 트레인 신호(509)를 사용하여 동일한 장면 (도 1b의 제1 증강매개된-현실 공간(1000))으로부터 3차원 정보를 캡처하도록 구성된다. 센싱 및 디스플레이 장치(1300)의 2개의 인스턴스는, 일 구현에서, 제1 시간 슬롯(570), 제2 시간 슬롯(571), 제3 시간 슬롯(572), 제4 시간 슬롯(573), 제5 시간 슬롯(574), 및 제6 시간 슬롯(575)과 같은 시간 슬롯을 가지는 시간 라인에 따라 3차원 장면을 공간적으로 이미지하도록 협력하여 동작하도록 구성될 수 있다. 각 시간 슬롯은 도 1a의 제1 증강매개된-현실 공간(1000)의 하나 이상의 사용자에 할당될 수 있다. 예를 들어, 도시된 구현에서, 제1 시간 슬롯(570)은 제1 사용자에 할당될 수 있고; 제2 시간 슬롯(571)은 제2 사용자에 할당될 수 있고; 제3 시간 슬롯(572)은 제3 사용자에 할당될 수 있고; 제4 시간 슬롯(573)은 제4 사용자에 할당될 수 있고; 제5 시간 슬롯(574)은 제1 사용자에 할당될 수 있고; 제6 시간 슬롯(575)은 제2 사용자에 할당될 수 있고, 이와 같이 계속된다. 더 많은 사용자들이 제1 증강매개된-현실 공간(1000)에 존재하는 경우, 더 많은 시간 슬롯이, 예를 들어, 순차 순서로 사용자의 수에 따라 할당될 수 있다. 비-순차 순서가 또한 일부 구현에서 사용될 수 있다.
제1 시간 슬롯(570)에 대해, 도 1a의 제1 증강매개된-현실 공간(1000)의 제1 사용자에 할당된 3개의 분할된 시간 섹션이 있다. 제1 시간 섹션 동안, 디지털 아이 글래스(180)는 더 약한 조명 신호(510)가 디지털 아이 글래스(180)로부터 센싱 및 디스플레이 장치(1300)의 각자 인스턴스를 사용하여 다른 사용자와 공유된 장면(제1 증강매개된-현실 공간(1000))으로 송신된 것으로 인해 (제1 증강매개된-현실 공간(1000)에서 객체로부터 반사된) 약한 신호의 반사를 캡처한다. 제2 시간 섹션 동안, 디지털 아이 글래스(180)는 중간 조명 신호(520)가 제1 사용자와 연관된 디지털 아이 글래스(180)로부터 송신된 것으로 인해 중간-강도 신호의 반사를 캡처한다. 제3 시간 섹션 동안, 디지털 아이 글래스(180)는 더 강한 조명 신호(530)가 (제1 사용자의) 디지털 아이 글래스(180)로부터 송신되고 나서, 이후 도 1b의 제1 증강매개된-현실 공간(1000)에 위치된 물리적인 객체로부터 반사된 것으로 인해 상대적으로 강한 신호의 반사를 캡처한다.
제2 시간 슬롯(571)에 대해, 도 1b의 제1 증강매개된-현실 공간(1000)의 제2 사용자에 할당된 3개의 시간 섹션이 있다. 제1 시간 섹션 동안, (제2 사용자의) 디지털 아이 글래스(190)가 더 약한 조명 신호(511)가 디지털 아이 글래스(190)에 위치된 이펙터(예를 들어, 도 1b의 제1 감각-현상 이펙터(912))로부터 송신되고 사용자(수반된 각 사용자는 센싱 및 디스플레이 장치(1300)의 각자 인스턴스를 가짐)에 의해 공유된 장면(제1 증강매개된-현실 공간(1000))으로 송신된 것으로 인해 약한 신호의 반사를 캡처한다. 제2 시간 섹션 동안, 디지털 아이 글래스(190)는 중간 조명 신호(521)가 (제2 사용자의) 디지털 아이 글래스(190)로부터 송신된 것으로 인해 중간-강도 신호의 반사를 캡처한다. 제3 시간 섹션 동안, 디지털 아이 글래스(190)는 더 강한 조명 신호(531)가 (제2 사용자의) 디지털 아이 글래스(190)로부터 송신된 것으로 인해 강한 신호의 반사를 캡처한다.
동일한 공정은 제3 사용자와 제4 사용자를 위한 제3 시간 슬롯(572)과 제4 시간 슬롯(573)에 대해 각각 반복된다. 제5 시간 슬롯(574)에 대해, 사이클이 제1 사용자에 대해 다시 반복되고, 더 약한 조명 신호(540), 중간 조명 신호(550), 및 더 강한 조명 신호(560)가 생성되고 사용된다(제1 시간 슬롯(570)과 유사하다). 이후, 반사는 센싱 및 디스플레이 장치(1300)의 각 인스턴스에 장착된 센서에 의해 센싱되고 나서, 센싱 및 디스플레이 장치(1300)의 각 인스턴스와 연관된 프로그램(907)의 각 인스턴스에 의해 처리된다.
제6 시간 슬롯(575)에 대해, 사이클이 제2 사용자에 대해 다시 반복되고, 더 약한 조명 신호(541), 중간 조명 신호(551), 및 더 강한 조명 신호(561)가 생성되고 사용되는(제2 시간 슬롯(571)과 유사한) 등이 수행된다.
임의의 유형의 다중화 및/또는 스위칭은 시간 분할 다중화, 주파수 도메인 다중화, 및/또는 등과 같은 여러 실시예와 구현에 사용될 수 있다.
일 실시예에서, 센싱 및 디스플레이 장치(1300)의 각 인스턴스는 도 1b의 프로그램(907)에 포함된 프로그래밍된 명령에 의해 3차원 HDR(High Dynamic Range) 이미징을 구현하도록 구성되고, 여기서 프로그램(907)은 3차원 이미지, 스캔, 및/또는 등의 와이코프 세트(Wyckoff Set)에 구현될 수 있는 콤패러메트릭 합성기를 포함한다. 콤패러메트릭 합성기는 방법(513) (도 5a의 예 참조)을 사용하는 것에 의해 동일한 대상의 복수의 상이한 취득물을 결합하도록 구성된다. 방법(513)은, 일 구현에서, 도 1b의 프로그램(907)으로 실행가능한 프로그래밍된 명령으로 제공될 수 있다.
도 5a는 일 실시예에서 도 1b의 센싱 및 디스플레이 장치(1300)에 사용되는 처리 장치(908)(도 1b)를 지시하도록 구성된 프로그래밍된 명령으로 포함되는 방법(513)의 일례를 도시한다.
(콤패러메트릭 합성기의) 방법(513)은, 일 구현에서, 와이코프 세트를 획득하는 것을 포함하는 동작(502)을 포함한다. 완료되면, 제어는 동작(504)으로 전달된다.
동작(504)은 동작(502)에 획득된 와이코프 세트의 멤버 중에서 콤패러메트릭 관계를 결정하는 것을 포함한다. 완료되면, 제어는 동작(506)으로 전달된다.
동작(506)은 와이코프 세트의 각 멤버의 각 레벨에 대한 확실성 함수(certainty function)를 결정하는 것을 포함한다. 완료되면, 제어는 동작(508)으로 전달된다.
동작(508)은 예를 들어 수식 {3}을 사용하는 것에 의해 가중된 합계를 구성하는 것을 포함한다.
수식 {3}:
일 구현에서, [k]는 취득물의 와이코프 세트의 각 취득물의 전체 이득 또는 진폭이고, [ci]는 확실성이고, 및 [qi]는 광량그래픽 측정 어레이(예를 들어, 3차원 취득물 그 자체)이다. 이러한 합성은 콤패러메트릭 합성기(409) (도 1aa에 도시되고 도 2b에 대하여 설명된)라고 언급되고 도 5a의 방법(513)으로 구현된다.
따라서, 센싱 및 디스플레이 장치(1300)의 심지어 단일 인스턴스는 방법(513)을 사용하는 것으로부터 이익을 얻는다. 센싱 및 디스플레이 장치(1300)의 다수의 인스턴스로부터 데이터 퓨전(데이터 집합)이 방법(580) (도 5a의 예 참조)을 사용하여 예를 들어, 슈퍼포지메트릭적으로 진행할 수 있다. 본 방법(580)은, 일 구현에서, 도 1b의 프로그램(907)에 포함되고, 센싱 및 디스플레이 장치(1300)의 처리 장치(908)에 의해 실행되는 프로그래밍된 명령으로 구성될 수 있다.
동작(582)은 퀀티그래프의 라이트스페이스 세트, [qi](예를 들어, 상이한 퀀티그래프의 세트, 각 퀀티그래프는 동일한 대상의 상이한 조명에 의해 제공됨)를 획득하는 것을 포함한다. 완료되면, 제어는 동작(584)으로 전달된다.
동작(584)은 이 세트의 상이한 광벡터 중에서 슈퍼포지메트릭 관계를 결정하는 것을 포함한다. 완료되면, 제어는 동작(586)으로 전달된다.
동작(586)은 각 슈퍼포지메트릭 합성 법칙을 위한 확실성 함수(certainty function)를 결정하는 것을 포함한다. 완료되면, 제어는 동작(588)으로 전달된다.
동작(588)은 예를 들어 수식 {4}에서 예에 따라 가중된 합계를 구성하는 것을 포함한다.
수식 {4}:
일 구현에서, [ci]는 각 조명 소스(즉, 각 광벡터)로 인해 HDR (high definition resolution) 이미지 합성의 전체 이득이나 진폭이다. 이러한 합성은 (예를 들어, 도 5a의 방법(513)에 의해 구현된) 슈퍼포지메트릭 합성기라고 지칭된다.
센싱 및 디스플레이 장치(1300)의 각 인스턴스와 연관된 프로그램(907)은, 일 구현에서, 각자 광 소스로 인한 퀀티그래프 정보 + 도 1b의 제1 증강매개된-현실 공간(1000)에 수반된 센싱 및 디스플레이 장치(1300)의 다른 모든 인스턴스에 있는 광 소스로부터의 기여분을 생성하도록 구성된다.
프로그램(907)은, 일 구현에서, 모든 이들 라이트스페이스 퀀티그래프 (센싱 및 디스플레이 장치(1300)의 각 인스턴스로부터 하나의 라이트스페이스 그래프)를 결합하여 도 1b의 제1 증강매개된-현실 공간(1000)에서 센싱 및 디스플레이 장치(1300)의 모든 참가 인스턴스 중에서 공유되는 마스터 라이트스페이스 퀀티그래프를 형성하도록 구성될 수 있다.
일 실시예에서, 도 1b의 프로그램(907)은 도 1e의 디지털 아이 글래스(180), 및 도 1e의 디지털 아이 글래스(190)로부터 스캐닝을 다중화하도록 구성된 (일 예에서 도 1aa에 도시된) 공간적-이미징 다중화기(410)를 포함할 수 있다.
예를 들어, 일 구현에서, 공간 이미징 다중화기는 (일 예에서 도 1aa에 도시된) 시분할 다중화기(411)를 포함할 수 있다.
일 구현에서, (프로그래밍된 명령으로 구성될 수 있는) 시분할 다중화기는 도 1b의 제1 증강매개된-현실 공간(1000)과 연관된 참가자에 의해 착용된 센싱 및 디스플레이 장치(1300)의 인스턴스와 협력을 제공하도록 구성될 수 있다. 예를 들어, 일 구현에서, 가변적인 진폭 다중화기는, (A) 제1 증강매개된-현실 공간(1000)에서 다른 참가자에 의해 착용된 센싱 및 디스플레이 장치(1300)의 인스턴스와 협력하고; 및 (B) 대상으로부터 반사된 상이한 조명의 정도에 응답하여 대상의 대략 동일한 취득물을 제공하도록 구성된다.
도 6은 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)를 사용하여 다수의 참가자 중에서 공유된 실시간 증강매개된 현실 환경의 일례를 도시한다.
도 6은 실시간 증강매개된 현실 인터페이스를 통해 도 1e의 센싱 및 디스플레이 장치(1300)를 사용하여 다수의 참가자 중에서 공유되는 물리적인 객체와 인터페이스하는 공동 공간 이미징과 제스처-기반 인터페이싱의 일 구현을 도시한다. 센싱 및 디스플레이 장치(1300)는, 일 구현에서, 다수의 사용자들이 도 1b의 제1 증강매개된-현실 공간(1000)에 위치된 객체(600)의 다른 인스턴스 또는 추적가능한 박스와 같은 (도 1b의 제1 증강매개된-현실 공간(1000)에 위치된) 실제-세계 3차원 물리적인 객체와 상호 작용하도록 구성된 (일 예에서 도 1aa에 도시된) 공동 제스처-기반 인터페이스(412)를 포함하도록 구성될 수 있다.
객체(600)의 표면은, 일 구현에서, 마커, 패턴, 및/또는 3차원 기하학적 패턴으로 주석을 달 수 있고, 또는 자연히 발생하는 정점, 코너, 에지, 또는 표면은 먼지, 스카프 마크, 불규칙성(irregularities), 텍스처, 및/또는 등으로 구별될 수 있다. 이들 표면(601)은 (예를 들어, 제1 사용자와 연관된) 디지털 아이 글래스(180), (예를 들어, 제2 사용자와 연관된) 디지털 아이 글래스(190)와, (예를 들어, 제3 사용자와 연관된) 디지털 아이 글래스(196)에 의해 스캐닝된다. 이것을 통해 (예를 들어, 프로그램(907)에 포함되거나, 또는 센싱 및 디스플레이 장치(1300)에 포함되거나 또는 센싱 및 디스플레이 장치(1300)와 연관되지 않은 컴퓨터에 포함된) 공유된 촉각 증강매개된 현실 애플리케이션을 제공한다.
사용자는 예를 들어, 객체(600)와 같은 하나 이상의 실제 물리적인 객체를 터치하면서 상호 작용 제스처를 사용하여 센싱 및 디스플레이 장치(1300)의 각 인스턴스를 통해 도 1b의 (제1 증강매개된-현실 공간(1000)에서, 예를 들어, 임의의 가상 객체와 물리적인 객체와) 제1 증강매개된-현실 공간(1000)을 경험하거나 및/또는 이와 상호 작용한다.
디지털 아이 글래스(180), 디지털 아이 글래스(190), 및 디지털 아이 글래스(196)를 통해 다수의 사용자는 센싱 및 디스플레이 장치(1300)를 통해 도 1b의 제1 증강매개된-현실 공간(1000)에서, (도 1b의 제1 증강매개된-현실 공간(1000)에 위치된) 객체(600), 예를 들어, 예를 들어, 다면체 객체, 편평한 표면을 가지는 객체, 인식가능한 표면 텍스처(602)를 가지는 객체, 이미지 아이콘(603), 3차원 구조로 인식가능한 특징(예를 들어, 코너, 정점, 에지), 및/또는 표면(601)의 3차원 물리적인 인스턴스와 상호 작용할 수 있다. 도 1b의 프로그램(907)은, 일 실시예에서, 도 1b의 제1 증강매개된-현실 공간(1000)에서 만들어진 사람 제스처를 인식하도록 구성된 프로그래밍된 명령을 실행하도록 구성될 수 있다.
제스처 입력(610), 제스처 입력(611), 및 제스처 입력(612)은 3차원 검출기 및/또는 센서, 거리 3차원 센서, 및/또는 등을 사용하여 디지털아이 글래스(180), 디지털 아이 글래스(190), 및/또는 디지털 아이 글래스(196)의 인스턴스에 의해 인식된다. 무선 통신 모듈(630), 무선 통신 모듈(631), 및 무선 통신 모듈(632)은 제스처 입력(610), 제스처 입력(611), 및 제스처 입력(612)과 같은 정보 흐름을 송신하거나 공유하고, 센싱 및 디스플레이 장치(1300)의 인스턴스를 통해 사용자들 사이에 (또는 객체들 사이에) 사용자 상호 작용을 제공하거나 및/또는 촉진하도록 구성된다. 무선 통신 모듈(631)은, 여러 구현에서, WiFi, 블루투스, 셀룰러, CDMA, HSPA, HSDPA, GSM, 및/또는 등과 같은 다양한 무선 프로토콜을 통해 통신하도록 구성될 수 있다. 일 구현에서, 지시 제스처는 공유된 공간 또는 공유된 표면에 있는 정보를 그리거나 주석을 달거나 또는 표식을 선택하는데 사용되어, 디지털 아이 글래스(180), 디지털 아이 글래스(190), 및 디지털 아이 글래스(196)의 다수의 착용자 중에 상호 작용을 가능하게 한다.
제스처 센싱은, 일 구현에서, 제스처-추적 검출기를 사용하는 것에 의해 촉진될 수 있다. 제스처-추적 검출기(413)는 일 예에서 도 1aa에 도시된다.
제스처-추적 검출기(413)는, 일 구현에서, 비용 함수, 추정기, 및 제스처-추적 검출기 (추정기로부터 입력에 응답하는 검출기)를 구현하도록 구성된 신경 네트워크(414) (일 예에서 도 1aa에서 도시된)를 포함할 수 있다. 신경 네트워크를 훈련하기 위해, 비용 함수가 제일 먼저 한정된다. 이 비용 함수는 로지스틱 회귀(logistic regression)의 로그 우도(logarithmic likelihood)를 나타낸다.
일 옵션에 따라, 센싱 및 디스플레이 장치(1300)는 도 1aa에 도시된 최상의 맞춤(best-fit) 최적화기(415)를 포함한다.
최상의 맞춤 최적화기는, 일 구현에서, 파라미터 선택을 통해 "최상의 맞춤" 함수를 최대화하도록 구성된다. 이 함수의 부작용(negative)을 최소화하는 것은, 예를 들어, 그래디언트 디센터(예를 들어, 비용 함수를 무효화하는)를 통해 수행되어, (일 예에서 도 1aa에 도시된) 그래디언트 디센터(416)를 사용하는 것에 의해 최소 문제의 상황에서 최상의 맞춤 최적화기를 형성할 수 있다.
최상의 맞춤 최적화기는, 예를 들어, LOG 우도 함수(logarithm likelihood function)를 최대화하도록 구성될 수 있다. 트레이닝 데이터에 맞추는 것을 방지하기 위해, 규칙화기(417)는 일부 구현에서 사용될 수 있고; 규칙화기(417)는 일 예에서 도 1aa에 도시된다.
규칙화기(417)는 비용 함수의 종단에 각 파라미터의 제곱을 더하는 것에 의해 규칙화 항(regularization term)을 구현한다. 이들 규칙화 항은 파라미터가 크게 되므로 비용 함수를 악화(punish)시킨다. 오버플로우 페널라이저(418)가 사용될 수 있고, 일 예에서 도 1aa에 도시된다.
오버플로우 페널라이저는, 일 구현에서, 임의의 파라미터의 크기가 증가함에 따라 증가하는 값을 연산하도록 구성될 수 있다. 오버플로우 페널라이저의 일례는 가산기의 각 입력에 크기 조절기(magnituder)가 있는 가산기이고, 이에 따라 그 출력은 입력들의 절대 값의 합계이다. 그러나, 절대 값 함수가 원점에서 제1 미분에서 불연속성을 가지므로, 오버플로우 페널라이저는 각 입력에 크기 제곱기(squarer)를 갖는 가산기이다. 크기 제곱기는 각 입력을 복소 공액 (즉, [y] = [x]†[x])과 곱셈하여 입력의 제곱된 크기를 제공한다. 오버플로우 페널라이저는 각 파라미터의 제곱 크기의 합계를 비용 함수에 가산한다. 이것은 부동소수점 오버플로우를 방지하거나 저하시킨다(이 오버플로우의 발생을 감소시킨다). 트레이닝 비용 함수 J(Θ)가, 일 구현에서, 수식 {5}의 예에 의해 제공된다.
수식 {5}: J(θ)= ℓ(θ)+ R(θ, λ)
항 [l(θ)]은 수식 {6}에 의해 제공된 최소화를 위한 로지스틱 회귀(logistic regression)이다.
수식 {6}:
일 구현에서, [s]는 트레이닝 경우의 총 수를 나타내고, [c]는 출력 제스처의 총 수를 나타낸다. 이 함수의 목적은 각 트레이닝 경우로부터 비용을 가산하는 것이다. 따라서, [i]는 이 비용을 계산하는데 사용되는 현재 트레이닝 경우를 나타내는데 사용된다. [hθ (x(i))]는 순방향 전파(forward propagation)로부터 초래되는 추정을 나타낸다. 순방향 전파로부터 추정을 계산한 후, 로지스틱 함수는 이 수를 0과 1 사이로 재스케일링하는데 사용될 수 있다.
R(θ, λ) 항은 수식 {7}으로 제공된 규칙화 항이다.
수식 {7}: 
일 구현에서, [n]은 은닉된 레이어에서 노드의 총 수를 나타내고, [p]는 각 트레이닝 이미지에서 발견되는 픽셀의 수인 입력 레이어의 노드의 총 수를 나타낸다. 신경 네트워크를 트레이닝하는 것은, 일 구현에서, 예를 들어, 깊이-센싱 3차원 카메라와 같은 공간적-이미징 센서를 사용하는 것에 의해 트레이닝 데이터를 수집하는 것을 포함한다. 예를 들어, 센싱 및 디스플레이 장치(1300)는 센싱 및 디스플레이 장치(1300)를 트레이닝하여, 예를 들어, 다음과 같은 사람 제스처, 즉 (A) 프레이밍 제스처 (예를 들어, 두 손이 서로 대각선의 코너를 형성하여, 사용자의 두 손 내 또는 두 손을 넘어 장면 또는 객체를 프레이밍하는), (B) 손가락 지시 제스처, 및/또는 등을 인식하도록 구성된 (프로그램(907)에 포함되는) 프로그래밍된 명령을 포함할 수 있다. 일부 구현에서, 사람-제스처 인식 프로그램(419), 제스처 라이브러리, 및/또는 등이 사용될 수 있다(일 예에서 도 1aa에 도시된).
프로그램(907)은, 일 구현에서, 데이터 수집을 수행하도록 구성될 수 있다. 많은 양의 트레이닝 데이터를 수집하는 것은 학습 방법(프로그램(907)에 사용된 프로그래밍된 명령)의 성능을 개선시키는 방법이다. (제1 증강매개된-현실 공간(1000)에서) 설정에서, 샘플 데이터는, 예를 들어, 연속적으로 (연장된 시간 기간 동안) 센싱 및 디스플레이 장치(1300)를 (매일 사용시) 착용하는 것에 의해 추가적인 제스처 샘플을 레코드하는 것에 의해 수집될 수 있다. 높은 정확도는, 사용자 제스처를 일정하게 스트리밍하고, 정확한 식별 라벨, 수, 표식, 태그, 등급(rating), 및/또는 등으로 제스처를 라벨링하는 것에 의해 달성될 수 있다. 이것은, 일 구현에서, 소셜 네트워크 사이트에서 수행될 수 있고, 사용자 커뮤니티는 센싱 및 디스플레이 장치(1300)의 인스턴스를 각각 구비한다. 이 연속적인 데이터 수집 접근법은 학습 소프트웨어에 지속적인 개선을 초래한다; (일 예에서 도 1aa에 도시된) 학습 소프트웨어(424)가 사용될 수 있다.
일 구현에서, 트레이닝 데이터에 맞추는 것을 회피하기 위하여, (예를 들어, 프로그래밍된 명령으로 구성된) 퓨즈(fuse) 소프트웨어는 구현될 수 있다 (프로그램(907)에 포함될 수 있다). 너무 많은 전류가 소비될 때 끊어지는(blow) 전기 회로에서 (도통 전류를 중단시키는) 물리적 퓨즈와 유사하게, 퓨즈 소프트웨어는 너무 많은 시간이 예를 들어 맞춤, 트레이닝, 데이터 수집, 및/또는 등에 소비될 때 트리거될 때 끊어지도록 (예를 들어, 동작을 중단시키도록) 구성될 수 있다. 일 구현에서, 퓨즈 소프트웨어는 동작 (A), 동작 (B), 및 동작 (C)을 가지는 방법에 따라 구현될 수 있다.
동작 (A)는 트레이닝 데이터와 테스트 데이터 사이에 데이터를 분할하는 것을 포함한다. 예를 들어, 데이터의 분리된 80%는 트레이닝 데이터로 식별되고, 나머지 20%는 테스트 데이터로 식별된다. 완료되면, 제어는 동작 (B)으로 전달된다.
동작 (B)은, 신경망 트레이닝(neural net training)의 모든 반복에서, 트레이닝과 테스트 세트에 대한 제스처 예측 정확도와 비용을 회득하는 순방향 전파를 실행하는 것을 포함한다. 제어는 동작 (C)으로 전달된다.
동작 (C)은 트레이닝 반복의 수와 함께 트레이닝과 테스트 세트에 대한 비용을 고려하는 것을 포함한다.
일부 지점(예를 들어, 약 2000번의 반복)에서, 테스트 데이터의 비용은 증가하기 시작하는 반면 트레이닝 데이터의 비용은 여전히 감소한다. 이것은, 대략 2000번의 반복 후에, 신경 네트워크가 트레이닝 데이터로 트레이닝되는 것; 즉, 신경 네트워크가 영원히 트레이닝되는 것으로 남아있는 경우, 신경 네트워크는 트레이닝 데이터에 있는 항목과만 매칭할 수 있고, 대부분의 것을 거부할 수 있다는 것을 의미한다.
일 옵션에 따라, 프로그램(907)은 신경 네트워크의 트레이닝 단계에서, 대략 99.8%의 정확도를 달성하는 프로그래밍된 명령을 포함한다. 트레이닝된 신경 네트워크의 교차 검증(cross-validation)은 대략 96.8%의 정확도를 달성한다. 예를 들어, 제스처-인식 소프트웨어만의 초당 프레임 (FPS)의 성능은 대략 100 FPS일 수 있는 반면 제스처 인식 소프트웨어를 포함하는 센싱 및 디스플레이 장치(1300)의 성능은, 대략 30 FPS이다.
도 7은 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)를 사용하여 다수의 참가자 (사용자) 중에 공유된 실시간 증강매개된 현실의 다른 예를 도시한다.
보다 구체적으로, 도 7은 도 1e의 센싱 및 디스플레이 장치(1300)를 사용하여 가상 또는 물리적인 객체와 인터페이스하는 공동 공간 이미징과 제스처-기반 인터페이싱의 일례를 도시한다. 가상 버블 메타퍼에서 사용되는 디지털 아이 글래스(180)의 일례가 도시되고, 일 구현에서, 여기서 가상 객체 또는 실제 객체(700)는 버블 메타퍼(버블과 같이 동작하는 것)의 사용자의 손(710)에 의해 터치된다. 버블은, 도시된 예에서, 아이콘의 심벌이고, 여기서 아이콘은 버블로 나타나고, 도 8a의 사용자 인터페이스(800)를 통해 (어느 정도) 사용자에 버블 같이 거동한다. 프로그램(907)은, 일 구현에서, 예를 들어, 버블의 이미지 (예를 들어, 3차원)가 사용자 인터페이스(800)에서 (사용자에) 보이는 (일 예에서 도 1aa에 도시된) 버블-메타퍼 생성기(420)를 포함하도록 구성될 수 있다. 예를 들어, 일 구현에서, 손이 버블 이미지의 구와 상호 작용할 때, 버블 이미지는 모션 화상 (예를 들어, 비디오 이미지), (또한 도 8b 및 도 8c의 예에 도시된) 버블 버스트의 애니메이팅된 그래픽, 대화식 애니메이션 (예를 들어, 사용자 부속 기관 및/또는 환경에서 객체의 위치를 센싱할 수 있는), 및/또는 등으로 변하고; 이후, 버스트 버블(720)은 스크린 (사용자 인터페이스(800))으로부터 사라진다. 일부 구현에서, 버블은 메뉴 항목 또는 메뉴 아이콘의 일례이다.
버블-메타퍼 생성기(420)는, 일 구현에서, 수식 {8}을 사용하는 것에 의해 구와 이 구의 볼륨의 볼륨 특정 컨텐츠를 한정하도록 구성될 수 있다.
수식 {8}: 
일 구현에서, [r]은 구 (버블)의 반경이다. 구의 볼륨은 그 표면이 3차원 공간에서 0의 세트 측정값에 존재하므로 0이다.
그러나, 구 내에 포함된 볼륨은 [4πr 3]이고, 이 볼륨은 그리하여 3차원 공간에서 0이 아닌 측정을 가진다. 유사하게, 사용자의 손(710)으로부터 데이터의 포인트 클라우드가 계산되고, 손(710) 및/또는 그 포인트 클라우드가 구의 볼륨 및/또는 포인트 클라우드에 침입할 때, 간섭 신호가 프로그램(907)에 의해 생성된다.
프로그램(907)은, 일 구현에서, 예를 들어, 노이만-피어슨 상수의 거짓 알람 율(constant false alarm rate)에 따라 및 침입이 충분할 때 버블을 버스트하는 통계적 임계값을 넘는 간섭 신호의 강도를 계산하는 것을 포함하는 동작을 실행하도록 구성될 수 있다. 일 구현에서, 통계적 유의성 테스트는 사용자의 부속 기관(손가락, 손, 다리, 발, 및/또는 등)이 구(버블)의 볼륨으로 포인트 클라우드가 침입하는 정도에 따라 수행될 수 있다.
프로그램(907)은, 일 구현에서, 구(또는 다른 형상)로 침입하는 정도의 측정을 수행하는 것을 포함하는 동작을 실행하도록 구성될 수 있다; 이 동작을 실행하는 프로그래밍된 명령은 (일 예에서 도 1aa에서 도시된) 구형 볼륨 측정 침입 추정기(421)로 언급될 수 있고; 이러한 추정기가 다른 액션을 위해 트리거로 사용되거나 임계값을 넘을 때, 프로그래밍된 명령은 (도 1aa에 도시된) 볼륨-침입 검출기(422)로 언급될 수 있다. 볼륨-침입 검출기(422)는 구형 볼륨(버블) 및/또는 임의의 형상의 다른 볼륨의 침입을 검출하도록 구성된다.
버블-메타퍼 생성기(420)는, 일 실시예에서, 프로그램(907)에 포함되고, 일 구현에서, 하나 이상의 버블, 풍선, 공(ball), 또는 다른 2-차원 또는 3차원 형상 및/또는 아이콘의 비디오 이미지, 애니메이팅된 그래픽, 대화식 애니메이션, 및/또는 등을 생성하고, 사용자의 신체의 전부나 일부의 포인트 클라우드가 2차원 또는 3차원 형상의 내부 영역이나 볼륨과 충분한 및/또는 특정된 정도로 교차할 때 각 형상이 사라지도록(vanish) (또는 자가 파괴하거나, 또는 버스트하도록) 구성된 프로그래밍된 명령을 포함한다.
일 옵션에 따라, (일 예에서 도 1aa에 도시되고, 버블-버스트 메타퍼라고 언급될 수 있는) 버블-버스트 프로그램(423)은, 사용자에 의해 터치될 때, 버블(예를 들어, 가상 아이콘)이 되도록 상호 작용될 수 있는 사용되는 물리적인 객체, 예를 들어, 공(ball)의 하나 이상의 표현을 포함할 수 있다. 물리적인 객체(도 1a의 제1 증강매개된-현실 공간(1000)에서 실제 객체)를 사용하면, 테이블탑, 바닥 표면 및/또는 등에 대해 전술한 바와 같은 버블-메타퍼 생성기에 접촉 요소를 추가할 수 있다.
센싱 및 디스플레이 장치(1300)의 두 인스턴스의 센서 (예를 들어, 수신기)는, 일 구현에서, 센싱 및 디스플레이 장치(1300)의 인스턴스의 이펙터에 의해 조명되는 이미지를 수신할 수 있어서, 센싱 및 디스플레이 장치(1300)의 2개의 인스턴스의 경우에, 센싱 및 디스플레이 장치(1300)의 각 인스턴스는 6개의 취득물을 캡처한다: 센싱 및 디스플레이 장치(1300)의 광 소스로부터 3개의 취득물, 장면(제1 증강매개된-현실 공간(1000))으로서 3개의 취득물은 센싱 및 디스플레이 장치(1300)의 다른 인스턴스와 연관된 이펙터에 의해 조명된 것으로 보인다. 상이하게 노출되고 상이하게 조명되는 이미지의 이들 세트는, 단지 포토메트릭(photometric) 스테레오가 아니라, 일부 구현에서, 3차원 공간 이미징과 센서 퓨전을 통해 추가적인 공간 정보를 제공한다.
도 8a는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다.
일부 구현에서, 사용자 인터페이스(800)는 제1 증강매개된-현실 공간(1000)에서 센서 신호(904)와 이펙터 신호(906)를 운반하도록 구성된 인터페이스 어셈블리(902) (도 1a)를 통해 제1 증강매개된-현실 공간(1000)으로부터 유도된 현상을 디스플렐이하도록 구성된 제1 인터페이스 섹션을 포함한다(이로 제한되지 않는다). 사용자 인터페이스(800)는 제2 증강매개된- 현실 공간(1002)을 향하거나 검출하거나 이와 상호 작용하거나 및/또는 등을 수행하도록 구성된 인터페이스 어셈블리(902)를 통해 제2 증강매개된-현실 공간(1002)으로부터 유도된 현상을 디스플레이하도록 구성된 제2 인터페이스 섹션을 더 포함한다. 제2 인터페이스 모듈(905)은 제2 증강매개된-현실 공간(1002)에서 센서 신호(904)와 이펙터 신호(906)를 운반하도록 구성된다. 이펙터 신호(906)는, 적어도 부분적으로, 제1 증강매개된-현실 공간(1000)과 제2 증강매개된-현실 공간(1002) 중 어느 하나에서 사용자 제시가능하다.
사용자 인터페이스(800)는, 일 구현에서, 도 1a의 프로그램(907)에 의해 제공된다. 도 8a는 제1 설정 동작을 위한 버블(아이콘으로)을 사용하여 사용자인터페이스(800)의 개략 예를 도시한다. 일부 구현에서, 예를 들어, 미적인 미니멀리즘과 물리적인 안전을 달성하기 위하여, 손가락이 관측 시야에 진입하면, 버블은 사용자 인터페이스(800)에서 관측 시야(802) 쪽으로 상승한다. 관측 시야(802)는 사용자 인터페이스(800)를 센싱 및 디스플레이 장치(1300)의 사용자의 눈으로 돌출시키는 센싱 및 디스플레이 장치(1300)의 이펙터와 연관된다. 사용자 인터페이스(800)는 사용자(801)에 의해 사용하기 위한 것이다. 사용자 인터페이스(800)는 센싱 및 디스플레이 장치(1300)를 통해 볼 수 있다. 일 구현에서, 사용자 인터페이스(800) 내 관측 시야(802)는 그리드를 포함할 수 있고; 그리드는 매트릭스(예를 들어, 스프레드시트에서와 같이)로 배열될 수 있는 하나 이상의 셀을 포함한다. 도 8a의 예에서, 셀은 동일한 사이즈의 직사각형으로 도시되고, 오버랩되지 않는 셀이 규칙적으로 직사각형 그리드로 배열된다. 그러나, 다른 구현에서, 그리드 및/또는 그 셀은 상이한 사이즈, 형상, 배향, 및/또는 등일 수 있고, 오버랩될 수 있고, 삼각형 격자, 벌집 배열(honeycomb arrangement), 및/또는 임의의 다른 규칙적이거나 또는 불규칙적인 패턴으로 놓일 수 있다. 사용자 인터페이스(800)는, 하나 이상의 그룹 또는 세트에서 배열되거나 및/또는 수집될 수 있는 하나 이상의 버블 및/또는 버블 세트(803) (또는 세트)를 포함한다. 예로서, 작업 버블(804), 매체 버블(805), 플레이 버블(806), 및 소셜 버블(807), 및/또는 등을 포함하는 버블 세트(803)의 4개의 인스턴스가 도시되어 있다. 일 구현에서, 버블 세트(803)의 각 버블은, 일단 선택되면, 사용자가 선택된 버블과 연관된 설정, 애플리케이션, 데이터 집합, 및/또는 등을 볼 수 있다.
도 8b는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 8b는 제2 설정 동작을 위한 버블(아이콘으로)을 사용하는 사용자 인터페이스(800)의 개략 예를 도시한다. 일 구현에서, 예를 들어, 제스처-인식 기술(예를 들어, 프로그램(907)에 사용되는 프로그래밍된 명령)을 통해 검출될 수 있는 애플리케이션 폴더와 연관된 아이콘을 팝핑하는 것에 의해 애플리케이션 폴더가 개방될 수 있다; 애플리케이션 폴더가 개방되면, 다른 버블이 관측 시야(802)에서 블로우아웃(blow out)된다. 일 구현에서, 애플리케이션 폴더는 이와 연관된 애플리케이션 및/또는 선택가능한 아이콘, 숏컷(shortcut), 버블, 및/또는 등의 집합을 포함한다.
도 8c는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스의 개략 예를 도시한다. 도 8c는 제3 설정 동작을 위한 버블(아이콘으로서)을 사용하여 사용자 인터페이스(800)의 개략 예를 도시한다. 일 구현에서, 제스처-인식 기술을 사용하여 검출될 수 있는 애플리케이션 폴더를 팝핑하는 것에 의해 애플리케이션 폴더가 개방된다; 애플리케이션 폴더가 개방되면, 다른 버블이 관측 시야(802)에서 블로우아웃된다.
도 9a는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 9a는 사용자 인터페이스(800)에서 폴더 선택의 개략 예를 도시한다. 폴더 아이콘은, 일 구현에서, 관측 시야(802)의 허수 x-축에 대해 수직으로 나선형으로 형성될 수 있다. 다른 형태의 애니메이션이 다른 구현에서 사용될 수 있다.
도 9b는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 9b는 사용자 인터페이스(800)에서 폴더 선택의 개략 예를 도시한다. 폴더는 이제 보이고, 손가락으로 선택할 준비가 되었다.
도 10a는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 10a는 사용자 인터페이스(800)에서 애플리케이션 선택의 개략 예를 도시한다. 애플리케이션은 선택되고 폴더와 유사하게 관측 시야(802)에 들어간다. 일 구현에서, (대략) 1 대 5의 비율이 소프트웨어 애플리케이션의 아이콘에 대해 버블 비율에 대한 3차원의 불투명한 로고에 사용될 수 있다.
도 10b는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 10b는 사용자 인터페이스(800)에서 애플리케이션 선택의 개략 예를 도시한다. 선택된 애플리케이션의 로고는, 일 구현에서, 사용자 인터페이스(800)의 상부 코너에서 나선형, 회전, 및/또는 등을 신속하게 수행될 수 있다. 일 구현에서, (대략) 1 대 10의 비율이 셀 (예를 들어, 셀의 3x3 그리드의 일부인 것)에 대해 로고 사이즈를 조절하는데 사용된다.
도 11a는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 11a는 사용자 인터페이스(800)에 사용되는 설정 선택의 개략 예를 도시한다. (사용자(801)의) 손가락이 관측 시야(802)의 상부 우측 섹션에서 추적되면, 설정 버블, 버튼, 및/또는 등(808)이 일 구현에서 병합된다. 이것은, 예를 들어, 애플리케이션(국부 설정을 위한) 내에 및 홈 스크린(전체 설정을 위한)으로부터 발생할 수 있다. 사용자 인터페이스(800)는, 일 구현에서, 설정 버블(808)을 포함한다.
도 11b는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스의 개략 예를 도시한다. 도 11b는 사용자 인터페이스(800)에서 레벨 선택의 개략 예를 도시한다. 일 구현에서, 설정이 선택되면, 설정은 그리드의 최우측 컬럼에 대해 안쪽으로 나선형으로 형성될 수 있다. 설정 버블(808)은 예를 들어 (브라이트니스를 설정하기 위한) 설정 유형(810), (라우드니스를 설정하기 위한) 설정 유형(811), 설정 유형(812) (네트워크 연결을 설정하기 위한), (명상 모드를 설정하기 위한) 설정 유형(813), 및/또는 등을 포함하거나 이에 연결되거나 및/또는 이에 액세스를 제공할 수 있다.
도 11c는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 11c는 (사용자 인터페이스(800)에서) 구미 설정(gummy setting)을 위한 설정 선택의 개략 예를 도시한다; 예를 들어, 브라이트니스 설정이 선택되면, 구미 라인(gummy line)은 브라이트니스 설정 아이콘의 중심으로부터 사용자의 손가락으로 신장된다. 일 구현에서, 스케일은 크기를 제어한다.
도 12는 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)에서 사용하기 위한 사용자 인터페이스(800)의 개략 예를 도시한다. 도 12는 사용자 인터페이스(800)를 위한 시각적 서치 메뉴의 메타 뷰(새의 눈의 뷰)의 개략 예를 도시한다.
도 13은 일 실시예에서 도 1e의 센싱 및 디스플레이 장치(1300)(또한 하드웨어 어레이라고 지칭됨)의 개략 예를 도시한다. 도 13은 일 구현에서 센싱 및 디스플레이 장치(1300)에 사용되는 하드웨어의 개략 예를 도시한다. 센싱 및 디스플레이 장치(1300)는, 예를 들어, 제1 증강매개된-현실 공간(1000)과 인터페이스하도록 구성된 제1 현상 인터페이스(1302)와, 제2 증강매개된-현실 공간(1002)과 인터페이스하도록 구성된 제2 현상 인터페이스(1306)를 포함할 수 있다. 제1 현상 인터페이스(1302)의 일례는 도 1a 및/또는 도 1b의 인터페이스 어셈블리(902)를 포함한다.
일 옵션에 따라, 제1 현상 인터페이스(1302)는 제1 증강매개된-현실 공간(1000)과 동작가능하게 상호 작용하도록 각각 구성된 제1 감각 현상 이펙터 (예를 들어, 도 1b의 제1 감각- 현상 이펙터(912))와 제1 감각 현상 센서 (예를 들어, 도 1b의 제1 감각-현상 센서(910))를 포함한다. 제2 현상 인터페이스(1306)는 제2 증강매개된-현실 공간(1002)과 동작가능하게 상호 작용하도록 각각 구성된 제2 감각 현상 이펙터 (예를 들어, 도 1b의 제2 감각-현상 이펙터(914))와 제2 감각 현상 센서 (예를 들어, 도 1b의 제2 감각- 현상 센서(916))를 포함한다. 제1 감각 현상 이펙터의 일례는 도 1b의 제1 감각-현상 이펙터(912)를 포함하고, 제1 감각 현상 센서의 일례는 도 1b의 제1 감각-현상 센서(910)를 포함한다. 제2 감각 현상 이펙터의 일례는 도 1b의 제2 감각- 현상 이펙터(914)를 포함하고, 제2 감각 현상 센서의 일례는 도 1b의 제2 감각-현상 센서(916)를 포함한다.
일 옵션에 따라, 처리 어셈블리(1304)는 제1 현상 인터페이스(1302)와 제2 현상 인터페이스(1306)에 동작가능하게 연결되도록 구성된다. 처리 어셈블리(1304)는 제1 감각 현상 이펙터, 제1 감각 현상 센서, 제2 감각 현상 이펙터, 및 제2 감각 현상 센서와 동작가능하게 상호 작용하도록 구성된다. 처리 어셈블리(1304)의 일례는 도 1a 및/또는 도 1b의 처리 장치(908)를 포함하고, 일 구현에서, 제1 현상 인터페이스(1302)와 제2 현상 인터페이스(1306)에 동작가능하게 연결되도록 구성될 수 있다.
센싱 및 디스플레이 장치(1300)는 (예를 들어) 제1 현상 인터페이스(1302)를 포함한다. 제1 현상 인터페이스(1302)는 손가락 추적기, 깊이 카메라, 및/또는 등을 포함하도록 구성된 공간적-이미징 센서를 포함할 수 있다. 제1 현상 인터페이스(1302)는 도 1b의 제1 감각-현상 센서(910) 및/또는 제1 감각-현상 이펙터(912)의 조합의 일례일 수 있다. 제1 현상 인터페이스(1302)는, 일부 구현에서, 착용자의 (예를 들어, 사용자의) 부속 기관(손, 손가락, 팔, 다리, 발, 및/또는 등)을 검출하거나 모니터링하거나 및/또는 추적하도록 구성된다. 제1 현상 인터페이스(1302)의 예로는 카메라, 3차원 공간 센서, 3차원 스캐닝 디바이스, 3차원 센싱 디바이스, 및/또는 등을 포함한다. 처리 장치(908)는 공간적-이미징 소프트웨어를 실행하도록 구성될 수 있다. 장치(1300)는 착용가능하도록 구성된 제2 현상 인터페이스(1306)를 더 포함한다. 제2 현상 인터페이스(1306)는 헤드-장착된 디스플레이, 씨쓰루(see-through) 헤드-장착된 디스플레이, 쌍안경(binocular) 헤드-장착된 디스플레이, 및/또는 등이도록 구성될 수 있다.
일 실시예에서, 장치(1300)는 또한, 일 구현에서, 도 1a의 처리 장치(908)의 예시 및/또는 컴포넌트이고, 중앙 처리 유닛 및/또는 그래픽-처리 유닛, 및/또는 등을 포함할 수 있는 처리 어셈블리(1304)를 포함한다.
장치(1300)는 또한, 일 실시예에서, 헤드 장착된 디스플레이 유닛(예를 들어, 쌍안경(binocular) 광 씨쓰루 헤드 장착된 디스플레이를 형성하는)을 포함할 수 있는 공간적-이미징 디스플레이와 같은 제2 현상 인터페이스(1306)를 포함할 수 있다. 일 구현에서, 제2 현상 인터페이스(1306)는 뷰어가 제1 증강매개된-현실 공간(1000)을 보고 (예를 들어, 동시에) 도 1a의 제2 증강매개된-현실 공간(1002)을 볼 수 있도록 구성된다. 일 구현에서, 깊이 맵(1308)이 처리 어셈블리(1304) (및/또는 도 1a의 프로그램(907))에 제1 현상 인터페이스(1302)에 의해 제공된다. 제2 현상 인터페이스(1306)는 도 1b의 제2 감각-현상 센서(916) 및/또는 제2 감각-현상 이펙터(914)의 조합의 일례이다.
깊이 맵(1308)은, 일 구현에서, 제1 현상 인터페이스(1302)에 의해 장면(예를 들어, 도 1a의 제1 증강매개된-현실 공간(1000)에서)에 식별된 물리적인 결함의 디지털 맵이다.
도 14는 일 실시예에서 도 13의 장치(1300)의 개략 예를 도시한다. 장치(1300)는 증강매개된 현실 기능을 촉진하도록 구성된 컴포넌트의 조합을 제공한다. 장치(1300)는 퍼스널 컴퓨터(예를 들어, 데스크탑, 랩탑, 태블릿, 또는 스마트폰, 및/또는 등)에서 구현될 수 있다. 일 구현에서, 장치(1300)는 아이 글래스 안경으로 사용자의 헤드에 착용될 수 있는 디바이스로 구현될 수 있다. 일 구현에서, 장치(1300)는 도 8a의 사용자 인터페이스(800)를 제공하도록 구성된 하드웨어 컴포넌트와, 소프트웨어 애플리케이션 세트(예를 들어, 도 1a의 프로그램(907)에서 프로그래밍된 명령)를 포함한다.
일 구현에서, 장치(1300)는 제2 현상 인터페이스(1306)에서 스테레오스코픽 3차원 이미지를 보는 것을 제공하도록 구성된다. 장치(1300)는 증강매개된 현실 환경 (예를 들어, 도 1a의 제1 증강매개된-현실 공간(1000)에서)에서 사용자-제스처 움직임의 전부 또는 임의의 서브셋을 통해 동작하거나 및/또는 이를 인식하도록 구성된다. 장치(1300)는, 일 구현에서, 이펙터 디바이스에 의해 투영되는 컴퓨터화된 프로젝션 (예를 들어, 가상 키보드)과 상호 작용을 시뮬레이팅하기 위하여 사용자의 신체 및/또는 부속 기관(예를 들어, 손가락, 손, 팔, 다리, 발, 및/또는 등)의 제어된 움직임(제스처)을 인식하도록 구성될 수 있다. 이펙터 디바이스는 하나 이상의 좌표 시스템에서 볼 수 있는 2차원 및/또는 3차원의 이미지를 투영할 수 있다. 이러한 좌표 시스템은, 예를 들어, 제2 현상 인터페이스(1306) 또는 신체에 앵커링(anchored)되거나, 또는 제1 증강매개된-현실 공간(1000)에서 실제 세계 객체에 등록될 수 있다.
나아가, 컴퓨터화된 애플리케이션(생산성 해법(productivity solution), 게임, 매체, 및/또는 등과 같은 프로그래밍된 명령)은, 일 구현에서, 제2 현상 인터페이스(1306)의 앞 공간에서 사용자의 손가락, 손 및/또는 팔 움직임을 사용하여 장치(1300)에서 3차원 증강매개된 현실 (예를 들어, 제1 증강매개된-현실 공간(1000) 또는 제2 증강매개된-현실 공간(1002))에서 제어될 수 있고, 예를 들어, 표면, 윈도우-창턱(sill) 및 도어프레임과 같은 물리적인 컴포넌트에 대하여 등록될 수 있다.
장치(1300)는 증강매개된 현실 (예를 들어, 가상 3차원) 명령기가 움직임을 설명하는, 예를 들어, 짐나스틱 명령, 예를 들어, 댄싱, 무술, 추적 달리기, 스포츠 명령, 및/또는 등과 같은 다양한 사용을 위해 구성될 수 있다. 2개 이상의 사용자가 장치(1300)를 착용한 경우, 증강매개된 현실 명령기는 장치(1300)를 통해 움직임의 교차 인식을 통해 학생(사용자)의 움직임을 정정하도록 구성된다. 장치(1300)는 사용자의 헤드, 또는 표면에 대해 고정된 예를 들어 완전-스테레오스코픽 3차원 영화를 보는 것과 같은 여러 사용을 위해 구성될 수 있다. 장치(1300)는 예를 들어 추적된 손가락이 키를 통해 스와이프(swipe)하고 아래 소프트웨어 애플리케이션(SOFTWARE APPLICATION) 란에서 설명된 것과 같은 로직, 프로그래밍된 명령, 및/또는 등을 사용하여 단어를 구성하는 증강매개된 현실 키보드와 같은 다양한 사용을 위해 구성될 수 있다. 추가적인 예들은 소프트웨어 애플리케이션 란에서 아래에 설명된다. 일부 구현에서, 장치(1300)의 컴포넌트는, 예를 들어, 장치(1300)의 컴포넌트가 아이-글래스 프레임의 프레임에 내장될 수 있는 한 쌍의 아이-글래스 프레임에 맞도록 감소되고 소형화되고 및/또는 등이 수행될 수 있다. 장치(1300)는 하드웨어 디바이스와 사용자 인터페이스(800)(도 8a)를 제어하도록 구성된 소프트웨어 (프로그래밍된 명령)의 동작 조합과 소프트웨어 애플리케이션 세트의 협력적 조합을 포함한다.
도 13을 참조하면, 일 옵션에 따라, 장치(1300)는 제1 현상 인터페이스(1302), 제2 현상 인터페이스(1306), 및 처리 어셈블리(1304)의 조합을 포함한다.
또 다른 옵션에 따라, 장치(1300)는 제1 현상 인터페이스(1302)에 동작가능하게 연결되도록 구성된 제1 인터페이스 모듈(903)과, 또한 제2 현상 인터페이스(1306)에 동작가능하게 연결되도록 구성된 제2 인터페이스 모듈(905)에 동작가능하게 연결된 처리 어셈블리(1304)를 포함한다.
더 또 다른 옵션에 따라, 장치(1300)는 인터페이스 시스템을 포함한다. 인터페이스 시스템은 제1 현상 인터페이스(1302)에 동작가능하게 연결되도록 구성된 제1 인터페이스 모듈(903), 제2 현상 인터페이스(1306)에 동작가능하게 연결되도록 구성된 제2 인터페이스 모듈(905), 및 처리 어셈블리(1304)에 동작가능하게 연결되도록 구성된 제3 인터페이스를 포함한다.
일 구현에서, 장치(1300)는 도 1a의 제1 증강매개된-현실 공간(1000)으로부터 수신된 감각 현상 (예를 들어, 시각적 현상, 오디오 현상, 촉각 현상, 및/또는 등)을 검출하도록 구성된 제1 현상 인터페이스(1302)를 포함한다. 제1 현상 인터페이스(1302)는 또한, 일 구현에서, 감각 현상 (예를 들어, 이미지 등)을 도 1a의 제1 증강매개된-현실 공간(1000)에 제공하거나 및/또는 송신하도록 구성될 수 있다. 일 구현에서, 제1 현상 인터페이스(1302)는 또한 사용자의 눈으로부터 및 제1 증강매개된-현실 공간(1000) 쪽으로 배향(pointed)되도록 구성될 수 있다.
일 구현에서, 제1 현상 인터페이스(1302)는 제1 현상 센서와 제1 현상 이펙터를 포함한다. 제1 현상 센서라는 언급은 제1 현상 센서의 하나 이상의 단일 인스턴스(하나)를 포함할 수 있다. 제1 현상 이펙터라는 언급은 제1 현상 이펙터의 하나 이상의 단일 인스턴스(하나)를 포함할 수 있는 것으로 이해된다. 제1 현상 센서는, 예를 들어, 공간적- 이미징 센서, 깊이 카메라, 손가락-추적 카메라 (각 소프트웨어를 포함함), 및/또는 등을 포함할 수 있다. 깊이 카메라의 예로는 (i) Asus (상표) Xtion Pro (상표) 시스템; (ii) Leap-Motion (상표) 시스템; (iii) Creative (상표) Interactive 제스처 카메라; (iv) PMD (상표) CamBoard 나노, 및/또는 등을 포함한다. 제1 현상 이펙터는 스피커, 램프, 조명 디바이스, 비디오 또는 홀로그래픽 프로젝터, 레이저, 및/또는 등을 포함할 수 있다.
일 구현에서, 제1 현상 인터페이스(1302) (예를 들어, 제1 현상 센서에 의해)는 깊이 맵(1308)을 계산하거나 생성하거나 및/또는 이 깊이 맵을 처리 어셈블리(1304)에 제공하도록 구성된다. 제1 현상 인터페이스(1302)는 도 1a의 제1 증강매개된-현실 공간(1000)에 위치된 여러 물리적인 컴포넌트(예를 들어, 표면, 윈도우, 출입구)의 좌표와 공간 배향을 제공(리턴)하도록 구성된다. 깊이 맵(1308)은, 예를 들어, 등록 목적을 위하여 물리적인 컴포넌트(객체)를 추적하도록 구성된다. 제1 현상 인터페이스(1302)는, 일 구현에서, 깊이 맵(1308)을 제공하도록 구성된 손가락-추적 깊이 카메라를 포함할 수 있다. 제1 현상 인터페이스(1302)는 깊이 맵(1308)을 처리 어셈블리(1304)에 연결된 메모리 어셈블리(909) (도 1a)에 전송하거나 송신하도록 구성된다. 메모리 모듈에 저장된 소프트웨어(프로그래밍된 명령)는 깊이 맵(1308)을 사용하여, 예를 들어, 사용자 (손가락, 손, 팔, 다리, 발)의 부속 기관을 추적하도록 구성되고 및/또는 물리적인 컴포넌트 제1 증강매개된-현실 공간(1000) (예를 들어, 도어 프레임, 윈도우, 표면, 및/또는 등)에 위치된다. 깊이 맵(1308)은 장치(1300)에서 사용되는 다른 소프트웨어 애플리케이션(프로그래밍된 명령)에 의해 액세스되거나 및/또는 사용될 수 있다. 메모리 어셈블리(909)에 저장된 소프트웨어는, 일 구현에서, 카메라에 의해 제공되는 깊이 맵(1308)에 기초하여 추적된 항목의 물리적인 [Χ,Υ,Ζ] 좌표를 계산하도록 구성될 수 있다. [Χ,Υ,Ζ] 맵핑 (깊이 또는 차원 맵핑)은 예를 들어 사용자의 신체 및/또는 장치(1300) 그 자체에, 또는 (예를 들어, 물리적인 객체와 연관된) 등록된 평면에 연관된 좌표 시스템 내에서 일어날 수 있다.
사용자가 장치(1300)를 착용한 일부 구현에서, 제1 현상 인터페이스(1302)는 (또한 도 1a의 제1 증강매개된-현실 공간(1000)이라고 언급되는) 사용자의 관측 시야의 방향을 향하거나 및/또는 이 방향으로 배향된다. 일 구현에서, 사용자의 관측 시야는 눈이 전방을 보는 방향이다. 예를 들어, 일 구현에서, 사용자의 관측 시야는 사용자가 사용자의 손가락의 위치를 볼 수 있는 방향일 수 있다. 사용자가 가상 키보드에서 타이핑하는 경우에, 사용자의 손가락은 사용자가 다른 곳을 보고 있는 경우에도 제1 현상 인터페이스(1302)에 의해 추적될 수 있다. 일 구현에서, 제2 현상 인터페이스(1306)는 사용자 (도 1a의 제2 증강매개된-현실 공간(1002))의 눈 쪽 방향을 향한다(예를 들어, 이 방향으로 배향된다).
예로서, 제1 증강매개된-현실 공간(1000)은 장치(1300)의 각자 인스턴스를 가지는 적어도 2개의 사용자가 적어도 하나 이상의 사용자와 연관된 장치(1300)의 적어도 하나 이상의 인스턴스에 의해 제공되는 감각 현상 (제1 증강매개된-현실 공간(1000) 내)과 사용자 상호 작용하는 것에 의해 제1 증강매개된-현실 공간(1000) 내에서 상호 작용(예를 들어, 협력, 경쟁, 싸움(fight), 및/또는 등)을 수행할 수 있는 물리적인 장소이거나, 이 장소를 나타내거나 및/또는 이와 연관될 수 있다.
예로서, 제1 증강매개된-현실 공간(1000)은 적어도 하나의 사용자가 장치(1300)의 인스턴스를 가지는 물리적인 장소이거나 이 장소를 나타내거나 이 장소와 연관될 수 있고, 장치(1300)의 제1 현상 인터페이스(1302)에 의해 제공되는 감각 현상 (제1 증강매개된-현실 공간(1000) 내)과 사용자 상호 작용하는 것에 의해 제1 증강매개된-현실 공간(1000) 내에서 상호 작용할 수 있다.
제2 현상 인터페이스(1306)는, 일 구현에서, (예를 들어, 눈 움직임, 얼굴 표현, 및/또는 등을 추적하여) 사용자로부터 수신된 감각 현상을 검출하도록 구성된다. 제2 현상 인터페이스(1306)는 또한 감각 현상 (예를 들어, 이미지, 비디오, 그래픽, 사운드, 및/또는 등)을 도 1a의 제2 증강매개된-현실 공간(1002)에 있는 사용자에 제공하거나 및/또는 송신하도록 구성될 수 있다. 제2 현상 인터페이스(1306)는 또한, 일 구현에서, 사용자의 한 눈 또는 두 눈 쪽으로 및 제1 증강매개된-현실 공간(1000)으로부터 멀어지는 쪽으로 배향(예를 들어, 지향) 되도록 구성될 수 있다. 다른 구현에서, 제2 현상 인터페이스(1306)는 사용자에 대하여 뒤에, 위에, 아래에, 주위에, 원격에, 및/또는 등에 위치된 영역 쪽으로 배향되도록 구성될 수 있다.
일 구현에서, 제2 현상 인터페이스(1306)는 제2 현상 센서와 제2 현상 이펙터를 포함한다. 제2 현상 센서라는 언급은 제2 현상 센서의 하나 이상의 단일 인스턴스(하나)를 포함할 수 있다. 제2 현상 이펙터라는 언급은 제2 현상 이펙터의 하나 이상의 단일 인스턴스(하나)를 포함할 수 있다. 제2 현상 센서는, 여러 구현에서, 공간적-이미징 센서, 깊이 카메라, 손가락-추적 카메라 (각 소프트웨어를 포함함), 및/또는 등을 포함할 수 있다. 제2 현상 이펙터는, 일 구현에서, 사용자의 눈으로 이미지를 디스플레이하도록 구성된 오디오 출력 (예를 들어, 이어피스), 및/또는 디스플레이 유닛을 포함할 수 있다.
처리 어셈블리(1304)는 일부 경우에서 공간적-이미징 처리 어셈블리로 언급될 수 있고, 도 1a의 처리 장치(908)의 일례이다. 처리 어셈블리의 예로는 중앙 처리 유닛, 그래픽 처리 유닛, 마이크로프로세서, 응용-특정 집적 회로 (ASIC)및/또는 등을 포함한다. 처리 어셈블리(1304)는, 일 구현에서, 제1 현상 인터페이스(1302)에 의해 제공되거나 및/또는 이로부터 수신된 정보에 기초하여 예를 들어 사용자의 손가락, 손 또는 팔, 및/또는 다른 부속 기관의 골격의 객체의 공간 위치와 배향을 연산하도록 구성될 수 있다. 처리 어셈블리(1304)는 프로그래밍된 명령을 실행하도록 구성되고, 일부 구현에서, 네트워크 연결성 (무선 또는 유선)을 가지게 구성되거나 및/또는 이에 연결될 수 있다. 일 구현에서, 처리 어셈블리(1304)는 감각 현상 (예를 들어, 공간 이미지)을 나타내는 신호를 (도 1a의 제2 증강매개된-현실 공간(1002)에서) 제2 현상 인터페이스(1306)에 제공하도록 구성될 수 있다. 처리 어셈블리(1304)는 예를 들어 모바일 폰, (예를 들어, 벨트에 부착되거나 및/또는 벨트에 구축된) 모바일 컴퓨터, (예를 들어, 데스크 위에 놓인) 정지 컴퓨터, 및/또는 등을 포함할 수 있다.
처리 어셈블리(1304)는 소프트웨어 (프로그래밍된 명령)를 실행하도록 구성되고, 일 실시예에서, 예를 들어, 깊이 맵(1308)에 포함된 정보에 기초하여 (제1 증강매개된-현실 공간(1000))의 사용자 및/또는 사용자들의) 손가락, 손, 및/또는 팔의 위치와 배향의 공간 좌표를 계산하도록 구성된다.
장치(1300)는, 일 구현에서, 사용자 (예를 들어, 헤드-장착가능한 프레임, 아이-글래스 프레임, 바이저, 마스크, 및/또는 등)에 의해 착용되도록 구성된 사용자- 착용가능한 프레임을 포함할 수 있고, 또한 장치(1300)의 컴포넌트의 임의의 조합을 지원하도록 구성될 수 있다.
소프트웨어 애플리케이션(SOFTWARE APPLICATION)
아래에 설명된 소프트웨어 애플리케이션(프로그래밍된 명령)은, 장치(1300)와 협력하도록 구성될 수 있다. 일 구현에서, 소프트웨어 애플리케이션은 도 1a의 메모리 어셈블리(909)에 저장된 깊이 맵(1308) (도 13)을 사용하도록 구성된다. 깊이 맵(1308)은 제1 현상 인터페이스(1302)에 의해 (예를 들어, 이와 연관된 센서를 통해), 예를 들어, 처리 어셈블리(1304)로 제공된다. 여러 소프트웨어 애플리케이션은 깊이 맵(1308)에 기초하여 그래픽 이미지를 생성하고, (예를 들어, 제2 현상 인터페이스(1306)를 통해) 그래픽 이미지를 사용자에 디스플레이하도록 구성될 수 있다. 일 구현에서, 그래픽 이미지는 제1 증강매개된-현실 공간(1000)에 위치된 추적된 손가락, 손, 팔, 다리, 발, 완드, 및/또는 다른 사용자 부속 기관 및/또는 물리적인 컴포넌트 (예를 들어, 윈도우, 도어, 표면, 및/또는 등)의 대응하는 움직임을 도시한다.
소프트웨어 애플리케이션의 예로는 (도 8a에 도시된) 슈팅 게임(shooting game)을 위한 사용자 인터페이스(800)를 관리하도록 구성된 사용자-인터페이스 애플리케이션을 포함한다. 소프트웨어 애플리케이션은 사용자 상호 작용 기술과 (제스처의) 사용자 추적을 촉진하도록 구성되고; 예를 들어, 일 구현에서, 사용자의 집게 손가락은 총의 총신(barrel)으로 추적될 수 있고, (엄지 손가락을 굽히는 것에 의해) 엄지 손가락 단부와 손바닥 사이의 거리를 단축시키는 것은, 가상 총의 발사를 트리거하는 사용자의 의도를 나타낸다. 소프트웨어 애플리케이션은 도 1a의 제1 증강매개된-현실 공간(1000)에 디스플레이된 가상 타깃과 같은 이미지를 증강하도록 구성되고, 여기서 타깃은 가상 총으로 슈팅될 수 있고, 이미지는 제2 현상 인터페이스(1306)를 통해 사용자에 디스플레이된다.
소프트웨어 애플리케이션의 일례는 증강매개된 현실 슈팅 게임을 포함한다. 소프트웨어 애플리케이션은 (예를 들어, 슈팅 게임에 사용된 것과 유사한 방식으로) 사용자 상호 작용 기술과 사용자 추적을 촉진하도록 구성된다. 소프트웨어 애플리케이션은 실제 물리적인 세계 및/또는 그 내부 객체에 대해 등록된 가상 타깃을 디스플레이하도록 구성된다. 가상 타깃은 가상 총 또는 무기를 사용하여 슈팅된다. (가상 타깃과 물리적인 객체 사이) 등록은, 예를 들어, 깊이 맵(1308)에 의하여 물리적인 컴포넌트(예를 들어, 룸 컴포넌트)를 추적하는 것에 의해 일어날 수 있다.
소프트웨어 애플리케이션의 일례는 증강매개된 현실 키보드를 포함할 수 있다. 소프트웨어 애플리케이션은 그래픽을 사용자에 제공하거나 및/또는 디스플레이하도록 구성되고: 가상 키보드는 제2 현상 인터페이스(1306)에 의해 사용자에 보이는 관측 시야 하에 존재한다. 상호 작용 기술(예를 들어, 사용자 제스처 모션)이 "개방 손 상승/하강 키보드(Open Hand Raising/Lowering Keyboard)" 제스처와 같은 장치(1300)의 센서에 의해 검출되면, 소프트웨어는 키보드 이미지를 상승시켜 사용자의 관측 시야에 들어가도록 구성된다. 일 구현에서, 가상 키보드는 등록된 물리적인 컴포넌트에 대해, 장치(1300)의 배향에 대해, 및/또는 등에 대해 사용자의 신체의 제2 현상 인터페이스(1306)의 좌표 시스템에 고정될 수 있다. 일 구현에서, 소프트웨어는 다음 방식으로 사용자와 상호 작용하도록 구성된다. 사용자 제스처는 개방 손 상승/하강 키보드 제스처를 위해 사용자에 의해 사용된다. 개방 손이 미리 결정된 시간 기간(예를 들어, 1초)을 초과하여 (예를 들어, 적어도 손가락 끝의 임계값 수, 예를 들어, 2개) 보이는 경우, 소프트웨어는 증강매개된 현실 키보드를 사용자의 관측 시야로 상승시키도록 구성된다. 사용자는 소프트웨어가 이에 응답하도록 구성된 "스와이핑 손가락 입력 디바이스" 제스처를 개시할 수 있다. 소프트웨어는 (예를 들어, 손을 폐쇄하고, 또는 단 하나의 손가락만을 추적하는 것에 의해) 개방 손 제스처가 디스에이블될 수 있는 제스처를 검출하도록 구성되고, 이에 응답하여, 소프트웨어는 증강매개된 현실 키보드의 이미지를 하강시켜 사용자의 관측 시야로부터 키보드를 제거한다. 증강매개된 현실 키보드의 이미지를 하강시키는 것은 미리 결정된 시간 시간(예를 들어, 1초)을 초과하여 (사용자의) 손이 다시 개방되는 경우 달성될 수 있다.
일 구현에서, 소프트웨어는 스와이핑 손가락 입력 디바이스를 포함하는 다른 사용자 상호 작용 기술에 응답하도록 구성될 수 있다. 사용자는 증강매개된 현실 키보드의 원하는 키를 통해 스와이프한다. 이것은, 일 구현에서, 추적된 손가락의 모션과 키의 정적 위치를 동일한 z 평면에 고정시키는 것에 의해 달성될 수 있다. 이 예시적인 구성에서, [Χ,Υ,Ζ] 좌표 시스템은 제2 현상 인터페이스(1306)에, 사용자의 신체, 장치(1300)의 배향에, 데스크 또는 구와 같은 제1 증강매개된-현실 공간(1000) 내 등록된 물리적인 컴포넌트에, 및/또는 등에 고정될 수 있다. 입력 모션과 정적 키가 손가락을 이동시키는 것에 의해 동일한 객체 (예를 들어, 평면, 표면)에 고정되면, 사용자는 입력 디바이스를 이러한 좌표 시스템 내 [X, Y] 좌표를 따라 스와이프할 수 있게 하고, 예를 들어, 손가락의 [X, Y] 좌표는 (예를 들어, 깊이 맵(1308)을 통해) 제1 현상 인터페이스(1302)로부터 리턴되고, 장면 (제1 증강매개된-현실 공간(1000))에서 업데이트된다. 손가락의 [X, Y] 좌표가 변하므로, (제2 현상 인터페이스(1306), 신체 또는 객체에 대하여 그 위치에 각각 고정된) 키는 손가락에 의해 교차된다. 교차된 각 키는 그 키 ID (식별자)를 로컬 공정과 백엔드 공정 중 하나 또는 둘 모두에 전파할 수 있는 액션 이벤트를 트리거할 수 있다. 백엔드 공정과의 통신은, 예를 들어, 네트워크 통신을 통해 있을 수 있다. 일 구현에서, 백엔드 공정은, 예를 들어, 패턴 인식 및/또는 자연 언어 처리를 통해 쓰고자 의도된 단어가 무엇인지를 결정하고, 의도된 단어, 또는 단어 제안을 리턴한다. 또 다른 예시적인 구성에서, [Z] 파라미터는 고정되어 있지 않고, 손가락 그 자체는 공간에 떠 있는 가상 키와 교차할 수 있다. 더 또 다른 예시적인 구성에서, 가상 키는 표면 또는 객체의 상부에, 또는 제2 현상 인터페이스(1306) 또는 사용자의 신체에 고정된 좌표 시스템에 떠 있는 3차원 형상(예를 들어, 범프, 구, 큐브, 버튼, 광, 및/또는 등)으로 보일 수 있고, 손가락은 이들 범프를 손가락으로 가압하여 타이핑을 달성할 수 있다. 다른 구현에서, 손가락 (예를 들어, 스타일러스 또는 완드, 팔, 손, 손가락 그룹, 다리, 발, 및/또는 등)에 더하여 또는 이와는 다른 부속 기관을 사용하여 가상 키보드를 타이핑하거나 및/또는 이와 다른 상호 작용을 할 수 있다.
소프트웨어 애플리케이션의 일례는 뉴스 판독 애플리케이션 (뉴스 케러셀(carousel))을 포함할 수 있다. 일 구현에서, 소프트웨어는 (A) 내부에 (예를 들어, 불투명한 3차원 메쉬 렌더링된 문자로) 물품(article)/매체 제목(media title)을 갖는 투명한 형상(예를 들어, 버블)을 포함하는 그래픽을 (사용자에) 디스플레이하는 동작; 및 (B) 시각적으로 디스플레이된 축 및/또는 보이지 않는 수직 축에 대해 그래픽을 회전시키는 동작을 수행하도록 구성될 수 있다. 축은 제2 현상 인터페이스(1306)에 대해, 사용자의 신체에 대해, 및/또는 제1 증강매개된-현실 공간(1000)에서 추적된 룸 내 수직 축에 대해 고정될 수 있다. 또한 캐러셀이 추적될 수 있다. (수직 축이 추적된 환경 내에 있는) 마지막 경우의 구현에서, 사용자가 캐러셀로부터 멀어지게 터닝하는 경우, 텍스트를 캡슐화하는 투명한 형상은 사라질 수 있고, 그리고 사용자가 다시 터닝하면, 텍스트가 사용자의 관측 시야에 있는 동안 텍스트가 차지한 마지막 위치에서 사라질 수 있다. 텍스트가, 예를 들어, "다발 스와이프(Bunched Swipe)" 제스처와 같은 상호 작용 기술을 사용하는 것에 의해 좌측과 우측으로 스와이프되기 때문에, 물품이 축에 대해 회전한다. 사용자에 가장 가까운 물품(매체)은, 예를 들어, "압착 이동과 팝핑" 제스처와 같은 상호 작용 기술을 사용하는 것에 의해 선택될 수 있다. 물품이 팝핑되면, 물품의 몸체는 관측 시야에서 성장하고; 물품은 단일 투명한 형상 (예를 들어, 버블)보다 더 크게 되거나, 또는 물품은 투명한 형상의 사이즈로 유지되고; 사용자는 이 물품을 판독할 수 있다.
소프트웨어는 다발 스와이프 제스처의 인식과 같은 사용자-상호 작용 기술을 촉진하도록 구성된다. 다수의 손가락이 함께 다발로 될 수 있고, 이 제스처는, 예를 들어, 집게 손가락의 끝과 가운데 손가락의 끝을 검출하고 나서, 깊이 맵(1308)으로부터 [Χ,Υ,Ζ] 좌표의 세트를 리턴하는 끝을 추적하는 것에 의해 추적될 수 있고; 임의의 방향으로 사용자에 의해 수행되는 스와이프 제스처는, 일 구현에서, 예를 들어, 각 회전 방향에서 수직 축에 대해 가상 캐러셀(virtual carousel)을 회전시킬 수 있다.
소프트웨어는 사용자-상호 작용 기술, 예를 들어, 압착 이동과 팝핑 제스처를 수행하도록 구성된다. 투명한 캡슐 형상 (예를 들어, 버블) 내 물품이 선택될 수 있고, 일 구현에서, 다음 예에 따라 결정될 수 있는 압착 정도에 기초하여 이동될 수 있다:
동작 (1)은 압착 이동 제스처의 인식을 포함하고; 예를 들어, 집게 손가락과 엄지 손가락 사이의 추적된 거리가 측정된다. 버블이 특정 임계값 (예를 들어, 5 센티미터) 초과이고 다른 임계값 (예를 들어, 10 센티미터) 미만이면, 형상은 (3차원 공간에서 마우스를 드래그하는 것과 유사하게) 손의 모션 방향을 따라 이동된다.
동작 (2)은 압착 팝핑 제스처의 인식을 포함한다. 거리가 두 임계값 아래이면, 형상이 팝핑되고, 이 경우에 물품의 바디는 관측 시야를 채우도록 성장한다. 예시적인 구성에서, 사용자는 다발 스와이프 제스처 (모션)가 물품 또는 매체 항목에 적용될 때 형상(즉, 형상은 물품 또는 매체의 바디를 재캡슐화함)의 언팝핑을 본다.
동작 (3)은 모션 없음의 인식을 포함한다. 소프트웨어는 거리가 두 임계값을 초과하는지 및 형상이 움직이고 것인지, 및 형상이 정지해 있는지 여부를 검출하도록 구성된다. 형상이 원래 정지해 있었는 경우, 형상은 여전히 유지될 수 있다.
소프트웨어 애플리케이션의 일례는 표면에 다중스테레오스코픽 3차원 프리젠테이션을 포함할 수 있다. 일 구현에서, 소프트웨어는 다음 예에 따라 사용자를 추적하도록 구성되고: 표면-추적 기술, 예를 들어, 기준 마커(fiducial marker), 또는 하드웨어 시스템의 본연(native)의 물리적인 컴포넌트 깊이 추적기를 사용하여, 환경에서 하나 이상의 표면(예를 들어, 벽)의 위치와 배향이 추적될 수 있다. 일 구현에서, 소프트웨어는, 예를 들어, 다음 예에 의해 사용자에 그래픽 이미지를 제시하도록 구성될 수 있다: 스테레오스코픽 또는 2차원 및/또는 3차원 이미지(들) (예를 들어, 영화, 인터넷 웹페이지, 가상 책장, 가상 아트 갤러리(art gallery), 및/또는 다른 매체 프리젠테이션)가 보기 위해 하나 이상의 추적된 표면에 대하여 고정된다. 일 구현에서, 동일한 영화 프레임 또는 매체 항목의 상보적인 세그먼트가 상이한 벽에 디스플레이될 수 있고, 다른 구현에서, 그 누적 효과는 단일 프레임에 대해 모든 방향으로 깊이 환영(illusion)을 제공한다. 또 다른 구현에서, 모든 프리젠테이션 유형은 추적된 손을 사용하여 (예를 들어, 동작 시작, 정지, 전진(forward), 역전(reverse), 포즈, 스크롤, 사용 키보드, 팬(pan), 줌, 회전을 수행하도록) 상호 작용될 수 있다.
소프트웨어 애플리케이션의 일례는 가상 스컬프팅을 포함할 수 있다. 일 구현에서, 이 소프트웨어는 (예를 들어, 데스크와 같은 추적된 물리적인 컴포넌트와 동일 평면에 하나의 면을 가지는) 추적된 표면 및/또는 객체에 대해, 또는 사용자의 앞 공간에 고정될 수 있는 가상 형상 (예를 들어, 큐브와 같은 다면체)을 제시하도록 구성될 수 있다. 일 구현에서, 추적된 손의 골격은 추적된 손과 가상 객체 사이에 임의의 상호 작용 지점을 스컬프팅하는 것에 의해 가상 객체를 스컬프팅하고 그 구성을 변화시키는데 (예를 들어, 리얼리스틱 클레이 스컬프팅 메타퍼를 사용하여 다각형이 손가락과 교차할 때 질량 중심 쪽 내부로 동적으로 덴트되도록) 사용될 수 있다. 일 구현에서, 사용자의 깊이-추적된 팔의 상부에 떠 있는 것으로 보이는 가상 메뉴 (팔레트)를 사용하여, 사용자는 다른 손 위에 떠 있는 팔레트에 다른 손을 딥핑하여, 이 다른 손을 사용하여 텍스처, 컬러, 투명도 또는 불투명도, 브라이트니스, 및/또는 등과 같은 효과를 큐브에 적용할 수 있다. 또 다른 구현에서, 객체는 레이어로 그룹화될 수 있는 다수의 다른 객체의 합성일 수 있다. 이러한 구현에서, 선택 메뉴 항목은 추적된 손이 레이어/객체 선택을 나타내도록 할 수 있고, 이후 스컬프팅/텍스처 메뉴 항목은 추적된 손이 선택된 항목을 스컬프팅하거나 또는 텍스처하도록 할 수 있다.
소프트웨어 애플리케이션의 일례는 다수의 학생(사용자)과 함께 또는 이 학생(사용자) 없이 룸에서 증강매개된 현실 명령기를 포함한다. 일 구현에서, 소프트웨어는 예를 들어 사용자의 움직임을 추적하도록 구성될 수 있고: 이 경우에 추적된 물리적인 컴포넌트는 룸 (예를 들어, 바닥과 같은 표면)이다. 예시적인 동작 모드에서, 소프트웨어는 "Boxing against Muhammad Ali" 게임을 제공하고, 사용자의 쥔 주먹이 추적된다. 또 다른 예시적인 동작 모드에서, 소프트웨어는 "그룹 요가 명령"을 제공하고, 제1 사용자의 신체가 제2 사용자의 깊이 카메라에 의해 추적된다. 일 구현에서, 증강매개된 현실 명령기의 애니메이션은 그 위치, 회전과 스케일이 소셜 추적기 방법을 사용하여 상호 추적되므로 세계 좌표 내에 두 사용자에 대해 동일한 위치 배향과 스케일로 보인다.
일 구현에서, 소프트웨어는 게임 "Boxing against Muhammad Ali"을 제공하도록 구성되고, 여기서 소프트웨어는 장치(1300)의 제2 현상 인터페이스(1306)를 통해 본 근 거리로부터 사용자 쪽을 향하게 보이는 생존-사이즈(life-sized)의 3차원 (스테레오 또는 다른 방식의) 증강매개된 현실 명령기 (예를 들어, 가상 모함메드 알리(Mohammad Ali))의 그래픽 이미지를 제시하도록 구성된다. 가상 인물(virtual figure)는 물리적인 컴포넌트 추적(예를 들어, 바닥)에 연결되거나 및/또는 등록된다. 가상 인물은 게임이 진행됨에 따라 사용자를 펀칭할 수 있고, 사용자는 펀치를 피하거나 회피할 수 있거나(따라서 포인트 취득) 또는 펀칭을 받을 수 있거나(따라서 포인트 상실), 또는 가상 인물을 펀칭(따라서 포인트 수신)할 수 있다.
일 구현에서, 소프트웨어는 게임 "요가 명령"을 제공하도록 구성되고, 여기서 소프트웨어는 개별 요가 명령을 포함하는 제1 모드를 동작시키도록 구성되고; 바닥의 상부에, 증강매개된 현실 명령기는 증강매개된 현실 환경에 중첩된다. 요가의 경우에, 예를 들어, 증강매개된 현실 명령기는 사용자로부터 소정의 거리에 위치되어, 사용자를 향하고 정확한 요가 모션을 사용자에 보여준다. 사용자는 이러한 이벤트에서 증강매개된 현실 명령기에 의해 제공되는 모션을 모방한다.
일 구현에서, 소프트웨어는 또한 요가 명령과 정정을 포함하는 제2 모드를 동작시키도록 구성되고; 이 상호 작용을 달성하기 위해, 하나의 예시적인 구성은 2개 이상의 사용자가 특정 임계값(예를 들어, 5 미터)을 초과하는 거리에서 서로 향하는 것을 포함한다. 제1 사용자의 센서 (예를 들어, 깊이 카메라)가 제2 사용자의 골격을 추적하도록 동작하거나, 그 역으로 추적하도록 동작한다. 다음으로, 증강매개된 현실 명령기는 사용자들 사이에 중첩되고, 골격 추적에 기초하여, 관련 사용자로 돌아가 사용자의 형태를 정정하고 여러 요가 움직임을 위한 관련 명령을 제공한다. 또 다른 예시적인 구성에서, 또 다른 별도의 센서 (예를 들어, 깊이 카메라)는 제2 현상 인터페이스(1306)(도 13에 도시된)를 착용하는 단일 사용자를 향할 수 있고, 증강매개된 현실 명령기는 사용자의 골격 위치에 기초하여 단일 사용자의 모션을 정정할 수 있다.
소프트웨어 애플리케이션의 일례는 예를 들어 마커 없는 추적을 사용하여 3차원 공간에 보이는 물리적인 표면에 추적되는 증강매개된 현실 전략, 생존-시뮬레이션 게임, 시뮬레이터 및/또는 등을 포함할 수 있다. 일 구현에서, 소프트웨어는 사용자 상호 작용 기술과 추적을 위한 모드를 포함하도록 구성되고; 사용자의 손은 가상 세계의 아바타/구조와 상호 작용(예를 들어, 세게 때림(smack), 하이-파이브, 애무(caress), 및/또는 등)을 수행할 수 있다. 게임/시뮬레이터의 가상 모래박스(sandbox)는 추적된 표면 또는 물리적인 컴포넌트(예를 들어, 침대, 바닥 및/또는 천장)에 대해 고정될 수 있다. 소프트웨어는, 일 구현에서, 그래픽 이미지를 제시하도록 더 구성될 수 있고, 예를 들어, 사용자의 손과 상호 작용시, 아바타는 특정 애니메이션 시퀀스와 반응할 수 있다(예를 들어, "세게 때릴(" 때, 아바타는 점프할 수 있다). 일 구현에서, 등록된 사용자 제스처는 (예를 들어, 링크된 제스처와 출력 테이블을 포함하는) 데이터베이스에 저장된 레코드를 통해 애니메이션 시퀀스와 같은 디스플레이된 출력과 상관된다.
소프트웨어 애플리케이션의 일례는 소셜 추적기를 포함할 수 있다. 일 구현에서, 소프트웨어는 소셜 상호 작용과 연관된 사용자 제스처를 추적하도록 구성되고, (예를 들어, 어둠 속에서 빛나는(glow-in-상기-dark), 또는 조명 기준 하에서 보이는 마커, 또는 예를 들어 장치(1300)의 일부에 부착될 수 있는 다른 물리적인 추적기의 일 구현에서) 마커-기반 및/또는 마커 없는 추적 전략을 사용하여 구현될 수 있다. 일 구현에서, 마커-기반 추적 시스템은 추적을 개선시키도록 구성된다. 추가적으로, 이 접근법은, 일 구현에서, 선택된 경우 및/또는 원하는 경우 소셜 네트워크 사용자 이름을 통해 사용자의 데이터에 의해 연결될 수 있는 각 안경에 고유한 식별자 (ID)를 사용할 수 있다(예를 들어, 이 예에서, 각 마커는 고유한 ID이거나 및/또는 이를 구비할 수 있다). 그리하여, 소셜 네트워크 정보는 이 시스템의 사용자들 사이에 교환될 수 있다. 추적기가 시스템에 의해 이전에 식별되었으므로, 하나의 사용자는 (글래스를 착용하는) 헤드를 관찰하는 것에 의해 다른 사용자의 위치와 배향을 알 수 있다. 이것은, 예를 들어, 사용자에 대한 정보로 제2 현상 인터페이스(1306)의 사용자의 인스턴스에 버블 그래픽 팝핑아웃(popping out)되거나 이에 고정될 수 있다. 추가적으로, 이 ID 추적기는, 일 구현에서, 얼굴-식별 소프트웨어로 식별되지 않을 수 있는 글래스에 의해 얼굴이 불명확한 사용자를 식별할 수 있게 한다.
예를 들어, 일 구현에서, 소프트웨어 (소셜 추적기)는 제1 모드 (a)와 제2 모드 (b)에서 동작하도록 구성될 수 있다. 제1 모드 (a)에서, 소프트웨어는 장치(1300)의 인스턴스들 사이에 연결성 (예를 들어, 양방향 연결성 및/또는 다중 방향 연결성)을 제공하도록 구성된다. 이 모드에서, 글래스가 네트워크에 연결되면, 소셜 네트워크 정보는 소셜 인터페이스를 통해 사용자들 사이에 교환된다. 사용자들이 소셜 네트워크에서 친구라면, 이들 사용자는 장치(1300)의 인스턴스에서 사용자 인터페이스(800)에서 공통의 친구, 사진 등을 볼 수 있다. 사용자들이 친구가 아니라면, 사용자들은 예를 들어 프로그램(907)에 의해 강제될 수 있는 다음 예와 유사한 가이드라인을 사용하여 서로 친구 관계를 요청할 수 있다.
(소셜 추적기 소프트웨어를 위한) 제1 가이드라인은 비-친구 모드를 포함한다: 일 구현에서, 비-친구(요청된 당사자)와 함께 할 수 있는 유일한 것은 특별한 형태의 친구 요청을 송신하는 것이다. 그러나, 이러한 요청이 송신되기 전에, 요청된 당사자에 대한 정보는 제2 현상 인터페이스(1306)의 요청자의 인스턴스에 보여질 수 있다. 이 정보는 요청된 당사자가 요청자의 카메라에 의해 추적되는 동안 또는 추적된 후 요청자의 글래스에 도달될 수 있다. 일 구현에서, 이 정보는 요청된 당사자의 이름, 그 얼굴만을 포함하지 않아서, 친구관계를 구축하기 전에 예를 들어 비-디지털 대면 교환 뒤에 동일한 정도의 정보가 이 시스템에서 일어날 수 있다. 추가적으로, 얼굴만 요청하는 것은, 일 구현에서, 차후 서치, 스토킹(stalking), 받은 편지함의 스팸 메일(inbox spamming), 및/또는 등을 방지하거나 및/또는 제한할 수 있다.
(소셜 추적기 소프트웨어를 위한) 제2 가이드라인은 친구 모드를 포함하고: 일 구현에서, 친구들 간에 교환하기 위한 주어진 소셜 네트워크 API에 의해 현재 허용가능한 임의의 정보가 유사하게 이 디지털 소셜 시스템에서 교환될 수 있다. (소셜 추적기 소프트웨어의) 제2 모드는 장치(1300)의 사용자와 장치(1300)의 인스턴스를 가지거나 사용하지 않는 사람 간의 상호 작용(일방향 연결성)을 포함한다. 이것은, 일부 구현에서, 당사자 A (장치(1300)를 가지는 관찰자)가, 예를 들어, 장치(1300)의 인스턴스를 착용하지 않는 당사자 B의 얼굴을 관찰하는 것으로부터, 소셜 네트워크를 통해 정보를 수신하는 임의의 상황을 말할 수 있다.
(소셜 추적기 소프트웨어를 위한) 프라이버시에 관해, 소프트웨어는, 일 구현에서, 장치(1300)의 임의의 인스턴스에서, 다른 것을 추적할 권리 대신에 사용자가 추적된 맨 얼굴이 추적될 수 있는 것을 허용할 수 있는(이것은 토글되고 디스에이블될 수 있음) 수용 모드를 제공하도록 구성된다. 일 구현에서, 사용자는 임의의 주어진 순간에 단 하나의 프라이버시 특권(즉, 추적할 권리, 또는 추적될 권리)만을 가질 수는 없으나, 둘 모두를 가질 수는 있다.
소프트웨어 애플리케이션의 일례는 경주 게임(racing game) 또는 우주선 게임을 포함할 수 있다. 일 구현에서, 소프트웨어는 사용자 상호 작용을 제공하고 (장치(1300)를 통해) 그래픽 이미지를 사용자에 제시하도록 구성될 수 있다. 두 손이 추적되고 가상 차량은 장치(1300)에 디스플레이되고, 소프트웨어는 공간에서 두 손의 상대적인 위치와 반응한다(예를 들어, 두 손 간에 수직/수평 오프셋, 예를 들어, 스티어링 휠, 조이스틱, 쓰로틀, 기어 시프트, 및/또는 등으로 누적해서 작용한다). 일 예시적인 구현에서, 이것은 스티어링 휠의 회전을 제어하는데 사용되는 오프셋을 측정하는 것에 의해 달성될 수 있다. 또 다른 예시적인 구현에서, 카메라로부터 두 손의 거리는 차량의 궤적(예를 들어, 항공 차량의 고도 또는 피치)의 다른 측면을 제어할 수 있다. 손가락(예를 들어, 엄지 손가락)은 또한 게임 로직을 위한 추가적인 명령을 제공하도록 추적될 수 있다(예를 들어, 주먹 쪽 직립 엄지 손가락을 아래쪽으로 누르는 것은 우주선을 발사하게 할 수 있다). 또 다른 구현에서, 우측 엄지 손가락은 가속도/기어 변경을 제어하고, 좌측 엄지 손가락은 브레이크 제공/기어 변경을 제어한다.
소프트웨어 애플리케이션의 일례는 포인트 클라우드 구현을 포함할 수 있다. 일 구현에서, 소프트웨어는 도 1a의 제1 증강매개된-현실 공간(1000)에서와 같이 물리적인 컴포넌트 및/또는 가상 컴포넌트를 추적하도록 구성될 수 있다. 일 구현에서, 컴포넌트 추적은 (예를 들어, 깊이 센서로부터) 포인트 클라우드의 획득을 포함한다. 이 예에서 픽셀을 통과하는 광선으로부터 일치하는 장면 지점의 z-깊이를 포함하는 값을 모든 픽셀에 할당하는 이미지로 설명된 깊이 이미지는, 일 구현에서 핀홀 카메라 모델에서 미리 교정된 카메라를 사용하여 공급될 수 있다. 이 모델은 센서의 렌즈가 실제-값을 갖는 메트릭(예를 들어, 밀리미터)에서 픽셀을 스케일링하는 정도를 한정하는 초점 길이와 주요 지점(principal point)을 공급한다. 깊이 이미지에서 모든 픽셀은, 이 예에서 주요 지점을 감산하고, 초점 길이로 나누고 나서, 이 픽셀에서 z-깊이 값으로 스케일링하는 것에 의해 3차원 지점을 생성한다. 이것은 무한대 광선이 이미지 센서 평면에서 2차원 픽셀에서 시작하고, 장면으로 투영되어, 깊이 이미지의 이 픽셀에서 z-깊이 값과 일치하는 거리에서 일부 3차원 물리적인 위치와 교차하는 것을 나타낸다. 이것은 2차원 깊이 센서 내 각 이미지로부터 프레임마다 3차원 포인트 클라우드를 산출한다. 수 개의 프레임으로부터 포인트 클라우드의 조합이 이 예에서 사용자가 환경에 대해 이동할 때 발생하고, 이에 단일 이미지 프레임을 초과하는 더 큰 등록된 3차원 장면 포인트 클라우드가 수집될 수 있다. 이것은, 일 구현에서, 장면에서 동일한 물리적인 지점을 나타내는 상이한 프레임으로부터 유사한 지점과 일치하는 컴퓨터 비전 기술을 사용하여 달성될 수 있다. 사용자가 환경에서 이동할 때 이 정적 3차원 지점 위치들이 2차원 이미지 또는 3차원 포인트 클라우드에서 이동하는 것을 분석하는 것에 의해, 시스템은 ( 3차원 회전 매트릭스와 3차원 병진이동 벡터 형태로) 사용자의 모션과 장면 내 구조를 추론할 수 있고, 이 기술은 일부 구현에서 SLAM(simultaneous localization and mapping), 또는 SFM(structure-from-motion)으로 언급된다. 일 구현에서, 사용자는 실시간으로 이것을 할 수 있고, 이에 따라, 사용자가 환경에서 이동하거나, 헤드를 제 위치에 회전하거나, 및/또는 등을 수행할 때, 사용자는 상이한 뷰로부터 일관적인 좌표 시스템으로 3차원 포인트 클라우드를 결합할 수 있어서, 공통의 그래픽이 놓일 수 있는, 예를 들어, 사용자 모션에 상관없이 모션 없이 유지되는, 공통의 좌표 프레임에서 더 큰 3차원 장면 맵을 양산할 수 있다.
사용자 인터페이스
이하에서는 일 실시예에서 도 8a의 사용자 인터페이스(800)의 설명을 제공한다. 사용자 인터페이스(800)는, 예를 들어, 사용자 제스처, 모션, 및/또는 등을 통해 장치(1300)를 사용하여 제어될 수 있도록 구성된다. 일 구현에서, 사용자 인터페이스(800)에는 여러 레벨이 있다. 예를 들어, 레벨 (1): 홈 스크린 레벨; 레벨 (2): 폴더 레벨; 레벨 (3): 애플리케이션 레벨과 파일 레벨; 및 레벨 (4): 설정 레벨을 포함하는 4개의 레벨이 있다.
레벨 (1): 홈 스크린 레벨
아이콘은 소프트웨어 애플리케이션 및/또는 데이터를 나타낼 수 있다. 일 구현에서, 아이콘은 버블 아이콘 또는 임의의 형상의 아이콘으로 표현될 수 있다. 일 구현에서, 버블 아이콘은 버블과 유사한 반투명한 구이다. 아이콘은 애플리케이션 로고를 포함할 수 있다. 예를 들어, 버블 아이콘 내에는 3차원 불투명한 또는 대부분 불투명한 애플리케이션 로고가 있을 수 있다. 일 예시적인 설계에서, 주변 구에 대한 로고의 비율은 대략 1:5일 수 있다. 함께, 버블 아이콘과 애플리케이션 로고는 (예를 들어, 적어도 부분적으로) 사용자의 이미지를 반사하는 것, 태양광을 반사하는 것, 공기가 버블에서 흐르는 것을 시뮬레이팅하는 것과 버블 형상을 약간 변화시키는 것, 다른 물리적인 객체가 버블을 가압하는 것을 시뮬레이팅하는 것과 그 형상을 약간 변화시키는 것, 및/또는 등과 같은 버블 같은 거동을 유도하거나 및/또는 이 거동과 연관된 효과를 포함할 수 있다.
이하에서는 일부 실시예에서 장치(1300)에서 사용가능한 일부 사용자-상호 작용 기술의 설명이다.
제1 사용자-상호 작용 기술은 사용자 인터페이스(800)에 디스플레이된 아이콘이 이동하는 것 및/또는 아이콘을 통한 것과 같은 병진이동과 회전 기술을 포함한다.
병진이동과 회전 방법은, 일 구현에서, "상대적인 손 모션이 떠 있는(Hover-Over) 미리-선택" 모드를 포함한다. 이 모드는 아이콘에 대한 손의 깊이를 인식할 필요 없이 사용자 인터페이스(800)에서 아이콘들 사이에 네비게이션을 신속히 허용한다. 대신, 추적된 손 모션의 상대적인 방향은 선택가능한 아이콘의 가상 지시자를 이동시킨다. 시각적 피드백을 제공하려는 노력에서, 일 예시적인 설계에서, 현재 떠 있는(hovered-over)(유도 타깃된) 버블은 인접한 버블보다 약간 더 불투명할 수 있고, 그 휴(hue)는 더 포화되었을 수 있다. 내부 조명은 선택성을 가상으로 나타내기 위해 제3 예시적인 설계일 수 있다. 떠 있는 아이콘은 임의의 다양한 선택 기술을 사용하여 선택될 수 있다. 떠 있는 아이콘은 손이 새로운 아이콘의 방향으로 이동하는 경우 변할 수 있고, 이는 이어서, 새로운 유도 타깃이 될 수 있다(예를 들어, 관측 시야의 아이콘의 특정 행으로부터 최우측 아이콘을 선택하기 위해 (도 9a 및 도 10a), 사용자는 추적된 손을 우측으로 이동시킨다). 폴더가 선택된 직후 아이콘의 새로운 행으로 이동하기 위해 (예를 들어, 폴더의 컨텐츠를 열기 위해) - 아이콘의 그 다음 레벨이 관측 시야에 병합될 때 - 사용자는 자기의 손을 카메라로부터 멀어지는 방향으로 이동시킨다. 사용자가 그렇게 하면, 동일한 컬럼으로부터 아이콘은, 그 다음 행에서, 하이라이트된다.
병진이동과 회전 방법의 다른 예로는 "압착 이동 병진이동" 모드를 포함할 수 있다. 2개의 손가락(예를 들어, 집게 손가락과 엄지 손가락) 사이에 추적된 거리가 측정된다. 이 상태 및/또는 측정이 특정 임계값 (예를 들어, 5 센티미터)을 초과하고, 및 다른 임계값(예를 들어, 8 센티미터) 미만이면, 가장 근접한 형상이 추적된 손의 방향에 따라 이동될 수 있다. 일 예시적인 구현에서, 아이콘의 에지는 2개의 손가락의 위치에 고정되고, 손가락이 확산되면, 손가락 모션 동안 (아이콘의) 물리적으로 리얼리스틱 뒤틀림(realistic warping)이 수행될 수 있다. 이것은 상한 임계값 거리를 통과할 때까지 계속 일어나고, 이후 아이콘이 놓여 유지된다. 또 다른 예에서, 2개의 손가락들 사이에 센트로이드가 추적되고, 아이콘은 그 경로를 따라 이동한다.
또 다른 선택 기술은 아이콘의 팝핑을 포함한다. 아이콘을 팝핑하는 방법은 "압착 팝핑 선택" 제스처를 포함할 수 있다. 이 예시적인 선택 상호 작용 기술에서, 손가락들 사이의 거리가 하한 임계값 (예를 들어, 5 센티미터) 미만이면, 이것은 아이콘을 팝핑하는 것, 아이콘 컨텐츠를 해제하는 것, 로고가 아이콘 (예를 들어, 버블) 내에 있는 애플리케이션을 개방하는 것, 및/또는 등을 트리거한다. 아이콘을 팝핑하는 다른 방법은 "팝핑 손가락 선택" 제스처를 포함하고; 추적된 손가락 끝이 아이콘과 교차하면 개방/팝핑을 트리거한다. 아이콘을 팝핑하는 또 다른 방법은 "파지 팝핑 선택" 제스처를 포함하고; 주먹을 쥐는 것은, 예를 들어, 적어도 2개의 손가락의 시작 모드("개방")로부터, 모든 손가락을 폐쇄한 종료 모드로, 폐쇄된 주먹, 및/또는 등("폐쇄된")으로 추적하여, 예를 들어, 아이콘의 개방/팝핑을 트리거할 수 있다.
일 구현에서, 장치(1300)의 소프트웨어는 애니메이션 기술을 제공하도록 구성된다. 애니메이션 기술의 일례는 "사이클 버블 애니메이션" 기술을 포함한다. 장치(1300)가 턴온되면, 다수의 버블이 하부 우측 스크린으로부터 예를 들어, 아크 궤적을 통해, 중심 스크린으로 한계 사이클을 관측 시야로 들어간다. 버블이 이렇게 하면, 버블은 3X3 그리드에서 관측 시야의 중간 행을 따라 행으로 정렬되기 시작한다.
애니메이션 기술의 다른 예는 폴더 아이콘이 선택되면 아이콘의 새로운 레벨을 병합하는 것을 포함할 수 있는 안쪽/롤로덱스 사이클 기술을 포함한다. 추가적으로, 아이콘의 홈 스크린 레벨(상부 레벨)의 경우에, 예를 들어, 개방 애니메이션 시퀀스(예를 들어, 사이클 버블 애니메이션)가 완료된 후, 아이콘은 순간적으로 관측 시야 (도 8a) 아래에 있다. 이 초기 상태 경우에, 안쪽/롤로덱스 사이클 기술은 아이콘을 선택함이 없이 미리 결정된 짧은 시간 기간 (예를 들어, 0.5 초) 후에 자동적으로 시작할 수 있다. 일 예시적인 구현에서, 폴더의 아이콘(폴더 아이콘 아래 하나의 레벨)은 라인 뒤로부터 이후 사용자 쪽으로 이 위에 3x3 그리드에서 하부 수평 라인에 대해 신속하게 [270°] 사이클링하는 것에 의해 관측 시야에 들어가고, 관측 시야의 하부 1/3 내에서 정지한다. 이 사이클은 고주파수의 다수의 아이콘 선택의 속력을 개선시키고, 경로에 있는 근육 메모리를 위한 프레임워크를 특정 엔드 애플리케이션에 제공한다(예를 들어, 엔드 애플리케이션에 효율적인 사용가능성을 제공한다). 다른 예시적인 구현은 아이콘의 그 다음 행의 수직 상승을 포함하지만 이로 제한되지 않는다.
이하에서는 일 구현에서 이하 동작을 사용하여 홈 스크린 레벨(HOME SCREEN LEVEL)에서 진행하는 방법의 일례를 설명한다:
동작 (a)는 (버블의 사이클에 대해) 환영 애니메이션(greeting animation)을 제시하는 것을 포함한다.
동작 (b)는 상호 작용 기술을 실행하는 것을 포함한다. 개방 손이 적어도 특정 임계값(예를 들어, 1초) 동안 제스처-인식 카메라에 의해 검출되면 4개의 버블 아이콘이 아래로부터 나타내서 관측 시야의 하부 1/3(3x3 그리드에서 하부 3개의 사각형)(도 8a 참조)에 들어간다.
동작 (c)은, 홈 스크린 아이콘이 관측 시야에 있고, 예를 들어, 하나 이상의 손가락이 팝핑, 파지 팝핑, 또는 압착 팝핑 선택 기술을 수행하는데 이용가능한지를 포함한다(도 8c 참조).
레벨 (2): 폴더 레벨
일 구현에서, x 축은 관측 시야(802)의 하부(예를 들어, 그리드에서 하부 라인)를 따라 놓여 있다. 이하에서는 일 구현에서 이하 동작을 가지는 방법을 사용하는 폴더 레벨에서의 예시적인 진행이다:
동작 (a)은 상호 작용 기술과 상호 작용을 포함한다. 선택 기술이 발생한다(예를 들어, "플레이" 폴더가 선택된다).
동작 (b)은 안쪽 나선형을 통해 하부 관측 시야에 들어가는 4개의 폴더 아이콘을 디스플레이하는 것을 포함한다(도 9a 및 도 9b 참조).
동작 (c)는 상이한 아이콘이 선택될 수 있도록 "상대적인 손 모션이 떠 있는 미리-선택 모드" 제스처와 상호 작용을 포함한다.
동작 (d)은 다른 서브폴더가 선택되었는지 여부를 결정하는 것을 포함한다. 검출되면, 동작은 동작 (a)으로 리턴되고; 게임 아이콘이 선택되면, 동작은 (게임을 플레이하는) 레벨 3으로 진행한다.
레벨 (3): 애플리케이션과 파일 레벨
엔드 애플리케이션은 아이콘의 트리의 리프(leaf)를 제공(디스플레이)하도록 구성된 소프트웨어 애플리케이션이다. 예를 들어, 일 구현에서, 아이콘의 트리는, 예를 들어, 각 노드가 최대 n개의 자녀를 가지는 n-차 트리(n-ary tree)일 수 있다. 또 다른 구현에서, 노드는 상이한 최대 개수의 자녀, 제한 없는 개수의 자녀, 및/또는 등을 구비할 수 있다.
일 구현에서, 예를 들어, 선택기술을 통해 버블이 팝핑될 때 나선형 로고가 발생한다. 일 설계에서, 애플리케이션의 3차원 아이콘은 아이콘이 하부 좌측으로부터 상부 우측으로 3x3 그리드 및/또는 어레이의 상부 우측 셀 쪽으로 이동할 때 하부 좌측으로부터 상부 우측으로 벡터에 대해 아주 신속하게 나선형으로 되기 시작한다. 전이 동안, 일 구현에서, 아이콘은 대략 1:10 아이콘-대-셀 비율(도 10b 참조)로 점진적으로 최소화된다. 이것은, 비-침습성(non-invasive) 애플리케이션이 관측 시야에 어떤 항목도 가짐이 없이(예를 들어, 사람이 관측 시야에 오는 것을 기다림이 없이), 또는 대기 모드에서 개방으로 유지될 것을 결정하는 경우에 장치(1300)의 상태에 대한 시각적 피드백을 제공한다.
소프트웨어 애플리케이션은 일 구현에서 "버블의 점프아웃(jumping out)" 효과를 제공하도록 구성된다. 애플리케이션과 연관된 컴포넌트(사용자 인터페이스(800)에 디스플레이된)가 선택되었을 때, 컴포넌트는 아이콘에서 이전에 보이지 않은 미니어처 버전으로부터 스케일링 업하는 것에 의해 관측 시야에 들어가는 것으로 보일 수 있다. 이하에서는 일 구현에서 이하 동작을 가지는 이하 방법을 사용하여 애플리케이션과 파일 레벨에서 진행하는 일례이다: 동작 (a)은 애플리케이션이 최근에 팝핑된 버블에서 점프아웃하는 것에 의해 로고를 나선형으로 함과 동시에 애플리케이션을 개방하는 것을 포함한다(예를 들어, 도 10a 및 도 10b 참조). 동작 (b)은 사용자 인터페이스(800)가 관측 시야를 인수하는 것을 포함한다.
레벨 (4): 설정 레벨
"설정 선택 기술" 제스처는 일 구현에서 이하를 포함한다: 애플리케이션 내에 있을 때, 상황 설정이 이들을 이용하기를 원하는 모든 애플리케이션에 존재할 수 있다. 선택 방법과 아이콘 설정 위치의 일례는 다음과 같다: 아이콘은 손을 관측 시야에, 미리 결정된 시간 기간(예를 들어, 2초) 동안 3x3 그리드의 최우측 컬럼의 상부 절반에 진입시키는 것에 의해 선택될 수 있다. 이후 버블이, 예를 들어, 손가락 선택 방법을 통해 나중에 선택될 수 있는 상부 우측 셀에 나타날 수 있다(예를 들어, 도 11a 참조).
(사용자 인터페이스(800)의) 설정 스크린은, 일단 설정 아이콘이 선택되면; 다수의 수직으로 스택된 아이콘(예를 들어, 초기에 4개)이, 예를 들어, 수직 롤로덱스 사이클링을 통해 (예를 들어, 도 11b 참조) 관측 시야의 최우측 컬럼에 진입하는 스크린이다. 이 아이콘은, 일 구현에서, 설정 아이콘 카테고리를 나타낼 수 있고, 일 구현에서 반투명한 실버 휴로 가려질(shaded) 수 있다.
"추잉 검 설정 토글"(예를 들어, 도 11c 참조)은 값 스펙트럼을 따라 이동하는 것 및/또는 연속체 (예를 들어, 브라이트니스 레벨) 내에 값 및/또는 정도를 선택하는 것을 포함할 수 있는 설정 선택을 위해 구성된다. 일 구현에서, 설정 카테고리가 선택될 때, 아이콘 팝과 라인이 팝핑된 아이콘의 위치와 사용자의 손가락의 에지 사이에 형성된다. 하나의 특정 설계에서, 라인은 곡선 굴곡될 수 있고, 손가락이 원래의 아이콘 위치로부터 멀리 이동함에 따라 라인은 추잉 검의 피스와 같이 더 직선으로 된다. 일 구현에서, 라인이 아이콘의 정적 중심으로부터 멀리 신장되면, 크기 라인 및/또는 벡터의 중심에서 3차원 수는 도달되는 값 및/또는 퍼센트를 나타낸다(예를 들어, 라인이 길면 길수록, 이 수는 더 높아진다). 일 구현에서, 이산, 비-연속적인, 비-스펙트럼, 및/또는 등의 설정(예를 들어, Wi-Fi 설정에서 Wi-Fi 네트워크 선택과 같은 이산 선택)에서, 관측 시야의 우측 에지에 대한 수직 롤로덱스 사이클링은 다른 제스처를 통해 선택될 수 있는 추가적인 옵션을 제시할 수 있다.
일 구현에서, 명상 모드는 비-긴급 호출, 메시지, 및 애플리케이션 사용이 미리 지정된 시간 기간 동안, 또는 버튼이 토글될 때까지 차단되는 모드이다. 시간 피드백(예를 들어, 모래 타이머)을 나타내는 사용자 인터페이스 컴포넌트는 지금까지 경과된 시간을 나타내도록 디스플레이될 수 있다.
이하에서는 일 구현에서 설정 레벨에서 진행하는 일례이고, 이하의 예와 유사한 동작을 가지는 방법을 포함한다: 동작 (a)은 설정 선택 기술을 통해 액세스가능한 각 개별 애플리케이션에서 로컬 설정을 가지는 것을 포함한다. 동작 (b)은 로컬 설정 상부 우측 아이콘이 선택되면, 시계방향으로 또는 반시계방향으로 사이클링하거나 및/또는 폴더 아이콘의 수평 선택과 유사하게 최우측 컬럼에 의해 형성된 축에 대해 3x3 그리드의 우측 컬럼에 진입할 수 있는 수직으로 스택된 설정 아이콘의 롤로덱스 사이클을 디스플레이하는 것을 포함한다. 동작 (c)은 (스펙트럼 설정이 선택된 경우) 추잉 검 설정 토글을 디스플레이하는 것을 포함한다. 이산 설정 항목이 선택된 경우, 다른 아이콘 세트가 선택을 위해 관측 시야에 진입한다.
레벨 (5): 사용자 인터페이스 테마와 제스처의 오버아치(overarching)
레벨 5는 여러 구현에서 테마와 제스처를 위한 구현을 제공한다. 예를 들어, 추가적인 상호 작용 기술은 화상 또는 비디오를 슈팅하는 것을 나타내기 위해 슈팅 게임에 사용된 총을 쏘는 손 움직임을 포함할 수 있다. 또 다른 예는 평행한 두 손으로 편평한 데스크탑 아이콘을 상승시키거나 하강시키는 것을 포함하고, 여기서 아이콘은 관측 시야 아래로부터 위쪽으로 들어가고 나서 다시 아래로 가서 관측 시야로부터 제거할 수 있다. 일 옵션은 가상 노브(virtual knob)를 회전시켜, 연속적인 설정(예를 들어, 브라이트니스)을 변화시키는 것을 포함한다. 또 다른 옵션은 손바닥이 위를 향하는 편평한 손으로부터(예를 들어, 손바닥은 줌으로 되는 모션(Come to Zoom motion)이 개시되기 전에 미리 결정된 시간 기간을 소비함) 줌을 위해 ("이리로 와 라고 하는" 자연스런 제스처와 유사한) 동시에 굴곡된 손가락으로 움직이는 줌 특징을 사용하는 것을 포함한다. 또 다른 구현은 나머지 손가락 또는 손가락들이 정적으로 굴곡되는 동안 직선으로부터 굴곡으로 변하는 단 하나의 손가락을 사용한다. 또 다른 구현은 관측 시야로부터 손을 제거하는 것에 의해 줌 레벨을 일정하게 유지하는 능력을 포함한다. 또 다른 옵션은 줌아웃(Zoom Out) 제스처를 포함한다. 이 제스처는, 제스처가 미리 결정된 시간 기간(예를 들어, 1초) 동안 모든 손가락이 굴곡되는 것(예를 들어, 주먹을 쥐는 것)으로 시작하는 것을 제외하고는 줌으로 되는 제스처와 동일할 수 있다. 줌아웃은 손가락을 펼 때 발생한다. 또 다른 옵션은, 소셜 네트워크 상에, 또는 본연의 운영 시스템 내에서 화상의 좋아함(승인을 나타내는)을 위해 사용될 수 있는 엄지 손가락을 위로 세우는 제스처를 포함한다.
레벨 5에서 다른 옵션은 상승(elevation) 제스처와 아이콘 서치 모드(예를 들어, 도 12 참조)를 포함한다. 예 (i)는 상승 제스처를 포함하는데; 이것은, 일 구현에서, 아래에 상술된 서치 모드를 도와주는 것이고, 1개 또는 2개의 손으로 버블을 위쪽으로 관측 시야로 푸시하는 제스처로 구성된다. 푸시하는 것은, 예를 들어, 손바닥 또는 손바닥들을 개방하고 위쪽을 향하게 하고 관측 시야 아래로부터 사용자의 팔목 또는 팔목들을 연장시키는 것에 의해 수행될 수 있다. 사용자의 손바닥 또는 손바닥들이 관측 시야로 위쪽으로 이동함에 따라, 아이콘이 상승한다(예를 들어, 아래로부터 위쪽으로 날아가는 자연적으로 발생하는 버블의 거동과 유사한 방식으로). 예 (ii)는 서치 모드 또는 아이콘 트리의 새의 눈의 시야를 포함하는데; 이것은 시각적 서치를 제공한다. 이하에서는 일 구현에서 서치 진행의 일례에 대한 설명을 제공한다: 동작 (a)은 사용자-인터페이스 아이콘과, 그 서브-폴더 아이콘(예를 들어, 도 12 참조)의 전체 세트를 상승 제스처를 사용하여 관측 시야로 상승시키고, 루트 아이콘(root icon)으로부터 리프 아이콘으로 가는 모든 아이콘이 관측 시야 내에 있도록 디스플레이를 동적으로 스케일링하는 능력을 가지는 시각적 서치를 포함한다. 이후, 트리의 하부 리프는 이런 방식으로 액세스될 수 있다. 동작 (b)은 예를 들어 로고를 통해 트리를 조작하는 것을 포함하고(예를 들어, 여기서 트리는 회전 및/또는 스케일링에 유연함), 아이콘은 사용자를 향한다.
또 다른 레벨 5의 옵션은, 일 구현에서, 버블이 자연적인 물리적 특성을 가지고 있는 것을 포함한다. 예를 들어, 동작 (a): 추적된 손이 버블에 가까이 근접하게 이동할 때, 버블은 손으로부터 멀어지는 방향으로 더 빠르게 이동한다. 그러나, 버블이 손으로부터 더 멀리 있으면, 이 버블은 손으로부터 점진적으로 더 느리게 이동한다. 동작 (b): 버블 아이콘이 하나의 선택 기술을 사용하여 팝핑되거나 개방될 때, 다른 "팝핑" 사운드가 있다. 동작 (c): 시각적-서치 모드에서, 정상 아이콘 버블 행이 상기 신속한 제스처에서 날아가기(blown away) 때문에, 이 버블 행은 순간적으로 및 물리적으로 관측 시야에서 정확히 블로우아웃되고, 비-자연적이지만 미러링 방식으로, 이 버블 행은 미리 지정된 위치에서 관측 시야에 재진입한다. 다양한 예시적인 기술을 사용하여 통지와 경보를 하면 예를 들어 여러 구현 내에서 통지하는 경우에 사용자의 주의를 얻을 수 있다:
동작 (a)은 파일 구조 트리의 리프에서 애플리케이션이 통지를 가지는 경우, 그 아이콘은 현재 보이는 아이콘의 트리(예를 들어, 4-차 트리)의 레벨로 전파되고, 적색 휴를 갖는 4개의 아이콘의 중심으로 압착되고, 동일한 스케일로 전통적인 로고의 상부에 비-판독 메시지의 수를 나타내는 수를 보이는 것을 포함한다.
동작 (b)는 리프 아이콘을 위한 적색 휴를, 현재 관측 시야에 있는 부모 노드 쪽 위로 전파하는 동시에, 리프의 로고와 경보 수를 부모 버블 내 미니어처 적색 버블을 동시에 삽입하는 것을 포함한다.
동작 (c)은 통지를 트리거한 리프 애플리케이션에의 선택 경로가 숏컷 제스처로 개시된 전통적인 선택 경로이거나 또는 숏컷 선택 경로일 수 있는 것을 포함한다.
동작 (d)은 리프 애플리케이션에서 트리거된 통지를 나타내는 미니어처 버블이 (현재 관측 시야에 있는) 부모 버블에서 "고정"되어, 리프에 숏컷을 허용할 수 있는 것을 포함한다.
레벨 (6): 표면에 애플리케이션 타일링
일 구현에서, 가상 캔버스는 3차원 가상 그래픽이 그 상부에 오버레이될 수 있는 배향된 평면 표면이다. 캔버스는 캔버스가 배향될 수 있을 때 제3의 차원을 추가하도록 구성될 수 있고, 캔버스는 벽에 있는 페인팅이 상이한 각도와 배향으로부터 사람의 눈에 상이하게 보일 수 있기 때문에 상이한 각도로 볼 수 있다. 또 다른 구현에서, 3차원 그래픽은 이와 관련하여 놓일 수 있다.
예시적인 시나리오에서, 사용자는 룸, 예를 들어, 거실을 걸어다니다가, (예를 들어, 글래스로 구성된 센싱 및 디스플레이 장치를 착용하는) 소파에 착석한다. 사용자의 앞에는 커피 테이블, TV 스크린, 및 벽(예를 들어, 앞에 하나 및 옆에 하나)이 있다. 일 구현에서, 소프트웨어는 컴퓨터로부터 그래픽을 오버레이하는 표면으로 기능할 수 있는 후보 캔버스를 검출하도록 구성된다. 이 예시적인 경우에, 캔버스는 커피 테이블, TV 스크린, 및/또는 2개의 벽이다. 이들 표면은 (예를 들어, 이 캔버스의 사이즈와 배향을 나타내는 반투명한 충전된 배향된 직사각형으로) 시각적 표시를 갖는 제2 현상 인터페이스(1306)에서 사용자에 표시될 수 있다. 일 예에서, 모든 개방 애플리케이션은 썸네일/버블 아이콘으로 도시된 스크린의 하부에 있다. 예를 들어, 이메일 윈도우, 페이스북 윈도우, 또는 마이크로소프트 워드(Microsoft Word) 문서를 고려해 보자. 사용자는 각 후보 캔버스에 하나씩 전술한 (예를 들어, "압착 이동" 제스처로 병진이동시킨 후, "압착 팝핑" 제스처로 열거나 배치하는) 하나 이상의 상호 작용 기술을 사용하여 각 애플리케이션 썸네일을 드래그할 수 있다.
예시적인 구현에서, 소프트웨어는 이하의 예와 유사한 방법과 연관된 프로그래밍된 명령을 통해 선택된 캔버스를 검출하도록 구성된다.
동작 (a): 일 예에서, 사용자는 사용자가 썸네일을 디스플레이하고 이를 적절한 주어진 캔버스 쪽으로 드래그하기를 원하는 애플리케이션 아이콘을 위한 썸네일을 선택한다. 일 구현에서 썸네일이 이 궤적을 따라 이동될 때, 라인이 (예를 들어, 제2 현상 인터페이스(1306) 또는 사용자의 어께 또는 사용자의 손가락의 베이스로부터) 원점으로부터 트레이스아웃되고 있다. 이 궤적은 각 후보 평면과 교차하고, 썸네일이 캔버스 쪽으로 병진이동할 때 궤적이 성공적으로 교차되었는지 여부가 결정된다(예를 들어, 20 센티미터와 같은 아이콘의 초기 위치로부터 캔버스 쪽으로 미리 결정된 거리를 초과하는 병진이동이 발생한다). 상기 아이콘이 충분히 근접하면, 소프트웨어는, 일 구현에서, 어느 애플리케이션이 어느 캔버스와 함께 갈지를 추론하고, 정확한 배향으로 이 캔버스 상에 그래픽을 자동적으로 업데이트할 수 있다. 또 다른 구현에서, 사용자는, 예를 들어, 때리거나(flick) 또는 던지는 것과 같은 제스처를 나타내고, 주어진 캔버스, 표면, 및/또는 등에서 선택된 그래픽 및/또는 다른 디스플레이 요소를 지시하는 것에 의해 특정 그래픽을 지시할 캔버스를 지정할 수 있다.
동작 (b): 일 예에서, 모든 애플리케이션이 캔버스에 할당되었으면, 소프트웨어는 (이 예시적인 시나리오에서 정적인/변치 않는 것으로 취해질 수 있는) 도 13의 깊이 맵(1308)을 사용하고, 사용자의 헤드가 이동할 때 3차원 공간 (예를 들어, 회전과 병진이동)에서 사용자의 헤드를 추적할 수 있다. 깊이 맵(1308)을 좌표 시스템으로 사용하면, 사용자는 일어나서 물리적으로 환경에서 이동할 수 있으나, 각 캔버스의 상태는 유지된다. 이후, 사용자가 캔버스들 사이에 이동하면, 애플리케이션은 원래 선택된 (할당된) 것으로 유지되고, 이 애플리케이션은 사용자의 현재 헤드 배향과 위치에 기초하여 업데이트된다. 또 다른 예시적인 구성에서 이 헤드-추적/장면 맵핑 시나리오를 구현할 때, 제2 현상 인터페이스(1306)(도 13)의 좌표 시스템이 고정되고 룸/물리적인 컴포넌트의 3차원 맵이 추적된다.
동작 (b): 또 다른 예에서, 사용자는 동일한 캔버스 상에 다수의 애플리케이션을 나란히 놓을 수 있다. 업데이트를 위해 이들 선택된 캔버스 중 하나를 선택하기 위해, 사용자는, 예를 들어, 5개의-손가락 제스처를 사용하여 캔버스를 "선택"할 수 있다. 이것은, 일 구현에서, 사용자가 캔버스의 디스플레이 및/또는 컨텐츠를 조절하기를 원한다는 것을 지정할 수 있고, 이 캔버스는 조작(예를 들어, 캔버스가 깜빡임(blinking)을 시작함)을 위해 선택된 것임을 그래픽으로 나타낼 수 있다. 이후, 사용자의 2개의 손 사이에 계산된 가상 벡터를 사용하여, 애플리케이션 부동산(real-estate)이 벡터의 크기 또는 각도를 사용하여 신장되거나 수축되거나 (동일평면 내에서) 회전될 수 있다.
장치(1300)의 범위 내에서 장치(1300)의 설계와 구성에 여러 변형과 변동이 본 명세서에 기초하여 이루어질 수 있을 것이다. 장치(1300)의 사상 내에 있는 여러 변형과 변경은, 청구된 대상의 범위 내에 포함되는 것으로 의도된다.
추가적인 설명
이하 항은 장치의 예의 추가적인 설명으로 제공된 것이다. 이하 항에서 임의의 하나 이상의 항은 이하 항에서 임의의 다른 하나 이상의 항과 조합되거나 및/또는 임의의 다른 항의 임의의 서브섹션이나 부분이나 부분들과 조합되거나 및/또는 이들 항의 조합과 치환과 조합될 수 있다. 이하 항 중 임의의 항은 이하 항 중 다른 항 또는 임의의 다른 항의 임의의 부분 등과 조합됨이 없이 각자 존재할 수 있다. 제1항: 센싱 및 디스플레이 장치로서, 인터페이스 어셈블리를 포함하고, 상기 인터페이스 어셈블리는, 제1 공간과 센서 신호와 이펙터 신호를 교환하도록 구성된 제1 인터페이스 모듈; 및 제2 공간과 이펙터 신호를 교환하도록 구성된 제2 인터페이스 모듈을 포함하고, 상기 이펙터 신호는 상기 제1 공간과 상기 제2 공간 중 적어도 하나의 공간에서 적어도 부분적으로 사용자 제시가능한, 장치. 제2항: 센싱 및 디스플레이 장치로서, 인터페이스 어셈블리를 포함하고, 상기 인터페이스 어셈블리는, 제1 공간으로부터 수신된 감각 현상을 나타내는 적어도 하나의 센서 신호와 인터페이스하도록 구성된 제1 인터페이스 모듈; 및 상기 제1 공간과 상기 제2 공간에 감각 현상을 나타내는 적어도 하나의 이펙터 신호와 인터페이스하도록 구성된 제2 인터페이스 모듈을 포함하는, 장치. 제3항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서 신호와 상기 적어도 하나의 이펙터 신호는 상기 제1 공간과 상기 제2 공간 중 어느 하나의 공간에서 적어도 부분적으로 사용자-감각 소비를 제시가능한, 장치. 제4항: 상기 항 중 어느 한 항에 있어서, 상기 인터페이스 어셈블리에 동작가능하게 연결된 처리 장치를 더 포함하고, 상기 처리 장치는 상기 인터페이스 어셈블리와 인터페이스되는 상기 적어도 하나의 센서 신호를 처리하고, 상기 인터페이스 어셈블리와 인터페이스되는 상기 적어도 하나의 이펙터 신호를 처리하도록 구성된, 장치. 제5항: 상기 항 중 어느 한 항에 있어서, 상기 제1 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성되고, 또한 상기 제2 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성된 감각-현상 센서를 더 포함하는 장치. 제6항: 상기 항 중 어느 한 항에 있어서, 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제1 공간에 송신하도록 구성되고, 또한 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 감각-현상 이펙터를 더 포함하는 장치. 제7항: 상기 항 중 어느 한 항에 있어서, 상기 인터페이스 어셈블리는 상기 제1 공간으로부터 상기 감각-현상 센서를 통해 수신된 감각 현상과 또한 상기 제2 공간으로부터 수신된 감각 현상을 나타내는 상기 적어도 하나의 센서 신호와 인터페이스하도록 구성되고, 또한 감각-현상 이펙터를 통해 상기 제1 공간과 상기 제2 공간에 감각 현상을 나타내는 상기 적어도 하나의 이펙터 신호와 인터페이스하도록 구성된, 장치. 제8항: 상기 항 중 어느 한 항에 있어서, 상기 제1 공간은 사용자에 의해 액세스가능하도록 구성되고; 상기 제2 공간은 단일 사용자에 의해 액세스가능하도록 구성된, 장치. 제9항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서 신호는 청각적 감각 현상, 시각적 감각 현상, 및 촉각적 감각 현상 중 어느 하나로부터 유도된, 장치. 제10항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 이펙터 신호는 청각적 감각 현상, 시각적 감각 현상, 및 촉각적 감각 현상 중 어느 하나로부터 유도된, 장치. 제11항: 상기 항 중 어느 한 항에 있어서, 상기 감각-현상 센서와 상기 감각-현상 이펙터는, 상기 제1 공간으로부터 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된 제1 감각-현상 센서; 및 감각 현상과 연관된 이펙터 신호를 상기 제1 공간에 송신하도록 구성된 제1 감각-현상 이펙터를 포함하는, 장치. 제12항: 상기 항 중 어느 한 항에 있어서, 상기 감각-현상 센서와 상기 감각-현상 이펙터는, 감각 현상을 가지는 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 상기 감각-현상 이펙터; 및 상기 제2 공간으로부터 상기 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된 제2 감각-현상 센서를 포함하는, 장치. 제13항: 상기 항 중 어느 항에 있어서, 상기 제1 감각-현상 센서와 상기 제1 감각-현상 이펙터는 상기 제1 공간에서 사용자의 관측 시야(field of view)의 방향을 향하고; 상기 제2 감각-현상 이펙터와 상기 제2 감각-현상 센서는 상기 제2 공간에서 사용자의 눈 쪽 방향을 향하는, 장치. 제14항: 상기 항 중 어느 한 항에 있어서, 상기 처리 장치는 상기 제1 공간과 상기 제2 공간 사이에 상기 센서 신호를 라우팅하도록 구성된, 장치. 제15항: 상기 항 중 어느 한 항에 있어서, 상기 처리 장치는 상기 제1 공간과 상기 제2 공간 사이에 상기 이펙터 신호를 라우팅하도록 구성된, 장치. 제16항: 상기 항 중 어느 한 항에 있어서, 상기 인터페이스 어셈블리는, 제1 감각-현상 센서와 인터페이스하도록 구성된 상기 제1 인터페이스 모듈; 및 제1 감각-현상 이펙터와 인터페이스하도록 구성된 상기 제2 인터페이스 모듈을 포함하고, 상기 제1 감각-현상 센서는 상기 제1 공간으로부터 상기 제1 감각-현상 센서에 의해 수신된 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성되고, 상기 제1 감각-현상 이펙터는 감각 현상과 연관된 이펙터 신호를 상기 제1 공간에 송신하도록 구성된, 장치. 제17항: 상기 항 중 어느 한 항에 있어서, 상기 인터페이스 어셈블리는, 제2 감각-현상 이펙터와 인터페이스하도록 구성된 제3 인터페이스 모듈; 및 제2 감각-현상 센서와 인터페이스하도록 구성된 제4 인터페이스 모듈을 포함하고, 상기 제2 감각-현상 이펙터는 감각 현상을 가지는 이펙터 신호를 상기 제2 공간에 송신하도록 구성되고, 상기 제2 감각-현상 센서는 상기 제2 공간으로부터 상기 제2 감각-현상 센서에 의해 수신된 상기 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된, 장치. 제18항: 상기 항 중 어느 한 항에 있어서, 상기 처리 장치는 제1 감각-현상 센서로부터 수신된 센서 신호를 제2 감각-현상 이펙터를 통해 상기 제2 공간으로 라우팅하도록 구성된, 장치. 제19항: 상기 항 중 어느 한 항에 있어서, 상기 처리 장치는 제2 감각-현상 센서로부터 수신된 센서 신호를 제1 감각-현상 이펙터를 통해 상기 제1 공간에 라우팅하도록 구성된, 장치. 제20항: 상기 항 중 어느 한 항 항에 있어서, 사용자 착용을 촉진하도록 구성된 사용자-착용가능한 인터페이스를 더 포함하는 장치. 제21항: 상기 항 중 어느 한 항에 있어서, 프레임 어셈블리를 더 포함하고, 상기 프레임 어셈블리는, 상기 제1 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성되고, 또한 상기 제2 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성된 감각-현상 센서; 및 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제1 공간에 송신하도록 구성되고, 또한 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 감각-현상 이펙터 중 어느 하나를 고정 지원하도록 구성된, 장치. 제22항: 상기 항 중 어느 한 항에 있어서, 프레임 어셈블리를 더 포함하고, 상기 프레임 어셈블리는, 헤드-장착가능한 어셈블리; 디지털 아이 글래스; LiDAR 유닛; 비전 시스템; 광학 센서; 디스플레이 유닛; 이동식 가리개; 적외선 송신기; 적외선 수신기; 및 지오폰(geophone) 중 어느 하나를 고정 지원하도록 구성된, 장치. 제23항: 방법으로서, 제1 공간과 제2 공간으로부터 수신된 적어도 하나의 감각 현상을 나타내는 센서 신호를 수신하는 단계; 및 적어도 하나의 이펙토리 현상(effectory phenomenon)을 나타내는 이펙터 신호를 상기 제1 공간과 상기 제2 공간에 제공하는 단계를 포함하는 방법. 제24항: 상기 항 중 어느 한 항에 있어서, 상기 센서 신호와 상기 이펙터 신호를 처리하는 단계를 더 포함하는 방법. 제25항: 상기 항 중 어느 한 항에 있어서, 상기 제1 공간과 상기 제2 공간 사이에 상기 센서 신호를 라우팅하는 단계를 더 포함하는 방법. 제26항: 상기 항 중 어느 한 항에 있어서, 상기 제1 공간과 상기 제2 공간 사이에 상기 이펙터 신호를 라우팅하는 단계를 더 포함하는 방법. 제27항: 디스플레이 장치로서, 제1 공간과 제2 공간과 인터페이스하도록 구성되고, 상기 제1 공간과 상기 제2 공간과 연관된 센서 신호와 이펙터 신호를 운반하도록 구성된 인터페이스 어셈블리; 상기 인터페이스 어셈블리에 동작가능하게 연결되고, 상기 인터페이스 어셈블리에 의해 운반되는 상기 센서 신호와 상기 이펙터 신호를 처리하도록 구성된 처리 장치; 및 상기 처리 장치로 하여금 상기 센서 신호와 상기 이펙터 신호에 대한 동작을 실행하도록 구성된 프로그래밍된 명령의 시퀀스를 포함하는 처리 프로그램을 유형적으로 구현하도록 구성된 메모리 어셈블리를 포함하는 디스플레이 장치. 제28항: 사용자 인터페이스로서, 제1 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제1 인터페이스 섹션; 및 제2 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제2 인터페이스 섹션을 포함하는 사용자 인터페이스. 제29항: 장치로서, 제1 공간과 동작가능하게 인터페이스하도록 구성된 제1 현상 인터페이스; 및 제2 공간과 동작가능하게 인터페이스하도록 구성된 제2 현상 인터페이스를 포함하는 장치. 제30항: 상기 항 중 어느 한 항에 있어서, 상기 제1 현상 인터페이스는 상기 제1 공간과 동작가능하게 상호작용하도록 각각 구성된 제1 감각 현상 이펙터와 제1 감각 현상 센서를 포함하는, 장치. 제31항: 상기 항 중 어느 한 항에 있어서, 상기 제2 현상 인터페이스는 상기 제2 공간과 동작가능하게 상호작용하도록 각각 구성된 제2 감각 현상 이펙터와 제2 감각 현상 센서를 포함하는, 장치. 제32항: 상기 항 중 어느 한 항에 있어서, 상기 제1 현상 인터페이스와 상기 제2 현상 인터페이스에 동작가능하게 연결하도록 구성되고, 상기 제1 감각 현상 이펙터, 상기 제1 감각 현상 센서, 상기 제2 감각 현상 이펙터, 및 상기 제2 감각 현상 센서와 동작가능하게 상호작용하도록 더 구성된 처리 어셈블리를 더 포함하는 장치. 제33항: 상기 항 중 어느 한 항의 장치를 위한 매니폴다이저(manifoldizer)로서, 상기 매니폴다이저는, 상기 장치의 착용자의 신체 부분(body part)의 제스처(gesture)를 센싱하는 제스처 센서; 상기 제스처 센서에 의해 검출된 매니폴드 시작 제스처에 응답하는 매니폴드 생성기; 상기 착용자와 매니폴드 사이에 컨택(contact)을 검출하는 매니폴드 컨택 검출기; 상기 매니폴드 컨택 생성기의 출력에 응답하는 매니폴드 디스플레이 생성기를 포함하는, 매니폴다이저. 제34항: 상기 항 중 어느 한 항의 매니폴다이저를 포함하는 토포스컬프처(toposculpter)로서, 실질적으로 연속적인 매니폴드 연속 제스처에 응답하는 매니폴드 적분기를 더 포함하는 토포스컬프처. 제35항: 상기 항 중 어느 한 항의 매니폴다이저를 포함하는 매니폴다이즈된 디스플레이 생성기로서, 상기 매니폴드 디스플레이 생성기는 가상 또는 실제 디바이스의 출력을 디스플레이하기 위한, 매니폴다이즈된 디스플레이 생성기. 제36항: 상기 항 중 어느 한 항의 매니폴다이즈된 디스플레이 생성기로서, 상기 매니폴드 디스플레이 생성기는 상기 디지털 아이 글래스의 상기 착용자에 보이는 3차원 증강매개된 환경으로 구현된 강성의 평면 패치(planar patch)를 포함하는 2차원 매니폴드를 디스플레이하는, 매니폴다이즈된 디스플레이 생성기. 제37항: 아바코그래픽 사용자-인터페이스(abakogarpahic user-interface)로서, 3차원 비전 시스템, 프로세서, 및 디스플레이를 포함하고, 상기 프로세서는 노출-적분기(exposure-integrator)를 포함하고, 상기 노출 적분기는 상기 3차원 비전 시스템으로부터 입력에 응답하는, 아바코그래픽 사용자-인터페이스. 제38항: 상기 항 중 어느 한 항에 있어서, 매니폴드-차원(manifold-dimension) 센서와 제스처 센서를 포함하고, 상기 제스처 센서는 상기 매니폴드 차원 센서의 출력에 응답하는, 사용자-인터페이스. 제39항: 상기 항 중 어느 한 항에 있어서, 상기 실제-세계 물리적인 객체(real-world physical object)는 2개의 차원 매니폴드를 포함하고, 상기 매니폴드 차원 센서는, 상기 매니폴드 내로부터 아바코그래프로 아바코그래프를 따라 제스처가 이루어지는지, 또는 상기 매니폴드에 없는 3차원 공간 내로부터 아바코그래프로 제스처가 이루어지는지 여부를 결정하는, 사용자-인터페이스. 제40항: 공간에 매니폴드를 생성하는 3차원 스컬프팅 시스템(sculpting system)으로서, 3차원 비전 시스템; 노출 적분기; 및 상기 노출 적분기의 출력을 보여주는 디스플레이를 포함하고, 상기 노출 적분기는 노출을 누적시키는, 3차원 스컬프팅 시스템. 제41항: 상기 항 중 어느 한 항에 있어서, 상기 노출 적분기의 노출 누적을 개시하는 제스처를 센싱하는 제스처 센서를 더 포함하는 시스템. 제42항: 상기 항 중 어느 한 항에 있어서, 상기 제스처 센서는 상기 노출 적분기의 노출 누적을 종료시키는 제스처를 센싱하는, 시스템. 제43항: 상기 항 중 어느 한 항에 있어서, 상기 노출 적분기는 3차원 공간에서 시간적으로 성장하는 매니폴드를 생성하는, 시스템. 제44항: 상기 항 중 어느 한 항에 있어서, 상기 시간적으로 성장하는 매니폴드에 의해 한정된 경로에 사용자의 신체 부분의 탄젠시(tangency)를 결정하는 탄젠시 센서를 더 포함하는 시스템. 제45항: 아바코그래픽 합성하는 방법으로서, 상기 방법은, 노출 버퍼를 할당하고 클리어(clearing)하는 단계; 노출기의 노출 강도를 센싱하는 단계; 3차원 공간에서 노출기의 위치를 센싱하는 단계; 상기 노출기의 위치와 연관하여 상기 노출 강도에 비례하는 양을 상기 노출 버퍼에 추가하는 단계를 포함하는 방법. 제46항: 상기 항 중 어느 한 항에 있어서, 상기 노출 강도는 제스처 센서에 의해 결정된 바이너리 양(binary quantity)인, 방법. 제47항: 상기 항 중 어느 한 항에 있어서, 상기 노출기는 광 소스(light source)이고, 상기 노출 강도는 상기 광 소스의 조명 정도인, 방법. 제48항: 상기 항 중 어느 한 항에 있어서, 상기 노출기는 손가락 끝(fingertip)이고, 상기 노출 강도는 연속적으로 가변적인 손 제스처에 의해 결정되는, 방법. 제49항: 상기 항 중 어느 한 항에 있어서, 제스처 센서에 의해 아바코그래픽 합성(composition)을 개시하는 단계를 더 포함하고, 상기 제스처 센서는 집게 손가락(index finger)과 엄지 손가락(thumb)의 "총" 제스처("gun" gesture)를 센싱하는, 방법. 제50항: 상기 항 중 어느 한 항에 있어서, 상기 노출 강도는 상기 엄지 손가락과 상기 집게 손가락 사이의 각도만큼 연속적으로 가변하는, 방법. 제51항: 토포스컬프팅하는 방법으로서, 상기 방법은, 토포스컬프팅 버퍼를 할당하고 클리어하는 단계를 포함하고, 상기 방법은, 노출기의 노출 강도를 센싱하는 단계; 3차원 공간에서 노출기의 위치를 센싱하는 단계; 상기 노출기의 위치와 연관하여 상기 노출 강도에 비례하는 양을 상기 토포스컬프팅 버퍼에 추가하는 단계를 포함하는 방법. 제52항: 상기 항 중 어느 한 항에 있어서, 상기 위치를 센싱하는 단계는 가장 최근의 지점(point)에서 상기 토포스컬프처와 컨택하는 지점에서 진행 중인 토포스컬프처에 대해 상기 방법의 사용자의 신체 부분의 평면 부분의 탄젠시를 센싱하는 단계를 포함하고, 상기 노출 강도는 상기 센싱 탄젠시의 출력에 비례하는, 방법. 제53항: 스캐닝가능한 대상(scannable subject matter)을 보기 위한 스페이스글래스 장치(spaceglass apparatus)로서, 공간 이미징 카메라; 상기 공간 이미징 카메라의 적어도 하나의 출력에 응답하는 프로세서; 홀로그래픽 비디오 디스플레이, 스테레오스코픽 비디오 디스플레이, 및 아레맥(aremac), 스테레오스코픽 디스플레이로 구성된 그룹으로부터 선택된 공간 이미징 디스플레이를 포함하며, 상기 공간 이미징 디스플레이는 상기 프로세서의 적어도 하나의 출력에 응답하고, 상기 공간 이미징 디스플레이는 상기 스캐닝가능한 대상의 적어도 일부로부터 유도된 눈의 시점(Point-of-Eye) 이미지를 제공하는, 장치. 제54항: 상기 항 중 어느 한 항에 있어서, 상기 공간 이미징 카메라는 3D 카메라를 포함하는, 장치. 제55항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 접촉 검출기(taction detector)를 포함하는, 장치. 제56항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 호모그래피 침입 검출기(homography in-trusion detector)를 포함하는, 장치. 제57항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 구형 볼륨 측정 침입 검출기(spherical volumetric intrusion detector)를 포함하는, 장치. 제58항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 버블 메타퍼 생성기(bubble metaphor generator)를 포함하는, 장치. 제59항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 버블 메뉴를 시뮬레이팅하고, 버블 메뉴 선택기는 상기 장치의 사용자의 신체의 일부로부터 반경(r) 미만의 거리에 위치된 r의 구의 볼륨으로 침입에 응답하고, 상기 사용자의 신체의 일부는 상기 볼륨으로 침입 정도에 통계적으로 유의성이 있는, 장치. 제60항: 스페이스글래스를 위한 공유된 증강매개된 현실 시스템(augmediated reality system)으로서, 상기 공유된 증강매개된 현실 시스템의 제1 사용자에 의해 사용하기 위해 제1 공간 이미징 카메라를 포함하는 제1 스페이스글래스; 상기 공유된 증강매개된 현실 시스템의 제2 사용자에 의해 사용하기 위해 제2 공간 이미징 카메라를 포함하는 제2 스페이스글래스; 및 상기 제1 및 제2 공간 이미징 카메라로부터 스캐닝을 다중화하는 공간 이미징 다중화기를 포함하고, 상기 제1 및 제2 공간 이미징 카메라는 대상의 공간 이미징을 위해 구성된, 공유된 증강매개된 현실 시스템. 제61항: 상기 항 중 어느 한 항에 있어서, 상기 공간 이미징 다중화기는 시분할 다중화기인, 공유된 증강매개된 현실 시스템. 제62항: 디지털 아이 글래스의 착용자의 한 눈 또는 두 눈으로 보기 위한 디지털 아이 글래스 장치로서, 복수의 상이한 방향으로부터 오는 광을 센싱하는 적어도 하나의 센서; 상기 센서로부터 적어도 하나의 입력에 응답하는 프로세서; 및 상기 프로세서의 출력에 응답하는 디스플레이를 포함하고, 상기 디스플레이는 눈의 시점(point-of-eye) 이미지를 제공하는, 디지털 아이 글래스 장치. 제63항: 상기 항 중 어느 한 항에 있어서, 상기 센서는 3D 카메라인, 디지털 아이 글래스 장치. 제64항: 상기 항 중 어느 한 항에 있어서, 상기 3D 카메라는 3D HDR 이미징을 구현하는, 디지털 아이 글래스 장치. 제65항: 상기 항 중 어느 한 항에 있어서, 상기 3D 카메라는 공유된 컴퓨터-매개된 현실 환경에서 다른 참가자들이 착용한 다른 3D 카메라와 협력하는 시분할 다중화기를 포함하는, 디지털 아이 글래스 장치. 제66항: 상기 항 중 어느 한 항에 있어서, 상기 3D 카메라는 공유된 컴퓨터-매개된 현실 환경에서 다른 참가자들이 착용한 다른 3D 카메라와 협력하는 가변 진폭 다중화기를 포함하고, 상기 가변 진폭 다중화기는 대상의 상이한 조명 정도에 응답하여 상기 대상의 대략 동일한 취득물(getting)을 제공하는, 디지털 아이 글래스 장치. 제67항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 컴퓨터-매개된 현실을 공유하는 하나를 초과하는 참가자의 조명기에 의해 생성된 라이트스페이스(lightspace)에 응답하는 합성 애퍼처 이미징 작성기(synthetic aperture imaging constructor)를 포함하는, 디지털 아이 글래스 장치. 제68항: 스페이스글래스 시스템으로서, 상기 스페이스글래스로 보이는 대상을 공간적으로 이미징하는 하나 이상의 스페이스글래스를 포함하고, 적어도 하나의 3D 카메라; 상기 적어도 하나의 3D 카메라로부터 적어도 하나의 입력에 응답하는 프로세서; 상기 프로세서의 출력에 응답하는 디스플레이를 더 포함하고, 상기 디스플레이는 상기 대상에 존재하는 공간 정보에 응답하여 아이탭 시점 렌더링(EyeTap point-of-view rendering)을 제공하는, 스페이스글래스 시스템. 제69항: 상기 항 중 어느 한 항에 있어서, 상기 프로세서는 콤패러메트릭 합성기를 포함하는, 시스템. 제70항: 상기 항 중 어느 한 항에 있어서, 제1 스페이스글래스와 제2 스페이스글래스를 더 포함하고, 상기 프로세서는 상기 제2 스페이스글래스에서 사용되는, 시스템. 제71항: 상기 항 중 어느 한 항에 있어서, 제1 스페이스글래스와 제2 스페이스글래스를 더 포함하고, 상기 프로세서는 상기 제2 스페이스글래스에서 사용되고, 상기 제1 및 제2 스페이스글래스는 2개의 별도의 사용자에 의해 착용되고, 상기 프로세서는 슈퍼포지메트릭 합성기를 포함하는, 시스템. 제72항: 공간 이미징 디바이스로서, 라이트스페이스 분석 글래스; 상기 라이트스페이스 분석 글래스의 출력에 응답하는 프로세서; 상기 프로세서의 출력에 응답하는 라이트스페이스 합성 글래스; 및 라이트스페이스 공선화기(collinearizer)를 포함하는 공간 이미징 디바이스. 제73항: 제스처 인식 프로세서로-구현되는 방법으로서, 적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 단계; 적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 단계; 상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 단계; 상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 단계를 포함하는 방법. 제74항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대해 제2 환경 객체의 제스처를 맵핑하는 단계를 더 포함하는 방법. 제75항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체와 연관하여 포인트 클라우드(point cloud)를 생성하는 단계를 더 포함하는, 방법. 제76항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체의 적어도 하나의 제2 환경 객체 공간 좌표를 식별하는 단계; 및 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계를 더 포함하는, 방법. 제77항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 방법. 제78항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 방법. 제79항: 상기 항 중 어느 한 항에 있어서, 상기 센서는 깊이 카메라(depth camera)를 포함하는, 방법. 제80항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 제2 환경 객체 공간 좌표를 식별하는 단계는, 상기 제2 환경 객체와 연관하여 깊이 맵(depth map)을 생성하는 단계를 포함하는, 방법. 제81항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 단계를 더 포함하는 방법. 제82항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계는, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 단계를 더 포함하는, 방법. 제83항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 프레임인, 방법. 제84항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 표면인, 방법. 제85항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 테이블 표면인, 방법. 제86항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 벽(wall)인, 방법. 제87항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 디스플레이 스크린인, 방법. 제88항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 방법. 제89항: 상기 항 중 어느 한 항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 단계를 포함하는, 방법. 제90항: 상기 항 중 어느 한 항에 있어서, 환경에서 제1 환경 객체를 추적하는 단계는, 상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 단계를 더 포함하는, 방법. 제91항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 보충 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 단계를 더 포함하는 방법. 제92항: 장치로서, 적어도 하나의 입력 센서; 적어도 하나의 출력 디스플레이; 상기 적어도 하나의 입력 센서와 적어도 하나의 출력 디스플레이에 통신가능하게 연결된 적어도 하나의 연산 디바이스를 포함하고, 상기 적어도 하나의 연산 디바이스는 프로세서-판독가능한 프로그램 명령을 발행하도록 구성되고, 상기 명령은, 상기 적어도 하나의 입력 센서를 통해 적어도 하나의 부속 기관(appendage)의 공간 위치를 결정하는 동작; 상기 공간 위치에 기초하여 적어도 하나의 디스플레이 항목을 선택하는 동작; 및 상기 적어도 하나의 출력 디스플레이를 통해 상기 적어도 하나의 디스플레이 항목을 제시하는 동작을 포함하는, 장치. 제93항: 장치로서, 적어도 제1 환경 객체와 제2 환경 객체의 상기 상대적인 공간 위치를 검출하도록 구성된 적어도 하나의 센서; 상기 상대적인 공간 위치를 인식하고 적어도 하나의 디스플레이 컴포넌트를 구성하도록 구성된 프로그램 명령을 발행하는 적어도 하나의 연산 디바이스; 및 상기 적어도 하나의 디스플레이 컴포넌트를 디스플레이하도록 구성된 적어도 하나의 출력 디스플레이를 포함하는 장치. 제94항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서는 깊이 맵을 생산하도록 구성된 깊이 카메라를 포함하는, 장치. 제95항: 상기 항 중 어느 한 항에 있어서, 상기 연산 디바이스는 상기 깊이 맵에 기초하여 상기 상대적인 공간 위치를 인식하는, 장치. 제96항: 상기 항 중 어느 한 항에 있어서, 상기 연산 디바이스는 상기 제1 환경 객체와 상기 제2 환경 객체와 각각 연관된 제1 및 제2 포인트 클라우드에 기초하여 상기 상대적인 공간 위치를 인식하는, 장치. 제97항: 상기 항 중 어느 한 항에 있어서, 상기 연산 디바이스는 상기 제1 및 제2 포인트 클라우드의 교차점에 기초하여 상기 상대적인 공간 위치를 터치 제스처로 인식하는, 장치. 제98항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 디스플레이 컴포넌트는 가상 키보드를 포함하고 상기 제2 환경 객체는 사용자의 신체 부분을 포함하는, 장치. 제99항: 상기 항 중 어느 한 항에 있어서, 상기 제1 물리적인 객체는 표면이고 상기 가상 키보드는 상기 적어도 하나의 출력 디스플레이 내에서 이 표면과 연관된 좌표 시스템에 앵커링(anchored)되는, 장치. 제100항: 상기 항 중 어느 한 항에 있어서, 상기 상대적인 공간 위치는 상대적인 공간 모션을 더 포함하는, 장치. 제101항: 상기 항 중 어느 한 항에 있어서, 상기 상대적인 공간 모션은 스와이프(swipe)를 포함하는, 장치. 제102항: 상기 항 중 어느 한 항에 있어서, 상기 스와이프는 다발 스와이프(bunched swipe)인, 장치. 제103항: 상기 항 중 어느 한 항에 있어서, 상기 상대적인 공간 모션은 압착 이동(moving squeeze)과 압착 팝핑(popping squeeze) 중 적어도 하나를 포함하는, 장치. 제104항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 표면을 포함하고, 상기 적어도 하나의 연산 디바이스는 상기 표면을 추적하도록 구성되고, 상기 적어도 하나의 출력 디스플레이는 적어도 하나의 매체 프리젠테이션을 상기 추적된 표면에 고정하도록 구성된, 장치. 제105항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 매체 프리젠테이션은 스테레오스코픽 프리젠테이션에 고정된, 장치. 제106항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 매체 프리젠테이션은 애플리케이션 데이터를 포함하는, 장치. 제107항: 상기 항 중 어느 한 항에 있어서, 상기 상대적인 공간 위치는 상기 표면과 상기 적어도 하나의 매체 프리젠테이션 사이의 연관을 나타내는, 장치. 제108항: 상기 항 중 어느 한 항에 있어서, 상기 상대적인 공간 위치는 상기 표면에 상기 적어도 하나의 매체 프리젠테이션의 드래그앤드랍(drag-and-drop)을 포함하는, 장치. 제109항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체는 제스처 손을 포함하고, 상기 제1 환경 객체는 가상 환경에서 가상 모델을 포함하고, 상기 적어도 하나의 연산 디바이스는 상기 제스처 손과 상기 가상 모델 사이의 임의의 컨택 지점을 스컬프팅하는 것에 의해 상기 가상 모델을 나타내는 상기 적어도 하나의 디스플레이 컴포넌트를 구성하도록 하는 프로그램 명령을 발행하는, 장치. 제110항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 연산 디바이스는 상기 제1 환경 객체와 상기 제2 환경 객체 중 적어도 하나에 적어도 하나의 고유한 식별자를 연관시키는 프로그램 명령을 발행하고, 상기 고유한 식별자는 사용자와 연관된 소셜 네트워크 데이터에 연결된, 장치. 제111항: 상기 항 중 어느 한 항에 있어서, 적어도 하나의 고유한 식별자를 연관시키는 상기 프로그램 명령은 상기 적어도 하나의 출력 디스플레이를 통해 상기 제1 환경 객체와 상기 제2 환경 객체 중 적어도 하나에 마커(marker)를 적용하는 명령을 포함하는, 장치. 제112항: 상기 항 중 어느 한 항에 있어서, 상기 연산 디바이스는 상기 고유한 식별자를 인식하는 프로그램 명령을 발행하도록 구성되고, 상기 출력 디스플레이는 상기 사용자와 연관된 상기 소셜 네트워크 데이터의 적어도 일부를 디스플레이하도록 구성된, 장치. 제113항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서는 엄지 손가락을 위로 하는 사용자 제스처를 검출하도록 구성되고, 상기 적어도 하나의 연산 디바이스는 상기 고유한 ID와 피드백을 연관시키는 프로그램 명령을 발행하는, 장치. 제114항: 상기 항 중 어느 한 항에 있어서, 안경으로 구성된 장치. 제115항: 사용자 인터페이스를 관리하는 프로세서로-구현되는 방법으로서, 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘(icon)을 제공하는 단계로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 단계; 상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 단계로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘 중 선택된 아이콘의 선택을 나타내는, 상기 수신하는 단계; 상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층(hierarchy)에 액세스하는 단계; 및 상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 단계를 포함하는 방법. 제116항: 상기 항 중 어느 한 항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 단계는 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출(summoning) 제스처를 센싱할 때에만 발생하는, 방법. 제117항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간(period of time) 동안 개방 손(open hand)을 제시하는 단계를 포함하는, 방법. 제118항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 방법. 제119항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘은 버블 아이콘인, 방법. 제120항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 방법. 제121항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동(squeeze-to-move translation)을 포함하는, 방법. 제122항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 팝팡(squeeze-to-pop) 선택을 포함하는, 방법. 제123항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 방법. 제124항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 단계는, 상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 단계를 포함하는, 방법. 제125항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클(inward/rolodex cycle)을 포함하는, 방법. 제126항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 방법. 제127항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 방법. 제128항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 방법. 제129항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고, 상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 단계; 상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 단계; 상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 단계; 및 상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 단계를 더 포함하는 방법. 제130항: 제스처 인식 장치로서, 메모리; 상기 메모리에 연결되고, 상기 메모리에 저장된 복수의 프로그램 명령을 발행하도록 구성된 프로세서를 포함하고, 상기 프로그램 명령은, 적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 단계; 적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 단계; 상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 단계; 상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 단계를 포함하는, 장치. 제131항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대하여 제2 환경 객체의 제스처를 맵핑하는 단계를 더 포함하는 장치. 제132항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체와 연관하여 포인트 클라우드를 생성하는 단계를 더 포함하는, 장치. 제133항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체의 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계; 및 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계를 더 포함하는, 장치. 제134항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 장치. 제135항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 장치. 제136항: 상기 항 중 어느 한 항에 있어서, 상기 센서는 깊이 카메라를 포함하는, 장치. 제137항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는, 상기 제2 환경 객체와 연관하여 깊이 맵을 생성하는 단계를 포함하는, 장치. 제138항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 단계를 더 포함하는 장치. 제139항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계는, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 단계를 더 포함하는, 장치. 제140항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 프레임인, 장치. 제141항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 표면인, 장치. 제142항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 테이블 표면인, 장치. 제143항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 벽인, 장치. 제144항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 디스플레이 스크린인, 장치. 제145항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 장치. 제146항: 상기 항 중 어느 한 항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 단계를 포함하는, 장치. 제147항: 상기 항 중 어느 한 항에 있어서, 환경에서 제1 환경 객체를 추적하는 단계는, 상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 단계를 더 포함하는, 장치. 제148항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 supplemental 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 단계를 더 포함하는 장치. 제149항: 사용자 인터페이스 관리 장치로서, 메모리; 상기 메모리에 연결되고, 상기 메모리에 저장된 복수의 프로그램 명령을 발행하도록 구성된 프로세서를 포함하고, 상기 프로그램 명령은, 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘을 제공하는 동작으로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 동작; 상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 동작으로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘 중 선택된 아이콘의 선택을 나타내는, 상기 수신하는 동작; 상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층에 액세스하는 동작; 및 상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작을 포함하는, 사용자 인터페이스 관리 장치. 제150항: 상기 항 중 어느 한 항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 동작은 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출 제스처를 센싱할 때에만 일어나는, 장치. 제151항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간 동안 개방 손을 제시하는 동작을 포함하는, 장치. 제152항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 장치. 제153항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘은 버블 아이콘인, 장치. 제154항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 장치. 제155항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동을 포함하는, 장치. 제156항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 팝핑 선택을 포함하는, 장치. 제157항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 장치. 제158항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작은, 상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 동작을 포함하는, 장치. 제159항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클을 포함하는, 장치. 제160항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 장치. 제161항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 장치. 제162항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 장치. 제163항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고, 상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 동작; 상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 동작; 상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 동작; 및 상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 동작을 더 포함하는 장치. 제164항: 제스처 인식용 비-일시적인 매체로서, 상기 매체에 연결된 프로세서에 의해 발행가능한 프로그램 명령을 포함하고, 상기 프로그램 명령은 상기 프로세서로 하여금 적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 동작; 적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 동작; 상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 동작; 상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 동작을 수행하게 하는, 매체. 제165항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대하여 제2 환경 객체의 제스처를 맵핑하는 동작을 더 포함하는 매체. 제166항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 동작은, 상기 제2 환경 객체와 연관하여 포인트 클라우드를 생성하는 동작을 더 포함하는, 매체. 제167항: 상기 항 중 어느 한 항에 있어서, 제스처를 맵핑하는 동작은, 상기 제2 환경 객체의 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작; 및 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 동작을 더 포함하는, 매체. 제168항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 매체. 제169항: 상기 항 중 어느 한 항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 매체. 제170항: 상기 항 중 어느 한 항에 있어서, 상기 센서는 깊이 카메라를 포함하는, 매체. 제171항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작은, 상기 제2 환경 객체와 연관하여 깊이 맵을 생성하는 동작을 포함하는, 매체. 제172항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 동작을 더 포함하는 매체. 제173항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 동작은, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 동작을 더 포함하는, 매체. 제174항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 프레임인, 매체. 제175항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체는 표면인, 매체. 제176항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 테이블 표면인, 매체. 제177항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 벽인, 매체. 제178항: 상기 항 중 어느 한 항에 있어서, 상기 표면은 디스플레이 스크린인, 매체. 제179항: 상기 항 중 어느 한 항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 매체. 제180항: 상기 항 중 어느 한 항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작은 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 동작을 포함하는, 매체. 제181항: 상기 항 중 어느 한 항에 있어서, 환경에서 제1 환경 객체를 추적하는 동작은, 상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 동작을 더 포함하는, 매체. 제182항: 상기 항 중 어느 한 항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 supplemental 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 동작을 더 포함하는 매체. 제183항: 사용자 인터페이스 관리 매체로서, 상기 매체에 연결된 프로세서에 의해 발행가능한 프로그램 명령을 포함하고, 상기 프로그램 명령은 상기 프로세서로 하여금 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘을 제공하는 동작으로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 동작; 상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 동작으로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘의 선택된 아이콘의 선택을 나타내는, 상기 수신하는 동작; 상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층에 액세스하는 동작; 및 상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작을 수행하는, 매체. 제184항: 상기 항 중 어느 한 항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 동작은, 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출 제스처를 센싱할 때에만 일어나는, 매체. 제185항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간 동안 개방 손을 제시하는 동작을 포함하는, 매체. 제186항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 매체. 제187항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘은 버블 아이콘인, 매체. 제188항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 매체. 제189항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동을 포함하는, 매체. 제190항: 상기 항 중 어느 한 항에 있어서, 상기 사용자 제스처 데이터는 압착 팝핑 선택을 포함하는, 매체. 제191항: 상기 항 중 어느 한 항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 매체. 제192항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작은, 상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 동작을 포함하는, 매체. 제193항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클을 포함하는, 매체. 제194항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 매체. 제195항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 매체. 제196항: 상기 항 중 어느 한 항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 매체. 제197항: 상기 항 중 어느 한 항에 있어서, 상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고, 상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 동작; 상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 동작; 상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 동작; 및 상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 동작을 더 포함하는 매체. 제198항: 제115항에 있어서, 상기 아이콘은 아바코그래프(abakograph)인, 방법. 제199항: 제115항에 있어서, 상기 아이콘은 아바코그래프로부터 유도된, 방법. 제200항: 제115항에 있어서, 상기 아이콘은 토포스컬프처(toposculpture)인, 방법. 제201항: 제115항에 있어서, 상기 아이콘은 아바코그래픽 노출의 하나의 트레이스에 각각 대응하는, 방법. 제202항: 제115항에 있어서, 상기 아이콘은 각각 아바코그래프에서의 비드인, 방법. 제203항: 제134항에 있어서, 상기 아이콘은, 선택될 때, 상기 아바코그래프를 따라 이동가능하게 렌더링되는, 방법.
전술한 어셈블리 및 모듈은 이 기술 분야에 통상의 지식을 가진 사람의 지식 내에서 명시적인 용어로 이들 모두를 설명함이 없이 조합과 치환을 하여 원하는 기능과 작업을 수행하도록 요구될 수 있는 것으로 서로 연결될 수 있는 것으로 이해된다. 이 기술 분야에 이용가능한 등가물보다 우수한 특정 어셈블리, 또는 컴포넌트는 없다. 기능이 수행될 수 있는 한, 다른 것보다 우수한 개시된 대상을 실시하는 특정 모드는 없다. 개시된 대상의 모든 중요한 측면은 본 문서에 제시된 것으로 믿어진다. 모든 청구된 대상의 범위는 (i) 종속 청구항, (ii) 비-제한적인 실시예의 상세한 설명, (iii) 발명의 내용, (iv) 요약서, 및/또는 (v) 본 명세서 외에 (즉, 출원서, 경과 과정, 및/또는 특허 결정된 본 출원 외에) 제공된 설명으로 제한되지 않는 것으로 이해된다. 본 명세서의 목적을 위하여, "구비하는"이라는 어구는 "포함하는"이라는 단어와 등가인 것으로 이해된다. 상기 내용은 비-제한적인 실시예(예시)을 설명하는 것으로 이해된다. 상기 설명은 특정 비-제한적인 실시예(예시)를 위해 만들어진 것이다. 비-제한적인 실시예는 단지 예시를 위해 제공된 것으로 이해된다.
Claims (203)
- 센싱 및 디스플레이 장치로서,
인터페이스 어셈블리를 포함하되, 상기 인터페이스 어셈블리는,
제1 공간과 센서 신호와 이펙터 신호를 교환하도록 구성된 제1 인터페이스 모듈; 및
제2 공간과 이펙터 신호를 교환하도록 구성된 제2 인터페이스 모듈을 포함하고, 상기 이펙터 신호는 상기 제1 공간과 상기 제2 공간 중 적어도 하나의 공간에서 적어도 부분적으로 사용자 제시가능한, 센싱 및 디스플레이 장치. - 센싱 및 디스플레이 장치로서,
인터페이스 어셈블리를 포함하되, 상기 인터페이스 어셈블리는,
제1 공간으로부터 수신된 감각 현상을 나타내는 적어도 하나의 센서 신호와 인터페이스하도록 구성된 제1 인터페이스 모듈; 및
상기 제1 공간과 상기 제2 공간에 감각 현상을 나타내는 적어도 하나의 이펙터 신호와 인터페이스하도록 구성된 제2 인터페이스 모듈을 포함하는, 센싱 및 디스플레이 장치. - 제2항에 있어서, 상기 적어도 하나의 센서 신호와 상기 적어도 하나의 이펙터 신호는 상기 제1 공간과 상기 제2 공간 중 어느 하나의 공간에서 적어도 부분적으로 사용자-감각 소비를 제시가능한, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 상기 인터페이스 어셈블리에 동작가능하게 연결된 처리 장치를 더 포함하고, 상기 처리 장치는 상기 인터페이스 어셈블리와 인터페이스되는 상기 적어도 하나의 센서 신호를 처리하고, 상기 인터페이스 어셈블리와 인터페이스되는 상기 적어도 하나의 이펙터 신호를 처리하도록 구성된, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 상기 제1 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성되고, 또한 상기 제2 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성된 감각-현상 센서를 더 포함하는, 센싱 및 디스플레이 장치.
- 제5항에 있어서, 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제1 공간에 송신하도록 구성되고, 또한 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 감각-현상 이펙터를 더 포함하는, 센싱 및 디스플레이 장치.
- 제5항에 있어서, 상기 인터페이스 어셈블리는 상기 제1 공간으로부터 상기 감각-현상 센서를 통해 수신된 감각 현상과 또한 상기 제2 공간으로부터 수신된 감각 현상을 나타내는 상기 적어도 하나의 센서 신호와 인터페이스하도록 구성되고, 또한 감각-현상 이펙터를 통해 상기 제1 공간과 상기 제2 공간에 감각 현상을 나타내는 상기 적어도 하나의 이펙터 신호와 인터페이스하도록 구성된, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 상기 제1 공간은 사용자에 의해 액세스가능하도록 구성되고; 상기 제2 공간은 단일 사용자에 의해 액세스가능하도록 구성된, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 상기 적어도 하나의 센서 신호는 청각적 감각 현상, 시각적 감각 현상, 및 촉각적 감각 현상 중 어느 하나로부터 유도된, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 상기 적어도 하나의 이펙터 신호는 청각적 감각 현상, 시각적 감각 현상, 및 촉각적 감각 현상 중 어느 하나로부터 유도된, 센싱 및 디스플레이 장치.
- 제6항에 있어서,
상기 감각-현상 센서와 상기 감각-현상 이펙터는,
상기 제1 공간으로부터 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된 제1 감각-현상 센서; 및
감각 현상과 연관된 이펙터 신호를 상기 제1 공간에 송신하도록 구성된 제1 감각-현상 이펙터를 포함하는, 센싱 및 디스플레이 장치. - 제11항에 있어서,
상기 감각-현상 센서와 상기 감각-현상 이펙터는,
감각 현상을 가지는 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 상기 감각-현상 이펙터; 및
상기 제2 공간으로부터 상기 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된 제2 감각-현상 센서를 포함하는, 센싱 및 디스플레이 장치. - 제12항에 있어서,
상기 제1 감각-현상 센서와 상기 제1 감각-현상 이펙터는 상기 제1 공간에서 사용자의 관측 시야(field of view)의 방향을 향하고;
상기 제2 감각-현상 이펙터와 상기 제2 감각-현상 센서는 상기 제2 공간에서 사용자의 눈 쪽 방향을 향하는, 센싱 및 디스플레이 장치. - 제4항에 있어서, 상기 처리 장치는 상기 제1 공간과 상기 제2 공간 사이에 상기 센서 신호를 라우팅하도록 구성된, 센싱 및 디스플레이 장치.
- 제4항에 있어서, 상기 처리 장치는 상기 제1 공간과 상기 제2 공간 사이에 상기 이펙터 신호를 라우팅하도록 구성된, 센싱 및 디스플레이 장치.
- 제2항에 있어서,
상기 인터페이스 어셈블리는,
제1 감각-현상 센서와 인터페이스하도록 구성된 상기 제1 인터페이스 모듈; 및
제1 감각-현상 이펙터와 인터페이스하도록 구성된 상기 제2 인터페이스 모듈을 포함하고,
상기 제1 감각-현상 센서는 상기 제1 공간으로부터 상기 제1 감각-현상 센서에 의해 수신된 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성되고, 상기 제1 감각-현상 이펙터는 감각 현상과 연관된 이펙터 신호를 상기 제1 공간에 송신하도록 구성된, 센싱 및 디스플레이 장치. - 제2항에 있어서,
상기 인터페이스 어셈블리는,
제2 감각-현상 이펙터와 인터페이스하도록 구성된 제3 인터페이스 모듈; 및
제2 감각-현상 센서와 인터페이스하도록 구성된 제4 인터페이스 모듈을 포함하고, 상기 제2 감각-현상 이펙터는 감각 현상을 가지는 이펙터 신호를 상기 제2 공간에 송신하도록 구성되고, 상기 제2 감각-현상 센서는 상기 제2 공간으로부터 상기 제2 감각-현상 센서에 의해 수신된 상기 감각 현상으로부터 유도된 센서 신호를 송신하도록 구성된, 센싱 및 디스플레이 장치. - 제4항에 있어서, 상기 처리 장치는 제1 감각-현상 센서로부터 수신된 센서 신호를 제2 감각-현상 이펙터를 통해 상기 제2 공간으로 라우팅하도록 구성된, 센싱 및 디스플레이 장치.
- 제4항에 있어서, 상기 처리 장치는 제2 감각-현상 센서로부터 수신된 센서 신호를 제1 감각-현상 이펙터를 통해 상기 제1 공간에 라우팅하도록 구성된, 센싱 및 디스플레이 장치.
- 제2항에 있어서, 사용자 착용을 촉진하도록 구성된 사용자-착용가능한 인터페이스를 더 포함하는, 센싱 및 디스플레이 장치.
- 제2항에 있어서,
프레임 어셈블리를 더 포함하고, 상기 프레임 어셈블리는,
상기 제1 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성되고, 또한 상기 제2 공간으로부터 수신된 감각 현상으로부터 유도된 상기 적어도 하나의 센서 신호를 송신하도록 구성된 감각-현상 센서; 및
감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제1 공간에 송신하도록 구성되고, 또한 감각 현상과 연관된 상기 적어도 하나의 이펙터 신호를 상기 제2 공간에 송신하도록 구성된 감각-현상 이펙터
중 어느 하나를 고정 지원하도록 구성된, 센싱 및 디스플레이 장치. - 제2항에 있어서,
프레임 어셈블리를 더 포함하되, 상기 프레임 어셈블리는,
헤드-장착가능한 어셈블리;
디지털 아이 글래스;
LiDAR 유닛;
비전 시스템;
광학 센서;
디스플레이 유닛;
이동식 가리개;
적외선 송신기;
적외선 수신기; 및
지오폰(geophone)
중 어느 하나를 고정 지원하도록 구성된, 센싱 및 디스플레이 장치. - 방법으로서,
제1 공간과 제2 공간으로부터 수신된 적어도 하나의 감각 현상을 나타내는 센서 신호를 수신하는 단계; 및
적어도 하나의 이펙토리 현상(effectory phenomenon)을 나타내는 이펙터 신호를 상기 제1 공간과 상기 제2 공간에 제공하는 단계를 포함하는 방법. - 제23항에 있어서, 상기 센서 신호와 상기 이펙터 신호를 처리하는 단계를 더 포함하는 방법.
- 제24항에 있어서, 상기 제1 공간과 상기 제2 공간 사이에 상기 센서 신호를 라우팅하는 단계를 더 포함하는 방법.
- 제24항에 있어서, 상기 제1 공간과 상기 제2 공간 사이에 상기 이펙터 신호를 라우팅하는 단계를 더 포함하는 방법.
- 디스플레이 장치로서,
제1 공간과 제2 공간과 인터페이스하도록 구성되고, 상기 제1 공간과 상기 제2 공간과 연관된 센서 신호와 이펙터 신호를 운반하도록 구성된 인터페이스 어셈블리;
상기 인터페이스 어셈블리에 동작가능하게 연결되고, 상기 인터페이스 어셈블리에 의해 운반되는 상기 센서 신호와 상기 이펙터 신호를 처리하도록 구성된 처리 장치; 및
상기 처리 장치로 하여금 상기 센서 신호와 상기 이펙터 신호에 대한 동작을 실행하도록 구성된 프로그래밍된 명령의 시퀀스를 포함하는 처리 프로그램을 유형적으로 구현하도록 구성된 메모리 어셈블리를 포함하는, 디스플레이 장치. - 사용자 인터페이스로서,
제1 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제1 인터페이스 섹션; 및
제2 공간으로부터 유도된 현상을 디스플레이하도록 구성된 제2 인터페이스 섹션을 포함하는, 사용자 인터페이스. - 장치로서,
제1 공간과 동작가능하게 인터페이스하도록 구성된 제1 현상 인터페이스; 및
제2 공간과 동작가능하게 인터페이스하도록 구성된 제2 현상 인터페이스를 포함하는 장치. - 제29항에 있어서, 상기 제1 현상 인터페이스는 상기 제1 공간과 동작가능하게 상호작용하도록 각각 구성된 제1 감각 현상 이펙터와 제1 감각 현상 센서를 포함하는, 장치.
- 제30항에 있어서, 상기 제2 현상 인터페이스는 상기 제2 공간과 동작가능하게 상호작용하도록 각각 구성된 제2 감각 현상 이펙터와 제2 감각 현상 센서를 포함하는, 장치.
- 제31항에 있어서, 상기 제1 현상 인터페이스와 상기 제2 현상 인터페이스에 동작가능하게 연결하도록 구성되고, 상기 제1 감각 현상 이펙터, 상기 제1 감각 현상 센서, 상기 제2 감각 현상 이펙터, 및 상기 제2 감각 현상 센서와 동작가능하게 상호작용하도록 더 구성된 처리 어셈블리를 더 포함하는 장치.
- 제29항의 장치를 위한 매니폴다이저(manifoldizer)로서,
상기 매니폴다이저는,
상기 장치의 착용자의 신체 부분(body part)의 제스처(gesture)를 센싱하는 제스처 센서;
상기 제스처 센서에 의해 검출된 매니폴드 시작 제스처에 응답하는 매니폴드 생성기;
상기 착용자와 매니폴드 사이에 컨택(contact)을 검출하는 매니폴드 컨택 검출기;
상기 매니폴드 컨택 생성기의 출력에 응답하는 매니폴드 디스플레이 생성기를 포함하는, 매니폴다이저. - 제33항의 매니폴다이저를 포함하는 토포스컬프처(toposculpter)로서,
실질적으로 연속적인 매니폴드 연속 제스처에 응답하는 매니폴드 적분기를 더 포함하는 토포스컬프처. - 제34항의 매니폴다이저를 포함하는 매니폴다이즈된 디스플레이 생성기로서,
상기 매니폴드 디스플레이 생성기는 가상 또는 실제 디바이스의 출력을 디스플레이하기 위한, 매니폴다이즈된 디스플레이 생성기. - 제35항의 매니폴다이즈된 디스플레이 생성기로서,
상기 매니폴드 디스플레이 생성기는 상기 디지털 아이 글래스의 상기 착용자에 보이는 3차원 증강매개된 환경으로 구현된 강성의 평면 패치(planar patch)를 포함하는 2차원 매니폴드를 디스플레이하는, 매니폴다이즈된 디스플레이 생성기. - 아바코그래픽 사용자-인터페이스(abakogarpahic user-interface)로서,
3차원 비전 시스템,
프로세서 및
디스플레이를 포함하되, 상기 프로세서는 노출-적분기(exposure-integrator)를 포함하고, 상기 노출 적분기는 상기 3차원 비전 시스템으로부터 입력에 응답하는, 아바코그래픽 사용자-인터페이스. - 제37항에 있어서, 매니폴드-차원(manifold-dimension) 센서와 제스처 센서를 포함하고, 상기 제스처 센서는 상기 매니폴드 차원 센서의 출력에 응답하는, 사용자-인터페이스.
- 제38항에 있어서, 상기 실제-세계 물리적인 객체(real-world physical object)는 2개의 차원 매니폴드를 포함하고, 상기 매니폴드 차원 센서는, 상기 매니폴드 내로부터 아바코그래프로 아바코그래프를 따라 제스처가 이루어지는지, 또는 상기 매니폴드에 없는 3차원 공간 내로부터 아바코그래프로 제스처가 이루어지는지 여부를 결정하는, 사용자-인터페이스.
- 공간에 매니폴드를 생성하는 3차원 스컬프팅 시스템(sculpting system)으로서,
3차원 비전 시스템;
노출 적분기; 및
상기 노출 적분기의 출력을 보여주는 디스플레이를 포함하되, 상기 노출 적분기는 노출을 누적시키는, 3차원 스컬프팅 시스템. - 제40항에 있어서, 상기 노출 적분기의 노출 누적을 개시하는 제스처를 센싱하는 제스처 센서를 더 포함하는, 3차원 스컬프팅 시스템.
- 제41항에 있어서, 상기 제스처 센서는 상기 노출 적분기의 노출 누적을 종료시키는 제스처를 센싱하는, 3차원 스컬프팅 시스템.
- 제40항에 있어서, 상기 노출 적분기는 3차원 공간에서 시간적으로 성장하는 매니폴드를 생성하는, 3차원 스컬프팅 시스템.
- 제43항에 있어서, 상기 시간적으로 성장하는 매니폴드에 의해 한정된 경로에 사용자의 신체 부분의 탄젠시(tangency)를 결정하는 탄젠시 센서를 더 포함하는, 3차원 스컬프팅 시스템.
- 아바코그래픽 합성하는 방법으로서, 상기 방법은,
노출 버퍼를 할당하고 클리어(clearing)하는 단계;
노출기의 노출 강도를 센싱하는 단계;
3차원 공간에서 노출기의 위치를 센싱하는 단계;
상기 노출기의 위치와 연관하여 상기 노출 강도에 비례하는 양을 상기 노출 버퍼에 추가하는 단계를 포함하는 방법. - 제45항에 있어서, 상기 노출 강도는 제스처 센서에 의해 결정된 바이너리 양(binary quantity)인, 방법.
- 제45항에 있어서, 상기 노출기는 광 소스(light source)이고, 상기 노출 강도는 상기 광 소스의 조명 정도인, 방법.
- 제45항에 있어서, 상기 노출기는 손가락 끝(fingertip)이고, 상기 노출 강도는 연속적으로 가변적인 손 제스처에 의해 결정되는, 방법.
- 제45항에 있어서, 제스처 센서에 의해 아바코그래픽 합성(composition)을 개시하는 단계를 더 포함하고, 상기 제스처 센서는 집게 손가락(index finger)과 엄지 손가락(thumb)의 "총" 제스처("gun" gesture)를 센싱하는, 방법.
- 제49항에 있어서, 상기 노출 강도는 상기 엄지 손가락과 상기 집게 손가락 사이의 각도만큼 연속적으로 가변하는, 방법.
- 토포스컬프팅하는 방법으로서, 상기 방법은, 토포스컬프팅 버퍼를 할당하고 클리어하는 단계를 포함하되, 상기 방법은,
노출기의 노출 강도를 센싱하는 단계;
3차원 공간에서 노출기의 위치를 센싱하는 단계;
상기 노출기의 위치와 연관하여 상기 노출 강도에 비례하는 양을 상기 토포스컬프팅 버퍼에 추가하는 단계를 포함하는 방법. - 제51항에 있어서, 상기 위치를 센싱하는 단계는 가장 최근의 지점(point)에서 상기 토포스컬프처와 컨택하는 지점에서 진행 중인 토포스컬프처에 대해 상기 방법의 사용자의 신체 부분의 평면 부분의 탄젠시를 센싱하는 단계를 포함하고, 상기 노출 강도는 상기 센싱 탄젠시의 출력에 비례하는, 방법.
- 스캐닝가능한 대상(scannable subject matter)을 보기 위한 스페이스글래스 장치(spaceglass apparatus)로서,
공간 이미징 카메라;
상기 공간 이미징 카메라의 적어도 하나의 출력에 응답하는 프로세서;
홀로그래픽 비디오 디스플레이, 스테레오스코픽 비디오 디스플레이, 및 아레맥(aremac), 스테레오스코픽 디스플레이로 구성된 그룹으로부터 선택된 공간 이미징 디스플레이를 포함하되,
상기 공간 이미징 디스플레이는 상기 프로세서의 적어도 하나의 출력에 응답하고,
상기 공간 이미징 디스플레이는 상기 스캐닝가능한 대상의 적어도 일부로부터 유도된 눈의 시점(Point-of-Eye) 이미지를 제공하는, 스페이스글래스 장치. - 제53항에 있어서, 상기 공간 이미징 카메라는 3D 카메라를 포함하는, 스페이스글래스 장치.
- 제53항에 있어서, 상기 프로세서는 접촉 검출기(taction detector)를 포함하는, 스페이스글래스 장치.
- 제53항에 있어서, 상기 프로세서는 호모그래피 침입 검출기(homography in-trusion detector)를 포함하는, 스페이스글래스 장치.
- 제53항에 있어서, 상기 프로세서는 구형 볼륨 측정 침입 검출기(spherical volumetric intrusion detector)를 포함하는, 스페이스글래스 장치.
- 제57항에 있어서, 상기 프로세서는 버블 메타퍼 생성기(bubble metaphor generator)를 포함하는, 스페이스글래스 장치.
- 제57항에 있어서, 상기 프로세서는 버블 메뉴를 시뮬레이팅하고, 버블 메뉴 선택기는 상기 장치의 사용자의 신체의 일부로부터 반경(r) 미만의 거리에 위치된 r의 구의 볼륨으로 침입에 응답하고, 상기 사용자의 신체의 일부는 상기 볼륨으로 침입 정도에 통계적으로 유의성이 있는, 스페이스글래스 장치.
- 스페이스글래스를 위한 공유된 증강매개된 현실 시스템(augmediated reality system)으로서,
상기 공유된 증강매개된 현실 시스템의 제1 사용자에 의해 사용하기 위해 제1 공간 이미징 카메라를 포함하는 제1 스페이스글래스;
상기 공유된 증강매개된 현실 시스템의 제2 사용자에 의해 사용하기 위해 제2 공간 이미징 카메라를 포함하는 제2 스페이스글래스; 및
상기 제1 및 제2 공간 이미징 카메라로부터 스캐닝을 다중화하는 공간 이미징 다중화기를 포함하되, 상기 제1 및 제2 공간 이미징 카메라는 대상의 공간 이미징을 위해 구성된, 공유된 증강매개된 현실 시스템. - 제60항에 있어서, 상기 공간 이미징 다중화기는 시분할 다중화기인, 공유된 증강매개된 현실 시스템.
- 디지털 아이 글래스의 착용자의 한 눈 또는 두 눈으로 보기 위한 디지털 아이 글래스 장치로서,
복수의 상이한 방향으로부터 오는 광을 센싱하는 적어도 하나의 센서;
상기 센서로부터 적어도 하나의 입력에 응답하는 프로세서; 및
상기 프로세서의 출력에 응답하는 디스플레이를 포함하고, 상기 디스플레이는 눈의 시점(point-of-eye) 이미지를 제공하는, 디지털 아이 글래스 장치. - 제62항에 있어서, 상기 센서는 3D 카메라인, 디지털 아이 글래스 장치.
- 제63항에 있어서, 상기 3D 카메라는 3D HDR 이미징을 구현하는, 디지털 아이 글래스 장치.
- 제63항에 있어서, 상기 3D 카메라는 공유된 컴퓨터-매개된 현실 환경에서 다른 참가자들이 착용한 다른 3D 카메라와 협력하는 시분할 다중화기를 포함하는, 디지털 아이 글래스 장치.
- 제63항에 있어서, 상기 3D 카메라는 공유된 컴퓨터-매개된 현실 환경에서 다른 참가자들이 착용한 다른 3D 카메라와 협력하는 가변 진폭 다중화기를 포함하고, 상기 가변 진폭 다중화기는 대상의 상이한 조명 정도에 응답하여 상기 대상의 대략 동일한 취득물(getting)을 제공하는, 디지털 아이 글래스 장치.
- 제63항에 있어서, 상기 프로세서는 컴퓨터-매개된 현실을 공유하는 하나를 초과하는 참가자의 조명기에 의해 생성된 라이트스페이스(lightspace)에 응답하는 합성 애퍼처 이미징 작성기(synthetic aperture imaging constructor)를 포함하는, 디지털 아이 글래스 장치.
- 스페이스글래스 시스템으로서,
상기 스페이스글래스로 보이는 대상을 공간적으로 이미징하는 하나 이상의 스페이스글래스를 포함하되,
적어도 하나의 3D 카메라;
상기 적어도 하나의 3D 카메라로부터 적어도 하나의 입력에 응답하는 프로세서;
상기 프로세서의 출력에 응답하는 디스플레이를 더 포함하고, 상기 디스플레이는 상기 대상에 존재하는 공간 정보에 응답하여 아이탭 시점 렌더링(EyeTap point-of-view rendering)을 제공하는, 스페이스글래스 시스템. - 제68항에 있어서, 상기 프로세서는 콤패러메트릭 합성기를 포함하는, 스페이스글래스 시스템.
- 제68항에 있어서, 제1 스페이스글래스와 제2 스페이스글래스를 더 포함하되, 상기 프로세서는 상기 제2 스페이스글래스에서 사용되는, 스페이스글래스 시스템.
- 제68항에 있어서, 제1 스페이스글래스와 제2 스페이스글래스를 더 포함하되, 상기 프로세서는 상기 제2 스페이스글래스에서 사용되고, 상기 제1 및 제2 스페이스글래스는 2개의 별도의 사용자에 의해 착용되고, 상기 프로세서는 슈퍼포지메트릭 합성기를 포함하는, 스페이스글래스 시스템.
- 공간 이미징 디바이스로서,
라이트스페이스 분석 글래스;
상기 라이트스페이스 분석 글래스의 출력에 응답하는 프로세서;
상기 프로세서의 출력에 응답하는 라이트스페이스 합성 글래스; 및
라이트스페이스 공선화기(collinearizer)를 포함하는, 공간 이미징 디바이스. - 제스처 인식 프로세서로-구현되는 방법으로서,
적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 단계;
적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 단계;
상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 단계; 및
상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 단계를 포함하는 방법. - 제73항에 있어서, 상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대해 제2 환경 객체의 제스처를 맵핑하는 단계를 더 포함하는 방법.
- 제74항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체와 연관하여 포인트 클라우드(point cloud)를 생성하는 단계를 더 포함하는, 방법.
- 제74항에 있어서, 제스처를 맵핑하는 단계는,
상기 제2 환경 객체의 적어도 하나의 제2 환경 객체 공간 좌표를 식별하는 단계; 및
상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계를 더 포함하는, 방법. - 제76항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 방법.
- 제76항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 방법.
- 제74항에 있어서, 상기 센서는 깊이 카메라(depth camera)를 포함하는, 방법.
- 제79항에 있어서, 상기 적어도 하나의 제2 환경 객체 공간 좌표를 식별하는 단계는, 상기 제2 환경 객체와 연관하여 깊이 맵(depth map)을 생성하는 단계를 포함하는, 방법.
- 제80항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 단계를 더 포함하는 방법.
- 제80항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계는, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 단계를 더 포함하는, 방법.
- 제74항에 있어서, 상기 제1 환경 객체는 프레임인, 방법.
- 제74항에 있어서, 상기 제1 환경 객체는 표면인, 방법.
- 제84항에 있어서, 상기 표면은 테이블 표면인, 방법.
- 제84항에 있어서, 상기 표면은 벽(wall)인, 방법.
- 제84항에 있어서, 상기 표면은 디스플레이 스크린인, 방법.
- 제84항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 방법.
- 제88항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 단계를 포함하는, 방법.
- 제73항에 있어서, 환경에서 제1 환경 객체를 추적하는 단계는,
상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 단계를 더 포함하는, 방법. - 제90항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 보충 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 단계를 더 포함하는 방법.
- 장치로서,
적어도 하나의 입력 센서;
적어도 하나의 출력 디스플레이; 및
상기 적어도 하나의 입력 센서와 적어도 하나의 출력 디스플레이에 통신가능하게 연결된 적어도 하나의 연산 디바이스를 포함하되, 상기 적어도 하나의 연산 디바이스는 프로세서-판독가능한 프로그램 명령을 발행하도록 구성되고, 상기 명령은,
상기 적어도 하나의 입력 센서를 통해 적어도 하나의 부속 기관(appendage)의 공간 위치를 결정하는 동작;
상기 공간 위치에 기초하여 적어도 하나의 디스플레이 항목을 선택하는 동작; 및
상기 적어도 하나의 출력 디스플레이를 통해 상기 적어도 하나의 디스플레이 항목을 제시하는 동작을 포함하는, 장치. - 장치로서,
적어도 제1 환경 객체와 제2 환경 객체의 상기 상대적인 공간 위치를 검출하도록 구성된 적어도 하나의 센서;
상기 상대적인 공간 위치를 인식하고 적어도 하나의 디스플레이 컴포넌트를 구성하도록 구성된 프로그램 명령을 발행하는 적어도 하나의 연산 디바이스; 및
상기 적어도 하나의 디스플레이 컴포넌트를 디스플레이하도록 구성된 적어도 하나의 출력 디스플레이를 포함하는 장치. - 제93항에 있어서, 상기 적어도 하나의 센서는 깊이 맵을 생산하도록 구성된 깊이 카메라를 포함하는, 장치.
- 제94항에 있어서, 상기 연산 디바이스는 상기 깊이 맵에 기초하여 상기 상대적인 공간 위치를 인식하는, 장치.
- 제94항에 있어서, 상기 연산 디바이스는 상기 제1 환경 객체와 상기 제2 환경 객체와 각각 연관된 제1 및 제2 포인트 클라우드에 기초하여 상기 상대적인 공간 위치를 인식하는, 장치.
- 제96항에 있어서, 상기 연산 디바이스는 상기 제1 및 제2 포인트 클라우드의 교차점에 기초하여 상기 상대적인 공간 위치를 터치 제스처로 인식하는, 장치.
- 제94항에 있어서, 상기 적어도 하나의 디스플레이 컴포넌트는 가상 키보드를 포함하고 상기 제2 환경 객체는 사용자의 신체 부분을 포함하는, 장치.
- 제93항에 있어서, 상기 제1 물리적인 객체는 표면이고 상기 가상 키보드는 상기 적어도 하나의 출력 디스플레이 내에서 이 표면과 연관된 좌표 시스템에 앵커링(anchored)되는, 장치.
- 제93항에 있어서, 상기 상대적인 공간 위치는 상대적인 공간 모션을 더 포함하는, 장치.
- 제100항에 있어서, 상기 상대적인 공간 모션은 스와이프(swipe)를 포함하는, 장치.
- 제101항에 있어서, 상기 스와이프는 다발 스와이프(bunched swipe)인, 장치.
- 제100항에 있어서, 상기 상대적인 공간 모션은 압착 이동(moving squeeze)과 압착 팝핑(popping squeeze) 중 적어도 하나를 포함하는, 장치.
- 제94항에 있어서, 상기 제1 환경 객체는 표면을 포함하고, 상기 적어도 하나의 연산 디바이스는 상기 표면을 추적하도록 구성되고, 상기 적어도 하나의 출력 디스플레이는 적어도 하나의 매체 프리젠테이션을 상기 추적된 표면에 고정하도록 구성된, 장치.
- 제104항에 있어서, 상기 적어도 하나의 매체 프리젠테이션은 스테레오스코픽 프리젠테이션에 고정된, 장치.
- 제104항에 있어서, 상기 적어도 하나의 매체 프리젠테이션은 애플리케이션 데이터를 포함하는, 장치.
- 제104항에 있어서, 상기 상대적인 공간 위치는 상기 표면과 상기 적어도 하나의 매체 프리젠테이션 사이의 연관을 나타내는, 장치.
- 제107항에 있어서, 상기 상대적인 공간 위치는 상기 표면에 상기 적어도 하나의 매체 프리젠테이션의 드래그앤드랍(drag-and-drop)을 포함하는, 장치.
- 제93항에 있어서, 상기 제2 환경 객체는 제스처 손을 포함하고, 상기 제1 환경 객체는 가상 환경에서 가상 모델을 포함하고, 상기 적어도 하나의 연산 디바이스는 상기 제스처 손과 상기 가상 모델 사이의 임의의 컨택 지점을 스컬프팅하는 것에 의해 상기 가상 모델을 나타내는 상기 적어도 하나의 디스플레이 컴포넌트를 구성하도록 하는 프로그램 명령을 발행하는, 장치.
- 제93항에 있어서, 상기 적어도 하나의 연산 디바이스는 상기 제1 환경 객체와 상기 제2 환경 객체 중 적어도 하나에 적어도 하나의 고유한 식별자를 연관시키는 프로그램 명령을 발행하고, 상기 고유한 식별자는 사용자와 연관된 소셜 네트워크 데이터에 연결된, 장치.
- 제110항에 있어서, 적어도 하나의 고유한 식별자를 연관시키는 상기 프로그램 명령은 상기 적어도 하나의 출력 디스플레이를 통해 상기 제1 환경 객체와 상기 제2 환경 객체 중 적어도 하나에 마커(marker)를 적용하는 명령을 포함하는, 장치.
- 제110항에 있어서, 상기 연산 디바이스는 상기 고유한 식별자를 인식하는 프로그램 명령을 발행하도록 구성되고, 상기 출력 디스플레이는 상기 사용자와 연관된 상기 소셜 네트워크 데이터의 적어도 일부를 디스플레이하도록 구성된, 장치.
- 제110항에 있어서, 상기 적어도 하나의 센서는 엄지 손가락을 위로 하는 사용자 제스처를 검출하도록 구성되고, 상기 적어도 하나의 연산 디바이스는 상기 고유한 ID와 피드백을 연관시키는 프로그램 명령을 발행하는, 장치.
- 제93항에 있어서, 안경으로 구성된 장치.
- 사용자 인터페이스를 관리하는 프로세서로-구현되는 방법으로서,
적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘(icon)을 제공하는 단계로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 단계;
상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 단계로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘 중 선택된 아이콘의 선택을 나타내는, 상기 수신하는 단계;
상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층(hierarchy)에 액세스하는 단계; 및
상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 단계를 포함하는 방법. - 제115항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 단계는 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출(summoning) 제스처를 센싱할 때에만 발생하는, 방법.
- 제115항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간(period of time) 동안 개방 손(open hand)을 제시하는 단계를 포함하는, 방법.
- 제117항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 방법.
- 제115항에 있어서, 상기 아이콘은 버블 아이콘인, 방법.
- 제119항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 방법.
- 제119항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동(squeeze-to-move translation)을 포함하는, 방법.
- 제119항에 있어서, 상기 사용자 제스처 데이터는 압착 팝팡(squeeze-to-pop) 선택을 포함하는, 방법.
- 제119항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 방법.
- 제119항에 있어서,
상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 단계는,
상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 단계를 포함하는, 방법. - 제124항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클(inward/rolodex cycle)을 포함하는, 방법.
- 제115항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 방법.
- 제115항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 방법.
- 제127항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 방법.
- 제128항에 있어서,
상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고, 상기 방법은,
상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 단계;
상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 단계;
상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 단계; 및
상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 단계를 더 포함하는 방법. - 제스처 인식 장치로서,
메모리;
상기 메모리에 연결되고, 상기 메모리에 저장된 복수의 프로그램 명령을 발행하도록 구성된 프로세서를 포함하되, 상기 프로그램 명령은,
적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 단계;
적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 단계;
상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 단계;
상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 단계를 포함하는, 제스처 인식 장치. - 제130항에 있어서, 상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대하여 제2 환경 객체의 제스처를 맵핑하는 단계를 더 포함하는, 제스처 인식 장치.
- 제131항에 있어서, 제스처를 맵핑하는 단계는, 상기 제2 환경 객체와 연관하여 포인트 클라우드를 생성하는 단계를 더 포함하는, 제스처 인식 장치.
- 제131항에 있어서, 제스처를 맵핑하는 단계는,
상기 제2 환경 객체의 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계; 및
상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계를 더 포함하는, 제스처 인식 장치. - 제133항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 제스처 인식 장치.
- 제133항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 제스처 인식 장치.
- 제131항에 있어서, 상기 센서는 깊이 카메라를 포함하는, 제스처 인식 장치.
- 제136항에 있어서, 상기 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는, 상기 제2 환경 객체와 연관하여 깊이 맵을 생성하는 단계를 포함하는, 제스처 인식 장치.
- 제137항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 단계를 더 포함하는, 제스처 인식 장치.
- 제138항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 단계는, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 단계를 더 포함하는, 제스처 인식 장치.
- 제131항에 있어서, 상기 제1 환경 객체는 프레임인, 제스처 인식 장치.
- 제131항에 있어서, 상기 제1 환경 객체는 표면인, 제스처 인식 장치.
- 제141항에 있어서, 상기 표면은 테이블 표면인, 제스처 인식 장치.
- 제142항에 있어서, 상기 표면은 벽인, 제스처 인식 장치.
- 제141항에 있어서, 상기 표면은 디스플레이 스크린인, 제스처 인식 장치.
- 제141항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 제스처 인식 장치.
- 제145항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 단계는 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 단계를 포함하는, 제스처 인식 장치.
- 제130항에 있어서, 환경에서 제1 환경 객체를 추적하는 단계는, 상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 단계를 더 포함하는, 제스처 인식 장치.
- 제147항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 보충 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 단계를 더 포함하는 제스처 인식 장치.
- 사용자 인터페이스 관리 장치로서,
메모리;
상기 메모리에 연결되고, 상기 메모리에 저장된 복수의 프로그램 명령을 발행하도록 구성된 프로세서를 포함하되, 상기 프로그램 명령은,
적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘을 제공하는 동작으로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 동작;
상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 동작으로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘 중 선택된 아이콘의 선택을 나타내는, 상기 수신하는 동작;
상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층에 액세스하는 동작; 및
상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작을 포함하는, 사용자 인터페이스 관리 장치. - 제149항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 동작은 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출 제스처를 센싱할 때에만 일어나는, 사용자 인터페이스 관리 장치.
- 제149항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간 동안 개방 손을 제시하는 동작을 포함하는, 사용자 인터페이스 관리 장치.
- 제151항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 사용자 인터페이스 관리 장치.
- 제149항에 있어서, 상기 아이콘은 버블 아이콘인, 사용자 인터페이스 관리 장치.
- 제153항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 사용자 인터페이스 관리 장치.
- 제153항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동을 포함하는, 사용자 인터페이스 관리 장치.
- 제153항에 있어서, 상기 사용자 제스처 데이터는 압착 팝핑 선택을 포함하는, 사용자 인터페이스 관리 장치.
- 제153항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 사용자 인터페이스 관리 장치.
- 제153항에 있어서, 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작은, 상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 동작을 포함하는, 사용자 인터페이스 관리 장치.
- 제158항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클을 포함하는, 사용자 인터페이스 관리 장치.
- 제149항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 사용자 인터페이스 관리 장치.
- 제149항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 사용자 인터페이스 관리 장치.
- 제161항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 사용자 인터페이스 관리 장치.
- 제162항에 있어서, 상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고,
상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 동작;
상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 동작;
상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 동작; 및
상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 동작을 더 포함하는, 사용자 인터페이스 관리 장치. - 제스처 인식용 비-일시적인 매체로서,
상기 매체에 연결된 프로세서에 의해 발행가능한 프로그램 명령을 포함하고, 상기 프로그램 명령은, 상기 프로세서로 하여금,
적어도 하나의 센서를 통해 환경에서 제1 환경 객체를 추적하는 동작;
적어도 하나의 환경 객체 식별자를 상기 제1 환경 객체에 할당하는 동작;
상기 제1 환경 객체와 연관된 적어도 하나의 공간 좌표를 식별하는 동작;
상기 적어도 하나의 공간 좌표에 기초하여 좌표 시스템을 상기 환경 객체 식별자와 연관시키는 동작을 수행하게 하는, 제스처 인식용 비-일시적인 매체. - 제164항에 있어서,
상기 적어도 하나의 센서를 통해 상기 좌표 시스템에 대하여 제2 환경 객체의 제스처를 맵핑하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체. - 제165항에 있어서,
제스처를 맵핑하는 동작은,
상기 제2 환경 객체와 연관하여 포인트 클라우드를 생성하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체. - 제165항에 있어서, 제스처를 맵핑하는 동작은,
상기 제2 환경 객체의 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작; 및
상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체. - 제167항에 있어서, 상기 관계는 상대적인 변위를 포함하는, 제스처 인식용 비-일시적인 매체.
- 제167항에 있어서, 상기 관계는 상대적인 배향을 포함하는, 제스처 인식용 비-일시적인 매체.
- 제165항에 있어서, 상기 센서는 깊이 카메라를 포함하는, 제스처 인식용 비-일시적인 매체.
- 제170항에 있어서, 상기 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작은, 상기 제2 환경 객체와 연관하여 깊이 맵을 생성하는 동작을 포함하는, 제스처 인식용 비-일시적인 매체.
- 제171항에 있어서, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 적어도 하나의 보충 깊이 맵과 결합하는 것에 의해 연장된 깊이 맵을 생성하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체.
- 제172항에 있어서, 상기 제2 환경 객체의 공간 좌표와 상기 제1 환경 객체의 상기 공간 좌표 사이의 관계를 결정하는 동작은, 상기 제2 환경 객체와 연관된 상기 깊이 맵을 제1 환경 객체의 깊이 맵과 비교하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체.
- 제165항에 있어서, 상기 제1 환경 객체는 프레임인, 제스처 인식용 비-일시적인 매체.
- 제165항에 있어서, 상기 제1 환경 객체는 표면인, 제스처 인식용 비-일시적인 매체.
- 제175항에 있어서, 상기 표면은 테이블 표면인, 제스처 인식용 비-일시적인 매체.
- 제176항에 있어서, 상기 표면은 벽인, 제스처 인식용 비-일시적인 매체.
- 제177항에 있어서, 상기 표면은 디스플레이 스크린인, 제스처 인식용 비-일시적인 매체.
- 제177항에 있어서, 상기 제2 환경 객체는 사용자의 신체 부분인, 제스처 인식용 비-일시적인 매체.
- 제179항에 있어서, 상기 사용자의 신체 부분은 사용자의 손바닥과 엄지 손가락이고, 적어도 하나의 제2 환경 객체의 공간 좌표를 식별하는 동작은 상기 사용자의 손바닥과 엄지 손가락의 적어도 하나의 상대적인 위치를 식별하는 동작을 포함하는, 제스처 인식용 비-일시적인 매체.
- 제164항에 있어서, 환경에서 제1 환경 객체를 추적하는 동작은, 상기 제1 환경 객체와 연관된 적어도 하나의 포인트 클라우드를 생성하는 동작을 더 포함하는, 제스처 인식용 비-일시적인 매체.
- 제181항에 있어서, 상기 제1 환경 객체와 연관된 상기 적어도 하나의 포인트 클라우드를 적어도 하나의 보충 포인트 클라우드와 결합하는 것에 의해 연장된 포인트 클라우드를 생성하는 동작을 더 포함하는 매체.
- 사용자 인터페이스 관리 매체로서,
상기 매체에 연결된 프로세서에 의해 발행가능한 프로그램 명령을 포함하되, 상기 프로그램 명령은 상기 프로세서로 하여금
적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 복수의 아이콘을 제공하는 동작으로서, 상기 복수의 아이콘은 적어도 하나의 제스처 추적 센서를 통해 선택하도록 구성된, 상기 제공하는 동작;
상기 적어도 하나의 제스처 추적 센서를 통해 사용자 제스처 데이터를 수신하는 동작으로서, 상기 사용자 제스처 데이터는 상기 복수의 아이콘의 선택된 아이콘의 선택을 나타내는, 상기 수신하는 동작;
상기 선택된 아이콘의 선택에 기초하여 아이콘의 계층에 액세스하는 동작; 및
상기 선택된 아이콘에 기초하여 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작을 수행하는, 사용자 인터페이스 관리 매체. - 제183항에 있어서, 디스플레이하기 위한 상기 복수의 아이콘을 제공하는 동작은, 상기 적어도 하나의 제스처 추적 센서가 아이콘 호출 제스처를 센싱할 때에만 일어나는, 사용자 인터페이스 관리 매체.
- 제183항에 있어서, 상기 아이콘 호출 제스처는 적어도 임계값 시간 기간 동안 개방 손을 제시하는 동작을 포함하는, 사용자 인터페이스 관리 매체.
- 제185항에 있어서, 상기 복수의 아이콘은 적어도 하나의 사이클 버블 애니메이션을 사용하여 제시된, 사용자 인터페이스 관리 매체.
- 제183항에 있어서, 상기 아이콘은 버블 아이콘인, 사용자 인터페이스 관리 매체.
- 제187항에 있어서, 상기 사용자 제스처 데이터는 상대적인 손 모션이 떠 있는(hover-over) 미리-선택을 포함하는, 사용자 인터페이스 관리 매체.
- 제187항에 있어서, 상기 사용자 제스처 데이터는 압착 이동 병진이동을 포함하는, 사용자 인터페이스 관리 매체.
- 제187항에 있어서, 상기 사용자 제스처 데이터는 압착 팝핑 선택을 포함하는, 사용자 인터페이스 관리 매체.
- 제187항에 있어서, 상기 복수의 아이콘 중 적어도 하나는 애플리케이션 로고를 포함하는, 사용자 인터페이스 관리 매체.
- 제187항에 있어서, 상기 적어도 하나의 헤드-장착된 출력 디스플레이를 통해 디스플레이하기 위한 상기 아이콘의 계층의 일부를 제공하는 동작은,
상기 사용자 제스처 데이터에 응답하여 상기 선택된 아이콘의 적어도 하나의 애니메이션을 디스플레이하는 동작을 포함하는, 사용자 인터페이스 관리 매체. - 제192항에 있어서, 상기 적어도 하나의 애니메이션은 안쪽/롤로덱스 사이클을 포함하는, 사용자 인터페이스 관리 매체.
- 제183항에 있어서, 상기 아이콘의 계층은 폴더 레벨과 애플리케이션/파일 레벨을 포함하는, 사용자 인터페이스 관리 매체.
- 제183항에 있어서, 상기 아이콘의 계층은 설정 레벨을 포함하는, 사용자 인터페이스 관리 매체.
- 제195항에 있어서, 상기 아이콘의 계층은 적어도 하나의 디스플레이 파라미터와 연관된 설정 서브레벨을 더 포함하는, 사용자 인터페이스 관리 매체.
- 제196항에 있어서, 상기 적어도 하나의 디스플레이 파라미터는 연속적인 디스플레이 파라미터를 포함하고,
상기 적어도 하나의 제스처 추적 센서를 통해 상기 적어도 하나의 디스플레이 파라미터와 연관된 상기 적어도 하나의 설정 서브레벨 아이콘의 선택을 수신하는 동작;
상기 설정 서브레벨 아이콘과 적어도 하나의 사용자의 신체 부분의 상대적인 공간 위치를 결정하는 동작;
상기 설정 서브레벨 아이콘으로부터 상기 사용자의 신체 부분으로 신장하는 라인을 포함하는 인터페이스 요소를 상기 출력 디스플레이를 통해 제공하는 동작; 및
상기 상대적인 공간 위치에 기초하여 상기 라인의 길이와 상기 적어도 하나의 디스플레이 파라미터를 조절하는 동작을 더 포함하는, 사용자 인터페이스 관리 매체. - 제115항에 있어서, 상기 아이콘은 아바코그래프(abakograph)인, 방법.
- 제115항에 있어서, 상기 아이콘은 아바코그래프로부터 유도된, 방법.
- 제115항에 있어서, 상기 아이콘은 토포스컬프처(toposculpture)인, 방법.
- 제115항에 있어서, 상기 아이콘은 아바코그래픽 노출의 하나의 트레이스에 각각 대응하는, 방법.
- 제115항에 있어서, 상기 아이콘은 각각 아바코그래프에서의 비드인, 방법.
- 제202항에 있어서, 상기 아이콘은, 선택될 때, 상기 아바코그래프를 따라 이동가능하게 렌더링되는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361748468P | 2013-01-03 | 2013-01-03 | |
| US61/748,468 | 2013-01-03 | ||
| US201361916773P | 2013-12-16 | 2013-12-16 | |
| US61/916,773 | 2013-12-16 | ||
| PCT/IB2014/058042 WO2014106823A2 (en) | 2013-01-03 | 2014-01-03 | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150103723A true KR20150103723A (ko) | 2015-09-11 |
Family
ID=51016608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157021052A KR20150103723A (ko) | 2013-01-03 | 2014-01-03 | 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 |
Country Status (8)
| Country | Link |
|---|---|
| US (8) | US9720505B2 (ko) |
| EP (1) | EP2951811A4 (ko) |
| JP (2) | JP2016509292A (ko) |
| KR (1) | KR20150103723A (ko) |
| CN (1) | CN105027190B (ko) |
| AU (1) | AU2014204252B2 (ko) |
| CA (1) | CA2896985A1 (ko) |
| WO (1) | WO2014106823A2 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210228A1 (en) * | 2016-05-28 | 2017-12-07 | Acoustic Knowledge, LLC | Digital camera with audio, visual and motion analysis |
| KR20190020758A (ko) * | 2016-06-20 | 2019-03-04 | 가부시키가이샤 사이게임스 | 복합 현실 환경을 작성하기 위한 시스템 등 |
| KR20190089957A (ko) * | 2016-12-22 | 2019-07-31 | 가부시키가이샤 사이게임스 | 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법 |
| KR102073010B1 (ko) * | 2018-08-01 | 2020-02-04 | 주식회사 포멀웍스 | 모바일 단말과 증강현실 디스플레이 장치의 페어링 방법 및 시스템, 및 다수의 증강현실 디스플레이 장치간의 좌표계 동기화 방법 및 시스템 |
| KR20200076924A (ko) * | 2018-12-20 | 2020-06-30 | 서강대학교산학협력단 | Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 |
Families Citing this family (511)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| US9733091B2 (en) * | 2007-05-31 | 2017-08-15 | Trx Systems, Inc. | Collaborative creation of indoor maps |
| US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
| US9352411B2 (en) | 2008-05-28 | 2016-05-31 | Illinois Tool Works Inc. | Welding training system |
| US9280913B2 (en) * | 2009-07-10 | 2016-03-08 | Lincoln Global, Inc. | Systems and methods providing enhanced education and training in a virtual reality environment |
| US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US11064910B2 (en) | 2010-12-08 | 2021-07-20 | Activbody, Inc. | Physical activity monitoring system |
| US8670023B2 (en) * | 2011-01-17 | 2014-03-11 | Mediatek Inc. | Apparatuses and methods for providing a 3D man-machine interface (MMI) |
| JP5785753B2 (ja) * | 2011-03-25 | 2015-09-30 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| US8869073B2 (en) * | 2011-07-28 | 2014-10-21 | Hewlett-Packard Development Company, L.P. | Hand pose interaction |
| US9101994B2 (en) | 2011-08-10 | 2015-08-11 | Illinois Tool Works Inc. | System and device for welding training |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9573215B2 (en) | 2012-02-10 | 2017-02-21 | Illinois Tool Works Inc. | Sound-based weld travel speed sensing system and method |
| US10102345B2 (en) | 2012-06-19 | 2018-10-16 | Activbody, Inc. | Personal wellness management platform |
| US9230064B2 (en) | 2012-06-19 | 2016-01-05 | EZ as a Drink Productions, Inc. | Personal wellness device |
| US10133849B2 (en) | 2012-06-19 | 2018-11-20 | Activbody, Inc. | Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform |
| WO2014009561A2 (en) | 2012-07-13 | 2014-01-16 | Softkinetic Software | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand |
| US9530232B2 (en) * | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
| US9710069B2 (en) | 2012-10-30 | 2017-07-18 | Apple Inc. | Flexible printed circuit having flex tails upon which keyboard keycaps are coupled |
| US9502193B2 (en) | 2012-10-30 | 2016-11-22 | Apple Inc. | Low-travel key mechanisms using butterfly hinges |
| US9368045B2 (en) | 2012-11-09 | 2016-06-14 | Illinois Tool Works Inc. | System and device for welding training |
| US9583014B2 (en) | 2012-11-09 | 2017-02-28 | Illinois Tool Works Inc. | System and device for welding training |
| WO2014106823A2 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
| EP2954384B1 (en) * | 2013-02-06 | 2023-08-02 | Apple Inc. | Input/output device with a dynamically adjustable appearance and function |
| US20140375684A1 (en) * | 2013-02-17 | 2014-12-25 | Cherif Atia Algreatly | Augmented Reality Technology |
| WO2014129683A1 (ko) * | 2013-02-21 | 2014-08-28 | 엘지전자 주식회사 | 원격 포인팅 방법 |
| US9626489B2 (en) * | 2013-03-13 | 2017-04-18 | Intertrust Technologies Corporation | Object rendering systems and methods |
| US9672757B2 (en) | 2013-03-15 | 2017-06-06 | Illinois Tool Works Inc. | Multi-mode software and method for a welding training system |
| US9666100B2 (en) | 2013-03-15 | 2017-05-30 | Illinois Tool Works Inc. | Calibration devices for a welding training system |
| US9728103B2 (en) * | 2013-03-15 | 2017-08-08 | Illinois Tool Works Inc. | Data storage and analysis for a welding training system |
| US9713852B2 (en) | 2013-03-15 | 2017-07-25 | Illinois Tool Works Inc. | Welding training systems and devices |
| US9583023B2 (en) | 2013-03-15 | 2017-02-28 | Illinois Tool Works Inc. | Welding torch for a welding training system |
| JP6110704B2 (ja) * | 2013-03-29 | 2017-04-05 | 任天堂株式会社 | プログラム、情報処理装置、情報処理方法及び情報処理システム |
| USD852828S1 (en) * | 2013-04-05 | 2019-07-02 | Thales Avionics, Inc. | Display screen or portion thereof with graphical user interface |
| US9188426B2 (en) * | 2013-04-23 | 2015-11-17 | Bradley Allen Safranski | Non-contact visual measurement device |
| US9229476B2 (en) | 2013-05-08 | 2016-01-05 | EZ as a Drink Productions, Inc. | Personal handheld electronic device with a touchscreen on a peripheral surface |
| JP6103543B2 (ja) | 2013-05-27 | 2017-03-29 | アップル インコーポレイテッド | 短行程スイッチアッセンブリ |
| US9377294B2 (en) * | 2013-06-18 | 2016-06-28 | Xerox Corporation | Handheld cellular apparatus for volume estimation |
| US11090753B2 (en) | 2013-06-21 | 2021-08-17 | Illinois Tool Works Inc. | System and method for determining weld travel speed |
| US9262064B2 (en) * | 2013-07-09 | 2016-02-16 | EZ as a Drink Productions, Inc. | Handheld computing platform with integrated pressure sensor and associated methods of use |
| US9908310B2 (en) | 2013-07-10 | 2018-03-06 | Apple Inc. | Electronic device with a reduced friction surface |
| US9405398B2 (en) * | 2013-09-03 | 2016-08-02 | FTL Labs Corporation | Touch sensitive computing surface for interacting with physical surface devices |
| KR102165818B1 (ko) | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
| US20150072323A1 (en) * | 2013-09-11 | 2015-03-12 | Lincoln Global, Inc. | Learning management system for a real-time simulated virtual reality welding training environment |
| WO2015047606A1 (en) | 2013-09-30 | 2015-04-02 | Apple Inc. | Keycaps having reduced thickness |
| KR101787301B1 (ko) | 2013-09-30 | 2017-10-18 | 애플 인크. | 감소된 두께를 가지는 키 캡 |
| US10116914B2 (en) * | 2013-10-31 | 2018-10-30 | 3Di Llc | Stereoscopic display |
| US9883173B2 (en) * | 2013-12-25 | 2018-01-30 | 3Di Llc | Stereoscopic display |
| US10652525B2 (en) | 2013-10-31 | 2020-05-12 | 3Di Llc | Quad view display system |
| US9639773B2 (en) * | 2013-11-26 | 2017-05-02 | Disney Enterprises, Inc. | Predicting a light probe for an outdoor image |
| US10056010B2 (en) | 2013-12-03 | 2018-08-21 | Illinois Tool Works Inc. | Systems and methods for a weld training system |
| WO2015095507A1 (en) * | 2013-12-18 | 2015-06-25 | Joseph Schuman | Location-based system for sharing augmented reality content |
| US9304674B1 (en) * | 2013-12-18 | 2016-04-05 | Amazon Technologies, Inc. | Depth-based display navigation |
| US10170019B2 (en) | 2014-01-07 | 2019-01-01 | Illinois Tool Works Inc. | Feedback from a welding torch of a welding system |
| US9589481B2 (en) | 2014-01-07 | 2017-03-07 | Illinois Tool Works Inc. | Welding software for detection and control of devices and for analysis of data |
| US9757819B2 (en) | 2014-01-07 | 2017-09-12 | Illinois Tool Works Inc. | Calibration tool and method for a welding system |
| US10105782B2 (en) | 2014-01-07 | 2018-10-23 | Illinois Tool Works Inc. | Feedback from a welding torch of a welding system |
| US9724788B2 (en) | 2014-01-07 | 2017-08-08 | Illinois Tool Works Inc. | Electrical assemblies for a welding system |
| EP2891950B1 (en) * | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
| US9751149B2 (en) | 2014-01-07 | 2017-09-05 | Illinois Tool Works Inc. | Welding stand for a welding system |
| US9704132B2 (en) * | 2014-01-11 | 2017-07-11 | Federico Fraccaroli | Method, system and apparatus for adapting the functionalities of a connected object associated with a user ID |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| KR101550580B1 (ko) * | 2014-01-17 | 2015-09-08 | 한국과학기술연구원 | 사용자 인터페이스 장치 및 그것의 제어 방법 |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US20160018651A1 (en) | 2014-01-24 | 2016-01-21 | Osterhout Group, Inc. | See-through computer display systems |
| US9793066B1 (en) | 2014-01-31 | 2017-10-17 | Apple Inc. | Keyboard hinge mechanism |
| KR20150091724A (ko) * | 2014-02-03 | 2015-08-12 | 한국전자통신연구원 | 착용형 안경장치 |
| US10627904B2 (en) * | 2014-02-07 | 2020-04-21 | Ultrahaptics IP Two Limited | Systems and methods of determining interaction intent in three-dimensional (3D) sensory space |
| JP6264087B2 (ja) * | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
| EP3119321A4 (en) * | 2014-03-17 | 2017-12-06 | Intuitive Surgical Operations, Inc. | Surgical system including a non-white light general illuminator |
| US9779889B2 (en) | 2014-03-24 | 2017-10-03 | Apple Inc. | Scissor mechanism features for a keyboard |
| US10022622B2 (en) | 2014-04-21 | 2018-07-17 | Steelseries Aps | Programmable actuation inputs of an accessory and methods thereof |
| US10675532B2 (en) | 2014-04-21 | 2020-06-09 | Steelseries Aps | Variable actuators of an accessory and methods thereof |
| US10124246B2 (en) | 2014-04-21 | 2018-11-13 | Activbody, Inc. | Pressure sensitive peripheral devices, and associated methods of use |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
| KR102173110B1 (ko) * | 2014-05-07 | 2020-11-02 | 삼성전자주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
| US20150334785A1 (en) * | 2014-05-15 | 2015-11-19 | Cooktek Induction Systems, Llc | Menu-based cooking appliance |
| US9557955B2 (en) * | 2014-05-21 | 2017-01-31 | International Business Machines Corporation | Sharing of target objects |
| US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US10085584B2 (en) * | 2014-06-09 | 2018-10-02 | Whirlpool Corporation | Method of regulating temperature for sous vide cooking and apparatus therefor |
| US10852838B2 (en) * | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10307853B2 (en) | 2014-06-27 | 2019-06-04 | Illinois Tool Works Inc. | System and method for managing welding data |
| US9937578B2 (en) | 2014-06-27 | 2018-04-10 | Illinois Tool Works Inc. | System and method for remote welding training |
| US9862049B2 (en) | 2014-06-27 | 2018-01-09 | Illinois Tool Works Inc. | System and method of welding system operator identification |
| US10665128B2 (en) | 2014-06-27 | 2020-05-26 | Illinois Tool Works Inc. | System and method of monitoring welding information |
| CN104121892B (zh) * | 2014-07-09 | 2017-01-25 | 深圳市欢创科技有限公司 | 一种获取光枪射击的目标位置的方法、装置及系统 |
| EP2977789A1 (en) * | 2014-07-25 | 2016-01-27 | Nxp B.V. | Distance measurement |
| US9921660B2 (en) | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
| US9724787B2 (en) | 2014-08-07 | 2017-08-08 | Illinois Tool Works Inc. | System and method of monitoring a welding environment |
| US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
| US11014183B2 (en) | 2014-08-07 | 2021-05-25 | Illinois Tool Works Inc. | System and method of marking a welding workpiece |
| US10268321B2 (en) | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
| US10796863B2 (en) | 2014-08-15 | 2020-10-06 | Apple Inc. | Fabric keyboard |
| US9588625B2 (en) | 2014-08-15 | 2017-03-07 | Google Inc. | Interactive textiles |
| US9875665B2 (en) | 2014-08-18 | 2018-01-23 | Illinois Tool Works Inc. | Weld training system and method |
| US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
| US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
| US10082880B1 (en) | 2014-08-28 | 2018-09-25 | Apple Inc. | System level features of a keyboard |
| CN104190078B (zh) * | 2014-08-28 | 2017-05-31 | 深圳市欢创科技有限公司 | 一种光枪射击的目标识别方法、装置及系统 |
| US10228766B2 (en) * | 2014-09-12 | 2019-03-12 | Microsoft Technology Licensing, Llc | Enhanced Display Rotation |
| US10201868B2 (en) * | 2014-09-30 | 2019-02-12 | Illinois Tool Works Inc. | Systems and methods for gesture control of a welding system |
| US10987762B2 (en) * | 2014-09-30 | 2021-04-27 | Illinois Tool Works Inc. | Armband based systems and methods for controlling welding equipment using gestures and like motions |
| US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
| US9870880B2 (en) | 2014-09-30 | 2018-01-16 | Apple Inc. | Dome switch and switch housing for keyboard assembly |
| US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
| USD780768S1 (en) * | 2014-10-06 | 2017-03-07 | National Comprehensive Cancer Network | Display screen or portion thereof with icon |
| USD770469S1 (en) * | 2014-10-06 | 2016-11-01 | National Comprehensive Cancer Network | Display screen or portion thereof with icon |
| USD772889S1 (en) | 2014-10-06 | 2016-11-29 | National Comprehensive Cancer Network | Display screen or portion thereof with graphical user interface for clinical practice guidelines |
| USD770468S1 (en) | 2014-10-06 | 2016-11-01 | National Comprehensive Cancer Network | Display screen or portion thereof with graphical user interface for clinical practice guidelines |
| US20160103855A1 (en) * | 2014-10-08 | 2016-04-14 | Lenovo (Singapore) Pte, Ltd. | Collaborative item database |
| US10239147B2 (en) | 2014-10-16 | 2019-03-26 | Illinois Tool Works Inc. | Sensor-based power controls for a welding system |
| US11247289B2 (en) * | 2014-10-16 | 2022-02-15 | Illinois Tool Works Inc. | Remote power supply parameter adjustment |
| DE102014115363A1 (de) * | 2014-10-22 | 2016-04-28 | Bitsea Gmbh | Virtuelles Zeichen in realer Umgebung |
| US10210773B2 (en) | 2014-11-05 | 2019-02-19 | Illinois Tool Works Inc. | System and method for welding torch display |
| US10417934B2 (en) | 2014-11-05 | 2019-09-17 | Illinois Tool Works Inc. | System and method of reviewing weld data |
| KR101636460B1 (ko) * | 2014-11-05 | 2016-07-05 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US10373304B2 (en) | 2014-11-05 | 2019-08-06 | Illinois Tool Works Inc. | System and method of arranging welding device markers |
| US10490098B2 (en) | 2014-11-05 | 2019-11-26 | Illinois Tool Works Inc. | System and method of recording multi-run data |
| US10402959B2 (en) | 2014-11-05 | 2019-09-03 | Illinois Tool Works Inc. | System and method of active torch marker control |
| US10204406B2 (en) | 2014-11-05 | 2019-02-12 | Illinois Tool Works Inc. | System and method of controlling welding system camera exposure and marker illumination |
| CA3213021A1 (en) | 2014-11-11 | 2016-05-19 | Zerokey Inc. | A method of detecting user input in a 3d space and a 3d input system employing same |
| WO2016100933A1 (en) * | 2014-12-18 | 2016-06-23 | Oculus Vr, Llc | System, device and method for providing user interface for a virtual reality environment |
| WO2016099559A1 (en) | 2014-12-19 | 2016-06-23 | Hewlett-Packard Development Company, Lp | 3d navigation mode |
| CN104461009B (zh) * | 2014-12-22 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 物体的测量方法和智能设备 |
| KR101844883B1 (ko) | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
| AU2015375530B2 (en) * | 2015-01-09 | 2021-04-15 | Razer (Asia-Pacific) Pte. Ltd. | Gesture recognition devices and gesture recognition methods |
| US10039975B2 (en) | 2015-01-13 | 2018-08-07 | Disney Enterprises, Inc. | Techniques for representing imaginary participants in an immersive play environment |
| US10265621B2 (en) | 2015-01-20 | 2019-04-23 | Disney Enterprises, Inc. | Tracking specific gestures relative to user movement |
| US9855497B2 (en) | 2015-01-20 | 2018-01-02 | Disney Enterprises, Inc. | Techniques for providing non-verbal speech recognition in an immersive playtime environment |
| US10773329B2 (en) | 2015-01-20 | 2020-09-15 | Illinois Tool Works Inc. | Multiple input welding vision system |
| US9858718B2 (en) * | 2015-01-27 | 2018-01-02 | Microsoft Technology Licensing, Llc | Dynamically adaptable virtual lists |
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10406638B2 (en) | 2015-02-27 | 2019-09-10 | Illinois Tool Works Inc. | Augmented vision system with active welder guidance |
| US9911232B2 (en) * | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
| CN107912061B (zh) * | 2015-03-06 | 2021-06-01 | 伊利诺斯工具制品有限公司 | 用于焊接的传感器辅助头戴式显示器 |
| US10194799B2 (en) * | 2015-03-09 | 2019-02-05 | Sanovas Intellectual Property, Llc | Robotic ophthalmology |
| US10380911B2 (en) | 2015-03-09 | 2019-08-13 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
| US10016162B1 (en) | 2015-03-23 | 2018-07-10 | Google Llc | In-ear health monitoring |
| US9983747B2 (en) | 2015-03-26 | 2018-05-29 | Google Llc | Two-layer interactive textiles |
| US9977242B2 (en) | 2015-03-26 | 2018-05-22 | Illinois Tool Works Inc. | Control of mediated reality welding system based on lighting conditions |
| US10116519B2 (en) * | 2015-03-27 | 2018-10-30 | Yodiwo Ab | Programmable distributed management system of interconnected things and applications |
| US10427239B2 (en) | 2015-04-02 | 2019-10-01 | Illinois Tool Works Inc. | Systems and methods for tracking weld training arc parameters |
| US20160299565A1 (en) * | 2015-04-07 | 2016-10-13 | Siemens Aktiengesellschaft | Eye tracking for registration of a haptic device with a holograph |
| US10306217B2 (en) * | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
| JP6550885B2 (ja) | 2015-04-21 | 2019-07-31 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| US10139916B2 (en) | 2015-04-30 | 2018-11-27 | Google Llc | Wide-field radar-based gesture recognition |
| CN107466389B (zh) | 2015-04-30 | 2021-02-12 | 谷歌有限责任公司 | 用于确定类型不可知的rf信号表示的方法和装置 |
| JP6427279B2 (ja) | 2015-04-30 | 2018-11-21 | グーグル エルエルシー | ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡 |
| JP6637070B2 (ja) | 2015-05-13 | 2020-01-29 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 電子デバイス用のキーボード |
| WO2016183498A1 (en) | 2015-05-13 | 2016-11-17 | Apple Inc. | Low-travel key mechanism for an input device |
| EP3295466B1 (en) | 2015-05-13 | 2023-11-29 | Apple Inc. | Keyboard assemblies having reduced thicknesses and method of forming keyboard assemblies |
| CN206134573U (zh) | 2015-05-13 | 2017-04-26 | 苹果公司 | 键、用于键盘的键和用于电子装置的输入结构 |
| CN108139234B (zh) | 2015-05-19 | 2021-02-05 | 奇跃公司 | 双复合光场装置 |
| US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
| US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
| US9934915B2 (en) | 2015-06-10 | 2018-04-03 | Apple Inc. | Reduced layer keyboard stack-up |
| US20160371884A1 (en) * | 2015-06-17 | 2016-12-22 | Microsoft Technology Licensing, Llc | Complementary augmented reality |
| US10363632B2 (en) | 2015-06-24 | 2019-07-30 | Illinois Tool Works Inc. | Time of flight camera for welding machine vision |
| JP2017010387A (ja) * | 2015-06-24 | 2017-01-12 | キヤノン株式会社 | システム、複合現実表示装置、情報処理方法及びプログラム |
| US10708571B2 (en) | 2015-06-29 | 2020-07-07 | Microsoft Technology Licensing, Llc | Video frame processing |
| US9887537B2 (en) | 2015-06-30 | 2018-02-06 | Microsoft Technology Licensing, Llc | Analog limit on digitally set pulse widths |
| US11003246B2 (en) * | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| EP3734661A3 (en) | 2015-07-23 | 2021-03-03 | Artilux Inc. | High efficiency wide spectrum sensor |
| US10707260B2 (en) | 2015-08-04 | 2020-07-07 | Artilux, Inc. | Circuit for operating a multi-gate VIS/IR photodiode |
| US10761599B2 (en) | 2015-08-04 | 2020-09-01 | Artilux, Inc. | Eye gesture tracking |
| TWI744196B (zh) | 2015-08-04 | 2021-10-21 | 光程研創股份有限公司 | 製造影像感測陣列之方法 |
| US10861888B2 (en) | 2015-08-04 | 2020-12-08 | Artilux, Inc. | Silicon germanium imager with photodiode in trench |
| EP3332314B1 (en) * | 2015-08-04 | 2024-04-10 | Google LLC | Input via context sensitive collisions of hands with objects in virtual reality |
| US10438505B2 (en) | 2015-08-12 | 2019-10-08 | Illinois Tool Works | Welding training system interface |
| US10657839B2 (en) | 2015-08-12 | 2020-05-19 | Illinois Tool Works Inc. | Stick welding electrode holders with real-time feedback features |
| US10373517B2 (en) | 2015-08-12 | 2019-08-06 | Illinois Tool Works Inc. | Simulation stick welding electrode holder systems and methods |
| US10593230B2 (en) | 2015-08-12 | 2020-03-17 | Illinois Tool Works Inc. | Stick welding electrode holder systems and methods |
| CN109409251B (zh) * | 2015-08-18 | 2023-05-16 | 奇跃公司 | 虚拟和增强现实系统和方法 |
| US9972215B2 (en) * | 2015-08-18 | 2018-05-15 | Lincoln Global, Inc. | Augmented reality interface for weld sequencing |
| EP3341970B1 (en) | 2015-08-27 | 2020-10-07 | Artilux Inc. | Wide spectrum optical sensor |
| CN106484213B (zh) * | 2015-08-31 | 2019-11-01 | 深圳富泰宏精密工业有限公司 | 应用程序图标操作系统与方法 |
| CN105159539B (zh) * | 2015-09-10 | 2018-06-01 | 京东方科技集团股份有限公司 | 可穿戴设备的触控响应方法、装置及可穿戴设备 |
| US10209851B2 (en) * | 2015-09-18 | 2019-02-19 | Google Llc | Management of inactive windows |
| US10282623B1 (en) * | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
| US9971084B2 (en) | 2015-09-28 | 2018-05-15 | Apple Inc. | Illumination structure for uniform illumination of keys |
| US10025375B2 (en) | 2015-10-01 | 2018-07-17 | Disney Enterprises, Inc. | Augmented reality controls for user interactions with a virtual world |
| US10368059B2 (en) * | 2015-10-02 | 2019-07-30 | Atheer, Inc. | Method and apparatus for individualized three dimensional display calibration |
| US10630965B2 (en) | 2015-10-02 | 2020-04-21 | Microsoft Technology Licensing, Llc | Calibrating a near-eye display |
| US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
| US10891106B2 (en) | 2015-10-13 | 2021-01-12 | Google Llc | Automatic batch voice commands |
| US11425866B2 (en) * | 2015-11-03 | 2022-08-30 | Keith Charles Burden | Automated pruning or harvesting system for complex morphology foliage |
| WO2017079484A1 (en) | 2015-11-04 | 2017-05-11 | Google Inc. | Connectors for connecting electronics embedded in garments to external devices |
| US10886309B2 (en) | 2015-11-06 | 2021-01-05 | Artilux, Inc. | High-speed light sensing apparatus II |
| US10254389B2 (en) | 2015-11-06 | 2019-04-09 | Artilux Corporation | High-speed light sensing apparatus |
| DE102015119065A1 (de) * | 2015-11-06 | 2017-05-11 | Spherie Ug | Flügelloses Fluggerät |
| US10741598B2 (en) | 2015-11-06 | 2020-08-11 | Atrilux, Inc. | High-speed light sensing apparatus II |
| US10418407B2 (en) | 2015-11-06 | 2019-09-17 | Artilux, Inc. | High-speed light sensing apparatus III |
| US10739443B2 (en) | 2015-11-06 | 2020-08-11 | Artilux, Inc. | High-speed light sensing apparatus II |
| US20170131775A1 (en) * | 2015-11-10 | 2017-05-11 | Castar, Inc. | System and method of haptic feedback by referral of sensation |
| CN105653022B (zh) * | 2015-11-13 | 2018-09-21 | 苏州市职业大学 | 基于rfid运动流形分析的人机交互投影装置及其算法 |
| US10768772B2 (en) * | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
| US10043075B2 (en) * | 2015-11-19 | 2018-08-07 | Microsoft Technology Licensing, Llc | Eye feature identification |
| CN105487660A (zh) * | 2015-11-25 | 2016-04-13 | 北京理工大学 | 基于虚拟现实技术的沉浸式舞台表演交互方法及系统 |
| CN105320820A (zh) * | 2015-12-02 | 2016-02-10 | 上海航空电器有限公司 | 基于沉浸式虚拟现实平台的快速座舱设计系统及方法 |
| JP2017111724A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | 配管用ヘッドマウントディスプレイ |
| US10289206B2 (en) * | 2015-12-18 | 2019-05-14 | Intel Corporation | Free-form drawing and health applications |
| CN105652442A (zh) * | 2015-12-31 | 2016-06-08 | 北京小鸟看看科技有限公司 | 头戴显示设备及该头戴显示设备与智能终端的交互方法 |
| US10043305B2 (en) | 2016-01-06 | 2018-08-07 | Meta Company | Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component |
| US9952429B2 (en) * | 2016-01-07 | 2018-04-24 | International Business Machines Corporation | Plurality of wearable devices sharing partially obstructing view at different angles to overcome visual obstructions |
| WO2017122299A1 (ja) * | 2016-01-13 | 2017-07-20 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
| US10438609B2 (en) * | 2016-01-14 | 2019-10-08 | George Brandon Foshee | System and device for audio translation to tactile response |
| US10114465B2 (en) * | 2016-01-15 | 2018-10-30 | Google Llc | Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same |
| US10466778B2 (en) | 2016-01-19 | 2019-11-05 | Magic Leap, Inc. | Eye image selection |
| JP6873599B2 (ja) * | 2016-01-20 | 2021-05-19 | キヤノン株式会社 | 画像表示装置、画像表示システム及び画像表示方法 |
| DE102016200956A1 (de) * | 2016-01-25 | 2017-07-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Visualisieren einer Software |
| US10665020B2 (en) | 2016-02-15 | 2020-05-26 | Meta View, Inc. | Apparatuses, methods and systems for tethering 3-D virtual elements to digital content |
| US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| US11663937B2 (en) | 2016-02-22 | 2023-05-30 | Real View Imaging Ltd. | Pupil tracking in an image display system |
| US10795316B2 (en) | 2016-02-22 | 2020-10-06 | Real View Imaging Ltd. | Wide field of view hybrid holographic display |
| WO2017145158A1 (en) | 2016-02-22 | 2017-08-31 | Real View Imaging Ltd. | Zero order blocking and diverging for holographic imaging |
| US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
| US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
| US9773324B1 (en) | 2016-03-23 | 2017-09-26 | Disney Enterprises, Inc. | Systems and methods for identifying targets on a display |
| US10665019B2 (en) * | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
| US10373381B2 (en) * | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
| JP2017182495A (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN105912101B (zh) * | 2016-03-31 | 2020-08-25 | 联想(北京)有限公司 | 一种投影控制方法和电子设备 |
| US10118696B1 (en) | 2016-03-31 | 2018-11-06 | Steven M. Hoffberg | Steerable rotating projectile |
| CN105709369A (zh) * | 2016-04-06 | 2016-06-29 | 上海捍康健康管理有限公司 | 一种多功能智能跑步机 |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| US10380800B2 (en) * | 2016-04-18 | 2019-08-13 | Disney Enterprises, Inc. | System and method for linking and interacting between augmented reality and virtual reality environments |
| US10210661B2 (en) * | 2016-04-25 | 2019-02-19 | Microsoft Technology Licensing, Llc | Location-based holographic experience |
| CN105929958B (zh) * | 2016-04-26 | 2019-03-01 | 华为技术有限公司 | 一种手势识别方法，装置和头戴式可视设备 |
| CN105955614A (zh) * | 2016-04-29 | 2016-09-21 | 四川数字工匠科技有限公司 | 虚拟漫游操作系统 |
| WO2017192167A1 (en) | 2016-05-03 | 2017-11-09 | Google Llc | Connecting an electronic component to an interactive textile |
| GB2550124B (en) * | 2016-05-06 | 2021-11-17 | Nctech Ltd | Camera |
| US10248201B2 (en) * | 2016-05-06 | 2019-04-02 | The Board Of Trustees Of The Leland Stanford Junior University | Wolverine: a wearable haptic interface for grasping in virtual reality |
| CN107346906B (zh) * | 2016-05-06 | 2020-03-13 | 宏碁股份有限公司 | 无线系统、主动笔以及切换模式的方法 |
| US10285456B2 (en) | 2016-05-16 | 2019-05-14 | Google Llc | Interactive fabric |
| US10175781B2 (en) | 2016-05-16 | 2019-01-08 | Google Llc | Interactive object with multiple electronics modules |
| CN109154973B (zh) * | 2016-05-20 | 2021-10-26 | 奇跃公司 | 执行卷积图像变换估算的方法和系统 |
| US9971960B2 (en) * | 2016-05-26 | 2018-05-15 | Xesto Inc. | Method and system for providing gesture recognition services to user applications |
| CN106123916B (zh) * | 2016-06-13 | 2019-11-15 | 上海临奇智能科技有限公司 | 一种用于校准vr设备中惯性测量单元的方法与设备 |
| CN106095108B (zh) * | 2016-06-22 | 2019-02-05 | 华为技术有限公司 | 一种增强现实反馈方法及设备 |
| KR102529119B1 (ko) | 2016-06-27 | 2023-05-04 | 삼성전자주식회사 | 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 |
| US11146661B2 (en) | 2016-06-28 | 2021-10-12 | Rec Room Inc. | Systems and methods for detecting collaborative virtual gestures |
| US10591988B2 (en) * | 2016-06-28 | 2020-03-17 | Hiscene Information Technology Co., Ltd | Method for displaying user interface of head-mounted display device |
| US10096165B2 (en) * | 2016-06-30 | 2018-10-09 | Intel Corporation | Technologies for virtual camera scene generation using physical object sensing |
| US10042604B2 (en) | 2016-07-01 | 2018-08-07 | Metrik LLC | Multi-dimensional reference element for mixed reality environments |
| US11000188B2 (en) * | 2016-07-13 | 2021-05-11 | Naked Lab Austria Gmbh | Smart body analyzer with 3D body scanner and other vital parameter sensors |
| KR102574781B1 (ko) | 2016-07-15 | 2023-09-06 | 라이트 필드 랩 인코포레이티드 | 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재 |
| CN109478769A (zh) * | 2016-07-26 | 2019-03-15 | 三菱电机株式会社 | 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序 |
| US10353485B1 (en) | 2016-07-27 | 2019-07-16 | Apple Inc. | Multifunction input device with an embedded capacitive sensing layer |
| CN106249894A (zh) * | 2016-08-08 | 2016-12-21 | 南方科技大学 | 虚拟现实交互系统和方法 |
| US10115544B2 (en) | 2016-08-08 | 2018-10-30 | Apple Inc. | Singulated keyboard assemblies and methods for assembling a keyboard |
| CN106201222A (zh) * | 2016-08-09 | 2016-12-07 | 深圳市金立通信设备有限公司 | 一种虚拟现实界面的显示方法及终端 |
| JP6940223B2 (ja) * | 2016-08-18 | 2021-09-22 | ソニーグループ株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
| CN106205456B (zh) * | 2016-08-19 | 2020-03-06 | 惠州Tcl移动通信有限公司 | 一种减少vr显示时左右眼图像延迟的驱动装置及其方法 |
| US10755877B1 (en) | 2016-08-29 | 2020-08-25 | Apple Inc. | Keyboard for an electronic device |
| US11500538B2 (en) | 2016-09-13 | 2022-11-15 | Apple Inc. | Keyless keyboard with force sensing and haptic feedback |
| US10325407B2 (en) * | 2016-09-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | Attribute detection tools for mixed reality |
| CN107835288A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 应用智能终端实现的互动娱乐装置 |
| US10430042B2 (en) * | 2016-09-30 | 2019-10-01 | Sony Interactive Entertainment Inc. | Interaction context-based virtual reality |
| US10514769B2 (en) * | 2016-10-16 | 2019-12-24 | Dell Products, L.P. | Volumetric tracking for orthogonal displays in an electronic collaboration setting |
| TWI584156B (zh) * | 2016-10-25 | 2017-05-21 | 華碩電腦股份有限公司 | 操作系統、操作方法以及指示裝置 |
| US10424121B1 (en) * | 2016-11-06 | 2019-09-24 | Oded Melinek | Generated offering exposure |
| US20180126268A1 (en) * | 2016-11-09 | 2018-05-10 | Zynga Inc. | Interactions between one or more mobile devices and a vr/ar headset |
| US10775880B2 (en) * | 2016-11-30 | 2020-09-15 | Universal City Studios Llc | Animated character head systems and methods |
| US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
| US10055028B2 (en) * | 2016-12-05 | 2018-08-21 | Google Llc | End of session detection in an augmented and/or virtual reality environment |
| CA3045664A1 (en) | 2016-12-05 | 2018-06-14 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| CN106582012B (zh) * | 2016-12-07 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种vr场景下的攀爬操作处理方法和装置 |
| US10318130B2 (en) * | 2016-12-12 | 2019-06-11 | Google Llc | Controlling window using touch-sensitive edge |
| WO2018118657A1 (en) | 2016-12-21 | 2018-06-28 | Pcms Holdings, Inc. | Systems and methods for selecting spheres of relevance for presenting augmented reality information |
| US10088911B2 (en) | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
| US20180189014A1 (en) * | 2017-01-05 | 2018-07-05 | Honeywell International Inc. | Adaptive polyhedral display device |
| CN106839995B (zh) * | 2017-01-22 | 2019-11-05 | 南京景曜智能科技有限公司 | 一种物品三维尺寸检测装置及检测方法 |
| US10867181B2 (en) | 2017-02-20 | 2020-12-15 | Pcms Holdings, Inc. | Dynamically presenting augmented reality information for reducing peak cognitive demand |
| US10627910B2 (en) * | 2017-02-21 | 2020-04-21 | Adobe Inc. | Stroke operation prediction for three-dimensional digital content |
| JP6982743B2 (ja) * | 2017-02-24 | 2021-12-17 | パナソニックＩｐマネジメント株式会社 | 外部ロック装置 |
| US10769861B2 (en) * | 2017-03-02 | 2020-09-08 | Axonom Inc. | Dynamic connection routing in virtual product configurations |
| WO2018165223A1 (en) * | 2017-03-06 | 2018-09-13 | Nextvr Inc. | Methods and apparatus for packing images into a frame and/or including additional content or graphics |
| WO2018165038A1 (en) | 2017-03-06 | 2018-09-13 | Miso Robotics, Inc. | Augmented reality-enhanced food preparation system and related methods |
| US11252391B2 (en) | 2017-03-06 | 2022-02-15 | Nevermind Capital Llc | Methods and apparatus for packing images into a frame and/or including additional content or graphics |
| US11351673B2 (en) | 2017-03-06 | 2022-06-07 | Miso Robotics, Inc. | Robotic sled-enhanced food preparation system and related methods |
| US10567733B2 (en) | 2017-03-06 | 2020-02-18 | Nextvr Inc. | Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content |
| CN106940477A (zh) * | 2017-03-14 | 2017-07-11 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
| EP3603108A4 (en) | 2017-03-30 | 2021-04-14 | Magic Leap, Inc. | DOUBLE NON-BLOCKING DRIVER EARPHONES |
| US10977858B2 (en) | 2017-03-30 | 2021-04-13 | Magic Leap, Inc. | Centralized rendering |
| US20180288392A1 (en) * | 2017-04-01 | 2018-10-04 | Intel Corporation | Adjusting display content based on user distance detection |
| US10657682B2 (en) | 2017-04-12 | 2020-05-19 | Adobe Inc. | Drawing curves in space guided by 3-D objects |
| KR102627452B1 (ko) | 2017-04-14 | 2024-01-18 | 매직 립, 인코포레이티드 | 다중 모드 눈 추적 |
| US10481755B1 (en) * | 2017-04-28 | 2019-11-19 | Meta View, Inc. | Systems and methods to present virtual content in an interactive space |
| WO2018204419A1 (en) | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
| US10496157B2 (en) * | 2017-05-09 | 2019-12-03 | Microsoft Technology Licensing, Llc | Controlling handheld object light sources for tracking |
| US10542300B2 (en) * | 2017-05-31 | 2020-01-21 | Verizon Patent And Licensing Inc. | Methods and systems for customizing virtual reality data |
| US11079522B1 (en) | 2017-05-31 | 2021-08-03 | Magic Leap, Inc. | Fiducial design |
| WO2018236347A1 (en) | 2017-06-20 | 2018-12-27 | Hewlett-Packard Development Company, L.P. | DETERMINATIONS OF SENSOR POSITIONS |
| CA3066228A1 (en) * | 2017-06-28 | 2019-01-03 | Magic Leap, Inc. | Method and system for performing simultaneous localization and mapping using convolutional image transformation |
| CN107330198B (zh) * | 2017-07-03 | 2020-09-08 | 云南交通职业技术学院 | 深度知觉测试方法及系统 |
| US12013538B2 (en) | 2017-07-03 | 2024-06-18 | Holovisions LLC | Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements |
| US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
| US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
| CN117270637A (zh) | 2017-07-26 | 2023-12-22 | 苹果公司 | 具有键盘的计算机 |
| WO2019022849A1 (en) * | 2017-07-26 | 2019-01-31 | Magic Leap, Inc. | FORMATION OF A NEURONAL NETWORK WITH REPRESENTATIONS OF USER INTERFACE DEVICES |
| US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
| US10782793B2 (en) | 2017-08-10 | 2020-09-22 | Google Llc | Context-sensitive hand interaction |
| US10362296B2 (en) * | 2017-08-17 | 2019-07-23 | Microsoft Technology Licensing, Llc | Localized depth map generation |
| WO2019055703A2 (en) | 2017-09-13 | 2019-03-21 | Magical Technologies, Llc | VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT |
| US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
| WO2019067642A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | APPLICATION PRESENTATION BASED ON AN ENVIRONMENT |
| EP3698201A4 (en) | 2017-10-17 | 2020-12-09 | Magic Leap, Inc. | MIXED REALITY SPACE AUDIO |
| WO2019079826A1 (en) | 2017-10-22 | 2019-04-25 | Magical Technologies, Llc | DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY |
| CN109725418B (zh) * | 2017-10-30 | 2020-10-16 | 华为技术有限公司 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
| WO2019093156A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 表示処理装置および表示処理方法、並びにプログラム |
| US10782382B2 (en) * | 2017-11-15 | 2020-09-22 | Fortiss, Llc. | RFID antenna array for gaming |
| US11346914B2 (en) * | 2017-11-15 | 2022-05-31 | Fortiss, Llc. | RFID antenna array for gaming |
| US10424086B2 (en) * | 2017-11-16 | 2019-09-24 | Adobe Inc. | Oil painting stroke simulation using neural network |
| CN107967054B (zh) * | 2017-11-16 | 2020-11-27 | 中国人民解放军陆军装甲兵学院 | 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘 |
| CN107657841A (zh) * | 2017-11-16 | 2018-02-02 | 岭南师范学院 | 一种基于全息投影的cad教学装置及系统 |
| US10016137B1 (en) | 2017-11-22 | 2018-07-10 | Hi Llc | System and method for simultaneously detecting phase modulated optical signals |
| US10299682B1 (en) | 2017-11-22 | 2019-05-28 | Hi Llc | Pulsed ultrasound modulated optical tomography with increased optical/ultrasound pulse ratio |
| USD879831S1 (en) * | 2017-11-22 | 2020-03-31 | Lg Electronics Inc. | Display screen with graphical user interface |
| CN108052202B (zh) * | 2017-12-11 | 2021-06-11 | 深圳市星野信息技术有限公司 | 一种3d交互方法、装置、计算机设备及存储介质 |
| US10477355B1 (en) | 2017-12-13 | 2019-11-12 | Amazon Technologies, Inc. | System for locating users |
| JP7196179B2 (ja) * | 2017-12-22 | 2022-12-26 | マジック リープ， インコーポレイテッド | 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム |
| CN108073285B (zh) * | 2018-01-02 | 2021-05-18 | 联想(北京)有限公司 | 一种电子设备及控制方法 |
| CN108053444B (zh) * | 2018-01-02 | 2021-03-12 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
| US10739861B2 (en) * | 2018-01-10 | 2020-08-11 | Facebook Technologies, Llc | Long distance interaction with artificial reality objects using a near eye display interface |
| US20190212828A1 (en) * | 2018-01-10 | 2019-07-11 | Facebook Technologies, Llc | Object enhancement in artificial reality via a near eye display interface |
| US11398088B2 (en) | 2018-01-30 | 2022-07-26 | Magical Technologies, Llc | Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects |
| CN108446585B (zh) * | 2018-01-31 | 2020-10-30 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| USD888752S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
| USD888750S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
| USD889500S1 (en) * | 2018-02-09 | 2020-07-07 | Lg Electronics Inc. | Display screen with graphical user interface |
| USD888751S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
| US11477510B2 (en) | 2018-02-15 | 2022-10-18 | Magic Leap, Inc. | Mixed reality virtual reverberation |
| JP7313361B2 (ja) | 2018-02-15 | 2023-07-24 | マジック リープ， インコーポレイテッド | 複合現実楽器 |
| IL301445B2 (en) | 2018-02-15 | 2024-03-01 | Magic Leap Inc | Dual listening positions for mixed reality |
| WO2019165044A1 (en) | 2018-02-22 | 2019-08-29 | Magic Leap, Inc. | Object creation with physical manipulation |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| EP4213104A1 (en) | 2018-02-22 | 2023-07-19 | Magic Leap, Inc. | Browser for mixed reality systems |
| TWI788246B (zh) | 2018-02-23 | 2022-12-21 | 美商光程研創股份有限公司 | 光偵測裝置 |
| US11105928B2 (en) | 2018-02-23 | 2021-08-31 | Artilux, Inc. | Light-sensing apparatus and light-sensing method thereof |
| US10368752B1 (en) | 2018-03-08 | 2019-08-06 | Hi Llc | Devices and methods to convert conventional imagers into lock-in cameras |
| US11712637B1 (en) | 2018-03-23 | 2023-08-01 | Steven M. Hoffberg | Steerable disk or ball |
| JP7212062B2 (ja) | 2018-04-08 | 2023-01-24 | アーティラックス・インコーポレイテッド | 光検出装置 |
| CN108776606A (zh) * | 2018-04-08 | 2018-11-09 | 中兴通讯股份有限公司 | 一种终端控制方法和装置、及终端 |
| US11206985B2 (en) | 2018-04-13 | 2021-12-28 | Hi Llc | Non-invasive optical detection systems and methods in highly scattering medium |
| WO2019203952A1 (en) * | 2018-04-17 | 2019-10-24 | Pearson Education, Inc. | Systems and methods for applications of augmented reality |
| CN108563359B (zh) * | 2018-04-17 | 2021-05-25 | 中芯集成电路（宁波）有限公司 | 相控阵触控模组及触控设备 |
| CN108563334B (zh) * | 2018-04-23 | 2021-09-03 | 京东方科技集团股份有限公司 | 一种虚拟现实头戴式显示设备、系统及其定位定姿方法 |
| JP2021522552A (ja) | 2018-04-24 | 2021-08-30 | メンター アクイジション ワン， エルエルシー | 視覚補正および増加されたコンテンツ密度を有するシースルーコンピュータディスプレイシステム |
| US11857316B2 (en) | 2018-05-07 | 2024-01-02 | Hi Llc | Non-invasive optical detection system and method |
| TWI795562B (zh) | 2018-05-07 | 2023-03-11 | 美商光程研創股份有限公司 | 雪崩式之光電晶體 |
| CN108664124B (zh) * | 2018-05-08 | 2021-08-24 | 北京奇艺世纪科技有限公司 | 一种基于空间方位信息的控制方法及装置 |
| US10969877B2 (en) | 2018-05-08 | 2021-04-06 | Artilux, Inc. | Display apparatus |
| US10706584B1 (en) * | 2018-05-18 | 2020-07-07 | Facebook Technologies, Llc | Hand tracking using a passive camera system |
| US10497161B1 (en) | 2018-06-08 | 2019-12-03 | Curious Company, LLC | Information display by overlay on an object |
| US10667072B2 (en) | 2018-06-12 | 2020-05-26 | Magic Leap, Inc. | Efficient rendering of virtual soundfields |
| WO2019241760A1 (en) | 2018-06-14 | 2019-12-19 | Magic Leap, Inc. | Methods and systems for audio signal filtering |
| JP7478100B2 (ja) | 2018-06-14 | 2024-05-02 | マジック リープ， インコーポレイテッド | 反響利得正規化 |
| EP3808108A4 (en) | 2018-06-18 | 2022-04-13 | Magic Leap, Inc. | SPATIAL AUDIO FOR INTERACTIVE AUDIO ENVIRONMENTS |
| CN112513983A (zh) | 2018-06-21 | 2021-03-16 | 奇跃公司 | 可穿戴系统语音处理 |
| US11087538B2 (en) | 2018-06-26 | 2021-08-10 | Lenovo (Singapore) Pte. Ltd. | Presentation of augmented reality images at display locations that do not obstruct user's view |
| US10549186B2 (en) * | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
| US11077365B2 (en) * | 2018-06-27 | 2021-08-03 | Niantic, Inc. | Low latency datagram-responsive computer network protocol |
| CN110658518B (zh) * | 2018-06-29 | 2022-01-21 | 杭州海康威视数字技术股份有限公司 | 一种目标入侵检测方法及装置 |
| WO2020023419A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Application sharing |
| JP7420400B2 (ja) | 2018-07-25 | 2024-01-23 | ライト フィールド ラボ、インコーポレイテッド | ライトフィールドディスプレイシステムベースの遊園地のアトラクション |
| CN110827411B (zh) * | 2018-08-09 | 2023-07-18 | 北京微播视界科技有限公司 | 自适应环境的增强现实模型显示方法、装置、设备及存储介质 |
| US11192258B2 (en) | 2018-08-10 | 2021-12-07 | Miso Robotics, Inc. | Robotic kitchen assistant for frying including agitator assembly for shaking utensil |
| US11393170B2 (en) * | 2018-08-21 | 2022-07-19 | Lenovo (Singapore) Pte. Ltd. | Presentation of content based on attention center of user |
| US10818023B2 (en) * | 2018-08-24 | 2020-10-27 | Wisconsin Alumni Research Foundation | Systems, methods, and media for encoding structured light imaging patterns and estimating depths in a scene |
| CN109272563B (zh) * | 2018-08-28 | 2022-12-27 | 广州图语信息科技有限公司 | 基于确定性规则的结构光构建方法、装置及处理终端 |
| US10991139B2 (en) | 2018-08-30 | 2021-04-27 | Lenovo (Singapore) Pte. Ltd. | Presentation of graphical object(s) on display to avoid overlay on another item |
| US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
| KR102155378B1 (ko) * | 2018-09-19 | 2020-09-14 | 주식회사 브이터치 | 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| CN117572954A (zh) | 2018-09-25 | 2024-02-20 | 奇跃公司 | 用于增强现实的系统和方法 |
| US10970922B2 (en) * | 2018-09-28 | 2021-04-06 | Apple Inc. | Generating a 3D model of a fingertip for visual touch detection |
| JP2022504203A (ja) | 2018-10-05 | 2022-01-13 | マジック リープ， インコーポレイテッド | オーディオ空間化のための強調 |
| JP7194271B2 (ja) | 2018-10-05 | 2022-12-21 | マジック リープ， インコーポレイテッド | 近接場オーディオレンダリング |
| US11315325B2 (en) | 2018-10-09 | 2022-04-26 | Magic Leap, Inc. | Systems and methods for artificial intelligence-based virtual and augmented reality |
| JP2022505662A (ja) | 2018-10-24 | 2022-01-14 | マジック リープ， インコーポレイテッド | 非同期ａｓｉｃ |
| US11577401B2 (en) | 2018-11-07 | 2023-02-14 | Miso Robotics, Inc. | Modular robotic food preparation system and related methods |
| CN109448050B (zh) * | 2018-11-21 | 2022-04-29 | 深圳市创梦天地科技有限公司 | 一种目标点的位置的确定方法及终端 |
| US11055913B2 (en) | 2018-12-04 | 2021-07-06 | Curious Company, LLC | Directional instructions in an hybrid reality system |
| US11582441B2 (en) * | 2018-12-04 | 2023-02-14 | Maxell, Ltd. | Head mounted display apparatus |
| KR102051889B1 (ko) * | 2018-12-05 | 2019-12-06 | 주식회사 증강지능 | 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템 |
| SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
| GB2581573B (en) * | 2018-12-19 | 2022-01-12 | Bae Systems Plc | Method and system for adjusting luminance profiles in head-mounted displays |
| US10877568B2 (en) * | 2018-12-19 | 2020-12-29 | Arizona Board Of Regents On Behalf Of Arizona State University | Three-dimensional in-the-air finger motion based user login framework for gesture interface |
| US10970935B2 (en) | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
| JP2022516074A (ja) | 2018-12-27 | 2022-02-24 | マジック リープ， インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
| US11210772B2 (en) | 2019-01-11 | 2021-12-28 | Universal City Studios Llc | Wearable visualization device systems and methods |
| CA3031479A1 (en) * | 2019-01-25 | 2020-07-25 | Jonathan Gagne | Computer animation methods and systems |
| WO2020156667A1 (en) * | 2019-01-31 | 2020-08-06 | Brainlab Ag | Virtual trajectory planning |
| JP7234264B2 (ja) * | 2019-02-06 | 2023-03-07 | マクセル株式会社 | 複合現実表示装置および複合現実表示方法 |
| US11707806B2 (en) * | 2019-02-12 | 2023-07-25 | Illinois Tool Works Inc. | Virtual markings in welding systems |
| SE543332C2 (en) * | 2019-02-19 | 2020-12-01 | Tobii Ab | Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment |
| US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| TW202040981A (zh) | 2019-02-25 | 2020-11-01 | 美商尼安蒂克公司 | 擴增實境行動邊緣計算 |
| WO2020180719A1 (en) | 2019-03-01 | 2020-09-10 | Magic Leap, Inc. | Determining input for speech processing engine |
| US11467656B2 (en) * | 2019-03-04 | 2022-10-11 | Magical Technologies, Llc | Virtual object control of a physical device and/or physical device control of a virtual object |
| US10872584B2 (en) | 2019-03-14 | 2020-12-22 | Curious Company, LLC | Providing positional information using beacon devices |
| US11126885B2 (en) * | 2019-03-21 | 2021-09-21 | Infineon Technologies Ag | Character recognition in air-writing based on network of radars |
| US11212514B2 (en) | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
| US11221487B2 (en) | 2019-03-26 | 2022-01-11 | Kevin Chew Figueroa | Method and device of field sequential imaging for large field of view augmented/virtual reality |
| US10939080B2 (en) * | 2019-03-29 | 2021-03-02 | Facebook Technologies, Llc | Trajectory estimation for a MEMS reflector |
| EP3948747A4 (en) | 2019-04-03 | 2022-07-20 | Magic Leap, Inc. | MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM |
| WO2019149968A1 (en) * | 2019-04-18 | 2019-08-08 | Yuliana Ivanova Murdjeva | Interactive System and Method of Use |
| CN110110647A (zh) * | 2019-04-30 | 2019-08-09 | 北京小米移动软件有限公司 | 基于ar设备进行信息显示的方法、装置及存储介质 |
| US10861243B1 (en) * | 2019-05-31 | 2020-12-08 | Apical Limited | Context-sensitive augmented reality |
| WO2020247863A1 (en) | 2019-06-06 | 2020-12-10 | Magic Leap, Inc. | Photoreal character configurations for spatial computing |
| CN110245601B (zh) * | 2019-06-11 | 2022-03-01 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
| US11030459B2 (en) * | 2019-06-27 | 2021-06-08 | Intel Corporation | Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment |
| CN110322552B (zh) * | 2019-07-09 | 2023-05-12 | 广州市云家居云科技有限公司 | 一种基于激光测距的即时生成三维房型的软件系统 |
| US11776423B2 (en) | 2019-07-22 | 2023-10-03 | Illinois Tool Works Inc. | Connection boxes for gas tungsten arc welding training systems |
| US11288978B2 (en) | 2019-07-22 | 2022-03-29 | Illinois Tool Works Inc. | Gas tungsten arc welding training systems |
| CN110427702B (zh) * | 2019-08-02 | 2023-04-25 | 深圳市元征科技股份有限公司 | 一种在pcb丝印层添加注释信息的方法、装置、设备 |
| US11328740B2 (en) | 2019-08-07 | 2022-05-10 | Magic Leap, Inc. | Voice onset detection |
| US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
| JP2022552770A (ja) | 2019-08-09 | 2022-12-20 | ライト フィールド ラボ、インコーポレイテッド | ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者：ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム |
| EP3782833B1 (en) * | 2019-08-21 | 2023-04-19 | Ningbo Geely Automobile Research & Development Co. Ltd. | Controlling an internal light source of a vehicle for darkening of glasses |
| US11132832B2 (en) * | 2019-08-29 | 2021-09-28 | Sony Interactive Entertainment Inc. | Augmented reality (AR) mat with light, touch sensing mat with infrared trackable surface |
| EP4025963A4 (en) * | 2019-09-03 | 2023-08-30 | Light Field Lab, Inc. | LIGHT FIELD DISPLAY FOR MOBILE DEVICES |
| US11517196B2 (en) * | 2019-09-12 | 2022-12-06 | Yuan Ze University | Evaluation device for tear secretion |
| WO2021077024A1 (en) | 2019-10-18 | 2021-04-22 | Magic Leap, Inc. | Gravity estimation and bundle adjustment for visual-inertial odometry |
| US10997766B1 (en) * | 2019-11-06 | 2021-05-04 | XRSpace CO., LTD. | Avatar motion generating method and head mounted display system |
| WO2021081435A1 (en) | 2019-10-25 | 2021-04-29 | Magic Leap, Inc. | Reverberation fingerprint estimation |
| CN114846434A (zh) | 2019-10-25 | 2022-08-02 | 奇跃公司 | 非均匀立体渲染 |
| US20210174275A1 (en) * | 2019-11-13 | 2021-06-10 | Erinn Valencich | System and method for the design industry that enables creative teams to design, collaborate and connect with clients and track and manage progress of each client project providing client status to all interested parties |
| US11959997B2 (en) | 2019-11-22 | 2024-04-16 | Magic Leap, Inc. | System and method for tracking a wearable device |
| US11322037B2 (en) | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
| US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
| CN114761095A (zh) | 2019-12-03 | 2022-07-15 | 光场实验室公司 | 用于视频游戏和电子竞技的光场显示系统 |
| JP2023504545A (ja) | 2019-12-04 | 2023-02-03 | マジック リープ， インコーポレイテッド | 可変ピッチ色放出ディスプレイ |
| WO2021113781A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Environment acoustics persistence |
| CN115053270A (zh) | 2019-12-09 | 2022-09-13 | 奇跃公司 | 用于基于用户身份来操作头戴式显示系统的系统和方法 |
| US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
| US11337023B2 (en) | 2019-12-20 | 2022-05-17 | Magic Leap, Inc. | Physics-based audio and haptic synthesis |
| WO2021124291A1 (en) | 2019-12-20 | 2021-06-24 | Niantic, Inc. | Data hierarchy protocol for data transmission pathway selection |
| CN111192363B (zh) * | 2019-12-23 | 2023-09-29 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
| CN117827004A (zh) | 2020-02-14 | 2024-04-05 | 奇跃公司 | 会话管理器 |
| US11778410B2 (en) | 2020-02-14 | 2023-10-03 | Magic Leap, Inc. | Delayed audio following |
| JP2023513747A (ja) | 2020-02-14 | 2023-04-03 | マジック リープ， インコーポレイテッド | ３ｄオブジェクト注釈 |
| CN115398936A (zh) | 2020-02-14 | 2022-11-25 | 奇跃公司 | 多应用音频渲染 |
| EP4104000A4 (en) | 2020-02-14 | 2023-07-12 | Magic Leap, Inc. | TOOL BRIDGE |
| US20200195904A1 (en) * | 2020-02-26 | 2020-06-18 | Intel Corporation | Depth Based 3D Reconstruction using an A-Priori Depth Scene |
| US11627428B2 (en) | 2020-03-02 | 2023-04-11 | Magic Leap, Inc. | Immersive audio platform |
| CN111580642B (zh) * | 2020-03-20 | 2023-06-09 | 深圳市企鹅网络科技有限公司 | 视觉共享的互动教学方法、系统、设备及存储介质 |
| US11917384B2 (en) | 2020-03-27 | 2024-02-27 | Magic Leap, Inc. | Method of waking a device using spoken voice commands |
| CN111508008B (zh) * | 2020-04-08 | 2023-07-14 | 达闼机器人股份有限公司 | 一种点云配准的方法、电子设备和存储介质 |
| CN111523411B (zh) * | 2020-04-10 | 2023-02-28 | 陕西师范大学 | 基于语义修补的合成孔径成像方法 |
| US11431952B2 (en) * | 2020-05-11 | 2022-08-30 | Sony Interactive Entertainment Inc. | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
| WO2021243098A1 (en) | 2020-05-29 | 2021-12-02 | Magic Leap, Inc. | Surface appropriate collisions |
| WO2021243103A1 (en) | 2020-05-29 | 2021-12-02 | Magic Leap, Inc. | Determining angular acceleration |
| WO2022040237A1 (en) * | 2020-08-17 | 2022-02-24 | LiquidView Corp | Virtual window apparatus and system |
| WO2022055588A1 (en) | 2020-09-08 | 2022-03-17 | Medtronic, Inc. | Imaging discovery utility for augmenting clinical image management |
| WO2022060518A1 (en) * | 2020-09-15 | 2022-03-24 | Carnelian Laboratories Llc | Head-mountable device and connector |
| WO2022060555A1 (en) * | 2020-09-16 | 2022-03-24 | Sterling Labs Llc | Merging computer-generated objects based on extremity tracking data |
| WO2022072747A1 (en) * | 2020-09-30 | 2022-04-07 | Magic Leap, Inc. | Dual mode ported speaker |
| DE102020126953B3 (de) * | 2020-10-14 | 2021-12-30 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung |
| US11740853B1 (en) | 2020-10-26 | 2023-08-29 | Wells Fargo Bank, N.A. | Smart table system utilizing extended reality |
| US11397956B1 (en) | 2020-10-26 | 2022-07-26 | Wells Fargo Bank, N.A. | Two way screen mirroring using a smart table |
| US11572733B1 (en) | 2020-10-26 | 2023-02-07 | Wells Fargo Bank, N.A. | Smart table with built-in lockers |
| US11429957B1 (en) | 2020-10-26 | 2022-08-30 | Wells Fargo Bank, N.A. | Smart table assisted financial health |
| US11741517B1 (en) | 2020-10-26 | 2023-08-29 | Wells Fargo Bank, N.A. | Smart table system for document management |
| US11457730B1 (en) | 2020-10-26 | 2022-10-04 | Wells Fargo Bank, N.A. | Tactile input device for a touch screen |
| US11727483B1 (en) | 2020-10-26 | 2023-08-15 | Wells Fargo Bank, N.A. | Smart table assisted financial health |
| CN112417398B (zh) * | 2020-11-17 | 2021-12-14 | 广州技象科技有限公司 | 一种基于用户权限的物联网展馆导航方法及装置 |
| CN112527112B (zh) * | 2020-12-08 | 2023-05-02 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种多通道沉浸式流场可视化人机交互方法 |
| USD1031774S1 (en) * | 2020-12-10 | 2024-06-18 | Neutrace Inc. | Display screen or a portion thereof with a graphical user interface for a cardiac mapping system |
| US11115512B1 (en) * | 2020-12-12 | 2021-09-07 | John G. Posa | Smartphone cases with integrated electronic binoculars |
| CN112686973A (zh) * | 2020-12-24 | 2021-04-20 | 京东方科技集团股份有限公司 | 图像编辑方法及控制装置、存储介质、计算机设备 |
| US11402634B2 (en) * | 2020-12-30 | 2022-08-02 | Facebook Technologies, Llc. | Hand-locked rendering of virtual objects in artificial reality |
| US11543931B2 (en) | 2021-01-27 | 2023-01-03 | Ford Global Technologies, Llc | Systems and methods for interacting with a tabletop model using a mobile device |
| DE102021106126A1 (de) * | 2021-03-12 | 2022-09-15 | Helmut Fischer GmbH Institut für Elektronik und Messtechnik | Verfahren und System zur taktilen Messung, insbesondere Schichtdickenmessung |
| US20220327754A1 (en) * | 2021-04-09 | 2022-10-13 | Universal City Studios Llc | Systems and methods for animated figure display |
| US20220346598A1 (en) | 2021-05-01 | 2022-11-03 | Miso Robotics, Inc. | Automated bin system for accepting food items in robotic kitchen workspace |
| US11625094B2 (en) * | 2021-05-04 | 2023-04-11 | Google Llc | Eye tracker design for a wearable device |
| CN113395491A (zh) * | 2021-06-11 | 2021-09-14 | 上海海事大学 | 船舶机舱远程监测报警系统 |
| CN113726471B (zh) * | 2021-07-20 | 2024-01-12 | 西安交通大学 | 一种智能反射表面辅助型mimo隐蔽通信系统的参数优化方法 |
| CN113780136B (zh) * | 2021-08-31 | 2023-07-14 | 中国科学技术大学先进技术研究院 | 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备 |
| US11740322B2 (en) * | 2021-09-10 | 2023-08-29 | Htc Corporation | Head mounted display device and position device thereof |
| CN114363557B (zh) * | 2022-03-04 | 2022-06-24 | 西安电子科技大学 | 一种面向语义保真的虚拟会议方法及三维虚拟会议系统 |
| CN114676729B (zh) * | 2022-03-28 | 2023-02-07 | 清华大学 | 时分复用信号的分接方法、装置、设备及存储介质 |
| CN114578313B (zh) * | 2022-05-09 | 2022-07-22 | 中国电子科技集团公司信息科学研究院 | 基于质心查找的栅格检测镜像消除方法及装置 |
| CN114818519B (zh) * | 2022-06-30 | 2022-10-11 | 湖南工商大学 | 预测发泡材料气泡破裂的方法、系统及计算机可读介质 |
| US11877071B1 (en) | 2022-09-22 | 2024-01-16 | Apple Inc. | Flicker and proximity detection in image sensors with embedded low power readout circuitry |
| CN116258811B (zh) * | 2023-05-08 | 2023-07-25 | 北京德风新征程科技股份有限公司 | 信息发送方法、装置、电子设备和计算机可读介质 |
| CN116823735A (zh) * | 2023-06-01 | 2023-09-29 | 上海赛威德机器人有限公司 | 焊缝打磨特征提取方法、焊缝检测与打磨方法 |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6909443B1 (en) * | 1999-04-06 | 2005-06-21 | Microsoft Corporation | Method and apparatus for providing a three-dimensional task gallery computer interface |
| US7406214B2 (en) * | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
| US6753847B2 (en) | 2002-01-25 | 2004-06-22 | Silicon Graphics, Inc. | Three dimensional volumetric display input and output configurations |
| US7337410B2 (en) * | 2002-11-06 | 2008-02-26 | Julius Lin | Virtual workstation |
| US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
| US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
| JP4553362B2 (ja) * | 2005-01-31 | 2010-09-29 | キヤノン株式会社 | システム、画像処理装置、情報処理方法 |
| US8279168B2 (en) | 2005-12-09 | 2012-10-02 | Edge 3 Technologies Llc | Three-dimensional virtual-touch human-machine interface system and method therefor |
| JP4765818B2 (ja) | 2006-08-02 | 2011-09-07 | 住友電装株式会社 | 電線カバー |
| WO2008041314A1 (fr) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Dispositif d'affichage d'images |
| JP4926799B2 (ja) | 2006-10-23 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US9891435B2 (en) | 2006-11-02 | 2018-02-13 | Sensics, Inc. | Apparatus, systems and methods for providing motion tracking using a personal viewing device |
| JP5058686B2 (ja) * | 2007-06-14 | 2012-10-24 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
| US20090040296A1 (en) | 2007-08-06 | 2009-02-12 | Moscato Jonathan D | Head mounted display assembly |
| KR101141087B1 (ko) | 2007-09-14 | 2012-07-12 | 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 | 제스처-기반 사용자 상호작용의 프로세싱 |
| WO2009089125A2 (en) | 2008-01-04 | 2009-07-16 | 3M Innovative Properties Company | Navigating among images of an object in 3d space |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| WO2009108645A1 (en) * | 2008-02-27 | 2009-09-03 | Sony Computer Entertainment America Inc. | Methods for capturing depth data of a scene and applying computer actions |
| US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
| DE102008002692B4 (de) | 2008-06-26 | 2019-02-21 | Seereal Technologies S.A. | Displayeinrichtung zur dreidimensionalen holographischen oder stereoskopischen Darstellung räumlicher Objekte und Verfahren zum Ermitteln einer Apodisationsfunktion für eine Apodisationsmaske |
| KR101576294B1 (ko) | 2008-08-14 | 2015-12-11 | 삼성전자주식회사 | 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법 |
| US8289288B2 (en) | 2009-01-15 | 2012-10-16 | Microsoft Corporation | Virtual object adjustment via physical object detection |
| US10357714B2 (en) * | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
| CN101727182B (zh) * | 2010-01-28 | 2011-08-10 | 南京航空航天大学 | 头盔式虚拟现实环境中参与者实际手的可视化方法和系统 |
| JP4900741B2 (ja) * | 2010-01-29 | 2012-03-21 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| US8730309B2 (en) * | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| JP5418386B2 (ja) | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR101735610B1 (ko) * | 2010-05-06 | 2017-05-15 | 엘지전자 주식회사 | 영상표시장치의 동작 방법 |
| US9372701B2 (en) * | 2010-05-12 | 2016-06-21 | Sony Interactive Entertainment America Llc | Management of digital information via a buoyant interface moving in three-dimensional space |
| US9122307B2 (en) * | 2010-09-20 | 2015-09-01 | Kopin Corporation | Advanced remote control of host application using motion and voice commands |
| US9348141B2 (en) | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9122374B2 (en) * | 2011-02-01 | 2015-09-01 | 9224-5489 Quebec Inc. | Expandable and collapsible arrays of documents |
| JP5785753B2 (ja) | 2011-03-25 | 2015-09-30 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
| KR20130136566A (ko) * | 2011-03-29 | 2013-12-12 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
| US10824310B2 (en) | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
| US9092600B2 (en) | 2012-11-05 | 2015-07-28 | Microsoft Technology Licensing, Llc | User authentication on augmented reality display device |
| WO2014106823A2 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
| US9151954B2 (en) | 2013-03-15 | 2015-10-06 | Immy Inc. | Head mounted display having alignment maintained via structural frame |
| TW201447375A (zh) | 2013-06-13 | 2014-12-16 | Hsiu-Chi Yeh | 擴增實境之頭戴式電子裝置及方法 |
| KR102302233B1 (ko) * | 2014-05-26 | 2021-09-14 | 삼성전자주식회사 | 사용자 인터페이스 제공 장치 및 방법 |
| US10120413B2 (en) * | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
| KR20160053462A (ko) * | 2014-11-04 | 2016-05-13 | 삼성전자주식회사 | 단말장치 및 그 제어 방법 |
| US10567641B1 (en) * | 2015-01-19 | 2020-02-18 | Devon Rueckner | Gaze-directed photography |
| CN105872729A (zh) * | 2015-04-21 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 识别操作事件的方法和装置 |
| WO2017117562A1 (en) * | 2015-12-31 | 2017-07-06 | Daqri, Llc | Augmented reality based path visualization for motion planning |
| US10832051B1 (en) * | 2016-06-13 | 2020-11-10 | Facebook Technologies, Llc | Eye tracking using optical coherence methods |
| EP3494449A4 (en) * | 2016-08-05 | 2020-03-11 | SZ DJI Technology Co., Ltd. | METHODS AND RELATED SYSTEMS FOR COMMUNICATING WITH / CONTROLLING MOVABLE DEVICES BY GESTING |
| US10409363B1 (en) * | 2017-03-07 | 2019-09-10 | vGolf, LLC | Mixed-reality golf tracking and simulation |
| US10325414B2 (en) * | 2017-05-08 | 2019-06-18 | Microsoft Technology Licensing, Llc | Application of edge effects to 3D virtual objects |
-
2014
- 2014-01-03 WO PCT/IB2014/058042 patent/WO2014106823A2/en active Application Filing
- 2014-01-03 JP JP2015551242A patent/JP2016509292A/ja active Pending
- 2014-01-03 KR KR1020157021052A patent/KR20150103723A/ko not_active Application Discontinuation
- 2014-01-03 CN CN201480012295.2A patent/CN105027190B/zh active Active
- 2014-01-03 AU AU2014204252A patent/AU2014204252B2/en not_active Ceased
- 2014-01-03 EP EP14735321.3A patent/EP2951811A4/en not_active Ceased
- 2014-01-03 CA CA2896985A patent/CA2896985A1/en not_active Abandoned
- 2014-01-03 US US14/147,199 patent/US9720505B2/en active Active
-
2017
- 2017-07-19 US US15/653,719 patent/US10168791B2/en active Active
-
2018
- 2018-10-10 US US16/156,798 patent/US10540014B2/en active Active
-
2019
- 2019-05-14 JP JP2019091204A patent/JP2019149202A/ja active Pending
-
2020
- 2020-01-17 US US16/746,454 patent/US11073916B2/en active Active
-
2021
- 2021-07-26 US US17/385,571 patent/US11334171B2/en active Active
-
2022
- 2022-05-02 US US17/734,909 patent/US11550401B2/en active Active
-
2023
- 2023-01-09 US US18/151,811 patent/US11762478B2/en active Active
- 2023-08-03 US US18/230,053 patent/US20230376121A1/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210228A1 (en) * | 2016-05-28 | 2017-12-07 | Acoustic Knowledge, LLC | Digital camera with audio, visual and motion analysis |
| US10477117B2 (en) | 2016-05-28 | 2019-11-12 | Acoustic Knowledge, LLC | Digital camera with audio, visual and motion analysis |
| KR20190020758A (ko) * | 2016-06-20 | 2019-03-04 | 가부시키가이샤 사이게임스 | 복합 현실 환경을 작성하기 위한 시스템 등 |
| US11282279B2 (en) | 2016-06-20 | 2022-03-22 | Cygames, Inc. | System, etc. for creating mixed-reality environment |
| KR20190089957A (ko) * | 2016-12-22 | 2019-07-31 | 가부시키가이샤 사이게임스 | 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법 |
| US10896497B2 (en) | 2016-12-22 | 2021-01-19 | Cygames, Inc. | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method |
| KR102073010B1 (ko) * | 2018-08-01 | 2020-02-04 | 주식회사 포멀웍스 | 모바일 단말과 증강현실 디스플레이 장치의 페어링 방법 및 시스템, 및 다수의 증강현실 디스플레이 장치간의 좌표계 동기화 방법 및 시스템 |
| KR20200076924A (ko) * | 2018-12-20 | 2020-06-30 | 서강대학교산학협력단 | Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2951811A4 (en) | 2016-08-17 |
| US11550401B2 (en) | 2023-01-10 |
| CA2896985A1 (en) | 2014-07-10 |
| US20230376121A1 (en) | 2023-11-23 |
| US20180095541A1 (en) | 2018-04-05 |
| US20190278379A1 (en) | 2019-09-12 |
| US20230161418A1 (en) | 2023-05-25 |
| JP2016509292A (ja) | 2016-03-24 |
| AU2014204252A1 (en) | 2015-08-06 |
| AU2014204252B2 (en) | 2017-12-14 |
| WO2014106823A2 (en) | 2014-07-10 |
| CN105027190A (zh) | 2015-11-04 |
| US20220083144A1 (en) | 2022-03-17 |
| US20220253150A1 (en) | 2022-08-11 |
| US20200393910A1 (en) | 2020-12-17 |
| US11073916B2 (en) | 2021-07-27 |
| US11334171B2 (en) | 2022-05-17 |
| US10540014B2 (en) | 2020-01-21 |
| JP2019149202A (ja) | 2019-09-05 |
| CN105027190B (zh) | 2019-06-21 |
| US20140184496A1 (en) | 2014-07-03 |
| EP2951811A2 (en) | 2015-12-09 |
| WO2014106823A3 (en) | 2014-12-11 |
| US10168791B2 (en) | 2019-01-01 |
| US11762478B2 (en) | 2023-09-19 |
| US9720505B2 (en) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11762478B2 (en) | Virtual or augmediated topological sculpting, manipulation, creation, or interaction with devices, objects, materials, or other entities | |
| JP7366196B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
| US11810244B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US10564731B2 (en) | Processing of gesture-based user interactions using volumetric zones | |
| CN103793060B (zh) | 一种用户交互系统和方法 | |
| JP2023171762A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| JP2024028376A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
| Chiu et al. | Continuous circular scribble arts. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |