KR20210113638A - 적어도 하나의 대상체의 위치를 결정하기 위한 검출기 - Google Patents
적어도 하나의 대상체의 위치를 결정하기 위한 검출기 Download PDFInfo
- Publication number
- KR20210113638A KR20210113638A KR1020217024795A KR20217024795A KR20210113638A KR 20210113638 A KR20210113638 A KR 20210113638A KR 1020217024795 A KR1020217024795 A KR 1020217024795A KR 20217024795 A KR20217024795 A KR 20217024795A KR 20210113638 A KR20210113638 A KR 20210113638A
- Authority
- KR
- South Korea
- Prior art keywords
- detector
- image
- sensor
- feature
- reflective
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 251
- 230000003287 optical effect Effects 0.000 claims abstract description 226
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000005286 illumination Methods 0.000 claims description 215
- 238000000034 method Methods 0.000 claims description 117
- 238000006073 displacement reaction Methods 0.000 claims description 110
- 238000005259 measurement Methods 0.000 claims description 91
- 230000033001 locomotion Effects 0.000 claims description 75
- 238000004422 calculation algorithm Methods 0.000 claims description 46
- 238000004519 manufacturing process Methods 0.000 claims description 38
- 238000005516 engineering process Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 16
- 238000013178 mathematical model Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000003908 quality control method Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 claims description 3
- 230000006870 function Effects 0.000 description 89
- 238000012545 processing Methods 0.000 description 41
- 230000005540 biological transmission Effects 0.000 description 29
- 238000012544 monitoring process Methods 0.000 description 27
- 230000003595 spectral effect Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 21
- 238000007689 inspection Methods 0.000 description 18
- 241001465754 Metazoa Species 0.000 description 13
- 230000000670 limiting effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000001444 catalytic combustion detection Methods 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 11
- 230000001902 propagating effect Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 8
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000005670 electromagnetic radiation Effects 0.000 description 7
- 230000001976 improved effect Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 229910052710 silicon Inorganic materials 0.000 description 7
- 239000010703 silicon Substances 0.000 description 7
- 230000006378 damage Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 231100001261 hazardous Toxicity 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000003306 harvesting Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000002023 wood Substances 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 241000288673 Chiroptera Species 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000000383 hazardous chemical Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010409 ironing Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000035882 stress Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 229910021417 amorphous silicon Inorganic materials 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 235000020061 kirsch Nutrition 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 229930014626 natural product Natural products 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000004171 remote diagnosis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010972 statistical evaluation Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- 240000002234 Allium sativum Species 0.000 description 1
- 244000003416 Asparagus officinalis Species 0.000 description 1
- 235000005340 Asparagus officinalis Nutrition 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000538562 Banjos Species 0.000 description 1
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 244000209117 Castanea crenata Species 0.000 description 1
- 235000003801 Castanea crenata Nutrition 0.000 description 1
- 241001077262 Conga Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 241000030361 Girellinae Species 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 244000025221 Humulus lupulus Species 0.000 description 1
- 229910000673 Indium arsenide Inorganic materials 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 244000070406 Malus silvestris Species 0.000 description 1
- 229910000661 Mercury cadmium telluride Inorganic materials 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 235000004789 Rosa xanthina Nutrition 0.000 description 1
- 241000109329 Rosa xanthina Species 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 241000982634 Tragelaphus eurycerus Species 0.000 description 1
- 241000722921 Tulipa gesneriana Species 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000007681 bariatric surgery Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 235000015895 biscuits Nutrition 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 208000022266 body dysmorphic disease Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229920005994 diacetyl cellulose Polymers 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000011869 dried fruits Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005108 dry cleaning Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000000417 fungicide Substances 0.000 description 1
- 235000004611 garlic Nutrition 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 239000010437 gem Substances 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000004009 herbicide Substances 0.000 description 1
- 230000010196 hermaphroditism Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000010871 livestock manure Substances 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005555 metalworking Methods 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000009512 pharmaceutical packaging Methods 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000003128 rodenticide Substances 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000004154 testing of material Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000004078 waterproofing Methods 0.000 description 1
- 238000004018 waxing Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
적어도 하나의 대상체(112)의 위치를 결정하는 검출기(110)가 제안된다. 검출기(110)는, 광학 센서(134)의 매트릭스(132)를 포함하는 적어도 하나의 센서 소자(130) - 광학 센서(134)의 각각에는 감광 영역(136)이 포함되고, 센서 소자(130)는, 적어도 하나의 반사 이미지(142)를 결정하도록 구성됨 - 와, 적어도 하나의 평가 장치(146)를 포함하되, 평가 장치(146)는, 반사 이미지(142) 내의 적어도 하나의 제 1 이미지 위치(148)에서 반사 이미지(142)의 적어도 하나의 반사 특징을 선택하도록 구성되고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성되고, 평가 장치(146)는, 적어도 하나의 반사 특징에 대응하는 기준 이미지(168)에서의 적어도 하나의 제 2 이미지 위치(154)에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정하도록 구성되되, 기준 이미지(168)와 반사 이미지(142)는, 2개의 상이한 공간 구성에서 결정되며, 여기서, 공간 구성은, 상대적 공간 성상에 따라 서로 상이하며, 평가 장치(146)는 종 방향 좌표 z 및 제 1 이미지 위치(148) 및 제 2 이미지 위치(154)로부터 상대적 공간 성상을 결정하도록 구성된다.
Description
본 발명은 적어도 하나의 대상체의 위치를 결정하기 위한 검출기, 적어도 하나의 대상체의 위치를 결정하기 위한 적어도 하나의 검출기를 사용하여 상대적 공간 성상(relative spatial constellation)을 결정하는 방법 및 적어도 하나의 검출기를 교정하는 방법에 관한 것이다. 본 발명은 또한 사용자와 기계 사이에서 적어도 하나의 정보 항목을 교환하기 위한 인간-기계 인터페이스, 엔터테인먼트 장치, 추적 시스템, 카메라, 스캐닝 시스템 및 검출기 장치의 다양한 용도에 관한 것이다. 본 발명에 따른 장치, 방법 및 용도는, 예를 들어, 일상생활, 게이밍, 교통 기술, 생산 기술, 보안 기술, 예술이나 문서 또는 기술 목적의 디지털 포토그래피 또는 비디오 포토그래피와 같은 포토그래피, 의료 기술, 또는 과학의 다양한 분야에서 특별히 사용될 수 있다. 또한, 본 발명은, 예컨대, 건축학, 측량학, 고고학, 예술, 의학, 공학 또는 제조업 분야에서, 대상체나 풍경의 깊이 프로파일(depth profile)을 생성하는 것과 같이, 하나 이상의 대상체 및/또는 풍경을 스캐닝하는 데 사용될 수 있다. 그러나, 다른 적용이 가능할 수도 있다.
광학적 3D 감지 방법은 일반적으로 바이어싱 광원이나 반사 측정 대상체를 사용하여 다중 반사를 일으키는 환경의 경우에 신뢰할 수 없는 결과가 도출될 수 있다. 더욱이, 촬상 기능이 있는 스테레오 카메라나 구조광(structured light)을 사용하는 삼각 측량법과 같은 3D 감지 방법은, 종종, 대응 문제(correspondence problem)를 해결하기 위해 높은 계산 능력이 요구된다. 필요한 계산 능력은, 특히, 모바일 장치에서, 프로세서나 FPGA(Field Programmable Gate Array), 환기 요건이나 하우징 방수 처리의 난이도를 고려한 열 제거, 전력 소비로 인한 높은 비용, 및 추가의 측정 불확실성을 초래할 수 있다. 높은 계산 능력의 요구는 실시간 애플리케이션, 높은 프레임레이트 또는 초당 25프레임의 표준 비디오 속도 프레임레이트를 실현하는 것을 불가능하게 할 수도 있다.
다수의 광학 장치는 삼각 측량 촬상 방법을 사용하는 종래 기술에 개시되어 있다. 예를 들어, 구조광 방법(structured light method) 또는 스테레오 방법(stereo method)이 개시되어 있다. 예를 들어, 고정된 상대적 방위에서 두 대의 카메라를 사용하는 수동 스테레오 방법(passive stereo method) 또는 추가의 광 프로젝터가 사용되는 능동 스테레오 기술(active stereo method)이 있다. 또 다른 예로는 고정된 상대적 방위에서 하나의 광 프로젝터와 하나의 카메라가 사용되는 구조광 접근 방식이 있다. 삼각 측량을 통해 깊이 이미지를 결정하기 위해서는 우선 대응 문제(correspondence problem)를 해결해야 한다. 따라서, 수동 스테레오 카메라 기술에서는 양 카메라의 시야에서 해당 특징점이 충분히 식별되어야 한다. 구조광 접근 방식에서는, 사전 저장된 의사 랜덤 광 패턴과 투영된 의사 랜덤 광 패턴 간의 대응(correspondence)이 결정되어야 한다. 이들 대응 문제의 확실한 해결을 위해, 투영된 포인트 패턴에서의 포인트 수에 따라 대략 2차식으로(quadratically) 스케일링하는 알고리즘과 같은 계산 촬상 알고리즘(computational imaging algorithm)이 사용되어야 한다. 예를 들어, 상대 거리가 고정된 2개의 검출기를 포함하는 스테레오 시스템을 사용하는 구조광 방법에서, 광원은 포인트, 의사 랜덤, 랜덤, 비주기적 또는 불규칙적인 포인트 패턴 등과 같은 패턴을 투영한다. 각각의 검출기는 반사 패턴의 이미지를 생성하고, 이미지 분석 작업은 두 이미지에서 대응하는 특징을 식별하는 것이다. 고정된 상대 위치로 인해, 두 이미지 중 하나에서 선택된 대응하는 특징점은 다른 이미지에서 공액선(epipolar line)을 따라 위치되어 있다. 그러나, 이른바 대응 문제의 해결은 어려울 수 있다. 스테레오 및 삼각 측량 시스템에서, 공액선을 따르는 모든 특징점의 거리는 서로 합리적으로 일치해야 한다. 대응 결정(correspondence decision)은 연이어 이루어질 수 없다. 하나의 대응이 잘못되면, 이것은 다른 특징점에 불가시성(invisibility)과 같은 영향을 미친다. 이것은 보통 2차 스케일링 평가 알고리즘과 같은 비선형적인 결과를 산출한다.
예를 들어, US 2008/0240502 A1 및 US 2010/0118123 A1은 조명 어셈블리를 포함하는 대상체를 매핑하는 장치를 기술하고, 여기서, 조명 어셈블리는 고정된 스폿 패턴으로 이루어진 단일 투명도(single transparency)를 포함한다. 광원은 패턴을 대상체에 투영하기 위해 단일 투명도의 광 방사선을 투과시킨다. 이미지 캡처 어셈블리는 단일 투명도를 사용하여 대상체 상에 투영된 패턴의 이미지를 캡처한다. 프로세서는 대상체의 3차원 맵을 재구성하기 위해 이미지 캡처 어셈블리에 의해 캡처된 이미지를 처리한다.
또한, 3D 감지 방법은, 소위, 모션으로부터의 구조나 포즈 추정 또는 모션으로부터의 형상을 거리 결정에 사용하는 것이 공지되어 있는데, 예를 들어, 로보틱스 및 자동화(ICRA), 2011년 IEEE 국제 컨퍼런스(출판사: IEEE ISBN: 978-1-61284-385-8)에서 Ramalingam 등에 의해 발표된, "Pose Estimation using Both Points and Lines for Geo-Localization"을 참조한다. "모션으로부터의 구조"라는 용어는 모션으로부터의 구조와 모션으로부터의 형상 양쪽 모두에 대한 동의어로 사용될 것이다. 포즈 추정 알고리즘에서, 카메라 화상이 기록되고, 시야 방향, 대상체로부터의 거리, 카메라 속도와 같은 카메라의 포즈가 추정된다. 모션 알고리즘으로부터의 구조에서, 동일한 방식으로, 카메라의 포즈와 서로에 대한 이미지 특징의 위치를 추정함으로써 대상체의 3D 구조가 기록된다. 이 이론에 구속되지 않고, 움직이는 카메라 대상체의 이미지에서, 두 알고리즘은 카메라에 근접한 대상체가 멀리 떨어져 있는 대상체보다 더 빠르게 움직인다는 관찰을 기반으로 한다. 이미지로부터 이미지로의 특징점을 추적함으로써 카메라까지의 거리를 뺄 수 있다.
또한, WO 2017/012986 A1은 적어도 하나의 대상체의 위치를 결정하기 위한 검출기를 기술한다. 검출기는, 적어도 하나의 광학 센서 - 광학 센서는 대상체로부터 검출기를 향해 전파하는 적어도 하나의 광빔에 의해 생성된 적어도 하나의 광 스폿을 검출하도록 구성되고, 적어도 하나의 픽셀 매트릭스를 구비하며, 각각의 픽셀은 광빔에 의해 픽셀의 조명에 응답하여 적어도 하나의 픽셀 신호 si,j를 생성함 - 와, 모든 픽셀 i, j 또는 적어도 하나의 픽셀 그룹의 픽셀 신호 si,j를 비선형 픽셀 신호 s'i,j로 변환하도록 구성된 적어도 하나의 비선형 장치 - 비선형 픽셀 신호 s'i,j의 각각은 각각의 픽셀의 조명 pij의 전력의 비선형 함수임 - 와, 모든 픽셀 i, j 또는 적어도 하나의 픽셀 그룹의 비선형 픽셀 신호 s'ij를 합산하여 적어도 하나의 비선형 합산 신호 S'=∑ij s'ij를 생성하도록 구성된 적어도 하나의 합산 장치, 및 적어도 하나의 평가 장치 - 비선형 합산 신호 S'를 평가함으로써 대상체의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성됨 - 를 포함한다.
전술한 장치 및 검출기에서 설명된 이점에도 불구하고, 몇몇 기술적 과제가 남아 있다.
공지의 3D 감지 방법에서 사용되는 평가 알고리즘은 높은 계산 능력을 요구하는 데, 이는 막대한 비용 요인이 된다. 또한, 요구되는 계산 자원의 에너지 소비 및 열 생성으로 인해, 계산 수요는 실외 및 모바일 애플리케이션에서 이러한 3D 감지 방법의 사용을 제한한다.
또한, 삼각 측량 시스템은, 예컨대, 구조광이나 레이저 삼각 측량을 사용하는 검출기에서의 조명원과 센서 사이 또는, 예컨대, 스테레오 시스템의 2개의 센서 사이에서 고정되고 변경되지 않는 기계적 연결에 크게 의존한다. 조명원과 센서의 거리나 두 센서 간의 거리에 대한 정확한 인식은 거리 측정의 기본이다. 거리의 변화로 인해, 거리 측정에서 오프셋, 선형, 2차(quadratic) 또는 더 높은 차수 오류와 같은 오류가 발생할 수 있다. 공지된 3D 감지 방법에서, 안정적인 거리를 생성하기 위해 상당한 기계적 노력과 비용이 소요된다. 특히, 노후화, 온도 변화, 기계적 응력 등과 관련하여 안정성 문제가 존재한다.
또한, 포즈 추정 알고리즘은 카메라가 근접하여 느리게 이동하는지 멀리 떨어져 빠르게 이동하는지를 판단할 수 없다. 따라서 이들 알고리즘은 절대 측정이 가능한 스케일링 팩터가 부족하다. 이동 카메라를 사용하는 공지의 3D 감지 방법에서, 카메라의 속도는 종종 카메라의 관성 측정 유닛에 의해 측정되지만, 정확도는 제한적이다.
따라서, 본 발명의 목적은 공지된 장치 및 방법의 전술한 기술적 과제에 대응하는 장치 및 방법을 제공하는 것이다. 구체적으로, 본 발명의 목적은, 특히, 기술적인 노력이 적고 기술 자원과 비용 관점에서 낮은 기술 노력으로, 공간에서 대상체의 위치를 신뢰성 있게 결정할 수 있는 장치 및 방법을 제공하는 것이다.
이 문제는 특허 청구 범위의 독립항의 특징을 포함하는 본 발명에 의해 해결된다. 개별적으로 또는 조합하여 실현될 수 있는 본 발명의 바람직한 전개는 종속항 및/또는 하기의 명세서 및 상세한 실시예에서 제시된다.
이하에 사용되는 용어 "구비한다", "구성한다" 또는 "포함한다"나 그들의 임의의 문법적 변형어는 비배타적인 방식으로 사용된다. 따라서, 이들 용어는 이들 용어에 의해 도입된 특징 외에, 본 명세서에 설명된 개체에 더 이상의 추가 특징이 존재하지 않는 상황 및 적어도 하나의 추가 특징이 존재하는 상황의 양쪽 모두를 의미할 수 있다. 예를 들어, "A는 B를 구비한다", "A는 B를 구성한다" 및 "A는 B를 포함한다"라는 표현은, B 이외에 다른 요소가 A에 존재하지 않는 상황(즉, A가 오로지 배타적으로 B로만 구성되는 상황) 및 B 이외에, 요소 C, 요소 C 및 D 또는 심지어 다른 요소와 같이, 하나 이상의 추가 요소가 대상체 A에 존재하는 모든 상황을 의미할 수 있다.
또한, 특징 또는 요소가 전형적으로 하나 또는 하나보다 많이 존재할 수 있음을 나타내는 용어 "적어도 하나", "하나 이상" 또는 그 유사 표현은, 각각의 특징 또는 요소를 도입할 때, 한 번만 사용될 것이라는 점을 유의해야 한다. 이하에서, 대부분의 경우, 각각의 특징 또는 요소를 언급할 때, 각각의 특징 또는 요소가 하나 이상 존재할 수 있다는 사실에도 불구하고, "적어도 하나" 또는 "하나 이상"이라는 표현은 반복되지 않을 것이다.
또한, 이하에서 사용되는 용어 "바람직하게", "더 바람직하게", "특히", "더욱 특히", "구체적으로", "더욱 구체적으로" 또는 유사한 용어는 대안적인 가능성을 제한하지 않으면서 선택적인 특징과 함께 사용된다. 따라서, 이러한 용어들에 의해 도입된 특징들은 선택적인 특징이며, 어떠한 방식으로도 청구 범위의 범주를 제한하려고 의도하는 것은 아니다. 당업자가 인식할 수 있는 바와 같이, 본 발명은 대안적인 특징들을 사용함으로써 수행될 수 있다. 마찬가지로, "본 발명의 일 실시예에서" 또는 유사 표현에 의해 도입된 특징은, 본 발명의 대안적인 실시예에 관한 임의의 제한 없이, 본 발명의 범주에 관한 임의의 제한 없이, 및 이러한 방식으로 도입된 특징들을 본 발명의 다른 선택적 또는 비선택적 특징과 조합할 가능성에 관한 임의의 제한 없이, 선택적 특징인 것으로 의도된다.
본 발명의 제 1 양태에서, 적어도 하나의 대상체의 위치를 결정하는 검출기가 개시된다. 본 명세서에 사용되는 용어 "대상체(object)"는 적어도 하나의 광빔을 방출하는 지점 또는 영역을 지칭한다. 광빔은 대상체 및/또는 광빔을 방출하는 대상체에 통합되거나 장착된 적어도 하나의 조명원과 같은 대상체로부터 비롯될 수 있거나, 또는 대상체를 직접 또는 간접적으로 비추는 조명원과 같이 다른 조명원으로부터 비롯될 수 있으며, 여기서, 광빔은 대상체에 의해 반사되거나 산란된다. 본 명세서에 사용되는 용어 "위치"는 대상체의 위치 및/또는 방위, 및/또는 공간에서 대상체의 적어도 한 부분에 관한 적어도 하나의 정보 항목을 지칭한다. 따라서, 적어도 하나의 정보 항목은 대상체의 적어도 하나의 포인트와 적어도 하나의 검출기 사이에서 적어도 하나의 거리를 의미할 수 있다. 이하에서 보다 상세하게 설명되는 바와 같이, 거리는 종 방향 좌표일 수 있거나 대상체의 포인트의 종 방향 좌표를 결정하는 데 기여할 수 있다. 부가적으로 또는 대안적으로, 대상체 및/또는 대상체의 적어도 한 부분의 위치 및/또는 방위에 관한 하나 이상의 다른 정보 항목이 결정될 수 있다. 일 예로서, 부가적으로, 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 횡 방향 좌표가 결정될 수 있다. 따라서, 대상체의 위치는 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 종 방향 좌표를 의미할 수 있다. 부가적으로 또는 대안적으로, 대상체의 위치는 대상체 및/또는 대상체의 적어도 한 부분의 적어도 하나의 횡 방향 좌표를 의미할 수 있다. 부가적으로 또는 대안적으로, 대상체의 위치는 대상체의 적어도 하나의 방위 정보를 의미할 수 있으며, 이는 공간에서의 대상체의 방위를 나타낸다.
검출기는,
― 광학 센서의 매트릭스를 포함하는 적어도 하나의 센서 소자 - 광학 센서의 각각에는 감광 영역이 포함되고, 센서 소자는 적어도 하나의 반사 이미지를 결정하도록 구성됨 - 와,
― 적어도 하나의 평가 장치 - 평가 장치는, 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하도록 구성되고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성되고, 적어도 하나의 반사 특징에 대응하는 기준 이미지에서의 적어도 하나의 제 2 이미지 위치에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정하도록 구성되며, 또한 종 방향 좌표 z 및 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하도록 구성되되, 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성 - 여기서, 공간 구성은 상대적 공간 성상에 따라 서로 상이함 - 에서 결정되는 것을 포함한다.
본 명세서에 사용되는 "센서 소자"라는 용어는 일반적으로 적어도 하나의 파라미터를 감지하도록 구성된 장치나 복수의 장치의 조합을 의미한다. 이러한 경우, 파라미터는, 특히, 광학 파라미터일 수 있고, 센서 소자는, 특히, 광학 센서 소자일 수 있다. 센서 소자는 단일 장치로 일원화되거나 여러 장치의 조합으로 형성될 수 있다. 본 명세서에 사용되는 "광학 센서"는 일반적으로 광빔을 검출하기 위한 감광 장치, 예컨대, 적어도 하나의 광빔에 의해 생성된 조명 및/또는 광 스팟을 검출하기 위한 감광 장치를 지칭한다.
본 명세서에 사용되는 "매트릭스"라는 용어는 일반적으로 사전 결정된 기하학적 순서로 복수의 소자를 배열하는 것을 의미한다. 매트릭스는, 이하에 더 상세히 설명되는 바와 같이, 구체적으로 하나 이상의 행과 하나 이상의 열로 이루어지는 장방형 매트릭스일 수 있거나 이를 포함할 수 있다. 행 및 열은, 특히, 장방형 형태로 배열될 수 있다. 그러나, 삼각형, 원형, 육각형 또는 그 밖의 직사각형 배열이 아닌 다른 배열이 실현 가능한 것으로 요약되어야 한다. 일 예로서, 소자가 중심 위치를 중심으로 동심원 또는 타원으로 배열되는 원형 배열도 가능할 수 있다. 예를 들어, 매트릭스는 단일 행의 픽셀일 수 있다. 다른 배열도 가능하다. 매트릭스의 광학 센서는, 특히, 크기, 감도 및 기타 광학적, 전기적 및 기계적 특성 중 하나 이상에서 동일할 수 있다. 매트릭스의 모든 광학 센서의 감광 영역은, 특히, 공통 평면에 위치될 수 있고, 공통 평면은 대상체로부터 검출기로 전파되는 광빔이 공통 평면상에 광 스폿을 생성할 수 있도록 대상체와 대향하는 것이 바람직하다.
본 명세서에서 또한 사용되는 "감광 영역"은 일반적으로 적어도 하나의 센서 신호가 생성되는 조명에 응답하여, 적어도 하나의 광빔에 의해 외부로 비춰질 수 있는 광학 센서의 영역을 의미한다. 감광 영역은 구체적으로 각각의 광학 센서의 표면상에 위치될 수 있다. 그러나, 다른 실시예도 가능하다. 본 명세서에 사용되는 "적어도 하나의 감광 영역을 각각 구비하는 광학 센서"라는 용어는 하나의 감광 영역을 각각 구비하는 복수의 단일 광학 센서의 구성과, 복수의 감광 영역을 구비하는 하나의 결합된 광학 센서의 구성을 의미한다. 따라서, "광학 센서"라는 용어는 또한 하나의 출력 신호를 생성하도록 구성된 감광 장치를 지칭하는 한편, 여기서는 2개 이상의 출력 신호를 생성하도록 구성된 감광 장치, 예를 들어, 적어도 하나의 CCD 및/또는 CMOS 장치가 2개 이상의 광학 센서로 지칭된다. 이하에 더 상세히 설명되는 바와 같이, 각각의 광학 센서는, 하나의 감광 영역이 전체 광학 센서에 대해 하나의 균일한 센서 신호가 정확하게 생성되는 조명에 응답하여, 조명될 수 있는 하나의 감광 영역을 정확하게 제공하는 것과 같이, 각각의 광학 센서 내에 정확하게 존재하도록 구현될 수 있다. 따라서, 각각의 광학 센서는 단일 영역 광학 센서일 수 있다. 그러나 단일 영역 광학 센서의 사용은, 특히, 간단하고 효율적인 검출기의 셋업을 가능하게 한다. 따라서, 일 예로서, 상업적으로 이용 가능한 실리콘 포토다이오드와 같이, 각각 정확하게 하나의 감지 영역을 구비하는 상업적으로 이용 가능한 광센서(photo sensor)가 셋업에 사용될 수 있다. 그러나, 다른 실시예도 가능하다. 따라서, 일 예로서, 본 발명의 맥락에서 2개, 3개, 4개 또는 4개 초과의 광학 센서로 간주되는 2개, 3개, 4개 또는 4개 초과의 감광 영역을 포함하는 광학 장치가 사용될 수 있다. 전술한 바와 같이, 센서 소자는 광학 센서의 매트릭스를 포함한다. 따라서, 일 예로서, 광학 센서는 픽셀화된 광학 장치의 일부이거나 이를 구성할 수 있다. 일 예로서, 광학 센서는 픽셀 매트릭스를 구비하는 적어도 하나의 CCD 및/또는 CMOS 장치의 일부이거나 이를 구성할 수 있으며, 각 픽셀은 감광 영역을 형성한다.
광학 센서는, 특히, 광검출기(photodetectors), 바람직하게는 무기(inorganic) 광검출기, 더 바람직하게는 무기 반도체 광검출기, 가장 바람직하게는 실리콘 광검출기일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위에서 감지할 수 있다. 매트릭스의 모든 광학 센서 또는 적어도 한 그룹의 매트릭스의 광학 센서는 구체적으로 동일할 수 있다. 매트릭스의 동일한 광학 센서의 그룹은, 특히, 상이한 스펙트럼 범위에 대하여 제공될 수 있거나, 모든 광학 센서가 스펙트럼 감도 측면에서 동일할 수 있다. 또한, 광학 센서는 그 크기 및/또는 그들의 전자적 또는 광전자적 특성과 관련하여 동일할 수 있다.
구체적으로, 광학 센서는 적외선 스펙트럼 범위, 바람직하게는 780nm 내지 3.0㎛ 범위에서 감지되는 무기 광다이오드일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서는 실리콘 광다이오드가, 특히, 700nm 내지 1,000nm의 범위에서 적용 가능한 근적외선 영역의 부분에서 감지할 수 있다. 광학 센서용으로 사용될 수 있는 적외선 광학 센서는 D-67056 Ludwigshafen am Rhein, Germany 소재의 trinamiX GmbH사의 HertzstueckTM라는 상표명으로 시판되고 있는 적외선 광학 센서와 같은 상업적으로 이용 가능한 적외선 광학 센서일 수 있다. 따라서, 일 예로서, 광학 센서는 진성 광전형(intrinsic photovoltaic type)의 적어도 하나의 광학 센서, 더욱 바람직하게는 Ge 광다이오드, InGaAs 광다이오드, 확장된 InGaAs 광다이오드, InAs 광다이오드, InSb 광다이오드, HgCdTe 광다이오드로 이루어진 그룹 중에서 선택되는 적어도 하나의 반도체 광다이오드를 포함할 수 있다. 부가적으로 또는 대안적으로, 광학 센서는 적어도 하나의 외적 광전형(extrinsic photovoltaic type) 광학 센서, 더욱 바람직하게는 Ge:Au 광다이오드, Ge:Hg 광다이오드, Ge:Cu 광다이오드, Ge:Zn 광다이오드, Si:Ga 광다이오드, Si:As 광다이오드로 이루어진 그룹 중에서 선택되는 적어도 하나의 반도체 광다이오드를 포함할 수 있다. 부가적으로 또는 대안적으로, 광학 센서는 적어도 하나의 볼로미터(bolometer), 바람직하게는 VO 볼로미터 및 비정질 Si 볼로미터로 이루어진 그룹으로부터 선택되는 볼로미터를 포함할 수 있다.
매트릭스는 독립적인 광학 센서로 구성될 수 있다. 따라서, 무기 광다이오드의 매트릭스가 구성될 수 있다. 그러나, 대안적으로, CCD 검출기 칩과 같은 하나 이상의 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기와 같이, 상업적으로 이용 가능한 매트릭스가 사용될 수도 있다.
따라서, 일반적으로, 검출기의 광학 센서는, 전술한 매트릭스와 같이, 센서 어레이를 형성할 수 있거나 센서 어레이의 일부일 수 있다. 따라서, 일 예로서, 검출기는 m개의 행과 n개의 열로 구성된 장방형 어레이와 같은 광학 센서의 어레이를 포함할 수 있고, 여기서, m, n은 독립적이고, 양의 정수이다. 바람직하게는, 하나 초과의 열 및 하나 초과의 행, 즉, n>1, m>1이 주어진다. 따라서, 일 예로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 개수와 열의 개수의 비율은 1에 가깝다. 일 예로서, m/n = 1:1, 4:3, 16:9 또는 이와 유사한 것을 선택하는 것과 같이, n과 m은 0.3≤m/n≤3인 것으로 선택될 수 있다. 일 예로서, 어레이는 m=2, n=2 또는 m=3, n=3 등을 선택하는 것과 같이, 같은 수의 행과 열로 구성된 정방형 어레이일 수 있다.
매트릭스는 구체적으로 적어도 하나의 행, 바람직하게는 복수의 행 및 복수의 열로 이루어진 장방형 매트릭스일 수 있다. 일 예로서, 행과 열은 실질적으로 수직 방향으로 지향될 수 있다. 본 명세서에 사용되는 "실질적으로 수직(essentially perpendicular)"이라는 용어는, 예를 들어, 허용 오차가 ±20° 이하, 바람직하게는 ±10° 이하, 더욱 바람직하게는 ±5° 이하인 수직 방위의 조건을 의미한다. 따라서, 일 예로서, 20° 미만, 특히, 10° 미만 또는 심지어 5° 미만의 허용 오차가 허용될 수 있다. 넓은 범위의 시야를 제공하기 위해, 매트릭스는 구체적으로 적어도 10행, 바람직하게는 적어도 50행, 더 바람직하게는 적어도 100행으로 이루어질 수 있다. 마찬가지로, 매트릭스는 적어도 10열, 바람직하게는 적어도 50열, 더 바람직하게는 적어도 100열로 이루어질 수 있다. 매트릭스는 적어도 50개의 광학 센서, 바람직하게는 적어도 100개의 광학 센서, 더 바람직하게는 적어도 500개의 광학 센서를 포함할 수 있다. 매트릭스는 멀티메가 픽셀 범위의 많은 픽셀을 포함할 수 있다. 그러나, 다른 실시예도 가능하다. 따라서, 축 회전 대칭이 예상되는 셋업에서는, 픽셀이라고도 지칭될 수 있는 매트릭스의 광학 센서의 원형 배열체나 동심원 배열체가 바람직할 수 있다.
센서 소자는 검출기의 광축에 실질적으로 수직으로 지향되는 것이 바람직할 수 있다. 다시, "실질적으로 수직"이라는 용어와 관련하여, 위에 주어진 정의와 허용 오차가 참조될 수 있다. 광축은 직선 광축일 수 있거나 또는 하나 이상의 편향 요소 및/또는 하나 이상의 빔 스플리터를 사용하는 것과 같이, 구부러지거나 심지어 분할될 수 있고, 후자의 경우, 실질적으로 수직 방위는 광학 셋업 각각의 브랜치(branch) 또는 빔 경로 내의 로컬 광축을 지칭할 수 있다.
본 명세서에 사용되는 "대상체로부터 전파되는 광빔"이라는 용어는 대상체로부터 비롯될 수 있거나, 대상체를 직간접적으로 조명하는 조명원과 같은 조명원으로부터 비롯될 수 있는 적어도 하나의 광빔을 지칭하고, 여기서, 광빔은 대상체에 의해 반사되거나 산란되고, 그로 인해 검출기를 향해 적어도 부분적으로 지향된다. 대상체로부터 전파되는 광빔은 이하에서 "반사광빔"으로 표시될 수도 있다. 검출기는 능동 및/또는 수동 조명 시나리오에서 사용될 수 있다. 예를 들어, 적어도 하나의 조명원은 광빔을 반사하는 대상체를 향해 광빔을 지향시킴으로써 대상체를 비추도록 구성될 수 있다. 조명원은 적어도 하나의 다중 빔 광원이거나 이를 포함할 수 있다. 예를 들어, 조명원은 하나 이상의 레이저원과 하나 이상의 DOE(Diffractive Optical Element)를 포함할 수 있다. 부가적으로 또는 대안적으로, 검출기는 장면에 이미 존재하는 방사선, 예를 들어, 적어도 하나의 주변 광원으로부터의 방사선을 사용할 수 있다.
대상체로부터 검출기로 전파되는 광빔은 적어도 하나의 광학 센서가 광빔 내에 완전히 위치되도록 적어도 하나의 광학 센서를 완전히 조명할 수 있는 데, 여기서, 광빔의 폭은 센서 신호가 발생되는 적어도 하나의 광학 센서의 감광 영역보다 크다. 반대로, 바람직하게는, 반사광빔은 광 스폿이 매트릭스 내에 완전히 위치되도록 매트릭스보다 작은 광 스폿을 전체 매트릭스 상에 생성할 수 있다. 이러한 상황은, 이하에 더욱 상세히 설명되는 바와 같이, 예컨대, 적절한 전송 장치를 사용하여, 광빔에 포커싱 또는 디포커싱 효과를 나타내는 하나 이상의 적절한 렌즈나 소자를 선택함으로써 광학 분야의 당업자에 의해 쉽게 조정될 수 있다. 본 명세서에서 추가로 사용되는 용어 "광 스폿"은 일반적으로 광빔에 의한 물품, 영역 또는 대상체의 가시 조명이나 검출 가능한 원형 또는 비원형 조명을 지칭한다.
또한, 본 명세서에 사용되는 "센서 신호"라는 용어는 일반적으로 광빔에 의한 조명에 응답하여 광학 센서에 의해 생성된 신호를 의미한다. 구체적으로, 센서 신호는 적어도 하나의 아날로그 전기 신호 및/또는 적어도 하나의 디지털 전기 신호와 같은 적어도 하나의 전기 신호일 수 있거나 이를 포함할 수 있다. 더 구체적으로, 센서 신호는 적어도 하나의 전압 신호 및/또는 적어도 하나의 전류 신호이거나 이를 포함할 수 있다. 보다 구체적으로, 센서 신호는 적어도 하나의 광전류를 포함할 수 있다. 또한, 미가공 센서 신호를 사용하거나, 검출기, 광학 센서 또는 임의의 다른 소자가 센서 신호를 처리 또는 전처리하도록 구성되어, 2차 센서 신호를 생성할 수 있고, 이는 필터링 등에 의한 전처리와 같은 센서 신호로도 사용될 수 있다.
감광 영역은, 특히, 대상체를 향해 지향될 수 있다. 본 명세서에 사용되는 "대상체를 향해 지향된다"라는 용어는 일반적으로 감광 영역의 각 표면이 대상체로부터 전체적 또는 부분적으로 가시화되는 상황을 의미한다. 구체적으로, 대상체의 적어도 하나의 포인트와 각 감광 영역의 적어도 하나의 포인트 사이의 적어도 하나의 상호 연결선은 감광 영역의 표면 요소와 0°와는 다른 각도, 예컨대, 20° 내지 90°, 바람직하게는 90°와 같은 80° 내지 90°의 각도를 형성할 수 있다. 따라서, 대상체가 광축 상에 또는 광축에 근접하여 위치될 때, 대상체로부터 검출기를 향해 전파하는 광빔은 실질적으로 광축에 평행할 수 있다. 본 명세서에 사용되는 "실질적으로 수직"이라는 용어는, 예를 들어, 허용 오차가 ±20° 이하, 바람직하게는 ±10° 이하, 더욱 바람직하게는 ±5° 이하인 수직 방위의 조건을 의미한다. 유사하게, "실질적으로 평행"이라는 용어는, 예를 들어, 허용 오차가 ±20° 이하, 바람직하게는 ±10° 이하, 더욱 바람직하게는 ±5° 이하인 평행 방위의 조건을 의미한다.
본 명세서에 사용되는 "광선(ray)"이라는 용어는 일반적으로 에너지의 흐름 방향을 가리키는 광의 파면(wavefront)에 수직인 선을 의미한다. 본 명세서에 사용되는 "빔"이라는 용어는 일반적으로 광선의 집합을 지칭한다. 이하에서는 용어 "광선"과 "빔"은 동의어로 사용될 것이다. 또한, 본 명세서에 사용되는 "광빔"이라는 용어는 일반적으로 광량, 특히, 확산각(spreading angle)이나 광각(widening angle)을 포함하는 광빔의 가능성을 포함하여, 본질적으로 동일 방향으로 진행하는 광량을 의미한다. 광빔에는 공간적 확장성이 포함될 수 있다. 구체적으로, 광빔에는 비가우스 빔 프로파일(non-Gaussian beam profile)이 포함될 수 있다. 상기 빔 프로파일은 사다리꼴 빔 프로파일, 삼각형 빔 프로파일, 원추형 빔 프로파일로 이루어진 그룹 중에서 선택될 수 있다. 사다리꼴 빔 프로파일은 고원 영역(plateau region) 및 적어도 하나의 가장자리 영역으로 이루어질 수 있다. 광빔은, 구체적으로, 이하에 상세하게 설명하는 바와 같이, 가우스 광빔이나 가우스 광빔의 선형 조합일 수 있다. 그러나, 다른 실시예도 가능하다. 전송 장치는 빔 프로파일, 특히, 빔 프로파일의 형상을 조정, 정의 및 결정하는 것 중 하나 이상을 위해 구성될 수 있다.
광학 센서는 자외선, 가시광선 또는 적외선 스펙트럼 범위 중 하나 이상에서 감지할 수 있다. 구체적으로, 광학 센서는 390nm 내지 780nm, 가장 바람직하게는 650nm 내지 750nm 또는 690nm 내지 700nm의 가시 스펙트럼 범위에서 감지할 수 있다. 구체적으로, 광학 센서는 근적외선 영역에서 감지할 수 있다. 구체적으로, 광학 센서는 실리콘 광다이오드가, 특히, 700nm 내지 1,000nm의 범위에서 적용 가능한 근적외선 영역의 부분에서 감지할 수 있다. 구체적으로, 광학 센서는 적외선 스펙트럼 범위, 특히, 780nm 내지 3.0㎛ 범위에서 감지할 수 있다. 예를 들어, 광학 센서 각각은, 독립적으로, 광다이오드(photodiode), 광전지(photocell), 광전도체(photoconductor), 광트랜지스터(phototransistor) 또는 이들의 임의의 조합으로 이루어진 그룹 중에서 선택된 적어도 하나의 소자이거나 이를 포함할 수 있다. 예를 들어, 광학 센서는 CCD 센서 소자, CMOS 센서 소자, 광다이오드, 광전지, 광전도체, 광트랜지스터 또는 이들의 임의의 조합으로 이루어진 그룹 중에서 선택된 적어도 하나의 소자를 포함하거나 이를 포함할 수 있다. 임의의 다른 유형의 감광성 소자가 사용될 수 있다. 이하에 더욱 상세하게 설명되는 바와 같이, 감광성 소자는 일반적으로 전체적 또는 부분적으로 무기 재료로 제조될 수 있고/있거나 전체적 또는 부분적으로 유기 재료로 제조될 수도 있다. 가장 일반적으로, 이하에 더욱 상세하게 설명하는 바와 같이, 상업적으로 이용 가능한 광다이오드, 예컨대, 무기 반도체 광다이오드와 같은 하나 이상의 광다이오드가 사용될 수 있다.
센서 소자는 적어도 하나의 반사 이미지를 결정하도록 구성된다. 본 명세서에 사용되는 용어 "반사 이미지"는 적어도 하나의 반사 특징을 포함하는 센서 소자에 의해 결정된 이미지를 지칭한다. 본 명세서에 사용되는 용어 "반사 특징"은, 예를 들어, 적어도 하나의 조명 특징을 구비하는 조명에 응답하여, 대상체에 의해 생성된 이미지 평면 내의 특징을 지칭한다. 본 명세서에 사용되는 용어 "조명 특징"은 대상체를 비추도록 구성된 적어도 하나의 주변 광원이나 적어도 하나의 조명원에 의해 생성된 적어도 하나의 임의의 형상 특징을 지칭한다. 본 명세서에 사용되는 "적어도 하나의 반사 이미지를 결정하는 것"이라는 용어는 반사 이미지의 촬상, 기록 및 생성 중 하나 이상을 지칭한다.
반사 이미지는 적어도 하나의 반사 패턴을 포함할 수 있다. 본 명세서에 사용되는 용어 "반사 패턴"은 대상체 표면에서의 광의 반사 또는 산란에 의해 생성된 응답 패턴, 특히, 조명 패턴에 의한 조명에 응답하여 대상체에 의해 생성된 응답 패턴을 지칭한다. 조명 패턴은 대상체를 비추도록 구성된 적어도 하나의 특징을 포함할 수 있다. 조명 특징은 주변광 또는 적어도 하나의 조명원에 의해 생성될 수 있다. 반사 패턴은 조명 패턴의 적어도 하나의 특징에 대응하는 적어도 하나의 특징을 포함할 수 있다. 반사 패턴은 조명 패턴과 비교하여 적어도 하나의 왜곡된 패턴을 포함할 수 있고, 여기서, 왜곡은 대상체의 표면 특성과 같은 대상체의 거리에 좌우된다.
검출기는 조명원을 더 포함할 수 있다. 일 예로서, 조명원은 대상체를 비추기 위한 조명광빔을 생성하도록 구성될 수 있다. 검출기는 조명광빔이 검출기로부터 검출기의 광축을 따라 대상체를 향해 전파하도록 구성될 수 있다. 이 목적을 위해, 검출기는 조명광빔을 광축 상으로 편향시키기 위한 적어도 하나의 반사 소자, 바람직하게는 적어도 하나의 프리즘을 포함할 수 있다.
조명원은 대상체의 조명을 위한 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 부가적으로 또는 대안적으로, 조명 패턴은 적어도 하나의 주변 광원에 의해 생성될 수 있다. 검출기는 조명 패턴이 검출기로부터, 특히, 하우징의 적어도 하나의 개구로부터 검출기의 광축에 평행하고/평행하거나 광축을 따라 대상체를 향해 전파하도록 구성될 수 있다. 이 목적을 위해, 검출기는 광축에 평행하거나 광축을 따라 전파하도록 조명을 편향시키기 위한 적어도 하나의 반사 요소, 바람직하게는 적어도 하나의 프리즘을 포함할 수 있다. 구체적으로, 조명원은 적어도 하나의 레이저 및/또는 레이저 광원을 포함할 수 있다. 반도체 레이저와 같은 다양한 유형의 레이저가 사용될 수 있다. 부가적으로 또는 대안적으로, LED 및/또는 전구와 같이 비레이저 광원이 사용될 수 있다. 본 명세서에 사용되는 용어 "패턴"은 적어도 하나의 임의 형상의 특징을 포함하는 임의의 공지되거나 사전 결정된 배열을 의미한다. 상기 패턴은 포인트 또는 심볼과 같은 적어도 하나의 특징을 포함할 수 있다. 상기 패턴은 복수의 특징을 포함할 수 있다. 상기 패턴은 주기적 또는 비주기적 특징의 배열을 포함할 수 있다. 본 명세서에 사용되는 용어 "조명 패턴"은 대상체를 비추는 패턴을 지칭한다. 조명 패턴은 적어도 하나의 주변 광원 또는 적어도 하나의 조명원에 의한 것과 같은 주변광에 의해 생성될 수 있다. 조명 패턴은, 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴; 랜덤 포인트 패턴 또는 의사 랜덤 패턴; 적어도 하나의 소볼 패턴(Sobol pattern); 적어도 하나의 준주기 패턴(quasiperiodic pattern); 적어도 하나의 알려진 특징을 포함하는 적어도 하나의 패턴; 적어도 하나의 정규 패턴; 적어도 하나의 삼각형 패턴; 적어도 하나의 육각형 패턴; 볼록한 균일한 타일링을 포함하는 적어도 하나의 직사각형 패턴; 적어도 하나의 라인을 포함하는 적어도 하나의 선 패턴; 평행선 또는 교차선과 같은 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 이루어진 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원은 점 구름(a cloud of points)을 생성 및/또는 투영하도록 구성될 수 있다. 조명 패턴은 삼각형 패턴, 직사각형 패턴, 육각형 패턴 또는 볼록한 타일링을 추가로 포함하는 패턴과 같은 규칙적 및/또는 일정 및/또는 주기적 패턴을 포함할 수 있다. 조명 패턴은 육각형 패턴이 바람직할 수 있도록 면적당 가능한 한 많은 특징을 포함할 수 있다. 조명 패턴의 2개의 특징간의 거리 및/또는 적어도 하나의 조명 특징의 영역은 이미지 내의 착란원(CoC, Circle of Confusion)에 의존할 수 있다.
조명원은 적어도 하나의 광 프로젝터, 적어도 하나의 DLP(Digital Light Processing) 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기, 적어도 하나의 회절 광학 소자, 적어도 하나의 발광 다이오드 어레이, 적어도 하나의 레이저 광원의 어레이 중 하나 이상을 포함할 수 있다. 조명원은 조명 패턴을 직접 생성하도록 구성된 적어도 하나의 광원을 포함할 수 있다. 예를 들어, 조명원은 적어도 하나의 레이저 광원을 포함할 수 있다. 예를 들어, 조명원은 적어도 하나의 선 레이저(line laser)를 포함할 수 있다. 선 레이저는 레이저선, 예를 들어, 수평 또는 수직 레이저선을 대상체에 전송하도록 구성될 수 있다. 조명원은 복수의 선 레이저를 포함할 수 있다. 예를 들어, 조명원은 조명 패턴이 적어도 2개의 평행선이나 교차선을 포함하도록 배열될 수 있는 적어도 2개의 선 레이저를 포함할 수 있다. 조명원은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있게 하기 위해 점 구름을 생성하도록 구성된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원은 조명원에 의해 생성된 적어도 하나의 광빔으로부터 조명 패턴을 생성하도록 구성된 적어도 하나의 마스크를 포함할 수 있다. 조명원은 스마트폰과 같은 모바일 장치에 장착되거나 통합된 것일 수 있다. 조명원은 자동 초점 기능과 같은 이미지를 결정하는 데 사용될 수 있는 추가 기능용으로 사용될 수 있다. 조명 장치는 헤드폰 잭과 같은 USB 커넥터나 폰 커넥터와 같은 커넥터를 사용하여 모바일 장치에 장착될 수 있다.
조명원은, 특히, 적외선 스펙트럼 범위에서 광을 방출하도록 구성될 수 있다. 그러나, 다른 스펙트럼 범위가 부가적으로 또는 대안적으로 실현 가능하다는 것을 유의해야 한다. 또한, 조명원은, 특히, 변조광이나 비변조광을 방출하도록 구성될 수 있다. 복수의 조명원이 사용되는 경우에, 다른 조명원은, 이하에 추가로 상세히 설명되는 바와 같이, 변조 주파수가 다를 수 있고, 이후에 광빔을 구별하는 데 사용될 수 있다. 검출기는 단일 광빔 또는 복수의 광빔을 평가하도록 구성될 수 있다. 복수의 광빔이 대상체로부터 검출기로 전파되는 경우, 광빔을 구별하기 위한 수단이 제공될 수 있다. 따라서, 광빔은 스펙트럼 특성이 상이할 수 있고, 검출기는 상이한 광빔을 구별하기 위한 하나 이상의 파장 선택 소자를 포함할 수 있다. 그 다음에, 각각의 광빔은 독립적으로 평가될 수 있다. 일 예로서, 파장 선택 소자는 하나 이상의 필터, 하나 이상의 프리즘, 하나 이상의 격자, 하나 이상의 이색성 거울(dichroitic mirror) 또는 이들의 임의 조합일 수 있거나 이를 포함할 수 있다. 또한, 부가적으로 또는 대안적으로, 2개 이상의 광빔을 구별하기 위해, 광빔은 특정 방식으로 변조될 수 있다. 따라서, 일 예로서, 광빔은 주파수 변조될 수 있고, 센서 신호는 상이한 광빔으로부터 유래하는 센서 신호를 그들의 복조 주파수에 따라 부분적으로 구별하기 위해 복조될 수 있다. 이들 기술은 일반적으로 고주파 전자 분야의 당업자에게 공지되어 있다. 일반적으로, 평가 장치는 상이한 변조로 이루어진 상이한 광빔을 구별하도록 구성될 수 있다.
특히, 조명원 및 광학 센서는 공통 평면 또는 상이한 평면에 배열될 수 있다. 조명원 및 광학 센서는 공간적 방위가 상이할 수 있다. 특히, 조명원과 센서 소자는 트위스트 배열로 배열될 수 있다.
조명원은 점 구름을 생성 및/또는 투영하도록 구성하여 광학 센서의 매트릭스, 예를 들어, CMOS 검출기 상에 복수의 조명 영역이 생성되게 할 수 있다. 또한, 광학 센서의 매트릭스 상에 스페클 및/또는 외부광 및/또는 다중 반사로 인한 교란과 같은 장애가 존재할 수 있다. 평가 장치는 적어도 하나의 관심 영역, 예를 들어, 대상체의 종 방향 좌표의 결정을 위해 사용되는 광빔에 의해 비춰진 하나 이상의 픽셀을 결정하도록 구성될 수 있다. 예를 들어, 평가 장치는 필터링 방법, 예를 들어, 블롭 분석(blob-analysis) 및/또는 가장자리 필터 및/또는 대상체 인식 방법을 수행하도록 구성될 수 있다.
본 명세서에서 또한 사용되는 용어 "평가 장치"는 일반적으로 바람직하게는 적어도 하나의 데이터 처리 장치, 더 바람직하게는 적어도 하나의 프로세서 및/또는 적어도 하나의 ASIC(Application-Specific Integrated Circuit)을 사용하여, 지정된 동작을 수행하도록 구성된 임의의 장치를 지칭한다. 따라서, 일 예로서, 적어도 하나의 평가 장치는 다수의 컴퓨터 명령을 포함하는 소프트웨어 코드가 저장된 적어도 하나의 데이터 처리 장치를 포함할 수 있다. 평가 장치는 하나 이상의 지정된 동작을 수행하기 위한 하나 이상의 하드웨어 요소를 제공할 수 있고/있거나 하나 이상의 지정된 동작을 수행하기 위한 소프트웨어가 구동되는 하나 이상의 프로세서를 제공할 수 있다. 평가 장치는 기준 특징의 선택, 종 방향 좌표 z의 결정과 같은 이미지 분석을 수행하도록 구성된 하나 이상의 컴퓨터, ASIC(Application-Specific Integrated Circuit), DSP(Digital Signal Processor) 또는 FPGA(Field Programmable Gate Array)와 같은 하나 이상의 프로그래밍 가능한 장치를 포함할 수 있다. 그러나, 부가적으로 또는 대안적으로, 평가 장치는 하드웨어에 의해 전체적 또는 부분적으로 구현될 수 있다.
평가 장치는 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하도록 구성된다. 본 명세서에 사용되는 "적어도 하나의 반사 특징을 선택하는 것"이라는 용어는 반사 이미지의 적어도 하나의 반사 특징을 식별, 결정 및 선택하는 것 중 하나 이상을 의미한다. 평가 장치는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 사용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링; 적어도 하나의 관심 영역의 선택; 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 간의 차분 이미지 형성; 센서 신호에 의해 생성된 이미지를 반전시키는 것에 의한 센서 신호의 반전; 상이한 시간에 센서 신호에 의해 생성된 이미지 간의 차분 이미지 형성; 배경 보정; 컬러 채널로의 분해; 색조(hue)로의 분해; 채도(saturation); 및 밝기 채널; 주파수 분해; 단일값 분해(singular value decomposition); 캐니 에지 검출기(Canny edge detector) 적용; LoG 필터(Laplacian of Gaussian filter) 적용; DoG 필터(Difference of Gaussian filter) 적용; 소벨 연산자(Sobel operator) 적용; 라플라스 연산자(Laplacian operator) 적용; 샤르 연산자(Scharr operator) 적용; 프레위트 연산자(Prewitt operator) 적용; 로버츠 연산자(Roberts operator) 적용; 키르시 연산자(Kirsch operator) 적용; 고역 통과 필터 적용; 저역 통과 필터 적용; 푸리에 변환 적용; 라돈 변환(Radon transformation) 적용; 허프 변환(Hough transformation) 적용; 웨이블릿 변환(wavelet-transformation) 적용; 임계화(thresholding); 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정될 수 있거나, 광학 센서에 의해 생성된 이미지 내의 대상체를 인식하는 것과 같이 함으로써 자동적으로 결정될 수도 있다.
"반사 이미지에서의 이미지 위치"라는 용어는 반사 이미지에서의 반사 특징의 임의의 위치를 지칭한다. 예를 들어, 포인트형(point-like) 반사 특징의 경우, 이미지 위치는 반사 특징의 x 및 y 좌표일 수 있다. 예를 들어, 연장된 반사 특징의 경우, 이미지 위치는 반사 특징의 중심의 x 및 y 좌표와 같은 좌표일 수 있다. 종 방향 좌표 z는 반사 특징의 제 1 이미지 위치에 대응할 수 있다. "제 1", "제 2", "제 3" 등의 이미지 위치라는 용어는 단지 명칭으로만 사용되며, 이미지 위치의 순서를 나타내는 것은 아니다.
평가 장치는 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성된다. 구체적으로, 평가 장치는 적어도 하나의 거리 추정치를 결정하도록 구성될 수 있다. 본 명세서에 사용되는 용어 "거리 추정치(distance estimate)"는 종 방향 좌표의 적어도 하나의 추정치, 특히, 종 방향 좌표 z 및 종 방향 좌표 결정의 측정 불확실성 ±ε에 의해 정의된 적어도 하나의 불확실한 간격을 의미한다. 오차 간격 ε은 광학 센서의 측정 불확실성 및/또는 온도, 모션 등과 같은 추가 파라미터에 따라 달라질 수 있다. 광학 센서의 측정 불확실성은 사전 결정 및/또는 추정될 수 있고/있거나 평가 장치의 적어도 하나의 데이터 저장 유닛에 저장될 수 있다. 예를 들어, 오차 간격은 ±10%, 바람직하게는 ±5%, 더욱 바람직하게는 ±1%일 수 있다. 거리 추정치의 결정은 일반적으로 삼각 측량 방법보다 더 큰 에러 바(error bar)를 사용하여 거리 추정치를 산출할 수 있다. 종 방향 좌표 z는 디포커싱 깊이 알고리즘(depth-from-defocus algorithm)과 같은 적어도 하나의 컨볼루션 기반 알고리즘을 사용하여 결정될 수 있다. 반사 특징으로부터 거리를 얻기 위해, 디포커싱 깊이 알고리즘은 대상체의 디포커스를 추정한다. 이러한 추정을 위해, 블러링 함수(blurring function)를 가정한다. 본 명세서에 사용된 용어 "블러링 함수 fa"는 블러 커널(blur kernel) 또는 포인트 확산 함수(point spread function)라고도 지칭되며, 대상체로부터의 조명에 대한 검출기의 응답 함수를 의미한다. 특히, 블러링 함수는 디포커싱된 대상체의 블러를 모델링한다. 적어도 하나의 블러링 함수 fa는 하나의 함수이거나, 또는 가우스(Gaussian), 싱크 함수(sinc function), 필박스 함수(pillbox function), 제곱 함수, 로렌츠 함수(Lorentzian function), 방사형 함수(radial function), 다항식, 에르미트 다항식(Hermite polynomial), 저니케 다항식(Zernike polynomial), 르장드르 다항식(Legendre polynomial)으로 이루어진 그룹 중 적어도 하나의 함수로 구성된 복합 함수일 수 있다.
센서 소자는 적어도 하나의 반사 패턴을 결정하도록 구성될 수 있다. 평가 장치는 적어도 하나의 블러링 함수 fa를 최적화함으로써 반사 패턴의 적어도 하나의 특징을 선택하고, 반사 패턴의 선택된 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다.
블러링 함수는 적어도 하나의 블러링 함수의 파라미터를 변경함으로써 최적화될 수 있다. 반사 이미지는 블러 이미지 ib일 수 있다. 평가 장치는 블러 이미지 ib 및 블러링 함수 fa로부터 종 방향 좌표 z를 재구성하도록 구성될 수 있다. 종 방향 좌표 z는, 블러링 함수의 파라미터 σ을 변경함으로써, 블러 이미지 ib와, 적어도 하나의 추가 이미지 i'b와 블러링 함수 fa의 컨볼루션(*) 사이의 차이를 최소화하는 것, 즉,
에 의해 결정될 수 있다. σ(z)는 거리에 따른 블러링 파라미터의 세트이다. 추가 이미지는 흐리거나 선명할 수 있다. 본 명세서에서 사용되는 용어 "선명" 또는 "선명한 이미지"는 최대 콘트라스트를 갖는 블러 이미지를 지칭한다. 적어도 하나의 추가 이미지는 알려진 블러링 함수를 사용한 컨볼루션에 의해 블러 이미지 ib로부터 생성될 수 있다. 따라서, 디포커싱 깊이 알고리즘은 반사 특징의 거리 추정치를 얻기 위해 사용될 수 있다. 이 거리 추정치는 공액선이 선택되는 영역을 효율적으로 선택하는 데 사용될 수 있으며, 아래에서 더 상세하게 설명될 것이다. 그런 다음 삼각 측량과 선택된 공액선을 사용하여 거리를 계산할 수 있다. 거리 추정치의 결정은 대부분의 삼각 측량 방법과 달리 반사 이미지의 단일 특징에 적용될 수 있다. 따라서, 거리 추정치의 결정은, 대응 문제가 해결되는 더 작은 영역을 생성함으로써, 삼각 측량 방법의 속도를 증가시키는 데 사용될 수 있다.
평가 장치는 적어도 하나의 반사 특징에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정하도록 구성된다. 구체적으로, 평가 장치, 예컨대, 평가 장치의 적어도 하나의 이미지 처리 장치는 반사 특징에 대응하는 기준 이미지에서 기준 특징을 결정하기 위한 적어도 하나의 이미지 분석을 수행하도록 구성될 수 있다. 본 명세서에 사용되는 용어 "기준 이미지"는 반사 이미지와는 상이한 이미지를 지칭한다. 기준 이미지는 적어도 하나의 기준 특징을 기록하는 것, 적어도 하나의 기준 특징을 촬상하는 것, 기준 이미지를 계산하는 것 중 하나 이상에 의해 결정될 수 있다. 기준 이미지와 반사 이미지는 2개의 서로 다른 공간 구성에서 결정된다. 예를 들어, 기준 이미지와 반사 이미지 중 하나는 제 1 공간 위치 및/또는 공간 방위에서 제 1 광학 센서에 의해 결정될 수 있고, 기준 이미지와 반사 이미지 중 다른 하나는 제 1 공간 위치 및/또는 방위와는 다른 제 2 공간 위치 및/또는 공간 방위에서의 제 2 광학 센서에 의해 결정될 수 있다. 예를 들어, 기준 이미지와 반사 이미지는 상이한 시점 및/또는 상이한 공간 위치 및/또는 상이한 공간 방위에서 동일한 광학 센서에 의해 결정될 수 있다. 평가 장치는 적어도 하나의 기준 이미지가 저장될 수 있는 적어도 하나의 저장 장치를 포함할 수 있다. 기준 이미지는 사전 결정 및/또는 사전 공지된 기준 이미지일 수 있다. 예를 들어, 구조광을 사용하는 경우, 평가 장치는 각각의 기준 이미지의 구조광의 적어도 하나의 패턴에 따라 선택 및/또는 결정하도록 구성될 수 있다.
본 명세서에 사용되는 용어 "공간 구성"은 방위, 특히, 공간 각도 및/또는 비틀림 각도 및/또는 위치와 같은 공간에서의 기준 이미지와 반사 이미지의 배치를 지칭한다. 특히, 공간 구성은 방위, 특히, 공간 각도 및/또는 비틀림 각도 및/또는 위치와 같은 공간에서의 적어도 2개의 센서 소자의 배열 및/또는 적어도 하나의 센서 소자와 적어도 하나의 조명원의 배열을 지칭할 수 있다. 본 명세서에 사용되는 용어 "상대적 공간 성상(relative spatial constellation)"은 공간에서 기준 이미지와 반사 이미지의 상대적인 정렬을 지칭한다. 상대적 공간 성상은 상대적 공간 방위와, 상대적 각도 위치와, 상대적 거리와, 상대적 변위와, 상대적 이동으로 이루어진 그룹으로부터 선택된 적어도 하나의 성상일 수 있다. 예를 들어, 상대적 공간 성상은 적어도 2개의 센서 소자 및/또는 적어도 하나의 센서 소자와 적어도 하나의 조명원의 상대적 공간 방위 및/또는 상대적 각도 위치 및/또는 상대 거리 및/또는 상대 변위 및/또는 상대 이동일 수 있다. 상대적 공간 성상은 기준선일 수 있다. 본 명세서에 사용되는 용어 "기준선"은 상대적 공간 방위, 및/또는 상대 각도나 상대적 비틀림 각도 및/또는 상대 거리 및/또는 상대 변위와 같은 상대적 각도 위치를 지칭한다. 평가 장치는 상대적 공간 성상의 결정값을 저장하도록 구성될 수 있다.
일 실시예에서, 검출기는 상대적 공간 성상, 특히, 기준선에 의해 분리된 적어도 2개의 센서 소자를 포함할 수 있다. 적어도 하나의 제 1 센서 소자는 기준 이미지를 기록하도록 구성될 수 있고, 적어도 하나의 제 2 센서 소자는 반사 이미지를 기록하도록 구성될 수 있다. 구체적으로, 제 1 센서 소자는 기준 이미지를 촬상하도록 구성될 수 있고, 적어도 하나의 제 2 센서 소자는 반사 이미지를 촬상하도록 구성될 수 있다. 제 1 광학 센서는 그것의 센서 소자가 기준 특징의 적어도 하나의 이미지를 수신하도록 배열될 수 있다. 제 2 광학 센서는 그것의 센서 소자가 반사 특징의 적어도 하나의 이미지를 수신하도록 배열될 수 있다. 제 1 및 제 2 센서 소자는 기계식 커넥터에 의해 분리될 수 있다. 기계식 커넥터는 조정 가능하고/가능하거나 비영구적일 수 있다. 검출기는 적어도 하나의 스테레오 카메라를 포함할 수 있다.
일 실시예에서, 검출기는 상이한 시간에 광학 센서의 동일 매트릭스를 사용하여 반사 이미지 및 기준 이미지를 기록하도록 구성될 수 있다. 예를 들어, 센서 소자는 제 1 공간 구성에서 제 2 공간 구성으로, 예를 들어, 일정 속도나 가변 속도로 이동하거나 이동되도록 구성될 수 있다. 구체적으로, 검출기는 제 1 위치에 광학 센서의 매트릭스를 위치시키도록 구성될 수 있고, 광학 센서의 매트릭스는 제 1 위치에서 기준 이미지를 촬상하도록 구성될 수 있다. 검출기는 제 1 위치와는 다른 제 2 위치에 광학 센서의 매트릭스를 위치시키도록 구성될 수 있고, 광학 센서의 매트릭스는 제 2 위치에서 반사 이미지를 촬상하도록 구성될 수 있다.
일 실시예에서, 검출기는 적어도 하나의 조명원을 포함할 수 있다. 조명원과 적어도 하나의 센서 소자는 기준선, 예를 들어, 기계식 커넥터에 의해 분리될 수 있다. 기계식 커넥터는 조정 가능하고/가능하거나 비영구적일 수 있다.
본 명세서에 사용되는 "적어도 하나의 반사 특징에 대응하는 적어도 하나의 제 2 이미지 위치에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정한다"라는 용어는 반사 특징에 대응하는 기준 이미지 내의 기준 특징을 선택하는 것을 의미한다. 전술한 바와 같이, 평가 장치는 이미지 분석을 수행하고, 기준 이미지의 특징을 식별하도록 구성될 수 있다. 평가 장치는 선택된 반사 특징과 종 방향 좌표가 실질적으로 동일한 기준 이미지 내의 적어도 하나의 기준 특징을 식별하도록 구성될 수 있다. "실질적으로 동일하다"라는 용어는 10% 이내, 바람직하게는 5% 이내, 가장 바람직하게는 1% 이내로 동일한 것을 의미한다. 반사 특징에 대응하는 기준 특징은 공액 기하(epipolar geometry)를 사용하여 결정될 수 있다. 공액 기하학에 대한 설명을 위해, 예를 들어, "3차원 컴퓨터 비전(Dreidimensionales Computersehen)" (Springer, Berlin Heidelberg, 1997. X. Jiang, H. Bunke)의 2장을 참조한다. 공액 기하는, 예를 들어, 기준 이미지와 반사 이미지의 기록 동안, 기준 이미지와 반사 이미지가 고정 거리의 상이한 공간 위치 및/또는 공간 방위에서 결정된 대상체의 이미지일 수 있음을 가정할 수 있다. 거리는 상대 거리일 수 있으며, 기준선으로도 표시될 수 있다. 평가 장치는 기준 이미지 내의 공액선을 결정하도록 구성될 수 있다. 기준 이미지와 반사 이미지의 상대적 위치를 알 수 있다. 예를 들어, 기준 이미지와 반사 이미지의 상대 위치는 평가 장치의 적어도 하나의 저장 유닛 내에 저장될 수 있다. 평가 장치는 반사 이미지의 선택된 반사 특징으로부터 그것이 시작된 실제의 특징까지 연장되는 직선을 결정하도록 구성될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 대상체 특징을 포함할 수 있다. 직선과 기준선은 공액면에 걸쳐 있다. 기준 이미지는 반사 이미지와는 상이한 상대적 성상에서 결정되므로, 대응 가능한 대상체 특징은 기준 이미지에서 공액선이라 불리는 직선상에 촬상될 수 있다. 공액선은 공액면과 기준 이미지의 교차점일 수 있다. 따라서, 반사 이미지의 선택된 특징에 대응하는 기준 이미지의 특징은 공액선 상에 있다. 노화, 온도 변화, 기계적 스트레스 등으로 인한 이미지의 왜곡이나 시스템 파라미터의 변화로 인해, 공액선이 서로 교차하거나 매우 근접할 수 있고/있거나 기준 특징과 반사 특징 간의 대응 관계가 불분명할 수 있다. 또한, 현실 세계에서 알려진 각각의 위치나 대상체는 기준 이미지에 투영될 수 있고 그 반대일 수도 있다. 투영은 검출기의 보정으로 인해 알 수 있지만, 보정은 특정 카메라의 공액 기하의 티치 인(teach-in)과 비슷하다.
대상체까지의 거리에 따라, 반사 특징의 이미지 위치에 대응하는 기준 특징은 반사 패턴의 이미지 위치와 비교하여 기준 패턴 내에서 변위될 수 있다. 기준 이미지는 선택된 반사 특징에 대응하는 기준 특징이 촬상될 수 있는 적어도 하나의 변위 영역을 포함할 수 있다. 변위 영역은 단 하나의 기준 특징을 포함할 수 있다. 변위 영역은 하나보다 많은 기준 특징을 포함할 수도 있다. 평가 장치는 적어도 하나의 종 방향 영역을 결정하도록 구성될 수 있으며, 여기서, 종 방향 영역은 종 방향 좌표 z와 오차 간격 ±ε에 의해 주어진다. 평가 장치는 종 방향 영역에 대응하는 적어도 하나의 기준 이미지에서 적어도 하나의 변위 영역을 결정하도록 구성될 수 있다. 변위 영역은 공액선 또는 공액선의 섹션을 포함할 수 있다. 변위 영역은 하나보다 많은 공액선 또는 하나보다 많은 공액선의 섹션을 포함할 수 있다. 변위 영역은 공액선을 따라 연장되거나, 공액선에 직교하여 연장되거나, 또는 양쪽 모두일 수 있다. 평가 장치는 기준 이미지 내의 적어도 하나의 공액선을 결정하도록 구성될 수 있다. 평가 장치는 종 방향 좌표 z에 대응하는 공액선을 따라 기준 특징을 결정하고, 오차 간격 ±ε에 대응하는 공액선을 따르거나 공액선에 직교하는 변위 영역의 범위를 결정하도록 구성될 수 있다. 거리 추정치의 측정 불확실성은, 측정 불확실성이 방향에 따라 상이할 수 있기 때문에, 비원형인 변위 영역을 초래할 수 있다. 구체적으로, 공액선(들)을 따르는 측정 불확실성은 공액선(들)에 대한 직교 방향에서의 측정 불확실성보다 클 수 있다. 변위 영역은 공액선(들)에 대해 직교 방향으로 연장되는 것을 포함할 수 있다. 평가 장치는 반사 특징의 이미지 위치 주위에 변위 영역을 결정할 수 있다. 평가 장치는 종 방향 좌표를 결정하고, z±ε에 대응하는 공액선을 따라 변위 영역을 결정하도록 구성될 수 있다. 평가 장치는 반사 특징의 제 2 이미지 위치 주위의 변위 영역을 결정할 수 있다.
평가 장치는 선택된 반사 특징을 변위 영역 내의 적어도 하나의 기준 특징과 매칭시키도록 구성될 수 있다. 본 명세서에 사용되는 용어 "매칭"은 대응하는 기준 및 반사 특징을 결정 및/또는 평가하는 것을 의미한다. 평가 장치는 결정된 종 방향 좌표 z를 고려하는 적어도 하나의 평가 알고리즘을 사용함으로써, 반사 이미지의 선택된 특징을 변위 영역 내의 기준 특징과 매칭시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다. 평가 장치는 변위 영역에 가장 근접한 공액선 및/또는 변위 영역 내의 공액선을 결정하도록 구성될 수 있다. 평가 장치는 반사 특징의 제 2 이미지 위치에 가장 근접한 공액선를 결정하도록 구성될 수 있다. 공액선을 따르는 변위 영역의 범위는 공액선에 직교하는 변위 영역의 범위보다 클 수 있다. 평가 장치는 대응하는 기준 특징을 결정하기 전에 공액선을 결정하도록 구성될 수 있다. 평가 장치는 각각의 반사 특징의 제 2 이미지 위치 주위의 변위 영역을 결정할 수 있다. 평가 장치는 변위 영역에 가장 근접한 공액선 및/또는 변위 영역 내의 공액선 및/또는 공액선에 직교하는 방향을 따라 변위 영역에 가장 근접한 공액선을 할당함으로써, 반사 특징의 제 2 이미지 위치 각각의 변위 영역 각각에 공액선을 할당하도록 구성될 수 있다. 평가 장치는 할당된 변위 영역에 가장 근접한 기준 특징 및/또는 할당된 변위 영역 내의 기준 특징 및/또는 할당된 공액선을 따라 할당된 변위 영역에 가장 근접한 기준 특징 및/또는 할당된 공액선을 따라 할당된 변위 영역 내의 기준 특징을 결정함으로써, 반사 특징의 제 2 이미지 위치에 대응하는 기준 특징을 결정하도록 구성될 수 있다.
부가적으로 또는 대안적으로, 평가 장치는, 다음의 단계를 수행하도록 구성될 수 있다.
― 각각의 반사 특징의 제 2 이미지 위치에 대한 변위 영역을 결정하는 단계;
― 공액선을 변위 영역에 가장 근접하게 및/또는 변위 영역 내에 및/또는 공액선에 직교하는 방향을 따라 변위 영역에 가장 근접하게 할당하는 것과 같이 함으로써, 각각의 반사 특징의 변위 영역에 공액선을 할당하는 단계;
― 기준 특징을 할당된 변위 영역에 가장 근접하게 및/또는 할당된 변위 영역 내에 및/또는 할당된 공액선을 따르는 할당된 변위 영역에 가장 근접하게 및/또는 할당된 공액선을 따르는 할당된 변위 영역 내에 할당하는 것과 같이 함으로써, 각각의 반사 특징에 대해 적어도 하나의 기준 특징을 할당 및/또는 결정하는 단계.
부가적으로 또는 대안적으로, 평가 장치는 제 2 이미지 내에서 반사 특징 및/또는 공액선의 거리를 비교함으로써 및/또는 제 2 이미지 내에서 반사 특징 및/또는 공액선의 ε-가중 거리와 같은 오차 가중 거리를 비교하고 더 짧은 거리 및/또는 ε-가중 거리에서의 공액선 및/또는 기준 특징을, 기준 특징 및/또는 반사 특징에 할당하는 것과 같이 함으로써, 반사 특징에 할당되는 둘 이상의 공액선 및/또는 기준 특징 사이를 결정하도록 구성될 수 있다.
평가 장치는 기준 특징 및 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치는 매칭된 기준 특징과 선택된 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치, 예컨대, 평가 장치의 적어도 하나의 데이터 처리 장치는, 특히, 기준 이미지와 반사 이미지 각각의 이미지 위치를 비교함으로써 기준 특징과 반사 특징의 변위를 결정하도록 구성될 수 있다. 본 명세서에 사용되는 용어 "변위"는 기준 이미지 내의 이미지 위치와 반사 이미지 내의 이미지 위치 사이의 차이를 의미한다. 평가 장치는 종 방향 좌표와 변위 사이의 사전 결정된 관계를 사용하여 매칭된 특징의 종 방향 정보를 결정하도록 구성될 수 있다. 본 명세서에 사용되는 "종 방향 정보"라는 용어는 종 방향 좌표 ztriang에 관한 정보를 지칭한다. 예를 들어, 종 방향 정보는 거리값일 수 있다. 평가 장치는 삼각 측량법을 이용하여 사전 결정된 관계를 결정하도록 구성될 수 있다. 반사 이미지에서 선택된 반사 특징의 위치와 매칭된 기준 특징의 위치 및/또는 선택된 반사 특징과 매칭된 기준 특징의 상대 변위가 알려져 있는 경우, 대응하는 대상체 특징의 종 방향 좌표는 삼각 측량에 의해 결정될 수 있다. 따라서, 평가 장치는, 예를 들어, 후속 및/또는 열별로 반사 특징을 선택하고, 기준 특징의 잠재적 위치 각각에 대해 삼각 측량을 사용하여 대응하는 거리값을 결정하도록 구성될 수 있다. 변위 및 대응 거리값은 평가 장치의 적어도 하나의 저장 장치에 저장될 수 있다. 평가 장치는, 일 예로써, 적어도 하나의 프로세서, 적어도 하나의 DSP, 적어도 하나의 FPGA 및/또는 적어도 하나의 ASIC과 같은 적어도 하나의 데이터 처리 장치를 포함할 수 있다. 또한, 종 방향 좌표 z와 변위 사이의 적어도 하나의 사전 결정되거나 결정 가능한 관계를 저장하기 위해, 사전 결정된 관계를 저장하기 위한 하나 이상의 룩업 테이블을 제공하는 것과 같은 적어도 하나의 데이터 저장 장치가 제공될 수 있다. 평가 장치는 카메라 및/또는 검출기의 고유 보정 및/또는 외부 보정을 위한 파라미터를 저장하도록 구성될 수 있다. 평가 장치는 Tsai 카메라 보정을 수행함으로써 카메라 및/또는 검출기의 고유 보정 및/또는 외부 보정을 위한 파라미터를 생성하도록 구성될 수 있다. 평가 장치는 전송 장치의 초점 길이, 방사상 렌즈 왜곡 계수, 방사상 렌즈 왜곡의 중심 좌표, 스캐닝 및 디지털화를 위한 하드웨어 타이밍의 결함으로 인한 임의의 불확실성을 설명하기 위한 스케일 팩터, 현실 세계와 카메라 좌표 간의 변환을 위한 회전 각도, 현실 세계와 카메라 좌표 간의 변환을 위한 변환 구성 요소, 조리개 각도, 이미지 센서 포맷, 주요 포인트(principal point), 기울기 계수, 카메라 중심, 카메라 헤딩(camera heading), 카메라 및/또는 조명원 사이의 기준선, 회전 또는 변환 파라미터, 개구, 초점 거리 등과 같은 파라미터를 계산 및/또는 추정하도록 구성될 수 있다.
평가 장치는 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하도록 구성된다. 전술한 바와 같이, 공액 기하는 반사 이미지와 기준 이미지의 상대적 공간 성상, 특히, 기준선에 대한 충분한 지식이 필요할 수 있다. 그러나, 조명원과 센서 소자와 같은 검출기 부품이나 적어도 2개의 센서 소자의 상대적 공간 성상은 알 수 없고/없거나, 측정 시간 동안, 예를 들어, 열 영향이나 기계적 응력으로 인해 변할 수 있다. 결정된 종 방향 좌표 z는 삼각 측량 시스템을 재보정하는 데 사용될 수 있다. 전술한 바와 같이, 평가 장치는 기준 특징과 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치는 대상체의 삼각 측량 종 방향 좌표 ztriang와 변위 사이의 사전 정의된 관계를 사용하여 대상체의 적어도 하나의 삼각 측량 종 방향 좌표 ztriang를 결정하도록 구성될 수 있다. 삼각 측량 종 방향 좌표 ztriang는 고정된 상대적 공간 성상을 가정하고 상대적 공간 성상의 사전 정의 및/또는 사전 결정된 값을 포함하는 공액 기하를 사용하여 제 1 및 제 2 이미지 위치에서 결정될 수 있다. 본 명세서에 사용되는 용어 "사전 정의된 관계"는 가정된 관계 및/또는 사전 결정된 관계 및/또는 사전 설정된 관계를 지칭한다. 특히, 사전 정의된 관계는 상대적 공간 성상에 따라 달라질 수 있다. 평가 장치는 사전 정의된 관계를 저장하도록 구성될 수 있다. 평가 장치는 디포커싱 깊이 알고리즘을 사용하는 것에 의해 결정된 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang를 비교하도록 구성될 수 있다. 평가 장치는 결정된 상대적 공간 성상을 고려하여 종 방향 좌표 z와 변위 사이의 실제 관계를 결정하도록 구성될 수 있다. 평가 장치, 예컨대, 평가 장치의 적어도 하나의 데이터 처리 장치는 결정된 상대적 공간 성상을 고려하여 종 방향 좌표 z와 변위 사이의 실제 관계를 결정하도록 구성될 수 있다. 용어 "실제 관계"는, 예를 들어, 삼각 측량 종 방향 좌표와 변위 사이의 관계 변화를 초래하는 상대적 공간 성상, 특히, 기준선의 온도와 같은 움직임이나 주변 영향으로 인한 변화를 지칭한다. 평가 장치는 실제 관계에 따라 사전 정의된 관계를 조정하도록 구성될 수 있다. 평가 장치는 사전 정의된 관계, 특히, 저장된 사전 정의된 관계를 실제 관계로 대체하도록 구성될 수 있고/있거나 이동 평균을 결정하고 사전 정의된 관계를 이동 평균으로 대체하도록 구성될 수 있다. 평가 장치는 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang 사이의 차이를 결정하도록 구성될 수 있다. 평가 장치는 결정된 차이를 적어도 하나의 임계값과 비교하고, 결정된 차이가 임계값 이상인 경우, 사전 정의된 관계를 조정하도록 구성될 수 있다. 평가 장치는 실제 관계와 종 방향 좌표 z로부터 상대적 공간 성상을 결정하도록 구성될 수 있다. 예를 들어, 검출기는 b가 기준선이고, d가 센서 상의 변위이고, f가 검출기의 전송 장치의 초점 길이이며, β가 조명원과 기준선 사이의 각도인 센서 소자와 적어도 하나의 조명원을 구비하는 적어도 하나의 시스템을 포함할 수 있다. β=90°의 경우,
따라서, 대상체까지의 절대 거리, 즉, 디포커싱 깊이 알고리즘으로부터 결정된 종 방향 좌표 z가 기지인 경우, ztriang은 z로 대체될 수 있고, 수정된 기준선 bcor는 다음 식으로 계산될 수 있다.
β가 90°보다 작은 경우, 
이다. 따라서, 대상체 z까지의 절대 거리가 기지인 경우, 수정된 기준선 bcor는 다음과 같이 계산될 수 있다.
그리고 각도 β는 다음 식으로부터 결정될 수 있다.
β와 b는 동시에 변할 수 있기 때문에, 후속 측정을 사용하여 두 값을 결정할 수 있다. 따라서, 삼각 측량 종 방향 좌표 ztriang, 즉, 센서 소자로부터 삼각 측량에 의해 결정된 대상체까지의 거리가 추가로 알려져 있는 특징점에 대한 종 방향 좌표 z의 측정치는 사전 정의된 관계를 정정하는 데 사용될 수 있다. 평가 장치는 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang을 사용함으로써 기준선 값과 같은 상대적 공간 성상의 값을 결정 및/또는 정정 및/또는 보정하도록 구성될 수 있다.
평가 장치는 센서의 변위 d, 전달 장치의 초점 거리 f, 온도, ztriang, 기준선 b, 조명원과 기준선 사이의 각도 β, 종 방향 좌표 z 등과 같은 다양한 센서 신호 및/또는 위치 및/또는 이미지 위치 및/또는 시스템 특성 및/또는 종 방향 좌표와 같은 파라미터를 포함하는 수학적 모델을 사용하여 보정된 상대적 공간 관계의 추정값을 결정하도록 구성될 수 있고, 여기서, 수학 모델은 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등에서 선택되어, 각 센서 신호에 측정 오차 및 부정확성이 발생한다는 점을 고려할 수 있다. 칼만 필터 등과 같은 상기 수학적 모델 중 하나에서의 이들 센서 신호의 융합은 상대적 공간 성상, 및/또는 종 방향 좌표 z 및/또는 삼각 측량 종 방향 좌표 ztrialg 및/또는 수정된 기준선 bcor의 측정과 같은 개선된 추정치를 산출할 수 있고, 또한 오차 보상을 개선하는 데 도움이 된다.
종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang는, 특히, 보정된 관계 및/또는 보정된 상대적 공간 성상의 통계적으로 확인된 값을 얻기 위해 복수의 특징점에 대해 결정될 수 있다. 상대적 공간 성상은 갑자기 변하지 않을 것이기 때문에, 이러한 통계적 평가가 적합할 수 있다.
평가 장치는 상대적 공간 성상을 결정하는 것을 반복하고/반복하거나 상대적 공간 성상을 재보정하도록 구성될 수 있다. 센서 소자는 적어도 하나의 제 2 반사 이미지를 결정하도록 구성될 수 있다. 평가 장치는 제 2 반사 이미지 내의 적어도 하나의 제 3 이미지 위치에서 제 2 반사 이미지의 적어도 하나의 제 2 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 제 2 반사 특징의 적어도 하나의 제 2 종 방향 좌표 z를 결정하도록 구성될 수 있다. 평가 장치는 제 2 기준 이미지 내의 적어도 하나의 제 4 이미지 위치에서 적어도 하나의 제 2 기준 이미지 내의 적어도 하나의 제 2 반사 특징에 대응하는 적어도 하나의 제 2 기준 특징을 결정하도록 구성될 수 있다. 제 2 기준 이미지와 제 2 반사 이미지는 서로 다른 2개의 공간 구성에서 결정될 수 있다. 공간 구성은 실제의 상대적 공간 성상에 따라 다를 수 있다. 평가 장치는 제 2 종 방향 좌표 z와 제 3 및 제 4 이미지 위치로부터 실제의 상대적 공간 성상을 결정하도록 구성될 수 있다. 평가 장치는 제 1 상대적 공간 성상과 실제의 상대적 공간 성상을 비교하도록 구성될 수 있다. 평가 장치는 실제의 상대적 공간 성상에 따라 제 1 상대적 공간 성상을 조정하도록 구성될 수 있다. 평가 장치는 제 1 상대적 공간 성상을 실제의 상대적 성상으로 대체하고/대체하거나 이동 평균을 결정하여 제 1 상대적 공간 성상을 이동 평균으로 대체하도록 구성될 수 있다. 평가 장치는 제 1 상대적 공간 성상과 실제의 상대적 공간 성상 간의 차이를 판단하도록 구성될 수 있다. 평가 장치는 결정된 차이를 적어도 하나의 임계값과 비교하고, 결정된 차이가 임계값 이상인 경우, 제 1 상대적 공간 성상을 조정하도록 구성될 수 있다.
기준선의 드리프트는 특히 온도 변화와 기계적 손상으로 인해 발생할 수 있다. 검출기는 적어도 하나의 온도 결정 유닛을 포함할 수 있다. 온도 결정 유닛은 검출기의 적어도 하나의 온도값을 결정하도록 구성될 수 있다. 평가 장치는 온도값을 고려한 상대적 공간 성상을 결정하고/결정하거나 온도값에 따른 상대적 공간 성상을 조정하도록 구성될 수 있다. 평가 장치는 상대적 공간 성상의 평가 및/또는 변화를 모니터링하도록 구성될 수 있다. 상대적 공간 성상의 모니터링은 시스템의 온도, 특히, 기준선을 형성하는 기계적 연결의 온도를 모니터링함으로써 개선될 수 있다.
평가 장치는 적어도 하나의 센서 소자와 적어도 하나의 조명원을 포함하는 시스템을 설치하도록 구성될 수 있다. 적어도 하나의 센서 소자와 조명원은 고정된 장소에 설치될 수 있지만, 사전 결정 및/또는 직접 및/또는 안정적인 기계적 연결 없이도 설치될 수 있다. 기계식 커넥터는 조정 가능하고/가능하거나 비영구적일 수 있다. 적어도 하나의 센서와 조명원의 상대적 공간 성상은 수동적으로 또는 자동적으로, 예컨대, 모터를 사용하여 자동적으로 또는 사용자에 의해 수동적으로, 또는 제조 단계 동안 조정될 수 있다. 상대적 공간 성상은 사용 중에도 변경되거나 조정될 수 있다. 평가 장치는, 적어도 하나의 블러링 함수 fa를 최적화함으로써 센서 소자에 의해 결정된 반사 이미지에서 적어도 하나의 반사 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다. 평가 장치는, 전술한 바와 같이, 종 방향 좌표 z를 사용하여 조명원과 센서 소자의 상대적 공간 성상을 결정하여 시스템을 보정하도록 구성될 수 있다.
평가 장치는 제 1 센서 소자와 제 2 센서 소자를 포함하는 유연한 상대적 성상, 특히, 유연한 기준선을 포함하는 모바일 스테레오 시스템을 설치하도록 구성될 수 있다. 제 1 센서 소자와 제 2 센서 소자는 고정된 장소에 설치될 수 있지만, 사전 결정 및/또는 직접 및/또는 안정적인 기계적 연결 없이도 설치될 수 있다. 기계적 연결은 기계식 커넥터를 통한 연결일 수 있다. 기계식 연결은 조정 가능하고/가능하거나 비영구적일 수 있다.
적어도 제 1 센서 소자와 제 2 센서 소자의 상대적 공간 성상은 수동적으로 또는 자동적으로, 예컨대, 모터를 사용하여 자동적으로 또는 사용자에 의해 수동적으로, 또는 제조 단계 동안 조정될 수 있다. 상대적 공간 성상은 사용 중에도 변경되거나 조정될 수 있다. 평가 장치는, 적어도 하나의 블러링 함수 fa를 최적화함으로써 센서 소자 중 하나에 의해 결정된 반사 이미지에서 적어도 하나의 반사 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다. 평가 장치는, 전술한 바와 같이, 종 방향 좌표 z를 사용하여 제 1 센서 소자와 제 2 센서 소자의 상대적 공간 성상을 결정하여 시스템을 보정하도록 구성될 수 있다.
디포커싱 깊이 방법(depth-from-defocus method)을 사용하면, 오차 간격 ε 내의 종 방향 좌표 z와 같이 거리를 추정하게 할 수 있다. 추정된 종 방향 좌표 및 대응하는 오차 간격에 대응하는 변위 영역을 결정함으로써, 공액선을 따라 가능한 솔루션의 수를 상당히 감소시킬 수 있다. 가능한 솔루션의 수는 하나로 줄어들 수도 있다. 종 방향 좌표 z 및 오차 간격의 결정은, 선택된 반사 특징 및 기준 특징을 매칭시키기 전에, 사전 평가 동안 수행될 수 있다. 이것은 계산 수요를 감소시켜서 비용을 상당히 절감시키고, 모바일 장치 또는 실외 장치에서의 사용을 가능하게 할 수 있다.
또한, 일반적으로 삼각 측량 시스템에서 기준선은 긴 거리를 감지하기 위해 길어야 한다. 거리 추정치를 사용한 종 방향 좌표 z 및 오차 간격의 사전 평가와, 선택된 반사 특징 및 기준 특징의 후속 매칭은 짧은 기준선을 사용하여 소형 장치를 제공하는 것을 가능하게 할 수 있다. 또한, 디포커싱 깊이 결과는 광원의 기준선이나 위치에 의존하지 않는다. 또한, 디포커싱 깊이를 사용한 종 방향 좌표 z 및 오차 간격의 사전 평가와, 선택된 반사 특징 및 기준 특징의 후속 매칭은 종래의 삼각 측량 시스템에 비해 정확도 및/또는 속도를 향상시킬 수 있고/있거나 계산 수요를 낮출 수 있다.
디포커싱 깊이 방법은 투영 포인트와 같은 이미지의 단일 특징으로부터의 거리를 추정하게 할 수 있다. 또한, 조명 패턴에서의 조명 포인트의 수와 같은 조명 특징의 수는 각 조명 포인트의 광 강도를 증가시키기 위해 눈 안전 규정을 준수하면서 주변 광과 경쟁하도록 감소될 수 있다. 종래의 삼각 측량 시스템에서, 조명 특징의 수가 감소되면, 반사 특징과 기준 특징에 매칭시키기 어려울 수 있다. 또한, 거리 측정의 분해능을 증가시키기 위해, 예컨대, 모바일 애플리케이션에서와 같은 평가 장치의 처리 능력을 증가시키지 않으면서 획득된 깊이 맵의 분해능을 증가시키기 위해, 조명 패턴에서의 조명 포인트의 수와 같은 조명 특징의 수가 증가될 수 있다.
특히, CMOS 기반 디포커싱 깊이 시스템은 이미지의 영역을 통합하고 이들의 몫을 형성하여 단안 이미지(monocular image)로부터의 거리를 추정할 수 있다. 통합은 원 또는 가장자리 형상을 따라 수행될 수 있다. 대응 문제를 해결하기 전에 디포커싱 깊이 기반 거리 추정을 적용하면, 가능한 솔루션 수가 크게 감소될 수 있다. 선택된 특징점에 대해 거리 추정이 수행될 수 있다. 거리 추정치와 이의 에러 바(error bar)는 라인 Xi의 섹션에 대응할 수 있고, 따라서, 공액선의 섹션에 대응될 수 있다. 예컨대, 구조광에 대한 대응 문제를 해결하기 위한 2차원 스케일링 알고리즘은 선형 스케일링 알고리즘으로 축소될 수 있다. 대응 문제 중에서 계산 능력은 상당히 감소될 수 있는 심각한 비용 요인이다.
디포커싱의 깊이를 사용하여 삼각 측량 시스템을 보정 및/또는 재보정할 수 있다. 디포커싱의 깊이 알고리즘을 사용하여, 종 방향 좌표 z와 같은 거리값이 특징점에 대해 결정되고 삼각 측량 거리도 결정되면, 디포커싱의 깊이 거리값을 사용하여 기준선 값을 수정할 수 있다. 디포커싱의 깊이 거리값은 재보정된 기준선의 통계적으로 확인된 값을 얻기 위해 많은 삼각 측량 측정값에 대해 결정될 수 있다. 기준선은 갑자기 변하지 않을 것이기 때문에, 이러한 통계적 평가가 적합하다. 기준선의 드리프트는 특히 온도 변화와 기계적 손상으로 인해 발생할 수 있다. 기준선의 모니터링은 시스템의 온도, 특히, 기준선을 형성하는 기계적 연결의 온도를 모니터링함으로써 개선될 수 있다. 또한, 유연한 기준선으로 모바일 스테레오 시스템을 설정하기 위해 디포커싱의 깊이 보정을 사용할 수 있는데, 즉, 2개의 카메라나 하나의 카메라 및 조명원은 고정된 장소에 설치될 수 있지만, 사전에 결정되거나, 직접 연결되거나 또는 안정적인 기계적 연결 없이도 설치될 수 있다. 그런 다음 디포커싱의 깊이 거리값을 사용하여 먼저 기준선을 결정하고 그에 따라 시스템을 보정할 수 있다. 보정 프로세스는 조명원의 위치를 결정하거나 재결정하는 것과 동일할 수 있다.
예를 들어, 기준 이미지는 이미지 평면에서 조명원의 위치에 있는 조명 패턴의 이미지일 수 있다. 평가 장치는 반사 패턴의 선택된 특징의 종 방향 영역에 대응하는 기준 이미지에서 변위 영역을 결정하도록 구성될 수 있다. 평가 장치는 반사 패턴의 선택된 특징을 변위 영역 내의 기준 패턴의 적어도 하나의 특징과 매칭시키도록 구성될 수 있다.
예를 들어, 검출기는 각각 광학 센서의 매트릭스를 구비하는 적어도 2개의 센서 소자를 포함할 수 있다. 적어도 하나의 제 1 센서 소자 및 적어도 하나의 제 2 센서 소자는 상이한 공간 위치 및/또는 방위에 위치될 수 있다. 적어도 하나의 제 1 센서 소자는 적어도 하나의 제 1 반사 패턴, 특히, 적어도 하나의 제 1 반사 특징을 결정하도록 구성될 수 있고, 적어도 하나의 제 2 센서 소자는 적어도 하나의 제 2 반사 패턴, 특히, 적어도 하나의 제 2 반사 특징을 결정하도록 구성될 수 있다. 평가 장치는 제 1 센서 소자 또는 제 2 센서 소자에 의해 결정된 적어도 하나의 이미지를 반사 이미지로서 선택하고, 제 1 센서 소자 또는 제 2 센서 소자 중 다른 하나에 의해 결정된 적어도 하나의 이미지를 기준 이미지로서 선택하도록 구성될 수 있다. 평가 장치는 적어도 하나의 블러링 함수 fa를 최적화함으로써 반사 패턴의 적어도 하나의 반사 특징을 선택하고, 종 방향 좌표를 결정하도록 구성될 수 있다. 평가 장치는 반사 패턴의 선택된 특징의 종 방향 영역에 대응하는 기준 이미지에서 변위 영역을 결정하도록 구성될 수 있으며, 여기서, 종 방향 영역은 종 방향 좌표 z와 오차 간격 ±ε에 의해 주어진다. 평가 장치는 반사 패턴의 선택된 특징을 변위 영역 내의 기준 패턴의 적어도 하나의 특징과 매칭시키도록 구성될 수 있다.
일 실시예에서, 검출기는 광학 센서의 동일 매트릭스를 사용하여 반사 이미지와 기준 이미지를 기록하도록 구성될 수 있고, 센서 소자는 제 1 공간 구성으로부터 적어도 하나의 제 2 공간 구성으로, 예를 들어, 일정하거나 가변적인 속도로 이동하거나 이동된다. 검출기는 이동 가능하거나 고정될 수 있는 적어도 하나의 조명원을 포함할 수 있다. 검출기는 복수의 이미지를 결정하도록 구성될 수 있고, 특히, 후속적으로, 이미지 중 하나는 반사 이미지로서 선택될 수 있고 다른 하나는 기준 이미지로서 선택될 수 있다. 평가 장치는, 예를 들어, 로보틱스 및 자동화 (ICRA), 2011년 IEEE 국제 컨퍼런스(출판사: IEEE ISBN: 978-1-61284-385-8)에서 Ramalingam 등에 의해 발표된, "Pose Estimation using Both Points and Lines for Geo-Localization"에 기술된 바와 같이, 모션이나 포즈 추정으로부터의 구조와 같은 3D 감지 방법을 수행하도록 구성될 수 있다. "모션으로부터의 구조"라는 용어는 모션으로부터의 구조와 모션으로부터의 형상 양쪽 모두에 대한 동의어로 사용될 것이다. 기준 이미지와, 기준선과 같은 반사 이미지의 고정된 상대적 공간 성상의 부족은, 소위, 스케일 드리프트(scale drift)와 거리 결정의 정확성 손실을 초래하거나 추가 정보 없이는 절대 거리 측정을 허용하지 않을 수 있다. 모션 및 포즈 추정 알고리즘으로부터의 구조는, 센서 소자가 근접하고 느리게 이동하거나 센서 소자가 멀리 떨어져 있고 빠르게 이동하는 경우, 이동 센서 소자에 의해 결정된 이미지의 이미지 정보만으로는 재구성할 수 없다. 특히, 모션 및 포즈 추정 알고리즘으로부터의 구조는 스케일링 팩터까지만 대상체의 횡 방향 및 종 방향 정보(예컨대, 크기, 치수, 거리) 및/또는 방위를 결정할 수 있는 반면, 스케일링 팩터는 절대적인 실제 거리 스케일로 평가 장치 내부의 임의의 거리 단위를 스케일링한다. 특히, 모션 및 포즈 추정 알고리즘으로부터의 구조는 이미지 정보를 절대 거리 스케일로 스케일링하기 위해 이미지 재구성에 대한 추가 정보를 필요로 한다. 평가 장치는 상대적 공간 성상에 대한 적어도 하나의 스케일링 팩터를 결정하도록 구성될 수 있다. 평가 장치는, 예컨대, 적어도 하나의 프로세서를 사용하여 스케일링 팩터를 결정하도록 구성될 수 있다. 평가 장치는 종 방향 좌표 z의 측정을 수행하고 종 방향 좌표 z로부터 스케일링 팩터를 결정하도록 구성될 수 있다. 본 명세서에 사용되는 스케일 팩터로도 지칭되는 용어 "스케일링 팩터"는 변환, 특히, 평가 장치의 거리 단위를 절대 스케일로 스케일링하는 팩터를 지칭한다. 예를 들어, 적어도 하나의 이미지 센서와 적어도 하나의 조명원으로 구성된 구조광 시스템에서, 시스템의 온도 증가로 인해 기준선이 길어질 수 있으며, 그 결과, 적어도 하나의 이미지 센서와 적어도 하나의 조명원 사이의 거리가 증가할 수 있는 반면, 적어도 하나의 렌즈와 같은 전송 소자의 초점 길이와 센서까지의 렌즈 거리는 고정되어 있다. 이 예에서, 반사 이미지에서 동일한 위치의 2개의 대상체를 비교할 때, 제 1 대상체는 최초 기준선과의 제 1 측정에서 측정될 수 있고, 제 2 대상체는 연장된 기준선과의 제 2 측정에서 측정될 수 있으며, 연장된 기준선으로 측정된 제 2 대상체는 최초 기준선으로 측정된 대상체보다 더 멀리 있는 것으로 보인다. 반사 이미지의 특징점을 대상체 자체의 대응하는 특징점과 연결하는 기준선과 직선 사이의 각도는 두 대상체에 대해 동일할 수 있어서, 2개의 측정값이 유사 삼각형의 원리(principle of similar triangles)를 사용하여 비교될 수 있다. 대상체의 거리는 직선을 따라 측정된다. 이 예에서, 유사 삼각형의 원리에 따르면, 렌즈와 기준선에 대한 대상체의 거리의 몫은 최초 기준선을 사용한 측정과 연장된 기준선을 사용한 측정에 대해 동일할 수 있다. 따라서, 최초 기준선을 연장된 기준선으로 스케일링하는 스케일링 팩터는 원래의 대상체 거리를 증가된 대상체 거리로 스케일링하는 것과 동일할 수 있다. 따라서, 유사 삼각형의 원리에 따라, 기준선의 스케일링 팩터도 거리 z를 스케일링한다. 스케일링 팩터의 결정은 관성 측정 유닛의 센서 데이터를 사용함으로써 더욱 개선될 수 있다.
평가 장치는 블러링 함수 fa를 최적화함으로써 센서 소자에 의해 기록된 적어도 하나의 이미지의 적어도 하나의 특징점에 대해 종 방향 좌표 z를 결정하고 그로부터 스케일링 팩터를 결정하도록 구성될 수 있다. 스케일링 팩터는 나머지 측정에 대해 유지될 수 있고/있거나 적어도 하나의 특징점이 하나의 이미지에서 다른 이미지로 추적될 수 있고/있거나 측정 동안 재계산될 수 있는 한 유지될 수 있다. 예를 들어, 스케일링 팩터는 센서 소자에 의해 기록된 모든 이미지에서 결정될 수 있다. 이는 통계적으로 검증되고 일관된 스케일링 팩터의 측정을 보장할 수 있다. 스케일링 팩터는 이미지의 단일 측정 지점으로부터 결정될 수 있고/있거나 스케일링 팩터는 복수의 측정값으로부터 결정될 수 있다. 특히, 평가 장치는 매체 스케일링 팩터를 결정하도록 구성될 수 있다.
평가 장치는 반사 이미지 및/또는 기준 이미지의 적어도 하나의 특징의 적어도 하나의 결정된 종 방향 좌표로부터 반사 이미지 및/또는 기준 이미지의 적어도 하나의 인접 특징의 적어도 하나의 종 방향 좌표를 각각 추론하도록 구성될 수 있다. 평가 장치는 반사 이미지의 적어도 하나의 추가 이미지 위치에서 적어도 하나의 추가 특징 i의 적어도 하나의 종 방향 좌표 zi를 제 1 이미지 위치의 종 방향 좌표 z로부터 추론하도록 구성될 수 있다. 용어 "추론하다"는 종 방향 좌표 zi를 추정하거나 결정하는 것을 지칭할 수 있다.
조명원 및/또는 센서 소자나 2개의 센서 소자가 상대적 변환 이동을 하는 경우에 스케일링 팩터를 결정하기 위해, 검출기는 각각 적어도 4개의 특징점을 포함하는 적어도 2개의 이미지를 결정하도록 구성될 수 있다. 구성 요소, 예컨대, 센서 소자가 회전하는 경우에 스케일링 팩터를 결정하기 위해, 검출기는 각각의 이미지가 적어도 6개의 특징점을 포함하는 적어도 2개의 이미지를 결정하도록 구성될 수 있다. 바람직하게, 이미지당 특징점의 수는 60개 이상 또는 600개 이상의 특징점과 같이 6개보다 훨씬 많다. 바람직하게, 이미지에서의 특징점은 서로 대응한다.
위에서 설명한 바와 같이, 검출기는 블러링 함수 fa를 최적화하여 대상체의 적어도 하나의 종 방향 좌표를 결정하도록 구성된다. 일 실시예에서, 전술한 바와 같이, 검출기는 상대적 공간 성상에 의해 분리된 2개의 광학 센서를 포함하는 스테레오 시스템으로 설계될 수 있다. 본 실시예에서, 검출기는 스테레오에 의한 삼각 측량을 사용하여 대상체로부터 검출기 및/또는 상대적 공간 성상까지의 거리를 결정하도록 구성될 수 있다.
스테레오에 의한 삼각 측량을 사용하는 것에 추가하거나 대안으로, 검출기는 적어도 하나의 광학 센서와 적어도 하나의 조명원을 포함하는 구조광 시스템으로서 설계될 수 있다. 본 실시예에서, 전술한 바와 같이, 검출기는 구조광을 사용하여 대상체로부터 검출기 및/또는 상대적 공간 성상까지의 거리를 결정하도록 구성될 수 있다. 스테레오에 의한 구조광 및/또는 삼각 측량을 사용하는 것에 추가하거나 대안으로, 전술한 바와 같이, 검출기는 모션으로부터의 구조나 모션 방법으로부터의 형상을 사용하여 대상체로부터 검출기 및/또는 상대적 공간 성상까지의 거리를 결정하는 데 사용될 수 있다. 검출기를 스테레오 시스템으로 설계할 수 없지만 단일 광학 센서로 설계할 수 있는 대안적인 실시예에서, 검출기는, 전술한 바와 같이, 구조광을 사용하여 대상체로부터 검출기 및/또는 상대적 공간 성상까지의 거리를 결정하도록 구성될 수 있다. 구조광을 사용하는 것에 추가하거나 대안으로, 검출기는, 전술한 바와 같이, 모션으로부터의 구조나 모션 방법으로부터의 형상을 사용하여 대상체로부터 검출기 및/또는 상대적 공간 성상까지의 거리를 결정할 수 있다.
검출기는 하나 이상의 추가 광학 소자와 같은 하나 이상의 추가 소자를 더 포함할 수 있다. 또한, 검출기는 적어도 하나의 하우징에 전체적 또는 부분적으로 통합될 수 있다.
검출기는 적어도 하나의 렌즈 및/또는 적어도 하나의 렌즈 시스템과 같은 전송 장치, 적어도 하나의 회절 광학 소자로 이루어진 그룹으로부터 선택된 적어도 하나의 광학 소자를 포함할 수 있다. "전송 장치"라는 용어는, "전송 시스템"으로도 지칭되고, 예컨대, 광빔의 빔 파라미터, 광빔의 폭, 또는 광빔의 방향 중 하나 이상을 변형함으로써, 광빔을 변형하도록 구성되는 하나 이상의 광학 소자를 일반적으로 의미한다. 전송 장치는 광빔을 광학 센서 상으로 안내하도록 구성될 수 있다. 전송 장치는 구체적으로 적어도 하나의 렌즈, 예를 들어, 적어도 하나의 가변 초점 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 이루어진 그룹으로부터 선택된 적어도 하나의 렌즈; 적어도 하나의 회절 광학 소자; 적어도 하나의 오목 거울; 적어도 하나의 빔 편향 요소, 바람직하게는 적어도 하나의 미러; 적어도 하나의 빔 분할 소자, 바람직하게는 빔 분할 큐브 또는 빔 분할 미러 중 적어도 하나; 적어도 하나의 다중 렌즈 시스템 중 하나 이상을 포함할 수 있다. 본 명세서에 사용되는 전송 장치의 "초점 길이"라는 용어는 전송 장치에 충돌할 수 있는 입사 시준된 광선을, "초점 위치"로도 표시될 수 있는 "초점"으로 가져오는 거리를 의미한다. 따라서, 초점 길이는 충돌하는 광빔을 수렴하는 전송 장치의 능력을 측정하는 측도이다. 따라서, 전송 장치는 수렴 렌즈의 효과를 가질 수 있는 하나 이상의 촬상 소자를 포함할 수 있다. 예로서, 전송 장치는 하나 이상의 렌즈, 특히, 하나 이상의 굴절 렌즈 및/또는 하나 이상의 볼록 거울을 가질 수 있다. 이 예에서, 초점 길이는 얇은 굴절 렌즈의 중심으로부터 얇은 렌즈의 주요 초점 포인트까지의 거리로 정의될 수 있다. 볼록 렌즈나 얇은 양면 볼록 렌즈와 같은 얇은 수렴형 굴절 렌즈의 경우, 초점 길이는 양의 값인 것으로 간주될 수 있고, 전송 장치가 단일 포인트에 포커싱될 수 있기 때문에, 얇은 렌즈에 충돌하는 시준광의 빔으로 거리를 제공할 수 있다. 또한, 전송 장치는 적어도 하나의 파장 선택 소자, 예를 들어, 적어도 하나의 광학 필터를 포함할 수 있다. 또한, 전송 장치는, 예를 들어, 센서 영역 및 특히 센서 구역의 위치에서 전자기 방사선에 사전 정의된 빔 프로파일을 강조하도록 디자인될 수 있다. 전송 장치의 전술한 선택적 실시예는 원칙적으로 개별적으로 또는 임의의 원하는 조합으로 실현될 수 있다.
전송 장치는 하나의 광축을 포함할 수 있다. 특히, 검출기와 전송 장치는 공통 광축을 포함한다. 본 명세서에 사용되는 "전송 장치의 광축"이라는 용어는 일반적으로 렌즈 또는 렌즈 시스템의 거울 대칭축 또는 회전 대칭축을 의미한다. 검출기의 광축은 검출기의 광학 셋업의 대칭선일 수 있다. 검출기는 적어도 하나의 전송 장치, 바람직하게는 적어도 하나의 렌즈를 구비하는 적어도 하나의 전송 시스템을 포함한다. 일 예로서, 전송 시스템은 적어도 하나의 빔 경로를 포함할 수 있고, 빔 경로 내의 전송 시스템의 소자는 광축에 대해 회전 대칭 방식으로 위치될 수 있다. 계속해서, 이하에 더욱 상세히 설명되는 바와 같이, 빔 경로 내에 위치된 하나 이상의 광학 소자는 광축에 대하여 중심이 벗어나거나 경사질 수도 있다. 그러나, 이 경우, 빔 경로 내의 광학 소자의 중심을 상호 연결함으로써, 예를 들어, 렌즈의 중심을 상호 연결하는 것에 의한 것과 같이, 광축이 순차적으로 정의될 수 있고, 이러한 맥락에서, 광학 센서는 광학 소자에 포함되지 않는다. 광축은 일반적으로 빔 경로를 나타낼 수 있다. 여기서, 검출기는 대상체로부터 광학 센서로 진행될 수 있는 광빔을 따라 단일 빔 경로로 이루어질 수 있거나, 복수의 빔 경로로 이루어질 수 있다. 일 예로서, 단일 빔 경로가 주어지거나, 빔 경로가 2개 이상의 부분 빔 경로로 분할될 수도 있다. 후자의 경우, 각각의 부분 빔 경로는 자체 광축을 포함할 수 있다. 광학 센서는 하나의 동일한 빔 경로 또는 부분 빔 경로에 위치될 수 있다. 그러나, 대안적으로, 광학 센서는 상이한 부분 빔 경로에 위치될 수도 있다.
전송 장치는 좌표계를 구성할 수 있고, 여기서, 종 방향 좌표 I는 광축을 따르는 좌표이고, d는 광축으로부터의 공간 오프셋이다. 좌표계는 전송 장치의 광축이 z축을 형성하고, z축으로부터의 거리 및 극각(polar angle)이 추가 좌표로서 사용될 수 있는 극 좌표계가 사용될 수 있다. z축에 평행하거나 역평행한 방향은 종 방향으로 간주될 수 있고, z축을 따르는 좌표는 종 방향 좌표 I로 간주될 수 있다. z축에 수직인 임의의 방향은 횡 방향으로 간주될 수 있고, 극 좌표 및/또는 극각은 횡 방향 좌표로 간주될 수 있다.
전송 장치는 측정 범위 내에서 초점 변화를 최대화하도록 배열 및/또는 구성될 수 있다. 디포커싱 깊이 방법을 사용하는 장치의 경우, 측정 범위 내에서 초점 변경을 최대화하는 것이 유리할 수 있고, 특히, 측정 범위 내에서 초점 깊이를 줄이는 것이 유리할 수 있다.
전술한 바와 같이, 검출기는 전체 대상체 또는 대상체의 하나 이상의 부분의 종 방향 좌표를 결정하는 옵션을 포함하여, 대상체의 적어도 하나의 종 방향 좌표를 결정하게 할 수 있다. 그러나, 하나 이상의 횡 방향 좌표 및/또는 회전 좌표를 포함하는 대상체의 다른 좌표는 또한 검출기, 특히, 평가 장치에 의해 결정될 수 있다. 따라서, 일 예로서, 하나 이상의 횡 방향 센서는 대상체의 적어도 하나의 횡 방향 좌표를 결정하는 데 사용될 수 있다. 전술한 바와 같이, 중심 신호가 발생되는 적어도 하나의 광학 센서의 위치는 대상체의 적어도 하나의 횡 방향 좌표에 대한 정보를 제공할 수 있으며, 여기서, 예를 들어, 간단한 렌즈 방정식이 광학 변환 및 횡 방향 좌표를 도출하기 위해 사용될 수 있다. 부가적으로 또는 대안적으로, 하나 이상의 추가의 횡 방향 센서가 사용될 수 있고 검출기에 포함될 수 있다. WO 2014/097181 A1에 개시된 횡 방향 센서 및/또는 쿼드런트 다이오드, CCD 또는 CMOS 칩 등과 같은 기타 위치 감지 장치(PSD, Position-Sensitive Device)와 같은 다양한 횡 방향 센서가 당업계에 일반적으로 알려져 있다. 부가적으로 또는 대안적으로, 일 예로서, 본 발명에 따른 검출기는 R.A.Street(Ed.): 비정질 실리콘의 기술과 응용(Technology and Applications of Amorphous Silicon), Springer-Verlag Heidelberg, 2010, pp.346- 349에 개시된 하나 이상의 PSD를 포함할 수 있다. 다른 실시예도 가능하다. 또한 이들 장치는 일반적으로 본 발명에 따른 검출기로 구현될 수 있다. 일 예로서, 광빔의 일부는 적어도 하나의 빔 분할 소자에 의해, 검출기 내에서 분리될 수 있다. 일 예로서, 분할 부분은 CCD나 CMOS 칩 또는 카메라 센서와 같은 횡 방향 센서를 향해 안내될 수 있고, 횡 방향 센서상의 분할 부분에 의해 생성된 광 스폿의 횡 방향 위치가 결정되어 대상체의 적어도 하나의 횡 방향 좌표를 결정할 수 있다. 결과적으로, 본 발명에 따른 검출기는 단순 거리 측정 장치와 같은 1차원 검출기일 수도 있고, 2차원 검출기 또는 3차원 검출기로도 구현될 수 있다. 또한, 전술하거나 이하에 더 상세히 설명되는 바와 같이, 1차원 방식으로 풍경 또는 환경을 스캐닝함으로써, 3차원 이미지를 더 생성할 수 있다. 그 결과, 본 발명에 따른 검출기는 구체적으로는 1차원 검출기, 2차원 검출기 또는 3차원 검출기 중 하나일 수 있다. 평가 장치는 또한 대상체의 적어도 하나의 횡 방향 좌표 x, y를 결정하도록 구성될 수 있다. 평가 장치는 종 방향 좌표와 횡 방향 좌표의 정보를 결합하고, 공간에서 대상체의 위치를 결정하도록 구성될 수 있다.
광학 센서의 매트릭스의 사용은 많은 장점 및 이점을 제공한다. 따라서, 광빔에 의해, 센서 소자 매트릭스의 광학 센서의 감광 영역의 공통 평면 상과 같은 센서 소자 상에 생성된 광 스폿의 중심은 대상체의 횡 방향 위치에 따라 달라질 수 있다. 따라서 광학 센서의 매트릭스를 사용하면, 대상체의 위치, 특히, 대상체의 횡 방향 위치의 관점에서 상당한 유연성을 제공한다. 센서 신호를 생성하는 적어도 하나의 광학 센서의 횡 방향 위치와 같은, 광학 센서의 매트릭스 상의 광 스폿의 횡 방향 위치는, 예를 들어, WO 2014/198629 A1에 개시된 바와 같이, 대상체의 횡 방향 위치상의 적어도 하나의 정보 항목이 도출될 수 있는 부가적인 정보 항목으로 사용될 수 있다. 부가적으로 또는 대안적으로, 본 발명에 따른 검출기는 적어도 하나의 종 방향 좌표 외에, 대상체의 적어도 하나의 횡 방향 좌표를 검출하기 위한 적어도 하나의 부가적인 횡 방향 검출기를 포함할 수 있다.
본 발명의 또 다른 양태에서, 적어도 하나의 대상체의 위치를 결정하는 검출기 시스템이 개시된다. 검출기 시스템은, 예를 들어, 전술한 하나 이상의 실시예에 따라, 또는 이하에 개시된 하나 이상의 실시예에 따라, 본 발명에 따른 적어도 하나의 검출기를 포함한다. 검출기 시스템은 검출기를 향해 적어도 하나의 광빔을 지향시키도록 구성된 적어도 하나의 비콘 장치를 더 포함하고, 여기서, 비콘 장치는 대상체에 장착 가능하거나, 대상체에 의해 보유 가능하거나, 대상체에 통합 가능한 특징 중 적어도 하나의 특징을 가질 수 있다. 비콘 장치에 관한 보다 상세한 내용은 그것의 잠재적인 실시예를 포함하여 이하에 설명될 것이다. 따라서, 적어도 하나의 비콘 장치는, 예컨대, 레이저, LED, 전구 등의 하나 이상의 광원과 같은 하나 이상의 조명원을 포함하는 적어도 하나의 능동형 비콘 장치일 수 있거나, 이를 포함할 수 있다. 일 예로서, 조명원에 의해 방출된 광의 파장은 390 내지 780nm일 수 있다. 대안적으로, 상술한 바와 같이, 예컨대, 780nm 내지 3.0㎛의 적외선 스펙트럼 범위가 사용될 수 있다. 구체적으로, 실리콘 광다이오드가, 특히, 700nm 내지 1,000nm의 범위에서 적용 가능한 근적외선 영역이 사용될 수 있다. 하나 이상의 비콘 장치에 의해 방출된 광은 2개 이상의 광빔을 구별하기 위해, 상술한 바와 같이, 변조되거나 변조되지 않을 수 있다. 부가적으로 또는 대안적으로, 적어도 하나의 비콘 장치는, 예컨대, 하나 이상의 반사 소자를 포함하는 검출기를 향하여 하나 이상의 광빔을 반사시키도록 구성될 수 있다. 또한, 적어도 하나의 비콘 장치는 광빔을 산란시키기 위해 구성된 하나 이상의 산란 소자일 수도 있거나, 이를 포함할 수도 있다. 여기서, 탄성 또는 비탄성 산란이 사용될 수 있다. 적어도 하나의 비콘 장치가 검출기를 향해 1차 광빔을 반사 및/또는 산란시키도록 구성되면, 비콘 장치는 광빔의 스펙트럼 특성의 영향이 미치지 않도록 구성되거나, 대안적으로, 광빔의 파장을 변조하여 광빔의 스펙트럼 특성을 변경하도록 구성될 수 있다.
본 발명의 또 다른 양태에서, 사용자와 기계간에 적어도 하나의 정보 항목을 교환하기 위한 인간-기계 인터페이스가 개시된다. 인간-기계 인터페이스는 전술한 실시예 및/또는 이하에 상세하게 개시된 하나 이상의 실시예에 따라, 적어도 하나의 검출기 시스템을 포함한다. 여기서, 적어도 하나의 비콘 장치는 사용자가 직간접적으로 부착하거나 사용자가 소지하는 것 중 적어도 하나로 되도록 구성된다. 인간-기계 인터페이스는 검출기 시스템에 의해 사용자의 적어도 하나의 위치를 결정하도록 설계되며, 인간-기계 인터페이스는 적어도 하나의 정보 항목의 위치를 할당하도록 설계된다.
본 발명의 또 다른 양태에서, 적어도 하나의 엔터테인먼트 기능을 수행하기 위한 엔터테인먼트 장치가 개시된다. 엔터테인먼트 장치는 전술한 실시예 및/또는 이하에 상세하게 개시된 하나 이상의 실시예에 따라, 적어도 하나의 인간-기계 인터페이스를 포함한다. 엔터테인먼트 장치는 인간-기계 인터페이스를 통해 플레이어가 적어도 하나의 정보 항목을 입력할 수 있도록 구성된다. 엔터테인먼트 장치는 또한 정보에 따라 엔터테인먼트 기능을 변경시키도록 구성된다. 엔터테인먼트 장치는 텔레비전 세트, 스마트폰, 게임 콘솔, 비디오 레코더, DVD 플레이어, 개인용 컴퓨터, 랩탑, 태블릿, 적어도 하나의 가상 현실 장치, 또는 이들의 조합으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치일 수 있거나 이를 포함할 수 있다.
본 발명의 또 다른 양태에서, 적어도 하나의 가동(movable) 대상체의 위치를 추적하기 위한 추적 시스템이 개시된다. 추적 시스템은, 전술하고/전술하거나 이하에 더욱 상세하게 설명하는 검출기 시스템을 참조하는 실시예 중 하나 이상에 따른 적어도 하나의 검출기 시스템을 포함한다. 추적 시스템은 적어도 하나의 추적 제어기를 더 포함한다. 추적 제어기는 특정 시점에서 대상체의 일련의 위치를 추적하도록 구성된다.
본 발명의 추가 양태에서, 적어도 하나의 대상체를 촬상하기 위한 카메라가 개시된다. 카메라는 전술하거나 이하에 더욱 상세하게 설명하는 검출기를 참조하는 실시예들 중 어느 하나에 따른 적어도 하나의 검출기를 포함한다.
본 발명의 다른 양태에서, 적어도 하나의 대상체의 적어도 하나의 위치를 결정하는 것을 의미할 수도 있는 풍경의 깊이 프로파일을 결정하기 위한 스캐닝 시스템이 제공된다. 스캐닝 시스템은 상술한 하나 이상의 실시예 및/또는 이하의 하나 이상의 실시예에서 개시된 적어도 하나의 검출기와 같은 본 발명에 따른 적어도 하나의 검출기를 포함한다. 스캐닝 시스템은 조명광빔이나 주사광빔으로도 지칭될 수 있는 적어도 하나의 광빔으로 풍경을 스캔하도록 구성된 적어도 하나의 조명원을 더 포함한다. 본 명세서에 사용되는 "풍경"이라는 용어는 일반적으로 2차원 또는 3차원 범위의 적어도 하나의 기하학적 또는 공간적 특성을 검출기로 평가할 수 있도록, 검출기를 통해 볼 수 있는 2차원 또는 3차원 범위를 의미한다. 또한, 본 명세서에서 사용되는 용어 "스캔"은 일반적으로 상이한 영역에서의 연속적인 측정을 지칭한다. 따라서, 스캐닝은, 구체적으로, 제 1 방식으로 지향되거나 디렉팅되는 조명광빔을 구비하는 적어도 하나의 제 1 측정과, 제 1 방식과는 다른 제 2 방식으로 지향되거나 디렉팅되는 조명광빔을 구비하는 적어도 하나의 제 2 측정을 의미할 수 있다. 스캐닝은 연속 스캐닝 또는 단계적 스캐닝일 수 있다. 따라서, 연속적 또는 단계적 방식으로, 조명광빔은 풍경의 다른 영역으로 디렉팅될 수 있고, 검출기는 각 영역에 대해 적어도 하나의 종 방향 좌표와 같은 적어도 하나의 정보 항목을 생성하도록 검출될 수 있다. 일 예로서, 대상체를 스캐닝하기 위해, 하나 이상의 조명광빔은 연속적 또는 단계적으로 대상체의 표면상에 광 스폿을 생성할 수 있고, 여기서, 종 방향 좌표는 광 스폿에 대해 생성된다. 그러나, 대안적으로, 광 패턴이 스캐닝을 위해 사용될 수 있다. 스캐닝은 포인트 스캐닝이나 라인 스캐닝 또는 더 복잡한 광 패턴을 이용한 스캐닝일 수 있다. 스캐닝 시스템의 조명원은 검출기의 선택적인 조명원과 구별될 수 있다. 그러나, 대안적으로, 스캐닝 시스템의 조명원은 검출기의 적어도 하나의 선택적인 조명원과 전체적 또는 부분적으로 동일할 수도 있거나 이것에 통합될 수도 있다.
따라서, 스캐닝 시스템은 적어도 하나의 대상체의 적어도 하나의 표면에 위치한 적어도 하나의 도트 조명용으로 구성된 적어도 하나의 광빔을 방출하도록 구성된 적어도 하나의 조명원을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, "도트(dot)"라는 용어는, 예를 들어, 스캐닝 시스템의 사용자에 의해 선택되어 조명원에 의해 비춰질 수 있는 대상체 표면의 일부 영역, 특히, 작은 영역을 지칭한다. 바람직하게, 도트는, 한편으로는, 스캐닝 시스템이 스캐닝 시스템에 포함된 조명원과, 도트가 가능한 한 정확하게 위치될 수 있는 대상체 표면의 일부분 사이의 거리에 대한 값을 결정하도록 하기 위해, 가능한 한 작은 크기를 나타낼 수 있고, 다른 한편으로는, 스캐닝 시스템의 사용자 또는 스캐닝 시스템 자체, 특히, 자동화 절차에 의해 대상체 표면의 관련 부분 상에서 도트의 존재를 검출할 수 있게 하기 위해 가능한 한 크게 나타낼 수도 있다.
이 목적을 위해, 조명원은 인공 조명원, 특히, 적어도 하나의 레이저 광원 및/또는 적어도 하나의 백열 램프 및/또는 적어도 하나의 반도체 광원, 예를 들어, 적어도 하나의 발광 다이오드, 특히, 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 일 예로서, 조명원에 의해 방출된 광의 파장은 390 내지 780nm일 수 있다. 부가적으로 또는 대안적으로, 780nm 내지 3.0㎛ 범위와 같은 적외선 스펙트럼 범위의 광이 사용될 수 있다. 구체적으로는, 700nm 내지 1,000nm의 범위에서 실리콘 광다이오드가 적용될 수 있는 근적외선 영역 부분의 광이 사용될 수 있다. 일반적으로 정의된 빔 프로파일 및 처리 가능한 다른 특성으로 인해, 적어도 하나의 레이저 광원을 조명원으로 사용하는 것이, 특히, 바람직하다. 여기서, 사용자가 쉽게 저장 및 전송할 수 있는 소형 스캐닝 시스템을 제공하는 것이 중요한 경우에는, 단일 레이저 광원을 사용하는 것이, 특히, 바람직할 수 있다. 따라서, 조명원은 바람직하게는 검출기의 구성 부품일 수 있고, 그에 따라, 특히, 검출기, 예컨대, 검출기의 하우징에 통합될 수 있다. 바람직한 실시예에서, 특히, 스캐닝 시스템의 하우징은 읽기 쉬운 방식으로 사용자에게 거리 관련 정보를 제공하도록 구성된 적어도 하나의 디스플레이를 포함할 수 있다. 추가의 바람직한 실시예에서, 특히, 스캐닝 시스템의 하우징은 하나 이상의 동작 모드를 설정하는 것과 같이, 스캐닝 시스템에 관한 적어도 하나의 기능을 동작하도록 구성될 수 있는 적어도 하나의 버튼을 더 포함할 수 있다. 또 다른 바람직한 실시예에서, 특히, 스캐닝 시스템의 하우징은, 특히, 사용자에 의해 스캐닝 시스템의 거리 측정 및/또는 처리 가능성의 정확도를 향상시키기 위해, 예컨대, 자성 재료를 포함하는 베이스 플레이트나 홀더와 같은 고무 받침(rubber foot), 베이스 플레이트 또는 벽 홀더(wall holder)와 같이, 다른 표면에 스캐닝 시스템을 고정하도록 구성될 수 있는 적어도 하나의 고정 유닛을 포함할 수 있다.
따라서, 스캐닝 시스템의 조명원은, 특히, 대상체의 표면에 위치한 단일 도트의 조명용으로 구성될 수 있는 단일 레이저 빔을 방출할 수 있다. 따라서, 본 발명에 따른 적어도 하나의 검출기를 사용함으로써, 적어도 하나의 도트와 스캐닝 시스템 사이의 거리에 관한 적어도 하나의 정보 항목이 생성될 수 있다. 이로써, 바람직하게는, 예컨대, 적어도 하나의 검출기에 포함된 평가 장치를 사용함으로써, 스캐닝 시스템에 포함된 조명 시스템과, 조명원에 의해 생성된 단일 도트 사이의 거리가 결정될 수 있다. 그러나, 스캐닝 시스템은, 특히, 이러한 목적을 위해 구성될 수 있는 추가의 평가 시스템을 포함할 수도 있다. 대안적으로 또는 부가적으로, 스캐닝 시스템의 크기, 특히, 스캐닝 시스템의 하우징의 크기가 고려될 수 있고, 따라서 스캐닝 시스템의 하우징상의 특정 포인트, 예컨대, 하우징의 전방 에지 또는 후방 에지와 단일 도트 사이의 거리가 대안적으로 결정될 수 있다. 조명원은 점 구름을 생성 및/또는 투영하도록 구성될 수 있고, 예를 들어, 조명원은 적어도 하나의 DLP(Digital Light Processing) 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기; 적어도 하나의 회절 광학 소자; 적어도 하나의 발광 다이오드 어레이; 적어도 하나의 레이저 광원 어레이 중 하나 이상을 포함할 수 있다.
대안적으로, 스캐닝 시스템의 조명원은 빔의 방출 방향 사이에 직각과 같은 개별 각도를 제공하도록 구성될 수 있는 2개의 개별 레이저 빔을 방출할 수 있고, 이에 의해 동일한 대상체의 표면 또는 2개의 개별 대상체에서 2개의 상이한 표면에 위치된 2개의 도트 각각이 비춰질 수 있다. 그러나, 2개의 개별 레이저 빔 사이의 각도에 대한 다른 값도 가능할 수 있다. 이 특징은, 예를 들어, 스캐닝 시스템과 도트 사이에 하나 이상의 장애물이 존재하는 것으로 인해, 직접적으로 접근할 수 없는 간접 거리를 도출하는 것과 같은 간접 측정 함수용으로 사용될 수 있거나, 그렇지 않은 경우 도달하기가 어렵다. 예를 들어, 2개의 개별 거리를 측정하고 피타고라스 공식을 사용하여 높이를 도출함으로써, 대상체의 높이 값을 결정할 수 있다. 특히, 대상체에 대해 사전 정의된 레벨을 유지할 수 있기 때문에, 스캐닝 시스템은 적어도 하나의 레벨링 유닛, 특히, 사용자에 의해 사전 정의된 레벨을 유지하는 데 사용될 수 있는 일체화된 버블 바이알(bubble vial)을 더 포함할 수 있다.
또 다른 대안으로서, 스캐닝 시스템의 조명원은 서로에 대해 각각의 피치, 특히, 정규 피치(regular pitch)를 나타낼 수 있고, 적어도 하나의 대상체의 적어도 하나의 표면상에 배치된 도트의 어레이를 생성하기 위한 방식으로 배열되는 레이저 빔의 어레이와 같은 복수의 개별 레이저 빔을 방출할 수 있다. 이 목적을 위해, 빔 분할 장치 및 미러와 같은 특별히 구성된 광학 소자가 제공되어, 레이저 빔의 상술한 어레이를 생성하게 할 수 있다. 특히, 조명원은 주기적 또는 비주기적 방식으로 광빔을 재지향시키기 위해 하나 이상의 가동 거울(movable mirror)을 사용함으로써 영역 또는 체적을 스캔하도록 디렉팅될 수 있다.
따라서, 스캐닝 시스템은 하나 이상의 대상체의 하나 이상의 표면상에 위치된 하나 이상의 도트의 정적 배열을 제공할 수 있다. 대안적으로, 스캐닝 시스템의 조명원, 특히, 상술한 레이저 빔의 어레이와 같은 하나 이상의 레이저 빔은, 특히, 1개 이상의 미러, 예컨대, 상술한 마이크로미러의 배열 내에 포함되는 마이크로미러를 이동함으로써, 시간 경과에 따라 변화하는 강도를 나타낼 수 있는 하나 이상의 광빔 및/또는 시간의 경과에 따라 방출 방향이 교대로 적용될 수 있는 하나 이상의 광빔을 제공하도록 구성될 수 있다. 그 결과, 조명원은 스캐닝 장치의 적어도 하나의 조명원에 의해 생성된 교번 특징(alternating features)을 갖는 하나 이상의 광빔을 사용함으로써, 적어도 하나의 대상체의 적어도 하나의 표면의 일부를 이미지로서 스캐닝하도록 구성될 수 있다. 따라서, 스캐닝 시스템은, 특히, 하나 이상의 대상체의 하나 이상의 표면을 순차적으로 또는 동시에 스캐닝하는 것과 같이, 적어도 하나의 행 스캔 및/또는 라인 스캔을 사용할 수 있다. 따라서, 스캐닝 시스템은, 3개 이상의 도트를 측정함으로써, 각도를 측정하도록 구성될 수 있거나, 또는 스캐닝 시스템은 종래의 측정 스틱을 사용하여 접근하기 어려울 수 있는 지붕의 게이블(gable)과 같은 모서리 또는 좁은 영역을 측정하도록 구성될 수 있다. 비제한적 예로서, 스캐닝 시스템은 안전 레이저 스캐너에 사용될 수 있고, 예컨대, 생산 환경에서 및/또는 3D 프린팅, 신체 스캐닝, 품질 관리와 관련한 것과 같이 대상체의 형상을 결정하는 데 사용되는 3D 스캐닝 장치에서, 거리 측정기(range meter)와 같은 건설 애플리케이션에서, 소포의 크기 또는 부피 측정을 위한 물류 애플리케이션, 로봇 진공 청소기나 잔디 깎기와 같은 가정용 애플리케이션, 또는 스캐닝 단계를 포함하는 다른 종류의 애플리케이션에서 사용될 수 있다. 비제한적인 예로서, 스캐닝 시스템은 산업용 방화 커튼 애플리케이션에 사용될 수 있다. 비제한적인 예로서, 스캐닝 시스템은 청소(sweeping), 진공 청소(vacuuming), 걸레질(mopping) 또는 왁싱 기능, 또는 풀베기(mowing) 또는 써레질(raking)과 같은 마당 또는 정원 관리 기능을 수행하는 데 사용될 수 있다. 비제한적인 예로서, 스캐닝 시스템은 시준 광학계를 구비하는 LED 조명원을 사용할 수 있고, 보다 정확한 결과를 얻기 위해 조명원의 주파수를 다른 주파수로 시프트시키도록 구성될 수 있고/있거나 필터를 사용하여 특정 주파수를 감쇠시키는 동안 다른 주파수는 송신시킬 수 있다. 비제한적인 예로서, 스캐닝 시스템 및/또는 조명원은 전체적으로 회전될 수 있거나, 작동 중인 전용 모터를 사용하여, 미러, 빔 스플리터 등과 같은 특정 광학 패키지만을 회전시킬 수 있고, 여기서, 스캐닝 시스템은 스캐닝되는 영역을 추가로 증가시키기 위해 시야가 360도 전체일 수 있거나, 평면 밖으로 이동하고/이동하거나 회전될 수 있다. 또한, 조명원은 사전 결정된 방향으로 능동적으로 조준될 수 있다. 또한, 유선 전기 시스템의 회전을 허용하기 위해, 슬립 링, 광학 데이터 전송 또는 인덕티브 커플링이 사용될 수 있다.
비제한적인 예로서, 스캐닝 시스템은 삼각대에 장착될 수 있고, 몇몇 코너 및 표면으로 이루어진 대상체 또는 영역을 향해 포인팅될 수 있다. 하나 이상의 유연한 이동식 레이저 광원이 스캐닝 시스템에 장착된다. 하나 이상의 레이저 광원은 관심 포인트를 비추도록 이동된다. 스캐닝 시스템상의 지정된 버튼을 누를 때, 스캐닝 시스템에 대한 조명 포인트의 위치가 측정되고, 위치 정보가 무선 인터페이스를 통해 이동 전화로 전송된다. 위치 정보는 이동 전화 애플리케이션에 저장된다. 레이저 광원은 위치가 측정되어 휴대 전화 애플리케이션으로 전송되는 추가의 관심 포인트를 조명하기 위해 이동된다. 이동 전화 애플리케이션은 인접 포인트를 평면과 연결하여 포인트의 집합을 3D 모델로 변환할 수 있다. 3D 모델은 추가로 저장 및 처리될 수 있다. 측정된 포인트나 표면 사이의 거리 및/또는 각도는 위치 정보가 전송되는 스캐닝 시스템이나 이동 전화에 장착된 디스플레이상에 직접 디스플레이될 수 있다.
비제한적 예로서, 스캐닝 시스템은 포인트를 투영하는 2개 이상의 가요성 가동 레이저 광원과, 추가로 라인을 투영하는 하나의 가동 레이저 광원을 포함할 수 있다. 라인은 라인을 따라 2개 이상의 레이저 스폿을 배열하는 데 사용될 수 있고, 스캐닝 장치의 디스플레이는, 예컨대, 등거리로 라인을 따라 배열될 수 있는 2개 이상의 레이저 스폿 간의 거리를 디스플레이할 수 있다. 레이저 스폿이 2개인 경우, 단일 레이저 광원이 사용될 수 있는 반면, 투영된 포인트의 거리는 하나 이상의 빔 스플리터 또는 프리즘을 사용하여 수정되며, 여기서, 빔 스플리터 또는 프리즘은 투영된 레이저 스폿이 서로 멀거나 가깝도록 이동될 수 있다. 또한, 스캐닝 시스템은, 예컨대, 직각, 원, 정사각형, 삼각형 등의 추가 패턴을 투영하도록 구성될 수 있고, 이 과정에서 레이저 스폿을 투영하고 그들의 위치를 측정함으로써, 측정이 수행될 수 있다.
비제한적인 예로서, 스캐닝 시스템은 톱, 드릴 등과 같은, 목재 또는 금속 가공 공구와 같은 공구로 작업을 지원하도록 구성될 수 있다. 따라서, 스캐닝 시스템은 2개의 반대 방향에서 거리를 측정하고, 디스플레이에서 2개의 측정된 거리 또는 그 거리의 합을 표시하도록 구성될 수 있다. 또한, 스캐닝 시스템은 표면 가장자리까지의 거리를 측정하기 위해, 스캐닝 시스템이 표면에 배치되면, 거리 측정값이 표면의 모서리 또는 가장자리로 인해 급격한 변화를 보일 때까지, 레이저 포인트가 표면을 따라 스캐닝 시스템으로부터 자동적으로 멀리 이동되도록 구성될 수 있다. 이것은 스캐닝 장치가 우드 플랭크 상에 배치되지만, 그 끝으로부터 멀리 떨어져 있는 동안, 플랭크 끝까지의 거리를 측정할 수 있게 한다. 또한, 스캐닝 시스템은 한 방향으로 플랭크의 일단의 거리를 측정하고, 반대 방향으로 지정된 거리에 선 또는 원 또는 포인트를 투영할 수 있다. 스캐닝 시스템은, 반대 방향에서 측정된 거리, 예컨대, 사전 결정된 총 거리에 따라 거리 내의 선 또는 원 또는 포인트를 투영하도록 구성될 수 있다. 이를 통해 공구로부터 안전한 거리에 스캐닝 시스템을 배치하는 동시에 투영된 위치에서 톱이나 드릴과 같은 공구로 작업할 수 있으며, 동시에 플랭크의 가장자리까지 사전 결정된 거리에서 공구를 사용하여 프로세스를 수행할 수 있다. 또한, 스캐닝 시스템은 사전 결정된 거리에서 2개의 반대 방향으로 포인트 또는 라인 등을 투영하도록 구성될 수 있다. 거리의 합이 변경되면, 투영된 거리 중 하나만 변경된다.
비제한적인 예로서, 스캐닝 시스템은 표면, 예를 들어, 절단, 톱질, 드릴링 등과 같은 작업이 수행되는 표면상에 배치되도록, 또한, 예를 들어, 스캐닝 장치상의 버튼을 이용하여 조정될 수 있는 사전 결정된 거리의 표면상에 라인을 투영하도록 구성될 수 있다.
비제한적 예로서, 스캐닝 시스템은 안전 레이저 스캐너에 사용될 수 있고, 예컨대, 생산 환경에서 및/또는 3D 프린팅, 신체 스캐닝, 품질 관리와 관련한 것과 같이 대상체의 형상을 결정하는 데 사용되는 3D 스캐닝 장치에서, 거리 측정기(range meter)와 같은 건설 애플리케이션에서, 소포의 크기 또는 부피 측정을 위한 물류 애플리케이션에서, 로봇 진공 청소기나 잔디 깎기와 같은 가정용 애플리케이션에서, 또는 스캐닝 단계를 포함할 수 있는 다른 종류의 애플리케이션에서 사용될 수 있다.
전송 장치는, 상술한 바와 같이, 바람직하게는 대상체로부터 검출기로 전파되는 광을 연속해서 광학 센서로 공급하도록 설계될 수 있다. 전술한 바와 같이, 이러한 공급은 선택적으로 촬상 수단 또는 전송 장치의 비촬상 특성을 통해 영향을 받을 수 있다. 특히, 전송 장치는 광이 광학 센서에 공급되기 전에 전자기 방사선을 수집하도록 설계될 수 있다. 또한, 전송 장치는, 예컨대, 정의된 광학적 특성(예컨대, 정의되거나 정확하게 알려진 빔 프로파일)을 포함하는 광빔(예컨대, 적어도 하나의 가우스 빔의 선형 조합), 특히, 공지된 빔 프로파일을 포함하는 적어도 하나의 레이저 빔을 제공하도록 설계된 조명원에 의해, 적어도 하나의 선택적 조명원의 구성 부분의 전부 또는 일부일 수 있다.
광학 조명원의 가능한 실시예에 대해서는 WO 2012/110924 A1을 참조할 수 있다. 여전히, 다른 실시예가 가능하다. 대상체로부터 방출되는 광은 대상체 자체에서 기원할 수 있지만, 선택적으로 그 기원이 다를 수 있고, 이 기원으로부터 대상체로 그리고 나서 횡 방향 및/또는 종 방향 광학 센서를 향해 전파될 수 있다. 후자의 경우는, 예를 들어, 사용되는 적어도 하나의 조명원에 의해 영향을 받을 수 있다. 이 조명원은, 예를 들어, 주변 조명원이거나 이를 포함할 수 있고/있거나 인공 조명원이거나 이를 포함할 수도 있다. 예를 들어, 검출기 자체는 적어도 하나의 조명원, 예컨대, 적어도 하나의 레이저 및/또는 적어도 하나의 백열 램프 및/또는 적어도 하나의 반도체 조명원, 예컨대, 적어도 하나의 발광 다이오드, 특히, 유기 및/또는 무기 발광 다이오드를 포함할 수 있다. 일반적으로 정의된 빔 프로파일 및 처리 가능한 다른 특성으로 인해, 하나 또는 복수의 레이저를 조명원으로서 또는 그것의 일부로서 사용하는 것이, 특히, 바람직하다. 조명원 자체는 검출기의 구성 요소일 수 있거나, 검출기와는 독립적으로 형성될 수 있다. 조명원은, 특히, 검출기, 예를 들어, 검출기의 하우징에 통합될 수 있다. 선택적으로 또는 부가적으로, 적어도 하나의 조명원은 적어도 하나의 비콘 장치, 또는 하나 이상의 비콘 장치 및/또는 대상체에 통합되거나 또는 대상체에 연결되거나 공간적으로 결합될 수 있다.
이에 따라, 적어도 하나의 선택적 비콘 장치로부터 방출되는 광은, 대안적으로 또는 추가적으로 상기 광이 각각의 비콘 장치 자체에서 발생하거나 조명원으로부터 방출되고/방출되거나 조명원에 의해 여기된다는 옵션에서 얻을 수 있다. 예를 들어, 비콘 장치로부터 나오는 전자기적인 광은 비콘 장치 자체에 의해 방출될 수 있고/있거나 비콘 장치에 의해 반사될 수 있고/있거나 광이 검출기에 공급되기 전에 비콘 장치에 의해 산란될 수 있다. 이 경우, 전자기 방사선의 방출 및/또는 산란은 전자기 방사선의 스펙트럼에 영향을 미치는지 여부에 관계없이 수행될 수 있다. 따라서, 예를 들어, 스톡스(Stokes) 또는 라만(Raman)에 따른 산란 동안 파장 시프트가 발생될 수도 있다. 또한, 광의 방출은, 예를 들어, 1차 조명원(예컨대, 발광(luminescence), 특히, 인광(phosphorescence) 및/또는 형광(fluorescence)을 생성하기 위해 여기되고 있는 대상체나 대상체의 일부 영역)에 의해 여기될 수 있다. 원칙적으로 다른 방출 프로세스도 가능하다. 반사가 발생하면, 대상체는, 예를 들어, 적어도 하나의 반사 영역, 특히, 적어도 하나의 반사면을 구비할 수 있다. 이 반사면은 대상체 자체의 일부일 수 있지만, 예를 들어, 대상체에 연결되거나 공간적으로 결합된 반사 장치(reflector), 예를 들어, 대상체에 연결된 반사판(reflector plaque)일 수도 있다. 적어도 하나의 반사 장치가 사용되면, 이는 또한, 예를 들어, 검출기의 다른 구성 요소와는 독립적으로 대상체에 연결된 검출기의 일부로 간주될 수 있다.
비콘 장치의 설계 및 특성과 관련하여, 전술한 바와 같이 또는 이하에 더 상세하게 설명된 바와 같은 조명원에 대한 설명을 참조한다.
특히, 광학 센서에의 광빔의 공급은, 예컨대, 단면이 원형, 타원형 또는 다르게 구성되는 광 스폿을 광학 센서의 선택적인 센서 영역 상에 생성하는 방식으로 수행될 수 있다. 예를 들어, 검출기는 시야 범위, 특히, 입체각 범위 및/또는 공간 범위를 포함할 수 있으며, 이러한 범위 내에서 대상체를 검출할 수 있다. 바람직하게는, 전송 장치는, 예를 들어, 검출기의 가시 범위 내에 배열된 대상체인 경우에, 광 스폿이 센서 영역 및/또는 광학 센서의 센서 영역 상에 완전히 배열되도록 설계될 수 있다. 예를 들어, 센서 영역은 이 상태를 보장하기 위해 대응하는 크기로 되도록 선택될 수 있다.
또 다른 양태에서, 본 발명은 전자 장치에서 사용하기 위한 관성 측정 유닛(inertial measurement unit)을 개시한다. 본 명세서에 사용되는 용어 "관성 측정 유닛"은 적어도 2개의 검출기 유닛을 포함하고, 선형 및 각 운동(angular motion)을 결정하도록 구성된 시스템을 지칭한다. 전자 장치는 휴대용 전자 장치일 수 있다. 전자 장치는 카메라일 수 있다. 전자 장치는 이동 전화일 수 있다. 관성 측정 유닛은, 예컨대, 전술하거나 이하에 더 상세하게 개시되는 바와 같은 검출기를 참조하는 하나 이상의 실시예에 따라, 본 발명에 따른 적어도 하나의 검출기에 의해 결정된 데이터를 수신하도록 구성된다. 본 명세서에 사용되는 "적어도 하나의 검출기에 의해 결정된 데이터"라는 용어는 상대적 공간 성상 및/또는 적어도 하나의 종 방향 좌표 z에 대한 적어도 하나의 정보를 지칭한다. 관성 측정 유닛은, 또한 휠 속도 센서, 선회율 센서, 경사 센서, 방위 센서, 모션 센서, MHD 센서(Magneto Hydro Dynamic sensor), 힘 센서, 각도 센서, 각속도 센서, 자기장 센서, 자력계, 가속도계; 자이로스코프로 이루어진 그룹으로부터 선택된 적어도 하나의 추가 센서에 의해 결정된 데이터를 수신하도록 적응된다. 본 명세서에 사용되는 "적어도 하나의 추가 센서에 의해 결정된 데이터"라는 용어는 각도 정보, 속도 정보, 선회율에 대한 정보, 경사에 대한 정보로 이루어진 그룹으로부터 선택된 적어도 하나의 정보를 지칭한다. 상기 관성 측정 유닛은 검출기 및 적어도 하나의 추가 센서로부터의 데이터, 즉, 공간에서의 위치, 공간에서의 상대적 또는 절대적 모션, 회전, 가속도, 방위, 각도 위치, 경사, 선회율, 속도로 이루어진 그룹으로부터 선택된 전자 장치의 적어도 하나의 특성을 평가하여 결정하도록 구성된다. 관성 측정 유닛은 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 추가 센서에 의해 기록된 데이터를 평가하도록 구성될 수 있다. 특히, 프로세서는 공간 위치, 공간 방위, 이동 및 속도 중 하나 이상을 결정 및/또는 계산하도록 구성될 수 있다. 관성 측정 유닛은 복수의 추가 센서를 포함할 수 있다. 관성 측정 유닛은 적어도 2개의 추가 센서로부터 결정된 정보를 융합하도록 구성될 수 있다. 관성 측정 유닛은 적어도 하나의 수학적 모델을 사용하여 적어도 2개의 추가 센서의 정보를 융합하도록 구성될 수 있는 한편, 수학적 모델은 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등으로부터 선택될 수 있다. 전술한 바와 같이, 검출기는 종 방향 좌표 z의 절대 측정값을 제공하도록 적응될 수 있다. 또한, 전술한 바와 같이, 검출기는 적어도 2개의 센서 소자들 사이의 상대적 공간 성상을 결정 및/또는 교정 및/또는 재보정하도록 구성될 수 있다. 프로세서, 예를 들어, 전술한 바와 같은 평가 장치는 종 방향 좌표 z 및/또는 결정된 상대적 공간 성상을 고려하여 적어도 2개의 추가 센서의 정보를 융합하고/융합하거나 상대적 공간 성상을 재보정하도록 적응될 수 있다. 다양한 센서 신호는 수학적 모델 내에서 사용될 수 있는 반면, 수학적 모델은 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등으로부터 선택되어 각 센서 신호가 측정 오차와 부정확성의 영향을 받는다는 것을 고려할 수 있다. 칼만 필터와 같은 전술한 수학적 모델 중 하나 내에서 이들 센서 신호의 융합은 상대적 공간 성상 및/또는 종 방향 좌표의 측정과 같은 향상된 추정을 산출할 수 있다.
다른 양태에서, 본 발명은, 전술하거나 이하에 더욱 상세하게 개시된 바와 같이, 검출기를 참조하는 실시예 중 하나 이상에 따라, 본 발명에 따른 검출기와 같은 검출기를 사용함으로써 상대적 공간 성상을 결정하는 방법을 개시한다. 여전히, 다른 유형의 검출기가 사용될 수 있다. 이 방법은 다음의 방법 단계를 포함하고, 여기서, 방법 단계는 주어진 순서 또는 상이한 순서로 수행될 수 있다. 또한, 열거되지 않은 하나 이상의 추가적인 방법 단계가 존재할 수 있다. 또한, 하나, 둘 이상 또는 심지어 모든 방법 단계가 반복적으로 수행될 수 있다.
방법은,
― 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자를 사용함으로써, 대상체의 적어도 하나의 반사 이미지를 결정하는 단계 - 광학 센서의 각각에는 감광 영역이 마련됨 - 와,
― 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
― 적어도 하나의 기준 이미지를 제공하는 단계 - 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성에서 결정되며, 여기서, 공간 구성은 상대적 공간 성상에 의해 상이함 - 와,
― 종 방향 좌표 z에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 기준 이미지의 적어도 하나의 기준 특징을 결정하는 단계와,
― 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하는 단계를 포함한다.
세부 사항, 옵션 및 정의에 관해서는, 상술한 바와 같은 검출기를 참조할 수 있다. 따라서, 구체적으로 전술한 바와 같이, 이 방법은 상술하거나 이하에 상세하게 설명되는 하나 이상의 실시예에 따라 본 발명에 따른 검출기를 사용하는 것을 포함할 수 있다.
본 명세서에 사용되는 "적어도 하나의 기준 이미지를 제공하는 단계"라는 용어는, 예를 들어, 복수의 저장된 기준 이미지의 적어도 하나의 기준 이미지를 결정하는 것, 적어도 하나의 기준 이미지를 기록하는 것, 적어도 하나의 기준 이미지를 선택하는 것 중 하나 이상을 의미한다.
이 방법은 상대적 공간 성상을 모니터링하는 단계를 포함할 수 있다. 상대적 공간 성상은 반복적으로 결정될 수 있다.
방법은 적어도 하나의 온도 결정 단계를 포함할 수 있다. 온도 결정 단계에서, 검출기의 적어도 하나의 온도값이 결정될 수 있다. 상대적 공간 성상은 온도값을 고려하여 결정될 수 있고/있거나 상대적 공간 성상은 온도값에 따라 구성될 수 있다.
검출기는 적어도 하나의 조명원을 포함할 수 있다. 이 방법은 센서 소자와 조명원의 상대 위치를 결정하는 데 사용될 수 있다.
검출기는 적어도 하나의 제 1 센서 소자와 적어도 하나의 제 2 센서 소자를 포함할 수 있다. 제 1 센서 소자와 적어도 하나의 제 2 센서 소자는 상이한 공간 구성에 위치될 수 있다. 방법은 제 1 센서 소자 또는 제 2 센서 소자에 의해 결정된 적어도 하나의 이미지를 반사 이미지로서 선택하고, 제 1 센서 소자 또는 제 2 센서 소자 중 다른 하나에 의해 결정된 적어도 하나의 이미지를 기준 이미지로서 선택하는 단계를 포함할 수 있다. 방법은 제 1 센서 소자와 제 2 센서 소자의 상대적 공간 성상을 결정하기 위해 사용될 수 있다.
이 방법은, 전술한 바와 같이, 종 방향 좌표 z 및 상대적 공간 성상을 고려하여 적어도 하나의 종 방향 좌표 ztriang을 결정하는 단계를 포함할 수 있다.
다른 양태에서, 본 발명은, 전술하거나 이하에 더욱 상세하게 개시된 바와 같이, 검출기를 참조하는 실시예 중 하나 이상에 따라, 본 발명에 따른 검출기와 같은 적어도 하나의 검출기를 보정하는 방법을 개시한다. 여전히, 다른 유형의 검출기가 사용될 수 있다. 이 방법은 다음의 방법 단계를 포함하고, 여기서, 방법 단계는 주어진 순서 또는 상이한 순서로 수행될 수 있다. 또한, 열거되지 않은 하나 이상의 추가적인 방법 단계가 존재할 수 있다. 또한, 하나, 둘 이상 또는 심지어 모든 방법 단계가 반복적으로 수행될 수 있다.
방법은,
― 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자를 사용함으로써, 대상체의 적어도 하나의 반사 이미지를 결정하는 단계 - 광학 센서의 각각에는 감광 영역이 마련됨 - 와,
― 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
― 적어도 하나의 기준 이미지를 제공하는 단계 - 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성에서 결정되며, 여기서, 공간 구성은 상대적 공간 성상에 따라 상이함 - 와,
― 종 방향 좌표 z에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 기준 이미지의 적어도 하나의 기준 특징을 결정하는 단계와,
― 상기 종 방향 좌표 z와 상기 제 1 및 제 2 이미지 위치로부터 상기 상대적 공간 성상을 결정하는 단계와,
― 적어도 하나의 평가 유닛의 적어도 하나의 데이터 저장 장치에 교정값으로서 상기 상대적 공간 성상을 저장하는 단계를 포함한다.
방법은 기준 특징과 반사 특징의 변위를 결정하는 단계와 대상체의 종 방향 좌표와 변위 사이의 관계를 결정하는 단계를 포함할 수 있다. 방법은, 전술한 바와 같이, 종 방향 좌표 z를 고려하여 적어도 하나의 종 방향 좌표 ztriang을 결정하는 단계를 포함할 수 있다.
방법은 평가 장치의 적어도 하나의 저장 유닛에서와 같이 상대적 공간 성상을 저장하는 단계를 더 포함할 수 있다.
방법은 재보정 단계를 포함할 수 있고, 재보정 단계는,
― 적어도 하나의 센서 소자를 사용하여 대상체의 적어도 하나의 추가 반사 이미지를 결정하는 단계와,
― 반사 이미지 내의 적어도 하나의 제 3 이미지 위치에서 추가 반사 이미지의 적어도 하나의 추가 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 추가 반사 특징의 적어도 하나의 제 2 종 방향 좌표 z를 결정하는 단계와,
― 적어도 하나의 추가 기준 이미지를 제공하는 단계 - 추가 기준 이미지와 추가 반사 이미지는 2개의 상이한 공간 구성에서 결정되며, 여기서, 공간 구성은 실제의 상대적 공간 성상에 따라 상이함 - 와,
― 제 2 종 방향 좌표 z에 대응하는 추가 기준 이미지 내의 적어도 하나의 제 4 이미지 위치에서 추가 기준 이미지의 적어도 하나의 추가 기준 특징을 결정하는 단계와,
― 제 2 종 방향 좌표 z와 제 3 및 제 4 이미지 위치로부터 실제의 상대적 공간 성상을 결정하는 단계와,
― 제 1 상대적 공간 성상과 실제의 상대적 공간 성상을 비교하고, 실제의 상대적 공간 성상에 따라 제 1 상대적 공간 성상을 조정하는 단계를 포함한다.
방법은 적어도 하나의 온도 결정 단계를 더 포함할 수 있으며, 여기서, 검출기의 적어도 하나의 온도값이 결정된다. 제 1 상대적 공간 성상 및/또는 실제 상대적 공간 성상은 온도값을 고려하여 결정될 수 있고/있거나 제 1 상대적 공간 성상 및/또는 실제 상대적 공간 성상은 온도값에 따라 조정된다.
본 발명의 또 다른 양태에서, 상기에 설명되거나 또는 이하에 더 상세히 설명되는 적어도 하나의 실시예와 같이, 본 발명에 따른 검출기의 용도는, 교통 기술에서의 위치 측정; 엔터테인먼트 애플리케이션; 보안 애플리케이션; 감시 애플리케이션; 안전 애플리케이션; 인간-기계 인터페이스 애플리케이션; 추적 애플리케이션; 포토그래피 애플리케이션; 촬상 애플리케이션이나 카메라 애플리케이션; 적어도 하나의 공간에 맵을 생성하기 위한 매핑 애플리케이션; 차량용 호밍 또는 추적 비콘 탐색기; 아웃도어 애플리케이션; 모바일 애플리케이션; 통신 애플리케이션; 머신 비젼 애플리케이션; 로봇 애플리케이션; 품질 관리 애플리케이션; 제조 애플리케이션으로 이루어진 그룹으로부터 선택된 용도를 목적으로 하여 제안된다.
이 대상체는 일반적으로 생물이거나 무생물일 수 있다. 검출기 또는 검출기 시스템은 적어도 하나의 대상체, 즉, 검출기 시스템의 일부를 형성하는 대상체를 형성할 수도 있다. 그러나, 대상체는 바람직하게 적어도 하나의 공간 차원에서 검출기로부터 독립적으로 이동할 수 있다. 대상체는 일반적으로 임의의 대상체일 수 있다. 일 실시예에서, 대상체는 강체(rigid object)일 수 있다. 다른 실시예는 대상체가 비강체(non-rigid object)이거나 그 형태가 변할 수 있는 대상체인 실시예도 가능하다.
이하에 보다 상세하게 설명되는 바와 같이, 본 발명은, 특히, 기계, 게이밍 또는 스포츠 시뮬레이션을 제어하기 위해 사람의 위치 및/또는 모션을 추적하는 데 사용될 수 있다. 본 실시예 또는 다른 실시예에서, 구체적으로, 대상체는, 특히, 스포츠 장비의 물품, 바람직하게는 라켓, 클럽, 배트로 이루어진 그룹으로부터 선택된 물품과, 의류 물품과, 모자와 신발로 이루어진 그룹으로부터 선택될 수 있다.
따라서, 일반적으로, 검출기와 같은 본 발명에 따른 장치는 다양한 사용 분야에 적용될 수 있다. 구체적으로, 검출기는 교통 기술에서의 위치 측정; 엔터테인먼트 애플리케이션; 보안 애플리케이션; 인간-기계 인터페이스 애플리케이션; 추적 애플리케이션; 포토그래피 애플리케이션; 방, 건물 및 거리의 그룹으로부터 선택된 적어도 하나의 공간과 같은 적어도 하나의 공간에 대한 맵을 생성하는 맵핑 애플리케이션; 모바일 애플리케이션; 웹캠; 오디오 장치; 돌비 서라운드 오디오 시스템; 컴퓨터 주변 장치; 게이밍 애플리케이션; 카메라 또는 비디오 애플리케이션; 보안 애플리케이션; 감시 애플리케이션; 자동차 애플리케이션; 운송 애플리케이션; 의료 애플리케이션; 스포츠 애플리케이션; 머신 비전 애플리케이션; 차량 애플리케이션; 항공기 애플리케이션; 선박 애플리케이션; 우주선 애플리케이션; 건축 애플리케이션; 건설 애플리케이션; 지도 제작 애플리케이션; 제조 애플리케이션으로 이루어진 그룹으로부터 선택된 용도를 목적으로 하여 적용될 수 있다. 부가적으로 또는 대안적으로, 지역 및/또는 글로벌 포지셔닝 시스템의 애플리케이션, 특히, 랜드마크 기반의 위치 결정 및/또는 네비게이션은, 특히, 자동차 또는 다른 차량(예컨대, 열차, 오토바이, 자전거, 화물 운송용 트럭), 로봇 또는 보행자가 사용할 목적으로 명명될 수 있다. 또한, 실내의 위치 결정 시스템은 가정용 애플리케이션 및/또는 제조, 물류, 감시 또는 유지 보수 기술에 사용되는 로봇과 같은 잠재적인 애플리케이션으로 명명될 수 있다.
본 발명에 따른 장치는 휴대 전화, 태블릿 컴퓨터, 랩탑, 스마트 패널 또는 다른 고정형 또는 이동형 또는 웨어러블 컴퓨터나 통신 애플리케이션에 사용될 수 있다. 따라서, 본 발명에 따른 장치는 성능을 향상시키기 위해, 가시 범위 또는 적외선 스펙트럼 범위의 광을 방출하는 광원과 같은 적어도 하나의 활성 광원과 결합될 수 있다. 따라서, 일 예로서, 본 발명에 따른 장치는 환경, 대상체 및 생명체를 스캐닝 및/또는 검출하기 위한 모바일 소프트웨어와 결합하여 카메라 및/또는 센서로서 사용될 수 있다. 본 발명에 따른 장치는 촬상 효과를 증가시키기 위해 종래의 카메라와 같은 2D 카메라와 결합될 수도 있다. 본 발명에 따른 장치는, 특히, 음성 및/또는 동작 인식과 조합하여 감시 및/또는 기록하거나 모바일 장치를 제어하기 위한 입력 장치로서 사용될 수도 있다. 따라서, 구체적으로, 입력 장치로도 지칭되는 인간-기계 인터페이스로서 작동하는 본 발명에 따른 장치는 휴대 전화와 같은 모바일 장치를 통해 다른 전자 장치 또는 구성 요소를 제어하는 것과 같은 모바일 애플리케이션에 사용될 수 있다. 일 예로서, 본 발명에 따른 적어도 하나의 장치를 포함하는 모바일 애플리케이션은 텔레비전 세트, 게임 콘솔, 뮤직 플레이어나 뮤직 장치 또는 다른 엔터테인먼트 장치를 제어하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 컴퓨팅 애플리케이션용 웹캠이나 다른 주변 장치에 사용될 수 있다. 따라서, 일 예로서, 본 발명에 따른 장치는 촬상, 기록, 감시, 스캐닝 또는 모션 검출을 위한 소프트웨어와 조합하여 사용될 수 있다. 인간-기계 인터페이스 및/또는 엔터테인먼트 장치와 관련하여 설명된 바와 같이, 본 발명에 따른 장치는 표정 및/또는 신체 표현에 의해 명령을 내리는 데 특히 유용하다. 본 발명에 따른 장치는, 예를 들어, 마우스, 키보드, 터치 패드, 마이크로폰 등과 같은 다른 입력 발생 장치와 결합될 수 있다. 또한, 본 발명에 따른 장치는 웹캠을 사용하는 것과 같은 게임용 애플리케이션에 사용될 수 있다. 또한, 본 발명에 따른 장치는 가상 트레이닝 애플리케이션 및/또는 화상 회의에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 특히, 머리 장착형 디스플레이를 착용할 때, 가상 또는 증강 현실 애플리케이션에서 사용되는 손, 팔 또는 대상체를 인식 또는 추적하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는, 부분적으로 상술한 바와 같이, 모바일 오디오 장치, 텔레비전 장치 및 게임용 장치에 사용될 수 있다. 특히, 본 발명에 따른 장치는 전자 장치, 엔터테인먼트 장치 등의 제어 또는 제어 장치로서 사용될 수 있다. 또한, 본 발명에 따른 장치는 2D 및 3D 디스플레이 기술, 특히, 증강 현실 애플리케이션용 투명 디스플레이와 같이, 눈 검출 또는 눈 추적용으로 사용될 수 있고/있거나, 디스플레이를 보고 있는지 및/또는 디스플레이를 어떤 시점에서 보고 있는지를 인식하기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는, 특히, 머리 장착형 디스플레이를 착용할 때, 가상 또는 증강 현실 애플리케이션과 관련하여 실내, 경계, 장애물 탐색용으로 사용될 수 있다.
또한, 본 발명에 따른 장치는 DSC 카메라와 같은 디지털 카메라에 사용되거나 디지털 카메라로서 사용될 수 있고/있거나, SLR 카메라와 같은 반사 카메라(reflex camera)에 사용되거나 반사 카메라로서 사용될 수 있다. 이들 애플리케이션에 대하여, 전술한 바와 같이, 휴대 전화와 같은 모바일 애플리케이션에서 본 발명에 따른 장치의 사용이 참조될 수 있다.
또한, 본 발명에 따른 장치는 보안 또는 감시 애플리케이션용으로 사용될 수 있다. 따라서, 예를 들어, 본 발명에 따른 적어도 하나의 장치는, 대상체가 사전 결정된 영역 내부 또는 외부에 있을 경우, 신호를 제공할 수 있는 하나 이상의 디지털 및/또는 아날로그 전자 장치(예컨대, 은행이나 박물관 내의 감시 애플리케이션용)와 결합될 수 있다. 특히, 본 발명에 따른 장치는 광학 암호화용으로 사용될 수 있다. 본 발명에 따른 적어도 하나의 장치를 이용하는 것에 의한 검출은 IR, X선, UV-VIS, 레이더 또는 초음파 검출기와 같은 파장을 보완하기 위한 다른 검출 장치와 결합될 수 있다. 본 발명에 따른 장치는 낮은 조명 환경에서 검출할 수 있도록 능동 적외선 광원(active infrared light source)과 추가 결합될 수 있다. 본 발명에 따른 장치는 일반적으로 능동 검출기 시스템과 비교하여 유리한데, 이는, 본 발명에 따른 장치가, 특히, 예를 들어, 레이더 애플리케이션, 초음파 애플리케이션, LIDAR 또는 유사한 능동 검출기와 같이, 제 3 자에 의해 감지될 수 있는 신호를 능동적으로 전송하지 않기 때문이다. 따라서, 일반적으로, 본 발명에 따른 장치는 인식 및 탐지할 수 없는 이동 중인 대상체를 추적하는 데 사용될 수 있다. 부가적으로, 본 발명에 따른 장치는 일반적으로 종래의 장치와 비교하여 조작 및 자극에 덜 취약하다.
또한, 본 발명에 따른 장치를 사용하는 것에 의해 3D 검출의 용이성 및 정확성이 주어지면, 본 발명에 따른 장치는 일반적으로 얼굴, 몸 그리고 사람의 인식 및 식별에 사용될 수 있다. 여기서, 본 발명에 따른 장치는 패스워드, 지문, 홍채 검출, 음성 인식 또는 다른 수단과 같이 식별이나 개인화 목적을 위한 다른 검출 수단과 결합될 수 있다. 따라서, 일반적으로, 본 발명에 따른 장치는 보안 장치 및 다른 개인화 애플리케이션에 사용될 수 있다.
또한, 본 발명에 따른 장치는 제품 식별을 위한 3D 바코드 판독기로 사용될 수 있다.
전술한 보안 및 감시 애플리케이션 이외에, 본 발명에 따른 장치는 일반적으로 공간 및 영역의 감시 및 모니터링에 사용될 수 있다. 따라서, 본 발명에 따른 장치는 공간 및 영역의 조사 및 모니터링용으로 사용되고, 예를 들어, 금지 구역을 침범하는 경우에 알람을 트리거하거나 실행하는 데 사용될 수 있다. 따라서, 일반적으로, 본 발명에 따른 장치는 영상 증배관(image intensifier) 또는 이미지 강화 장치 및/또는 광전자 증배관(photomultiplier)과 결합하여, 모션 또는 열 센서와 결합되는 것과 같이, 다른 유형의 센서와 선택적으로 결합하여 빌딩이나 박물관에서의 감시를 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는 주차장에서의 도난과 같은 범죄의 발생이나, 공항에서의 무연고 수하물과 같은 무연고 대상체 등의 잠재적인 위험 활동을 탐지하기 위해 공공장소나 혼잡한 공간에서 사용될 수 있다.
또한, 본 발명에 따른 장치는 비디오 및 캠코더 애플리케이션과 같은 카메라 애플리케이션에 유리하게 적용될 수 있다. 따라서, 본 발명에 따른 장치는 모션 캡처 및 3D 영화 기록용으로 사용될 수 있다. 여기서, 본 발명에 따른 장치는 일반적으로 종래의 광학 장치에 비해 많은 이점을 제공한다. 따라서, 본 발명에 따른 장치는 일반적으로 광학 구성 요소에 대하여 더 낮은 복잡성을 요구한다. 따라서, 일 예로서, 하나의 렌즈만을 사용하는 본 발명에 따른 장치를 제공하는 것과 같이, 렌즈의 개수는 종래의 광학 장치에 비해 감소될 수 있다. 감소된 복잡성으로 인해, 휴대용과 같은 매우 작은 장치도 가능하다. 예컨대, 일반적으로 대형 빔 스플리터의 필요성으로 인해, 고품질의 2개 이상의 렌즈를 구비하는 종래의 광학 시스템은 일반적으로 대형이다. 또한, 본 발명에 따른 장치는 일반적으로 자동 초점 카메라와 같이, 초점/자동 초점 장치에 사용될 수 있다. 또한, 본 발명에 따른 장치는 광학 현미경, 특히, 공초점 현미경(confocal microscopy)에서도 사용될 수 있다.
또한, 본 발명에 따른 장치는 일반적으로 자동차 기술 및 운송 기술의 기술 분야에 적용할 수 있다. 따라서, 일 예로서, 본 발명에 따른 장치는, 예를 들어, 적응적인 크루즈 제어, 비상 브레이크 어시스트, 차선 이탈 경고, 서라운드 뷰, 사각 지대 검출, 교통 표지판 검출, 교통 표지판 인식, 차선 인식, 후방 교차 주행 경보, 접근 차량이나 추월 차량에 따른 헤드라이트 강도 및 범위를 적응시키기 위한 광원 인식, 적응형 전조등 시스템, 하이 빔 헤드라이트의 자동 제어, 전조등 시스템에서의 적응형 차단광, 눈부심 없는 하이 빔 전조등 시스템, 동물이나 장애물 또는 이와 유사한 것을 헤드라이트 조명에 의해 표시하는 것, 후방 교차 주행 경보, 및 진보적인 운전자 지원 시스템과 같은 다른 운전자 지원 시스템과 같은 거리 및 감시 센서, 또는 다른 자동차 및 교통 애플리케이션에 사용될 수 있다. 또한, 본 발명에 따른 장치는 충돌 회피 등을 위해 운전자의 조작을 미리 예상하는 운전자 보조 시스템에 사용될 수 있다. 아울러, 본 발명에 따른 장치는, 또한 본 발명에 따른 검출기를 사용하여 얻어진 위치 정보의 제 1 및 제 2 시간 미분을 분석함으로써, 속도 및/또는 가속도 측정용으로 사용될 수 있다. 이 특징은 일반적으로 자동차 기술, 운송 기술 또는 일반 교통 기술에 적용될 수 있다. 다른 기술 분야에의 응용도 가능하다. 내부의 위치 결정 시스템에서의 특정 애플리케이션은, 운송 시, 승객의 위치 검출, 더욱 상세하게는, 에어백과 같은 안전 시스템의 사용을 전자 제어하기 위한 것일 수 있다. 승객이 에어백의 사용으로 인해 심각한 부상을 입을 수 있는 곳에 위치한 경우, 에어백 사용을 막을 수 있다. 또한, 자동차, 기차, 비행기 등과 같은 차량, 특히, 자율 주행 차량에서, 본 발명에 따른 장치는 운전자가 교통 상황에 주의를 기울이거나, 산만하거나, 잠들거나, 피곤하거나, 또는, 예컨대, 알콜 등의 섭취로 인해 운전이 불가능한지 여부를 결정하는 데 사용될 수 있다.
이들 또는 다른 애플리케이션에서, 일반적으로, 본 발명에 따른 장치는 독립형 장치로 또는 레이더 및/또는 초음파 장치와의 조합과 같이 다른 센서 장치와 조합하여 사용될 수 있다. 특히, 본 발명에 따른 장치는 자율 주행 및 안전 문제에 사용될 수 있다. 또한, 이들 애플리케이션에서, 본 발명에 따른 장치는 음파 센서, 2차원 카메라 또는 다른 유형의 센서인 레이더 센서, 적외선 센서와 조합하여 사용될 수 있다. 이들 애플리케이션에서, 본 발명에 따른 장치의 수동적 특성이 일반적으로 유리하다. 따라서, 본 발명에 따른 장치는 일반적으로 신호를 방출할 필요가 없기 때문에, 능동 센서 신호가 다른 신호원과 간섭하는 위험을 피할 수 있다. 본 발명에 따른 장치는, 특히, 표준 이미지 인식 소프트웨어와 같은 인식 소프트웨어와 결합하여 사용될 수 있다. 따라서, 본 발명에 따른 장치에 의해 제공되는 신호 및 데이터는 통상적으로 용이하게 처리할 수 있으므로, 일반적으로 확립된 3D 측정 시스템보다 낮은 계산 능력을 요구한다. 공간 수요가 적기 때문에, 카메라와 같은 본 발명에 따른 장치는 윈도우 스크린의 위 또는 뒤, 전방 후드 위, 범퍼 위, 조명 위, 거울 위 또는 다른 위치 등과 같이, 차량의 사실상 모든 위치에 배치될 수 있다. 본 발명에 개시된 효과에 기초한 하나 이상의 검출기와 같은 본 발명에 따른 다양한 검출기는 차량을 자율 주행시키거나 능동 안전 개념의 성능을 향상시키기 위해 결합될 수 있다. 따라서, 본 발명에 따른 다양한 장치는 본 발명에 따른 하나 이상의 다른 장치 및/또는 리어 윈도우, 사이드 윈도우 또는 프런트 윈도우와 같은 윈도우 내, 범퍼 위 또는 조명 위의 기존 센서와 결합될 수 있다.
하나 이상의 강우 검출 센서(rain detection sensor)를 구비하는 본 발명에 따른 적어도 하나의 검출기와 같은 본 발명에 따른 적어도 하나의 장치의 조합도 또한 가능하다. 이는 본 발명에 따른 장치가, 특히, 호우 동안에 레이더와 같은 종래의 센서 기술보다 일반적으로 유리하다는 사실에 기인한다. 본 발명에 따른 적어도 하나의 장치와 레이더와 같은 적어도 하나의 종래의 감지 기술의 조합은 소프트웨어가 기상 조건에 따라 올바른 신호 조합을 선택할 수 있게 한다.
또한, 본 발명에 따른 장치는 일반적으로 브레이크 보조 및/또는 주차 보조 및/또는 속도 측정용으로 사용될 수 있다. 속도 측정은 차량 내에 통합될 수 있거나, 예컨대, 교통 통제에서 다른 차량의 속도를 측정하기 위해 차량 외부에서 사용될 수도 있다. 또한, 본 발명에 따른 장치는 주차장의 빈 주차 공간을 검출하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 의료 시스템 분야 및 스포츠 분야에서 사용될 수 있다. 따라서, 의료 기술 분야에서는, 상술한 바와 같이, 본 발명에 따른 장치가 작은 부피만을 필요로 하고 다른 장치에 통합될 수 있기 때문에, 예컨대, 내시경용의 수술용 로봇으로 명명될 수 있다. 구체적으로, 하나의 렌즈를 구비하는 본 발명에 따른 장치는 내시경과 같은 의료 장치에서 3D 정보를 캡처링하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 이동의 추적 및 분석을 가능하게 하기 위해, 적절한 모니터링 소프트웨어와 결합될 수 있다. 이것은 내시경 또는 수술용 메스(scalpel)와 같은 의료 장치의 위치를, 예컨대, 자기 공명 촬영, X-선 촬영 또는 초음파 촬영으로부터 얻은 의료 영상의 결과와 함께 즉시 오버레이할 수 있게 한다. 이러한 애플리케이션은, 특히, 뇌 수술, 장거리 진단 및 원격 의료와 같이 정확한 위치 정보가 중요한 의료 처치에 유용하다. 또한, 본 발명에 따른 장치는 3D 인체 스캐닝에 사용될 수 있다. 신체 스캐닝은 치과 수술, 성형 수술, 비만 수술 또는 미용 성형 수술과 같은 의학적 분야에서 적용될 수 있거나, 또는 근위축성 통증 증후군, 암, 신체 이형 장애 또는 추가 질병의 진단과 같은 의료 진단에 적용될 수 있다. 신체 스캐닝은 또한 스포츠 분야에서 인체 공학적 용도 또는 스포츠 장비의 적합성을 평가하기 위해 적용될 수 있다. 또한, 본 발명에 따른 장치는 외골격(exoskeleton)이나 보철 등과 같은 웨어러블 로봇에 사용될 수 있다.
신체 스캐닝은 옷의 적절한 크기와 피팅을 결정하는 것과 같이 의복 분야에서도 사용될 수 있다. 이 기술은 맞춤 의류 분야, 또는 인터넷이나 마이크로 키오스크 장치(micro kiosk device) 또는 고객 컨시어지 장치(customer concierge device)와 같은 셀프 쇼핑 서비스 장치에서 의류나 신발을 주문하는 분야에 사용될 수 있다. 의류 분야에서 신체 스캐닝은, 특히, 완전한 복장을 한 고객을 스캐닝하는 데 중요하다.
또한, 본 발명에 따른 장치는 엘리베이터, 기차, 버스, 자동차 또는 비행기 내의 사람수를 세거나, 또는 복도, 문, 통로, 소매점, 경기장, 유흥지, 박물관, 도서관, 공공장소, 영화관, 극장 등을 통과하는 사람수를 세는 것과 같은 인원 계수 시스템의 분야에서 사용될 수 있다. 또한, 인원 계수 시스템의 3D 기능은 신장, 체중, 나이, 신체 건강(physical fitness) 등과 같이 카운팅되는 사람들에 대한 추가 정보를 얻거나 추정하는 데 사용될 수 있다. 이 정보는 비즈니스 인텔리전스 메트릭스 및/또는 사람들이 더 매력적이거나 안전하다고 여겨질 수 있는 지역의 최적화를 위해 사용될 수 있다. 소매 환경에서, 본 발명에 따른 장치는, 인원 계수와 관련하여, 재방문 고객 또는 교차 구매자를 인식하고, 쇼핑 행동을 평가하고, 구매하는 방문자의 비율을 평가하고, 직원 교대(shift)를 최적화하거나, 방문자당 쇼핑몰 비용을 모니터링하는 데 사용될 수 있다. 또한, 인원 계수 시스템은 인체 측정학적 조사(anthropometric surveys)에 사용될 수 있다. 또한, 본 발명에 따른 장치는 수송 거리에 따라 승객에게 자동으로 요금을 청구하는 대중교통 시스템(public transportation system)에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 어린이 놀이터에서, 부상당한 어린이 또는 위험한 행동을 하는 어린이를 인식하고, 놀이터의 놀이 기구와의 추가적인 상호 작용을 허용하고, 놀이터의 놀이 기구 등의 안전한 사용을 보장하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는, 표면이 평면인지 여부를 평가하거나, 정해진 순서대로 대상체를 정렬하거나 배치하기 위해, 대상체 또는 벽까지의 거리를 결정하는 거리 측정기와 같은 건설 도구에 사용되거나, 또는 건설 환경 등에서 사용하기 위한 검사 카메라에 사용될 수 있다.
또한, 본 발명에 따른 장치는 트레이닝, 원격 지시 또는 경기 목적(competition purpose)과 같은 스포츠 및 운동 분야에 적용될 수 있다. 특히, 본 발명에 따른 장치는 춤, 에어로빅, 미식축구, 축구, 농구, 야구, 크리켓, 하키, 육상, 수영, 폴로, 핸드볼, 배구, 럭비, 스모, 유도, 펜싱, 복싱, 골프, 카 레이싱, 레이저 태그(laser tag), 전장 시뮬레이션(battlefield simulation) 등의 분야에 적용될 수 있다. 본 발명에 따른 장치는 스포츠 및 게임에서 볼, 배트, 칼, 모션 등의 위치를 검출하는 데 사용될 수 있응데, 예를 들어, 경기를 모니터링하거나, 심판을 지원하거나, 점수나 골이 실제로 이루어졌는지의 판정과 같은 스포츠에서의 특정 상황의 판정, 특히, 자동 판정을 위해 사용될 수 있다.
또한, 본 발명에 따른 장치는, 차량의 위치 또는 차량의 트랙, 또는 이전의 트랙이나 이상적인 트랙으로부터의 편차 등을 결정하기 위해, 자동차 경주 또는 자동차 운전자 훈련 또는 자동차 안전 교육 등의 분야에서 사용될 수 있다.
또한, 본 발명에 따른 장치는, 예를 들어, 피들(fiddle), 바이올린, 비올라, 첼로, 베이스, 하프, 기타, 밴조(banjos), 우쿨렐레와 같은 현악기와, 피아노, 오르간, 키보드, 하프시코드(harpsichord), 하모늄(harmonium) 또는 아코디언과 같은 건반 악기 및/또는 드럼, 팀파니, 마림바(marimba), 실로폰, 비브라폰, 봉고, 콩가, 팀발레스(timbales), 젬베(djembe) 또는 타블로와 같은 타악기의 레슨, 특히, 원격 레슨으로 악기 연습을 지원하기 위해 사용될 수 있다.
본 발명에 따른 장치는 또한 트레이닝의 장려 및/또는 움직임의 조사 및 교정을 위해 재활 및 물리 치료에 사용될 수 있다. 여기서, 본 발명에 따른 장치는 거리 진단에도 또한 적용될 수 있다.
또한, 본 발명에 따른 장치는 머신 비전 분야에 적용될 수 있다. 따라서, 본 발명에 따른 하나 이상의 장치는, 예를 들어, 자율 주행 및/또는 로봇 작업을 위한 수동 제어 유닛으로 사용될 수 있다. 이동 로봇과 조합하여, 본 발명에 따른 장치는 자율 이동 및/또는 부품 고장의 자동 검출을 가능하게 할 수 있다. 본 발명에 따른 장치는, 또한, 로봇, 생산 부품 및 생명체 간의 충돌을 포함하지만 이것으로 한정되지 않는 사고를 방지하기 위해 제조 및 안전 감시용으로 사용될 수 있다. 로봇 공학에서, 인간과 로봇의 안전하고 직접적인 상호 작용은 종종 문제가 되는데, 이는 로봇이 인식하지 못한 상태에서 인간을 심하게 다치게 할 수 있기 때문이다. 본 발명에 따른 장치는 로봇이 대상체와 인간을 더 잘 그리고 더 빨리 위치시켜서 안전한 상호 작용을 할 수 있도록 도울 수 있다. 본 발명에 따른 장치의 수동적 특성을 감안할 때, 본 발명에 따른 장치는 능동 장치에 비해 유리할 수 있고/있거나 레이더, 초음파, 2D 카메라, IR 검출 등과 같은 기존 솔루션에 보완적으로 사용될 수 있다. 본 발명에 따른 장치의 한 가지 특별한 장점은 신호 간섭의 가능성이 낮다는 것이다. 따라서, 여러 센서를 신호 간섭의 위험없이 동일한 환경에서 동시에 작동시킬 수 있다. 따라서, 본 발명에 따른 장치는 일반적으로 자동차, 광업, 제철 등과 같은 고도로 자동화된 생산 환경에서 유용할 수 있지만, 이들로 제한되는 것은 아니다. 본 발명에 따른 장치는 또한 생산 동안의 품질 관리, 예를 들면, 2D 촬상, 레이더, 초음파, IR 등과 같은 다른 센서와 조합하여 품질 관리 또는 기타 목적으로 사용할 수 있다. 또한, 본 발명에 따른 장치는 마이크로미터 범위부터 미터 범위까지의 제품 표면 평탄도나 특정 치수의 준수를 조사하는 것과 같은 표면 품질 평가에 사용될 수 있다. 다른 품질 관리 애플리케이션도 가능하다. 제조 환경에서, 본 발명에 따른 장치는, 특히, 대량의 폐자재를 피하기 위해 식품이나 목재와 같은 천연 제품을 복잡한 3차원 구조로 처리하는 데 유용하다. 또한, 본 발명에 따른 장치는 탱크, 사일로(silo) 등의 충전 레벨을 모니터링하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예를 들어, 인쇄 회로 기판의 검사, 어셈블리나 서브어셈블리의 검사, 엔지니어링 부품의 검증, 엔진 부품 검사, 목재 품질 검사, 라벨 검사, 의료기기의 검사, 제품 오리엔테이션 검사, 포장 검사, 식품 팩킹 검사 등과 같은 자동 광학 검사에서, 복잡한 제품에 대한 누락 부품, 불완전한 부품, 느슨한 부품, 저품질 부품 등을 검사하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 차량, 기차, 항공기, 선박, 우주선 및 기타 교통 애플리케이션에 사용될 수 있다. 따라서, 교통 애플리케이션과 관련하여 전술한 애플리케이션 외에도, 항공기, 차량 등을 위한 수동 추적 시스템이 제시될 수 있다. 이동하는 대상체의 속도 및/또는 방향을 모니터링하기 위해, 본 발명에 따른 적어도 하나의 검출기와 같은 본 발명에 따른 적어도 하나의 장치를 사용하는 것이 가능하다. 구체적으로, 육상, 바다, 그리고 공간을 포함하는 공중에서 빠르게 움직이는 대상체의 추적이 제시될 수 있다. 본 발명에 따른 적어도 하나의 검출기와 같은 본 발명에 따른 적어도 하나의 장치는 구체적으로 정지 장치 및/또는 이동 장치상에 장착될 수 있다. 본 발명에 따른 적어도 하나의 장치의 출력 신호는, 예를 들어, 다른 대상체의 자율 이동 또는 안내 이동을 위한 안내 매커니즘과 결합될 수 있다. 따라서, 충돌을 회피하거나, 추적된 대상체와 조향 대상체(steered object) 사이의 충돌을 가능하게 하는 애플리케이션이 가능하다. 본 발명에 따른 장치는 일반적으로 요구되는 낮은 계산력, 즉각적인 응답 및 검출 시스템의 수동적 특성으로 인해 유용하고 유리하며, 이는 일반적으로 능동 시스템, 예컨대, 레이더와 비교하여 검출 및 교란이 더 어렵다. 본 발명에 따른 장치는, 예를 들어, 속도 제어 및 항공 교통 제어 장치에, 특히, 유용하지만, 이것으로 한정되는 것은 아니다. 또한, 본 발명에 따른 장치는 통행료 지불을 위한 자동화된 요금 징수 시스템에 사용될 수 있다.
본 발명에 따른 장치는 일반적으로 수동 애플리케이션에 사용될 수 있다. 수동 애플리케이션은 항구나 위험 지역에 있는 선박 및 이착륙 시의 항공기에 대한 지침이 포함된다. 여기서, 정확한 지침을 위해 고정된 공지의 능동 표적이 사용될 수 있다. 광산 차량과 같이 위험하지만 잘 정의된 경로를 주행하는 차량에도 동일한 것이 사용될 수 있다. 또한, 본 발명에 따른 장치는 자동차, 기차, 비행체, 동물 등과 같은 빠르게 접근하는 대상체를 검색하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 대상체의 속도 또는 가속도를 검출하거나 시간에 따라 그 위치, 속도 및/또는 가속도 중 하나 이상을 추적함으로써 대상체의 움직임을 예측하는 데 사용될 수 있다.
또한, 전술한 바와 같이, 본 발명에 따른 장치는 게임 분야에서 사용될 수 있다. 따라서, 본 발명에 따른 장치는 콘텐츠에 움직임을 통합하는 소프트웨어와 조합하여 움직임 검출 등과 같이 크기, 색상, 모양 등이 같거나 다른 복수의 대상체와 함께 사용하는 데 수동적일 수 있다. 특히, 그래픽 출력으로 움직임을 구현할 때, 애플리케이션이 사용될 수 있다. 또한, 명령을 내리기 위한 본 발명에 따른 장치의 애플리케이션은, 예를 들어, 제스처 또는 안면 인식을 위해 본 발명에 따른 하나 이상의 장치를 사용하는 것에 의해 실현 가능하다. 본 발명에 따른 장치는, 예를 들어, 낮은 조명 조건하에서 또는 주변 조건의 향상이 요구되는 다른 상황 하에서 작동하기 위해 능동 시스템과 결합될 수 있다. 부가적으로 또는 대안적으로, 본 발명에 따른 하나 이상의 장치와 하나 이상의 IR 또는 VIS 광원의 조합이 가능하다. 본 발명에 따른 검출기와 특수 장치의 조합도 가능하고, 이는 시스템 및 그것의 소프트웨어에 의해 용이하게 구별될 수 있고, 예를 들어, 특별한 색, 형상, 다른 장치에 대한 상대 위치, 이동 속도, 빛, 장치의 광원을 변조하는 데 사용되는 주파수, 표면 특성, 사용된 재료, 반사 특성, 투명도, 흡수 특성 등에 의해 구별될 수 있지만, 이것으로 한정되는 것은 아니다. 이 장치는 다른 가능성 중에서도 스틱, 라켓, 클럽, 총, 칼, 휠(wheel), 반지, 핸들, 병, 공, 유리, 꽃병, 숟가락, 포크, 큐브, 주사위, 피규어, 인형, 테디, 비커(beaker), 페달, 스위치, 글러브, 보석, 악기 또는 플렉트럼(plectrum), 드럼 스틱 등과 같은 악기를 연주하기 위한 보조 장치와 유사할 수 있다. 다른 옵션도 가능하다.
또한, 본 발명에 따른 장치는 고온 또는 추가의 발광 프로세스로 인한 것과 같이 자체적으로 발광하는 대상체를 검출 및/또는 추적하는 데 사용될 수 있다. 발광부는 배기 스트림(exhaust stream) 등일 수 있다. 또한, 본 발명에 따른 장치는 반사 대상체를 추적하고 이들 대상체의 회전이나 방위를 분석하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 일반적으로 건축, 건설 및 지도 제작(cartography) 분야에서 사용될 수 있다. 따라서, 일반적으로, 본 발명에 따른 하나 이상의 장치는, 예컨대, 시골 또는 빌딩과 같은 환경 영역을 측정 및/또는 모니터링하기 위해 사용될 수 있다. 여기서, 본 발명에 따른 하나 이상의 장치는 다른 방법 및 장치와 결합될 수 있거나, 단지 건축 프로젝트, 변하는 대상체, 주택 등의 진행 및 정확성을 모니터링하기 위해 단독으로 사용될 수 있다. 본 발명에 따른 장치는 지상 또는 대기의 양쪽 모두에서, 방, 거리, 주택, 지역 사회 또는 풍경(landscape)의 지도를 작성하기 위해, 스캐닝된 환경의 3차원 모델을 생성하는 데 사용될 수 있다. 잠재적인 적용 분야는 건설, 지도 제작, 부동산 관리, 토지 조사 등일 수 있다. 일 예로서, 본 발명에 따른 장치는, 빌딩, 생산 현장(production site), 침니(chimney), 밭과 같은 농산물 생산 환경, 생산 공장 또는 풍경을 모니터링하고, 구조 작업을 지원하고, 위험한 환경에서의 작업을 지원하고, 실내외의 화재 장소에서 소방대를 지원하며, 한 명 이상의 사람 또는 동물 등을 찾거나 모니터링하거나, 또는, 예를 들어, 드론이 헬멧, 마크, 비콘 장치 등을 따라가면서 스키나 사이클링과 같은 스포츠를 하는 한 명 이상의 사람을 추적하고 기록하는 것과 같은 엔터테인먼트의 목적을 위해, 드론이나 멀티콥터(multicopter)에 사용될 수 있다. 본 발명에 따른 장치는 장애물을 인식하거나, 사전 정의된 경로를 뒤따르거나, 에지, 파이프, 빌딩 등을 뒤따르거나 환경에 대한 글로벌 또는 로컬 맵을 기록하는 데 사용될 수 있다. 또한, 실내외의 위치 설정 및 드론의 위치 결정을 위해, 대기압 센서가 정확하지 않은 실내에서의 드론 높이를 안정화시키기 위해, 또는 여러 드론의 일치된 이동이나 대기중에서의 재충전 또는 재급유 등과 같은 복수 드론의 상호 작용을 위해, 본 발명에 따른 장치가 사용될 수 있다.
또한, 본 발명에 따른 장치는 CHAIN(Cedec Home Appliances Interoperating Network)과 같은 가전제품의 상호 연결 네트워크 내에서, 예컨대, 에너지 또는 부하 관리, 원격 진단, 반려동물 관련 기기, 아동 관련 기기, 아동 감시, 가전제품 관련 감시, 노인 또는 환자에 대한 지원이나 서비스, 주택 보안 및/또는 감시, 가전기기 작동의 원격 제어 및 자동 유지 보수 지원과 같은 가정에서의 기본적인 가전기기 관련 서비스를 상호 연결, 자동화 및 제어하는 데 사용할 수 있다. 또한, 본 발명에 따른 장치는, 특히, 한 명 이상의 사람의 위치에 따라 실내의 어느 부분을 소정의 온도나 습도로 유지해야 하는지를 결정하기 위해, 공조 시스템(air-conditioning system)과 같은 냉난방 시스템에 사용될 수 있다. 또한, 본 발명에 따른 장치는 가사 노동에 사용될 수 있는 서비스 로봇 또는 자율 로봇과 같은 가정용 로봇에 사용될 수 있다. 본 발명에 따른 장치는 충돌을 방지하거나 환경을 매핑하는 등의 다수의 상이한 용도로 사용될 수 있지만, 사용자를 식별하거나, 특정 사용자나 보안 목적 또는 제스처나 안면 인식에 맞춰 로봇의 성능을 개별 맞춤화하는 용도로도 사용될 수 있다. 일 예로서, 본 발명에 따른 장치는 로봇 진공 청소기, 바닥 청소 로봇, 건식 청소 로봇, 의류 다림질용 다림질 로봇, 개 또는 고양이 화장실 로봇과 같은 동물 화장실 로봇(animal litter robot), 전기차 충전 로봇, 침입자를 감지하는 보안 로봇, 로봇식 잔디 깎기, 자동 수영장 청소기, 배수로 세척 로봇, 로봇식 쇼핑 카트, 수하물 운반 로봇, 라인 추적 로봇, 세탁 로봇, 다림질 로봇, 유리창 세척 로봇, 장난감 로봇, 환자 모니터링 로봇, 아기 모니터링 로봇, 노인 모니터링 로봇, 어린이 모니터링 로봇, 운송 로봇, 텔레프레전스 로봇(telepresence robot), 전문 서비스 로봇, 프로그래밍 가능한 장난감 로봇, 패스파인더 로봇(pathfinder robot), 이동이 적은 사람들에게 친구를 제공하는 소셜 로봇, 팔로잉 로봇, 스마트 카드 팔로잉 로봇(smart card following robots), 심리 치료 로봇, 또는 음성을 수화로 또는 수화를 음성으로 변환하는 로봇에 사용될 수 있다. 노인과 같이 이동성이 적은 사람의 맥락에서, 본 발명에 따른 장치를 구비하는 가정용 로봇은 대상체를 픽업하고, 대상체를 운반하고, 대상체 및 사용자와 안전한 방식으로 상호 작용하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 인간형 로봇, 특히, 인간형 손을 사용하여 대상체를 픽업 또는 유지 또는 배치하는 관점에서 사용될 수 있다. 또한, 본 발명에 따른 장치는, 특히, 온라인 또는 오프라인 컴퓨터 애플리케이션에 대한 인터페이스를 구비하는 디지털 보조장치로서 제공될 수 있는 가정용 로봇과의 조합에 오디오 인터페이스와 조합하여 사용될 수 있다. 또한, 본 발명에 따른 장치는 산업 및 가정용으로 스위치 및 버튼을 제어할 수 있는 로봇에 사용될 수 있다. 또한, 본 발명에 따른 장치는 Mayfield's Kuri와 같은 스마트 홈 로봇에 사용될 수 있다. 또한, 본 발명에 따른 장치는 위험한 물질이나 대상체 또는 위험한 환경에서 작동하는 로봇에 사용될 수 있다. 비제한적인 예로서, 본 발명에 따른 장치는 로봇이나 무인 원격 제어 차량에서, 특히, 재해 발생 후에 화학 물질 또는 방사성 물질과 같은 유해 물질, 또는 지뢰, 불발탄 등과 같은 다른 위험물이나 잠재적으로 위험한 대상체를 취급하기 위해 사용될 수 있거나, 근처의 불타는 대상체나 재해 지역과 같은 안전하지 않은 환경에서 작업 또는 조사하거나, 또는 공중, 바다, 지하 등에서 유인 또는 무인 구조 작업을 하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 접착제 비즈, 밀봉 비즈 등의 검사, 예컨대, 붕괴, 슬러브, 수축, 비대칭, 국소 결함 등을 인식하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 유사한 색상 및 형상의 과일이 서로 맞닿아 있는 경우와 같은 구별이 어려운 상황에서, 컨베이어 벨트상의 건조 과일과 같은 대상체를 계수하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 흠 없는 주조나 몰딩을 보장하거나, 표면 손상을 인식하거나, 마모된 공구를 인식하는 등과 같이 다이캐스트나 사출 성형 부품의 품질 관리에 사용될 수 있다. 또한, 본 발명에 따른 장치는 레이저의 품질 관리 및 위치 결정과 같은 레이저 스크라이빙(laser scribing)에 사용될 수 있다. 또한, 본 발명에 따른 장치는 대상체의 위치, 회전 및 형상을 검출하고, 이를 대상체의 데이터베이스와 비교하여 대상체를 분류하는 것과 같은 분류 시스템에 사용될 수 있다. 또한, 본 발명에 따른 장치는 스탬핑 부품 검사, 식품 및 제약 포장 검사와 같은 포장 검사, 필라멘트 검사 등에 사용될 수 있다.
또한, 본 발명에 따른 장치는 GPS(Global Positioning System)를 충분히 신뢰할 수 없는 경우에, 항법 목적으로 사용될 수 있다. GPS 신호는 일반적으로 계곡이나 수목 한계선(treeline) 아래의 숲의 실내나 야외에서 수신하기 어렵거나 차단되기 쉬운 전파를 사용한다. 또한, 특히, 무인 자율 주행 차량의 경우, 시스템의 무게가 중요할 수 있다. 특히, 무인 자율 주행 차량은 신뢰할 수 있는 피드백과 제어 시스템의 안정성을 위해 고속 위치 데이터가 필요하다. 본 발명에 따른 장치를 사용하면, 무거운 장치로 인해 중량의 추가 없이 단시간의 응답 및 위치 결정을 가능하게 할 수 있다.
또한, 본 발명에 따른 장치는 냉장고, 전자 렌지, 세탁기, 윈도우 블라인드 또는 셔터, 가정용 알람, 에어컨, 난방 장치, 텔레비전, 오디오 장치, 스마트 시계, 휴대 전화, 전화기, 식기 세척기, 스토브 등의 가정용, 휴대용 또는 엔터테인먼트 장치에서, 사람의 존재를 검출하거나, 장치의 콘텐츠 또는 기능을 모니터링하거나, 사람과 상호 작용하고/작용하거나 해당 개인에 관한 정보를 추가적인 가정용, 휴대용 또는 엔터테인먼트 장치와 공유할 수 있다.
또한, 본 발명에 따른 장치는, 예컨대, 가사 노동이나 작업장에서 대상체를 들고, 운반하거나, 줍는 장치, 또는 주변 환경의 장애물을 알리는 광학 신호 또는 음향 신호를 구비한 안전 시스템을 통해 노약자나 장애인 또는 시력이 제한되거나 없는 시각 장애인을 지원하는 데 사용될 수 있다.
본 발명에 따른 장치는 농업, 예를 들어, 해충, 잡초 및/또는 감염된 농작물 - 농작물은, 곰팡이나 곤충에 의해 감염될 수 있음 - 을 전체 또는 부분적으로 검출 및 분류하는 데 추가로 사용될 수 있다. 또한, 작물을 수확하기 위해, 본 발명에 따른 장치는 수확 장치에 의해 해를 입을 수 있는 사슴과 같은 동물을 검출하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 특히, 밭이나 온실의 소정 영역 또는 심지어 소정 식물에 대한 물이나 비료 또는 작물 보호 제품의 양을 조절하기 위해, 밭이나 온실에서 식물의 성장을 모니터링하는 데 사용될 수 있다. 또한, 농업 생명 공학에서, 본 발명에 따른 장치는 식물의 크기 및 형상을 모니터링하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 면도, 이발 또는 화장 절차 등을 수행하는 동안 사용자를 안내하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 바이올린과 같은 악기에서 연주되는 것을 녹음하거나 모니터링하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 냉장고의 내용물을 모니터링하고 내용물에 따라 알림을 전송하는 스마트 냉장고와 같은 스마트 가전제품에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 숲의 사슴이나 나무 개체군과 같이, 인간, 동물 또는 식물의 개체군을 모니터링하거나 추적하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 포도, 옥수수, 홉, 사과, 곡류, 쌀, 딸기, 아스파라거스, 튤립, 장미, 대두 등의 작물, 꽃 또는 과일을 수확하는 것과 같은 수확 기계에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 번식, 식품 생산, 농업 또는 연구 애플리케이션에서, 식물, 동물, 조류, 물고기 등의 성장을 모니터링하여, 관개, 수정, 습도, 온도, 또는 제초제, 살충제, 살균제, 쥐약 등의 사용을 제어하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 소, 돼지, 고양이, 개, 새, 어류 등과 같은 동물이나 반려동물을 위한 사료 공급 기계에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 자동화된 착유(milking) 공정이나 도살 공정에서 우유, 계란, 모피, 고기 등을 수집하는 것과 같은 동물 제품 생산 공정에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 옥수수, 마늘, 나무, 샐러드 등을 심기 위해 자동 시딩 머신(automated seeding machine) 또는 파종기(sowing machine), 또는 플랜팅 머신(planting machine)에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 구름, 안개 등의 기상 현상을 평가 또는 모니터링하거나, 눈사태, 해일, 강풍, 지진, 천둥 폭풍 등의 위험으로부터 경고하기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 지진 위험을 모니터링하기 위해 모션, 충격, 진동 등을 측정하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 위험한 건널목을 모니터링하고, 교통량에 따라 교통 신호등을 제어하고, 공공장소를 모니터링하고, 도로, 체육관, 경기장, 스키 리조트, 공공 행사 등을 모니터링하는 교통 기술에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 망막 스캔, 호흡 또는 맥파 측정, 위 내시경 검사, 환자 감시 등을 위해 박테리아, 혈액 세포, 세포, 조류(algae) 등을 카운팅하여, 기태(moles) 또는 흑색종(melanoma)과 같은 조직의 변화를, 조직, 의학 또는 생물학적으로 모니터링 또는 분석하는 것과 같은 의료 애플리케이션에 사용될 수 있다. 또한, 본 발명에 따른 장치는 드롭(drop), 스트림(stream), 제트(jet) 등의 형상, 크기 또는 둘레를 모니터링하거나, 바람 통로(wind channel) 등과 같은 가스나 액체의 흐름 또는 프로파일을 분석, 평가 또는 모니터링하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 자동차 또는 열차의 운전자와 같은 운전자가 아프거나 피곤할 때 등에, 그들에게 경고하기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는 변형(strain) 또는 장력(tension) 또는 균열(fissure) 등을 인식하기 위한 재료 시험에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 항해에서, 자동으로 항해 위치를 모니터링하고 최적화하기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는 연료 레벨 게이지용으로 사용될 수 있다.
또한, 본 발명에 따른 장치는 화학 물질 또는 오염물을 검출하기 위한 센서, 전자 노우즈 칩(electronic nose chip), 박테리아 또는 바이러스 등을 검출하기 위한 미생물 센서 칩, 가이거 계수기(Geiger counter), 촉각 센서(tactile sensor), 열 센서 등과 결합될 수 있다. 예를 들어, 고감염성 환자의 치료, 매우 위험한 물질의 취급 또는 제거, 고방사능 영역이나 화학 물질 유출과 같은 고도로 오염된 지역의 청소, 농업에서의 해충 방제와 같은 위험하거나 어려운 작업을 처리하기 위해 구성된 스마트 로봇을 구축하는 데 사용될 수 있다.
아울러 본 발명에 따른 하나 이상의 장치는, 예컨대, 적층 제조 및/또는 3D 프린팅을 위해 CAD나 유사한 소프트웨어와 조합하여 대상체를 스캐닝하는 데 사용될 수 있다. 따라서, 본 발명에 따른 장치를 높은 치수 정확도로, 예컨대, x, y 또는 z 방향에서 또는 이들 방향의 임의의 조합에서 동시에 사용할 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 파이프라인 검사 게이지(pipeline inspection gauges)와 같은 검사 및 유지 보수에 사용될 수 있다. 또한, 생산 환경에서, 본 발명에 따른 장치는, 예컨대, 형상이나 크기에 따라 야채나 기타 천연 제품을 분류하거나, 가공 단계에 필요한 정밀도보다 낮은 정밀도로 제조된 고기나 대상체와 같은 제품을 절단하는 것과 같이, 자연적으로 재배된 대상체와 같은 러프하게 정의된 형태의 대상체와 함께 작업하는 데 사용될 수 있다.
또한, 본 발명에 따른 장치는 로컬 네비게이션 시스템에 사용되어, 자율적으로 또는 부분 자율적으로 차량 또는 멀티콥터 등을 실내 또는 실외 공간을 통해 이동할 수 있게 한다. 비제한적인 예는 대상체를 집어 다른 위치에 배치하기 위해 자동화된 저장소를 통해 이동하는 차량을 포함할 수 있다. 실내 내비게이션은 쇼핑몰, 소매점, 박물관, 공항 또는 기차역에서 추가로 사용되어 모바일 용품, 휴대기기, 수하물, 고객 또는 직원의 위치를 추적하거나, 지도상의 현재 위치와 같은 위치 관련 정보 또는 판매 상품에 관한 정보 등을 사용자에게 제공할 수 있다.
또한, 본 발명에 따른 장치는 속도, 경사, 다가오는 장애물, 도로의 불균일성 또는 커브 등을 모니터링함으로써 모터사이클의 주행 보조와 같은 모터사이클의 안전한 주행을 보장하는 데 사용될 수 있다. 특히, 본 발명에 따른 장치는 충돌을 피하기 위해 열차나 트램에 사용될 수 있다.
또한, 본 발명에 따른 장치는 물류 처리를 최적화하기 위해 포장이나 소포를 스캐닝하는 것과 같은 휴대용 장치에 사용될 수 있다. 또한, 본 발명에 따른 장치는 개인 쇼핑 장치, RFID 판독기, 의료용, 또는 환자나 환자의 보건 관련 정보를 획득, 교환 또는 기록하기 위한 것과 같이, 병원이나 보건 환경에서 사용하기 위한 휴대용 장치, 소매나 보건 환경을 위한 스마트 배지(smart badge) 등에 추가로 사용될 수 있다.
또한, 상술한 바와 같이, 본 발명에 따른 장치는 제품 식별이나 크기 식별(예를 들어, 최적의 장소 또는 패키지를 발견하고, 폐기물 등을 감소시키는 등)과 같은 제조, 품질 관리 또는 식별 애플리케이션에 사용될 수 있다. 또한, 본 발명에 따른 장치는 물류 애플리케이션에 사용될 수 있다. 따라서, 본 발명에 따른 장치는 컨테이너나 차량의 적재 또는 포장을 최적화하기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는 적어도 하나의 이미지 매트릭스를 사용하고, 예컨대, 심볼의 폭 또는 높이를 사전 기록된 값과 비교하는 것과 같이, 사전 기록된 크기를 바코드, QR 코드 또는 사전 기록된 심볼의 기록된 이미지의 측정된 특성과 비교함으로써, 알려진 크기의 바코드, QR 코드 또는 사전 기록된 심볼을 사용하여 재보정될 수 있다. 또한, 본 발명에 따른 장치는 제조 분야에서 표면 손상의 모니터링이나 제어, 렌탈 차량과 같은 렌탈 대상체의 모니터링이나 제어, 및/또는 손해 평가와 같은 보험 애플리케이션에 사용될 수 있다. 또한, 본 발명에 따른 장치는, 특히, 로봇과 조합하여 최적의 재료 취급을 위한 것과 같이 재료, 대상체 또는 공구의 크기를 식별하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 탱크의 충전 레벨을 관찰하기 위해 생산 과정에서 프로세스를 제어하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 탱크, 파이프, 리액터, 공구 등과 같은 생산 자산을 유지 보수하는 데 사용될 수 있지만, 이것으로 제한되는 것은 아니다. 또한, 본 발명에 따른 장치는 3D 품질 표시를 분석하는 데 사용될 수 있다. 또한, 본 발명에 따른 장치는 치아 인레이(tooth inlays), 치아 교정기(tooth braces), 보철물(prosthesis), 의류 등과 같은 맞춤형 제품을 제조하는 데 사용될 수 있다. 본 발명에 따른 장치는 또한 신속한 프로토타이핑, 3D 복사 등을 위해 하나 이상의 3D 프린터와 결합될 수 있다. 또한, 본 발명에 따른 장치는 제품 불법 복제 방지 및 위조 방지 목적 등 하나 이상의 물품 형상을 검출하는 데 사용될 수 있다.
따라서, 구체적으로는, 본 출원은 포토그래피 분야에 적용될 수 있다. 따라서, 검출기는 사진기, 특히, 디지털 카메라의 일부일 수 있다. 특히, 검출기는 3D 포토그래피, 특히, 디지털 3D 포토그래피에 사용될 수 있다. 따라서, 검출기는 디지털 3D 카메라를 형성하거나, 디지털 3D 카메라의 일부일 수 있다. 본 명세서에 사용되는 용어 포토그래피(photography)는 일반적으로 적어도 하나의 대상체의 이미지 정보를 획득하는 기술을 의미한다. 본 명세서에서 또한 사용되는 바와 같이, 카메라는 일반적으로 포토그래피를 수행하도록 구성된 장치이다. 본 명세서에서 또한 사용되는 바와 같이, 디지털 포토그래피라는 용어는 일반적으로 조명의 강도 및/또는 색상, 바람직하게는, 디지털 전기 신호를 나타내는 전기 신호를 생성하도록 구성된 복수의 감광 소자를 사용함으로써 적어도 하나의 대상체의 이미지 정보를 획득하는 기술을 의미한다. 본 명세서에서 또한 사용되는 바와 같이, 3D 포토그래피라는 용어는 일반적으로 3차원 공간에서 적어도 하나의 대상체의 이미지 정보를 획득하는 기술을 의미한다. 따라서, 3D 카메라는 3D 포토그래피를 수행하도록 구성된 장치이다. 카메라는 일반적으로 단일 3D 이미지와 같은 단일 이미지를 획득하도록 구성될 수 있거나, 일련의 이미지와 같은 복수의 이미지를 획득하도록 구성될 수도 있다. 따라서, 카메라는 또한 디지털 비디오 시퀀스를 획득하는 것과 같은 비디오 애플리케이션용으로 구성된 비디오 카메라일 수 있다.
따라서, 일반적으로, 본 발명은 또한 적어도 하나의 대상체를 촬상하기 위한 카메라, 특히, 디지털 카메라, 보다 구체적으로는 3D 카메라 또는 디지털 3D 카메라를 지칭한다. 전술한 바와 같이, 본 명세서에서 사용된 촬상(imaging)이라는 용어는 일반적으로 적어도 하나의 대상체의 이미지 정보를 획득하는 기술을 지칭한다. 카메라는 본 발명에 따른 적어도 하나의 검출기를 포함한다. 전술한 바와 같이, 카메라는 단일 이미지를 획득하거나, 이미지 시퀀스와 같은 복수의 이미지를 획득하도록, 바람직하게는 디지털 비디오 시퀀스를 획득하도록 구성될 수 있다. 따라서, 일 예로서, 카메라는 비디오 카메라일 수 있거나, 이를 포함할 수도 있다. 후자의 경우, 카메라는 이미지 시퀀스를 저장하기 위한 데이터 메모리를 포함하는 것이 바람직하다.
본 발명에서 사용되는 표현 "위치"는 일반적으로 대상체의 하나 이상의 포인트의 절대 위치 및 방위 중 하나 이상에 관한 적어도 하나의 정보 항목을 의미한다. 따라서, 구체적으로, 위치는 직교 좌표계와 같은 검출기의 좌표계에서 결정될 수 있다. 부가적으로 또는 대안적으로, 극 좌표계 및/또는 구 좌표계와 같은 다른 유형의 좌표계가 사용될 수도 있다.
전술한 바와 같이, 또한 이하에 더욱 상세하게 설명하는 바와 같이, 본 발명은 인간-기계 인터페이스 분야, 스포츠 분야 및/또는 컴퓨터 게임 분야에서 바람직하게 적용될 수 있다. 따라서, 대상체는 스포츠 장비의 물품, 바람직하게는 라켓, 클럽, 배트, 의류 물품, 모자, 신발로 이루어진 그룹으로부터 선택된 물품으로 구성되는 그룹으로부터 바람직하게 선택될 수 있다. 다른 실시예도 가능하다.
본 명세서에 사용되는 대상체는 일반적으로 생물과 무생물 중에서 선택되는 임의의 대상체일 수 있다. 따라서, 일 예로서, 적어도 하나의 대상체는 적어도 하나의 물품 및/또는 물품의 적어도 한 부분을 포함할 수 있다. 부가적으로 또는 대안적으로, 대상체는 적어도 하나의 생물(예컨대, 사용자 및/또는 동물) 및/또는 그 생물의 적어도 한 부분(예컨대, 인간의 적어도 하나의 신체 부위)이거나 이를 포함할 수 있다.
검출기의 좌표계일 수도 있는 대상체의 위치를 결정하기 위한 좌표계와 관련하여, 검출기는 검출기의 광축이 z축을 형성하고, z축에 수직인 x축 및 y축이 추가적으로 제공될 수 있고, 또한 이들이 서로 수직인 좌표계를 구성할 수 있다. 일 예로서, 검출기 및/또는 검출기의 일부는 이 좌표계의 원점과 같은 이 좌표계 내의 특정 포인트에 위치될 수 있다. 이 좌표계에서, z축에 평행하거나 역평행한(antiparallel) 방향은 종 방향으로 간주될 수 있고, z축을 따르는 좌표는 종 방향 좌표로 간주될 수 있다. 종 방향에 수직인 임의의 방향은 횡 방향으로 간주될 수 있고, x 및/또는 y 좌표는 횡 방향 좌표로 간주될 수 있다.
대안적으로, 다른 유형의 좌표계가 사용될 수 있다. 따라서, 일 예로서, 광축이 z축을 형성하고, z축으로부터의 거리 및 극각(polar angle)이 추가 좌표로서 사용될 수 있는 극 좌표계가 사용될 수 있다. 다시, z축에 평행하거나 역평행한 방향은 종 방향으로 간주될 수 있고, z축을 따르는 좌표는 종 방향 좌표로 간주될 수 있다. z축에 수직인 임의의 방향은 횡 방향으로 간주될 수 있고, 극 좌표 및/또는 극각은 횡 방향 좌표로 간주될 수 있다.
검출기는 적어도 하나의 대상체 및/또는 그의 일부분의 위치에 관한 적어도 하나의 정보 항목을 제공하도록 구성된 장치일 수 있다. 따라서, 위치는 바람직하게는 검출기의 좌표계에서 대상체 또는 그의 일부분의 위치를 완전히 기술하는 정보 항목을 의미할 수 있거나, 그 위치를 부분적으로만 기술하는 부분 정보를 의미할 수도 있다. 검출기는 일반적으로 비콘 장치로부터 검출기를 향해 전파되는 광빔과 같은 광빔을 검출하도록 구성된 장치일 수 있다.
평가 장치와 검출기는 전체적 또는 부분적으로 단일 장치에 통합될 수 있다. 따라서, 일반적으로, 평가 장치는 또한 검출기의 일부를 형성할 수도 있다. 대안적으로, 평가 장치와 검출기는 전체적 또는 부분적으로 개별 장치로서 구현될 수 있다. 검출기는 추가 구성 요소를 포함할 수 있다.
검출기는 고정형 장치(stationary device) 또는 이동형 장치(mobile device)일 수 있다. 또한, 검출기는 독립형 장치(stand-alone device)이거나, 컴퓨터, 차량 또는 임의의 다른 장치와 같은 다른 장치의 일부를 형성할 수도 있다. 또한, 검출기는 휴대용 장치일 수 있다. 검출기의 다른 실시예가 가능하다.
검출기는, 특히, 플렌옵틱(plenoptic) 또는 라이트 필드 카메라(light-field camera)에 필적하는 검출기의 렌즈나 렌즈 시스템 뒤의 라이트 필드를 기록하는 데 사용될 수 있다. 따라서, 구체적으로는, 검출기는 다수의 초점 평면에서 동시에 화상을 획득하기 위해 구성된 라이트 필드 카메라로서 구현될 수 있다. 본 명세서에 사용되는 용어 라이트 필드(light-field)는 일반적으로 카메라 내부와 같은 검출기 내부에서의 광의 공간 광 전파를 지칭한다. 본 발명에 따른 검출기는, 특히, 광학 센서의 스택을 포함하고, 렌즈 뒤에서와 같이 검출기 또는 카메라 내에서 직접 라이트 필드를 기록할 수 있는 능력을 구비할 수 있다. 복수의 센서는 렌즈로부터 상이한 거리에서 이미지를 기록할 수 있다. 예컨대, "초점 심도(depth from focus)" 또는 "디포커싱 깊이(depth from defocus)"와 같은 컨볼루션 기반 알고리즘을 사용하면, 렌즈 뒤의 전파 방향, 초점 지점 및 광의 확산을 모델링할 수 있다. 렌즈 뒤의 모델링된 광의 전파로부터, 렌즈까지의 다양한 거리에서 이미지를 추출할 수 있고, 피사계 심도(depth of field)를 최적화할 수 있고, 다양한 거리에서 포커싱된 화상을 추출할 수 있거나, 대상체의 거리를 계산할 수 있다. 추가 정보가 추출될 수 있다.
몇몇 광학 센서의 사용은, 이미지를 기록한 후, 추가로 이미지 처리 단계에서 렌즈 오차를 보정할 수 있게 한다. 광학 기기는, 렌즈 오차를 수정해야 할 때, 종종 고가로 되고, 구조가 복잡해진다. 이들은 현미경과 망원경에서, 특히, 문제로 된다. 현미경에서, 일반적인 렌즈 오차는 광축까지 다양한 거리의 광선이 다르게 왜곡된다는 것이다(구면 수차). 망원경에서, 초점 변화는 대기 중의 상이한 온도에서 발생할 수 있다. 구면 수차와 같은 정적 오차나 생산 단계에서의 추가 오차는 보정 단계에서 오차를 결정한 후, 픽셀 및 센서의 고정된 세트와 같은 고정 이미지 처리를 사용하거나, 광 전파 정보를 사용하는 보다 복잡한 처리 기술을 사용하여 수정할 수 있다. 렌즈 오차가 시간에 크게 의존하는 경우, 즉, 망원경에서의 기상 조건에 따라, 렌즈 뒤에서의 광 전파, 확장된 피사계 심도 이미지 계산, 포커싱에서의 깊이 기술 등을 사용하여 렌즈 오차를 보정할 수 있다.
본 발명에 따른 검출기는 컬러 검출을 추가로 허용할 수 있다. 컬러 검출을 위해, 스펙트럼 특성이 상이한 복수의 광학 센서가 사용될 수 있고, 이들 광학 센서의 센서 신호가 비교될 수 있다. 또한, 본 발명에 따른 장치는 제스처 인식과 관련하여 사용될 수 있다. 이와 관련해서, 본 발명에 따른 장치와 조합된 제스처 인식은, 특히, 신체, 신체 부위 또는 대상체의 모션을 통해 정보를 기계로 전송하기 위한 인간-기계 인터페이스로서 사용될 수 있다. 여기에서, 정보는, 바람직하게는, 손가락과 같은 손이나 손 부분의 모션을 통해, 특히, 대상체를 가리키거나, 예컨대, 청각 장애인을 위한 수어에 적용하거나, 숫자, 승인, 거부 등을 표시하거나, 예컨대, 누군가에게 다가가라고 할 때, 나가라고 할 때, 또는 누군가에게 인사하게 할 때, 대상체를 누르라고 할 때, 대상체를 가져가라고 할 때에 손을 흔들거나, 또는 스포츠나 음악 분야에서, 준비 운동과 같은 손이나 손가락 운동을 통해 전달될 수 있다. 또한, 정보는, 예컨대, 엔터테인먼트, 운동 또는 기계의 훈련 기능과 같이 스포츠나 음악을 목적으로 하여, 예컨대, 회전, 발차기, 잡기, 비틀기, 로테이팅, 스크롤링, 브라우징, 밀기, 구부리기, 펀칭, 흔들기, 팔, 다리, 양팔이나 양다리, 또는 팔다리의 조합과 같은 팔이나 다리의 모션에 의해 전달될 수 있다. 또한, 정보는 "우회전", "좌회전", "진행", "저속", "정지" 또는 "엔진 정지"와 같은 정보를 전송하기 위해 공항에서나 교통 경찰에 의해 사용되는 수화나, 또는 수영하는 척, 다이빙하는 척, 달리는 척, 사격하는 척 등 하거나 요가, 필라테스, 유도, 가라데, 춤, 발레와 같은 복잡한 모션이나 몸의 위치를 나타내는 것과 같이, 전신이나 주요 부분의 모션을 통해, 예컨대, 점핑, 회전 또는 복잡한 표시를 만드는 것에 의해 전달될 수 있다. 또한, 정보는 모의 장치(mock-up device)에 상응하는 가상 장치를 제어하기 위해 실제 또는 모의 장치를 사용하여 전달될 수 있고, 예를 들어, 컴퓨터 프로그램에서 가상 기타 기능을 제어하기 위해 모의 기타를 사용하는 것, 컴퓨터 프로그램에서 가상 기타 기능을 제어하기 위해 실제 기타를 사용하는 것, 전자책을 읽거나 페이지를 이동하거나 가상 문서를 통해 탐색하는 데 실제 또는 모의 책을 사용하는 것, 컴퓨터 프로그램에서 실제 또는 드로잉용 모의 펜을 사용하는 것 등에 의해 전달될 수 있다. 또한, 정보의 전송은 소리, 진동 또는 모션과 같이, 사용자에의 피드백에 연결될 수 있다.
음악 및/또는 악기와 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 모의 악기의 사용을 통해 또는 악기가 존재하는 척하는 것에 의해 연습 목적, 악기의 제어, 악기의 녹음, 음악의 재생 또는 녹음을 위해 사용될 수 있고, 예를 들어, 소음을 피하거나 녹음을 하기 위해 에어 기타(air guitar)를 연주하거나, 가상 오케스트라, 앙상블, 밴드, 빅 밴드, 합창단 등을 지휘하거나, 연습, 운동, 녹음 또는 오락 목적 등에 사용될 수 있다.
또한, 안전 및 감시와 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 걷거나 몸을 움직이는 방식으로 사람을 인식하는 것과 같이 사람의 모션 프로파일을 인식하거나, 손 표시나 움직임 또는 전신이나 신체 부위의 표시나 움직임을, 개인 식별 표시 또는 개인 식별 움직임과 같은 액세스나 식별 제어로 사용할 수 있다.
또한, 스마트 홈 애플리케이션 또는 사물 인터넷과 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는, 냉장고, 중앙 난방, 에어컨, 전자레인지, 각빙 제조기(ice cube maker) 또는 온수기(water boiler)와 같은 가전기기 및/또는 가정용 장치, 또는 텔레비전, 스마트폰, 게임 콘솔, 비디오 레코더, DVD 플레이어, 개인용 컴퓨터, 랩톱, 태블릿 또는 이들의 조합과 같은 엔터테인먼트 장치, 또는 가정용 장치와 엔터테인먼트 장치의 조합의 상호 접속 네트워크의 일부일 수 있는 가정용 장치의 중앙 또는 비중앙 제어에 사용될 수 있다.
또한, 가상 현실 또는 증강 현실과 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 가상 현실 애플리케이션 또는 증강 현실 애플리케이션의 움직임 또는 기능을 제어하는 데 사용될 수 있고, 예컨대, 사인, 제스처, 신체 이동 또는 신체 부위 움직임 등을 사용하여 게임을 플레이하거나 제어하는 것, 가상 세계를 통해 움직이는 것, 가상의 대상체를 조작하는 것, 공, 체스 피규어, 바둑 돌, 악기, 도구, 붓과 같은 가상 대상체를 사용하여 스포츠, 예술, 공예품, 음악 또는 게임을 연습, 운동 또는 플레이하는 데 사용될 수 있다.
또한, 의료 분야와 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 재활 훈련, 원격 진단을 지원하거나, 수술 또는 치료를 모니터링하거나 조사하거나, 의료기기의 위치로 의료 영상을 오버레이하고 표시하거나, 수술 또는 치료 중에 기록된 내시경 또는 초음파 등으로부터의 이미지와 자기 공명 단층 촬영 또는 x선 등과 같은 사전 기록된 의료 영상을 오버레이하고 표시하는 데 사용될 수 있다.
또한, 제조 및 프로세스 자동화와 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 로봇, 드론, 무인 자율 주행 차량, 서비스 로봇, 이동 가능한 대상체 등을 제어, 교육 또는 프로그래밍하는 데 사용될 수 있고, 예를 들어, 프로그래밍, 제어, 제조, 조작, 수리 또는 교육 목적, 또는 안전상의 이유 또는 유지 보수 목적으로 대상체 또는 영역을 원격 조작하는 데 사용될 수 있다.
또한, 비즈니스 인텔리전스 메트릭스(business intelligence metrics)와 관련하여, 제스처 인식과 결합된 본 발명에 따른 장치는 인원 계수, 고객 움직임 조사, 고객이 시간을 소비하는 영역, 대상체, 고객 테스트, 테이크, 조사 등을 위해 사용될 수 있다.
또한, 본 발명에 따른 장치는, 특히, 드릴링 머신, 톱, 끌, 해머, 렌치, 스테이플 건, 디스크 커터, 금속 전단기 및 니블러, 앵글 그라인더, 드릴, 해머 드릴, 히트 건, 렌치, 샌더, 인그레이버(engraver), 네일러(nailer), 실톱(jig saw), 비스킷 조이너(biscuit joiner), 우드 라우터, 전동 대패, 폴리셔, 타일 커터, 와셔, 롤러, 월 체이서, 선반, 임팩트 드라이버, 조인터, 페인트 롤러, 스프레이 건, 모티서(morticer), 또는 용접기, 특히, 제조 시에, 안전 조치에 대한 최소 또는 최대 거리를 유지하기 위한 정확성을 지원하는 등과 같은 전기 또는 모터 구동 공구 또는 전동 공구와 같은 DIY(do-it-yourself) 공구 또는 전문 공구의 맥락에서 사용될 수 있다.
또한, 본 발명에 따른 장치는 시각 장애인을 돕기 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는, 예컨대, 위생상의 이유로 직접적인 접촉을 피하기 위해 터치 스크린에 사용될 수 있으며, 이는 소매 환경, 의료 애플리케이션, 생산 환경 등에서 사용될 수 있다. 또한, 본 발명에 따른 장치는 안정적인 청소 로봇, 달걀 수집 기계, 착유기, 수확 기계, 농기계, 수확기, 포워더(forwarder), 콤바인, 트랙터, 경운기, 쟁기, 디스토너(destoner), 써레(harrow), 스트립 틸(strip till), 파종기(broadcast seeder), 감자 플랜터와 같은 플랜터(planter), 두엄 살포기(manure spreader), 스프레이, 스프링클러 시스템, 스웨터(swather), 포장기(baler), 적재기, 포크리프트(forklift), 잔디 깎기(mower) 등과 같은 농업 생산 환경에서 사용될 수 있다.
또한, 본 발명에 따른 장치는 어린이 또는 장애인과 같은 제한된 의사 소통 기술이나 능력을 가진 사람이나 동물을 위한 의복, 신발, 안경, 모자, 보철물, 치아 교정기 등의 선택 및/또는 적용을 위해 사용될 수 있다. 또한, 본 발명에 따른 장치는 창고, 물류, 유통, 운송(shipping), 선적(loading), 하역, 스마트 매뉴팩처링, 4차 산업 등과 같은 맥락에서 사용될 수 있다. 또한, 제조 분야에서, 본 발명에 따른 장치는 처리, 분사, 벤딩, 재료 취급 등의 맥락에서 사용될 수 있다.
평가 장치는 하나 이상의 ASIC(Application-Specific Integrated Circuit)과 같은 하나 이상의 집적 회로 및/또는 하나 이상의 컴퓨터, 바람직하게는 하나 이상의 마이크로컴퓨터 및/또는 마이크로컨트롤러, FPA(Field Programmable Array) 또는 DSP(Digital Signal Processor)와 같은 하나 이상의 데이터 처리 장치일 수 있거나 이를 포함할 수 있다. 하나 이상의 AD 변환기 및/또는 하나 이상의 필터와 같은 센서 신호의 수신 및/또는 전처리를 위한 하나 이상의 장치와 같은 하나 이상의 전처리 장치 및/또는 데이터 획득 장치와 같은 추가 구성 요소가 포함될 수 있다. 또한, 평가 장치는 전류 및/또는 전압을 측정하기 위한 하나 이상의 측정 장치와 같은 하나 이상의 측정 장치를 포함할 수 있다. 또한, 평가 장치는 하나 이상의 데이터 저장 장치를 포함할 수 있다. 또한, 평가 장치는 하나 이상의 무선 인터페이스 및/또는 하나 이상의 유선 인터페이스와 같은 하나 이상의 인터페이스를 포함할 수 있다.
적어도 하나의 평가 장치는 본 발명에 따른 방법의 방법 단계 중 하나 이상이나 전체를 수행하거나 지원하도록 적용된 적어도 하나의 컴퓨터 프로그램과 같은 적어도 하나의 컴퓨터 프로그램을 수행하도록 구성될 수 있다. 일 예로서, 센서 신호를 입력 변수로 사용함으로써, 대상체의 위치를 결정할 수 있는 하나 이상의 알고리즘이 구현될 수 있다.
평가 장치는, 예컨대, 광학 센서 및/또는 평가 장치에 의해 얻어진 정보의 디스플레이, 시각화, 분석, 분배, 통신 또는 추가 처리 중 하나 이상에 사용될 수 있는 적어도 하나의 추가 데이터 프로세싱 장치에 연결될 수 있거나 이를 포함할 수 있다. 일 예로서, 데이터 처리 장치는 디스플레이, 프로젝터, 모니터, LCD, TFT, 라우드 스피커, 다중 채널 사운드 시스템, LED 패턴, 또는 추가의 시각화 장치 중 적어도 하나에 연결되거나 이들에 통합될 수 있다. 또한, 하나 이상의 이메일, 문자 메시지, 전화, 블루투스, Wi-Fi, 적외선 또는 인터넷 인터페이스, 포트 또는 접속부 중 하나 이상을 사용하여 암호화되거나 암호화되지 않은 정보를 전송할 수 있는 통신 장치 또는 통신 인터페이스, 커넥터 또는 포트 중 적어도 하나를 연결하거나 통합할 수 있다. 또한, 프로세서, 그래픽 프로세서, CPU, OMAPTM(Open Multimedia Applications Platform), 집적 회로, Apple A 시리즈 또는 삼성 S3C2 시리즈의 제품과 같은 칩상의 시스템, 마이크로컨트롤러 또는 마이크로프로세서, ROM, RAM, EEPROM 또는 플래시 메모리와 같은 적어도 하나의 메모리 블록, 오실레이터 또는 위상 동기 루프(PLL, Phase Locked Loop), 카운터 타이머, 실시간 타이머 또는 파워 온 리셋 제너레이터(power-on reset generator)와 같은 타이밍 소스, 전압 레귤레이터, 전원 관리 회로 또는 DMA 제어기 중 적어도 하나를 연결하거나 통합할 수 있다. 개별 유닛은 추가로 AMBA 버스와 같은 버스에 의해 연결될 수 있거나, 사물 인터넷 또는 4차 산업형 네트워크에 통합될 수 있다.
평가 장치 및/또는 데이터 프로세싱 장치는 하나 이상의 직렬 또는 병렬 인터페이스 또는 포트, USB, Centronics Port, FireWire, HDMI, 이더넷, 블루투스, RFID, Wi-Fi, USART 또는 SPI와 같은 추가의 외부 인터페이스 또는 포트, 또는 하나 이상의 ADC나 DAC와 같은 아날로그 인터페이스나 포트, 또는 CameraLink와 같은 RGB 인터페이스를 사용하는 2D 카메라 장치와 같은 추가 장치에 대해 표준화된 인터페이스나 포트에 의해 연결되거나 이들을 구비할 수 있다. 평가 장치 및/또는 데이터 처리 장치는 인터프로세서 인터페이스 또는 포트, FPGA-FPGA 인터페이스나, 직렬 또는 병렬 인터페이스 포트 중 하나 이상에 의해 추가로 접속될 수 있다. 평가 장치 및 데이터 처리 장치는 광 디스크 드라이브, CD-RW 드라이브, DVD+RW 드라이브, 플래시 드라이브, 메모리 카드, 디스크 드라이브, 하드 디스크 드라이브, 솔리드 스테이트 디스크 또는 솔리드 스테이트 하드 디스크에 추가로 접속될 수 있다.
평가 장치 및/또는 데이터 처리 장치는 하나 이상의 전화 커넥터, RCA 커넥터, VGA 커넥터, 자웅동체형 커넥터(hermaphrodite connectors), USB 커넥터, HDMI 커넥터, 8P8C 커넥터, BCN 커넥터, IEC 60320 C14 커넥터, 광섬유 커넥터, D-서브미니어처 커넥터(D-subminiature connector), RF 커넥터, 동축 커넥터, SCART 커넥터, XLR 커넥터와 같은 하나 이상의 외부 커넥터에 추가로 연결되거나 이들을 포함할 수 있고/있거나 이들 커넥터 중 하나 이상에 대해 적어도 하나의 적합한 소켓을 통합시킬 수 있다.
예를 들어, 광학 센서, 광학 시스템, 평가 장치, 통신 장치, 데이터 처리 장치, 인터페이스, 칩 상의 시스템, 디스플레이 장치 또는 추가 전자 장치와 같은 본 발명에 따른 검출기, 평가 장치 또는 데이터 처리 장치 중 하나 이상을 통합하는 단일 장치의 가능한 실시예는 휴대전화, 개인용 컴퓨터, 태블릿 PC, 텔레비전, 게임 콘솔 또는 기타 엔터테인먼트 장치가 있을 수 있다. 다른 실시예에서, 이하에 보다 상세하게 설명될 3D 카메라 기능은 장치의 하우징 또는 외관상 현저한 차이 없이 종래의 2D 디지털 카메라로 사용할 수 있는 장치에 통합될 수 있고, 여기서, 사용자에 대한 현저한 차이는 3D 정보를 획득 및/또는 처리하는 기능일 수 있다. 또한, 본 발명에 따른 장치는 360° 디지털 카메라 또는 서라운드 뷰 카메라에 사용될 수 있다.
특히, 평가 장치 및/또는 데이터 처리 장치와 같은 검출기 및/또는 그 일부를 통합하는 실시예는 3D 카메라의 기능을 위한 디스플레이 장치, 데이터 처리 장치, 광학 센서, 선택적으로 센서 광학 장치 및 평가 장치를 포함하는 휴대 전화일 수 있다. 본 발명에 따른 검출기는, 특히, 엔터테인먼트 장치 및/또는 휴대전화와 같은 통신 장치에 통합하는 데 적합할 수 있다.
본 발명의 추가 실시예는 다임러의 지능형 드라이브 시스템(Daimler's Intelligent Drive system)과 같은 자동차용, 자율 주행용 또는 자동차 안전 시스템용으로 사용되는 장치에 평가 장치 및/또는 데이터 처리 장치와 같은 검출기 또는 그의 일부가 통합될 수 있고, 여기서, 예를 들어, 하나 이상의 광학 센서, 선택적인 하나 이상의 광학 시스템, 평가 장치, 선택적 통신 장치, 선택적 데이터 처리 장치, 선택적인 하나 이상의 인터페이스, 선택적인 칩 상의 시스템, 선택적인 하나 이상의 디스플레이 장치 또는 선택적 추가 전자 장치를 포함하는 장치는 차량, 자동차, 트럭, 기차, 자전거, 비행기, 선박, 모터사이클의 일부일 수 있다. 자동차 애플리케이션에서, 자동차 설계에 장치를 통합하는 것은 외부 또는 내부에서 최소한의 가시성으로 광학 센서, 선택적 광학 장치 또는 장치를 통합하는 것이 필요할 수 있다. 평가 장치 및/또는 데이터 처리 장치와 같은 검출기 또는 그의 일부는 이러한 자동차 설계와의 통합에 특히 적합할 수 있다.
본 명세서에 사용되는 용어 광(light)은 일반적으로 가시 스펙트럼 범위, 자외선 스펙트럼 범위 및 적외선 스펙트럼 범위 중 하나 이상의 전자기 방사선을 지칭한다. 여기서, 가시 스펙트럼 범위라는 용어는 일반적으로 380nm 내지 780nm의 스펙트럼 범위를 지칭한다. 적외선 스펙트럼 범위라는 용어는 일반적으로 780nm 내지 1mm의 범위, 바람직하게는 780nm 내지 3.0㎛ 범위에서의 전자기 방사선을 지칭한다. 자외선 스펙트럼 범위라는 용어는 일반적으로 1nm 내지 380nm의 범위, 바람직하게는 100nm 내지 380nm 범위의 전자기 방사선을 지칭한다. 바람직하게는, 본 발명에서 사용되는 광은 가시광, 즉, 가시 스펙트럼 범위 내의 광이다.
광빔이라는 용어는 일반적으로 특정 방향으로 방출 및/또는 반사되는 광의 양을 지칭한다. 따라서, 광빔은 광빔의 전파 방향에 수직인 방향으로 사전 결정된 연장을 포함하는 광선(light rays)의 묶음일 수 있다. 바람직하게는, 광빔은 빔 웨이스트, 레일리 길이(Rayleigh-length) 또는 임의의 다른 빔 파라미터, 또는 빔 직경 및/또는 공간에서의 빔 전파의 전개를 특성화하는 데 적합한 빔 파라미터들의 조합 중 하나 이상과 같은 하나 이상의 가우스 빔 파라미터에 의해 특성화될 수 있는 가우스 광빔의 선형 조합과 같은 하나 이상의 가우스 광빔일 수 있거나 이를 포함할 수 있다.
본 발명에 따른 검출기는 하나 이상의 다른 유형의 센서나 검출기와 추가 결합될 수 있다. 또한, 상기 검출기는 적어도 하나의 추가 검출기를 더 포함할 수 있다. 적어도 하나의 추가 검출기는 주변 환경의 온도 및/또는 밝기와 같은 주변 환경의 파라미터와, 검출기의 위치 및/또는 방위에 관한 파라미터와, 대상체의 위치, 예컨대, 공간에서의 대상체의 절대 위치 및/또는 대상체의 방위와 같은 검출될 대상체의 상태를 특정하는 파라미터 중 적어도 하나와 같은 적어도 하나의 파라미터를 검출하도록 구성될 수 있다. 따라서, 일반적으로, 본 발명의 원리는 추가 정보를 얻기 위해 및/또는 측정 결과를 검증하거나 측정 오차나 잡음을 감소시키기 위해 다른 측정 원리와 결합될 수 있다.
인간-기계 인터페이스는 사용자에게 직접적 또는 간접적으로 부착되고, 사용자에 의해 소지되는 것 중 적어도 하나로 되도록 구성된 복수의 비콘 장치를 포함할 수 있다. 따라서, 비콘 장치는 각각 적절한 고정 장치에 의한 것과 같은 임의의 적절한 수단에 의해 사용자에게 독립적으로 부착될 수 있다. 부가적으로 또는 대안적으로, 사용자는 적어도 하나의 비콘 장치나, 하나 이상의 비콘 장치를 자신의 손에 소지 및/또는 운반할 수 있고/있거나 적어도 하나의 비콘 장치 및/또는 비콘 장치를 포함하는 의복을 몸의 일부에 착용함으로써 소지 및/또는 운반할 수 있다.
비콘 장치는 일반적으로 적어도 하나의 검출기에 의해 검출될 수 있고/있거나 적어도 하나의 검출기에 의해 검출을 용이하게 하는 임의의 장치일 수 있다. 따라서, 상술하거나 이하에 더욱 상세하게 설명되는 바와 같이, 비콘 장치는, 예를 들어, 적어도 하나의 광빔을 생성하기 위한 하나 이상의 조명원을 구비하는 것에 의해, 검출기에 의해 검출되는 적어도 하나의 광빔을 생성하도록 구성된 활성 비콘 장치일 수 있다. 부가적으로 또는 대안적으로, 비콘 장치는, 별도의 조명원에 의해 생성된 광빔을 반사시키도록 구성된 하나 이상의 반사 소자를 제공하는 것과 같은 수동형 비콘 장치로서 전체적 또는 부분적으로 설계될 수 있다. 적어도 하나의 비콘 장치는 영구적으로 또는 일시적으로 직접 또는 간접적으로 사용자에게 부착될 수 있고/있거나 사용자에 의해 운반되거나 소지될 수 있다. 이 부착은 하나 이상의 부착 수단을 사용함으로써, 및/또는 사용자 자신에 의해, 예컨대, 사용자가 적어도 하나의 비콘 장치를 손으로 잡고/잡거나 사용자가 비콘 장치를 착용하는 것에 의해 수행될 수 있다.
부가적으로 또는 대안적으로, 비콘 장치는 대상체에 부착되거나, 사용자가 소지하는 대상체에 통합되는 것 중 적어도 하나일 수 있고, 이는 본 발명의 관점에서 비콘 장치를 보유하는 사용자 옵션의 의미로 포함되어야 할 것이다. 따라서, 이하에 더욱 상세하게 설명되는 바와 같이, 비콘 장치는 인간-기계 인터페이스의 일부일 수 있고, 사용자가 소지하거나 운반할 수 있는 제어 소자에 부착되거나 통합될 수 있으며, 여기서, 방위는 검출기에 의해 인식될 수 있다. 따라서, 일반적으로, 본 발명은 또한 본 발명에 따른 적어도 하나의 검출기를 포함하고, 나아가 적어도 하나의 대상체를 포함할 수 있는 검출기 시스템을 지칭하고, 여기서, 비콘 장치는 대상체에 부착되고, 대상체에 의해 유지되며, 대상체에 통합되는 것 중 하나의 방식으로 마련된다. 일 예로서, 대상체에는 사용자가 방위를 인식할 수 있는 제어 소자가 형성되는 것이 바람직할 수 있다. 따라서, 검출기 시스템은, 전술하거나 이하에 더욱 상세히 설명하는 바와 같이, 인간-기계 인터페이스의 일부일 수 있다. 일 예로서, 사용자는 하나 이상의 명령을 기계에 전송하는 것과 같이, 하나 이상의 정보 항목을 기계에 전송하기 위해 제어 소자를 특정 방식으로 처리할 수 있다.
대안적으로, 검출기 시스템은 다른 방식으로 사용될 수 있다. 따라서, 일 예로서, 검출기 시스템의 대상체는 사용자나 사용자의 신체 일부와는 다를 수 있고, 예컨대, 사용자와는 별개로 움직이는 대상체일 수 있다. 일 예로서, 검출기 시스템은 제조 공정 및/또는 로봇 공정과 같은 장치 및/또는 산업 공정을 제어하는 데 사용될 수 있다. 따라서, 일 예로서, 대상체는 로봇 암과 같은 기계 및/또는 기계 부품일 수 있고, 그 방위는 검출기 시스템을 사용하여 검출될 수 있다.
인간-기계 인터페이스는 검출기가 사용자나 사용자의 적어도 하나의 신체 일부의 위치에 관한 적어도 하나의 정보 항목을 생성하는 방식으로 적응될 수 있다. 특히, 적어도 하나의 비콘 장치를 사용자에게 부착하는 방법이 기지인 경우, 적어도 하나의 비콘 장치의 위치를 평가함으로써, 사용자나 사용자의 신체 일부에 대한 위치 및/또는 방위에 대한 적어도 하나의 정보 항목이 얻어질 수 있다.
비콘 장치는, 바람직하게는, 사용자의 신체 또는 신체 일부에 부착 가능한 비콘 장치 및 사용자에 의해 소지될 수 있는 비콘 장치 중 하나이다. 전술한 바와 같이, 비콘 장치는 전체적 또는 부분적으로 능동형 비콘 장치로 설계될 수 있다. 따라서, 비콘 장치는 검출기로 전송될 적어도 하나의 광빔, 바람직하게는 빔 특성이 알려진 적어도 하나의 광빔을 생성하도록 구성된 적어도 하나의 조명원을 포함할 수 있다. 부가적으로 또는 대안적으로, 비콘 장치는 조명원에 의해 생성된 광을 반사시키도록 적응된 적어도 하나의 반사기를 포함할 수 있고, 이를 통해 검출기로 전송될 반사광빔을 생성할 수 있다.
검출기 시스템의 일부를 형성할 수 있는 대상체는 일반적으로 임의의 형상을 가질 수 있다. 바람직하게는, 상기한 바와 같이, 검출기 시스템의 일부인 대상체는 수동으로 사용자에 의해 처리될 수 있는 제어 소자일 수 있다. 일 예로서, 제어 소자는 장갑, 자켓, 모자, 신발, 바지 및 양복, 손으로 쥘 수 있는 스틱(stick), 배트 및 클럽, 라켓, 지팡이, 장난감 총과 같은 장난감으로 이루어진 그룹으로부터 선택된 적어도 하나의 요소일 수 있거나, 이를 포함할 수도 있다. 따라서, 일 예로서, 검출기 시스템은 인간-기계 인터페이스 및/또는 엔터테인먼트 장치의 일부일 수 있다.
본 명세서에 사용되는 바와 같이, 엔터테인먼트 장치는 한 명 이상의 사용자(이하에서는 한 명 이상의 플레이어라고도 함)의 여가 및/또는 오락의 목적으로 제공될 수 있는 장치이다. 일 예로서, 엔터테인먼트 장치는 게이밍, 바람직하게는 컴퓨터 게이밍을 목적으로 제공될 수 있다. 따라서, 엔터테인먼트 장치는 컴퓨터, 컴퓨터 네트워크 또는 컴퓨터 시스템으로 구현될 수 있거나, 적어도 하나의 게임 소프트웨어 프로그램을 구동하는 컴퓨터, 컴퓨터 네트워크 또는 컴퓨터 시스템을 포함할 수 있다.
엔터테인먼트 장치는, 예컨대, 전술한 적어도 하나의 실시예 및/또는 이하에 개시된 적어도 하나의 실시예와 같은 본 발명에 따른 적어도 하나의 인간-기계 인터페이스를 포함한다. 엔터테인먼트 장치는 인간-기계 인터페이스를 통해 플레이어가 적어도 하나의 정보 항목을 입력할 수 있도록 설계된다. 적어도 하나의 정보 항목은 엔터테인먼트 장치의 제어기 및/또는 컴퓨터에 의해 전송 및/또는 사용될 수 있다. 적어도 하나의 정보 항목은, 바람직하게는, 게임의 진행에 영향을 미치도록 구성된 적어도 하나의 명령을 포함할 수 있다. 따라서, 일 예로서, 적어도 하나의 정보 항목은 플레이어 및/또는 플레이어의 적어도 하나의 신체 일부 중 적어도 하나의 방위에 관한 적어도 하나의 정보 항목을 포함할 수 있고, 이에 의해 플레이어가 특정 위치 및/또는 방위 및/또는 게이밍에 요구되는 동작을 시뮬레이션할 수 있게 한다. 예를 들어, 다음 움직임들: 댄싱; 러닝; 점프; 라켓의 스윙; 배트의 스윙; 클럽의 스윙; 타겟을 향한 장난감 총의 포인팅과 같은 다른 대상체를 향한 대상체의 포인팅 중 하나 이상이 시뮬레이팅되어 엔터테인먼트 장치의 제어기 및/또는 컴퓨터에 전달될 수 있다.
엔터테인먼트 장치의 일부 또는 전체로서, 바람직하게는 엔터테인먼트 장치의 제어기 및/또는 컴퓨터가 정보에 따라 오락 기능을 변화시키도록 설계된다. 따라서, 전술한 바와 같이, 게임의 진행은 적어도 하나의 정보 항목에 의해 영향을 받을 수 있다. 따라서, 엔터테인먼트 장치는 적어도 하나의 검출기의 평가 장치로부터 분리될 수 있고/있거나 적어도 하나의 평가 장치와 전체적 또는 부분적으로 동일하거나 또는 적어도 하나의 평가 장치를 포함할 수도 있는 하나 이상의 제어기를 포함할 수 있다. 바람직하게는, 적어도 하나의 제어기는 하나 이상의 컴퓨터 및/또는 마이크로제어기와 같은 하나 이상의 데이터 처리 장치를 포함할 수 있다.
본 명세서에서 또한 사용되는 추적 시스템은 적어도 하나의 대상체 및/또는 대상체의 적어도 일부에 대한 일련의 과거 위치에 관한 정보를 수집하도록 구성된 장치이다. 또한, 추적 시스템은 적어도 하나의 대상체나 대상체의 적어도 일부에 대한 적어도 하나의 예측되는 향후의 위치 및/또는 방위에 관한 정보를 제공하도록 구성될 수 있다. 추적 시스템은 전자 장치, 바람직하게는 적어도 하나의 데이터 처리 장치, 더 바람직하게는 적어도 하나의 컴퓨터 또는 마이크로컨트롤러에 의해 전체적 또는 부분적으로 구현될 수 있는 적어도 하나의 추적 제어기를 포함할 수 있다. 다시, 적어도 하나의 추적 제어기는 적어도 하나의 평가 장치를 전체적 또는 부분적으로 포함할 수 있고/있거나 적어도 하나의 평가 장치의 일부일 수 있고/있거나 적어도 하나의 평가 장치와 전체적 또는 부분적으로 동일할 수 있다.
추적 시스템은 상술한 하나 이상의 실시예 및/또는 이하의 하나 이상의 실시예에 개시된 적어도 하나의 검출기와 같이, 본 발명에 따른 적어도 하나의 검출기를 포함한다. 추적 시스템은 적어도 하나의 추적 제어기를 더 포함한다. 추적 제어기는, 데이터 또는 데이터 쌍의 그룹들을 기록하는 것과 같이, 특정 시점에서 대상체의 일련의 위치를 추적하도록 구성되고, 데이터 또는 데이터 쌍의 각 그룹은 적어도 하나의 위치 정보 및 적어도 하나의 시간 정보를 포함한다.
상기 추적 시스템은 본 발명에 따른 적어도 하나의 검출기 시스템을 더 포함할 수 있다. 따라서, 적어도 하나의 검출기 및 적어도 하나의 평가 장치 및 적어도 하나의 선택적인 비콘 장치 외에, 추적 시스템은 비콘 장치를 포함하는 적어도 하나의 제어 소자와 같은 대상체 자체 또는 대상체의 일부를 더 포함할 수 있고, 여기서, 제어 소자는 추적될 대상체에 직접적 또는 간접적으로 부착 가능하거나 또는 그 대상체에 통합될 수 있다.
추적 시스템은 추적 시스템 자체 및/또는 하나 이상의 개별 장치의 하나 이상의 동작을 개시하도록 구성될 수 있다. 후자의 목적을 위해, 추적 시스템, 바람직하게 추적 제어기는 적어도 하나의 동작을 개시하기 위해 하나 이상의 무선 및/또는 유선 인터페이스 및/또는 다른 유형의 제어 연결을 포함할 수 있다. 바람직하게는, 적어도 하나의 추적 제어기는 대상체의 적어도 하나의 실제 위치에 따라 적어도 하나의 동작을 개시하도록 구성될 수 있다. 일 예로서, 동작은 대상체의 향후 위치의 예측, 적어도 하나의 장치가 대상체 쪽을 향해 포인팅하는 것, 적어도 하나의 장치가 검출기 쪽을 향해 포인팅하는 것, 대상체를 비추는 것, 검출기를 비추는 것으로 이루어지는 그룹으로부터 선택될 수 있다.
추적 시스템의 적용예로서, 추적 시스템은 제 1 대상체 및/또는 제 2 대상체가 이동하더라도, 적어도 하나의 제 1 대상체가 적어도 하나의 제 2 대상체를 지속적으로 포인팅하는 데 사용될 수 있다. 다시 말해, 로봇 공학 및/또는 제조 라인이나 조립 라인에서 제조하는 동안에서와 같이 제품이 움직이는 경우에도, 제품에 대해 지속적으로 작업하는 산업 애플리케이션에서 잠재적인 예를 찾을 수 있다. 부가적으로 또는 대안적으로, 추적 시스템은, 대상체가 움직이고 있을지라도, 지속적으로 조명원을 대상체에 포인팅함으로써, 대상체를 계속 비추는 것과 같은 조명 목적으로 사용될 수 있다. 송신기를 움직이는 대상체를 향해 포인팅하게 함으로써, 움직이는 대상체에 정보를 지속적으로 전송하기 위한 것과 같은 추가의 애플리케이션이 통신 시스템에서 발견될 수 있다.
전반적으로, 본 발명과 관련하여, 다음의 실시예가 바람직한 것으로 간주된다.
실시예 1: 적어도 하나의 대상체의 위치를 결정하기 위한 검출기로서, 해당 검출기는,
― 광학 센서의 매트릭스를 포함하는 적어도 하나의 센서 소자 - 광학 센서의 각각에는 감광 영역이 포함되고, 센서 소자는 적어도 하나의 반사 이미지를 결정하도록 구성됨 - 와,
― 적어도 하나의 평가 장치 - 평가 장치는, 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하도록 구성되고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성되고, 적어도 하나의 반사 특징에 대응하는 기준 이미지에서의 적어도 하나의 제 2 이미지 위치에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정하도록 구성되며, 또한 종 방향 좌표 z 및 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하도록 구성되되, 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성 - 여기서, 공간 구성은 상대적 공간 성상에 따라 서로 상이함 - 에서 결정되는 것을 포함한다.
실시예 2: 앞선 실시예에 따른 검출기에 있어서, 종 방향 좌표 z는 디포커싱 깊이 알고리즘(depth-from-defocus algorithm)과 같은 적어도 하나의 컨볼루션 기반 알고리즘(convolution-based algorithm)을 사용하여 결정된다.
실시예 3: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 블러링 함수는 적어도 하나의 블러링 함수의 파라미터를 변경함으로써 최적화된다.
실시예 4: 앞선 실시예에 따른 검출기에 있어서, 반사 이미지는 블러 이미지 ib이고, 평가 장치는 블러 이미지 ib 및 블러링 함수 fa로부터 종 방향 좌표 z를 재구성하도록 구성된다.
실시예 5: 앞선 실시예에 따른 검출기에 있어서, 종 방향 좌표 z는, 상기 블러링 함수의 파라미터 σ를 변경함으로써, 블러 이미지 ib와, 추가 이미지 i'b'와 블러링 함수 fa의 컨볼루션(*) 사이의 차이를 최소화하는 것, 즉,
에 의해 결정된다.
실시예 6: 앞선 실시예에 따른 검출기에 있어서, 추가 이미지는 블러 이미지이거나 선명한 이미지이다.
실시예 7: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 적어도 하나의 블러링 함수 fa는 하나의 함수이거나, 또는 가우스(Gaussian), 싱크 함수(sinc function), 필박스 함수(pillbox function), 제곱 함수(square function), 로렌츠 함수(Lorentzian function), 방사형 함수(radial function), 다항식(polynomial), 에르미트 다항식(Hermite polynomial), 저니케 다항식(Zernike polynomial), 르장드르 다항식(Legendre polynomial)으로 이루어진 그룹 중 적어도 하나의 함수로 구성된 복합 함수이다.
실시예 8: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 상대적 공간 성상은 상대적 공간 방위와, 상대적 각도 위치와, 상대적 거리와, 상대적 변위와, 상대적 이동으로 이루어진 그룹으로부터 선택된 적어도 하나의 성상이다.
실시예 9: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 검출기는 상대적 공간적 성상에 의해 분리된 적어도 2개의 센서 소자를 포함하고, 적어도 하나의 제 1 센서 소자는 기준 이미지를 기록하도록 구성되고, 적어도 하나의 제 2 센서 소자는 반사 이미지를 기록하도록 구성된다.
실시예 10: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 검출기는 상이한 시간에 광학 센서의 동일 매트릭스를 사용하여 반사 이미지 및 기준 이미지를 기록하도록 구성된다.
실시예 11: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 상대적 공간 성상에 대한 적어도 하나의 스케일링 팩터를 결정하도록 구성된다.
실시예 12: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 기준 특징과 반사 특징의 변위를 결정하도록 구성된다.
실시예 13: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 대상체의 삼각 측량 종 방향 좌표 ztriang와 변위 사이의 사전 정의된 관계를 사용하여 대상체의 적어도 하나의 삼각 측량 종 방향 좌표 ztriang을 결정하도록 구성된다.
실시예 14: 앞선 2개의 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 결정된 상대적 공간 성상을 고려하여 종 방향 좌표 z와 변위 사이의 실제 관계를 결정하도록 구성되고, 평가 장치는 실제 관계에 따라 사전 정의된 관계를 조정하도록 구성된다.
실시예 15: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 사전 정의된 관계를 실제 관계로 대체하도록 구성되고/구성되거나, 이동 평균을 결정하여 사전 정의된 관계를 이동 평균으로 대체하도록 구성된다.
실시예 16: 앞선 3개의 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 종 방향 좌표 z와 삼각 측량 좌표 ztriang 사이의 차이를 결정하도록 구성되며, 결정된 차이를 적어도 하나의 임계값과 비교하여, 결정된 차이가 임계값 이상인 경우에 사전 정의된 관계를 조정하도록 구성된다.
실시예 17: 앞선 4개의 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 다양한 센서 신호 및/또는 위치 및/또는 이미지 위치 및/또는 시스템 특성 및/또는 종 방향 좌표, 센서 상의 변위 d, 전송 장치의 초점 길이 f, 온도, ztriang, 기준선 b, 조명원과 기준선 사이의 각도 β, 종 방향 좌표 z 등과 같은 파라미터를 포함하는 수학적 모델을 사용하여 보정된 상대적 공간 관계의 추정치를 결정하도록 구성되고, 여기서, 수학적 모델은 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등으로 이루어진 그룹으로부터 선택된 적어도 하나의 수학적 모델이다
실시예 18: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 적어도 하나의 종 방향 영역 - 종 방향 영역은 종 방향 좌표 z와 오차 간격 ±ε에 의해 주어짐 - 을 결정하도록 구성되고, 종 방향 영역에 대응하는 기준 이미지 내의 적어도 하나의 변위 영역을 결정하도록 구성되고, 기준 이미지에서 공액선을 결정하도록 구성되고, 여기서, 변위 영역은 공액선을 따라 연장되며, 평가 장치는 종 방향 좌표 z에 대응하는 공액선을 따라 기준 특징을 결정하고 오차 간격 ±ε에 대응하는 공액선을 따라 변위 영역의 범위를 결정하도록 구성된다.
실시예 19: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 다음의 단계를 수행하도록 구성된다.
― 각각의 반사 특징의 제 2 이미지 위치에 대한 변위 영역을 결정하는 단계;
― 공액선을 변위 영역에 가장 근접하게 및/또는 변위 영역 내에 및/또는 공액선에 직교하는 방향을 따라 변위 영역에 가장 근접하게 할당하는 것과 같이 함으로써, 각각의 반사 특징의 변위 영역에 공액선을 할당하는 단계;
― 기준 특징을 할당된 변위 영역에 가장 근접하게 및/또는 할당된 변위 영역 내에 및/또는 할당된 공액선을 따르는 할당된 변위 영역에 가장 근접하게 및/또는 할당된 공액선을 따르는 할당된 변위 영역 내에 할당하는 것과 같이 함으로써, 각각의 반사 특징에 대해 적어도 하나의 기준 특징을 할당 및/또는 결정하는 단계.
실시예 20: 앞선 2개의 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 변위 영역 내에서 반사 특징을 적어도 하나의 기준 특징과 매칭하도록 구성된다.
실시예 21: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 센서 소자는 적어도 하나의 제 2 반사 이미지를 결정하도록 구성되며, 평가 장치는 제 2 반사 이미지 내의 적어도 하나의 제 3 이미지 위치에서 제 2 반사 이미지의 적어도 하나의 제 2 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 제 2 반사 특징의 적어도 하나의 제 2 종 방향 좌표를 결정하도록 구성되며, 평가 장치는 제 2 기준 이미지 내의 적어도 하나의 제 4 이미지 위치에서 적어도 하나의 제 2 기준 이미지의 적어도 하나의 제 2 반사 특징에 대응하는 적어도 하나의 제 2 기준 특징을 결정하도록 구성되고, 여기서, 제 2 기준 이미지와 제 2 반사 이미지는 2개의 상이한 제 2 공간 구성에서 결정되고, 공간 구성은 실제의 상대적 공간 성상에 따라 서로 상이하며, 평가 장치는 제 2 종 방향 좌표와 제 3 및 제 4 이미지 위치로부터 실제의 상대적 공간 성상을 결정하도록 구성되며, 또한 평가 장치는 상대적 공간 성상과 실제의 상대적 공간 성상을 비교하도록 구성된다.
실시예 22: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 실제의 상대적 공간 성상에 따라 상대적 공간 성상을 조정하도록 구성된다.
실시예 23: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 상대적 공간 성상을 실제의 상대적 성상으로 대체하고/대체하거나 이동 평균을 결정하여 상대적 공간 성상을 이동 평균으로 대체하도록 구성될 수 있다.
실시예 24: 앞선 2개의 실시예들 중 어느 하나에 따른 검출기에 있어서, 평가 장치는 상대적 공간 성상과 실제의 상대적 공간 성상 사이의 차이를 결정하도록 구성되고, 또한 결정된 차이를 적어도 하나의 임계값과 비교하여, 결정된 차이가 임계값 이상인 경우에 상대적 공간 성상을 조정하도록 구성된다.
실시예 25: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 검출기는 적어도 하나의 조명원을 포함하고, 조명원은 대상체를 조명하기 위한 적어도 하나의 조명 패턴을 생성하도록 구성되고, 여기서, 조명 패턴은, 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴(pseudo-random point pattern); 랜덤 포인트 패턴 또는 준랜덤 패턴(quasi random pattern); 적어도 하나의 소볼 패턴(Sobol pattern); 적어도 하나의 준주기적 패턴(quasiperiodic pattern); 적어도 하나의 알려진 특징을 포함하는 적어도 하나의 패턴과, 적어도 하나의 정규 패턴; 적어도 하나의 삼각형 패턴; 적어도 하나의 육각형 패턴; 볼록한 균일 타일링을 포함하는 적어도 하나의 직사각형 패턴; 적어도 하나의 선을 포함하는 적어도 하나의 선 패턴; 및 평행선이나 교차선과 같은 적어도 2개의 선을 포함하는 적어도 하나의 선 패턴으로 이루어지는 그룹으로부터 선택된 적어도 하나의 패턴을 포함한다.
실시예 26: 앞선 실시예들 중 어느 하나에 따른 검출기에 있어서, 검출기는 적어도 하나의 온도 결정 유닛을 포함하고, 온도 결정 유닛은 검출기의 적어도 하나의 온도값을 결정하도록 구성된다.
실시예 27: 앞선 실시예에 따른 검출기에 있어서, 평가 장치는 온도값을 고려한 상대적 공간 성상을 결정하고/결정하거나 온도값에 따라 상대적 공간 성상을 조정하도록 구성된다.
실시예 28: 적어도 하나의 대상체의 위치를 결정하기 위한 검출기 시스템으로서, 검출기 시스템은 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기를 포함하고, 또한 검출기를 향해 적어도 하나의 광빔을 지향시키도록 구성된 적어도 하나의 비콘 장치를 더 포함하며, 여기서, 비콘 장치는 대상체에 장착 가능하거나, 대상체가 소지 가능하거나, 대상체에 통합 가능한 특징 중 적어도 하나의 특징을 가질 수 있다.
실시예 29: 사용자와 기계 사이에서 적어도 하나의 정보 항목을 교환하기 위한 인간-기계 인터페이스로서, 인간-기계 인터페이스는 앞선 실시예에 따른 적어도 하나의 검출기 시스템을 포함하고, 적어도 하나의 비콘 장치는 직접적 또는 간접적으로 사용자에게 장착되는 것과, 사용자가 소지하는 것 중 적어도 하나로 되도록 구성되고, 인간-기계 인터페이스는 검출기 시스템을 사용하여 사용자의 적어도 하나의 위치를 결정하도록 설계되며, 적어도 하나의 정보 항목을 해당 위치에 할당하도록 설계된다.
실시예 30: 적어도 하나의 엔터테인먼트 기능을 수행하기 위한 엔터테인먼트 장치로서, 엔터테인먼트 장치는 앞선 실시예에 따른 적어도 하나의 인간-기계 인터페이스를 포함하고, 이 인간-기계 인터페이스를 사용하여 플레이어가 적어도 하나의 정보 항목을 입력할 수 있도록 설계되며, 또한, 그 정보에 따라 엔터테인먼트 기능이 변경되도록 설계된다.
실시예 31: 적어도 하나의 가동 대상체의 위치를 추적하기 위한 추적 시스템으로서, 추적 시스템은 검출기 시스템을 지칭하는 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기 시스템을 포함하고, 또한 적어도 하나의 추적 제어기를 더 포함하며, 여기서, 추적 제어기는 특정 시점에서 대상체의 일련의 위치를 추적하도록 구성된다.
실시예 32: 풍경의 깊이 프로파일을 결정하기 위한 스캐닝 시스템으로서, 스캐닝 시스템은 검출기를 지칭하는 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기를 포함하고, 또한 적어도 하나의 광빔으로 풍경을 스캐닝하도록 구성된 적어도 하나의 조명원을 더 포함한다.
실시예 33: 적어도 하나의 대상체를 촬상하기 위한 카메라로서, 카메라는 검출기를 지칭하는 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기를 포함한다.
실시예 34: 전자 장치에서 사용하기 위한 관성 측정 유닛으로서, 관성 측정 유닛은 검출기를 지칭하는 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기에 의해 결정된 데이터를 수신하도록 구성되고, 여기서, 관성 측정 유닛은 휠 속도 센서, 선회 속도 센서, 경사 센서, 방위 센서, 모션 센서, MHD 센서(Magneto Hydro Dynamic sensor), 힘 센서, 각도 센서, 각속도 센서, 자기장 센서, 자력계, 가속도계, 자이로스코프로 이루어지는 그룹으로부터 선택된 적어도 하나의 추가 센서에 의해 결정된 데이터를 수신하도록 구성되고, 또한 관성 측정 유닛은 검출기(110) 및 적어도 하나의 추가 센서로부터의 데이터를 평가함으로써, 공간에서의 위치, 공간에서의 상대적 또는 절대적 모션, 회전, 가속도, 방위, 각도 위치, 경사, 선회율, 속도로 이루어진 그룹으로부터 선택된 전자 장치의 적어도 하나의 특성을 결정하도록 구성된다.
실시예 35: 검출기를 지칭하는 앞선 실시예 중 어느 하나에 따른 적어도 하나의 검출기를 사용하여 적어도 하나의 대상체의 위치를 결정하는 방법으로서,
― 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자를 사용함으로써, 대상체의 적어도 하나의 반사 이미지를 결정하는 단계 - 광학 센서의 각각에는 감광 영역이 구비됨 - 와,
― 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
― 적어도 하나의 기준 이미지를 제공하는 단계 - 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성 - 공간 구성은 상대적 공간 성상에 의해 상이함 - 에서 결정됨 - 와,
― 종 방향 좌표 z에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 기준 이미지의 적어도 하나의 기준 특징을 결정하는 단계와,
― 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하는 단계를 포함한다.
실시예 36: 앞선 실시예에 따른 방법에 있어서, 방법은 반복적으로 결정되는 상대적 공간 성상을 모니터링하는 단계를 포함한다.
실시예 37: 앞선 2개의 실시예들 중 어느 하나에 따른 방법에 있어서, 방법은 검출기의 적어도 하나의 온도값이 결정되는 적어도 하나의 온도 결정 단계를 포함한다.
실시예 38: 앞선 실시예에 따른 방법에 있어서, 상대적 공간 성상은 온도값을 고려하여 결정되고/결정되거나 온도값에 따라 구성된다.
실시예 39: 앞선 4개의 실시예들 중 어느 하나에 따른 방법에 있어서, 검출기는 적어도 하나의 조명원을 포함하고, 이 방법은 센서 소자와 조명원의 상대 위치를 결정하는 데 사용된다.
실시예 40: 앞선 5개의 실시예들 중 어느 하나에 따른 방법에 있어서, 검출기는 적어도 하나의 제 1 센서 소자와 적어도 하나의 제 2 센서 소자를 포함하고, 여기서, 제 1 센서 소자와 적어도 하나의 제 2 센서 소자는 상이한 공간 구성에 위치되며, 해당 방법은 제 1 센서 소자나 제 2 센서 소자 중 어느 하나에 의해 결정된 적어도 하나의 이미지를 반사 이미지로서 선택하고, 제 1 센서 소자나 제 2 센서 소자 중 다른 하나에 의해 결정된 적어도 하나의 이미지를 기준 이미지로서 선택하는 단계를 포함하며, 해당 방법은 제 1 센서 소자와 제 2 센서 소자의 상대적 공간 성상을 결정하기 위해 사용된다.
실시예 41: 검출기를 지칭하는 앞선 실시예들 중 어느 하나에 따른 적어도 하나의 검출기를 보정하는 방법으로서, 해당 방법은,
― 광학 센서의 매트릭스를 구비하는 적어도 하나의 센서 소자를 사용함으로써, 대상체의 적어도 하나의 반사 이미지를 결정하는 단계 - 광학 센서의 각각에는 감광 영역이 마련됨 - 와,
― 반사 이미지 내의 적어도 하나의 제 1 이미지 위치에서 반사 이미지의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
― 적어도 하나의 기준 이미지를 제공하는 단계 - 기준 이미지와 반사 이미지는 2개의 상이한 공간 구성에서 결정되며, 여기서, 공간 구성은 상대적 공간 성상에 따라 상이함 - 와,
― 종 방향 좌표 z에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 기준 이미지의 적어도 하나의 기준 특징을 결정하는 단계와,
― 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하는 단계와,
― 적어도 하나의 평가 유닛의 적어도 하나의 데이터 저장 장치에 교정값으로서 상기 상대적 공간 성상을 저장하는 단계를 포함한다.
실시예 42: 앞선 실시예에 따른 방법에 있어서, 해당 방법은 검출기의 적어도 하나의 온도값이 결정되는 적어도 하나의 온도 결정 단계를 포함한다.
실시예 43: 앞선 실시예에 따른 방법에 있어서, 상대적 공간 성상 및/또는 실제의 상대적 공간 성상은 온도값을 고려하여 결정되고/결정되거나 온도값에 따라 조정된다.
실시예 44: 검출기와 관련된 앞선 실시예들 중 어느 하나에 따른 검출기의 용도로서, 사용 목적에 따라, 교통 기술 분야에서의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 물류 애플리케이션, 추적 애플리케이션, 아웃도어 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 포토그래피 애플리케이션, 머신 비젼 애플리케이션, 로봇 애플리케이션, 품질 관리 애플리케이션, 제조 애플리케이션으로 이루어진 그룹으로부터 선택된다.
본 발명의 특징 및 추가의 선택적인 상세한 설명은 종속항과 함께 이하의 바람직한 예시적인 실시예의 설명으로부터 명백해질 것이다. 이러한 맥락에서, 특정 특징은 개별 방식으로 또는 다른 특징과 결합하여 구현될 수 있다. 본 발명은 예시적인 실시예로 한정되지 않는다. 예시적인 실시예가 도면에 개략적으로 도시된다. 각 도면에서 동일한 참조 부호는 동일한 소자 또는 동일한 기능을 갖는 소자, 또는 그 기능과 관련하여 서로 상응하는 소자를 지칭한다.
구체적으로, 도면에 있어서,
도 1은 본 발명에 따른 검출기, 검출기 시스템, 카메라, 엔터테인먼트 장치 및 추적 시스템의 제 1 실시예를 도시한다.
도 2는 본 발명에 따른 검출기, 검출기 시스템, 카메라, 엔터테인먼트 장치 및 추적 시스템의 제 2 실시예를 도시한다.
도 3a 및 도 3b는 제품 컨셉의 실시예를 도시한다.
도 4는 본 발명에 따른 검출기의 추가 실시예를 도시한다.
도 5는 상대적 공간 성상을 획득하는 3가지 상황을 도시한다.
구체적으로, 도면에 있어서,
도 1은 본 발명에 따른 검출기, 검출기 시스템, 카메라, 엔터테인먼트 장치 및 추적 시스템의 제 1 실시예를 도시한다.
도 2는 본 발명에 따른 검출기, 검출기 시스템, 카메라, 엔터테인먼트 장치 및 추적 시스템의 제 2 실시예를 도시한다.
도 3a 및 도 3b는 제품 컨셉의 실시예를 도시한다.
도 4는 본 발명에 따른 검출기의 추가 실시예를 도시한다.
도 5는 상대적 공간 성상을 획득하는 3가지 상황을 도시한다.
도 1은 적어도 하나의 대상체(112)의 위치를 결정하기 위한 검출기(110)의 제 1 실시예를 매우 개략적인 예시로 도시한다. 검출기(110)는, 구체적으로, 카메라(114)로 구현될 수 있고/있거나 카메라(114)의 일부일 수 있다. 카메라(114)는 촬상, 특히, 3D 촬상용으로 제작될 수 있고, 정지 이미지 및/또는 디지털 비디오 클립과 같은 이미지 시퀀스를 획득하기 위해 제작될 수 있다. 다른 실시예도 가능하다. 도 1은 검출기 시스템(116)의 실시예를 나타내고, 이 검출기 시스템은 적어도 하나의 검출기(110) 이외에, 하나 이상의 비콘 장치(118)를 포함하며, 이 예에서는, 이 비콘 장치가 대상체(112)에 부착 및/또는 통합되고, 그로 인해 그 위치가 검출기(110)를 사용하여 검출될 수 있다. 또한, 도 1은 적어도 하나의 검출기 시스템(116)을 포함하는 인간-기계 인터페이스(120)와, 그 인간-기계 인터페이스(120)를 포함하는 엔터테인먼트 장치(122)의 예시적인 실시예를 추가로 나타낸다. 도 1은 또한 검출기 시스템(116)을 포함하고, 대상체(112)의 위치를 추적하기 위한 추적 시스템(124)의 실시예를 나타낸다. 장치와 시스템의 구성 요소는 이하에 더 상세히 설명될 것이다.
이러한 예시적인 실시예에서, 위치가 검출될 수 있는 대상체(112)는 스포츠 장비의 용품으로서 설계될 수 있고/있거나, 제어 요소 또는 제어 장치를 형성할 수 있고, 그 위치는 사용자(113)에 의해 조작될 수 있다. 일 예로서, 대상체(112)는 배트, 라켓, 클럽 또는 임의의 다른 스포츠 장비 용품 및/또는 유사 스포츠 장비(fake sports equipment)이거나 이를 포함할 수 있다. 다른 유형의 대상체(112)가 가능하다. 또한, 사용자(113)는 사용자 자신이 그 위치가 검출되어야 하는 대상체(112)로 간주될 수 있다.
도 1은, 예컨대, 대상체(112)를 스캐닝 및/또는 적어도 하나의 대상체(112)의 적어도 하나의 위치를 결정하기 위해, 대상체(112)를 포함하는 풍경을 스캐닝하기 위한 스캐닝 시스템(126)의 예시적인 실시예를 추가로 나타낸다. 스캐닝 시스템(126)은, 여기에 설명하지는 않지만, 적어도 하나의 검출기(110)를 포함하고, 또한 적어도 하나의 조명원(128)과 적어도 하나의 추가 조명원을 선택적으로 포함한다. 조명원(128)은 일반적으로 적어도 하나의 도트(dot)의 조명과 같은 적어도 하나의 조명광빔을 방출하도록 구성되고, 예컨대, 비콘 장치(118)의 위치 중 하나 이상 및/또는 대상체(112)의 표면상에 위치한다. 스캐닝 시스템(126)은 대상체(112) 및/또는 대상체(112)의 프로파일을 포함하는 풍경의 프로파일을 생성하도록 설계될 수 있고/있거나, 적어도 하나의 검출기(110)를 사용하는 것에 의해, 적어도 하나의 도트와 스캐닝 시스템(126), 특히, 검출기(110) 사이의 거리에 대한 적어도 하나의 정보 항목을 생성하도록 설계될 수 있다.
검출기(110)는 광학 센서(134)의 매트릭스(132)를 구비하는 적어도 하나의 센서 소자(130)를 포함한다. 광학 센서(134)의 각각에는 감광 영역(136)이 마련된다. 센서 소자(130)는 일원화된 단일 장치 또는 여러 장치의 조합으로 형성될 수 있다. 매트릭스(132)는 구체적으로 하나 이상의 행과 하나 이상의 열로 이루어진 직사각형 매트릭스일 수 있거나 이를 포함할 수 있다. 행 및 열은, 특히, 장방형 형태로 배열될 수 있다. 그러나, 삼각형, 원형, 육각형 또는 다른 직사각형 배열이 아닌 배열을 실현할 수 있다. 일 예로서, 소자가 중심 위치를 중심으로 동심원 또는 타원으로 배열되는 원형 배열도 가능할 수 있다. 예를 들어, 매트릭스(132)는 단일 행의 픽셀일 수 있다. 다른 배열도 가능하다.
매트릭스(132)의 광학 센서(134)는, 특히, 크기, 감도 및 기타 광학적, 전기적 및 기계적 특성 중 하나 이상에서 동일할 수 있다. 매트릭스(132)의 모든 광학 센서(134)의 감광 영역(136)은, 특히, 공통 평면에 위치될 수 있고, 공통 평면은, 바람직하게는, 대상체(112)로부터 검출기(110)로 전파되는 광빔이 공통 평면상에 광 스폿을 생성할 수 있도록 대상체(112)와 대향된다. 감광 영역(136)은 구체적으로 각각의 광학 센서(134)의 표면상에 위치될 수 있다. 그러나, 다른 실시예도 가능하다. 광학 센서(134)는, 예를 들어, 적어도 하나의 CCD 및/또는 CMOS 장치를 포함할 수 있다. 일 예로서, 광학 센서(134)는 픽셀화된 광학 장치의 일부이거나 이를 구성할 수 있다. 일 예로서, 광학 센서는 픽셀의 매트릭스를 구비하는 적어도 하나의 CCD 및/또는 CMOS 장치의 일부이거나 이를 구성할 수 있으며, 각 픽셀은 감광 영역(136)을 형성한다.
광학 센서(134)는, 특히, 광검출기(photodetectors), 바람직하게는 무기 광검출기, 더 바람직하게는 무기 반도체 광검출기, 가장 바람직하게는 실리콘 광검출기일 수 있거나 이를 포함할 수 있다. 구체적으로, 광학 센서(134)는 적외선 스펙트럼 범위에서 감지할 수 있다. 매트릭스(132)의 모든 광학 센서(134) 또는 매트릭스(132)의 적어도 한 그룹의 광학 센서(134)는 특히 동일할 수 있다. 매트릭스(132)의 동일한 광학 센서(134)의 그룹은, 특히, 상이한 스펙트럼 범위에 대해 제공되거나, 모든 광학 센서가 스펙트럼 감도와 관련하여 동일할 수 있다. 또한, 광학 센서(134)는 그 크기 및/또는 그들의 전자적 또는 광전자적 특성과 관련하여 동일할 수 있다. 매트릭스(132)는 독립적인 광학 센서(134)로 구성될 수 있다. 따라서, 무기 광다이오드의 매트릭스(132)로 이루어질 수 있다. 그러나, 대안적으로, CCD 검출기 칩과 같은 하나 이상의 CCD 검출기 및/또는 CMOS 검출기 칩과 같은 CMOS 검출기와 같이, 상업적으로 이용 가능한 매트릭스가 사용될 수도 있다.
광학 센서(134)는, 전술한 매트릭스와 같이, 센서 어레이를 형성할 수 있거나 센서 어레이의 일부일 수 있다. 따라서, 일 예로서, 검출기(110)는 m개의 행과 n개의 열로 구성된 장방형 어레이와 같은 광학 센서(134)의 어레이를 포함할 수 있고, 여기서, m, n은 독립적이고, 양의 정수이다. 바람직하게는, 하나 초과의 열 및 하나 초과의 행, 즉, n>1, m>1이 주어진다. 따라서, 일 예로서, n은 2 내지 16 또는 그 이상일 수 있고, m은 2 내지 16 또는 그 이상일 수 있다. 바람직하게는, 행의 개수와 열의 개수의 비율은 1에 가깝다. 일 예로서, m/n = 1:1, 4:3, 16:9 또는 이와 유사한 것을 선택하는 것과 같이, n과 m은 0.3≤m/n≤3인 것으로 선택될 수 있다. 일 예로서, 어레이는 m=2, n=2 또는 m=3, n=3 등을 선택하는 것과 같이, 같은 수의 행과 열로 구성된 정방형 어레이일 수 있다.
매트릭스(132)는 구체적으로 적어도 하나의 행, 바람직하게는 복수의 행과 복수의 열로 이루어진 직사각형 매트릭스일 수 있다. 일 예로서, 행과 열은 실질적으로 수직 방향으로 지향될 수 있다. 넓은 범위의 시야를 제공하기 위해, 매트릭스(132)는 구체적으로 적어도 10행, 바람직하게는 적어도 50행, 더 바람직하게는 적어도 100행으로 이루어질 수 있다. 마찬가지로, 매트릭스(132)는 적어도 10열, 바람직하게는 적어도 50열, 더 바람직하게는 적어도 100열로 이루어질 수 있다. 매트릭스(132)는 적어도 50개의 광학 센서(134), 바람직하게는 적어도 100개의 광학 센서(134), 더 바람직하게는 적어도 500개의 광학 센서(134)를 포함할 수 있다. 매트릭스(132)는 멀티메가 픽셀 범위의 많은 픽셀을 포함할 수 있다. 그러나, 다른 실시예도 가능하다.
도 1에 도시된 실시예에서, 검출기(110)는 본 실시예에서의 조명원(128)과 동일한 조명원(138)을 더 포함한다. 일 예로서, 조명원(138)은 대상체(112)를 비추기 위한 조명광빔을 생성하도록 구성될 수 있다. 검출기(110)는 조명광빔이 검출기(110)로부터 검출기(110)의 광축을 따라 대상체(112)를 향해 전파하도록 구성될 수 있다. 이 목적을 위해, 검출기(110)는 조명광빔을 광축 상으로 편향시키기 위한 적어도 하나의 반사 소자, 바람직하게는 적어도 하나의 프리즘을 포함할 수 있다.
조명원(138)은 대상체(112)를 비추기 위한 적어도 하나의 조명 패턴을 생성하도록 구성될 수 있다. 구체적으로, 조명원(138)은 적어도 하나의 레이저 및/또는 레이저 광원을 포함할 수 있다. 반도체 레이저와 같은 다양한 유형의 레이저가 사용될 수 있다. 부가적으로 또는 대안적으로, LED 및/또는 전구와 같이 비레이저 광원이 사용될 수 있다. 상기 패턴은 복수의 특징을 포함할 수 있다. 상기 패턴은 주기적 또는 비주기적 특징의 배열을 포함할 수 있다. 조명 패턴은 적어도 하나의 포인트 패턴, 특히, 의사 랜덤 포인트 패턴과, 적어도 하나의 알려진 특징을 포함하는 적어도 하나의 패턴으로 이루어진 그룹으로부터 선택된 적어도 하나의 패턴을 포함할 수 있다. 예를 들어, 조명원(138)은 점 구름을 생성 및/또는 투영하도록 구성될 수 있다. 조명원(138)은 적어도 하나의 광 프로젝터; 적어도 하나의 DLP(Digital Light Processing) 프로젝터, 적어도 하나의 LCoS 프로젝터, 적어도 하나의 공간 광 변조기; 적어도 하나의 회절 광학 소자; 적어도 하나의 발광 다이오드 어레이; 적어도 하나의 레이저 광원의 어레이 중 하나 이상을 포함할 수 있다. 조명원(138)은 조명 패턴을 직접 생성하도록 구성된 적어도 하나의 광원을 포함할 수 있다. 조명원(138)은 조명 패턴이 복수의 포인트 패턴을 포함할 수 있도록 점 구름을 생성하게 구성된 적어도 하나의 광 프로젝터를 포함할 수 있다. 조명원(138)은 조명원(138)에 의해 생성된 적어도 하나의 광빔으로부터 조명 패턴을 생성하도록 구성된 적어도 하나의 마스크를 포함할 수 있다. 조명원(138)은 조명 패턴으로 적어도 하나의 대상체(112)를 비출 수 있다. 조명 패턴은 이미지 특징으로서 복수의 포인트를 포함할 수 있다. 이들 점은 조명원(138)으로부터 나오는 광빔(140)으로서 도시되어 있다.
각각의 광학 센서(134)는, 대상체(112)로부터 검출기(110)로 전파되는 광빔(141)에 의해, 광학 센서 각각의 감광 영역(136)의 조명에 응답하여 적어도 하나의 센서 신호를 생성하도록 설계될 수 있다.
또한, 센서 소자(130)는 적어도 하나의 반사 이미지(142)를 결정하도록 구성된다. 매트릭스(132)는 반사 이미지(142)를 포함할 수 있다. 반사 이미지(142)는 반사 특징으로서 포인트를 포함할 수 있다. 이들 포인트는 적어도 하나의 대상체(112)로부터 시작된 광빔(141)으로부터 생성된다.
검출기(110)는 적어도 하나의 렌즈, 예를 들어, 적어도 하나의 가변 초점 렌즈, 적어도 하나의 비구면 렌즈, 적어도 하나의 구면 렌즈, 적어도 하나의 프레넬 렌즈로 이루어진 그룹으로부터 선택된 적어도 하나의 렌즈와, 적어도 하나의 회절 광학 소자와, 적어도 하나의 오목 거울과, 적어도 하나의 빔 편향 소자, 바람직하게는 적어도 하나의 미러와, 적어도 하나의 빔 분할 소자, 바람직하게는 빔 분할 큐브 또는 빔 분할 미러 중 적어도 하나, 및 적어도 하나의 다중 렌즈 시스템 중 하나 이상을 포함하는 적어도 하나의 전송 장치(144)를 포함할 수 있다. 특히, 전송 장치(144)는 이미지 평면에서 적어도 하나의 대상체 포인트를 포커싱하도록 구성된 적어도 하나의 시준 렌즈(collimating lens)를 포함할 수 있다.
검출기(110)는 적어도 하나의 평가 장치(146)를 포함한다.
전술한 바와 같이, 검출기(110)를 사용하여 대상체(112)의 위치 및/또는 그것의 일부분의 위치를 결정하는 것은 적어도 하나의 정보 항목을 여기에 도시하지 않은 기계에 제공하기 위해 인간-기계 인터페이스(120)를 제공하도록 사용될 수 있다. 기계는 컴퓨터일 수 있고/있거나 컴퓨터를 포함할 수 있다. 다른 실시예도 가능하다. 평가 장치(146)는 심지어 컴퓨터 내와 같이, 기계 내에 전체적 또는 부분적으로 통합될 수 있다.
추적 시스템(124)은 검출기(110) 및 적어도 하나의 추적 제어기(147)를 포함한다. 추적 제어기(147)는 특정 시점에서 대상체(112)의 일련의 위치를 추적하도록 구성될 수 있다. 추적 제어기(147)는 독립적인 장치일 수 있고/있거나 기계, 특히, 컴퓨터 및/또는, 도 1에서와 같이, 평가 장치(146) 내에 전체적 또는 부분적으로 통합될 수 있다.
마찬가지로, 전술한 바와 같이, 인간-기계 인터페이스(120)는 엔터테인먼트 장치(122)의 일부를 형성할 수 있다. 기계, 특히, 컴퓨터는 엔터테인먼트 장치(122)의 일부를 형성할 수도 있다. 따라서, 사용자(113)가 대상체(112)로서 기능하는 것 및/또는 사용자(113)가 대상체(112)로서 기능하는 제어 장치를 핸들링하는 것에 의해, 사용자(113)는 적어도 하나의 제어 명령과 같은 적어도 하나의 정보 항목을 컴퓨터에 입력함으로써, 예컨대, 컴퓨터의 과정을 제어하는 엔터테인먼트 기능을 변화시킨다.
평가 장치(146)는 적어도 하나의 제 1 이미지 위치(148)에서 반사 이미지(142)의 적어도 하나의 반사 특징을 선택하도록 구성된다. 평가 장치(146)는 반사 특징을 식별하기 위해 적어도 하나의 이미지 분석 및/또는 이미지 처리를 수행하도록 구성될 수 있다. 이미지 분석 및/또는 이미지 처리는 적어도 하나의 특징 검출 알고리즘을 사용할 수 있다. 이미지 분석 및/또는 이미지 처리는, 필터링; 적어도 하나의 관심 영역의 선택; 센서 신호에 의해 생성된 이미지와 적어도 하나의 오프셋 간의 차분 이미지 형성; 센서 신호에 의해 생성된 이미지를 반전시키는 것에 의한 센서 신호의 반전; 상이한 시간에 센서 신호에 의해 생성된 이미지 간의 차분 이미지 형성; 배경 보정; 컬러 채널로의 분해; 색조(hue)로의 분해; 포화(saturation); 및 밝기 채널; 주파수 분해; 단일값 분해(singular value decomposition); 캐니 에지 검출기(Canny edge detector) 적용; LoG 필터(Laplacian of Gaussian filter) 적용; DoG 필터(Difference of Gaussian filter) 적용; 소벨(Sobel operator) 연산자 적용; 라플라스 연산자(Laplacian operator) 적용; Scharr 연산자 적용; Prewitt 연산자 적용; Roberts 연산자 적용; Kirsch 연산자 적용; 고역 통과 필터 적용; 블롭 분석(blob analysis) 적용; 에지 필터(edge filter) 적용; 저역 통과 필터 적용; 푸리에 변환 적용; 라돈 변환(Radon transformation) 적용; 허프 변환(Hough transformation) 적용; 웨이블릿 변환(wavelet-transformation) 적용; 임계화(thresholding); 이진 이미지 생성 중 하나 이상을 포함할 수 있다. 관심 영역은 사용자에 의해 수동으로 결정될 수 있거나, 광학 센서(134)에 의해 생성된 이미지 내의 대상체를 인식하는 것과 같이 자동적으로 결정될 수도 있다.
평가 장치(146)는 적어도 하나의 블러링 함수 fa를 최적화함으로써 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성된다. 구체적으로, 평가 장치(146)는 적어도 하나의 거리 추정치를 결정하도록 구성될 수 있다. 거리 추정치는 종 방향 좌표 z 및 종 방향 좌표 결정의 측정 불확실성 ±ε에 의해 정의된 적어도 하나의 불확실한 간격일 수 있다. 오차 간격 ε은 광학 센서의 측정 불확실성 및/또는 온도, 모션 등과 같은 추가 파라미터에 따라 달라질 수 있다. 광학 센서(134)의 측정 불확실성은 사전 결정 및/또는 추정될 수 있고/있거나 평가 장치(146)의 적어도 하나의 데이터 저장 유닛에 저장될 수 있다. 예를 들어, 오차 간격은 ±10%, 바람직하게는 ±5%, 더욱 바람직하게는 ±1%일 수 있다. 거리 추정치의 결정은 일반적으로 삼각 측량 방법보다 더 큰 에러 바(error bar)를 사용하여 거리 추정치를 산출할 수 있다. 종 방향 좌표 z는 디포커싱 깊이 알고리즘(depth-from-defocus algorithm)과 같은 적어도 하나의 컨볼루션 기반 알고리즘을 사용하여 결정될 수 있다. 반사 특징으로부터 거리를 얻기 위해, 디포커싱 깊이 알고리즘은 대상체의 디포커스를 추정한다. 이러한 추정을 위해, 블러링 함수(blurring function)를 가정한다. 특히, 블러링 함수는 디포커싱된 대상체의 블러를 모델링한다. 적어도 하나의 블러링 함수 fa는 하나의 함수이거나, 또는 가우스(Gaussian), 싱크 함수(sinc function), 필박스 함수(pillbox function), 제곱 함수, 로렌츠 함수(Lorentzian function), 방사형 함수(radial function), 다항식, 에르미트 다항식(Hermite polynomial), 저니케 다항식(Zernike polynomial), 르장드르 다항식(Legendre polynomial)으로 이루어진 그룹 중 적어도 하나의 함수로 구성된 복합 함수일 수 있다.
센서 소자(130)는 적어도 하나의 반사 패턴을 결정하도록 구성될 수 있다. 평가 장치(146)는 적어도 하나의 블러링 함수 fa를 최적화함으로써 반사 패턴의 적어도 하나의 특징을 선택하고, 반사 패턴의 선택된 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다.
블러링 함수는 적어도 하나의 블러링 함수의 파라미터를 변경함으로써 최적화될 수 있다. 반사 이미지(142)는 블러 이미지 ib일 수 있다. 평가 장치(146)는 블러 이미지 ib 및 블러링 함수 fa로부터 종 방향 좌표 z를 재구성하도록 구성될 수 있다. 종 방향 좌표 z는, 블러링 함수의 파라미터 σ을 변경함으로써, 적어도 하나의 추가 이미지 i'b와 블러링 함수 fa의 컨볼루션(*)과 블러 이미지 ib 사이의 차이를 최소화하는 것, 즉,
에 의해 결정될 수 있다. σ(z)는 거리에 따른 블러링 파라미터의 세트이다. 추가 이미지는 흐리거나 선명할 수 있다. 적어도 하나의 추가 이미지는 알려진 블러링 함수를 사용한 컨볼루션에 의해 블러 이미지 ib로부터 생성될 수 있다. 따라서, 디포커싱 깊이 알고리즘은 반사 특징의 거리 추정치를 얻기 위해 사용될 수 있다. 이 거리 추정치는 공액선이 선택되는 영역을 효율적으로 선택하는 데 사용될 수 있으며, 아래에서 더 상세하게 설명될 것이다. 그런 다음 삼각 측량과 선택된 공액선을 사용하여 거리를 계산할 수 있다. 거리 추정치의 결정은 대부분의 삼각 측량 방법과 달리 반사 이미지의 단일 특징에 적용될 수 있다. 따라서, 거리 추정치의 결정은, 대응 문제가 해결되는 더 작은 영역을 생성함으로써, 삼각 측량 방법의 속도를 증가시키는 데 사용될 수 있다.
센서 소자(130)는 적어도 하나의 반사 패턴을 결정하도록 구성될 수 있다. 반사 패턴은 조명 패턴의 적어도 하나의 특징에 대응하는 적어도 하나의 특징을 포함할 수 있다. 반사 패턴은 조명 패턴과 비교하여 적어도 하나의 왜곡된 패턴을 포함할 수 있고, 여기서, 왜곡은 대상체의 표면 특성과 같은 대상체의 거리에 좌우된다. 평가 장치(146)는, 전술한 바와 같이, 반사 패턴의 적어도 하나의 특징을 선택하고, 반사 패턴의 선택된 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다.
평가 장치(146)는 적어도 하나의 반사 특징에 대응하는 기준 이미지 내의 적어도 하나의 제 2 이미지 위치에서 적어도 하나의 기준 이미지 내의 적어도 하나의 기준 특징을 결정하도록 구성된다. 기준 이미지와 반사 이미지는 2개의 서로 다른 공간 구성에서 결정된다. 공간 구성은 상대적 공간 성상에 따라 다르다. 도 1에 도시된 실시예에서, 기준 이미지는 조명원(128)의 위치에서 이미지 평면 내의 조명 패턴의 이미지일 수 있다. 평가 장치(146)는 이미지 분석을 수행하고 기준 이미지의 특징을 식별하도록 구성될 수 있다. 평가 장치(146)는 선택된 반사 특징과 종 방향 좌표가 실질적으로 동일한 기준 이미지 내의 적어도 하나의 기준 특징을 식별하도록 구성될 수 있다. 반사 특징에 대응하는 기준 특징은 공액 기하(epipolar geometry)를 사용하여 결정될 수 있다. 공액 기하는, 예를 들어, 기준 이미지와 반사 이미지의 기록 동안, 기준 이미지와 반사 이미지가 고정 거리의 상이한 공간 위치 및/또는 공간 방위에서 결정된 대상체(112)의 이미지일 수 있음을 가정할 수 있다. 거리는 상대 거리일 수 있으며, 기준선으로도 표시될 수 있다. 평가 장치(146)는 기준 이미지 내의 공액선을 결정하도록 구성될 수 있다. 기준 이미지와 반사 이미지의 상대적 위치를 알 수 있다. 예를 들어, 기준 이미지와 반사 이미지의 상대 위치는 평가 장치의 적어도 하나의 저장 유닛 내에 저장될 수 있다. 평가 장치(146)는 반사 이미지의 선택된 반사 특징으로부터 그것이 시작된 실제의 특징으로 연장되는 직선을 결정하도록 구성될 수 있다. 따라서, 직선은 선택된 반사 특징에 대응하는 가능한 대상체 특징을 포함할 수 있다. 직선과 기준선은 공액면에 걸쳐 있다. 기준 이미지는 반사 이미지와는 상이한 상대적 공간 성상에서 결정되므로, 대응 가능한 대상체 특징은 기준 이미지에서 공액선이라 불리는 직선상에 촬상될 수 있다. 공액선은 공액면과 기준 이미지의 교차점일 수 있다. 따라서, 반사 이미지의 선택된 특징에 대응하는 기준 이미지의 특징은 공액선 상에 있다.
대상체(112)까지의 거리에 따라 반사 특징의 이미지 위치에 대응하는 기준 특징은 반사 패턴의 이미지 위치와 비교하여 기준 패턴 내에서 변위될 수 있다. 기준 이미지는 선택된 반사 특징에 대응하는 기준 특징이 촬상될 수 있는 적어도 하나의 변위 영역을 포함할 수 있다. 변위 영역은 단 하나의 기준 특징을 포함할 수 있다. 평가 장치(146)는 적어도 하나의 종 방향 영역을 결정하도록 구성될 수 있으며, 여기서, 종 방향 영역은 종 방향 좌표 z와 오차 간격 ±ε에 의해 주어진다. 평가 장치는 종 방향 영역에 대응하는 적어도 하나의 기준 이미지에서 적어도 하나의 변위 영역을 결정하도록 구성될 수 있다. 변위 영역은 공액선을 따라 연장될 수 있다. 평가 장치(146)는 공액선을 따라 기준 특징을 결정하도록 구성될 수 있다. 평가 장치는 반사 특징에 대한 종 방향 좌표 z 및 오차 간격 ±ε을 결정하여, z±ε에 대응하는 공액선을 따라 변위 영역을 결정하도록 구성될 수 있다. 평가 장치(146)는 선택된 반사 특징을 변위 영역 내의 적어도 하나의 기준 특징과 매칭시키도록 구성될 수 있다. 평가 장치(146)는 결정된 종 방향 좌표 z를 고려하는 적어도 하나의 평가 알고리즘을 사용함으로써, 반사 이미지의 선택된 특징을 변위 영역 내의 기준 특징과 매칭시키도록 구성될 수 있다. 평가 알고리즘은 선형 스케일링 알고리즘일 수 있다.
평가 장치(146)는 기준 특징 및 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치(146)는 매칭된 기준 특징 및 선택된 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치(146)는 종 방향 좌표와 변위 사이의 사전 결정된 관계를 사용하여 매칭된 특징의 종 방향 정보를 결정하도록 구성될 수 있다. 예를 들어, 종 방향 정보는 거리값일 수 있다. 평가 장치(146)는 삼각 측량법을 이용하여 사전 결정된 관계를 결정하도록 구성될 수 있다. 반사 이미지에서 선택된 반사 특징의 위치와 매칭된 기준 특징의 위치 및/또는 선택된 반사 특징과 매칭된 기준 특징의 상대 변위가 알려져 있는 경우, 대응하는 대상체 특징의 종 방향 좌표는 삼각 측량에 의해 결정될 수 있다. 따라서, 평가 장치(146)는, 예를 들어, 후속 및/또는 열별로 반사 특징을 선택하고, 기준 특징의 잠재적 위치 각각에 대해 삼각 측량을 사용하여 대응하는 거리값을 결정하도록 구성될 수 있다. 변위 및 해당 거리값은 평가 장치(146)의 적어도 하나의 저장 장치에 저장될 수 있다. 평가 장치(146)는, 일 예로서, 적어도 하나의 프로세서, 적어도 하나의 DSP, 적어도 하나의 FPGA 및/또는 적어도 하나의 ASIC과 같은 적어도 하나의 데이터 처리 장치를 포함할 수 있다. 또한, 종 방향 좌표 z와 변위 사이의 적어도 하나의 사전 결정되거나 결정 가능한 관계를 저장하기 위해, 사전 결정된 관계를 저장하기 위한 하나 이상의 룩업 테이블을 제공하는 것과 같은 적어도 하나의 데이터 저장 장치가 제공될 수 있다.
평가 장치(146)는 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상을 결정하도록 구성될 수 있다. 전술한 바와 같이, 공액 기하는 반사 이미지와 기준 이미지의 상대적 공간 성상, 특히, 기준선에 대한 충분한 지식이 필요할 수 있다. 그러나, 조명원(138)과 센서 소자(130)와 같은 검출기 구성 요소의 상대적 공간 성상은, 예를 들어, 열 영향으로 인해 측정 시간 동안 알려지지 않을 수 있고/있거나 변할 수 있다. 적어도 하나의 디포커싱 깊이 알고리즘을 사용하여 결정된 종 방향 좌표 z는 삼각 측량 시스템을 보정 및/또는 재보정하는 데 사용될 수 있다. 전술한 바와 같이, 평가 장치(146)는 기준 특징과 반사 특징의 변위를 결정하도록 구성될 수 있다. 평가 장치(146)는 대상체(112)의 삼각 측량 종 방향 좌표 ztriang와 변위 사이의 사전 정의된 관계를 사용하여 대상체(112)의 적어도 하나의 삼각 측량 종 방향 좌표 ztriang를 결정하도록 구성될 수 있다. 삼각 측량 종 방향 좌표 ztriang는 고정된 상대적 공간 성상을 가정하고 상대적 공간 성상의 사전 정의 및/또는 사전 결정된 값을 포함하는 공액 기하를 사용하여 제 1 및 제 2 이미지 위치에서 결정될 수 있다. 특히, 사전 정의된 관계는 상대적 공간 성상에 따라 달라질 수 있다. 평가 장치는 사전 정의된 관계를 저장하도록 구성될 수 있다. 평가 장치(146)는 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang를 비교하도록 구성될 수 있다. 평가 장치(146)는 결정된 상대적 공간 성상을 고려하여 종 방향 좌표 z와 변위 사이의 실제 관계를 결정하도록 구성될 수 있다. 평가 장치(146)는 실제 관계에 따라 사전 정의된 관계를 조정하도록 구성될 수 있다. 평가 장치(146)는 사전 정의된 관계, 특히, 저장된 사전 정의된 관계를 실제 관계로 대체하도록 구성될 수 있고/있거나 이동 평균을 결정하고 사전 정의된 관계를 이동 평균으로 대체하도록 구성될 수 있다. 평가 장치(146)는 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang 사이의 차이를 결정하도록 구성될 수 있다. 평가 장치(146)는 결정된 차이를 적어도 하나의 임계값과 비교하고, 결정된 차이가 임계값 이상인 경우, 사전 정의된 관계를 조정하도록 구성될 수 있다. 평가 장치(146)는 실제 관계와 종 방향 좌표 z로부터 상대적 공간 성상을 결정하도록 구성될 수 있다. 예를 들어, 조명원(138)과 센서 소자(130)는 기준선 b에 의해 분리될 수 있고, d는 센서 상의 변위이고, f는 검출기의 전송 장치의 초점 길이이며, β는 조명원과 기준선 사이의 각도이다. 기준선 및 변위에 대한 전형적인 값은 미국 캘리포니아주 파사데나에서 2008년 5월 19일부터 23일까지 개최된 로봇 공학 및 자동화에 관한 2008 IEEE 국제 회의에서, Kurt Konolige 등에 의한 Low-Cost Laser Distance Sensor에서 논의되었다. β=90°의 경우,
따라서, 대상체까지의 거리, 즉, 종 방향 좌표 z가 알려진 경우, ztriang은 z로 대체될 수 있고, 수정된 기준선 bcor는 다음 식으로 계산될 수 있다.
β가 90°보다 작은 경우, 
이다. 따라서, 수정된 기준선 bcor은,
에 의해 계산되고, 각도 β는 다음 식으로부터 결정될 수 있다.
β와 b는 동시에 변할 수 있기 때문에, 후속 측정을 사용하여 두 값을 결정할 수 있다. 따라서, 삼각 측량 종 방향 좌표 ztriang, 즉, 센서 소자로부터 삼각 측량에 의해 결정된 대상체까지의 거리가 추가로 알려져 있는 특징점에 대한 종 방향 좌표 z의 측정치는 사전 정의된 관계를 정정하는 데 사용될 수 있다. 평가 장치(146)는 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang을 사용함으로써 기준선 값과 같은 상대적 공간 성상의 값을 결정 및/또는 정정 및/또는 보정하도록 구성될 수 있다. 다양한 센서 신호는 수학적 모델 내에서 사용될 수 있는 반면, 수학적 모델은 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등으로부터 선택되어 각 센서 신호가 측정 오차와 부정확성의 영향을 받는다는 것을 고려할 수 있고, 또한, 칼만 필터와 같은 수학적 모델 내에서 이들 센서 신호의 융합은 상대적 공간 성상 및/또는 종 방향 좌표의 측정과 같은 개선된 추정값을 산출할 수 있다.
종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang는, 특히, 보정된 관계 및/또는 보정된 상대적 공간 성상의 통계적으로 확인된 값을 얻기 위해 복수의 특징점에 대해 결정될 수 있다. 상대적 공간 성상은 갑자기 변하지 않을 것이기 때문에, 이러한 통계적 평가가 적합할 수 있다.
도 2는 검출기(110), 검출기 시스템(116), 카메라(114), 엔터테인먼트 장치(122) 및 추적 시스템(124)의 제 2 실시예를 도시한다. 검출기(110), 검출기 시스템(116), 카메라(114), 엔터테인먼트 장치(122) 및 추적 시스템(124)에 대해서는 도 1의 설명을 참조한다. 도 1에 더하여, 본 실시예에서, 검출기(110)는 2개의 센서 소자(130), 제 1 센서 소자(150) 및 제 2 센서 소자(152)를 포함할 수 있다. 제 1 센서 소자(150)와 제 2 센서 소자(152)는 기계식 커넥터(156)에 의해 연결될 수 있다. 기계식 커넥터(156)는 조정 가능하고/가능하거나 비영구적일 수 있다. 대상체(112) 상의 일부 포인트는 선택적인 조명원(138)에 의해 조명될 수 있고, 두 센서 소자(150, 152)에 의해 검출될 수 있다. 평가 장치(146)는 블러링 함수 fa를 최적화함으로써 대상체(112)의 종 방향 좌표 z를 결정하도록 구성될 수 있다. 제 1 센서 소자(150)와 제 2 센서 소자(152)는, 특히, 선택적 조명원(138)에 의해 조명되는 지점의 대상체 특징을 촬상하도록 구성될 수 있다. 제 1 센서 소자(150)나 제 2 센서 소자(152)의 이미지는 반사 이미지로서 선택될 수 있고, 다른 센서 소자의 대응하는 다른 이미지는 기준 이미지로서 선택될 수 있다. 평가 장치(146)는, 도 1과 관련하여 설명한 바와 같이, 적어도 하나의 제 1 이미지 위치(148)에서 적어도 하나의 반사 특징을 결정하고, 적어도 제 2 이미지 위치(154)에서 반사 특징에 대응하는 기준 특징을 결정하도록 구성될 수 있다. 평가 장치(146)는, 도 1과 관련하여 설명한 바와 같이, 종 방향 좌표 z와 제 1 및 제 2 이미지 위치로부터 상대적 공간 성상, 특히, 기준선을 결정하도록 구성될 수 있다.
종 방향 좌표 z의 결정은 제 1 센서 소자(150) 및/또는 제 2 센서 소자(152)에 의해 결정된 이미지에서의 단일 반사 특징이나 복수의 또는 모든 반사된 대상체 특징에 대해 수행될 수 있다. 선택적인 조명원(138)에 의해 조명되지 않은 특징점은 추가의 종 방향 좌표 z를 계산하는 데 사용될 수 있고/있거나 포즈 추정을 계산하는 데 사용될 수 있다.
도 3a 및 도 3b는 제품 컨셉의 실시예를 도시한다. 도 3a는 검출기(110)의 구성 요소, 특히, 센서 소자(130), 전송 장치(144), 조명원(138), 기계식 커넥터(156), 평가 장치(146) 및 개별 구성 요소를 연결하기 위한 복수의 케이블(160)을 포함하는 제품 패키징(158)을 도시한다. 적어도 하나의 이송 장치(144)와 적어도 하나의 센서 소자(130)는 제품 패키징(158) 시에 사전 조립될 수 있다. 제품 패키징(158) 내의 다른 검출기 구성 요소는 조립된 구성 요소가 아닌 개별 구성 요소로 저장될 수 있다. 사용자는 패키징으로부터 구성 요소를 제거하고, 기계식 커넥터(156)와 케이블(160)을 통해 구성 요소를 연결할 수 있다. 평가 장치(146)는 검출기(110)를 설치하도록 구성될 수 있다. 조립된 검출기(110)는 도 3b에 도시되어 있으며, 도 2에 설명된 검출기 셋업에 대응한다. 평가 장치(146)는, 도 2와 관련하여 전술한 바와 같이, 적어도 하나의 디포커싱 깊이 알고리즘을 사용함으로써 하나 또는 양쪽 모두의 센서 소자(130)에 의해 결정된 반사 이미지에서 적어도 하나의 반사 특징의 종 방향 좌표 z를 결정하도록 구성될 수 있다. 평가 장치(146)는, 전술한 바와 같이, 종 방향 좌표 z를 사용하여 조명원(138)과 센서 소자(130)의 상대적 공간 성상을 결정하도록 구성될 수 있다.
도 4는, 특히, 모션 3D 감지 방법으로부터의 구조를 사용하는 모바일 시스템에서 사용하기 위한 검출기(110)의 추가 실시예를 도시한다. 평가 장치는 상대 성상이 유연한, 특히, 기준선이 유연한 모바일 시스템을 설치하도록 구성될 수 있다. 도 1에 도시된 바와 같이, 센서 소자(130)와 선택적 조명원(138)의 기계적 연결과 대조적으로, 도 4에 도시된 바와 같이, 검출기(110)의 센서 소자(130)와 선택적 조명원(138)은 기계적으로 연결되지 않을 수 있다. 선택적인 조명원(138)의 위치 및/또는 방위는 센서 소자(130)에 대해 변경될 수 있다. 검출기(110)는 제 1 공간 구성(162)에서 제 1 이미지를 결정하도록 구성될 수 있다. 선택적 조명원(138)은 제 1 이미지에서 반사 특징으로서 검출될 수 있는 일부 포인트를 조명하도록 구성될 수 있다. 평가 장치(146)는 이들 포인트에 대한 종 방향 좌표 z를 결정하도록 구성될 수 있다. 또한, 추가적인 특징, 특히, 조명원(138)에 의해 조명되지 않은 포인트는 센서 소자에 의해 검출 및/또는 촬상될 수 있다. 대안적으로, 검출기가 선택적 조명원(138)을 포함하지 않는 실시예를 실현할 수도 있다. 특징점은 반사 이미지가 그것으로부터 수동적으로 생성될 수 있도록 설계될 수 있다. 예를 들어, 특징점은 백색 원(white circle)일 수 있다.
검출기(110)는 광학 센서(134)의 동일 매트릭스(132)를 사용하여 반사 이미지와 기준 이미지를 기록하도록 구성될 수 있다. 특히, 도 4에 도시된 바와 같이, 센서 소자(130)는 제 1 공간 구성(162)으로부터 적어도 하나의 제 2 공간 구성(164)으로, 예를 들어, 일정하거나 가변적인 속도로 이동하거나 이동될 수 있다. 조명원(138)은 제 2 이미지에서 반사 특징으로서 검출될 수 있는 일부 포인트를 제 2 공간 구성(164)에서 조명하도록 구성될 수 있다. 평가 장치(146)는 이들 포인트에 대한 종 방향 좌표 z를 결정하도록 구성될 수 있다. 또한, 추가적인 특징, 특히, 조명원(138)에 의해 조명되지 않는 포인트는 센서 소자(130)에 의해 검출 및/또는 촬상될 수 있다.
검출기(110)는 복수의 이미지를 결정하도록 구성될 수 있고, 특히, 후속하여, 이미지 중 하나는 반사 이미지로서 선택될 수 있고 다른 하나는 기준 이미지로서 선택될 수 있다. 평가 장치(146)는, 예를 들어, 로보틱스 및 자동화 (ICRA), 2011년 IEEE 국제 컨퍼런스(출판사: IEEE ISBN: 978-1-61284-385-8)에서 Ramalingam 등에 의해 발표된, "Pose Estimation using Both Points and Lines for Geo-Localization"에 기술된 바와 같이, 모션이나 포즈 추정으로부터의 구조와 같은 3D 감지 방법을 수행하도록 구성될 수 있다. "모션으로부터의 구조"라는 용어는 모션으로부터의 구조와 모션으로부터의 형상 양쪽 모두에 대한 동의어로 사용될 것이다. 평가 장치(146)는 비조명된 특징점을 사용하여 센서 소자(130)의 포즈를 추정하고 스케일링 팩터까지의 상대적 공간 성상을 추정하도록 구성될 수 있다. 스케일링 팩터는 종 방향 좌표 z가 계산된 특징점으로부터 획득될 수 있다.
기준 이미지와, 기준선과 같은 반사 이미지의 고정된 상대적 공간 성상의 부족은, 소위, 스케일 드리프트(scale drift)와 거리 결정의 정확성 손실을 초래하거나 추가 정보없이 절대 거리 측정을 허용하지 않을 수 있다. 특히, 모션 및 포즈 추정 알고리즘으로부터의 구조는 스케일링 팩터까지만 대상체의 횡 방향 및 종 방향 정보(예컨대, 크기, 치수, 거리) 및/또는 방위를 결정할 수 있는 반면, 스케일링 팩터는 절대적인 실제 거리 스케일로 평가 장치(146) 내부의 임의의 거리 단위를 스케일링한다. 특히, 모션 및 포즈 추정 알고리즘으로부터의 구조는 이미지 정보를 절대 거리 스케일로 스케일링하기 위해 이미지 재구성에 대한 추가 정보를 필요로 한다. 평가 장치(146)는 상대적 공간 성상에 대한 적어도 하나의 스케일링 팩터를 결정하도록 구성될 수 있다. 예를 들어, 적어도 하나의 이미지 센서와 적어도 하나의 조명원으로 구성된 구조광 시스템에서, 시스템의 온도 증가로 인해 기준선이 길어지고, 그 결과, 적어도 하나의 이미지 센서와 적어도 하나의 조명원 사이의 거리가 증가할 수 있는 반면, 렌즈의 초점 길이와 센서까지의 렌즈 거리는 고정되어 있다. 이 예에서, 반사 이미지에서 동일한 위치의 2개의 대상체를 비교할 때, 제 1 대상체는 최초 기준선과의 제 1 측정에서 측정되는 반면, 제 2 대상체는 연장된 기준선과의 제 2 측정에서 측정되며, 연장된 기준선으로 측정된 대상체는 최초 기준선으로 측정된 대상체보다 더 멀리 위치한다. 반사 이미지의 특징점을 대상체 자체의 대응하는 특징점과 연결하는 기준선과 직선 사이의 각도는 두 대상체에 대해 동일할 수 있어서, 2개의 측정값이 유사 삼각형의 원리를 사용하여 비교된다. 대상체의 거리는 직선을 따라 측정된다. 이 예에서, 유사 삼각형의 원리에 따르면, 렌즈와 기준선에 대한 대상체의 거리의 몫은 최초 기준선을 사용한 측정과 연장된 기준선을 사용한 측정에 대하여 동일하다. 따라서, 최초 기준선을 연장된 기준선으로 스케일링하는 스케일링 팩터는 원래의 대상체 거리를 증가된 대상체 거리로 스케일링하는 것과 동일하다. 따라서, 유사 삼각형의 원리에 따라, 기준선의 스케일링 팩터도 거리, 특히, 종 방향 좌표 z를 스케일링한다. 평가 장치(146)는 블러링 함수 fa를 최적화함으로써 종 방향 좌표 z의 절대 측정을 수행하도록 구성될 수 있다. 평가 장치(146)는 종 방향 좌표 z로부터의 스케일링 팩터를 결정하도록 구성될 수 있다. 스케일링 팩터의 결정은 관성 측정 유닛의 센서 데이터를 사용함으로써 더욱 개선될 수 있다.
평가 장치(146)는, 예를 들어, 제 1 공간 구성(162)에서, 각각의 결합된 센서 신호로부터 센서 소자(130)에 의해 기록된 적어도 하나의 이미지의 적어도 하나의 특징점에 대한 종 방향 좌표 z를 결정하고, 그로부터 스케일링 팩터를 결정하도록 구성될 수 있다. 스케일링 팩터는 나머지 측정에 대해 유지될 수 있고/있거나 적어도 하나의 특징점이 하나의 이미지에서 다른 이미지로 추적될 수 있고/있거나 측정 동안 재계산될 수 있는 한 유지될 수 있다. 예를 들어, 스케일링 팩터는 센서 소자(130)에 의해 기록된 모든 이미지에서 결정될 수 있다. 이는 통계적으로 검증되고 일관된 스케일링 팩터의 측정을 보장할 수 있다.
스케일링 팩터는 이미지의 단일 측정 지점으로부터 결정될 수 있고/있거나 스케일링 팩터는 복수의 측정값으로부터 결정될 수 있다. 특히, 평가 장치는 매체 스케일링 팩터를 결정하도록 구성될 수 있다.
예를 들어, 도 4에 도시된 실시예의 검출기는 휴대폰이나 스마트폰에서 사용될 수 있다. 광학 센서(134)는 사진이나 비디오에 일반적으로 사용되는 집적 CMOS일 수 있다. 조명원(138)은 자동 초점에 사용되는 통합 레이저나 헤드폰 잭 등을 통해 부착 및 연결된 추가 조명원일 수 있다. 부착을 위한 추가 수단이 사용될 수 있다. 조명원(138)과 광학 센서(134) 사이의 거리는 휴대폰 유형이나 스마트폰 유형에 따라 상이할 수 있고 본 발명의 수단에 의해 결정될 수 있다. 예를 들어, 상대적 공간 성상은 종 방향 좌표 z를 사용하여 결정될 수 있고, 모션으로부터의 구조는 추가적인 거리 결정을 위해 사용될 수 있다.
도 5는 상대적 공간 성상을 획득하는 3가지 상황을 도시한다. 하나의 이미지를 반사 이미지로, 하나의 이미지를 기준 이미지로 할당하는 것은 전적으로 교환 가능하고 설명을 용이하게 하기 위해 할당될 뿐 그 일반성을 제한해서는 안 된다.
도 5에 도시된 제 1 상황에서, 제 1 반사 이미지(166)와 기준 이미지(168)가 결정된다. 상대적 공간 성상은, 예를 들어, 공장 보정(factory calibration)에서 알 수 있다. 대상체(112)의 거리는 대응하는 특징점(170, 172)의 이미지 위치를 결정하고, 특징점의 변위를 결정하며, 삼각 측량 계산을 통해 대상체의 거리를 획득하기 위해 사전 결정된 관계를 사용하여 획득될 수 있다. 이 거리 결정은 구조광 및 스테레오 시스템에서 수행되거나 사용될 수 있다.
제 1 상황과 비교하여 도 5에 도시된 제 2 상황에서, 기준선 b는, 예를 들어, 온도 영향으로 인해 연장되었다. 제 1 반사 이미지(166)와 제 2 반사 이미지(174)에서 동일한 이미지 위치에 있는 특징점(170)은 연장된 기준선 상황에서의 증가된 대상체 거리에 대응한다. 기준 이미지(168)에서의 대응하는 특징점(172)은 초점 길이가 변경되지 않기 때문에 제 1 상황과 비교하여 동일하다. 기준선의 길이가 증가하고 대응하는 특징점이 변경되지 않기 때문에, 제 1 및 제 2 상황의 모든 각도가 동일하다. 모든 각도가 동일하기 때문에, 유사한 삼각형의 원리는 2개의 기준선의 몫과 2개의 거리의 몫이 같다는 것을 산출한다. 제 2 상황에서의 정확한 거리는 블러링 함수 fa를 최적화함으로써 결정된 적어도 하나의 종 방향 좌표 z와 삼각 측량 종 방향 좌표 ztriang를 사용하여 결정될 수 있다. z/ztriang의 몫은 제 1 상황에서 제 2 상황으로의 삼각 측량에 의해 결정된 거리를 스케일링하기 위해 스케일링 팩터를 제공할 수 있다. 상대적 공간 성상의 이러한 결정은 일반적으로 구조광과 스테레오 시스템에 적용 가능할 수 있다. 기준 이미지(168), 제 1 반사 이미지(166)나 제 2 반사 이미지(174) 중 적어도 하나에 적용되는 포즈 추정 알고리즘은 두 상황에서 단지 기준 각도나 방위 각도와 같은 추가 파라미터가 변경되었는지 여부를 추정할 수 있다.
또한, 도 5에서, 변경된 기준선과 변경된 방위로 제 3 상황이 도시된다. 특히, 제 3 반사 이미지(176)가 결정될 수 있다. 제 1 상황과 비교하여, 기준선과 방위 각도가 변경되었다. 모션 알고리즘으로부터의 포즈 추정이나 구조는 적어도 6개의 특징점을 사용하여 방위 각도가 변경되었다는 것을 산출할 수 있다. 또한, 모션 알고리즘으로부터의 포즈 추정이나 구조는 특징점과 검출기 사이의 상대 거리와 방위 각도를 결정 가능하게 할 수 있다. 그러나, 기준선 길이를 알 수 없기 때문에, 상대 거리와 각도를 결정한 후, 절대 거리를 결정하는 문제는 제 2 상황과 비슷하다. 따라서, 상대 거리와 방위 각도를 결정한 후, 하나의 특징점에 대해 종 방향 좌표 z의 단일 거리 측정은 상대 거리를 절대값으로 스케일링하기 위한 스케일링 팩터를 결정하기에 충분할 것이다. 일 예로서, 최초 기준선 길이나 근사된 기준선 길이는 새로운 방위 각도를 사용하여 삼각 측량 거리를 계산하는 데 사용될 수 있다. 스케일링 팩터는 z/ztriang에 의해 제공되고, 제 2 상황과 마찬가지이다. 상대적 공간 성상의 이러한 결정은 스테레오, 구조광 및 모션 시스템으로부터의 구조에 적용 가능할 수 있다.
110: 검출기
112: 대상체
113: 사용자 114: 카메라
116: 검출기 시스템 118: 비콘 장치
120: 인간-기계 인터페이스 122: 엔터테인먼트 장치
124: 추적 시스템 126: 스캐닝 시스템
128: 조명원 130: 센서 소자
132: 매트릭스 134: 광학 센서
136: 감광 영역 138: 조명원
140: 광빔 141: 광빔
142: 반사 이미지 144: 전송 장치
146: 평가 장치 147: 추적 제어기
148: 제 1 이미지 위치 150: 제 1 센서 소자
152: 제 2 센서 소자 154: 제 2 이미지 위치
156: 기계식 커넥터 158: 제품 패키징
160: 케이블 162: 제 1 공간 구성
164: 제 2 공간 구성 166: 제 1 반사 이미지
168: 기준 이미지 170: 특징점
172: 특징점 174: 제 2 반사 이미지
176: 제 3 반사 이미지
113: 사용자 114: 카메라
116: 검출기 시스템 118: 비콘 장치
120: 인간-기계 인터페이스 122: 엔터테인먼트 장치
124: 추적 시스템 126: 스캐닝 시스템
128: 조명원 130: 센서 소자
132: 매트릭스 134: 광학 센서
136: 감광 영역 138: 조명원
140: 광빔 141: 광빔
142: 반사 이미지 144: 전송 장치
146: 평가 장치 147: 추적 제어기
148: 제 1 이미지 위치 150: 제 1 센서 소자
152: 제 2 센서 소자 154: 제 2 이미지 위치
156: 기계식 커넥터 158: 제품 패키징
160: 케이블 162: 제 1 공간 구성
164: 제 2 공간 구성 166: 제 1 반사 이미지
168: 기준 이미지 170: 특징점
172: 특징점 174: 제 2 반사 이미지
176: 제 3 반사 이미지
Claims (27)
- 적어도 하나의 대상체(112)의 위치를 결정하기 위한 검출기(110)로서,
광학 센서(134)의 매트릭스(132)를 구비하는 적어도 하나의 센서 소자(130) - 상기 광학 센서(134)의 각각에는 감광 영역(136)이 포함되고, 상기 센서 소자(130)는, 적어도 하나의 반사 이미지(142)를 결정하도록 구성됨 - 와,
적어도 하나의 평가 장치(146)를 포함하되,
상기 평가 장치(146)는,
상기 반사 이미지(142) 내의 적어도 하나의 제 1 이미지 위치(148)에서 상기 반사 이미지(142)의 적어도 하나의 반사 특징을 선택하도록 구성되고,
적어도 하나의 블러링 함수 fa를 최적화함으로써, 상기 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하도록 구성되며,
상기 적어도 하나의 반사 특징에 대응하는 기준 이미지(168)에서의 적어도 하나의 제 2 이미지 위치(154)에서 상기 적어도 하나의 기준 이미지(168) 내의 적어도 하나의 기준 특징을 결정하도록 구성되고 - 상기 기준 이미지(168)와 상기 반사 이미지(142)는 2개의 상이한 공간 구성에서 결정되고, 상기 공간 구성은 상대적 공간 성상에 따라 서로 상이함 -,
상기 종 방향 좌표 z 및 상기 제 1 이미지 위치(148)와 상기 제 2 이미지 위치(154)로부터 상기 상대적 공간 성상을 결정하도록 구성되는,
검출기(110). - 제 1 항에 있어서,
상기 종 방향 좌표 z는, 디포커싱 깊이 알고리즘(depth from defocus algorithm)과 같은 적어도 하나의 컨볼루션 기반 알고리즘(convolution-based algorithm)을 사용함으로써 결정되는,
검출기(110). - 제 1 항 또는 제 2 항에 있어서,
상기 블러링 함수는, 적어도 하나의 블러링 함수의 파라미터를 변경함으로써 최적화되는,
검출기(110). - 제 3 항에 있어서,
상기 반사 이미지(142)는 블러 이미지 ib이고, 상기 평가 장치(146)는, 상기 블러 이미지 ib 및 상기 블러링 함수 fa로부터 상기 종 방향 좌표 z를 재구성하도록 구성되는,
검출기(110). - 제 4 항에 있어서,
상기 종 방향 좌표 z는, 상기 블러링 함수의 상기 파라미터 σ를 변경함으로써, 상기 블러 이미지 ib와, 추가 이미지 i'b와 상기 블러링 함수 fa의 컨볼루션(*) 사이의 차이를 최소화하는 것, 즉,
에 의해 결정되는,
검출기(110). - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 적어도 하나의 블러링 함수 fa는, 하나의 함수이거나, 또는 가우스(Gaussian), 싱크 함수(sinc function), 필박스 함수(pillbox function), 제곱 함수(square function), 로렌츠 함수(Lorentzian function), 방사형 함수(radial function), 다항식(polynomial), 에르미트 다항식(Hermite polynomial), 저니케 다항식(Zernike polynomial), 르장드르 다항식(Legendre polynomial)으로 이루어진 그룹 중 적어도 하나의 함수로 구성된 복합 함수인,
검출기(110). - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 상대적 공간 성상은, 상대적 공간 방위와, 상대적 각도 위치와, 상대적 거리와, 상대적 변위와, 상대적 이동으로 이루어진 그룹으로부터 선택된 적어도 하나의 성상인,
검출기(110). - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상대적 공간적 성상에 의해 분리된 적어도 2개의 센서 소자(130)를 포함하되,
적어도 하나의 제 1 센서 소자(150)는, 상기 기준 이미지(168)를 기록하도록 구성되고, 적어도 하나의 제 2 센서 소자(152)는, 상기 반사 이미지(142)를 기록하도록 구성되는,
검출기(110). - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상이한 시간에 상기 광학 센서(134)의 동일 매트릭스(132)를 사용하여 상기 반사 이미지(142)와 상기 기준 이미지(168)를 기록하도록 구성되는,
검출기(110). - 제 9 항에 있어서,
상기 평가 장치(146)는, 상기 상대적 공간 성상에 대한 적어도 하나의 스케일링 팩터를 결정하도록 구성되는,
검출기(110). - 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 평가 장치(146)는,
상기 기준 특징 및 상기 반사 특징의 변위를 결정하도록 구성되고,
상기 대상체의 삼각 측량 종 방향 좌표 ztriang 및 상기 변위 사이의 사전 정의된 관계를 사용하여 상기 대상체의 상기 삼각 측량 종 방향 좌표 ztriang 중 적어도 하나를 결정하도록 구성되고,
상기 결정된 상대적 공간 성상을 고려하여 상기 종 방향 좌표 z와 상기 변위 사이의 실제 관계를 결정하도록 구성되며,
상기 실제 관계에 따라 상기 사전 정의된 관계를 조정하도록 구성되는,
검출기(110). - 제 11 항에 있어서,
상기 평가 장치(146)는, 상기 사전 정의된 관계를 상기 실제 관계로 대체하도록 구성되고/구성되거나, 이동 평균을 결정하여 상기 사전 정의된 관계를 상기 이동 평균으로 대체하도록 구성되는,
검출기(110). - 제 11 항 또는 제 12 항에 있어서,
상기 평가 장치(146)는,
상기 종 방향 좌표 z와 상기 삼각 측량 좌표 ztriang 사이의 차이를 결정하도록 구성되며,
상기 결정된 차이를 적어도 하나의 임계값과 비교하고, 상기 결정된 차이가 상기 임계값 이상인 경우에, 상기 사전 정의된 관계를 조정하도록 구성되는,
검출기(110). - 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 평가 장치(146)는, 다양한 센서 신호 및/또는 위치 및/또는 상기 이미지 위치 및/또는 상기 시스템 특성 및/또는 종 방향 좌표, 센서 상의 변위 d, 전송 장치의 초점 길이 f, 온도, ztriang, 기준선 b, 조명원과 기준선 사이의 각도 β, 종 방향 좌표 z 등과 같은 파라미터를 포함하는 수학적 모델을 사용하여 보정된 상대적 공간 관계의 추정치를 결정하도록 구성되고, 여기서, 상기 수학적 모델은, 칼만 필터(Kalman filter), 선형 2차 추정, 칼만 부시 필터(Kalman-Bucy-Filter), 스트라토노비치 칼만 부시 필터(Stratonovich-Kalman-Bucy-Filter), 칼만 부시 스트라토노비치 필터(Kalman-Bucy-Stratonovich-Filter), 최소 분산 추정자(minimum variance estimator), 베이지안 추정자(Bayesian estimator), 최량 선형 불편 추정자(BLUE, Best Linear Unbiased Estimator), 불변 추정자(invariant estimator), 위너 필터(Wiener filter) 등으로 이루어진 그룹으로부터 선택된 적어도 하나의 수학적 모델인,
검출기(110). - 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 평가 장치(146)는,
적어도 하나의 종 방향 영역 - 상기 종 방향 영역은, 상기 종 방향 좌표 z와 오차 간격 ±ε에 의해 주어짐 - 을 결정하도록 구성되고,
상기 종 방향 영역에 대응하는 상기 기준 이미지(168) 내의 적어도 하나의 변위 영역을 결정하도록 구성되고,
상기 기준 이미지(168)에서 공액선을 결정하도록 구성되고, 여기서, 상기 변위 영역은 상기 공액선을 따라 연장되며,
상기 종 방향 좌표 z에 대응하는 상기 공액선을 따라 상기 기준 특징을 결정하고 상기 오차 간격 ±ε에 대응하는 상기 공액선을 따라 상기 변위 영역의 범위를 결정하도록 구성되는,
검출기(110). - 제 15 항에 있어서,
상기 평가 장치(146)는,
각각의 반사 특징의 상기 제 2 이미지 위치(154)에 대한 변위 영역을 결정하는 단계와,
상기 공액선을 변위 영역에 가장 근접하게 및/또는 변위 영역 내에 및/또는 상기 공액선에 직교하는 방향을 따라 변위 영역에 가장 근접하게 할당하는 것과 같이 함으로써, 각각의 반사 특징의 상기 변위 영역에 상기 공액선을 할당하는 단계와,
상기 기준 특징을 상기 할당된 변위 영역에 가장 근접하게 및/또는 상기 할당된 변위 영역 내에 및/또는 상기 할당된 공액선을 따르는 상기 할당된 변위 영역에 가장 근접하게 및/또는 상기 할당된 공액선을 따르는 상기 할당된 변위 영역 내에 할당하는 것과 같이 함으로써, 각각의 반사 특징에 대해 적어도 하나의 기준 특징을 할당 및/또는 결정하는 단계를 수행하도록 구성된,
검출기(110). - 제 15 항 또는 제 16 항에 있어서,
상기 평가 장치(146)는, 상기 변위 영역 내에서 상기 반사 특징을 상기 적어도 하나의 기준 특징과 매칭하도록 구성되는,
검출기(110). - 적어도 하나의 대상체(112)의 위치를 결정하기 위한 검출기 시스템(116)으로서,
제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)와, 상기 검출기(110)를 향해 적어도 하나의 광빔을 지향시키도록 구성된 적어도 하나의 비콘 장치(118)를 포함하되,
상기 비콘 장치(118)는, 적어도 하나를 상기 대상체(112)에 장착 가능하거나, 상기 대상체(112)가 소지 가능하거나, 상기 대상체(112)에 통합 가능한,
검출기 시스템(116). - 사용자(113)와 기계 사이에서 적어도 하나의 정보 항목을 교환하기 위한 인간-기계 인터페이스(120)로서,
제 18 항에 따른 적어도 하나의 검출기 시스템(116)을 포함하고, 상기 검출기 시스템(116)에 의해 상기 사용자(113)의 적어도 하나의 위치를 결정하도록 설계되고, 또한 상기 적어도 하나의 정보 항목을 상기 위치에 할당하도록 설계되되,
상기 적어도 하나의 비콘 장치(118)는, 직접적 또는 간접적으로 상기 사용자(113)에게 장착되는 것, 상기 사용자(113)가 소지하는 것 중 적어도 하나로 구성되는,
인간-기계 인터페이스(120). - 적어도 하나의 엔터테인먼트 기능을 수행하기 위한 엔터테인먼트 장치(122)로서,
제 19 항에 따른 적어도 하나의 인간-기계 인터페이스(120)를 포함하고,
상기 인간-기계 인터페이스(120)에 의해 플레이어가 상기 적어도 하나의 정보 항목을 입력할 수 있도록 설계되며, 상기 정보에 따라 상기 엔터테인먼트 기능을 변경하도록 설계되는,
엔터테인먼트 장치(122). - 적어도 하나의 가동 대상체의 위치를 추적하기 위한 추적 시스템(124)으로서,
검출기 시스템을 지칭하는 제 18 항에 따른 적어도 하나의 검출기 시스템(116)과,
적어도 하나의 추적 제어기를 포함하되,
상기 추적 제어기는, 특정 시점에서 상기 대상체의 일련의 위치를 추적하도록 구성되는,
추적 시스템(124). - 풍경의 깊이 프로파일을 결정하기 위한 스캐닝 시스템(126)으로서,
검출기를 지칭하는 제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)와,
적어도 하나의 광빔으로 상기 풍경을 스캐닝하도록 구성된 적어도 하나의 조명원(128)을 포함하는,
스캐닝 시스템(126). - 적어도 하나의 대상체(112)를 촬상하기 위한 카메라(114)로서,
검출기를 지칭하는 제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)를 포함하는,
카메라(114). - 전자 장치에서 사용하기 위한 관성 측정 유닛으로서,
검출기를 지칭하는 제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)에 의해 결정된 데이터를 수신하도록 구성되고,
휠 속도 센서, 선회 속도 센서, 경사 센서, 방위 센서, 모션 센서, MHD 센서(Magneto Hydro Dynamic sensor), 힘 센서, 각도 센서, 각속도 센서, 자기장 센서, 자력계, 가속도계, 자이로스코프로 이루어지는 그룹으로부터 선택된 적어도 하나의 추가 센서에 의해 결정된 데이터를 수신하도록 구성되며,
상기 검출기 및 상기 적어도 하나의 추가 센서로부터의 데이터를 평가함으로써, 공간에서의 위치, 공간에서의 상대적 또는 절대적 모션, 회전, 가속도, 방위, 각도 위치, 경사, 선회율, 속도로 이루어진 그룹으로부터 선택된 전자 장치의 적어도 하나의 특성을 결정하도록 구성되는,
관성 측정 유닛. - 검출기를 지칭하는 제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)를 사용하여 적어도 하나의 대상체(112)의 위치를 결정하기 위한 방법으로서,
광학 센서(134)의 매트릭스(132)를 구비하는 적어도 하나의 센서 소자(130)를 사용함으로써 상기 대상체(112)의 적어도 하나의 반사 이미지(142)를 결정하는 단계 - 상기 광학 센서(134)의 각각에는 감광 영역(136)이 포함됨 - 와,
상기 반사 이미지(142) 내의 적어도 하나의 제 1 이미지 위치(148)에서 상기 반사 이미지(142)의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 상기 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
적어도 하나의 기준 이미지(168)를 제공하는 단계 - 상기 기준 이미지(168)와 상기 반사 이미지(142)는 2개의 상이한 공간 구성에서 결정되고, 상기 공간 구성은 상기 상대적 공간 성상에 따라 상이함 - 와,
상기 종 방향 좌표 z에 대응하는 상기 기준 이미지(168) 내의 적어도 하나의 제 2 이미지 위치(154)에서 상기 기준 이미지(168) 내의 적어도 하나의 기준 특징을 결정하는 단계와,
상기 종 방향 좌표 z와 상기 제 1 이미지 위치(148) 및 상기 제 2 이미지 위치(154)로부터 상기 상대적 공간 성상을 결정하는 단계를 포함하는,
방법. - 검출기를 지칭하는 제 1 항 내지 제 17 항 중 어느 한 항에 따른 적어도 하나의 검출기(110)를 보정하기 위한 방법으로서,
광학 센서(134)의 매트릭스(132)를 구비하는 적어도 하나의 센서 소자(130)를 사용함으로써 상기 대상체(112)의 적어도 하나의 반사 이미지(142)를 결정하는 단계 - 상기 광학 센서(134)의 각각에는 감광 영역(136)이 마련됨 - 와,
상기 반사 이미지(142) 내의 적어도 하나의 제 1 이미지 위치(148)에서 상기 반사 이미지(142)의 적어도 하나의 반사 특징을 선택하고, 적어도 하나의 블러링 함수 fa를 최적화함으로써 상기 선택된 반사 특징의 적어도 하나의 종 방향 좌표 z를 결정하는 단계와,
적어도 하나의 기준 이미지(168)를 제공하는 단계 - 상기 기준 이미지(168)와 상기 반사 이미지(142)는, 2개의 상이한 공간 구성에서 결정되며, 상기 공간 구성은 상대적 공간 성상에 따라 상이함 - 와,
상기 종 방향 좌표 z에 대응하는 상기 기준 이미지(168) 내의 적어도 하나의 제 2 이미지 위치(154)에서 상기 기준 이미지(168) 내의 적어도 하나의 기준 특징을 결정하는 단계와,
상기 종 방향 좌표 z와 상기 제 1 및 제 2 이미지 위치로부터 상기 상대적 공간 성상을 결정하는 단계와,
적어도 하나의 평가 유닛의 적어도 하나의 데이터 저장 장치에 교정값으로서 상기 상대적 공간 성상을 저장하는 단계를 포함하는,
방법. - 검출기(110)와 관련된 제 1 항 내지 제 17 항 중 어느 한 항에 따른 검출기(110)의 용도로서,
사용 목적에 따라, 교통 기술 분야에서의 위치 측정, 엔터테인먼트 애플리케이션, 보안 애플리케이션, 감시 애플리케이션, 안전 애플리케이션, 인간-기계 인터페이스 애플리케이션, 물류 애플리케이션, 추적 애플리케이션, 아웃도어 애플리케이션, 모바일 애플리케이션, 통신 애플리케이션, 포토그래피 애플리케이션, 머신 비젼 애플리케이션, 로봇 애플리케이션, 품질 관리 애플리케이션, 제조 애플리케이션으로 이루어진 그룹으로부터 선택되는,
검출기(110)의 용도.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19150945.4 | 2019-01-09 | ||
| EP19150945 | 2019-01-09 | ||
| PCT/EP2020/050250 WO2020144200A1 (en) | 2019-01-09 | 2020-01-08 | Detector for determining a position of at least one object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210113638A true KR20210113638A (ko) | 2021-09-16 |
Family
ID=65010670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217024795A KR20210113638A (ko) | 2019-01-09 | 2020-01-08 | 적어도 하나의 대상체의 위치를 결정하기 위한 검출기 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11922657B2 (ko) |
| EP (1) | EP3909021A1 (ko) |
| JP (1) | JP2022516791A (ko) |
| KR (1) | KR20210113638A (ko) |
| CN (1) | CN113544745A (ko) |
| WO (1) | WO2020144200A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210394021A1 (en) * | 2020-06-23 | 2021-12-23 | Electronics And Telecommunications Research Institute | Apparatus and method for evaluating human motion using mobile robot |
| CN113869159B (zh) * | 2021-09-16 | 2022-06-10 | 深圳市创宜隆科技有限公司 | 云服务器数据管理系统 |
| WO2023083784A1 (en) | 2021-11-09 | 2023-05-19 | Trinamix Gmbh | Recalibration of a 3d detector based on structured light |
| CN116264643A (zh) * | 2021-12-13 | 2023-06-16 | 超威半导体(上海)有限公司 | 图像中的假彩色的检测 |
| US11714273B1 (en) * | 2022-06-23 | 2023-08-01 | Araceli Biosciences Inc. | System and method for microscope high-speed auto-focusing including an imaged subject based on a corrected contrast distribution |
| CN116152234B (zh) * | 2023-04-18 | 2023-08-01 | 山东阁林板建材科技有限公司 | 基于图像处理的模板端面缺陷识别方法 |
| CN116228762B (zh) * | 2023-05-08 | 2023-07-11 | 四川磊蒙机械设备有限公司 | 砂石输送异常监督管理系统及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7075097B2 (en) * | 2004-03-25 | 2006-07-11 | Mitutoyo Corporation | Optical path array and angular filter for translation and orientation sensing |
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
| US8150142B2 (en) * | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
| CN106019305B (zh) | 2011-02-15 | 2019-10-11 | 巴斯夫欧洲公司 | 用于光学检测至少一种物体的检测器 |
| US9389315B2 (en) | 2012-12-19 | 2016-07-12 | Basf Se | Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region |
| JP2016529473A (ja) | 2013-06-13 | 2016-09-23 | ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ | 少なくとも１つの物体を光学的に検出する検出器 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| EP4224424A1 (en) | 2014-11-21 | 2023-08-09 | Apple Inc. | Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale |
| WO2017012986A1 (en) | 2015-07-17 | 2017-01-26 | Trinamix Gmbh | Detector for optically detecting at least one object |
-
2020
- 2020-01-08 WO PCT/EP2020/050250 patent/WO2020144200A1/en unknown
- 2020-01-08 US US17/421,767 patent/US11922657B2/en active Active
- 2020-01-08 KR KR1020217024795A patent/KR20210113638A/ko active Search and Examination
- 2020-01-08 CN CN202080018963.8A patent/CN113544745A/zh active Pending
- 2020-01-08 EP EP20700047.2A patent/EP3909021A1/en active Pending
- 2020-01-08 JP JP2021540115A patent/JP2022516791A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3909021A1 (en) | 2021-11-17 |
| US20220092814A1 (en) | 2022-03-24 |
| JP2022516791A (ja) | 2022-03-02 |
| WO2020144200A1 (en) | 2020-07-16 |
| US11922657B2 (en) | 2024-03-05 |
| CN113544745A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11143736B2 (en) | Detector for determining a position of at least one object comprising at least one device to determine relative spatial constellation from a longitudinal coordinate of the object and the positions of reflection image and reference image | |
| US11668828B2 (en) | Detector for determining a position of at least one object | |
| US11719818B2 (en) | Detector for optically detecting at least one object | |
| KR102502094B1 (ko) | 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기 | |
| US11908156B2 (en) | Detector for determining a position of at least one object | |
| US11922657B2 (en) | Detector for determining a position of at least one object | |
| US11756226B2 (en) | Detector for determining a position of at least one object | |
| WO2019215211A1 (en) | Detector for optically detecting at least one object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |