KR102354428B1 - 이미지를 분석하기 위한 웨어러블기기 및 방법 - Google Patents
이미지를 분석하기 위한 웨어러블기기 및 방법 Download PDFInfo
- Publication number
- KR102354428B1 KR102354428B1 KR1020217011279A KR20217011279A KR102354428B1 KR 102354428 B1 KR102354428 B1 KR 102354428B1 KR 1020217011279 A KR1020217011279 A KR 1020217011279A KR 20217011279 A KR20217011279 A KR 20217011279A KR 102354428 B1 KR102354428 B1 KR 102354428B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- wearable device
- user
- face
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 291
- 238000010295 mobile communication Methods 0.000 claims description 259
- 230000004044 response Effects 0.000 claims description 52
- 238000012545 processing Methods 0.000 abstract description 352
- 230000003993 interaction Effects 0.000 description 116
- 230000007613 environmental effect Effects 0.000 description 115
- 230000001815 facial effect Effects 0.000 description 75
- 238000004458 analytical method Methods 0.000 description 73
- 239000011521 glass Substances 0.000 description 69
- 238000012937 correction Methods 0.000 description 64
- 230000000007 visual effect Effects 0.000 description 61
- 238000010191 image analysis Methods 0.000 description 53
- 230000009471 action Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 36
- 230000000694 effects Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000013528 artificial neural network Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 27
- 230000014509 gene expression Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 25
- 230000033001 locomotion Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 18
- 238000012913 prioritisation Methods 0.000 description 17
- 238000012552 review Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000012015 optical character recognition Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 239000004417 polycarbonate Substances 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 9
- 235000005911 diet Nutrition 0.000 description 9
- 230000000378 dietary effect Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 8
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000013075 data extraction Methods 0.000 description 6
- 238000002329 infrared spectrum Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000002211 ultraviolet spectrum Methods 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000005021 gait Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 208000008454 Hyperhidrosis Diseases 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000037308 hair color Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000035900 sweating Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 2
- 108091006146 Channels Proteins 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 239000012620 biological material Substances 0.000 description 2
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 2
- 239000004917 carbon fiber Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- -1 laptop Substances 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000037230 mobility Effects 0.000 description 2
- 230000036211 photosensitivity Effects 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 239000005336 safety glass Substances 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 240000006162 Chenopodium quinoa Species 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 230000005679 Peltier effect Effects 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- FHUKASKVKWSLCY-UHFFFAOYSA-N bixlozone Chemical compound O=C1C(C)(C)CON1CC1=CC=C(Cl)C=C1Cl FHUKASKVKWSLCY-UHFFFAOYSA-N 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 229910001000 nickel titanium Inorganic materials 0.000 description 1
- HLXZNVUGXRDIFK-UHFFFAOYSA-N nickel titanium Chemical compound [Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ti].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni].[Ni] HLXZNVUGXRDIFK-UHFFFAOYSA-N 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229920003223 poly(pyromellitimide-1,4-diphenyl ether) Polymers 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 208000013460 sweaty Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M19/00—Current supply arrangements for telephone systems
- H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
- H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
- H04M19/047—Vibrating means for incoming calls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
Abstract
웨어러블기기 및 방법은 이미지를 분석할 수 있다. 일 실시예에서, 이미지를 캡처 및 처리하기 위한 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 처리장치를 포함할 수 있다. 적어도 하나의 처리장치는 복수의 사람들을 식별하기 위하여 복수의 이미지를 분석하고; 사용자와 복수의 사람들 각각의 친화도 정도를 결정하기 위해 복수의 이미지를 분석하고; 복수의 사람들 각각의 이미지 표현을 획득하고; 및 상기 친화도 정도에 기초하여 상기 이미지 표현을 포함하는 가시영상을 생성하도록 프로그램화 될 수 있다.
Description
본 발명은 사용자의 환경으로부터 이미지를 캡처 및 처리하고, 캡처된 이미지로부터 획득한 정보를 사용하기 위한 기기 및 방법에 관한 것이다.
오늘날의 기술 발달로 인하여, 웨어러블기기가 자동으로 이미지를 캡처하고, 캡처된 이미지와 연관된 정보를 저장하는 것이 가능하다. 특정 기기는, 흔히 "라이프로깅(lifelogging)"으로 불리는, 개인적 삶의 여러 양상과 경험을 디지털로 기록하는 활동에 활용되고 있다. 일부 개인들은 그들의 삶을 기록하여 추후에 사교 행사, 여행 등의 과거 활동의 순간들을 다시 찾아볼 수 있게 하고 있다. 라이프로깅은 또한, 다른 분야(예, 사업, 건강관리, 사회적 연구)에서도 중요한 혜택이 있을 수 있다. 라이프로깅 장치는 일상의 활동을 추적하기에 유용할 뿐만 아니라 캡처 이미지데이터 분석에 근거한 피드백과 기타 첨단 기능을 통해 개인의 환경 내 상호작용을 향상하는 능력을 통해 개선될 수 있다.
사용자는 스마트폰을 사용하여 이미지를 캡처하고, 일부 스마트폰 앱은 캡처된 이미지를 처리할 수 있지만, 스마트폰은 크기와 디자인의 측면에서 볼 때 라이프로깅 장치의 역할을 하기에 최적의 플랫폼이 아닐 수 있다. 라이프로깅 장치는 작고 가벼워서 쉽게 착용할 수 있어서 사용자의 집중적인 주의와 작동이 필요하지 않아야 한다. 또한, 웨어러블기기 등의 이미지 캡처 장치의 발전으로 인해, 사용자가 환경 내 및 주변으로 돌아다니고, 사용자가 마주치는 사람과 사물을 식별하고, 사용자의 주변환경과 활동에 대해 사용자에게 피드백을 제공하도록 지원하는 기타 기능이 제공될 수 있다. 따라서, 자동으로 이미지를 캡처하고 처리하여 사용자에게 유익한 정보를 제공하기 위한 기기 및 방법과 이 기기가 수집한 정보를 처리하고 활용하기 위한 시스템 및 방법이 요구되고 있다.
본 기재에 따른 실시예들은 사용자의 환경으로부터 자동으로 이미지를 캡처하고 처리하기 위한 기기 및 방법과, 사용자의 환경으로부터 캡처된 이미지와 연관된 정보를 처리하기 위한 시스템 및 방법을 제공한다.
일 실시예에서, 이미지를 캡처 및 처리하기 위한 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서; 및 적어도 하나의 처리장치를 포함할 수 있다. 적어도 하나의 처리장치는 복수의 사람을 식별하기 위해 복수의 이미지를 분석하고; 사용자와 복수의 사람들 각각의 친화도 정도(affinity level)를 결정하기 위해 복수의 이미지를 분석하고; 복수의 사람들 각각의 이미지 표현(image representation)을 획득하고; 및 상기 친화도 정도에 기초하여 상기 이미지 표현을 포함하는 가시영상(visualization)을 생성하도록 프로그램화될 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서; 및 적어도 하나의 처리장치를 포함할 수 있다. 상기 적어도 하나의 처리장치는 웨어러블이미지센서로부터 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하고, 적어도 하나의 연결속성(linking attribute)을 복수의 얼굴이미지 각각과 관련하여 저장하고, 여기서 속성은 환경특성, 지리적 위치, 관련단어, 사회적 상호 연결관계, 또는 시간적 표시자 중 적어도 하나를 포함한다; 및 시각적 표현이 표시되도록 프로그램 될 수 있다. 상기 시각적 표현은 복수의 얼굴이미지를 포함할 수 있고, 상기 복수의 얼굴이미지는 적어도 하나의 연결속성에 기초하여 배열될 수 있다.
일 실시예에서, 이동통신기기와 페어링될 수 있는 웨어러블이미지센서를 사용하는 시스템에서 사용하기 위한 비일시적 컴퓨터-판독 가능 매체는 명령을 포함한다. 상기 명령은, 적어도 하나의 프로세서에 의해 실행되는 경우, 사용자가 착용한 웨어러블이미지센서로부터 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 단계; 적어도 하나의 연결속성을 복수의 얼굴이미지 각각과 관련하여 저장하는 단계, 여기서 속성은 환경특성, 지리적 위치, 관련단어, 사회적 상호연결관계, 또는 시간적 표시자 중 적어도 하나를 포함한다; 및 페이스 클라우드(face cloud)에 복수의 얼굴이미지를 디스플레이하는 단계를 포함하는 단계들을 적어도 하나의 프로세서가 수행하게 할 수 있다. 상기 복수의 얼굴이미지는 적어도 하나의 연결속성에 기초하여 배열될 수 있다.
일 실시예에서, 비일시적 컴퓨터-판독 가능 매체는 명령을 포함한다. 상기 명령은, 적어도 하나의 프로세서에 의해 실행되는 경우, 적어도 하나의 프로세서가, 사용자가 착용한 웨어러블이미지센서로부터 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 단계; 착용자 근처에서 복수의 개체의 존재의 검출과 관련된 시간 동안 캡처된 사운드파일로부터 파싱된(parsed) 단어리스트를 수신하는 단계; 메모리에 상기 파싱된 단어리스트와 해당 개체와 연관시키는 단계; 및 중복되는 공통단어를 포함하는 단어리스트의 개체의 복수의 얼굴이미지의 서브세트(subset)를 스크린상에 디스플레이하는 단계를 포함하는 단계들을 수행하게 할 수 있다.
일 실시예에서, 비일시적 컴퓨터-판독 가능 매체는, 적어도 하나의 프로세서에 의해 실행되는 경우, 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 사용자와 상호작용한 복수의 개체의 얼굴이미지를 수신하는 단계; 복수의 얼굴이미지 각각에 대한 적어도 하나의 연결속성을 수신하는 단계; 복수의 얼굴이미지 중 하나에 대응하여 수신된 적어도 하나의 연결속성과 복수의 얼굴이미지 각각을 메모리에 연관시키는 단계; 및 선택된 연결속성에 대해, 상기 선택된 연결속성을 공유하는 복수의 얼굴이미지 세트를 디스플레이 스크린 상에 제시하는 단계를 포함할 수 있다.
일 실시예에서, 비일시적 컴퓨터-판독 가능 매체는, 적어도 하나의 프로세서에 의해 실행되는 경우, 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 사용자가 착용한 웨어러블이미지센서로부터 시간구간 내에 캡처된 적어도 하나의 이미지를 수신하는 단계; 시간구간 동안 이미지센서 근처에서 캡처된 사운드파일을 수신하는 단계; 상기 사운드파일에서 적어도 하나의 단어를 식별하기 위해 사운드파일을 처리하는 단계; 단어와 객체 이미지 사이의 연관성을 메모리에 저장하는 단계; 적어도 하나의 핵심단어(key word)의 검색입력을 상기 시간구간으로부터 원격 시간에 수신하는 단계; 적어도 하나의 핵심단어와 적어도 하나의 객체 이미지 사이의 연관성을 찾기 위해 메모리에 접속하는 단계; 및 웨어러블이미지센서와 별개로 사용자의 이동통신기기상에 객체 이미지를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 비일시적 컴퓨터-판독 가능 매체는, 적어도 하나의 프로세서에 의해 실행되는 경우, 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 사용자가 착용한 웨어러블이미지센서로부터 제1 캘린더날짜에 제1의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 단계; 상기 제1의 복수의 개체들 각각과 연관성으로 제1 캘린더날짜의 표시자를 저장하는 단계; 상기 사용자가 착용한 웨어러블이미지센서로부터 제2 캘린더날짜에 제2의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 단계; 상기 제2의 복수의 개체들 각각과 연관성으로 제2 캘린더날짜의 표시자를 저장하는 단계; 제1 캘린더날짜에 상호작용의 리콜을 위해 사용자에 의한 제1 입력요청(input request)을 수신하는 단계; 상기 제1 입력에 응답하여, 제1 복수의 개체들 중 적어도 일부의 이미지를 사용자에게 디스플레이하는 단계; 제2 캘린더날짜에 상호작용의 리콜을 위해 사용자에 의한 제2 입력요청을 수신하는 단계; 및 상기 제2 입력에 응답하여, 제2 복수의 개체들 중 적어도 일부의 이미지를 사용자에게 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 이미지를 캡처 및 처리하기 위한 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 처리장치를 포함할 수 있다. 상기 적어도 하나의 처리장치는, 적어도 한 사람을 검출하기 위해 복수의 이미지를 분석하고; 상기 검출된 사람과 연관된 적어도 하나의 기록(record)을 선택하고; 상기 검출된 사람과 연관된 상황정보(contextual information)를 식별하기 위하여 복수의 이미지를 분석하고; 및 상기 상황정보를 기반으로 적어도 하나의 기록을 업데이트하도록 프로그램화될 수 있다.
일 실시예에서, 이미지를 캡처 및 처리하기 위한 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 처리장치를 포함할 수 있다. 적어도 하나의 처리장치는, 적어도 한 사람을 검출하기 위해 복수의 이미지를 분석하고; 상기 검출된 사람을 기반으로 상황별 카테고리(contextual category)를 결정하고; 시각적 상황정보 표시자(visual context indicator)를 식별하기 위하여 복수의 이미지를 분석하고; 및 결정된 상황별 카테고리와 시각적 상황정보 표시자를 연결하도록 프로그램화될 수 있다.
일 실시예에서, 웨어러블기기는 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 복수의 이미지 중 적어도 하나로부터 사용자에 의해 지시된 2개의 상이한 객체의 존재를 결정하고; 상기 2개의 상이한 객체를 확인하기 위하여 2개의 상이한 객체의 조회를 수행하고; 상기 2개의 상이한 객체에 대한 설명정보(descriptive information)의 조회를 수행하고; 상기 2개의 상이한 객체에 대한 설명정보를 비교하고; 및 상기 2개의 상이한 객체의 차이점을 확인할 수 있도록 사용자를 허용하는 방식으로 2개의 상이한 객체의 비교에 대한 정보를 디스플레이하도록 프로그램화 될 수 있다.
일 실시예에서, 방법은, 프로세서가 사용자의 환경으로부터 웨어러블이미지센서에 의해 캡처된 복수의 이미지를 수신하는 단계; 복수의 이미지 중 적어도 하나로부터 사용자에 의해 지시된 2개의 상이한 객체의 존재를 결정하는 단계; 상기 2개의 상이한 객체를 확인하기 위하여 2개의 상이한 객체의 조회를 수행하는 단계; 상기 2개의 상이한 객체에 대한 설명정보의 조회를 수행하는 단계; 상기 2개의 상이한 객체에 대한 설명정보를 비교하는 단계; 및 상기 2개의 상이한 객체의 차이점을 확인할 수 있도록 사용자를 허용하는 방식으로 2개의 상이한 객체의 비교에 대한 정보를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블이미지센서 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 웨어러블이미지센서로부터 웨어러블기기 사용자가 시간구간 동안 제1 상호작용에서 상호작용한 개체의 얼굴이미지를 수신하고; 상기 시간구간의 적어도 일부 동안 이미지센서의 부근에서 캡처된 사운드 데이터를 수신하고; 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리하고; 핵심단어와 얼굴이미지 사이의 연관성을 메모리에 저장하고; 웨어러블이미지센서로부터 상기 시간구간 이외의 시간에 제2 상호작용에서의 상기 개체의 다른 얼굴이미지를 수신하고; 제1 상호작용의 개체가 제2 상호작용의 개체임을 판별하기 위해 이미지처리를 사용하고; 상기 제1 상호작용에서 적어도 하나의 핵심단어를 찾기 위해 메모리에 접속하고; 및 제2 상호작용 동안, 사용자에게 보이는 디스플레이 상에 적어도 하나의 핵심단어가 디스플레이되게 하여 제1 상호작용의 주제를 사용자에게 상기시키도록 프로그램화 될 수 있다.
일 실시예에서, 비일시적 컴퓨터-판독 가능 매체는 이동통신기기와 페어링될 수 있는 웨어러블이미지센서를 사용하는 시스템에서 사용될 수 있다. 상기 컴퓨터-판독 가능 매체는, 적어도 하나의 프로세서에 의해 실행되는 경우, 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 사용자가 착용한 웨어러블이미지센서로부터 사용자가 시간구간 동안 제1 상호작용에서 상호작용한 개체의 얼굴이미지를 수신하는 단계; 상기 시간구간 동안 이미지센서의 부근에서 캡처된 사운드 데이터를 수신하는 단계; 상기 사운드 데이터에서 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리하는 단계; 핵심단어와 얼굴이미지 사이의 연관성을 메모리에 저장하는 단계; 사용자가 착용한 웨어러블이미지센서로부터 상기 시간구간 이외의 시간에 제2 상호작용에서의 상기 개체의 다른 얼굴이미지를 수신하는 단계; 제1 상호작용의 개체가 제2 상호작용의 개체임을 판별하기 위해 이미지처리를 사용하는 단계; 상기 제1 상호작용으로부터 적어도 하나의 핵심단어를 찾기 위해 메모리에 접속하는 단계; 및 제2 상호작용 동안, 사용자에게 보이는 디스플레이 상에 적어도 하나의 핵심단어가 디스플레이되게 하여 제1 상호작용의 주제를 사용자에게 리마인드시키는 단계 단계를 포함할 수 있다.
일 실시예에서, 이전 대화에서 핵심단어를 검색 및 디스플레이하기 위한 방법은 웨어러블이미지센서와 페어링될 수 있는 이동통신기기의 적어도 하나의 프로세서에 의해 구현될 수 있다. 상기 방법은 사용자가 착용한 웨어러블이미지센서로부터 사용자가 시간구간 동안 제1 상호작용에서 상호작용한 개체의 얼굴이미지를 수신하는 단계; 상기 시간구간 동안 이미지센서의 부근에서 캡처된 사운드 데이터를 수신하는 단계; 상기 사운드 데이터에서 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리하는 단계; 핵심단어와 얼굴이미지 사이의 연관성을 메모리에 저장하는 단계; 사용자가 착용한 웨어러블이미지센서로부터 상기 시간구간 이외의 시간에 제2 상호작용에서의 상기 개체의 다른 얼굴이미지를 수신하는 단계; 제1 상호작용의 개체가 제2 상호작용의 개체임을 판별하기 위해 이미지처리를 사용하는 단계; 상기 제1 상호작용으로부터 적어도 하나의 핵심단어를 찾기 위해 메모리에 접속하는 단계; 및 제2 상호작용 동안, 사용자에게 보이는 디스플레이 상에 적어도 하나의 핵심단어가 디스플레이되게 하여 제1 상호작용의 주제를 사용자에게 리마인드시키는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 웨어러블이미지센서로부터 적어도 하나의 이미지를 수신하고; 적어도 하나의 이미지에서 웨어러블기기 사용자의 환경조건을 식별하기 위하여 적어도 하나의 이미지의 이미지처리를 수행하고; 환경조건이 웨어러블기기와 무선으로 페어링된 이동통신기기와 관련된 동작(action)에 대한 트리거(trigger)로서 미리 결정된 것으로 판단하고; 및 이동통신기기가 상기 환경조건에 따라 동작을 트리 거하게 하여 동작이 이동통신기기를 통해 발생하도록 프로그램화될 수 있다.
일 실시예에서, 비일시적 컴퓨터 판독 가능 매체는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 포함할 수 있다. 상기 명령은 적어도 하나의 프로세서가, 사용자가 착용한 웨어러블이미지센서로부터 적어도 하나의 이미지를 수신하는 단계; 적어도 하나의 이미지에서 웨어러블기기 사용자의 환경조건을 식별하기 위하여 적어도 하나의 이미지의 이미지처리를 수행하는 단계; 환경조건이 웨어러블기기와 무선으로 페어링된 이동통신기기와 관련된 동작에 대한 트리거로서 미리 결정된 것으로 판단하는 단계; 및 이동통신기기가 상기 환경조건에 따라 동작을 트리 거하게 하여 동작이 이동통신기기를 통해 발생시키는 단계를 포함하는 단계들을 수행하도록 할 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 오디오데이터를 캡처하도록 구성된 웨어러블오디오입력장치 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 웨어러블오디오입력장치로부터 오디오데이터를 수신하고; 상기 오디오데이터에서 웨어러블기기 사용자의 환경조건을 식별하기 위하여 오디오데이터의 오디오처리를 수행하고; 환경조건이 웨어러블기기와 무선으로 페어링된 이동통신기기와 연관된 동작에 대한 트리거(trigger)로서 미리 결정된 것으로 판단하고; 및 이동통신기기가 상기 환경조건에 따라 동작을 트리거하게 하여 동작이 이동통신기기를 통해 발생하도록 프로그램화 될 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 오디오데이터를 캡처하도록 구성된 웨어러블오디오입력장치, 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서, 및 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 상기 웨어러블오디오입력장치로부터 오디오데이터를 수신하고; 상기 웨어러블이미지센서로부터 적어도 하나의 이미지를 수신하고; 웨어러블기기 사용자의 환경조건을 식별하기 위하여 상기 오디오데이터의 오디오처리를 및 상기 적어도 하나의 이미지의 이미지처리를 수행하고; 환경조건이 웨어러블기기와 무선으로 페어링되고 작동상태(operational state)를 갖는 이동통신기기와 연관된 동작에 대한 트리거(trigger)로서 미리 결정된 것으로 판단하고; 및 이동통신기기가 상기 환경조건에 따라 동작을 트리거하게 하여 동작이 이동통신기기를 통해 발생하도록 프로그램화될 수 있다.
일 실시예에서, 웨어러블기기는 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서; 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 웨어러블기기와 무선으로 페어링된 이동통신기기로부터 웨어러블기기에 대한 위치정보를 제공하는 커맨드(command)를 수신하고; 커맨드에 응답하여, 웨어러블기기의 위치를 판단하기 위하여 웨어러블기기의 환경을 나타내는 적어도 하나의 이미지를 분석하고; 및 이동통신기기의 위치에 대한 정보를 이동통신기기로 전송하도록 프로그램화 될 수 있다.
일 실시예에서, 비일시적 컴퓨터 판독 가능 매체는 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 웨어러블이미지센서와 이동통신기기 사이의 무선 페어링을 확립하는 단계; 웨어러블이미지센서가 분실된 경우, 웨어러블이미지센서를 핑(ping)하기 위한 사용자 입력을 수신하는 단계; 사용자 입력에 응답하여, 핑(ping)을 이동통신기기로부터 웨어러블이미지센서로 무선전송하는 단계, 여기서 상기 핑은 웨어러블이미지센서가 이미지센서 주변의 적어도 하나의 이미지를 캡처하기 위한 설명을 포함한다; 웨어러블기기의 위치를 판단하기 위해 적어도 하나의 이미지를 분석하는 단계; 및 상기 웨어러블기기의 위치에 기반하여 위치정보를 이동통신기기로 전송하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기를 찾는 방법은 상기 웨어러블기기와 무선으로 페어링된 이동통신기기로부터 웨어러블기기에 대한 위치정보를 제공하는 커맨드를 수신하는 단계; 커맨드에 응답하여, 웨어러블기기의 위치를 판단하기 위하여 웨어러블기기의 환경을 나타내는 적어도 하나의 이미지를 분석하는 단계; 및 웨어러블기기의 위치에 대한 정보를 이동통신기기로 전송하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 웨어러블이미지센서에 의해 캡처된 적어도 하나의 이미지를 분석하고; 적어도 하나의 이미지의 분석에 기반하여 웨어러블이미지센서와 관련된 위치결정문제(positioning issue)를 판단하고; 상기 위치결정문제에 응답하여, 위치결정문제를 해결하기 위한 보정정보(correction information)를 결정하고; 및 상기 보정정보를 웨어러블기기 사용자에게 제공하도록 프로그램화 될 수 있다.
일 실시예에서, 이동통신기기와 페어링될 수 있는 웨어러블이미지센서를 사용하는 시스템에서 사용하기 위한 비일시적 컴퓨터 판독 가능 매체는 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 웨어러블이미지센서로부터 복수의 이미지를 수신하는 단계; 상기 이미지 중 적어도 일부에 대해 이미지처리를 수행하는 단계; 상기 이미지처리에 기반하여 양질의 이미지 캡처에 대한 장애(impediment)를 판단하는 단계; 상기 판단된 장애에 기반하여, 위치결정문제를 해결하기 위한 보정정보를 결정하는 단계; 및 페어링 가능한 이동통신기기의 디스플레이상에 상기 보정정보를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블이미지센서의 위치를 보정하는 방법은 웨어러블이미지센서에 의해 캡처된 적어도 하나의 이미지를 분석하는 단계; 상기 적어도 하나의 이미지의 분석에 기반하여 웨어러블이미지센서와 관련된 위치결정문제를 판단하는 단계; 상기 위치결정문제에 응답하여, 위치결정문제를 해결하기 위한 보정정보를 결정하는 단계; 및 상기 보정정보를 웨어러블기기 사용자에게 제공하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 웨어러블이미지센서에 의해 캡처된 적어도 하나의 이미지를 분석하고; 적어도 하나의 이미지의 분석에 기반하여 웨어러블이미지센서와 관련된 위치결정문제를 판단하고; 상기 위치결정문제에 응답하여, 위치결정문제를 해결하기 위한 보정정보를 결정하고, 여기서 상기 보정정보는 적어도 하나의 프로세서가 위치결정문제를 자동으로 해결하도록 구성된 실행 가능한 명령(executable instructions)을 포함한다; 및 위치결정문제를 자동으로 해결하도록 보정정보를 실행하도록 프로그램화될 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블이미지센서 및, 웨어러블이미지센서로부터 웨어러블기기 사용자와 상호작용하는 개체의 얼굴이미지를 수신하고; 상호작용하는 동안 캡처된 사운드 데이터를 수신하고; 개체의 음성 이름을 결정하기 위하여 상기 사운드 데이터의 적어도 일부를 처리하고; 음성 이름을 문자로 전환하고; 문자를 얼굴이미지와 연관시키는 방식으로 음성 이름과 관련된 문자를 메모리에 저장하고; 이후 개체와의 만남 후, 웨어러블이미지센서로부터 개체의 후속 얼굴이미지를 수신하고; 후속 얼굴이미지에 기반하여 개체의 신원조회를 수행하고; 메모리로부터 개체의 음성 이름의 문자를 수신하고; 및 웨어러블기기와 페어링된 이동통신기기 상에 개체의 이름을 문자로 디스플레이하도록 프로그램된, 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에서, 이동통신기기와 페어링될 수 있는 웨어러블이미지센서를 사용하는 시스템에서 사용하기 위한 비일시적 컴퓨터-판독 가능 매체는 적어도 하나의 프로세서가 단계들을 수행하게 할 수 있는 명령을 포함할 수 있다. 상기 단계들은 웨어러블이미지센서로부터 사용자와 상호작용하는 개체의 얼굴이미지를 수신하는 단계; 상호작용하는 동안 캡처된 사운드파일을 수신하는 단계; 개체의 음성 이름을 결정하기 위하여 상기 사운드파일의 적어도 일부를 처리하는 단계; 상기 음성 이름을 문자로 변환하는 단계; 문자를 얼굴이미지와 연관시키는 방식으로 음성 이름과 관련된 문자를 메모리에 저장하는 단계; 이후 개체와의 만남 후, 웨어러블이미지센서로부터 개체의 후속 얼굴이미지를 수신하는 단계; 후속 얼굴이미지에 기반하여 개체의 신원조회를 수행하는 단계; 개체의 음성 이름의 문자를 메모리로부터 소환(recall)하는 단계; 및 사용자의 이동통신기기 상에 개체의 이름을 문자로 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서; 복수의 태스크(task)를 저장하도록 구성된 메모리부, 상기 복수의 태스크는 적어도 제1 태스크 및 제2 태스크를 포함한다; 및 상기 복수의 태스크 중 적어도 일부와 관련된 정보를 얻기 위하여 복수의 이미지를 분석하고; 상기 얻은 결과에 기반하여, 제2 태스크보다 제1 태스크에 더 높은 우선순위를 할당하고; 및 할당된 우선순위에 기반하여 사용자에게 피드백을 제공하도록 프로그램된, 적어도 하나의 처리장치를 포함할 수 있다.
일 실시예에서, 이미지를 캡처 및 처리하는 방법은: 웨어러블이미지센서로부터 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 수신하는 단계; 복수의 태스크 중 적어도 일부와 관련된 정보를 얻기 위하여 복수의 이미지를 분석하는 단계, 상기 복수의 태스크는 제1 태스크 및 제2 태스크를 포함한다; 상기 얻은 결과에 기반하여, 제2 태스크보다 제1 태스크에 더 높은 우선순위를 할당하는 단계; 및 상기 할당된 우선순위를 할당에 기반하여 사용자에게 피드백을 제공하는 단계를 포함할 수 있다.
일 실시예에서, 웨어러블기기는 집단역학(group dynamics)을 분석할 수 있다. 상기 웨어러블기기는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서를 포함할 수 있다. 상기 웨어러블기기는 또한, 적어도 두 사람을 검출하기 위하여 복수의 이미지의 제1 분석을 수행하고, 상기 검출된 적어도 두 사람과 관련된 연관성 정보를 판단하기 위하여 복수의 이미지의 제2 분석을 수행하고, 및 판단된 연관성 정보에 기초하여 사회적 표현(social represention)을 업데이트하도록 구성된 적어도 하나의 처리장치도 포함할 수 있다.
일 실시예에서, 방법은 집단역학(group dynamics)을 분석할 수 있다. 상기 방법은 웨어러블이미지센서를 사용하여 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 얻는 단계, 상기 웨어러블기기의 적어도 하나의 프로세서를 사용하여 적어도 두 사람을 검출하기 위하여 복수의 이미지의 제1 분석을 수행하는 단계, 적어도 하나의 프로세서를 사용하여 상기 검출된 두 사람과 관련된 연관성 정보를 판단하기 위하여 복수의 이미지의 제2 분석을 수행하는 단계, 및 판단된 연관성 정보에 기초하여 사회적 표현(social representation)을 업데이트하는 단계를 포함한다.
다른 기재된 실시예에 따라, 비일시적 컴퓨터 판독 가능 저장매체는 적어도 하나의 프로세서에 의해 실행되고 상기 기재된 방법 중의 어느 하나를 수행하는 프로그램 명령을 저장할 수 있다.
상기 기재와 하기의 상세한 설명은 예시일 뿐이며 본 발명의 청구범위를 제한하지 않는다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면은 기재된 다양한 실시예를 도시한다.
도 1a는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1b는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1c는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1d는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 2는 기재된 실시예에 따른 시스템의 일례를 개략적으로 도시한 것이다.
도 3a는 도 1a에 도시된 웨어러블기기의 일례를 개략적으로 도시한 것이다.
도 3b는 도 3a에 도시된 웨어러블기기의 일례의 분해도이다.
도 4a는 도 1b에 도시된 웨어러블기기의 일례를 제1 시점에서 개략적으로 도시한 것이다.
도 4b는 도 1b에 도시된 웨어러블기기의 일례를 제2 시점에서 개략적으로 도시한 것이다.
도 5a는 제1 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 5b는 제2 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 5c는 제3 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 6은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 7은 가향 이미지 캡처부(orientable image capture unit)를 포함하는 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 8은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 9는 본 발명의 실시예에 따른 웨어러블기기를 착용한 사용자를 개략적으로 도시한 것이다.
도 10은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 11은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 12는 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 13은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 14는 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 15는 전원을 포함하는 웨어러블기기 전원부의 실시예를 개략적으로 도시한 것이다.
도 16은 보호회로를 포함하는 웨어러블기기의 실시예의 일례를 개략적으로 도시한 것이다.
도 17은 본 기재에 따른 페이스 클라우드를 생성하는 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 18a는 본 기재에 따른 크기로 표시되는 현저성 수준(prominence levels)을 갖는 페이스 클라우드의 일례를 도시한 것이다.
도 18b는 본 기재에 따른 형상으로 표시되는 현저성 수준을 갖는 페이스 클라우드의 일례를 도시한 것이다.
도 18c는 본 기재에 따른 연결단어(linking word)를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18d는 본 기재에 따른 복수의 연결단어를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18e는 본 기재에 따른 연결 지리적 위치(linking geographic location)를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18f는 본 기재에 따른 연결 환경특성(linking environmental characteristic)을 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18g는 본 기재에 따른 시간적 표시자(temporal indicator)를 사용하여 구성된 페이스 클라우드의 일례를 도시한 것이다.
도 18h는 본 기재에 따른 페이스 클라우드의 재배열(rearrangement)을 야기하는 초점 개체(point individual)의 지정(designation)의 일례를 도시한 것이다.
도 19a는 본 기재에 따른 복수의 사람들의 이미지 표현의 가시영상(visualization)를 생성하는 방법의 실시예의 일례의 순서도이다.
도 19b는 본 기재에 따른 적어도 하나의 연결속성에 기초하여 배열된 복수의 얼굴이미지를 포함하는 시각적 표현을 생성하는 방법의 실시예의 일례의 순서도이다.
도 19c는 본 기재에 따른 중복되는 공통단어와 단어리스트를 갖는 개체의 복수의 얼굴이미지의 서브세트(subset)를 생성하는 방법의 실시예의 일례의 순서도이다.
도 20은 본 기재에 따른 사람 및 객체를 색인 및 검색하기 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 21a은 본 기재에 따른 얼굴이미지를 연결속성에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 21b는 본 기재에 따른 사운드파일을 추축된 단어 및 객체 이미지에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 21c는 본 기재에 따른 얼굴이미지를 캘린더날짜에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 22a는 본 기재에 따른 얼굴이미지를 연결속성에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22b는 본 기재에 따른 사운드파일 내의 단어를 객체 이미지에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22c는 얼굴이미지를 캘린더날짜에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22d는 본 기재에 따른 얼굴이미지를 이미지로부터 추출된 상황정보에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22e는 본 기재에 따른 이미지로부터 추출된 시각적 상황정보 표시자를 사람과 관련된 상황별 카테고리에 색인하는 방법의 실시예의 일례의 순서도이다.
도 23은 본 기재에 따른 자동객체비교(automatic object comparison)을 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 24a는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 일례를 도시한 것이다.
도 24b는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 다른 일례를 도시한 것이다.
도 24c는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 사용자 인터페이스(user 인터페이스)의 일례를 도시한 것이다.
도 25는 본 기재에 따른 자동객체비교를 위한 방법의 실시예의 일례의 순서도이다.
도 26은 본 기재에 따른 이전 대화로부터 핵심단어를 검색하고 디스플레이 하기 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 27a는 본 기재에 따른 핵심단어를 상호작용빈도(interaction frequencies)로 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 27b는 본 기재에 따른 핵심단어를 개체의 중요도 수준으로 색인하기 위한 데이터베이스의 다른 일례를 도시한 것이다.
도 28은 본 기재에 따른 이전 대화에서 핵심단어를 검색 및 디스플레이하기 위한 방법의 실시예의 일례의 순서도이다.
도 29는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 30a 및 도 30b는 본 기재에 따른 웨어러블기기에 의해 검출된 환경의 일례를 도시한 것이다.
도 31a는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 31b는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 31c는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 32는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 33a, 도 33b, 및 도 33c은 본 기재에 따른 웨어러블기기의 응용들을 도시한 것이다.
도 34는 본 발명의 실시예에 따른 웨어러블기기 사용자에게 위치정보를 제공하는 방법의 순서도이다.
도 35는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 36a, 도 36b, 및 도 36c은 본 기재에 따른 이미지센서 가림(image sensor occlusion)의 실시예의 일례들을 도시한 것이다.
도 37은 본 발명의 실시예에 따른 웨어러블기기의 이미지센서의 차단(blockage)을 검출 및 보정하는 방법의 순서도이다.
도 38은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 39a 및 도 38b는 본 발명의 실시예에 따른 웨어러블기기를 이용한 네임태깅(name tagging)하는 방법의 순서도이다.
도 40은 본 발명의 실시예에 따른 사용자 인터페이스의 일례를 도시한 것이다.
도 41은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 42는 본 발명의 실시예에 따른 태스크들의 우선순위를 결정하는 방법의 순서도이다.
도 43a 및 도 43b는 본 발명의 실시예에 따른 캡처된 이미지의 일례를 도시한 것이다.
도 43c는 본 발명의 실시예에 따른 사용자 인터페이스의 일례를 도시한 것이다.
도 44는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 45a는 물리적 거리에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45b는 공동활동에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45c는 공유특성에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45d는 행동에 대한 반응에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 46는 집단역학(group dynamic)에 기초하여 사회적 표현에 대한 업데이트의 개략도이다.
도 47은 집단역학을 분석하기 위한 일례의 공정을 나타내는 순서도이다.
도 1a는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1b는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1c는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 1d는 기재된 실시예에 따른 웨어러블기기를 착용한 사용자의 일례를 개략적으로 도시한 것이다.
도 2는 기재된 실시예에 따른 시스템의 일례를 개략적으로 도시한 것이다.
도 3a는 도 1a에 도시된 웨어러블기기의 일례를 개략적으로 도시한 것이다.
도 3b는 도 3a에 도시된 웨어러블기기의 일례의 분해도이다.
도 4a는 도 1b에 도시된 웨어러블기기의 일례를 제1 시점에서 개략적으로 도시한 것이다.
도 4b는 도 1b에 도시된 웨어러블기기의 일례를 제2 시점에서 개략적으로 도시한 것이다.
도 5a는 제1 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 5b는 제2 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 5c는 제3 실시예에 따른 웨어러블기기의 구성요소들의 일례를 도시한 구성도이다.
도 6은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 7은 가향 이미지 캡처부(orientable image capture unit)를 포함하는 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 8은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 9는 본 발명의 실시예에 따른 웨어러블기기를 착용한 사용자를 개략적으로 도시한 것이다.
도 10은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 11은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 12는 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 13은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 14는 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 실시예를 개략적으로 도시한 것이다.
도 15는 전원을 포함하는 웨어러블기기 전원부의 실시예를 개략적으로 도시한 것이다.
도 16은 보호회로를 포함하는 웨어러블기기의 실시예의 일례를 개략적으로 도시한 것이다.
도 17은 본 기재에 따른 페이스 클라우드를 생성하는 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 18a는 본 기재에 따른 크기로 표시되는 현저성 수준(prominence levels)을 갖는 페이스 클라우드의 일례를 도시한 것이다.
도 18b는 본 기재에 따른 형상으로 표시되는 현저성 수준을 갖는 페이스 클라우드의 일례를 도시한 것이다.
도 18c는 본 기재에 따른 연결단어(linking word)를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18d는 본 기재에 따른 복수의 연결단어를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18e는 본 기재에 따른 연결 지리적 위치(linking geographic location)를 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18f는 본 기재에 따른 연결 환경특성(linking environmental characteristic)을 포함한 페이스 클라우드의 일례를 도시한 것이다.
도 18g는 본 기재에 따른 시간적 표시자(temporal indicator)를 사용하여 구성된 페이스 클라우드의 일례를 도시한 것이다.
도 18h는 본 기재에 따른 페이스 클라우드의 재배열(rearrangement)을 야기하는 초점 개체(point individual)의 지정(designation)의 일례를 도시한 것이다.
도 19a는 본 기재에 따른 복수의 사람들의 이미지 표현의 가시영상(visualization)를 생성하는 방법의 실시예의 일례의 순서도이다.
도 19b는 본 기재에 따른 적어도 하나의 연결속성에 기초하여 배열된 복수의 얼굴이미지를 포함하는 시각적 표현을 생성하는 방법의 실시예의 일례의 순서도이다.
도 19c는 본 기재에 따른 중복되는 공통단어와 단어리스트를 갖는 개체의 복수의 얼굴이미지의 서브세트(subset)를 생성하는 방법의 실시예의 일례의 순서도이다.
도 20은 본 기재에 따른 사람 및 객체를 색인 및 검색하기 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 21a은 본 기재에 따른 얼굴이미지를 연결속성에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 21b는 본 기재에 따른 사운드파일을 추축된 단어 및 객체 이미지에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 21c는 본 기재에 따른 얼굴이미지를 캘린더날짜에 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 22a는 본 기재에 따른 얼굴이미지를 연결속성에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22b는 본 기재에 따른 사운드파일 내의 단어를 객체 이미지에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22c는 얼굴이미지를 캘린더날짜에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22d는 본 기재에 따른 얼굴이미지를 이미지로부터 추출된 상황정보에 색인하는 방법의 실시예의 일례의 순서도이다.
도 22e는 본 기재에 따른 이미지로부터 추출된 시각적 상황정보 표시자를 사람과 관련된 상황별 카테고리에 색인하는 방법의 실시예의 일례의 순서도이다.
도 23은 본 기재에 따른 자동객체비교(automatic object comparison)을 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 24a는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 일례를 도시한 것이다.
도 24b는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 다른 일례를 도시한 것이다.
도 24c는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 사용자 인터페이스(user 인터페이스)의 일례를 도시한 것이다.
도 25는 본 기재에 따른 자동객체비교를 위한 방법의 실시예의 일례의 순서도이다.
도 26은 본 기재에 따른 이전 대화로부터 핵심단어를 검색하고 디스플레이 하기 위한 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 27a는 본 기재에 따른 핵심단어를 상호작용빈도(interaction frequencies)로 색인하기 위한 데이터베이스의 일례를 도시한 것이다.
도 27b는 본 기재에 따른 핵심단어를 개체의 중요도 수준으로 색인하기 위한 데이터베이스의 다른 일례를 도시한 것이다.
도 28은 본 기재에 따른 이전 대화에서 핵심단어를 검색 및 디스플레이하기 위한 방법의 실시예의 일례의 순서도이다.
도 29는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 30a 및 도 30b는 본 기재에 따른 웨어러블기기에 의해 검출된 환경의 일례를 도시한 것이다.
도 31a는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 31b는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 31c는 본 발명의 실시예에 따른 웨어러블기기 사용자의 환경에서 트리거를 검출하는 방법의 순서도이다.
도 32는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 33a, 도 33b, 및 도 33c은 본 기재에 따른 웨어러블기기의 응용들을 도시한 것이다.
도 34는 본 발명의 실시예에 따른 웨어러블기기 사용자에게 위치정보를 제공하는 방법의 순서도이다.
도 35는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 36a, 도 36b, 및 도 36c은 본 기재에 따른 이미지센서 가림(image sensor occlusion)의 실시예의 일례들을 도시한 것이다.
도 37은 본 발명의 실시예에 따른 웨어러블기기의 이미지센서의 차단(blockage)을 검출 및 보정하는 방법의 순서도이다.
도 38은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 39a 및 도 38b는 본 발명의 실시예에 따른 웨어러블기기를 이용한 네임태깅(name tagging)하는 방법의 순서도이다.
도 40은 본 발명의 실시예에 따른 사용자 인터페이스의 일례를 도시한 것이다.
도 41은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 42는 본 발명의 실시예에 따른 태스크들의 우선순위를 결정하는 방법의 순서도이다.
도 43a 및 도 43b는 본 발명의 실시예에 따른 캡처된 이미지의 일례를 도시한 것이다.
도 43c는 본 발명의 실시예에 따른 사용자 인터페이스의 일례를 도시한 것이다.
도 44는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다.
도 45a는 물리적 거리에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45b는 공동활동에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45c는 공유특성에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 45d는 행동에 대한 반응에 기초하여 연관성 정보를 결정하기 위한 개략도이다.
도 46는 집단역학(group dynamic)에 기초하여 사회적 표현에 대한 업데이트의 개략도이다.
도 47은 집단역학을 분석하기 위한 일례의 공정을 나타내는 순서도이다.
하기의 상세한 설명은 첨부한 도면을 참조한다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하지만, 다양한 변경, 개조, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 변경할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 변경할 수 있다. 따라서, 하기의 상세한 설명은 기재된 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부된 청구항에 의해 정의된다.
도 1a는 기재된 실시예에 따른 안경(130)과 물리적으로 연결된(또는 일체화된) 기기(110)를 착용한 사용자(100)를 도시한 것이다. 안경(130)은 처방 안경, 돋보기, 비처방 안경, 보호 안경, 선글라스 등일 수 있다. 또한, 일부 실시예에서, 안경(130)은 안경테와 안경다리, 코받침 등의 일부를 포함할 수 있고, 렌즈를 포함하거나 포함하지 않을 수도 있다. 따라서, 일부 실시예에서, 안경(130)은 주로 기기(110) 및/또는 증강현실 디스플레이 장치(augmented reality display device) 또는 기타 광학 디스플레이 장치(optical display device)를 지원하는 역할을 할 수 있다. 일부 실시예에서, 기기(110)는 사용자(100) 시야의 실시간 이미지데이터를 캡처하는 이미지센서(도 1a에는 미도시)를 포함할 수 있다. "이미지데이터"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호로부터 검색되는 일체의 데이터를 의미한다. 이미지데이터는 비디오 클립 및/또는 사진을 포함할 수 있다. 일부 실시예에서, 기기(110)의 이미지센서(미도시)는 사용자(100) 시야에 실질적으로 유사한(예를 들어, 적어도 50% 중첩, 적어도 70% 중첩, 또는 적어도 90% 중첩 등) 시야를 가질 수 있다.
일부 실시예에서, 자석 또는 다른 기기는 안경(130) 내에, 예를 들어 안경의 핸들 내에, 내장될 수 있어서, 기기(110)를 안경(130)에 부착하기 위해 특정 장치나 설치가 필요하지 않다. 상기 동일한 기기는 사용자의 다른 안경 간에 이동될 수 있다.
일부 실시예에서, 기기(110)는 컴퓨팅장치(120)와 무선 또는 유선으로 통신할 수 있다. 일부 실시예에서, 컴퓨팅장치(120)는 예를 들어 스마트폰, 또는 태블릿, 또는 휴대용일 수 있는(예, 사용자(100)의 주머니에 휴대할 수 있는) 전용 처리장치일 수 있다. 도 1a에서는 외부장치인 것으로 도시되었지만, 일부 실시예에서, 컴퓨팅장치(120)는 웨어러블기기(110) 또는 안경(130)의 일부로서 일체형 또는 탑재형으로 제공될 수 있다. 일부 실시예에서, 컴퓨팅장치(120)는 안경(130)에 일체형 또는 탑재형으로 제공된 광학적 HMd(head mounted display) 또는 증강현실 디스플레이 장치에 포함될 수 있다. 다른 실시예에서, 컴퓨팅장치(120)는 손목 밴드, 다기능 시계, 단추, 클립온(clip-on) 등과 같은 사용자(100)의 기타 웨어러블기기 또는 휴대용 장치의 일부로서 제공될 수 있다. 또한, 다른 실시예에서, 컴퓨팅장치(120)는 차량 컴퓨팅 시스템 또는 내비게이션 시스템과 같은 다른 시스템의 일부로서 제공될 수 있다. 당업자는 다른 유형 및 배치의 컴퓨팅장치에 의해서도 여기에 기재된 실시예의 기능이 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 다른 구현 방식에서, 컴퓨팅장치(120)는 PC, 노트북, 인터넷서버 등을 포함할 수 있다.
도 1b는 기재된 실시예에 따른 목걸이(140)에 물리적으로 연결된 기기(110)를 착용한 사용자(100)를 도시한 것이다. 이러한 구성의 기기(110)는 항상 또는 가끔씩 안경을 쓰지 않는 사용자에게 적합할 수 있다. 본 실시예에서, 사용자(100)는 손쉽게 기기(110)를 쓰고 벗을 수 있다.
도 1c는 본 발명의 실시예에 따른 벨트(150)에 물리적으로 연결된 기기(110)를 착용한 사용자(100)를 도시한 것이다. 이러한 구성의 기기(110)는 벨트 버클로 설계될 수 있다. 또는, 기기(110)는 벨트(150), 또는 조끼, 주머니, 칼라, 모자, 또는 의류의 다른 부분과 같은 다양한 의류에 부착되는 클립을 포함할 수 있다.
도 1d는 기재된 실시예에 따른 손목 밴드(160)에 물리적으로 연결된 기기(110)를 착용하고 있는 사용자(100)를 도시한 것이다. 본 실시예에서, 기기(110)가 바라보는 방향은 사용자(100) 시야와 일치하지 않을 수도 있지만, 기기(110)는, 사용자(100)가 손목 밴드(160)의 방향을 바라보고 있음을 나타내는 사용자(100)의 추적된 안구 움직임에 기반한, 손-관련 트리거(hand-related trigger)를 식별하는 능력을 포함할 수 있다. 손목 밴드(160)는 손-관련 트리거를 식별하기 위해 사용자(100) 손의 움직임 또는 방향을 판단하는 가속도계, 자이로스코프(gyroscope), 또는 기타 센서도 포함할 수 있다.
도 2는 기재된 실시예에 따른 사용자(100)가 착용한 웨어러블기기(110), 및 선택 사항인 컴퓨팅장치(120), 및/또는 기기(110)와 통신할 수 있는 서버(250)를 포함하는 시스템(200)의 일례를 개략적으로 도시한 것이다. 일부 실시예에서, 기기(110)는, 적어도 부분적으로는 손-관련 트리거의 식별에 기반하여, 이미지데이터를 캡처 및 분석하고, 이미지데이터에 존재하는 손 관련 트리거를 식별하고, 동작을 수행 및/또는 피드백을 사용자(100)에게 제공할 수 있다. 일부 실시예에서, 선택 사항인 컴퓨팅장치(120) 및/또는 서버(250)는 사용자(100)와 사용자 환경의 상호작용을 향상시킬 수 있는 추가적인 기능을 제공할 수 있으며, 이에 대해서는 아래에서 상세히 설명하기로 한다.
기재된 실시예에 따라, 기기(110)는 사용자(100) 시야의 실시간 이미지데이터를 캡처하는 이미지센서 시스템(220)을 포함할 수 있다. 일부 실시예에서, 기기(110)는, 이미지데이터 캡처의 제어, 이미지데이터의 분석, 이미지데이터 내에서 식별된 손 관련 트리거에 근거한 동작의 수행 및/또는 피드백의 출력과 같은, 기기(110)의 기능을 제어하고 수행하는 처리장치(210)도 포함할 수 있다. 기재된 실시예에 따라, 손-관련 트리거는 사용자(100)의 손의 일부를 포함하는 사용자(100)에 의해 수행되는 제스처를 포함할 수 있다. 또한, 일부 실시예에 따라, 손-관련 트리거는 손목-관련 트리거(wrist-related trigger)를 포함할 수 있다. 또한, 일부 실시예에서, 기기(110)는 사용자(100)에게 정보의 출력을 생성하는 피드백 출력부(230)를 포함할 수 있다.
앞서 설명한 바와 같이, 기기(110)는 이미지데이터를 캡처하는 이미지센서(220)를 포함할 수 있다. "이미지센서"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호를 검출하고 전기신호로 변환할 수 있는 장치를 의미한다. 전기신호는 검출된 신호에 기반하여 이미지 또는 비디오 스트림(즉, 이미지데이터)을 형성하는데 사용될 수 있다. "이미지데이터"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호로부터 검색되는 일체의 데이터를 의미한다. 이미지센서의 예에는 반도체 ccd(charge-coupled device), cMOS(complementary metal-oxide-semiconductor)의 능동 화소 센서(active pixel sensor), 또는 NMOS(N-type metal-oxide-semiconductor 또는 Live MOS)가 포함될 수 있다. 일부 실시예에서, 이미지센서(220)는 기기(110)에 포함된 카메라의 일부일 수 있다.
기재된 실시예에 따라, 기기(110)는 이미지센서(220)를 제어하여 이미지데이터를 캡처하고 이미지데이터를 분석하는 프로세서(210)도 포함할 수 있다. 아래에서 도 5a를 참조하여 더 상세히 설명하겠지만, 프로세서(210)는 원하는 기능을 제공하는 저장된 또는 접속 가능한 소프트웨어 명령에 따라 이미지데이터 또는 기타 데이터의 하나 이상의 입력에 대한 로직 연산을 수행하는 "처리장치"를 포함할 수 있다. 일부 실시예에서, 프로세서(210)는 또한 피드백 출력부(230)를 제어하여, 분석된 이미지데이터와 저장된 소프트웨어 명령에 따른 정보를 포함하는 피드백을 사용자(100)에게 제공할 수 있다. 여기서 사용되는 용어로서, "처리장치"는 실행 가능한 명령이 저장된 메모리에 접속하거나, 일부 실시예에서는 실행 가능한 명령을 자체적으로 포함(예, 처리장치에 포함된 메모리에 저장)하고 있을 수 있다.
일부 실시예에서, 사용자(100)에게 제공되는 정보 또는 피드백 정보는 시간 정보를 포함할 수 있다. 시간 정보는 그 날의 현재 시각에 관한 모든 정보를 포함할 수 있고, 아래에서 상세히 설명하겠지만, 감각인지적인 방법으로 제공될 수 있다. 일부 실시예에서, 시간 정보는 정해진 형식(예, 2:30 pm 또는 14:30)의 현재 시각을 포함할 수 있다. 시간 정보는 사용자 지역 시간대의 시각(예, 사용자(100)의 설정 위치에 근거)뿐만 아니라 이 시간대의 표시 및/또는 다른 위치의 시각을 포함할 수 있다. 일부 실시예에서, 시간 정보는 하나 이상의 설정 시각에 대한 시간 또는 분을 포함할 수 있다. 예를 들어, 일부 실시예에서, 시간 정보는 특정 시각(예, 6:00 pm) 또는 다른 설정 시각까지 3시간 15분이 남았다는 표시를 포함할 수 있다. 시간 정보는 또한 회의, 조깅, 또는 다른 활동 등과 같은 특정 활동의 개시부터 경과한 시간을 포함할 수 있다. 일부 실시예에서, 이러한 활동은 분석된 이미지데이터에 기반하여 결정될 수 있다. 다른 실시예에서, 시간 정보는 또한 현재 시각과 하나 이상의 일상적, 주기적, 또는 계획된 사건에 관한 추가 정보를 포함할 수 있다. 예를 들어, 시간 정보는, 캘린더 기능에서 판단된 또는 컴퓨팅장치(120) 또는 서버(250)로부터 검색된 기타 정보로부터 판단된, 계획된 다음 사건까지 몇 분이 남았는지에 대한 표시를 포함할 수 있으며, 이에 대해서는 아래에서 더욱 상세히 설명하기로 한다.
피드백 출력부(230)는 사용자(100)에게 정보의 출력을 제공하는 하나 이상의 피드백 시스템을 포함할 수 있다. 기재된 실시예에서, 연결된 청각적 및/또는 시각적 시스템의 하나 또는 모두를 통해 청각적 또는 시각적 피드백이 제공될 수 있다. 기재된 실시예에 따른, 정보의 피드백은 사용자(100)에게 제공되는 청각적 피드백(예, 블루투스 또는 기타 유·무선 스피커, 또는 골전도 헤드폰 사용)을 포함할 수 있다. 일부 실시예의 피드백 출력부(230)는 정보의 시각적 출력을 사용자(100)에게 추가적으로 또는 대안적으로 제공할 수 있다. 예를 들어, 이러한 시각적 출력은 안경(130)의 렌즈에 투영되는 증강현실 디스플레이 또는, 컴퓨팅장치(120)의 일부로 제공되는 디스플레이(260)와 같이, 기기(110)와 통신하는 별도의 헤드업 디스플레이를 통해 제공되는 증강현실 디스플레이의 일부일 수 있으며, 차량 장착 헤드업 디스플레이, 증강현실 장치, 가상현실 장치, 스마트폰, Pc, 태블릿 등을 포함할 수 있다.
"컴퓨팅장치"라는 용어는 처리부를 포함하고 컴퓨팅 능력을 갖춘 장치를 일컫는다. 컴퓨팅장치(120)의 예에는, 기기(110)와 직접 통신하거나 네트워크(240)를 통해 서버(250)와 통신하도록 각각 구성된, Pc, 노트북, 태블릿, 또는 차량에 탑재된 컴퓨팅 시스템과 같은 기타 컴퓨팅 시스템 등이 있다. 컴퓨팅장치(120)의 다른 예에는 디스플레이(260)를 구비한 스마트폰이 있다. 일부 실시예에서, 컴퓨팅장치(120)는 기기(110)를 위해 특별히 구성된 컴퓨팅 시스템일 수 있고, 기기(110)와 일체로 또는 묶음으로 제공될 수 있다. 기기(110)는 또한 공지의 무선 표준(예, 와이파이, 블루투스 등)뿐만 아니라 근접장 용량성 결합(near-field capacitive coupling), 기타 근거리 무선기술, 또는 유선 연결을 통한 네트워크(240)를 이용하여 컴퓨팅장치(120)에 연결될 수 있다. 컴퓨팅장치(120)가 스마트폰인 실시예에서, 컴퓨팅장치(120)에는 전용 애플리케이션이 설치돼 있을 수 있다. 예를 들어, 사용자(100)는 장치(100)에서 생성되거나 트리거된 데이터(예, 이미지, 비디오 클립, 추출 정보, 피드백 정보 등)를 디스플레이(260) 상에서 볼 수 있다. 뿐만 아니라, 사용자(100)는 서버(250)에 저장할 데이터의 일부를 선택할 수 있다.
네트워크(240)는 공유망, 공중망, 또는 전용망일 수 있고, 광역 또는 로컬 영역을 포함할 수 있으며, 모든 적합한 조합의 유선 및/또는 무선 통신 네트워크를 통하여 구현될 수 있다. 네트워크(240)는 인트라넷이나 인터넷을 더 포함할 수 있다. 일부 실시예에서, 네트워크(240)는 서로 아주 가까이 있는, 예를 들어, 사용자에게 있거나 사용자 근처에 있는, 기기(110)와 컴퓨팅장치(120) 사이의 통신을 가능하게 하는 근거리 또는 근접장 무선 통신 시스템을 포함할 수 있다. 기기(110)는 자율적으로, 예를 들어, 무선 모듈(예, 와이파이, 셀룰러)을 사용하여, 네트워크(240)로의 연결을 이룰 수 있다. 일부 실시예에서, 기기(110)는 외부 전원에 연결되는 경우에 무선 모듈을 사용함으로써 배터리 수명을 연장할 수 있다. 나아가, 기기(110)와 서버(250) 사이의 통신은 예를 들어 전화회선, 엑스트라넷(extranet), 인트라넷, 인터넷, 위성 통신, 오프라인(off-line) 통신, 무선 통신, 트랜스폰더(transponder) 통신, LAN(local area network), WAN(wide area network), VPN(virtual private network) 등과 같은 모든 적합한 통신 채널을 통해 이루어질 수 있다.
도 2에 도시된 바와 같이, 기기(110)는 네트워크(240)를 통하여 데이터를 서버(250)와 송수신할 수 있다. 기재된 실시예에서, 서버(250) 및/또는 컴퓨팅장치(120)로부터 수신되는 데이터는 분석된 이미지데이터에 따라, 상품에 관한 정보, 개인의 아이덴티티, 식별된 랜드마크, 및 서버(250)가 저장하거나 접속할 수 있는 기타 모든 정보를 포함하는, 다양한 유형의 정보를 포함할 수 있다. 일부 실시예에서, 데이터는 컴퓨팅장치(120)를 통하여 송수신될 수 있다. 기재된 실시예에 따라, 서버(250) 및/또는 컴퓨팅장치(120)는 다양한 데이터 소스(예, 사용자 특정 데이터베이스, 사용자의 SNS 계정 또는 기타 계정, 인터넷, 및 사용자가 관리 및 접속 가능한 기타 데이터베이스)로부터 정보를 검색하고 분석된 이미지데이터와 인식된 트리거에 관한 정보를 기기(110)로 제공할 수 있다. 일부 실시예에서, 다양한 데이터 소스에서 검색된 캘린더 관련 정보를 분석하고, 분석된 이미지데이터에 따른 특정 정보를 제공하기 위한 특정 시간 정보 또는 시간-기반 상황을 제공할 수 있다.
일부 실시예에 따라 안경(130)으로 구현된 웨어러블기기(110)의 일례(도 1a의 설명 참조)가 도 3a에 상세히 도시되어 있다. 일부 실시예에서, 기기(110)는 안경(130)에 수월하게 착탈하게 하는 구조물(도 3a에는 미도시)과 연계될 수 있다. 일부 실시예에서, 기기(100)가 안경(130)에 부착될 때, 이미지센서(220)는 방향 보정을 할 필요 없이 설정 조준 방향을 획득한다. 이미지센서(220)의 설정 조준 방향은 사용자(100) 시야와 실질적으로 일치할 수 있다. 예를 들어, 이미지센서(220)와 연계된 카메라가 약간 아래 방향으로 향하는 미리 설정된 각도(예, 수평에서 5 내지 15도)로 기기(110) 내에 설치될 수 있다. 이에 따라, 이미지센서(220)의 설정 조준 방향은 사용자(100) 시야와 실질적으로 일치할 수 있다.
도 3b는 도 3a을 참조하여 설명한 실시예의 구성요소의 분해도이다. 기기(110)를 안경(130)에 부착하는 방법은 다음과 같을 수 있다. 우선, 측면에 나사(320)를 삽입하여 지지대(310)를 안경(130)에 탑재할 수 있다. 이후, 기기(110)가 사용자(100) 시야와 정렬되도록 기기(110)를 지지대(310) 상에 꽂아 고정할 수 있다. "지지대"라는 용어는 카메라 등의 장치를 안경 또는 기타 객체(예, 헬멧)에 착탈할 수 있게 해주는 모든 장치 또는 구조물을 포함한다. 지지대(310)는 플라스틱(예, 폴리카보네이트), 금속(예, 알루미늄), 또는 플라스틱과 알루미늄의 조합(예, 탄소섬유 그래파이트)으로 구성될 수 있다. 지지대(310)는 나사, 볼트, 스냅, 또는 본 발명의 기술 분야에서 사용되는 모든 고정 수단을 사용하여 모든 종류의 안경(예, 안경, 선글라스, 3d 안경, 보안경 등)에 탑재될 수 있다.
일부 실시예에서, 지지대(310)는 기기(110)의 착탈을 위한 신속 해제장치를 포함할 수 있다. 예를 들어, 지지대(310)와 기기(110)는 자석 요소를 포함할 수 있다. 다른 예에서, 지지대(310)는 수 래치(male latch) 부재를 포함하고, 기기(110)는 암 리셉터클(female receptacle)을 포함할 수 있다. 다른 실시예에서, 지지대(310)는 안경과 일체형일 수 있고, 또는 개별적으로 판매되어 검안사에 의해 설치될 수 있다. 예를 들어, 지지대(310)는 안경(130) 프레임의 전방 부근으로 안경다리의 힌지(hinge) 전에 설치되도록 구성될 수 있다. 또는, 지지대(310)는 안경(130)의 브리지 상에 탑재되도록 구성될 수 있다. 도 1a를 참조하여 전술한 바와 같이, 일부 실시예에서, 안경(130)은 예를 들어 손잡이 내와 같이 안경 내에 내장된 자석을 가질 수 있어서, 기기(110)는 추가의 구조 또는 설치 없이 안경(130)으로부터 즉시 부착되거나 분리될 수 있고, 기기(110)가 분리될 때 안경(130)에 어떠한 구조도 남기지 않는다.
일부 실시예에서, 기기(110)는 렌즈가 있거나 없는 프레임(130)의 일부로 제공될 수 있다. 또한, 일부 실시예에서, 기기(110)는 증강 현실 디스플레이를 안경(130)의 렌즈 상으로(렌즈가 포함된 경우) 제공하도록 구성될 수 있고, 또는, 예를 들어, 정보를 투사하는 디스플레이를 포함할 수 있다. 기기(110)는 추가 디스플레이를 포함할 수 있고, 또는 안경(130)에 부착되어 있거나 부착되지 않을 수 있는 별도의 디스플레이 시스템과 통신할 수 있다.
일부 실시예에서, 기기(110)는 예를 들어 상기 도 1b 내지 도 1d를 참조하여 설명한 웨어러블 안경과 다른 형태로 구현될 수 있다. 도 4a는 기기(110)의 다른 실시예의 일례를 제1 시점에서 개략적으로 도시한 것이다. 도 4a를 도시한 시점은 기기(110)의 정면에서 바라본 시점이다. 기기(110)는 이미지센서(220), 클립(미도시), 기능버튼(미도시), 및 기기(110)를 예를 들어 도 1b에 도시된 목걸이(140)에 결합하기 위한 고리(410)를 포함한다. 기기(110)를 목걸이(140)에 걸면, 이미지센서(220)의 조준 방향이 사용자(100) 시야와 완벽하게 일치하지 않을 수 있지만, 여전히 조준 방향은 사용자(100) 시야와 연관이 있을 수 있다.
도 4b는 기기(110)의 제2 실시예의 일례를 제2 시점에서 개략적으로 도시한 것이다. 도 4b를 도시한 시점은 기기(110)를 측면 방향에서 바라본 시점이다. 도 4b에 도시된 바와 같이, 기기(110)는 고리(410) 외에도 클립(420)을 더 포함할 수 있다. 사용자(100)는 클립(420)을 이용하여, 도 1c에 도시된 바와 같이, 기기(110)를 셔츠나 벨트(150)에 부착할 수 있다. 클립(420)은 기기(110)를 의복에 손쉽게 착탈하는 방법을 제공할 수 있다. 다른 실시예에서, 기기(110)는 차량 마운트 또는 유니버설 거치 장치의 수 래치에 연결되는 암 리셉터클을 포함할 수 있다.
일부 실시예에서, 기기(110)는 사용자(100)가 기기(110)에 입력을 제공할 수 있게 하는 기능버튼(430)을 포함한다. 기능버튼(430)은 다양한 유형의 촉각 입력(예, 탭, 클릭, 더블 클릭, 길게 누름, 좌로 슬라이드, 우로 슬라이드)을 수신할 수 있다. 일부 실시예에서, 각 유형의 입력은 다른 동작과 연계될 수 있다. 예를 들어, 탭은 사진 촬영 기능과 연계되고, 좌로 슬라이드는 비디오 녹화 기능과 연계될 수 있다.
앞서 도 3a, 3b, 4a, 4b를 참조하여 설명한 예시적인 실시예들은 이에 한정되지 않는다. 일부 실시예에서, 기기(110)는 기재된 방법을 수행하기 적합한 모든 구성으로 구현될 수 있다. 예를 들어, 다시 도 2를 참조하면, 기재된 실시예는 이미지센서(220)와 처리장치(210)를 포함하는 모든 구성에 따른 기기(110)를 구현하여 이미지 분석을 수행하고 피드백 출력부(230)와 통신할 수 있다.
도 5a는 본 발명의 예시적인 실시예에 따른 기기(110)의 구성요소를 도시한 구성도이다. 도 5a에 도시된 바와 같이, 또한 앞서 설명한 바와 같이, 기기(110)는 이미지센서(220), 메모리(550), 프로세서(210), 피드백 출력부(230), 무선 송수신기(530), 및 모바일 전원(520)을 포함한다. 다른 실시예에서, 기기(110)는 또한 버튼, 마이크와 같은 기타 센서, 및/또는 가속도계, 자이로스코프, 자력계, 온도 센서, 색 센서, 빛 센서와 같은 관성 측정장치 등을 포함할 수 있다. 기기(110)는 외부 전원 또는 외부 장치(미도시)로 연결하기 위한 적합한 인터페이스를 구비한 전원 연결(510)과 데이터 포트(570)를 더 포함할 수 있다.
도 5a에 도시된 프로세서(210)는 모든 적합한 처리장치를 포함할 수 있다. "처리장치"라는 용어는 입력에 대한 논리 연산을 수행하는 전기 회로를 구비한 모든 물리적 장치를 포함한다. 예를 들어, 처리장치는 하나 이상의 집적회로, 마이크로 칩, 마이크로컨트롤러, 마이크로프로세서, 중앙처리장치(CPU)의 전체 또는 일부, 그래픽처리장치(GPU), 디지털신호처리장치(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 또는 명령을 실행하거나 논리 연산을 수행하기 적합한 기타 회로를 포함할 수 있다. 처리장치에 의해 실행되는 명령은, 예를 들어, 처리장치에 일체화 또는 내장된 메모리에 미리 로드되거나 별도의 메모리(예, 550)에 저장될 수 있다. 메모리(550)는 RAM(Random access Memory), ROM(Read-Only Memory), 하드디스크, 광디스크, 자기 매체, 플래시 메모리, 기타 영구적, 고정 또는 휘발성 메모리, 또는 명령을 저장할 수 있는 기타 메커니즘을 포함할 수 있다.
도 5a의 실시예는 기기(110)가 하나의 처리장치(예, 프로세서(210))를 포함하는 것으로 도시하였지만, 기기(110)는 둘 이상의 처리장치를 포함할 수 있다. 각 처리장치는 유사하게 구성되어 있거나, 다르게 구성되어 전기적으로 서로 연결되어 있거나 연결되어 있지 않을 수 있다. 예를 들어, 처리장치들은 별도의 회로이거나 단일 회로에 집적돼 있을 수 있다. 둘 이상의 처리장치가 사용되는 경우, 처리장치들은 독립적으로 작동하거나 협력적으로 작동하도록 구성될 수 있다. 처리장치들은 전기적, 자기적, 광학적, 음향적, 기계적, 또는 서로의 상호작용을 가능하게 하는 기타 수단에 의해 서로 결합될 수 있다.
일부 실시예에서, 프로세서(210)는 사용자(100)의 환경으로부터 캡처된 복수의 이미지를 처리하여 다음 이미지 캡처에 관한 다양한 매개변수를 판단할 수 있다. 예를 들어, 프로세서(210)는 이미지 해상도, 압축률, 크롭 파라미터(cropping parameter), 프레임 속도, 포커스 포인트, 노출 시간, 조리개 크기, 및 감광성 중에서 적어도 하나의 값을 캡처된 이미지데이터에서 도출된 정보에 기반하여 판단할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 값이 이미지센서(220)로부터 수신될 수 있다. 판단된 또는 수신된 값은 적어도 하나의 다음 이미지를 캡처하는데 이용될 수 있다. 또한, 프로세서(210)는 사용자의 환경 내에서 적어도 하나의 손-관련 트리거를 포함하는 이미지를 검출하고 동작을 수행 및/또는 정보의 출력을 피드백 출력부(230)를 통해 사용자에게 제공할 수 있다.
다른 실시예에서, 프로세서(210)는 이미지센서(22)의 조준 방향을 변경할 수 있다. 예를 들어, 기기(110)에 클립(420)이 부착된 경우, 이미지센서(220)의 조준 방향은 사용자(100) 시야와 일치하지 않을 수 있다. 프로세서(210)는 분석된 이미지로부터 특정 상황을 인식하고, 이미지센서(220)의 조준 방향을 조정하여 연관 이미지데이터를 캡처할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 다른 개체와의 상호작용을 검출하고, 이미지센서(210)가 아래로 기울어져 있기 때문에 이 개체가 완전히 보이지 않는다는 것을 감지할 수 있다. 이에 대응하여, 프로세서(210)는 이미지센서(220)의 조준 방향을 조정하여 이 사람의 이미지데이터를 캡처할 수 있다. 이 외에도 프로세서(210)가 이미지센서(210)의 조준 방향을 조정할 필요를 인지하는 다른 상황이 있을 수 있다.
일부 실시예에서, 프로세서(210)는 피드백 출력부(230)로 데이터를 통신할 수 있다. 여기서, 피드백 출력부(230)는 정보를 사용자(100)에게 제공하도록 구성된 모든 장치를 포함할 수 있다. 피드백 출력부(230)는 기기(110)의 일부로 제공되거나(즉, 도시된 바와 같이) 기기(110)와 통신하도록 기기(110) 외부에 제공될 수 있다. 피드백 출력부(230)는, 프로세서(210)가 분석된 이미지데이터에서 손-관련 트리거를 인지하는 경우와 같이, 프로세서(210)로부터 수신된 신호에 기반하여 시각적 또는 비시각적 피드백을 출력하도록 구성될 수 있다.
"피드백"이란 용어는 환경 내의 적어도 한 이미지 처리에 대응하여 제공되는 출력 또는 정보를 일컫는다. 일부 실시예에서, 앞서 설명한 바와 유사하게, 피드백은 시간 정보, 검출된 문자 또는 숫자, 통화 가치, 브랜드 제품, 음식 또는 음료의 유형, 사람의 신원, 랜드마크의 식별 또는 교차로의 도로명 또는 신호등 색깔 등을 포함하는 기타 환경상황 또는 조건, 기계 또는 장치, 및 이들 각각과 관련된 기타 정보의 청각적 또는 시각적 표시를 포함할 수 있다. 예를 들어, 일부 실시예에서, 피드백은 거래 성사에 필요한 잔액에 관한 추가 정보, 식별된 개인에 관한 정보, 검출된 랜드마크의 역사 정보 또는 입장 시간 및 입장료 등을 포함할 수 있다. 일부 실시예에서, 피드백은 가청음, 촉각 반응, 및/또는 사용자(100)에 의해 사전에 기록된 정보를 포함할 수 있다. 피드백 출력부(230)는 음향 및 촉각 피드백의 출력에 적합한 구성요소를 포함할 수 있다. 예를 들어, 피드백 출력부(230)는 오디오 헤드폰, 보청기 형태의 장치, 스피커, 골전도 헤드폰, 촉각 큐를 제공하는 인터페이스, 촉각진동 자극장치 등을 포함할 수 있다. 일부 실시예에서, 프로세서(210)는 무선 송수신기(530), 유선 연결, 또는 기타 통신 인터페이스를 통하여 외부의 피드백 출력부(230)와 신호를 주고받을 수 있다. 일부 실시예에서, 피드백 출력부(230)는 사용자(100)에게 정보를 시각적으로 보여주기에 적합한 디스플레이 장치도 포함할 수 있다.
도 5a에 도시된 바와 같이, 기기(110)는 메모리(550)를 포함한다. 메모리(55)는 기재된 방법을 수행하기 위해 프로세서(210)에 접속 가능한, 예를 들어, 이미지데이터에서 손 관련 트리거를 인지하기 위한 명령을 포함하는, 한 세트 이상의 명령어를 저장할 수 있다. 일부 실시예에서, 메모리(550)는 사용자(100)의 환경에서 캡처된 이미지데이터(예, 영상, 동영상)를 저장할 수 있다. 또한, 메모리(550)는, 지인, 좋아하는 상품, 개인 아이템, 일정 또는 약속 정보 등을 나타내는 이미지 표현과 같은, 사용자(100)에 대한 특정 정보를 저장할 수 있다. 일부 실시예에서, 프로세서(210)는 예를 들어 메모리(550)의 유효 저장 공간에 근거하여 어느 유형의 이미지데이터를 저장할지 결정할 수 있다. 다른 실시예에서, 프로세서(210)는 메모리(550)에 저장된 이미지데이터로부터 정보를 추출할 수 있다.
도 5a에 도시된 바와 같이, 기기(110)는 모바일 전원(520)을 포함한다. "모바일 전원"이라는 용어는 손쉽게 들고 다닐 수 있는(예, 모바일 전원(520)의 무게는 1파운드 미만일 수 있음) 전원을 제공할 수 있는 모든 장치를 포함한다. 사용자(100)는 전원의 이동성으로 인하여 다양한 상황에서 기기(110)를 사용할 수 있다. 일부 실시예에서, 모바일 전원(520)은 하나 이상의 배터리(예, 니켈-카드뮴 전지, 니켈-수소 전지, 리튬이온 전지) 또는 기타 유형의 전원을 포함할 수 있다. 다른 실시예에서, 모바일 전원(520)은 충전될 수 있고 기기(110)를 수용하는 케이싱(casing) 내에 들어있을 수 있다. 또 다른 실시예에서, 모바일 전원(520)은 주변의 에너지를 전기 에너지로 변환하는 하나 이상의 에너지 하베스팅(energy harvesting) 장치(예, 휴대용 태양에너지 장치, 인체진동 장치 등)를 포함할 수 있다.
모바일 전원(520)은 하나 이상의 무선 송수신기(예, 도 5a에 도시된 무선 송수신기(530))에 전원을 공급할 수 있다. "무선 송수신기"라는 용어는 무선 주파수, 적외선 주파수, 자기장, 또는 전기장을 이용하여 무선 인터페이스를 통해 송신을 주고받도록 구성된 모든 장치를 일컫는다. 무선 송수신기(530)는 공지의 표준(예, 와이파이, 블루투스, 블루투스 스마트, 802.15.4, 또는 지그비(Zigbee))을 이용하여 데이터를 송신 및/또는 수신할 수 있다. 일부 실시예에서, 무선 송수신기(530)는 기기(110)로부터 컴퓨팅장치(120) 및/또는 서버(250)로 데이터(예, 미가공 이미지데이터, 처리된 이미지데이터, 추출된 정보)를 송신할 수 있다. 무선 송수신기(530)는 또한 컴퓨팅장치(120) 및/또는 서버(250)로부터 데이터를 수신할 수 있다. 다른 실시예에서, 무선 송수신기(530)는 외부 피드백 출력부(230)로 데이터와 명령을 전송할 수 있다.
도 5b는 다른 예시적인 실시예에 따른 기기(110)의 구성요소들을 도시한 구성도이다. 일부 실시예에서, 기기(110)는 제1 이미지센서(220a), 제2 이미지센서(220b), 메모리(550), 제1 프로세서(210a), 제2 프로세서(210b), 피드백 출력부(230), 무선 송수신기(530), 모바일 전원(520), 및 전원 연결부(510)를 포함한다. 도 5b에 도시된 구성에서, 이미지센서는 이미지 해상도와 같은 다른 매개변수로 이미지를 제공하거나 다른 방향을 향하고 있을 수 있다. 또는, 이미지센서는 각각 다른 카메라(예, 광각 카메라, 협각 카메라, 적외선 카메라 등)와 연계될 수 있다. 일부 실시예에서, 기기(110)는 어느 이미지센서를 사용할지를 다양한 요인에 기반하여 선택할 수 있다. 예를 들어, 프로세서(210a)는, 메모리(550)의 여유 공간에 근거하여, 다음 이미지를 특정 해상도로 캡처하도록 판단할 수 있다.
기기(110)는 제1 처리 모드와 제2 처리 모드로 작동하여 제1 처리 모드가 제2 처리 모드보다 적은 전원을 소모하도록 할 수 있다. 예를 들어, 제1 처리 모드에서, 기기(110)는 이미지를 캡처하고 캡처 이미지를 처리하여 식별된 손-관련 트리거 식별에 근거한 실시간 판단을 할 수 있다. 제2 처리 모드에서, 기기(110)는 메모리(550)에 저장된 이미지로부터 정보를 추출하고 메모리(550)에서 이미지를 삭제할 수 있다. 일부 실시예에서, 모바일 전원(520)은 제1 처리 모드에서 15시간 이상의 처리 시간을 제공하고 제2 처리 모드에서 약 3시간의 처리 시간을 제공할 수 있다. 이에 따라, 서로 다른 처리 모드는 모바일 전원(520)이 다양한 시간 동안(예, 2시간 이상, 3시간 이상, 10시간 이상 등) 기기(110)에 전원을 공급하게 할 수 있다.
일부 실시예에서, 기기(110)는 모바일 전원(520)에서 전원이 공급되면 제1 프로세서(210a)를 제1 처리 모드로 사용하고, 전원 연결부(510)로 연결 가능한 외부 전원(580)에서 전원이 공급되면 제2 프로세서(210b)를 제2 처리 모드로 사용할 수 있다. 다른 실시예에서, 기기(110)는 미리 정해진 조건에 따라 어느 프로세서 또는 어느 처리 모드를 사용할지 결정할 수 있다. 기기(110)는 전원이 외부 전원(580)에서 공급되지 않는 경우에도 제2 처리 모드에서 동작할 수 있다. 예를 들어, 새로운 이미지를 저장할 메모리(550)의 여유 공간이 미리 정해진 임계치 미만인 경우, 기기(110)는 전원이 외부 전원(580)에서 공급되지 않는 경우에 제2 처리 모드에서 동작하도록 판단할 수 있다. 따라서, 메모리(550)가 미리 정해진 임계치를 초과하지 않는 여유 공간을 가지는 경우, 기기(110)가 외부 전원(580)에 의해 전력을 공급받지 않더라도 메모리(550)에 저장된 이미지로부터 정보를 추출하고 메모리(550)로부터 이미지를 삭제할 수 있다.
도 5b에는 하나의 무선 송수신기가 도시되어 있지만, 기기(110)는 둘 이상의 무선 송수신기(예, 두 개의 무선 송수신기)를 포함할 수 있다. 둘 이상의 무선 송수신기를 포함하는 구성에서, 무선 송수신기 각각은 서로 다른 표준을 이용하여 데이터를 송신 및/또는 수신할 수 있다. 일부 실시예에서, 제1 무선 송수신기는 셀룰러 표준(예, LTE 또는 GSM)을 이용하여 서버(250) 또는 컴퓨팅장치(120)와 통신하고, 제2 무선 송수신기는 단거리 표준(예, 와이파이 또는 블루투스)을 이용하여 서버(250) 또는 컴퓨팅장치(120)와 통신할 수 있다. 일부 실시예에서, 기기(110)는 웨어러블기기에 포함된 모바일 전원에 의해 웨어러블기기에 전원이 공급되는 경우에는 제1 무선 송수신기를 이용하고, 외부 전원에 의해 웨어러블기기에 전원이 공급되는 경우에는 제2 무선 송수신기를 이용할 수 있다.
도 5c는 컴퓨팅장치(120)를 포함하는 본 발명의 다른 예시적인 실시예에 따른 기기(110)의 구성요소를 도시한 구성도이다. 본 실시예에서, 기기(110)는 이미지센서(220), 메모리(550a), 제1 프로세서(210), 피드백 출력부(230), 무선 송수신기(530a), 모바일 전원(520), 및 전원 연결부(510)를 포함한다. 도 5c에 추가로 도시된 바와 같이, 컴퓨팅장치(120)는 프로세서(540), 피드백 출력부(545), 메모리(550b), 무선 송수신기(530b), 및 디스플레이(260)를 포함한다. 컴퓨팅장치(120)의 일례에는 전용 애플리케이션이 설치된 스마트폰 또는 태블릿이 있다. 다른 실시예에서, 컴퓨팅장치(120)는 차량 탑재 컴퓨팅 시스템, Pc, 노트북, 및 기재된 실시예에 따른 모든 시스템과 같은 모든 구성을 포함할 수 있다. 본 예시에서, 사용자(100)는 손-관련 트리거의 식별에 대응하여 출력된 피드백을 디스플레이(260) 상에서 볼 수 있다. 또한, 사용자(100)는 기타 데이터(예, 이미지, 비디오 클립, 객체 정보, 일정 정보, 추출 정보 등)를 디스플레이(260) 상에서 볼 수 있다. 뿐만 아니라, 사용자(100)는 컴퓨팅장치(120)를 통해 서버(250)와 통신할 수 있다.
일부 실시예에서, 프로세서(210)와 프로세서(540)는 캡처 이미지데이터로부터 정보를 추출하도록 구성될 수 있다. "정보를 추출"한다는 용어는 당업자에게 알려진 모든 수단에 의해 캡처 이미지데이터에서 객체, 개인, 장소, 사건 등과 연관된 정보가 식별되는 모든 프로세스를 포함한다. 일부 실시예에서, 기기(110)는 추출된 정보를 이용하여 피드백 또는 기타 실시간 지시자를 피드백 출력부(230) 또는 컴퓨팅장치(120)로 전송할 수 있다. 일부 실시예에서, 프로세서(210)는 사용자(100) 앞에 서있는 개체를 이미지데이터 내에서 식별하고, 상기 개체의 이름과 사용자(100)가 상기 개체를 마지막으로 만난 시간을 컴퓨팅장치(120)로 전송할 수 있다. 다른 실시예에서, 프로세서(210)는 손-관련 트리거를 포함하는 하나 이상의 시각적 트리거를 이미지데이터에서 식별하고, 이 트리거가 웨어러블기기 사용자가 아닌 다른 사람과 연관되는지 여부를 판단하여 이 트리거와 연관된 동작을 수행할지 여부를 선택적으로 결정할 수 있다. 이러한 동작의 하나는 기기(110)의 일부로 제공된(또는 기기(110)와 통신하는) 피드백 출력부(230)를 통하여 또는 컴퓨팅장치(120)의 일부로 제공되는 피드백 출력부(545)를 통하여 사용자(100)에게 피드백을 제공하는 것일 수 있다. 예를 들어, 피드백 출력부(545)는 디스플레이(260)와 통신하여 디스플레이(260)가 정보를 시각적으로 출력하도록 할 수 있다. 일부 실시예에서, 프로세서(210)는 손-관련 트리거를 이미지데이터에서 식별하고 컴퓨팅장치(120)에 이 트리거의 지시자를 전송할 수 있다. 이후, 프로세서(540)는 수신된 트리거 정보를 처리하고 출력을 손-관련 트리거에 근거하여 피드백 출력부(545) 또는 디스플레이(260)를 통해 제공할 수 있다. 다른 실시예에서, 프로세서(540)는 기기(110)로부터 수신한 이미지데이터에 근거하여 손-관련 트리거를 판단하고 상기와 유사한 적절한 피드백을 제공할 수 있다. 일부 실시예에서, 프로세서(540)는 식별된 손-관련 트리거에 기반하여 명령, 또는 환경 정보와 같은 기타 정보를 기기(110)에 제공할 수 있다.
하기의 상세한 설명은 첨부한 도면을 참조한다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하지만, 다양한 변경, 개조, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 변경할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 변경할 수 있다. 따라서, 하기의 상세한 설명은 기재된 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부된 청구항에 의해 정의된다.
도 1a는 기재된 실시예에 따른 안경(130)과 물리적으로 연결된(또는 일체화된) 기기(110)를 착용한 사용자(100)를 도시한 것이다. 안경(130)은 처방 안경, 돋보기, 비처방 안경, 보호 안경, 선글라스 등일 수 있다. 또한, 일부 실시예에서, 안경(130)은 안경테와 안경다리, 코받침 등의 일부를 포함할 수 있고, 렌즈를 포함하거나 포함하지 않을 수도 있다. 따라서, 일부 실시예에서, 안경(130)은 주로 기기(110) 및/또는 증강현실 디스플레이 장치(augmented reality display device) 또는 기타 광학 디스플레이 장치(optical display device)를 지원하는 역할을 할 수 있다. 일부 실시예에서, 기기(110)는 사용자(100) 시야의 실시간 이미지데이터를 캡처하는 이미지센서(도 1a에는 미도시)를 포함할 수 있다. "이미지데이터"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호로부터 검색되는 일체의 데이터를 의미한다. 이미지데이터는 비디오 클립 및/또는 사진을 포함할 수 있다. 일부 실시예에서, 기기(110)의 이미지센서(미도시)는 사용자(100) 시야에 실질적으로 유사한(예를 들어, 적어도 50% 중첩, 적어도 70% 중첩, 또는 적어도 90% 중첩 등) 시야를 가질 수 있다.
일부 실시예에서, 자석 또는 다른 기기는 안경(130) 내에, 예를 들어 안경의 핸들 내에, 내장될 수 있어서, 기기(110)를 안경(130)에 부착하기 위해 특정 장치나 설치가 필요하지 않다. 상기 동일한 기기는 사용자의 다른 안경 간에 이동될 수 있다.
일부 실시예에서, 기기(110)는 컴퓨팅장치(120)와 무선 또는 유선으로 통신할 수 있다. 일부 실시예에서, 컴퓨팅장치(120)는 예를 들어 스마트폰, 또는 태블릿, 또는 휴대용일 수 있는(예, 사용자(100)의 주머니에 휴대할 수 있는) 전용 처리장치일 수 있다. 도 1a에서는 외부장치인 것으로 도시되었지만, 일부 실시예에서, 컴퓨팅장치(120)는 웨어러블기기(110) 또는 안경(130)의 일부로서 일체형 또는 탑재형으로 제공될 수 있다. 일부 실시예에서, 컴퓨팅장치(120)는 안경(130)에 일체형 또는 탑재형으로 제공된 광학적 HMd(head mounted display) 또는 증강현실 디스플레이 장치에 포함될 수 있다. 다른 실시예에서, 컴퓨팅장치(120)는 손목 밴드, 다기능 시계, 단추, 클립온(clip-on) 등과 같은 사용자(100)의 기타 웨어러블기기 또는 휴대용 장치의 일부로서 제공될 수 있다. 또한, 다른 실시예에서, 컴퓨팅장치(120)는 차량 컴퓨팅 시스템 또는 내비게이션 시스템과 같은 다른 시스템의 일부로서 제공될 수 있다. 당업자는 다른 유형 및 배치의 컴퓨팅장치에 의해서도 여기에 기재된 실시예의 기능이 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 다른 구현 방식에서, 컴퓨팅장치(120)는 PC, 노트북, 인터넷서버 등을 포함할 수 있다.
도 1b는 기재된 실시예에 따른 목걸이(140)에 물리적으로 연결된 기기(110)를 착용한 사용자(100)를 도시한 것이다. 이러한 구성의 기기(110)는 항상 또는 가끔씩 안경을 쓰지 않는 사용자에게 적합할 수 있다. 본 실시예에서, 사용자(100)는 손쉽게 기기(110)를 쓰고 벗을 수 있다.
도 1c는 본 발명의 실시예에 따른 벨트(150)에 물리적으로 연결된 기기(110)를 착용한 사용자(100)를 도시한 것이다. 이러한 구성의 기기(110)는 벨트 버클로 설계될 수 있다. 또는, 기기(110)는 벨트(150), 또는 조끼, 주머니, 칼라, 모자, 또는 의류의 다른 부분과 같은 다양한 의류에 부착되는 클립을 포함할 수 있다.
도 1d는 기재된 실시예에 따른 손목 밴드(160)에 물리적으로 연결된 기기(110)를 착용하고 있는 사용자(100)를 도시한 것이다. 본 실시예에서, 기기(110)가 바라보는 방향은 사용자(100) 시야와 일치하지 않을 수도 있지만, 기기(110)는, 사용자(100)가 손목 밴드(160)의 방향을 바라보고 있음을 나타내는 사용자(100)의 추적된 안구 움직임에 기반한, 손-관련 트리거(hand-related trigger)를 식별하는 능력을 포함할 수 있다. 손목 밴드(160)는 손-관련 트리거를 식별하기 위해 사용자(100) 손의 움직임 또는 방향을 판단하는 가속도계, 자이로스코프(gyroscope), 또는 기타 센서도 포함할 수 있다.
도 2는 기재된 실시예에 따른 사용자(100)가 착용한 웨어러블기기(110), 및 선택 사항인 컴퓨팅장치(120), 및/또는 기기(110)와 통신할 수 있는 서버(250)를 포함하는 시스템(200)의 일례를 개략적으로 도시한 것이다. 일부 실시예에서, 기기(110)는, 적어도 부분적으로는 손-관련 트리거의 식별에 기반하여, 이미지데이터를 캡처 및 분석하고, 이미지데이터에 존재하는 손 관련 트리거를 식별하고, 동작을 수행 및/또는 피드백을 사용자(100)에게 제공할 수 있다. 일부 실시예에서, 선택 사항인 컴퓨팅장치(120) 및/또는 서버(250)는 사용자(100)와 사용자 환경의 상호작용을 향상시킬 수 있는 추가적인 기능을 제공할 수 있으며, 이에 대해서는 아래에서 상세히 설명하기로 한다.
기재된 실시예에 따라, 기기(110)는 사용자(100) 시야의 실시간 이미지데이터를 캡처하는 이미지센서 시스템(220)을 포함할 수 있다. 일부 실시예에서, 기기(110)는, 이미지데이터 캡처의 제어, 이미지데이터의 분석, 이미지데이터 내에서 식별된 손 관련 트리거에 근거한 동작의 수행 및/또는 피드백의 출력과 같은, 기기(110)의 기능을 제어하고 수행하는 처리장치(210)도 포함할 수 있다. 기재된 실시예에 따라, 손-관련 트리거는 사용자(100)의 손의 일부를 포함하는 사용자(100)에 의해 수행되는 제스처를 포함할 수 있다. 또한, 일부 실시예에 따라, 손-관련 트리거는 손목-관련 트리거(wrist-related trigger)를 포함할 수 있다. 또한, 일부 실시예에서, 기기(110)는 사용자(100)에게 정보의 출력을 생성하는 피드백 출력부(230)를 포함할 수 있다.
앞서 설명한 바와 같이, 기기(110)는 이미지데이터를 캡처하는 이미지센서(220)를 포함할 수 있다. "이미지센서"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호를 검출하고 전기신호로 변환할 수 있는 장치를 의미한다. 전기신호는 검출된 신호에 기반하여 이미지 또는 비디오 스트림(즉, 이미지데이터)을 형성하는데 사용될 수 있다. "이미지데이터"라는 용어는 근적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호로부터 검색되는 일체의 데이터를 의미한다. 이미지센서의 예에는 반도체 ccd(charge-coupled device), cMOS(complementary metal-oxide-semiconductor)의 능동 화소 센서(active pixel sensor), 또는 NMOS(N-type metal-oxide-semiconductor 또는 Live MOS)가 포함될 수 있다. 일부 실시예에서, 이미지센서(220)는 기기(110)에 포함된 카메라의 일부일 수 있다.
기재된 실시예에 따라, 기기(110)는 이미지센서(220)를 제어하여 이미지데이터를 캡처하고 이미지데이터를 분석하는 프로세서(210)도 포함할 수 있다. 아래에서 도 5a를 참조하여 더 상세히 설명하겠지만, 프로세서(210)는 원하는 기능을 제공하는 저장된 또는 접속 가능한 소프트웨어 명령에 따라 이미지데이터 또는 기타 데이터의 하나 이상의 입력에 대한 로직 연산을 수행하는 "처리장치"를 포함할 수 있다. 일부 실시예에서, 프로세서(210)는 또한 피드백 출력부(230)를 제어하여, 분석된 이미지데이터와 저장된 소프트웨어 명령에 따른 정보를 포함하는 피드백을 사용자(100)에게 제공할 수 있다. 여기서 사용되는 용어로서, "처리장치"는 실행 가능한 명령이 저장된 메모리에 접속하거나, 일부 실시예에서는 실행 가능한 명령을 자체적으로 포함(예, 처리장치에 포함된 메모리에 저장)하고 있을 수 있다.
일부 실시예에서, 사용자(100)에게 제공되는 정보 또는 피드백 정보는 시간 정보를 포함할 수 있다. 시간 정보는 그 날의 현재 시각에 관한 모든 정보를 포함할 수 있고, 아래에서 상세히 설명하겠지만, 감각인지적인 방법으로 제공될 수 있다. 일부 실시예에서, 시간 정보는 정해진 형식(예, 2:30 pm 또는 14:30)의 현재 시각을 포함할 수 있다. 시간 정보는 사용자 지역 시간대의 시각(예, 사용자(100)의 설정 위치에 근거)뿐만 아니라 이 시간대의 표시 및/또는 다른 위치의 시각을 포함할 수 있다. 일부 실시예에서, 시간 정보는 하나 이상의 설정 시각에 대한 시간 또는 분을 포함할 수 있다. 예를 들어, 일부 실시예에서, 시간 정보는 특정 시각(예, 6:00 pm) 또는 다른 설정 시각까지 3시간 15분이 남았다는 표시를 포함할 수 있다. 시간 정보는 또한 회의, 조깅, 또는 다른 활동 등과 같은 특정 활동의 개시부터 경과한 시간을 포함할 수 있다. 일부 실시예에서, 이러한 활동은 분석된 이미지데이터에 기반하여 결정될 수 있다. 다른 실시예에서, 시간 정보는 또한 현재 시각과 하나 이상의 일상적, 주기적, 또는 계획된 사건에 관한 추가 정보를 포함할 수 있다. 예를 들어, 시간 정보는, 캘린더 기능에서 판단된 또는 컴퓨팅장치(120) 또는 서버(250)로부터 검색된 기타 정보로부터 판단된, 계획된 다음 사건까지 몇 분이 남았는지에 대한 표시를 포함할 수 있으며, 이에 대해서는 아래에서 더욱 상세히 설명하기로 한다.
피드백 출력부(230)는 사용자(100)에게 정보의 출력을 제공하는 하나 이상의 피드백 시스템을 포함할 수 있다. 기재된 실시예에서, 연결된 청각적 및/또는 시각적 시스템의 하나 또는 모두를 통해 청각적 또는 시각적 피드백이 제공될 수 있다. 기재된 실시예에 따른, 정보의 피드백은 사용자(100)에게 제공되는 청각적 피드백(예, 블루투스 또는 기타 유·무선 스피커, 또는 골전도 헤드폰 사용)을 포함할 수 있다. 일부 실시예의 피드백 출력부(230)는 정보의 시각적 출력을 사용자(100)에게 추가적으로 또는 대안적으로 제공할 수 있다. 예를 들어, 이러한 시각적 출력은 안경(130)의 렌즈에 투영되는 증강현실 디스플레이 또는, 컴퓨팅장치(120)의 일부로 제공되는 디스플레이(260)와 같이, 기기(110)와 통신하는 별도의 헤드업 디스플레이를 통해 제공되는 증강현실 디스플레이의 일부일 수 있으며, 차량 장착 헤드업 디스플레이, 증강현실 장치, 가상현실 장치, 스마트폰, Pc, 태블릿 등을 포함할 수 있다.
"컴퓨팅장치"라는 용어는 처리부를 포함하고 컴퓨팅 능력을 갖춘 장치를 일컫는다. 컴퓨팅장치(120)의 예에는, 기기(110)와 직접 통신하거나 네트워크(240)를 통해 서버(250)와 통신하도록 각각 구성된, Pc, 노트북, 태블릿, 또는 차량에 탑재된 컴퓨팅 시스템과 같은 기타 컴퓨팅 시스템 등이 있다. 컴퓨팅장치(120)의 다른 예에는 디스플레이(260)를 구비한 스마트폰이 있다. 일부 실시예에서, 컴퓨팅장치(120)는 기기(110)를 위해 특별히 구성된 컴퓨팅 시스템일 수 있고, 기기(110)와 일체로 또는 묶음으로 제공될 수 있다. 기기(110)는 또한 공지의 무선 표준(예, 와이파이, 블루투스 등)뿐만 아니라 근접장 용량성 결합(near-field capacitive coupling), 기타 근거리 무선기술, 또는 유선 연결을 통한 네트워크(240)를 이용하여 컴퓨팅장치(120)에 연결될 수 있다. 컴퓨팅장치(120)가 스마트폰인 실시예에서, 컴퓨팅장치(120)에는 전용 애플리케이션이 설치돼 있을 수 있다. 예를 들어, 사용자(100)는 장치(100)에서 생성되거나 트리거된 데이터(예, 이미지, 비디오 클립, 추출 정보, 피드백 정보 등)를 디스플레이(260) 상에서 볼 수 있다. 뿐만 아니라, 사용자(100)는 서버(250)에 저장할 데이터의 일부를 선택할 수 있다.
네트워크(240)는 공유망, 공중망, 또는 전용망일 수 있고, 광역 또는 로컬 영역을 포함할 수 있으며, 모든 적합한 조합의 유선 및/또는 무선 통신 네트워크를 통하여 구현될 수 있다. 네트워크(240)는 인트라넷이나 인터넷을 더 포함할 수 있다. 일부 실시예에서, 네트워크(240)는 서로 아주 가까이 있는, 예를 들어, 사용자에게 있거나 사용자 근처에 있는, 기기(110)와 컴퓨팅장치(120) 사이의 통신을 가능하게 하는 근거리 또는 근접장 무선 통신 시스템을 포함할 수 있다. 기기(110)는 자율적으로, 예를 들어, 무선 모듈(예, 와이파이, 셀룰러)을 사용하여, 네트워크(240)로의 연결을 이룰 수 있다. 일부 실시예에서, 기기(110)는 외부 전원에 연결되는 경우에 무선 모듈을 사용함으로써 배터리 수명을 연장할 수 있다. 나아가, 기기(110)와 서버(250) 사이의 통신은 예를 들어 전화회선, 엑스트라넷(extranet), 인트라넷, 인터넷, 위성 통신, 오프라인(off-line) 통신, 무선 통신, 트랜스폰더(transponder) 통신, LAN(local area network), WAN(wide area network), VPN(virtual private network) 등과 같은 모든 적합한 통신 채널을 통해 이루어질 수 있다.
도 2에 도시된 바와 같이, 기기(110)는 네트워크(240)를 통하여 데이터를 서버(250)와 송수신할 수 있다. 기재된 실시예에서, 서버(250) 및/또는 컴퓨팅장치(120)로부터 수신되는 데이터는 분석된 이미지데이터에 따라, 상품에 관한 정보, 개인의 아이덴티티, 식별된 랜드마크, 및 서버(250)가 저장하거나 접속할 수 있는 기타 모든 정보를 포함하는, 다양한 유형의 정보를 포함할 수 있다. 일부 실시예에서, 데이터는 컴퓨팅장치(120)를 통하여 송수신될 수 있다. 기재된 실시예에 따라, 서버(250) 및/또는 컴퓨팅장치(120)는 다양한 데이터 소스(예, 사용자 특정 데이터베이스, 사용자의 SNS 계정 또는 기타 계정, 인터넷, 및 사용자가 관리 및 접속 가능한 기타 데이터베이스)로부터 정보를 검색하고 분석된 이미지데이터와 인식된 트리거에 관한 정보를 기기(110)로 제공할 수 있다. 일부 실시예에서, 다양한 데이터 소스에서 검색된 캘린더 관련 정보를 분석하고, 분석된 이미지데이터에 따른 특정 정보를 제공하기 위한 특정 시간 정보 또는 시간-기반 상황을 제공할 수 있다.
일부 실시예에 따라 안경(130)으로 구현된 웨어러블기기(110)의 일례(도 1a의 설명 참조)가 도 3a에 상세히 도시되어 있다. 일부 실시예에서, 기기(110)는 안경(130)에 수월하게 착탈하게 하는 구조물(도 3a에는 미도시)과 연계될 수 있다. 일부 실시예에서, 기기(100)가 안경(130)에 부착될 때, 이미지센서(220)는 방향 보정을 할 필요 없이 설정 조준 방향을 획득한다. 이미지센서(220)의 설정 조준 방향은 사용자(100) 시야와 실질적으로 일치할 수 있다. 예를 들어, 이미지센서(220)와 연계된 카메라가 약간 아래 방향으로 향하는 미리 설정된 각도(예, 수평에서 5 내지 15도)로 기기(110) 내에 설치될 수 있다. 이에 따라, 이미지센서(220)의 설정 조준 방향은 사용자(100) 시야와 실질적으로 일치할 수 있다.
도 3b는 도 3a을 참조하여 설명한 실시예의 구성요소의 분해도이다. 기기(110)를 안경(130)에 부착하는 방법은 다음과 같을 수 있다. 우선, 측면에 나사(320)를 삽입하여 지지대(310)를 안경(130)에 탑재할 수 있다. 이후, 기기(110)가 사용자(100) 시야와 정렬되도록 기기(110)를 지지대(310) 상에 꽂아 고정할 수 있다. "지지대"라는 용어는 카메라 등의 장치를 안경 또는 기타 객체(예, 헬멧)에 착탈할 수 있게 해주는 모든 장치 또는 구조물을 포함한다. 지지대(310)는 플라스틱(예, 폴리카보네이트), 금속(예, 알루미늄), 또는 플라스틱과 알루미늄의 조합(예, 탄소섬유 그래파이트)으로 구성될 수 있다. 지지대(310)는 나사, 볼트, 스냅, 또는 본 발명의 기술 분야에서 사용되는 모든 고정 수단을 사용하여 모든 종류의 안경(예, 안경, 선글라스, 3d 안경, 보안경 등)에 탑재될 수 있다.
일부 실시예에서, 지지대(310)는 기기(110)의 착탈을 위한 신속 해제장치를 포함할 수 있다. 예를 들어, 지지대(310)와 기기(110)는 자석 요소를 포함할 수 있다. 다른 예에서, 지지대(310)는 수 래치(male latch) 부재를 포함하고, 기기(110)는 암 리셉터클(female receptacle)을 포함할 수 있다. 다른 실시예에서, 지지대(310)는 안경과 일체형일 수 있고, 또는 개별적으로 판매되어 검안사에 의해 설치될 수 있다. 예를 들어, 지지대(310)는 안경(130) 프레임의 전방 부근으로 안경다리의 힌지(hinge) 전에 설치되도록 구성될 수 있다. 또는, 지지대(310)는 안경(130)의 브리지 상에 탑재되도록 구성될 수 있다. 도 1a를 참조하여 전술한 바와 같이, 일부 실시예에서, 안경(130)은 예를 들어 손잡이 내와 같이 안경 내에 내장된 자석을 가질 수 있어서, 기기(110)는 추가의 구조 또는 설치 없이 안경(130)으로부터 즉시 부착되거나 분리될 수 있고, 기기(110)가 분리될 때 안경(130)에 어떠한 구조도 남기지 않는다.
일부 실시예에서, 기기(110)는 렌즈가 있거나 없는 프레임(130)의 일부로 제공될 수 있다. 또한, 일부 실시예에서, 기기(110)는 증강 현실 디스플레이를 안경(130)의 렌즈 상으로(렌즈가 포함된 경우) 제공하도록 구성될 수 있고, 또는, 예를 들어, 정보를 투사하는 디스플레이를 포함할 수 있다. 기기(110)는 추가 디스플레이를 포함할 수 있고, 또는 안경(130)에 부착되어 있거나 부착되지 않을 수 있는 별도의 디스플레이 시스템과 통신할 수 있다.
일부 실시예에서, 기기(110)는 예를 들어 상기 도 1b 내지 도 1d를 참조하여 설명한 웨어러블 안경과 다른 형태로 구현될 수 있다. 도 4a는 기기(110)의 다른 실시예의 일례를 제1 시점에서 개략적으로 도시한 것이다. 도 4a를 도시한 시점은 기기(110)의 정면에서 바라본 시점이다. 기기(110)는 이미지센서(220), 클립(미도시), 기능버튼(미도시), 및 기기(110)를 예를 들어 도 1b에 도시된 목걸이(140)에 결합하기 위한 고리(410)를 포함한다. 기기(110)를 목걸이(140)에 걸면, 이미지센서(220)의 조준 방향이 사용자(100) 시야와 완벽하게 일치하지 않을 수 있지만, 여전히 조준 방향은 사용자(100) 시야와 연관이 있을 수 있다.
도 4b는 기기(110)의 제2 실시예의 일례를 제2 시점에서 개략적으로 도시한 것이다. 도 4b를 도시한 시점은 기기(110)를 측면 방향에서 바라본 시점이다. 도 4b에 도시된 바와 같이, 기기(110)는 고리(410) 외에도 클립(420)을 더 포함할 수 있다. 사용자(100)는 클립(420)을 이용하여, 도 1c에 도시된 바와 같이, 기기(110)를 셔츠나 벨트(150)에 부착할 수 있다. 클립(420)은 기기(110)를 의복에 손쉽게 착탈하는 방법을 제공할 수 있다. 다른 실시예에서, 기기(110)는 차량 마운트 또는 유니버설 거치 장치의 수 래치에 연결되는 암 리셉터클을 포함할 수 있다.
일부 실시예에서, 기기(110)는 사용자(100)가 기기(110)에 입력을 제공할 수 있게 하는 기능버튼(430)을 포함한다. 기능버튼(430)은 다양한 유형의 촉각 입력(예, 탭, 클릭, 더블 클릭, 길게 누름, 좌로 슬라이드, 우로 슬라이드)을 수신할 수 있다. 일부 실시예에서, 각 유형의 입력은 다른 동작과 연계될 수 있다. 예를 들어, 탭은 사진 촬영 기능과 연계되고, 좌로 슬라이드는 비디오 녹화 기능과 연계될 수 있다.
앞서 도 3a, 3b, 4a, 4b를 참조하여 설명한 예시적인 실시예들은 이에 한정되지 않는다. 일부 실시예에서, 기기(110)는 기재된 방법을 수행하기 적합한 모든 구성으로 구현될 수 있다. 예를 들어, 다시 도 2를 참조하면, 기재된 실시예는 이미지센서(220)와 처리장치(210)를 포함하는 모든 구성에 따른 기기(110)를 구현하여 이미지 분석을 수행하고 피드백 출력부(230)와 통신할 수 있다.
도 5a는 본 발명의 예시적인 실시예에 따른 기기(110)의 구성요소를 도시한 구성도이다. 도 5a에 도시된 바와 같이, 또한 앞서 설명한 바와 같이, 기기(110)는 이미지센서(220), 메모리(550), 프로세서(210), 피드백 출력부(230), 무선 송수신기(530), 및 모바일 전원(520)을 포함한다. 다른 실시예에서, 기기(110)는 또한 버튼, 마이크와 같은 기타 센서, 및/또는 가속도계, 자이로스코프, 자력계, 온도 센서, 색 센서, 빛 센서와 같은 관성 측정장치 등을 포함할 수 있다. 기기(110)는 외부 전원 또는 외부 장치(미도시)로 연결하기 위한 적합한 인터페이스를 구비한 전원 연결(510)과 데이터 포트(570)를 더 포함할 수 있다.
도 5a에 도시된 프로세서(210)는 모든 적합한 처리장치를 포함할 수 있다. "처리장치"라는 용어는 입력에 대한 논리 연산을 수행하는 전기 회로를 구비한 모든 물리적 장치를 포함한다. 예를 들어, 처리장치는 하나 이상의 집적회로, 마이크로 칩, 마이크로컨트롤러, 마이크로프로세서, 중앙처리장치(CPU)의 전체 또는 일부, 그래픽처리장치(GPU), 디지털신호처리장치(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 또는 명령을 실행하거나 논리 연산을 수행하기 적합한 기타 회로를 포함할 수 있다. 처리장치에 의해 실행되는 명령은, 예를 들어, 처리장치에 일체화 또는 내장된 메모리에 미리 로드되거나 별도의 메모리(예, 550)에 저장될 수 있다. 메모리(550)는 RAM(Random access Memory), ROM(Read-Only Memory), 하드디스크, 광디스크, 자기 매체, 플래시 메모리, 기타 영구적, 고정 또는 휘발성 메모리, 또는 명령을 저장할 수 있는 기타 메커니즘을 포함할 수 있다.
도 5a의 실시예는 기기(110)가 하나의 처리장치(예, 프로세서(210))를 포함하는 것으로 도시하였지만, 기기(110)는 둘 이상의 처리장치를 포함할 수 있다. 각 처리장치는 유사하게 구성되어 있거나, 다르게 구성되어 전기적으로 서로 연결되어 있거나 연결되어 있지 않을 수 있다. 예를 들어, 처리장치들은 별도의 회로이거나 단일 회로에 집적돼 있을 수 있다. 둘 이상의 처리장치가 사용되는 경우, 처리장치들은 독립적으로 작동하거나 협력적으로 작동하도록 구성될 수 있다. 처리장치들은 전기적, 자기적, 광학적, 음향적, 기계적, 또는 서로의 상호작용을 가능하게 하는 기타 수단에 의해 서로 결합될 수 있다.
일부 실시예에서, 프로세서(210)는 사용자(100)의 환경으로부터 캡처된 복수의 이미지를 처리하여 다음 이미지 캡처에 관한 다양한 매개변수를 판단할 수 있다. 예를 들어, 프로세서(210)는 이미지 해상도, 압축률, 크롭 파라미터(cropping parameter), 프레임 속도, 포커스 포인트, 노출 시간, 조리개 크기, 및 감광성 중에서 적어도 하나의 값을 캡처된 이미지데이터에서 도출된 정보에 기반하여 판단할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 값이 이미지센서(220)로부터 수신될 수 있다. 판단된 또는 수신된 값은 적어도 하나의 다음 이미지를 캡처하는데 이용될 수 있다. 또한, 프로세서(210)는 사용자의 환경 내에서 적어도 하나의 손-관련 트리거를 포함하는 이미지를 검출하고 동작을 수행 및/또는 정보의 출력을 피드백 출력부(230)를 통해 사용자에게 제공할 수 있다.
다른 실시예에서, 프로세서(210)는 이미지센서(22)의 조준 방향을 변경할 수 있다. 예를 들어, 기기(110)에 클립(420)이 부착된 경우, 이미지센서(220)의 조준 방향은 사용자(100) 시야와 일치하지 않을 수 있다. 프로세서(210)는 분석된 이미지로부터 특정 상황을 인식하고, 이미지센서(220)의 조준 방향을 조정하여 연관 이미지데이터를 캡처할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 다른 개체와의 상호작용을 검출하고, 이미지센서(210)가 아래로 기울어져 있기 때문에 이 개체가 완전히 보이지 않는다는 것을 감지할 수 있다. 이에 대응하여, 프로세서(210)는 이미지센서(220)의 조준 방향을 조정하여 이 사람의 이미지데이터를 캡처할 수 있다. 이 외에도 프로세서(210)가 이미지센서(210)의 조준 방향을 조정할 필요를 인지하는 다른 상황이 있을 수 있다.
일부 실시예에서, 프로세서(210)는 피드백 출력부(230)로 데이터를 통신할 수 있다. 여기서, 피드백 출력부(230)는 정보를 사용자(100)에게 제공하도록 구성된 모든 장치를 포함할 수 있다. 피드백 출력부(230)는 기기(110)의 일부로 제공되거나(즉, 도시된 바와 같이) 기기(110)와 통신하도록 기기(110) 외부에 제공될 수 있다. 피드백 출력부(230)는, 프로세서(210)가 분석된 이미지데이터에서 손-관련 트리거를 인지하는 경우와 같이, 프로세서(210)로부터 수신된 신호에 기반하여 시각적 또는 비시각적 피드백을 출력하도록 구성될 수 있다.
"피드백"이란 용어는 환경 내의 적어도 한 이미지 처리에 대응하여 제공되는 출력 또는 정보를 일컫는다. 일부 실시예에서, 앞서 설명한 바와 유사하게, 피드백은 시간 정보, 검출된 문자 또는 숫자, 통화 가치, 브랜드 제품, 음식 또는 음료의 유형, 사람의 신원, 랜드마크의 식별 또는 교차로의 도로명 또는 신호등 색깔 등을 포함하는 기타 환경상황 또는 조건, 기계 또는 장치, 및 이들 각각과 관련된 기타 정보의 청각적 또는 시각적 표시를 포함할 수 있다. 예를 들어, 일부 실시예에서, 피드백은 거래 성사에 필요한 잔액에 관한 추가 정보, 식별된 개인에 관한 정보, 검출된 랜드마크의 역사 정보 또는 입장 시간 및 입장료 등을 포함할 수 있다. 일부 실시예에서, 피드백은 가청음, 촉각 반응, 및/또는 사용자(100)에 의해 사전에 기록된 정보를 포함할 수 있다. 피드백 출력부(230)는 음향 및 촉각 피드백의 출력에 적합한 구성요소를 포함할 수 있다. 예를 들어, 피드백 출력부(230)는 오디오 헤드폰, 보청기 형태의 장치, 스피커, 골전도 헤드폰, 촉각 큐를 제공하는 인터페이스, 촉각진동 자극장치 등을 포함할 수 있다. 일부 실시예에서, 프로세서(210)는 무선 송수신기(530), 유선 연결, 또는 기타 통신 인터페이스를 통하여 외부의 피드백 출력부(230)와 신호를 주고받을 수 있다. 일부 실시예에서, 피드백 출력부(230)는 사용자(100)에게 정보를 시각적으로 보여주기에 적합한 디스플레이 장치도 포함할 수 있다.
도 5a에 도시된 바와 같이, 기기(110)는 메모리(550)를 포함한다. 메모리(55)는 기재된 방법을 수행하기 위해 프로세서(210)에 접속 가능한, 예를 들어, 이미지데이터에서 손 관련 트리거를 인지하기 위한 명령을 포함하는, 한 세트 이상의 명령어를 저장할 수 있다. 일부 실시예에서, 메모리(550)는 사용자(100)의 환경에서 캡처된 이미지데이터(예, 영상, 동영상)를 저장할 수 있다. 또한, 메모리(550)는, 지인, 좋아하는 상품, 개인 아이템, 일정 또는 약속 정보 등을 나타내는 이미지 표현과 같은, 사용자(100)에 대한 특정 정보를 저장할 수 있다. 일부 실시예에서, 프로세서(210)는 예를 들어 메모리(550)의 유효 저장 공간에 근거하여 어느 유형의 이미지데이터를 저장할지 결정할 수 있다. 다른 실시예에서, 프로세서(210)는 메모리(550)에 저장된 이미지데이터로부터 정보를 추출할 수 있다.
도 5a에 도시된 바와 같이, 기기(110)는 모바일 전원(520)을 포함한다. "모바일 전원"이라는 용어는 손쉽게 들고 다닐 수 있는(예, 모바일 전원(520)의 무게는 1파운드 미만일 수 있음) 전원을 제공할 수 있는 모든 장치를 포함한다. 사용자(100)는 전원의 이동성으로 인하여 다양한 상황에서 기기(110)를 사용할 수 있다. 일부 실시예에서, 모바일 전원(520)은 하나 이상의 배터리(예, 니켈-카드뮴 전지, 니켈-수소 전지, 리튬이온 전지) 또는 기타 유형의 전원을 포함할 수 있다. 다른 실시예에서, 모바일 전원(520)은 충전될 수 있고 기기(110)를 수용하는 케이싱(casing) 내에 들어있을 수 있다. 또 다른 실시예에서, 모바일 전원(520)은 주변의 에너지를 전기 에너지로 변환하는 하나 이상의 에너지 하베스팅(energy harvesting) 장치(예, 휴대용 태양에너지 장치, 인체진동 장치 등)를 포함할 수 있다.
모바일 전원(520)은 하나 이상의 무선 송수신기(예, 도 5a에 도시된 무선 송수신기(530))에 전원을 공급할 수 있다. "무선 송수신기"라는 용어는 무선 주파수, 적외선 주파수, 자기장, 또는 전기장을 이용하여 무선 인터페이스를 통해 송신을 주고받도록 구성된 모든 장치를 일컫는다. 무선 송수신기(530)는 공지의 표준(예, 와이파이, 블루투스, 블루투스 스마트, 802.15.4, 또는 지그비(Zigbee))을 이용하여 데이터를 송신 및/또는 수신할 수 있다. 일부 실시예에서, 무선 송수신기(530)는 기기(110)로부터 컴퓨팅장치(120) 및/또는 서버(250)로 데이터(예, 미가공 이미지데이터, 처리된 이미지데이터, 추출된 정보)를 송신할 수 있다. 무선 송수신기(530)는 또한 컴퓨팅장치(120) 및/또는 서버(250)로부터 데이터를 수신할 수 있다. 다른 실시예에서, 무선 송수신기(530)는 외부 피드백 출력부(230)로 데이터와 명령을 전송할 수 있다.
도 5b는 다른 예시적인 실시예에 따른 기기(110)의 구성요소들을 도시한 구성도이다. 일부 실시예에서, 기기(110)는 제1 이미지센서(220a), 제2 이미지센서(220b), 메모리(550), 제1 프로세서(210a), 제2 프로세서(210b), 피드백 출력부(230), 무선 송수신기(530), 모바일 전원(520), 및 전원 연결부(510)를 포함한다. 도 5b에 도시된 구성에서, 이미지센서는 이미지 해상도와 같은 다른 매개변수로 이미지를 제공하거나 다른 방향을 향하고 있을 수 있다. 또는, 이미지센서는 각각 다른 카메라(예, 광각 카메라, 협각 카메라, 적외선 카메라 등)와 연계될 수 있다. 일부 실시예에서, 기기(110)는 어느 이미지센서를 사용할지를 다양한 요인에 기반하여 선택할 수 있다. 예를 들어, 프로세서(210a)는, 메모리(550)의 여유 공간에 근거하여, 다음 이미지를 특정 해상도로 캡처하도록 판단할 수 있다.
기기(110)는 제1 처리 모드와 제2 처리 모드로 작동하여 제1 처리 모드가 제2 처리 모드보다 적은 전원을 소모하도록 할 수 있다. 예를 들어, 제1 처리 모드에서, 기기(110)는 이미지를 캡처하고 캡처 이미지를 처리하여 식별된 손-관련 트리거 식별에 근거한 실시간 판단을 할 수 있다. 제2 처리 모드에서, 기기(110)는 메모리(550)에 저장된 이미지로부터 정보를 추출하고 메모리(550)에서 이미지를 삭제할 수 있다. 일부 실시예에서, 모바일 전원(520)은 제1 처리 모드에서 15시간 이상의 처리 시간을 제공하고 제2 처리 모드에서 약 3시간의 처리 시간을 제공할 수 있다. 이에 따라, 서로 다른 처리 모드는 모바일 전원(520)이 다양한 시간 동안(예, 2시간 이상, 3시간 이상, 10시간 이상 등) 기기(110)에 전원을 공급하게 할 수 있다.
일부 실시예에서, 기기(110)는 모바일 전원(520)에서 전원이 공급되면 제1 프로세서(210a)를 제1 처리 모드로 사용하고, 전원 연결부(510)로 연결 가능한 외부 전원(580)에서 전원이 공급되면 제2 프로세서(210b)를 제2 처리 모드로 사용할 수 있다. 다른 실시예에서, 기기(110)는 미리 정해진 조건에 따라 어느 프로세서 또는 어느 처리 모드를 사용할지 결정할 수 있다. 기기(110)는 전원이 외부 전원(580)에서 공급되지 않는 경우에도 제2 처리 모드에서 동작할 수 있다. 예를 들어, 새로운 이미지를 저장할 메모리(550)의 여유 공간이 미리 정해진 임계치 미만인 경우, 기기(110)는 전원이 외부 전원(580)에서 공급되지 않는 경우에 제2 처리 모드에서 동작하도록 판단할 수 있다. 따라서, 메모리(550)가 미리 정해진 임계치를 초과하지 않는 여유 공간을 가지는 경우, 기기(110)가 외부 전원(580)에 의해 전력을 공급받지 않더라도 메모리(550)에 저장된 이미지로부터 정보를 추출하고 메모리(550)로부터 이미지를 삭제할 수 있다.
도 5b에는 하나의 무선 송수신기가 도시되어 있지만, 기기(110)는 둘 이상의 무선 송수신기(예, 두 개의 무선 송수신기)를 포함할 수 있다. 둘 이상의 무선 송수신기를 포함하는 구성에서, 무선 송수신기 각각은 서로 다른 표준을 이용하여 데이터를 송신 및/또는 수신할 수 있다. 일부 실시예에서, 제1 무선 송수신기는 셀룰러 표준(예, LTE 또는 GSM)을 이용하여 서버(250) 또는 컴퓨팅장치(120)와 통신하고, 제2 무선 송수신기는 단거리 표준(예, 와이파이 또는 블루투스)을 이용하여 서버(250) 또는 컴퓨팅장치(120)와 통신할 수 있다. 일부 실시예에서, 기기(110)는 웨어러블기기에 포함된 모바일 전원에 의해 웨어러블기기에 전원이 공급되는 경우에는 제1 무선 송수신기를 이용하고, 외부 전원에 의해 웨어러블기기에 전원이 공급되는 경우에는 제2 무선 송수신기를 이용할 수 있다.
도 5c는 컴퓨팅장치(120)를 포함하는 본 발명의 다른 예시적인 실시예에 따른 기기(110)의 구성요소를 도시한 구성도이다. 본 실시예에서, 기기(110)는 이미지센서(220), 메모리(550a), 제1 프로세서(210), 피드백 출력부(230), 무선 송수신기(530a), 모바일 전원(520), 및 전원 연결부(510)를 포함한다. 도 5c에 추가로 도시된 바와 같이, 컴퓨팅장치(120)는 프로세서(540), 피드백 출력부(545), 메모리(550b), 무선 송수신기(530b), 및 디스플레이(260)를 포함한다. 컴퓨팅장치(120)의 일례에는 전용 애플리케이션이 설치된 스마트폰 또는 태블릿이 있다. 다른 실시예에서, 컴퓨팅장치(120)는 차량 탑재 컴퓨팅 시스템, Pc, 노트북, 및 기재된 실시예에 따른 모든 시스템과 같은 모든 구성을 포함할 수 있다. 본 예시에서, 사용자(100)는 손-관련 트리거의 식별에 대응하여 출력된 피드백을 디스플레이(260) 상에서 볼 수 있다. 또한, 사용자(100)는 기타 데이터(예, 이미지, 비디오 클립, 객체 정보, 일정 정보, 추출 정보 등)를 디스플레이(260) 상에서 볼 수 있다. 뿐만 아니라, 사용자(100)는 컴퓨팅장치(120)를 통해 서버(250)와 통신할 수 있다.
일부 실시예에서, 프로세서(210)와 프로세서(540)는 캡처 이미지데이터로부터 정보를 추출하도록 구성될 수 있다. "정보를 추출"한다는 용어는 당업자에게 알려진 모든 수단에 의해 캡처 이미지데이터에서 객체, 개인, 장소, 사건 등과 연관된 정보가 식별되는 모든 프로세스를 포함한다. 일부 실시예에서, 기기(110)는 추출된 정보를 이용하여 피드백 또는 기타 실시간 지시자를 피드백 출력부(230) 또는 컴퓨팅장치(120)로 전송할 수 있다. 일부 실시예에서, 프로세서(210)는 사용자(100) 앞에 서있는 개체를 이미지데이터 내에서 식별하고, 상기 개체의 이름과 사용자(100)가 상기 개체를 마지막으로 만난 시간을 컴퓨팅장치(120)로 전송할 수 있다. 다른 실시예에서, 프로세서(210)는 손-관련 트리거를 포함하는 하나 이상의 시각적 트리거를 이미지데이터에서 식별하고, 이 트리거가 웨어러블기기 사용자가 아닌 다른 사람과 연관되는지 여부를 판단하여 이 트리거와 연관된 동작을 수행할지 여부를 선택적으로 결정할 수 있다. 이러한 동작의 하나는 기기(110)의 일부로 제공된(또는 기기(110)와 통신하는) 피드백 출력부(230)를 통하여 또는 컴퓨팅장치(120)의 일부로 제공되는 피드백 출력부(545)를 통하여 사용자(100)에게 피드백을 제공하는 것일 수 있다. 예를 들어, 피드백 출력부(545)는 디스플레이(260)와 통신하여 디스플레이(260)가 정보를 시각적으로 출력하도록 할 수 있다. 일부 실시예에서, 프로세서(210)는 손-관련 트리거를 이미지데이터에서 식별하고 컴퓨팅장치(120)에 이 트리거의 지시자를 전송할 수 있다. 이후, 프로세서(540)는 수신된 트리거 정보를 처리하고 출력을 손-관련 트리거에 근거하여 피드백 출력부(545) 또는 디스플레이(260)를 통해 제공할 수 있다. 다른 실시예에서, 프로세서(540)는 기기(110)로부터 수신한 이미지데이터에 근거하여 손-관련 트리거를 판단하고 상기와 유사한 적절한 피드백을 제공할 수 있다. 일부 실시예에서, 프로세서(540)는 식별된 손-관련 트리거에 기반하여 명령, 또는 환경 정보와 같은 기타 정보를 기기(110)에 제공할 수 있다.
일부 실시예에서, 프로세서(210)는 사용자(100) 앞에 서있는 개인과 같은 기타 환경 정보를 분석된 이미지에서 식별하고, 이 개인의 이름과 사용자(100)가 이 개인을 마지막으로 만난 시간과 같은 분석된 정보와 관련된 정보를 컴퓨팅장치(120)로 전송할 수 있다. 다른 실시예에서, 프로세서(540)는 캡처 이미지데이터로부터 통계 정보를 추출하고 서버(250)로 전송할 수 있다. 예를 들어, 사용자가 구매하는 항목 유형 또는 사용자가 특정 판매자를 방문하는 빈도 등에 관한 특정 정보가 프로세서(540)에 의해 판단될 수 있다. 이 정보에 기반하여, 서버(250)는 컴퓨팅장치(120)로 사용자의 선호도와 연관된 쿠폰과 할인을 전송할 수 있다.
기기(110)가 컴퓨팅장치(120)로 연결 또는 무선 연결된 경우, 기기(110)는 메모리(550a)에 저장된 이미지데이터의 적어도 일부를 메모리(550b)에 저장하기 위하여 전송할 수 있다. 일부 실시예에서, 상기 이미지데이터의 일부의 전송이 성공적으로 수행됐음을 컴퓨팅장치(120)가 확인한 후에, 프로세서(210)는 상기 이미지데이터의 일부를 삭제할 수 있다. "삭제"라는 용어는 이미지가 "삭제됨"으로 마킹 되고 다른 이미지가 대신에 저장될 수 있음을 의미하며, 반드시 이미지데이터가 메모리에서 물리적으로 제거됐음을 의미하는 것은 아니다.
여기에 기재된 실시예가 다양하게 변형 및/또는 보정될 수 있음은 본 발명의 당업자에게 당연할 것이다. 기기(110)의 작동을 위해 모든 구성요소가 필수적인 것은 아니다. 어느 구성요소라도 아무 적절한 장치에 위치할 수 있고, 구성요소들은 다양한 구성으로 재배치되어도 여기에 기재된 실시예의 기능을 제공할 수 있다. 예를 들면, 일부 실시예에서, 기기(110)는 카메라, 프로세서, 및 데이터를 다른 장치로 전송하는 무선 송수신기를 포함할 수 있다. 따라서, 상기의 구성들은 예시이며, 상기의 구성들과 무관하게, 기기(110)는 이미지를 캡처, 저장, 및/또는 처리할 수 있다.
나아가, 상기 및 하기의 설명은 이미지 또는 이미지데이터의 저장 및/또는 처리에 관한 것이다. 여기에 기재된 실시예에서, 저장 및/또는 처리된 이미지 또는 이미지데이터는 이미지센서(220)에 의해 캡처된 하나 이상의 이미지의 표현을 포함할 수 있다. 여기서, 이미지(또는 이미지데이터)의 "표현"이란 용어는 전체 이미지 또는 이미지의 일부를 포함할 수 있다. 이미지(또는 이미지데이터)의 표현은 이미지(또는 이미지데이터)와 동일하거나 낮은 해상도를 가질 수 있고/있거나, 이미지(또는 이미지데이터)의 표현에는 변조된 양상이 있을 수 있다(예, 압축, 해상도 저하, 하나 이상의 색 변조 등).
예를 들면, 기기(110)는 이미지를 캡처하고 이미지를, 예를 들면 JPG 파일로 압축한 표현을 저장할 수 있다. 다른 예를 들면, 기기(110)는 이미지를 컬러로 캡처하지만 컬러 이미지의 흑백 표현을 저장할 수 있다. 또 다른 예를 들면, 기기(110)는 이미지를 캡처하고 이 이미지의 다른 표현(예, 이미지의 일부)을 저장할 수 있다. 일례로, 기기(110)는 이미지 내에 등장하는 사람의 얼굴을 포함하지만 이 사람의 주변환경을 실질적으로 포함하지 않는 이미지의 일부를 저장할 수 있다. 이와 유사하게, 기기(110)는 예를 들어 이미지 내에 등장하는 제품을 포함하지만 이 제품의 주변환경을 실질적으로 포함하지 않는 이미지의 일부를 저장할 수 있다. 또 다른 예를 들면, 기기(110)는 이미지의 표현을 낮은 해상도(예, 캡처 이미지의 해상도보다 낮은 값의 해상도)로 저장할 수 있다. 기기(110)는 이미지의 표현을 저장함으로써 메모리(550)의 저장 공간을 줄일 수 있다. 또한, 기기(110)는 이미지의 표현을 처리함으로써 처리 효율의 향상 및/또는 배터리 수명의 연장을 도모할 수 있다.
상기에 더하여, 일부 실시예에서, 기기(110) 또는 컴퓨팅장치(120)는 프로세서(210 또는 540)를 통하여 캡처 이미지데이터를 더 처리하여 캡처 이미지데이터 내의 객체 및/또는 제스처 및/또는 기타 정보를 인식하는 추가 기능을 제공할 수 있다. 일부 실시예에서, 식별된 객체, 제스처, 또는 기타 정보를 바탕으로 동작이 취해질 수 있다. 일부 실시예에서, 프로세서(210 또는 540)는 이미지데이터 내에서 손 관련 트리거를 포함하는 하나 이상의 시각적 트리거를 식별하고, 이 트리거가 사용자가 아닌 다른 사람과 연관되는지 여부를 판단하여 이 트리거와 연관된 동작을 수행할지 여부를 결정할 수 있다.
본 발명의 일부 실시예는 사용자의 의복에 부착 가능한 장치를 포함할 수 있다. 이러한 장치는 연결부에 의해 연결 가능한 두 부분을 포함할 수 있다. 캡처부는 사용자의 의복의 외측에 착용되도록 설계될 수 있고, 사용자의 환경의 이미지를 캡처하기 위한 이미지센서를 포함할 수 있다. 캡처부는 전원과 처리장치를 수용하도록 구성될 수 있는 전원부와 연결되거나 연결 가능할 수 있다. 캡처부는 이미지를 캡처하기 위한 카메라 또는 기타 장치를 포함하는 작은 장치일 수 있다. 캡처부는 눈에 잘 띄지 않고 방해가 되지 않게 설계될 수 있고, 사용자의 의복에 가려진 전원부와 연결하도록 구성될 수 있다. 전원부는 송수신기 안테나, 적어도 하나의 배터리, 처리장치 등과 같이, 시스템에서 상대적으로 부피가 큰 양상을 포함할 수 있다. 일부 실시예에서는 캡처부와 전원부 사이의 연결이 연결부에 포함된 데이터 케이블에 의해 제공될 수 있는 반면, 다른 실시예에서는 캡처부와 전원부 사이의 연결이 무선으로 이루어질 수 있다. 일부 실시예에서는, 예를 들어 관심 이미지를 더 잘 캡처하기 위하여, 캡처부의 이미지센서의 방향을 변경할 수 있다.
도 6은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한 것이다. 메모리(550)에는 방향 식별 모듈(601), 방향 조정 모듈(602), 및 모니터링모듈(603)이 포함된다. 모듈(601, 602, 603)은 웨어러블기기에 포함된 적어도 하나의 처리장치(예, 프로세서(210))에 의해 실행되는 소프트웨어 명령을 포함할 수 있다. 방향 식별 모듈(601), 방향 조정 모듈(602), 및 모니터링모듈(603)은 서로 협력하여 무선기기(110)에 포함된 캡처부의 방향 조정을 제공할 수 있다.
도 7은 방향 조정부(705)를 포함하는 캡처부(710)의 일례를 도시한 것이다. 방향 조정부(705)는 이미지센서(220)의 조정을 가능하도록 구성될 수 있다. 도 7에 도시된 바와 같이, 방향 조정부(705)는 안구 형태의 조정 구조를 포함할 수 있다. 대안적인 실시예에서, 방향 조정부(705)는 짐벌(gimbals), 조정식 막대(adjustable stalks), 회전식 거치대(pivotable mounts), 및 이미지센서(220)의 방향 조정에 적합한 기타 모든 구성을 포함할 수 있다.
이미지센서(220)는 사용자(100)의 머리와 함께 움직이도록 구성되어 이미지센서(220)의 조준 방향이 사용자(100) 시야와 실질적으로 일치하도록 할 수 있다. 예를 들어, 앞서 설명한 바와 같이, 이미지센서(220)와 연관된 카메라는, 캡처부(710)의 의도 위치에 따라, 약간 상향 또는 하향의 미리 정해진 각도의 위치에 캡처부(710) 내에 설치될 수 있다. 이에 따라, 이미지센서(220)의 설정 조준 방향은 사용자(100) 시야와 일치할 수 있다. 일부 실시예에서, 프로세서(210)는 이미지센서(220)로부터 제공된 이미지데이터를 활용하여 이미지센서(220)의 방향을 변경할 수 있다. 예를 들면, 프로세서(210)는 사용자가 책을 읽고 있는 것으로 인지하고 이미지센서(220)의 조준 방향이 글자와 어긋나 있음을 판단할 수 있다. 즉, 각 줄의 시작 부분 단어들이 완전히 보이지 않기 때문에, 프로세서(210)는 이미지센서(220)가 잘못 기울어져 있다고 판단할 수 있다. 이에 대해, 프로세서(210)는 이미지센서(220)의 조준 방향을 조정할 수 있다.
방향 식별 모듈(601)은 캡처부(710)의 이미지센서(220)의 방향을 식별하도록 구성될 수 있다. 이미지센서(220)의 방향은, 예를 들어, 캡처부(710)의 이미지센서(220)에 의해 캡처된 이미지의 분석, 캡처부(710) 내부의 기울기 또는 자세 감지 장치, 및 캡처부(710)의 나머지 부분에 대한 방향 조정부(705)의 상대적 방향 측정에 의해 식별될 수 있다.
방향조정모듈(6020)은 캡처부(710)의 이미지센서(220)의 방향을 조정하도록 구성될 수 있다. 앞서 설명한 바와 같이, 이미지센서(220)는 움직이도록 구성된 방향 조정부(705) 상에 탑재될 수 있다. 방향 조정부(705)는 방향 조정 모듈(602)로부터의 명령에 대응하여 회전 및/또는 횡방향으로 이동하도록 구성될 수 있다. 일부 실시예에서, 방향 조정부(705)는 모터, 전자석, 영구자석, 및/또는 이들의 적절한 조합을 통해 이미지센서(220)의 방향을 조정할 수 있다.
일부 실시예에서, 모니터링모듈(603)은 연속 모니터링을 위해 제공될 수 있다. 이러한 연속 모니터링은 이미지센서에 의해 캡처된 하나 이상의 이미지에 포함된 객체의 적어도 일부의 움직임을 추적하는 것을 포함할 수 있다. 예를 들어, 일 실시예에서, 기기(110)는 객체가 실질적으로 이미지센서(220)의 시야 내에 있는 한 객체를 추적할 수 있다. 다른 실시예에서, 모니터링모듈(603)은 이미지센서(220)가 연속적으로 관심의 대상을 향하게 방향 조정부(705)에게 명령을 하도록 방향 조정 모듈(602)을 작동할 수 있다. 예를 들어, 일 실시예에서, 모니터링모듈(603)은 특정한 지정 대상, 예를 들어, 특정한 사람의 얼굴이 움직이더라도 이미지센서(220)의 시야 내에 있도록 이미지센서(220)가 방향을 조정하게 할 수 있다. 다른 실시예에서, 모니터링모듈(603)은 이미지센서에 의해 캡처된 하나 이상의 이미지에 포함된 관심 구역을 연속적으로 모니터할 수 있다. 예를 들면, 이미지센서(220)가 특정 방향으로 향하고 있고 일련의 이미지로부터 각 이미지의 일부분을 연속적으로 모니터하여 트리거 또는 기타 이벤트를 검출하는 동안, 사용자는 특정 작업, 예를 들어, 노트북 자판 입력 중일 수 있다. 예를 들면, 사용자의 주의가 다른 작업에 집중돼 있는 동안, 이미지센서(220)는 한 실험장비를 향하고 있고 모니터링모듈(603)은 이 실험장비의 상태등을 모니터하여 상태 변화를 감지하도록 구성될 수 있다.
본 발명의 일부 실시예에서, 캡처부(710)는 복수의 이미지센서(220)를 포함할 수 있다. 복수의 이미지센서(220) 각각은 다른 이미지데이터를 캡처하도록 구성될 수 있다. 예를 들면, 복수의 이미지센서(220)가 제공된 경우, 이미지센서들(220)은 다른 해상도를 가진 이미지를 캡처할 수 있고, 더 넓거나 좁은 시야를 캡처할 수 있으며, 다른 정도로 확대될 수 있다. 이미지센서들(220)은 서로 다른 렌즈를 구비하여 이러한 서로 다른 구성이 가능할 수 있다. 일부 실시예에서, 복수의 이미지센서(220)는 서로 다른 방향의 이미지센서(220)를 포함할 수 있다. 따라서, 복수의 이미지센서(220) 각각은 서로 다른 방향을 향하여 서로 다른 이미지를 캡처할 수 있다. 일부 실시예에서, 이미지센서들(220)의 시야는 서로 겹칠 수 있다. 복수의 이미지센서(220) 각각은, 예를 들어, 이미지 조정부(705)와 페어링되어 방향 조정이 가능하도록 구성될 수 있다. 일부 실시예에서, 모니터링모듈(603), 또는 메모리(550)와 연관된 다른 모듈은 복수의 이미지센서(220)의 방향을 개별적으로 조정하고 필요에 따라 복수의 이미지센서(220) 각각을 켜거나 끄도록 구성될 수 있다. 일부 실시예에서, 이미지센서(220)에 의해 캡처된 객체 또는 사람의 모니터링은 복수의 이미지센서(220)의 시야 전반에 걸쳐 객체의 움직임을 추적하는 것을 포함할 수 있다.
본 기재에 따른 실시예는 웨어러블기기의 전원부와 캡처부를 연결하도록 구성된 연결부를 포함할 수 있다. 본 기재에 따른 캡처부는 사용자 주변의 이미지를 캡처하도록 구성된 적어도 하나의 이미지센서를 포함할 수 있다. 본 기재에 따른 전원부는 전원 및/또는 적어도 하나의 처리장치를 수용하도록 구성될 수 있다. 본 기재에 따른 연결부는 캡처부와 전원부를 연결하도록 구성될 수 있고, 웨어러블기기를 의복에 고정하여 캡처부가 의복의 외면에 위치하고 전원부가 의복의 내면에 위치하도록 구성될 수 있다. 본 기재에 따른 캡처부, 연결부, 및 전원부의 예시적인 실시예는 도 8 내지 도 14를 참조하여 상세히 설명한다.
도 8은 본 기재에 따른 의복에 부착 가능한 웨어러블기기(110)의 실시예를 개략적으로 도시한 것이다. 도 8에 도시된 바와 같이, 캡처부(710)와 전원부(720)는 연결부(730)에 의해 연결되어 캡처부(710)가 의복(750)의 일측에 위치하고 전원부(720)가 의복(750)의 타측에 위치하도록 할 수 있다. 일부 실시예에서, 캡처부(710)는 의복(750)의 외면 밖에 위치하고 전원부(720)는 의복(750)의 내면 안에 위치할 수 있다. 전원부(720)는 사용자의 피부와 맞닿게 위치하도록 구성될 수 있다.
캡처부(710)는 이미지센서(220)와 방향 조정부(705)를 포함할 수 있다(도 7에 도시된 바와 같이). 전원부(720)는 모바일 전원(520) 및 프로세서(210)를 포함할 수 있다. 전원부(720)는 앞서 설명한 웨어러블기기(110)의 일부일 수 있는, 무선 송수신기(530), 피드백 출력부(230), 메모리(550), 및 데이터 포트(570), 그러나 이에 한정되지 않는, 등을 포함하는, 구성요소의 일체의 조합을 더 포함할 수 있다.
연결부(730)는 도 8에 도시된 바와 같이 클립(715) 또는, 캡처부(710)와 전원부(720)를 의복(750)에 클립 또는 부착하도록 설계된, 기타 기계적 연결을 포함할 수 있다. 도시된 바와 같이, 클립(715)은 캡처부(710)와 전원부(720) 각각에 가장자리에서 연결될 수 있고, 의복(750)의 가장자리를 에워싸서 캡처부(710)와 전원부(720)를 제자리에 부착할 수 있다. 연결부(730)는 전원 케이블(760)과 데이터 케이블(770)을 더 포함할 수 있다. 전원 케이블(760)은 전원을 모바일 전원(520)으로부터 캡처부(710)의 이미지센서(220)로 전달할 수 있다. 전원 케이블(760)은 또한 캡처부(710)의 기타 구성요소, 예를 들어 방향 조정부(705)로 전원을 제공하도록 구성될 수 있다. 데이터 케이블(770)은 캡처 이미지데이터를 캡처부(710)의 이미지센서(220)로부터 전원부(720)의 프로세서(800)로 전달할 수 있다. 데이터 케이블(770)은 또한 캡처부(710)와 프로세서(800) 사이에 추가 데이터, 예를 들면 방향 조정부(705)를 위한 제어 명령을 전달할 수 있다.
도 9는 본 발명의 실시예에 따른 웨어러블기기(110)를 착용한 사용자(100)를 개략적으로 도시한 것이다. 도 9에 도시된 바와 같이, 캡처부(710)는 사용자(100)의 의복의 외면에 위치한다. 캡처부(710)는 의복(750)의 가장자리를 에워싸는 연결부(730)를 통하여 전원부(720, 미도시)에 연결된다.
일부 실시예에서, 연결부(730)는 연성인쇄회로기판을 포함할 수 있다. 도 10은 연결부(730)가 연성인쇄회로기판(765)을 포함하는 예시적인 실시예를 도시한 것이다. 연성인쇄회로기판(765)은 캡처부(710)와 전원부(720) 사이의 데이터 연결과 전원 연결을 포함할 수 있다. 따라서, 일부 실시예에서, 연성인쇄회로기판(765)은 전원 케이블(760)과 데이터 케이블(770)을 대신하도록 기능할 수 있다. 다른 실시예에서, 연성인쇄회로기판(765)은 전원 케이블(760)과 데이터 케이블(770)의 적어도 하나에 추가로 포함될 수 있다. 여기에 설명한 다양한 실시예에서, 연성인쇄회로기판(765)은 전원 케이블(760)과 데이터 케이블(770)에 대한 대체로 또는 추가로 포함될 수 있다.
도 11은 본 기재에 따른 의복에 부착 가능한 웨어러블기기의 다른 실시예를 개략적으로 도시한 것이다. 도 11에 도시된 바와 같이, 연결부(730)는 캡처부(710)와 전원부(720)의 중앙에 위치할 수 있다. 연결부(730)를 중앙에 위치함으로써, 예를 들어 기존 의복(750)의 단춧구멍 또는 웨어러블기기(110)를 수용하도록 설계된 의복(750)의 특수 구멍과 같은 의복(750)의 구멍을 통해 웨어러블기기(110)를 의복(750)에 부착할 수 있다.
도 12는 의복에 부착 가능한 웨어러블기기(110)의 또 다른 실시예를 개략적으로 도시한 것이다. 도 12에 도시된 바와 같이, 연결부(730)는 제1 자석(731)과 제2 자석(732)을 포함할 수 있다. 제1 자석(731)과 제2 자석(732)은 의복을 제1 자석(731)과 제2 자석(732) 사이에 두고 캡처부(710)를 전원부(720)에 고정할 수 있다. 제1 자석(731)과 제2 자석(732)을 포함하는 실시예에서, 전원 케이블(760)과 데이터 케이블(770)도 포함될 수 있다. 이러한 실시예에서, 전원 케이블(760)과 데이터 케이블(770)은 길이의 제한이 없을 수 있고 제1 자석(731)과 제2 자석(732) 사이에 유연한 전원 및 데이터 연결을 제공할 수 있다. 제1 자석(731)과 제2 자석(732)을 포함하는 실시예는 전원 케이블(760) 및/또는 데이터 케이블(770)에 대한 추가로 또는 대체로서 연성인쇄회로기판(765) 연결을 더 포함할 수 있다. 일부 실시예에서, 제1 자석(731) 또는 제2 자석(732)은 금속 물질을 포함하는 객체로 대체될 수 있다.
도 13은 의복에 부착 가능한 웨어러블기기(110)의 또 다른 실시예를 개략적으로 도시한 것이다. 도 13은 캡처부(710)와 전원부(720) 사이에 전원과 데이터가 무선으로 전달될 수 있는 실시예를 도시한다. 도 13에 도시된 바와 같이, 제1 자석(731)과 제2 자석(732)은 캡처부(710)와 전원부(720)를 의복(750)에 부착하기 위한 연결부(730)로서 제공될 수 있다. 전원 및/또는 데이터는 모든 적합한 무선 기술, 예를 들면, 자기 및/또는 정전용량 결합, 근접장 통신기술, 무선주파수 전송, 및 데이터 및/또는 전원을 단거리에 전달하기 적합한 기타 무선 기술을 통해 캡처부(710)와 전원부(720) 사이에 전달될 수 있다.
도 14는 사용자의 의복(750)에 부착 가능한 웨어러블기기(110)의 또 다른 실시예를 도시한 것이다. 도 14에 도시된 바와 같이, 연결부(730)는 접촉 잠금 설계가 된 특징을 포함할 수 있다. 예를 들어, 캡처부(710)는 전원부(720)에 위치한 디스크 형상의 돌출부(734)보다 약간 큰 지름의 빈 공간이 중앙에 있는 링(734)을 포함할 수 있다. 의복(750)의 천을 사이에 두고 서로 압착할 경우, 디스크 형상의 돌출부(734)는 링(733) 내부로 꽉 끼어서 캡처부(710)를 전원부(720)에 고정할 수 있다. 도 14는 캡처부(710)와 전원부(720) 사이에 케이블이나 기타 물리적 연결을 포함하지 않는 실시예를 도시하고 있다. 본 실시예에서, 캡처부(710)와 전원부(720)는 전원과 데이터를 무선으로 전달할 수 있다. 다른 실시예에서, 캡처부(710)와 전원부(720)는 케이블(760), 데이터 케이블(770), 연성인쇄회로기판(765) 중 적어도 하나를 통하여 전력과 데이터를 전달할 수 있다.
도 15는 여기에 설명한 실시예에 따른 전원부(720)의 다른 양상을 도시한 것이다. 전원부(720)는 사용자의 피부에 맞닿게 위치하도록 구성될 수 있다. 이렇게 위치하는 것이 가능하게 하기 위하여, 전원부(720)는 생체적합재료(740)로 코팅된 적어도 하나의 표면을 더 포함할 수 있다. 생체적합재료(740)는 장시간 피부와 닿아도 사용자의 피부에 악성 반응을 일으키지 않을 물질을 포함할 수 있다. 이러한 물질은 예를 들어 실리콘, PTEE, 캡톤(kapton), 폴리이미드, 티타늄, 니티놀(nitinol), 백금 등을 포함할 수 있다. 또한, 도 15에 도시된 바와 같이, 전원부(720)는 내부 부피가 모바일 전원(520)으로 상당히 채워지는 크기일 수 있다. 즉, 일부 실시예에서, 전원부(720)의 내부 부피는 모바일 전원(520) 이외의 다른 추가적인 구성요소를 수용할 수 없는 부피일 수 있다. 일부 실시예에서, 모바일 전원(520)은 사용자의 피부와 가까운 점을 활용할 수 있다. 예를 들어, 모바일 전원(520)은 펠티에 효과(Peltier effect)를 활용하여 전력 발생 및/또는 전원부 충전을 할 수 있다.
다른 실시예에서, 의복에 부착 가능한 웨어러블기기는 전원부(720)에 수용된 전원(520)과 연관된 보호회로를 더 포함할 수 있다. 도 16은 보호회로(775)를 포함하는 예시적인 실시예를 도시한 것이다. 도 16에 도시된 바와 같이, 보호회로(775)는 전원부(720)에 대하여 원격에 위치할 수 있다. 다른 실시예에서, 보호회로(775)는 또한 캡처부(710) 내에, 연성인쇄회로기판(765) 상에, 또는 전원부(720) 내에 위치할 수 있다.
보호회로(775)는 모바일 전원(520)에서 발생한 잠재적 위해 전류 및/또는 전압으로부터 이미지센서(220) 및/또는 캡처부(710)의 기타 구성요소를 보호하도록 구성될 수 있다. 보호회로(775)는 커패시터, 저항기, 다이오드, 인덕터 등과 같은 수동소자를 포함하여 캡처부(710)의 구성요소에 대한 보호를 제공할 수 있다. 일부 실시예에서, 보호회로(775)는 트랜지스터와 같은 능동소자를 포함하여 캡처부(710)의 구성요소에 대한 보호를 제공할 수 있다. 예를 들면, 일부 실시예에서, 보호회로(775)는 퓨즈 역할을 하는 하나 이상의 저항기를 포함할 수 있다. 각 퓨즈는 퓨즈에 흐르는 전류가 설정 한계(예, 500mA, 900mA, 1A, 1.1A, 2A, 2.1A, 3A 등)를 넘는 경우에 녹는(따라서 이미지 캡처부(710)의 회로와 전원부(720)의 회로 사이의 연결을 차단하는) 선 또는 띠를 포함할 수 있다. 앞서 설명한 실시예의 어느 하나 또는 모두는 보호회로(775)를 포함할 수 있다.
일부 실시예에서, 웨어러블기기는 공지의 무선 표준(예, 셀룰러, 와이파이, 블루투스 등), 또는 근접장 정전용량 결합, 기타 단거리 무선 기술, 또는 유선 연결을 통한 하나 이상의 네트워크를 이용하여 컴퓨팅장치(예, 스마트폰, 태블릿, 시계, 컴퓨터 등)에 데이터를 전송할 수 있다. 마찬가지로, 웨어러블기기는 공지의 무선 표준(예, 셀룰러, 와이파이, 블루투스 등), 또는 근접장 정전용량 결합, 기타 단거리 무선 기술, 또는 유선 연결을 통한 하나 이상의 네트워크를 이용하여 컴퓨팅장치로부터 데이터를 수신할 수 있다. 웨어러블기기로 전송된 데이터 및/또는 웨어러블기기로부터 수신된 데이터는 이미지, 이미지의 일부, 분석된 이미지에 등장하거나 분석된 오디오와 연관된 정보에 관한 식별자, 또는 이미지 및/또는 오디오데이터를 나타내는 기타 데이터를 포함할 수 있다. 예를 들면, 이미지를 분석하고 이미지 내에서 일어나는 활동에 관한 식별자를 컴퓨팅장치(예, 페어링된 장치)로 전송할 수 있다. 여기에 설명된 실시예에서, 웨어러블기기는 이미지 및/또는 오디오를 로컬에서(즉, 웨어러블기기 상에서) 및/또는 원격으로(즉, 컴퓨팅장치를 통해) 처리할 수 있다. 나아가, 여기에 설명된 실시예에서, 웨어러블기기는 이미지 및/또는 오디오의 분석에 관한 데이터를 컴퓨팅장치로 전송하여 추가적인 분석, 디스플레이, 및/또는 다른 장치(예, 페어링된 장치)로의 전송을 진행할 수 있다. 또한, 페어링된 장치는 하나 이상의 애플리케이션(앱)을 실행하여 웨어러블기기로부터 수신한 데이터(예, 식별자, 텍스트, 이미지, 오디오 등)를 처리, 디스플레이, 및/또는 분석할 수 있다.
기재된 일부 실시예는 적어도 하나의 키워드를 판단하기 위한 시스템, 장치, 방법, 및 소프트웨어 제품을 포함할 수 있다. 예를 들어, 웨어러블기기(110)에 의해 수집된 데이터에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 상기 적어도 하나의 키워드에 기반하여 적어도 하나의 검색어가 정해질 수 있다. 상기 적어도 하나의 검색어는 검색 엔진으로 전송될 수 있다.
일부 실시예에서, 이미지센서(220)에 의해 캡처된 적어도 하나 이상의 이미지에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 일부 경우에, 이 적어도 하나의 키워드는 메모리에 저장된 키워드 풀에서 선택될 수 있다. 일부 경우에, 이미지센서(220)에 의해 캡처된 적어도 하나의 이미지에 대해 OCR(optical character recognition)을 수행하여 OCR의 결과에 따라 적어도 하나의 키워드가 정해질 수 있다. 일부 경우에, 이미지센서(220)에 의해 캡처된 적어도 하나의 이미지를 분석하여 사람, 사물, 장소, 풍경 등이 인지될 수 있다. 또한, 인지된 사람, 사물, 장소, 풍경 등에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 예를 들면, 적어도 하나의 키워드는 사람의 이름, 사물의 명칭, 장소의 명칭, 날짜, 스포츠 팀명, 영화 제목, 책 제목 등을 포함할 수 있다.
일부 실시예에서, 사용자의 행동에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 사용자의 행동은 이미지센서(220)에 의해 캡처된 하나 이상의 이미지의 분석에 기반하여 판단될 수 있다. 일부 실시예에서, 사용자 및/또는 다른 사람의 활동에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 이미지센서(220)에 의해 캡처된 하나 이상의 이미지를 분석하여 사용자 및/또는 이미지센서(220)에 의해 캡처된 하나 이상의 이미지에 등장하는 다른 사람의 활동을 식별할 수 있다. 일부 실시예에서, 웨어러블기기(110)에 의해 캡처된 적어도 하나 이상의 오디오 세그먼트에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 일부 실시예에서, 사용자와 연관된 적어도 GPS 정보에 기반하여 적어도 하나의 키워드가 정해질 수 있다. 일부 실시예에서, 적어도 현재 시간 및/또는 날짜에 기반하여 적어도 하나의 키워드가 정해질 수 있다.
일부 실시예에서, 적어도 하나의 키워드에 기반하여 적어도 하나의 검색어가 정해질 수 있다. 일부 경우에, 이러한 적어도 하나의 검색어는 이러한 적어도 하나의 키워드를 포함할 수 있다. 일부 경우에, 이러한 적어도 하나의 검색어는 이러한 적어도 하나의 키워드와 사용자가 제공한 추가 키워드를 포함할 수 있다. 일부 경우에, 이러한 적어도 하나의 검색어는 이러한 적어도 하나의 키워드와 이미지센서(220)에 의해 캡처된 이미지와 같은 적어도 하나의 이미지를 포함할 수 있다. 일부 경우에, 이러한 적어도 하나의 검색어는 이러한 적어도 하나의 키워드 및 웨어러블기기(110)에 의해 캡처된 오디오 세그먼트와 같은 하나 이상의 오디오 세그먼트를 포함할 수 있다.
일부 실시예에서, 적어도 하나의 검색어는 검색 엔진으로 전송될 수 있다. 일부 실시예에서, 적어도 하나의 검색어에 대응하여 검색 엔진에 의해 제공된 검색 결과가 사용자에게 제공될 수 있다. 일부 실시예에서, 적어도 하나의 검색어는 데이터베이스 접속에 사용될 수 있다.
예를 들면, 일 실시예에서, 키워드는 퀴노아와 같은 음식 유형의 이름 또는 식품의 브랜드명을 포함할 수 있고, 검색은 권장 섭취량, 영양 정보 등에 관한 정보를 출력할 수 있다. 다른 예를 들면, 일 실시예에서, 키워드는 식당 이름을 포함할 수 있고, 검색은 메뉴, 영업시간, 리뷰 등과 같은 식당에 관한 정보를 출력할 수 있다. 식당의 이름은 간판 이미지에 대한 OCR, GPS 정보 등을 활용하여 획득할 수 있다. 다른 예를 들면, 일 실시예에서, 키워드는 사람의 이름을 포함할 수 있고, 검색은 이 사람의 사회관계망 프로필로부터의 정보를 제공할 수 있다. 사람의 이름은 이 사람의 셔츠에 부착된 이름표의 이미지에 대한 OCR, 안면인식 알고리즘 등을 활용하여 획득할 수 있다. 다른 예를 들면, 일 실시예에서, 키워드는 책 제목을 포함할 수 있고, 검색은 서평, 판매 통계, 저자에 관한 정보 등과 같은 책에 관한 정보를 출력할 수 있다. 다른 예를 들면, 일 실시예에서, 키워드는 영화 제목을 포함할 수 있고, 검색은 영화평, 흥행 통계, 출연 배우에 관한 정보, 상영 시간 등과 같은 영화에 관한 정보를 출력할 수 있다. 다른 예를 들면, 일 실시예에서, 키워드는 스포츠 팀 명을 포함할 수 있고, 검색은 통계, 최근 성적, 향후 일정, 소속 선수에 관한 정보 등과 같은 스포츠 팀에 관한 정보를 출력할 수 있다. 예를 들어, 스포츠 팀명은 오디오 인식 알고리즘을 활용하여 획득할 수 있다.
페이스 클라우드의 생성 및 디스플레이
본 발명에 사용된 바와 같이, "페이스 클라우드"는 사람의 얼굴의 복수의 시각적 표현의 모든 배열을 의미하고, 여기서 배열은, 적어도 부분적으로, 하나 이상의 매개변수에 의해 무작위로 결정되지 않는다. 예를 들어, 하기 설명되는 바와 같이, 연결속성은 페이스 클라우드에 복수의 시각적 표현을 배열하는데 사용될 수 있다.
일부 실시예에서, 본 기재의 웨어러블기기는 페이스 클라우드를 포함하는 맞춤형 사용자 인터페이스를 생성할 수 있다. 페이스 클라우드는 웨어러블기기 내에 포함되거나 웨어러블기기와 연관된 디스플레이 장치 상에 디스플레이될 수 있다. 페이스 클라우드는 사용자의 상호작용을 요약한 시각적 인터페이스를 제공하여 사용자 경험을 향상시킬 수 있다. 따라서, 본 기재의 실시예는 특히 웨어러블기기를 위한 개선된 디스플레이 인터페이스를 제공한다.
본 기재의 몇몇 실시예는 일반적인 사용자 리스트를 디스플레이하기 위해 사용하는 기존의 사용자 인터페이스 방법을 사용하는 대신 시각적이고 쉽게 인식 가능한 방식으로 사용자에게 제한된 정보 세트를 디스플레이하는 특정 방법을 사용한다. 사용자의 상호작용을 요약하기 위한 기존 인터페이스는 심하게 문자 기반이며 조작이 어렵다. 따라서, 본 기재의 실시예는 시각적으로 구성되고 사용자에 의한 쉬운 조작을 허용하는 개선된 디스플레이 인터페이스를 제공한다.
도 17은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리의 실시예의 일례를 도시한다. 메모리(1700)에는 사람식별모듈(1701), 친화도 분석모듈(1702), 이미지표현모듈(1703), 및 가시영상모듈(1704)이 포함된다. 모듈(1701, 1702, 1703, 및 1704)은 웨어러블기기 내에 포함된 적어도 하나의 처리장치, 예, 프로세서(210)에 의해 실행하기 위한 소프트웨어 명령을 포함한다. 일부 실시예에서, 메모리(1700)는, 캡처부(710)의 웨어러블이미지센서(220)와 무선으로 페어링되도록 구성된 이동통신기기(예, 스마트폰)에 내재된 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다
사람식별모듈(1701), 친화도 분석모듈(1702), 이미지표현모듈(1703), 및 가시영상모듈(1704)은 무선기기(110) 사용자에게 페이스 클라우드를 생성하고, 제시할 뿐만 아니라 상호작용을 허용하도록 협력할 수 있다. 메모리(1700)는 도 6의 메모리(550)와 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모니터링모듈(603)은 도 17의 사람식별모듈(1701), 친화도 분석모듈(1702), 이미지표현모듈(1703), 및 가시영상모듈(1704)과 함께 또는 동시에 동작할 수 있다.
사람식별모듈(1701)은 캡처부(710)의 이미지센서(220)에 의해 캡처된 웨어러블기기(110) 사용자의 환경으로부터 복수의 이미지를 수신하고 복수의 사람들을 식별하기 위하여 복수의 이미지를 분석하도록 구성될 수 있다. 본 기재에 논의된 바와 같이, 수신된 이미지 또는 얼굴이미지는 크기, 형상, 및 내용이 다양할 수 있다. 예를 들어, 일부 실시예에서, 넓은풍경(예, 복수의 개체, 또는 개체 및 그의 주변환경)을 포함하는 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부로 잘릴 수 있다. 다른 실시예에서, 수신된 이미지는 이러한 넓은풍경(예, 복수의 개체, 또는 개체 및 그의 주변환경)을 포함할 수 있다. 또 다른 실시예에서, 수신된 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부를 포함할 수 있다.
사람식별모듈(1701)은 임의의 알려진 기술을 이용하여 수신된 이미지에서 사람을 식별할 수 있다. 예를 들어, 사람식별모듈(1701)은 현재 수신된 얼굴이미지에 대해 이미지처리를 수행하고, 수신된 얼굴이미지가 메모리에 미리 저장된 인식된 얼굴 이미지의 개체의 얼굴에 대응하는지 판단할 수 있다. 따라서, 사람식별모듈(1701)은 픽셀단위 매칭을 수행할 수 있다. 다른 실시예에서, 사람식별모듈(1701)은 보다 정교한 기술들을 수행할 수 있다. 예를 들어, 사람식별모듈(1701)은 복수의 이미지에 포함된 사람의 신원을 도출하기 위해 하나 이상의 분류기(classifier)(또는 케스케이드 분류기(cascading classifier))를 사용할 수 있다. 추가적으로 또는 대안적으로, 사람식별모듈(1701)은 복수의 이미지에 포함된 사람의 하나 이상의 가능한 신원을 식별하기 위해 뉴럴네트워크(neural network)를 사용할 수 있다. 또한, 사람식별모듈(1701)은 뉴럴네트워크를 사용하여 하나 이상의 이미지로부터 복수의 특징(예, 특징 세트)을 도출한 후, 도출된 특징(또는 특징 세트)을 하나 이상의 이미지에 맵핑할 수 있다. 상기 맵핑은 간단한 상관관계 또는 뉴럴네트워크와 같은 보다 정교한 기술을 사용하여 수행될 수 있다.
임의의 상기 실시예에서, 가능성 있는 매칭(likely match)은 확률, 예를 들어 뉴럴네트워크로부터의 출력과 관련있을 수 있고; 매칭 픽셀, 특징 등의 백분율에 기초하여 계산될 수 있다. 따라서, 사람식별모듈(1701)은 가장 높은 확률 매칭(probability match)을 선택함으로써 복수의 가능성 있는 매칭으로부터 사람의 신원을 선택할 수 있다.
임의의 상기 실시예에서, 복수의 이미지 중 하나 이상은 둘 이상의 사람을 포함하거나 포함하지 않을 수 있다. 따라서, 사람식별모듈(1701)은 그 안에 사람을 포함하는 바운딩박스(bounding box)를 식별하기 위해 YOLO(You Only Look Once) 또는 SSD(Single-Shot Detector)와 같은 바운딩 박스구조(bounding box architecture)를 사용할 수 있다. 예를 들어, 사람식별모듈(1701)이 바운딩박스구조를 사용하고, 사람으로 분류된 바운딩박스를 수신하지 않거나 임계치 미만(예, 50% 미만, 40% 미만, 25% 미만, 10% 미만, 또는 5% 미만 등)으로 사람 분류(person classification)를 갖는 바운딩박스를 수신하는 경우, 사람식별모듈(1701)은 복수의 이미지 중 사람을 포함하지 않는 것으로 폐기할 수 있다. 유사하게, 사람식별모듈(1701)이 바운딩박스구조를 사용하고, 사람으로 분류된 복수의 바운딩박스를 수신하거나 임계치 초과(예, 50% 초과, 40% 초과, 25% 초과, 10% 초과, 또는 5% 초과 등)하는 사람 분류를 갖는 복수의 바운딩박스를 수신하는 경우, 사람식별모듈(1701)은 복수의 바운딩박스에 의해 정의된 이미지 부분들에 대한 확인(identification)을 수행할 수 있다.
임의의 상기 실시예에서, 사람식별모듈(1701)은 페이스 클라우드 또는 다른 가시영상(예, 가시영상모듈(1704)에 의해 생성된)에서의 사용을 위해 기존에 저장된 얼굴이미지를 현재 수신된 얼굴이미지로 교체할 수 있다. 따라서, 사람식별모듈(1701)은 저장된 얼굴이미지가 최신 업데이트되었음을 보장할 수 있다. 이러한 실시예에서, 사람식별모듈(1701)은 현재 수신된 얼굴이미지의 하나 이상의 품질 측정치가 이전에 저장된 얼굴이미지의 하나 이상의 품질 측정치를 초과하는 경우만 저장된 얼굴이미지를 업데이트할 수 있다. 예를 들어, 일부 실시예에서, 사람식별모듈(1701)은 현재 수신된 얼굴이미지의 해상도, 선명도, PSNR(peak signal to noise ratio), SSIM(structural similarity), 또는 VIf(visual information fidelity) 등이 기존에 저장된 얼굴이미지에 대해 동일한(또는 유사한) 측정치보다 높은 경우에만 저장된 얼굴이미지를 업데이트 할 수 있다. 다른 실시예에서, 사람식별모듈(1701)은 현재 수신된 얼굴이미지의 노이즈 등이 이전에 저장된 얼굴이미지에 대해 동일한(또는 유사한) 측정치보다 낮은 경우에만 저장된 얼굴이미지를 업데이트 할 수 있다.
임의의 상기 실시예에서, 사람식별모듈(1701)은 동일한 개체의 복수의 얼굴이미지를 포함하는 복수의 얼굴이미지를 수신할 수 있다. 이러한 실시예에서, 사람식별모듈(1701)은 동일한 개체의 복수의 이미지에 대한 이미지처리를 수행하여 동일한 개체의 복수의 이미지의 존재를 결정할 수 있고, 사용하기 위해(예, 가시영상모듈(1704)에 의해 결정된 페이스 클라우드에 제시하기 위해) 개체의 단일 이미지를 선택할 수 있다.
친화도 분석모듈(1702)은 사용자와 복수의 사람들 각각의 친화도 정도를 결정하기 위해 복수의 이미지를 분석하도록 구성될 수 있다. 예를 들어, 친화도 분석모듈(1702)은 사람식별모듈(1701)에 의해 수신된 복수의 이미지를 분석할 수 있다. 친화도 분석모듈(1702)은 웨어러블기기(110) 사용자와 사람식별모듈(1701)에 의해 식별된 개체 사이의 관계에 기반하여 친화도 정도를 계산할 수 있다. 예를 들어, 친화도 분석모듈(1702)은 사용자와 식별된 사람이 가족(예, 형제 자매, 부모, 조부모, 또는 사촌 등), 친구, 또는 동료 등인지 판단할 수 있다. 이러한 실시예에서, 친화도 분석모듈(1702)은 관계를 판단하기 위해 사용자의 하나 이상의 SNS 계정(예, 페이스북, 인스타그램, 또는 트위터 등)으로부터 정보를 사용할 수 있다.
추가적으로 또는 대안적으로, 친화도 분석모듈(1702)은 얼굴이미지가 캡처된 시간 또는 빈도에 따라 친화도 정도를 결정할 수 있다. 따라서, 친화도 분석모듈(1702)은 사용자와 식별된 사람과의 상호작용의 수에 따라 친화도 정도를 결정할 수 있다. 예를 들어, 친화도 분석모듈(1702)은 사용자가 어제, 지난주 또는 지난달 동안 식별된 사람과 상호작용한 횟수를 결정할 수 있다. 따라서, 친화도 분석모듈(1702)은 사용자에 대한 이력 정보(예, 이전 이미지, 영상, 오디오 등)를 사용하여 상호작용의 횟수를 결정할 수 있다. 추가적으로 또는 대안적으로, 친화도 분석모듈(1702)은 식별된 사람이 등장하는 이미지의 캡처시간 및/또는 캡처장소를 사용하여 친화도 정도를 판단할 수 있다. 예를 들어, 집에서 캡처된 이미지에 등장하는 사람은 술집이나 클럽에서 캡처된 이미지에 등장하는 사람보다 친화도 정도가 높다고 판단할 수 있다. 다른 실시예에서, 저녁식사에서 캡처된 이미지에 등장하는 사람은 근무일 동안 캡처된 이미지에 등장하는 사람보다 친화도 정도가 높다고 판단할 수 있다. 추가적으로 또는 대안적으로, 사용자는 알려진 사람을 "친구", "지인," 등과 같은 클러스터로 그룹화함으로써 식별된 사람과의 친화도 정도를 나타낼 수 있다.
일부 실시예에서, 친화도 분석모듈(1702)은 사람식별모듈(1701) 없이 작동할 수 있다. 예를 들어, 친화도 분석모듈(1702)은 웨어러블캡처부(710)의 이미지센서(220)로부터 웨어러블기기(110) 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하고, 적어도 하나의 연결속성을 복수의 얼굴이미지 각각과 연관성으로 저장할 수 있다. 상기 실시예에서, 적어도 하나의 연결속성은 환경특성, 지리적 위치, 관련단어, 사회적 상호연결관계, 또는 시간적 표시자 중 적어도 하나를 포함할 수 있다.
환경특성은 배경특성 및 얼굴이미지 주변의 객체 중 적어도 하나를 포함할 수 있다. 예를 들어, 환경특성은 배경의 밝기를 포함하여 연결속성이 '내부' 또는 '외부'를 포함할 수 있다. 다른 실시예에서, 환경특성은 커피잔과 같은 객체를 포함하여 연결속성이 '커피'를 포함할 수 있다. 후자의 일례는 하기 설명되는 도 18f에 도시되어있다.
지리적 위치는 이벤트, 물리적 공간, 및 GPS 좌표 중 적어도 하나를 포함할 수 있다. 예를 들어, 지리적 위치는 '회사 수련회' 또는 '콘서트'를 포함할 수 있다. 다른 실시예에서, 지리적 위치는 '커피숍' 또는 '이웃집'을 포함할 수 있다. 상기의 예는 하기 설명되는 도 18e에 도시되어있다.
관련단어는 얼굴이미지와 관련된 사운드파일로부터 도출된 단어 및 얼굴이미지의 개체와 이전에 관련된 단어 중 적어도 하나를 포함할 수 있다. 웨어러블기기(110)의 마이크는 웨어러블기기(110)로부터 수신된 이미지의 시간 스탬프와 동기화될 수 있도록, 사운드파일 및 사운드파일의 시간 스탬프를 캡처할 수 있다. 일 실시예에서, 친화도분석모듈(1702)은 착용자 근처에서 복수의 개체들의 존재의 검출과 관련된 시간 동안 캡처된 사운드파일로부터 파싱된 단어리스트를 수신하고, 메모리에 상기 파싱된 단어리스트와 해당 개체와 연관시킬 수 있다. 상기 단어는 제한된 어휘 인식(limited vocabulary recognition), 큰 어휘 인식(large vocabulary recognition), 화자분리법(speaker separation)의 유무, 인식(recognition), 검증(verification)과 같은 오디오 분석기술을 사용하여 파싱될 수 있다. 일부 실시예에서, 음성분석작동(voice analysis operation)은 사용자의 음성 및 선택적으로 사용자와 가까운 사람, 예를 들어 사용자의 배우자의 음성에 대한 하나 이상의 엔진을 훈련함에 따라 향상될 수 있다. 따라서, 친화도분석모듈(1702)은 이로부터 단어를 파싱하기 위한 사운드파일을 전사한 다음, 파싱된 단어를 해당 얼굴이미지와 연관성으로 저장할 수 있다.
추가적으로 또는 대안적으로, 친화도분석모듈(1702)은 메모리에 각각의 파싱된 단어와 관련된 사용빈도 표시(frequency of use indication)를 연관시킬 수 있다. 예를 들어, 사용빈도 표시는 단어리스트의 각 단어와 관련된 히스토그램을 포함할 수 있다. 따라서, 단어리스트는 대화로부터 추출된 핵심단어를 포함할 수 있다. 이러한 실시예에서, 친화도분석모듈(1702)은 히스토그램으로부터(또는 히스토그램을 결정하기 전에) 관사('the,' 'a,' 'an,' 등), 전치사('of,' 'from,' 'to,' 등)와 같은 공통단어를 제거할 수 있다.
사회적 상호연결관계(social interconnection)는 얼굴이미지의 시야에 근접하여 검출된 개체 및 달리 인식된 개체 중 적어도 하나를 포함할 수 있다. 예를 들어, 다른 인식된 개체에 근접하여 검출된 개체(예, 메모리에서 하나 이상의 알려진 개체와 매칭)는 다른 인식된 개체와 사회적 상호연결관계를 가지는 것으로 결정될 수 있다. 추가적으로 또는 대안적으로, 상기 설명된 바와 같이, 친화도분석모듈(1702)은 SMI(social media information)를 사용하여 사회적 상호연결관계를 판단할 수 있다. 예를 들어, 개체는 인식된 개체와 사용자 간의 연결 정도에 따라 사회적 상호연결관계를 가지는 것으로 판단될 수 있다.
시간적 표시자(temporal indicator)는 얼굴이미지와 관련된 날짜 및 시간 스탬프 중 적어도 하나를 포함할 수 있다. 예를 들어, 동일한(또는 근접한, 예, 15분 이내, 1시간 이내, 하루 내, 1주일 내 등) 시간 스탬프 및/또는 날짜 스탬프를 갖는 얼굴이미지는 함께 연결될 수 있다.
이러한 실시예는 사람식별모듈(1701)로부터의 해당 식별과 결합될 수 있다. 예를 들어, 친화도분석모듈(1702)은 사람식별모듈(1701)에 의해 식별된 복수의 얼굴이미지 각각과 연관하여 적어도 하나의 연결속성을 저장할 수 있다. 친화도분석모듈(1702)은 또한 복수의 얼굴이미지 각각과 연관하여 사람식별모듈(1701)로부터의 해당 식별을 저장할 수 있다.
임의의 상기 실시예에서, 연결속성은 히스토그램 방식(histographic manner)으로 각 개체와 연관될 수 있다. 예를 들어, 각 개체(예, 사람식별모듈(1701)에 의해 식별된)는 하나 이상의 연결속성을 포함하는 연관된 히스토그램을 가질 수 있다. 히스토그램은 각각의 연결속성에 기초하여 개체와 사용자 사이의 연결 정도를 나타낼 수 있다.
이미지표현모듈(1703)은 복수의 사람들 각각의 이미지 표현을 획득하도록 구성될 수 있다. 예를 들어, 이미지표현모듈(1703)은 식별에 의해 색인된 복수의 이미지 표현(image representation)을 저장하는 메모리로부터 이미지 표현을 획득할 수 있다. 따라서, 이미지표현모듈(1703)은 사람식별모듈(1701)로부터의 식별에 기초하여 이미지를 획득할 수 있다.
친화도분석모듈(1702)이 사운드파일로부터 파싱된 단어리스트를 계산하거나 획득하는 실시예에서, 이미지표현모듈(1703)은 특정 파싱된 단어를 선택하고, 상기 선택에 기초하여 디스플레이를 위한 얼굴이미지의 서브세트를 선택할 수 있다. 예를 들어, 이미지표현모듈(1703)은 특정 파싱된 단어를 선택하고, 개체와 파싱된 단어 사이의 저장된 연관성에 기초하여 개체의 리스트를 획득하고, 개체 리스트의 이미지 표현을 획득할 수 있다. 각 개체가 연관된 히스토그램을 갖는 실시예에서, 이미지표현모듈(1703)은 특정 파싱된 단어를 선택하고, 개체와 연관된 저장된 히스토그램에 기초하여 개체의 리스트를 획득하고, 개체 리스트의 이미지 표현을 획득할 수 있다.
일부 실시예에서, 선택은 사용자의 현재 환경상황에 기초하여, 현재 대화에서 사용되는 단어에 기초하여, 또는 웨어러블이미지센서의 현재 시야의 개체에 기초하여, 사용자로부터의 입력의 결과로 발생할 수 있다. 예를 들어, 사용자는 이미지표현모듈(1703)이 사용하는 선택된 단어를 입력하여 개체의 리스트 및 해당 이미지 표현을 획득할 수 있다. 다른 실시예에서, 웨어러블기기(110) 사용자의 환경의 상황은 장소(직장, 가게, 커피숍 등과 같은), 하나 이상의 인식된 개체, 하나 이상의 단어(예, 환경 내의 사인(sign)에 프린트된) 등을 포함할 수 있다. 따라서, 위치설명, 인식된 개체와 사용자 사이의 관계, 환경 내의 단어 등은 선택된 단어로서 선택될 수 있다. 현재 대화에서 사용된 단어(예, 웨어러블기기(110)의 마이크에 의해 녹음된)는 선택된 단어로서 선택될 수 있다. 이미지표현모듈(1703)은 현재 대화에서 가장 자주 사용되는 단어를 선택하도록 구성될 수 있으나, 관사, 전치사 등과 같은 공통단어 및/또는 적절한 이름을 또한 제거할 수도 있다. 다른 실시예에서, '커피', '케이크', '파일’등과 같은 웨어러블기기(110)에 의해 식별된 객체는 선택된 단어로서 선택될 수 있다.
가시영상모듈(1704)은, 친화도 정도(예, 친화도분석모듈(1702)에 의해 결정된)에 기초하여, 이미지 표현(예, 이미지표현모듈(1703)에 의해 획득된)을 포함하는 가시영상(visualization)을 생성하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 가시영상모듈(1704)은 시각적 표현을 디스플레이되게 하고, 복수의 얼굴이미지를 포함하는 시각적 표현 및 복수의 얼굴이미지는 적어도 하나의 연결속성에 기초하여 배열될 수 있다. 일부 실시예에서, 가시영상모듈(1704)이 복수의 얼굴이미지를 페이스 클라우드에 디스플레이되도록 구성하여, 시각적 표현은 페이스 클라우드를 포함할 수 있고, 여기서 복수의 얼굴이미지는 적어도 하나의 연결속성에 기초하여 배열된다.
연결속성이 히스토그램 방식으로 각 개체와 관련되는 실시예에서, 디스플레이 동안 얼굴이미지는 히스토그램 강도에 따라 배열될 수 있다. 예를 들어, 더 강한 히스토그램 강도의 얼굴이미지는 서로 근접하거나 초점에 근접하게 배열될 수 있다. 추가적으로 또는 대안적으로, 디스플레이 동안, 더 큰 히스토그램 강도를 갖는 개체의 얼굴이미지는 더 작은 히스토그램 강도를 갖는 개체의 얼굴이미지보다 더 크게, 더 두드러지게 및/또는 다른 형상으로 디스플레이될 수 있다.
추가적으로 또는 대안적으로, 복수의 사람들 중 한 사람의 이미지 표현 중 적어도 하나의 가시영상(visualization)의 현저성 수준(prominence level)은 사람과 연관된 친화도 정도에 따라 달라질 수 있다. 예를 들어, 현저성 수준은 크기, 형상 및 색 중 적어도 하나에 의해 가시영상에서 표시될 수 있다.
추가적으로 또는 대안적으로, 얼굴이미지의 크기, 형상, 및/또는 색은 개체와 함께 보낸 시간을 나타내고/나타내거나 페이스 클라우드의 초점인 연결속성에 대한 히스토그램 강도를 나타낼 수 있다. 예를 들어, 얼굴이미지와 관련된 개체가 웨어러블기기(110)에 의해 캡처된 이미지에 더 많이 나타나거나, 웨어러블기기(110) 사용자와 더 많은 상호작용을 가지거나, 또는 다른 얼굴이미지와 관련된 다른 개체보다 웨어러블기기(110) 사용자와 더 많은 시간을 보낸다면, 가시영상모듈(1704)은 얼굴이미지의 크기를 증가시킬 수 있다. 유사하게, 얼굴이미지와 관련된 개체가 웨어러블기기(110)에 의해 캡처된 이미지에 더 많이 나타나거나, 웨어러블기기(110) 사용자와 더 많은 상호작용을 가지거나, 또는 다른 얼굴이미지와 관련된 다른 개체보다 웨어러블기기(110) 사용자와 더 많은 시간을 보낸다면, 가시영상모듈(1704)은 상이한 색 또는 형상의 하나의 얼굴이미지를 선택할 수 있다. 다른 실시예에서, 얼굴이미지와 관련된 개체의 히스토그램이 다른 얼굴이미지와 연관된 다른 개체의 히스토그램보다 빈도 또는 다른 연결속성의 값 보다 높은 경우, 가시영상모듈(1704)은 얼굴이미지의 크기를 증가시킬 수 있다. 유사하게, 얼굴이미지와 관련된 개체의 히스토그램이 다른 얼굴이미지와 연관된 다른 개체의 히스토그램 보다 빈도 또는 다른 연결속성의 값 보다 높은 경우, 가시영상모듈(1704)은 상이한 색 또는 형상의 하나의 얼굴이미지를 선택할 수 있다.
예를 들어, 각각의 얼굴이미지의 연결속성은 중요도 수준을 포함할 수 있다. 따라서, 크기가 조정되는 실시예에서, 얼굴이미지는 중요도 수준에 따라 다른 크기로 디스플레이될 수 있다. 예를 들어, 사용자가 더 자주 만나고/만나거나 더 오랜 시간 동안 만나는 사람은 더 중요하다고 판단되어 더 크게 디스플레이될 수 있다.
추가적으로 또는 대안적으로, 연결속성은 인식되지 않은 개체를 포함할 수 있다. 예를 들어, 얼굴이미지는 관련 개체와 하나 이상의 인식되지 않은 개체 사이의 연결수준(connection level)에 따라 조정될 수 있다. 연결수준은 복수의 측정값, 예를 들어 수신된 이미지에서 관련 개체와 하나 이상의 인식되지 않은 개체 사이의 친밀함(proximity)에 기초하거나, 하나 이상의 동일한 대화에서 참여자에 기초하거나, SMI(social media information)를 사용하여 결정된 기반에 기초하거나, 또는 이의 조합에 기초하여 결정될 수 있다.
추가적으로 또는 대안적으로, 연결속성은 상황, 예를 들어, 상기 설명된 바와 같이, 장소(직장, 커피숍 등과 같은), 하나 이상의 인식된 개체, 하나 이상의 단어(예, 환경에서 사인에 인쇄된) 등을 결정하기 위하여 이미지 분석을 통해 생성되어, 연결속성은 장소, 인식된 개체와 사용자 사이의 관계, 환경에서 하나 이상의 단어 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 연결속성은 사용자의 캘린더를 참조하여 적어도 부분적으로 결정될 수 있다. 예를 들어, 가시영상모듈(1704)은 수신된 이미지의 시간 스탬프를 캘린더에 저장된 하나 이상의 이벤트에 매핑하여 장소, 하나 이상의 인식된 개체, 또는 하나 이상의 단어 등을 선택할 수 있다.
추가적으로 또는 대안적으로, 연결속성은 사용자 정의될 수 있다. 예를 들어, 상기 설명된 바와 같이, 사용자는 환경특성, 지리적 위치, 관련단어, 사회적 상호연결관계, 시간적 표시자, 또는 임의의 다른 연결속성을 선택할 수 있다.
연결속성을 사용하는 임의의 실시예에서, 가시영상모듈(1704)은, 주어진 페이스 클라우드에 대해, 페이스 클라우드의 구조의 기초가 되는 적어도 하나의 연결속성의 표시를 디스플레이할 수 있다. 이러한 표시의 일례는 도 18c 및 도 18d를 참조하여 설명된다. 이러한 실시예에서, 연결속성에 대한 더 큰 공통성은 페이스 클라우드의 초점 위치 근접하여 디스플레이 상에 표시될 수 있다.
단어리스트를 사용하는 임의의 실시예에서, 친화도분석모듈(1703)과 관련하여 전술한 바와 같이, 가시영상모듈(1704)은 중복되는 공통단어를 포함하는 단어리스트의 개체의 복수의 얼굴이미지의 서브세트를 디스플레이 스크린(예, 웨어러블기기(110)의 또는 웨어러블기기(110)와 무선으로 페어링된 이동통신기기의) 상에 표시할 수 있다.
추가적으로 또는 대안적으로, 복수의 얼굴이미지의 세트는 저장된 규칙세트에 기초하여 디스플레이될 수 있다. 예를 들어, 저장된 규칙세트는 가장 최근(가장 최근의 복수의 얼굴 이미지만이 페이스 클라우드에 디스플레이되도록 한다), 가장 자주(웨어러블기기(110)에 의해 캡처된 가장 많은 수의 이미지에 나타나는 얼굴이미지만이 페이스 클라우드에 디스플레이되도록 한다), 및 가장 긴 시간(가장 긴 시간 동안 웨어러블기기(110) 에 의해 캡처된 이미지에 있는 얼굴이미지만이 페이스 클라우드에 디스플레이 되도록 한다) 중 적어도 하나를 포함할 수 있다.
페이스 클라우드를 포함하는 임의의 실시예에서, 페이스 클라우드를 디스플레이하는 것은 초점영역에 존재하는 페이스 클라우드의 일부만을 디스플레이하는 것을 포함할 수 있다. 예를 들어, 가시영상모듈(1704)은 하나 이상의 연결속성에 따라 얼굴이미지 구성 및/또는 배열함으로써 페이스 클라우드를 생성한 다음, 초점 및 초점으로부터 연장된 범위에 기초하여 디스플레이하기 위해 페이스 클라우드의 일 부분을 선택할 수 있다. 상기 범위는, 예를 들어, 원형, 타원, 정사각형, 마름모, 직사각형, 평행 사변형, 또는 규칙적이든 불규칙적이든 임의의 다른 형상을 포함할 수 있다.
상기 실시예에서, 초점영역은 검출된 변수에 기초하여 동적으로 선택될 수 있다. 예를 들어, 검출된 변수는 초점영역이 특정 지리적 영역과 이전에 연관된 개체의 이미지를 포함하도록 특정 지리적 영역에서 이동통신기기의 존재를 포함할 수 있다. 추가적으로 또는 대안적으로, 검출된 변수는 초점영역이 공지의 개체와 이전에 연관된 개체의 이미지를 포함하도록 공지의 개체의 근처에서 이동통신기기의 존재를 포함할 수 있다. 추가적으로 또는 대안적으로, 검출된 변수는 초점영역이 적어도 하나의 단어와 이전에 연관된 개체의 이미지를 포함하도록 사운드파일(예, 웨어러블기기(110)의 마이크에 의해 녹음된)부터 도출된 적어도 하나의 단어를 포함할 수 있다.
임의의 상기 실시예에서, 시각적 표현이 표시되도록 하는 것은 가시 영상을 생성하기 위한 정보를 웨어러블기기와 무선으로 페어링된 이동통신기기에 전송하는 것을 포함할 수 있다. 예를 들어, 가시영상모듈(1704)은 블루투스(bluetooth®), Wifi 네트워크, 셀룰러 네트워크(3G, 4G, LTE 등과 같은), 또는 임의의 다른 무선주파수 또는 기타 무선 네트워크와 같은 컴퓨터 네트워크를 통해 페이스 클라우드 또는 임의의 다른 생성된 가시영상를 전송할 수 있다.
임의의 상기 실시예에서, 페이스 클라우드는 2D로 디스플레이되거나 가상 3d 표현로 디스플레이될 수 있다. 예를 들어, 3D 표현은 2차원 스크린(웨어러블기기(110)의 또는 웨어러블기기(110)와 무선으로 페어링된 이동통신기기의) 상에 디스플레이된 3D 이미지를 포함할 수 있거나, 예를 들어 하나 이상의 레이저를 사용하여 형성된 홀로그래픽 프로젝션(holographic projection)을 포함할 수 있다.
일부 실시예에서, 페이스 클라우드의 형태는 클러스터 생성으로 배열된 일련의 균일한 크기 및 형상의 얼굴이미지를 포함할 수 있다. 추가적으로 또는 대안적으로, 페이스 클라우드의 형태는 클러스터 내의 복수의 얼굴이미지의 배열을 포함하여, 상기 설명된 바와 같이, 얼굴이미지 중 적어도 하나는 클러스터 내의 다른 얼굴이미지와 다른 크기, 형상, 또는 색 표시자를 가질 수 있다. 예를 들어, 페이스 클라우드의 형태는 클러스터 내의 복수의 얼굴이미지의 배열, 사용자와 상기 얼굴이미지에 도시된 사람과의 친화도 정도에 따른 복수의 얼굴이미지 중 한 얼굴이미지의 현저성 수준을 포함할 수 있다. 추가적으로 또는 대안적으로, 페이스 클라우드를 디스플레이하는 것은 페이스 클라우드에 얼굴이미지를 배열하는 것을 포함하여 적어도 하나의 공통 연결속성을 공유하는 얼굴이미지들이 서로 인접하게 디스플레이되거나 배향될 수 있다.
가시영상모듈(1704)은 생성된 페이스 클라우드 또는 다른 가시 영상과의 상호작용을 가능하게 하도록 구성될 수도 있다. 예를 들어, 가시영상모듈(1704)은 사용자로 하여금 페이스 클라우드의 초점이 되도록 특정 얼굴이미지를 선택할 수 있도록 구성될 수 있다. 상기 실시예에서, 가시영상모듈(1704)은 사용자가 특정 얼굴이미지를 클릭, 탭 또는 선택할 수 있게 할 수 있다.
추가적으로 또는 대안적으로, 가시영상모듈(1704)은 터치 스크린 상에 표시된 얼굴이미지를 터치할 때 추가 정보가 나타나도록 구성될 수 있다. 예를 들어, 상기 추가 정보는 선택된 얼굴이미지에 대한 이름, 연락처 정보, 및 연결속성 정보 중 적어도 하나를 포함할 수 있다. 일부 실시예에서, 제시된 정보의 범위는 적용된 누르는 기간(duration of pressing) 및/또는 누르는 정도(level of pressure)에 따라 달라질 수 있다. 예를 들어, 누름이 짧고/짧거나(예, 0.5초 미만) 약한(예, 50파스칼 미만) 경우, 가시영상모듈(1704)은 터치된 얼굴이미지와 관련된 이름을 디스플레이할 수 있지만, 누름이 길고/길거나(예, 0.5초 초과) 센(예, 50파스칼 초과) 경우, 이름, 연락처 정보, 및 연결속성을 디스플레이할 수 있다.
추가적으로 또는 대안적으로, 가시영상모듈(1704)은 사용자가 적어도 하나의 연결속성을 선택할 수 있게 하여, 클라우드 내의 얼굴의 배열은 선택된 적어도 하나의 연결속성에 기초하여 발생한다. 예를 들어, 가시영상모듈(1704)은 사용자가 원하는 연결속성을 클릭, 탭 또는 달리 선택할 수 있도록 연결속성 리스트를 갖는 별도의 인터페이스를 생성할 수 있다. 다른 실시예에서, 가시영상모듈(1704)은 사용자가 원하는 연결속성을 클릭, 탭 또는 달리 선택할 수 있도록 생성된 페이스 클라우드 또는 다른 가시영상에 인접한 연결속성 리스트를 생성할 수 있다.
따라서, 입력은 선택리스트(pick list)로부터 속성을 선택을 통해 발생할 수 있다. 대안적으로, 입력은 웨어러블기기(110)의 마이크를 통해 캡처된 음성 캡처에 대한 사운드 처리를 통해 발생할 수 있다.
임의의 상기 실시예에서, 페이스 클라우드는 초기에 적어도 제1 공통속성(common attribute)에 기초하여 배열될 수 있고, 입력에 응답하여 페이스 클라우드는 제2 공통속성에 기초하여 재배열될 수 있다. 이러한 재배열의 실시예는 도 18h에 도시되고 후술된다.
임의의 상기 실시예에서, 페이스 클라우드는 움직임(motion)으로 디스플레이될 수 있다. 예를 들어, 페이스 클라우드는 흐름(flow)으로 디스플레이될 수 있고, 사람들이 다양한 방향으로 움직이는 거리에서와 같이 이미지가 오고 가는 것처럼 움직이거나 변할 수 있다. 추가적으로 또는 대안적으로, 페이스 클라우드는 캡처부(710)의 이미지센서(220)의 시야에서 보이는 사람 및/또는 웨어러블기기(110) 사용자의 위치에 기반하여 동적으로 변할 수 있다.
모듈(1701, 1702, 1703, 및 1704)이 이동통신기기에서 실행되는 실시예에서, 가시영상모듈(1704)은 이동통신기기를 통해 수신된 입력에 대응하여 페이스 클라우드를 재배열하도록 구성될 수 있다. 예를 들어, 가시영상모듈(1704)은 이동통신기기의 흔들림(shaking)을 반영하는 이동통신기기에서 가속도계로부터 수신된 신호를 포함하는 입력을 수신할 수 있고, 이에 따라 페이스 클라우드를 재배열할 수 있다.
도 18a는 본 기재에 따른 크기로 표시되는 현저성 수준(prominence levels)을 갖는 페이스 클라우드의 일례를 도시한 것이다. 예를 들어, 도 18a에 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지1801a, 1801b, 1801c, 1801d, 1801e, 및 1801f)는 클러스터에 디스플레이된다. 얼굴이미지가 형상(도 18a의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18a의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성의 히스토그램 강도 등에 따라 다양할 수 있다. 도 18a에는 도시되지 않았으나, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 페이스 클라우드의 초점 사이의 거리 또는 얼굴이미지 사이의 거리 및/또는 연결선의 두께(미도시)는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18b는 본 기재에 따른 형상으로 표시되는 현저성 수준을 갖는 페이스 클라우드의 일례를 도시한 것이다. 도 18b에 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지 1803a, 1803b, 1803c, 1803d, 1803e, 및 1803f)는 클러스터에 디스플레이된다. 또한, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 도 18b의 실시예에서 얼굴이미지를 둘러싸는 형상은 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 도 18b에는 도시되지 않았으나, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 페이스 클라우드의 초점 사이의 거리 또는 얼굴이미지 사이의 거리 및/또는 연결선의 두께(미도시)는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18c는 본 기재에 따른 연결단어(linking word)를 포함한 페이스 클라우드의 일례를 도시한 것이다. 도 18c에 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지 1805a, 1805b, 1805c, 1805d, 1805e, 및 1805f)는 연결단어(예, "생일")의 표시(1807) 주위에 클러스터링된다. 얼굴이미지가 형상(도 18c의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18c의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 도 18c에 도시된 바와 같이, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 표시(1807) 사이의 거리(또는 얼굴이미지 사이 및/또는 연결선의 두께)는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18d는 본 기재에 따른 복수의 연결단어(예, "이웃사람" 및 "동료")를 포함한 페이스 클라우드의 일례를 도시한 것이다. 예를 들어, 도 18d에 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지 1809a, 1809b, 1809c, 1809d, 1809e, 및 1809f)는 연결단어 표시(1811a 및 1811b) 주위로 클러스터링된다. 얼굴이미지가 형상(도 18d의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18d의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 도 18d에 도시된 바와 같이, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 표시(1811a 및 1811b) 사이의 거리(또는 얼굴이미지 사이 및/또는 연결선의 두께)는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18e는 본 기재에 따른 연결 지리적 위치(linking geographic location)를 포함한 페이스 클라우드의 일례를 도시한 것이다. 예를 들어, 도 18e에서 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지 1813a, 1813b, 1813c, 1813d, 1813e, 및 1813f)는 지리적 위치(1815)(예, 방, 특정 사람의 집 등) 주위에 클러스터링된다. 얼굴이미지가 형상(도 18e의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18e의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 도 18e에 도시된 바와 같이, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 지리적 위치(1815) 사이의 거리(또는 얼굴이미지 사이 및/또는 연결선의 두께)는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18f는 본 기재에 따른 연결 환경특성(linking environmental characteristic)을 포함한 페이스 클라우드의 일례를 도시한 것이다. 예를 들어, 도 18f에서 도시된 바와 같이, 복수의 얼굴이미지(예, 1817a, 1817b, 1817c, 1817d, 1817e, 및 1817f)는 객체(1819)(예, 커피컵) 주위에 클러스터링된다. 얼굴이미지가 형상(도 18f의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18f의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 도 18f에 도시된 바와 같이, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 객체(1819) 사이의 거리(또는 얼굴이미지 사이 및/또는 연결선의 두께)는 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18g는 본 기재에 따른 시간적 표시자(temporal indicator)를 사용하여 구성된 페이스 클라우드의 일례를 도시한 것이다. 예를 들어, 도 18g에서 도시된 바와 같이, 복수의 얼굴이미지(예, 1821a, 1821b, 1821c, 1821d, 및 1821e)는 시간적(및 상황) 표시자(1823a, 1823b, 1823c, 1823d, 및 1823e)로 나열된다. 얼굴이미지가 형상(도 18g의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
동일한 크기로 도 18g에 도시되었으나, 일부 실시예에서 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양할 수 있다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다. 또한, 도 18g에서는 도시되지 않았으나, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 페이스 클라우드의 시각표(timeline) 사이의 거리는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18h는 본 기재에 따른 페이스 클라우드의 재배열(rearrangement)을 야기하는 초점 개체(point individual)의 지정(designation)의 일례를 도시한 것이다. 도 18h의 실시예에서 도시된 바와 같이, 복수의 얼굴이미지(예, 이미지 1825a, 1825b, 1825c, 1825d, 1825e, 및 1825f)는 클러스터에 디스플레이된다. 얼굴이미지가 형상(도 18h의 실시예에서 원형) 내에 도시되었으나, 형상 없이 도시될 수 있다.
도 18h의 실시예에서, 얼굴이미지의 크기(및 얼굴이미지를 둘러싸는 형상)는 다양하다. 예를 들어, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 크기는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다
도 18h에는 도시되지 않았으나, 상기 메모리(1700)의 가시영상모듈(1704)과 관련하여 전술한 바와 같이, 얼굴이미지와 페이스 클라우드의 초점 사이의 거리는 현저성 수준(예, 친화도 정도에 기초하여), 중요도 수준, 연결속성에 대한 히스토그램 강도 등에 따라 다양할 수 있다.
도 18h에 도시된 바와 같이, 얼굴이미지(1825c)는 페이스 클라우드에서 디폴트 또는 초기 초점 개체로 기능할 수 있다. 따라서, 다른 얼굴이미지의 크기 및/또는 얼굴이미지(1825c)까지의 거리는 얼굴이미지(1825c)와 연관된 개체와 다른 얼굴이미지와 연관된 다른 개체 사이의 상호연결 정도에 의존할 수 있다. 사용자로부터의 입력(예, 클릭, 탭 등을 통한)에 기초하여 얼굴이미지(1825e)는 초점 개체로 선택될 수 있다. 따라서, 얼굴이미지(1825e)와 관련된 초점 개체를 유지하면서, 페이스 클라우드는 재배열될 수 있다. 도 18h의 실시예에서, 다른 얼굴이미지의 크기, 배치 및 거리는 선택된 초점 개체에 따라, 예를 들어 얼굴이미지(1825e)와 관련된 개체와 다른 얼굴이미지와 관련된 다른 개체 사이의 상호연결 정도를 나타내도록 이동될 수 있다. 도 18h에서는 도시되지 않았으나, 선택은 이전 페이스 클라우드로부터 하나 이상의 얼굴이미지를 제거하거나 또는 새로운 페이스 클라우드에 하나 이상의 얼굴이미지를 추가하게 할 수 있다. 이러한 변화는 도 18h에 도시된 변환이 갑작스럽기 보다는 유동적이도록 애니메이션될 수 있다.
실제로 임의의 상기 실시예에서, 생성된 페이스 클라우드는 영화(movie) 또는 비디오를 포함하도록 애니메이션될 수 있다. 예를 들어, 페이스 클라우드는 제1 프레임에 존재하는 복수의 얼굴이미지 중 적어도 하나가 제2 프레임에 존재하지 않은 비디오를 포함할 수 있다. 추가적으로 또는 대안적으로, 페이스 클라우드 제 1 프레임에 존재하지 않은 적어도 하나의 얼굴 이미지가 제 2 프레임에 존재하는 비디오를 포함할 수 있다. 일 실시예에서, 페이스 클라우드는 사용자의 장소에 존재하는 개체의 복수의 얼굴이미지를 포함할 수 있고, 사용자가 장소 내에서 움직일 때 복수의 얼굴이미지가 페이스 클라우드 내에서 이동하는 비디오를 포함할 수 있다. 추가적으로 또는 대안적으로, 개체가 장소를 나가고 들어오거나, 개체가 사용자의 임계치 거리를 넘고 다른 개체가 임계치 거리 내에 있도록 이동함에 따라 얼굴이미지는 변할 수 있다.
도 19a는 복수의 사람들의 이미지 표현의 가시영상(visualization)을 생성하는 방법(1900)의 순서도이다. 방법(1900)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(1900)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해 실행될 수 있다. 일부 실시예에서, 방법(1900)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1900)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예, 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
1901단계에서, 프로세서는 복수의 사람들을 식별하기 위하여 복수의 이미지를 분석할 수 있다. 예를 들어, 프로세서는 도 17의 사람식별모듈(1701)과 관련하여 상기 기재된 임의의 분석기술을 사용할 수 있다.
1903단계에서, 프로세서는 사용자와 복수의 사람들 각각의 친화도 정도를 결정하기 위해 복수의 이미지를 분석할 수 있다. 예를 들어, 프로세서는, 도 17의 친화도분석모듈(1702)와 관련하여 상기 기재된 바와 같이, 친화도 정도를 계산할 수 있다.
1905단계에서, 프로세서는 복수의 사람들 각각의 이미지 표현을 획득할 수 있다. 예를 들어, 프로세서는, 도 17의 이미지표현모듈(1703)과 관련하여 상기 기재된 바와 같이, 데이터베이스로부터 이미지 표현을 획득할 수 있다.
1907단계에서, 프로세서는 상기 친화도 정도에 기초하여 이미지 표현을 포함하는 가시 영상을 생성할 수 있다. 예를 들어, 프로세서는, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 바와 같이, 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
일부 실시예에서, 방법(1900)은 추가의 단계들을 포함할 수 있다. 예를 들어, 방법(1900)은 이미지 표현이 포함된 가시 영상을 웨어러블기기와 무선으로 페어링된 이동통신기기로 전송하는 단계를 포함할 수 있다. 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 바와 같이, 프로세서는 하나 이상의 컴퓨터 네트워크 및/또는 무선주파수 전송을 통해 가시영상을 전송할 수 있다.
또한, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 모든 상호작용이 상기 방법(1900)으로 구현될 수 있다. 예를 들어, 생성된 가시 영상은 사용자의 입력에 대응하여 업데이트 및/또는 애니메이션될 수 있다.
도 19b는 적어도 하나의 연결속성에 기초하여 배열된 복수의 얼굴이미지를 포함하는 시각적 표현을 생성하는 방법의 순서도이다. 도 19b의 방법(1910)은 페이스 클라우드를 생성하기 위해 방법(1900)의 대안을 제시할 수 있다. 방법(1910)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(1910)은 프로세서(210, 210a, 210b, 및 540) 중에서 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(1910)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1910)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예, 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해서 실행될 수 있다.
1911단계에서, 프로세서는 웨어러블이미지센서로부터 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신할 수 있다. 예를 들어, 프로세서는 캡처부(710)의 이미지센서(220)로부터 이미지를 수신할 수 있다.
일부 실시예에서, 복수의 얼굴이미지를 수신하는 단계는 동일한 개체의 복수의 얼굴이미지를 수신하는 단계를 포함할 수 있다. 이러한 실시예에서, 프로세서는 동일한 개체의 복수의 이미지에 대한 이미지처리도 수행하고, 동일한 개체의 복수의 이미지의 존재를 판단하고, 및 1915단계의 페이스 클라우드 내의 표현을 위해 개체의 단일 이미지를 선택할 수 있다. 예를 들어, 프로세서는 도 17의 사람식별모듈(1701)과 관련하여 기재된 임의의 분석기술을 사용할 수 있다.
일부 실시예에서, 프로세서는 현재 수신된 얼굴이미지에 대한 이미지처리를 수행하고, 수신된 얼굴이미지가 이전에 메모리에 저장된 얼굴이미지를 갖는 인식된 개체의 얼굴에 대응하는지 판단할 수 있다. 이러한 실시예에서, 프로세서는 1915단계의 페이스 클라우드에서 사용하기 위하여 기존에 저장된 얼굴이미지를 현재 수신된 얼굴이미지로 교체할 수 있다. 예를 들어, 프로세서는 도 17의 사람식별모듈(1701)과 관련하여 기재한 바와 같이 교체를 수행할 수 있다.
1913단계에서, 프로세서는 적어도 하나의 연결속성을 복수의 얼굴이미지 각각과 연관성으로 저장할 수 있다. 적어도 하나의 연결속성은 환경특성, 지리적 위치, 관련단어, 사회적 상호연결관계, 또는 시간적 표시자 중 적어도 하나를 포함할 수 있다.
1915단계에서, 프로세서는 시각적 표현이 디스플레이되도록 할 수 있고, 상기 시각적 표현은 복수의 얼굴이미지를 포함하고, 페이스 클라우드에 복수의 얼굴이미지를 디스플레이할 수도 있다. 상기 복수의 얼굴이미지는 적어도 하나의 연결속성에 기초하여 배열될 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
일부 실시예에서, 시각적 표현이 표시되도록 하는 단계는 가시 영상을 생성하기 위한 정보를 웨어러블기기와 무선으로 페어링된 이동통신기기에 전송하는 단계를 포함할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 가시 영상을 하나 이상의 컴퓨터 네트워크 및/또는 무선주파수 전송을 통해 전송할 수 있다.
일부 실시예에서, 디스플레이하는 단계는 적어도 하나의 공통 연결속성을 공유하는 얼굴이미지가 서로 배향되거나 인접하도록 페이스 클라우드에 얼굴이미지를 배열하는 단계를 포함할 수 있다. 예를 들어, 도 18d은 공통 연결단어를 공유하는 다른 얼굴이미지에 인접하여 구성된 얼굴이미지의 일례이다.
일부 실시예에서, 방법(1910)은 추가의 단계를 포함할 수 있다. 예를 들어, 방법(1910)은 사용자가 특정 얼굴이미지를 선택하여 페이스 클라우드의 초점(focal point)이 되도록 하는 단계를 포함할 수 있다. 추가적으로 또는 대안적으로, 방법(1910)은 페이스 클라우드의 배열이 선택된 적어도 하나의 연결속성에 기초하여 발생하도록 사용자가 적어도 하나의 연결속성을 선택할 수 있게 하는 단계를 포함할 수 있다. 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 임의의 상호작용은 방법(1910)으로 구현될 수 있다.
일부 실시예에서, 방법(1910)은 이동통신기기에 의해 실행될 수 있다. 이러한 실시예에서, 프로세서는 이동통신기기를 통해 수신된 입력에 대응하여 페이스 클라우드를 재배열할 수 있다. 추가적으로 또는 대안적으로, 페이스 클라우드는 초기에는 적어도 제1 공통속성에 기초하여 배열될 수 있고, 입력에 응답하여, 페이스 클라우드는 제2 공통속성에 기초하여 재배열될 수 있다.
도 19c는 중복되는 공통단어와 단어리스트를 갖는 개체의 복수의 얼굴이미지의 서브세트(subset)를 생성하는 방법의 순서도이다. 도 19c의 방법(1920)은 페이스 클라우드를 생성하기 위한 방법(1900) 또는 방법(1910)의 대안을 나타낼 수 있다. 방법(1920)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(1920)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(1920)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1920)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예, 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
1921단계에서, 프로세서는 사용자가 착용한 웨어러블이미지센서로부터 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신할 수 있다. 예를 들어, 프로세서는 캡처부(710)의 이미지센서(220)로부터 이미지를 수신할 수 있다.
1923단계에서, 프로세서는 착용자 근처에서 복수의 개체들의 존재의 검출과 관련된 시간 동안 캡처된 사운드파일로부터 파싱된 단어리스트를 수신할 수 있다. 예를 들어, 프로세서는 도 17의 친화도분석모듈(1702)과 관련하여 상기 기재된 임의의 분석기술을 사용할 수 있다.
1925단계에서, 프로세서는 메모리에 파싱된 단어 리스트와 해당 개체와 연관시킬 수 있다. 프로세서는 메모리에 각 파싱된 단어와 연관하는 사용빈도 표시를 더 연관시킬 수 있다. 상기 파싱된 단어는 도 17의 친화도분석모듈(1702)과 관련하여 상기 기재된 바와 같이 결정될 수 있다.
1927단계에서, 프로세서는 디스플레이의 스크린 상에 중복되는 공통단어를 포함하는 단어리스트의 개체의 복수의 얼굴이미지의 서브세트 표시할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
일부 실시예에서, 방법(1920)은 추가의 단계들을 포함할 수 있다. 예를 들어, 방법(1920)은 특정 파싱된 단어를 선택하고 상기 선택에 기초하여 디스플레이를 위해 얼굴이미지의 서브세트를 선택하는 단계를 포함할 수 있다. 이러한 실시예에서, 상기 선택은 사용자의 현재 환경상황에 기초하여, 현재 대화에서 사용되는 단어에 기초하여, 또는 웨어러블이미지센서의 현재 시야의 개체에 기초하여, 사용자로부터의 입력의 결과로 발생할 수 있다, 따라서, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 임의의 상호작용은 방법(1920)으로 구현될 수 있다.
생성된 가시 영상 또는 페이스 클라우드는 애니메이션화될 수 있다. 예를 들어, 선택된 얼굴이미지는 스크린 쪽으로 더 가까이 이동하는 것처럼 보일 수 있고, 가시 영상은 스크린 상에 식별된 사람이 사용자에게 더 가까이 이동하거나 사용자가 사람에 더 가까이 이동하는 것처럼 도시된다. 상기 실시예에서, 식별된 사람이 사용자로부터 멀어지거나, 걷는 동안 지나가거나, 사용자가 멀어지거나 지나갈 때, 얼굴이미지는 사라지고/사라지거나 스크린에서 벗어날 수 있다. 따라서, 생성된 가시 영상 또는 페이스 클라우드는 사용자 주위에서 식별된 사람의 동적 또는 실시간 가시영상을 나타낼 수 있다.
사람 및 객체(object)의 색인(indexing) 및 검색
일부 실시예에서, 본 기재의 웨어러블기기는 검색을 돕기 위해 특정 방식으로 사람 및 객체의 이미지를 색인할 수 있다. 데이터베이스는 웨어러블기기에 의해 캡처된 얼굴이미지를 사운드파일로부터의 핵심단어, 캘린더날짜, 및/또는 웨어러블기기에 의해 캡처된 얼굴이미지로부터의 상황정보와 연관시킬 수 있다. 따라서, 본 발명의 특정 규칙에 따라 데이터베이스를 구성 및 색인화함으로써, 얼굴이미지는 종래의 시스템보다 더 빠른 속도 및 정확도로 검색될 수 있다.
또한, 종래의 사용자 인터페이스 방법을 사용하여 검색 결과를 디스플레이하는 대신에, 본 기재의 실시예는 제한된 정보 세트를 사용자에게 시각적이고 쉽게 인식할 수 있는 방식으로 디스플레이하는 특정 방법을 사용할 수 있다. 검색 결과를 디스플레이하기 위한 기존 인터페이스는 심하게 문자-기반이고 조작하기가 어렵다. 따라서, 본 기재의 실시예는 시각적으로 구성되고 사용자에 의해 쉽게 조작되는 디스플레이 인터페이스를 제공한다.
도 20은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(2000)의 실시예의 일례를 도시한 것이다. 얼굴이미지모듈(2001), 연결속성모듈(2002), 연관성모듈(2003), 및 디스플레이모듈(2004)이 메모리(2000)에 포함된다. 모듈(2001, 2002, 2003, 및 2004)은 웨어러블기기에 함께 포함된 적어도 하나의 처리장치, 예를 들어, 프로세서(210)에 의해 실행하기 위한 소프트웨어 명령을 포함할 수 있다. 일부 실시예에서, 메모리(2000)는 웨어러블캡처부(710)의 이미지센서(220)와 무선으로 페어링되도록 구성된 이동통신기기(예, 스마트폰)에 내재되는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
얼굴이미지모듈(2001), 연결속성모듈(2002), 연관성모듈(2003), 및 디스플레이모듈(2004)은 무선기기(110)로부터의 색인된 이미지 및/또는 사운드를 갖는 데이터베이스를 생성하기 위해 협력할 수 있고, 데이터베이스의 검색 및 이로부터의 결과를 디스플레이하도록 협력할 수 있다. 메모리(2000)는 전술된 도 6의 메모리(550)와 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모니터링모듈(603)은 도 20의 얼굴이미지모듈(2001), 연결속성모듈(2002), 연관성모듈(2003), 및 디스플레이모듈(2004)과 함께 또는 동시에 작동할 수 있다.
얼굴이미지모듈(2001)은 캡처부(710)의 이미지센서(220)에 의해 캡처된 이미지를 수신하도록 구성될 수 있다. 예를 들어, 이미지는 웨어러블기기 사용자의 환경으로부터 일 수 있다.
일부 실시예에서, 이미지는 객체 이미지를 포함할 수 있다. 객체 이미지는 얼굴이미지를 포함할 수 있거나 얼굴이미지일 수 있다.
추가적으로 또는 대안적으로, 얼굴이미지모듈(2001)은 웨어러블기기 사용자와 상호작용한 복수의 개체의 얼굴이미지를 수신할 수 있다. 예를 들어, 얼굴이미지모듈(2001)은, 적어도 한 사람의 적어도 일부분 및/또는 적어도 하나의 얼굴의 적어도 일부분을 포함하는 이미지를 유지하면서, 이미지에서 적어도 한 사람의 적어도 일부분을 포함하지 않고/않거나 이미지에서 적어도 하나의 얼굴의 적어도 일부분을 포함하지 않는, 이미지센서(220)에 의해 캡처된 이미지를 폐기할 수 있다. 예를 들어, 얼굴이미지모듈(2001)은 사람, 얼굴, 및/또는 이의 일부분이 이미지에 존재하는지를 판단하기 위해 이미지 분석을 적용할 수 있다.
얼굴이미지모듈(2001)은 임의의 공지의 기술을 이용하여 수신된 이미지에서 사람 및/또는 얼굴을 검출할 수 있다. 예를 들어, 얼굴이미지모듈(2001)은 현재 수신된 이미지에 대해 이미지처리를 수행하고, 상기 수신된 이미지가 메모리에 이전에 저장된 사람 또는 얼굴의 이미지에 대응하는지 판단할 수 있다. 따라서, 얼굴이미지모듈(2001)은 픽셀단위 매칭을 수행할 수 있다. 다른 실시예에서, 얼굴이미지모듈(2001)은 보다 정교한 기술을 수행할 수 있다. 예를 들어, 얼굴이미지모듈(2001)은 이미지에 포함된 사람 또는 얼굴을 검출하기 위하여 하나 이상의 분류기(또는 케스케이드 분류기)를 사용할 수 있다. 추가적으로 또는 대안적으로, 얼굴이미지모듈(2001)은 이미지에 포함된 사람 또는 얼굴을 검출하기 위하여 뉴럴네트워크를 사용할 수 있다. 또한, 얼굴이미지모듈(2001)은 이미지로부터 복수의 특징(예, 특징 세트)을 도출한 후, 도출된 특징(또는 특징 세트)을 사람 또는 얼굴의 검출과 연관된 특징에 맵핑하기 위해 뉴럴네트워크를 사용할 수 있다. 상기 맵핑은 간단한 상관관계 또는 뉴럴네트워크와 같은 보다 정교한 기술을 사용하여 수행될 수 있다.
임의의 상기 실시예에서, 검출은, 예를 들어 뉴럴네트워크로부터의 출력된; 매칭 픽셀, 특징 등의 백분율에 기초하여 계산된; 관련확률(associated probability)을 가질 수 있다. 따라서, 일부 실시예에서, 얼굴이미지모듈(2001)은 검출이 임계치 초과의 관련확률을 갖는 경우에만 사람 또는 얼굴의 검출을 완료할 수 있다. 또한, 검출이 결정되지 않은 경우, 예를 들어, 제1 임계치는 초과하지만 제2의 높은 임계치 미만인 경우, 얼굴이미지모듈(2001)은 추가의 검출기술을 적용할 수 있다. 상기 실시예에서, 얼굴이미지모듈(2001)은 분류기(classifier)를 적용할 수 있고, 상기 분류기가 결정 불가능한 확률로 검출을 생성하는 경우, 하나 이상의 추가의 분류기 및/또는 뉴럴네트워크를 적용하여 하나 이상의 추가의 검출확률(detection probability)을 생성할 수 있다. 추가의 검출확률에 기초하여, 예를 들어, 제2 임계치를 초과하는 경우, 얼굴이미지모듈(2001)은 검출을 완료할 수 있다. 완료되지 않은 검출은 폐기될 수 있다.
임의의 상기 실시예에서, 이미지는 두 사람 이상 및/또는 두 얼굴 이상을 포함하거나 사람 및/또는 얼굴을 포함하지 않을 수 있다. 따라서, 얼굴이미지모듈(2001)은 그 안에 사람을 포함하는 바운딩박스(bounding box)를 식별하기 위해 YOLO(You Only Look Once) 또는 SSd(Single-Shot detector)와 같은 바운딩박스구조(bounding box architecture)를 사용할 수 있다. 예를 들어, 사람식별모듈(2001)이 바운딩박스구조를 사용하고 사람으로 분류된 바운딩박스를 수신하지 않거나 임계치 미만(예, 50% 미만, 40% 미만, 25% 미만, 10% 미만, 또는 5% 미만 등)으로 사람 및/또는 얼굴 분류를 갖는 바운딩박스를 수신하는 경우, 얼굴이미지모듈(2001)은 사람 및/또는 얼굴을 포함하지 않은 이미지를 폐기할 수 있다. 유사하게, 얼굴이미지모듈(2001)이 바운딩박스구조를 사용하고, 사람 및/또는 얼굴로 분류된 복수의 바운딩박스를 수신하거나, 임계치 초과(예, 50% 초과, 40% 초과, 25% 초과, 10% 초과, 또는 5% 초과 등)하는 사람 및/또는 얼굴 분류를 갖는 복수의 바운딩박스를 수신하는 경우, 얼굴이미지모듈(2001)은 사람 및/또는 얼굴을 포함하는 복수의 바운딩박스에 의해 정의된 이미지의 부분들을 검출할 수 있다.
일부 실시예에서, 이미지는 제1 캘린더날짜에 제1의 사용자와 상호작용한 개체의 복수의 얼굴이미지 및 제2 캘린더날짜에 제2의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 포함할 수 있다. 예를 들어, 얼굴이미지모듈(2001)이 각각의 수신된 이미지와 연관된 캘린더날짜를 수신하도록, 이미지센서(220)는 생성된 이미지를 시간-스탬핑(time-stamp)할 수 있다. 또한, 얼굴이미지모듈(2001)은 수신시 연관된 캘린더날짜를 각 이미지에 생성하고 첨부할 수 있다.
추가적으로 또는 대안적으로, 얼굴이미지모듈(2001)은 웨어러블기기의 이미지센서로부터 시간구간에서 캡처된 적어도 하나의 이미지를 수신할 수 있다. 예를 들어, 상기 설명된 바와 같이, 이미지센서(220) 또는 얼굴이미지모듈(2001)은 이미지를 연관된 날짜로 스탬핑할 수 있다. 따라서, 하나의 캘린더날짜 및/또는 다른 하나의 캘린더날짜를 포함하거나 둘 모두를 포함하여 계산하든, 시간구간은 하나의 캘린더날짜와 다른 하나의 캘린더날짜 사이에 하나 이상의 날짜를 포함할 수 있다.
추가적으로, 이미지센서(220) 또는 얼굴이미지모듈(2001)은 이미지를 연관된 시간으로 스탬핑할 수 있다. 따라서, 시간구간은 시작시간과 종료시간 사이의 기간을 스탬핑할 수 있다. 따라서, 시작시간 및 종료시간은 동일한 캘린더날짜에 시간을 포함할 수 있거나 상이한 캘린더날짜에 시간을 포함할 수 있다.
시간구간 동안 이미지를 수신하는 것 외에도, 얼굴이미지모듈(2001)은 시간구간 동안 캡처된 사운드파일도 수신할 수 있다. 사운드파일은 캡처부(710)의 이미지센서(220)의 부근(예, 5미터 이내, 10미터 이내, 20미터 이내 등)에서 캡처될 수도 있다. 일부 실시예에서, 사운드파일은 웨어러블이미지센서 이외의 이동통신기기로부터 수신될 수 있다. 예를 들어, 웨어러블기기 사용자와 동일한 사용자와 연관된 이동통신기기는 캡처부(710)의 이미지센서(220) 부근에서 사운드파일을 녹음할 수 있다.
추가적으로 또는 대안적으로, 얼굴이미지모듈(2001)은 얼굴이미지와 연관된 사운드 데이터를 수신할 수 있다. 예를 들어, 사운드 데이터는 얼굴이미지와 연관성으로 저장되는 메모리로부터 검색될 수 있다. 추가적으로 또는 대안적으로, 사운드 데이터는 캡처부(710)의 이미지센서(220) 부근(예, 5미터 이내, 10미터 이내, 20미터 이내 등)에서 및/또는 캡처되는 얼굴이미지의 부근(예, 5초, 10초, 30초, 1분, 5분 등)에서 녹음될 수 있다.
상기 기재된 임의의 실시예에서, 수신된 이미지 또는 얼굴이미지는 크기, 형상, 및 내용이 다양할 수 있다. 예를 들어, 일부 실시예에서, 넓은풍경(예, 복수의 개체, 또는 개체 및 그의 주변환경)을 포함하는 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부가 잘릴 수 있다. 다른 실시예에서, 수신된 이미지는 이러한 넓은풍경(예, 복수의 개체, 또는 개체 및 그의 주변환경)을 포함할 수 있다. 또 다른 실시예에서, 수신된 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부를 포함할 수 있다.
연결속성모듈(2002)은 복수의 얼굴이미지 각각에 대한 적어도 하나의 연결속성을 수신하도록 구성될 수 있다. 예를 들어, 연결속성모듈(2002)은 얼굴이미지모듈(2001)에 의해 수신된 적어도 하나의 이미지를 분석하여 적어도 하나의 연결속성을 결정할 수 있다.
적어도 하나의 연결속성은 하나 이상의 이미지에 나타나는 사람의 신원을 포함할 수 있다. 다른 실시예에서, 적어도 하나의 연결속성은 위치를 포함할 수 있다. 위치는 이벤트, 물리적 공간, 및 GPS 좌표 중 적어도 하나를 포함할 수 있다. 예를 들어, 위치는 '회사 수련회' 또는 '콘서트’를 포함할 수 있다. 다른 실시예에서, 지리적 위치는 커피숍' 또는 '이웃집'을 포함할 수 있다. 임의의 상기 실시예에서, 예를 들어, 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 위치를 식별하기 위해 이미지 분석을 사용할 수 있다.
다른 실시예에서, 적어도 하나의 연결속성은 직업을 포함할 수 있다. 예를 들어, 직업은 '계약자', '선생님' 등을 포함할 수 있다. 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 직업을 식별하기 위하여 이미지 분석을 사용할 수 있다. 예를 들어, 연결속성모듈(2002)은 이미지 내에서 유니폼, 위치, 직업과 관련된 하나 이상의 도구를 분류함으로써 직업을 식별할 수 있다.
다른 실시예에서, 적어도 하나의 연결속성은 직장을 포함할 수 있다. 예를 들어, 직장은 '대학, '123 a가' 등을 포함할 수 있다. 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 직장을 식별하기 위하여 이미지 분석을 사용할 수 있다. 예를 들어, 연결속성모듈(2002)은 이미지 내에서 빌딩, 위치, 직장과 관련된 하나 이상의 아이템 등을 분류함으로써 직장을 식별할 수 있다.
다른 실시예에서, 적어도 하나의 연결속성은 가족관계를 포함할 수 있다. 예를 들어, 가족관계는 '직계가족' '대가족' '제1세대' '제2세대' '부모' '형제' 등을 포함할 수 있다. 또 다른 실시예에서, 적어도 하나의 연결속성은 사회적 관계를 포함할 수 있다. 사회적 관계는 '친한 친구', '친구', '지인' 등을 포함할 수 있다.
예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 가족관계 또는 사회적 관계를 식별하기 위하여 이미지 분석을 사용할 수 있다. 예를 들어, 연결속성모듈(2002)은 이미지 내의 하나 이상의 사람을 확인함으로써 가족관계 또는 사회적 관계를 식별할 수 있다. 사용자의 식별도 가족관계 또는 사회적 관계를 결정하는데 사용될 수 있다.
추가적으로 또는 대안적으로, 적어도 하나의 연결속성은 사용자 입력에 기초할 수 있다. 예를 들어, 사용자는 적어도 하나의 연결속성을 포함하는 하나 이상의 단어를 입력할 수 있다. 일부 실시예에서, 연결속성모듈(2002)은 연결속성의 선택리스트를 사용자에게 제시할 수 있다.
얼굴이미지모듈(2001)이 사운드파일을 수신하는 실시예에서, 연결속성모듈(2002)은 사운드파일 내의 적어도 하나의 단어를 식별하기 위하여 사운드파일을 처리할 수 있다. 예를 들어, 적어도 하나의 단어는 제한된 어휘 인식(limited vocabulary recognition), 큰 어휘 인식(large vocabulary recognition), 화자분리법(speaker separation)의 유무, 인식(recognition), 검증(verification) 등과 같은 오디오 분석기술을 사용하여 파싱될 수 있다. 일부 실시예에서, 연결속성모듈(2002)은 이로부터 적어도 하나의 단어를 파싱하기 위해서 사운드파일을 전사(transcribe)할 수 있다.
추가적으로 또는 대안적으로, 연결속성모듈(2002)은 사운드파일의 각 단어와 관련된 사용빈도에 기초하여 적어도 하나의 단어를 추출할 수 있다. 예를 들어, 연결속성모듈(2002)은 파싱된 적어도 하나의 단어로부터 기타 관사(‘the,’ ‘a,’ ‘an,’ 등), 전치사(‘of,’ ‘from,’ ‘to,’ 등)와 같은 불용어(stop word) 또는 공통단어를 제거할 수 있다.
적어도 하나의 연결속성을 수신하는 것에 추가적으로 또는 대안적으로, 연결속성모듈(2002)은 상기 검출된 사람(예를 들어, 얼굴이미지모듈(2001)에 의해 검출된)과 연관된 상황정보를 식별하기 위하여 복수의 이미지를 분석할 수 있다. 예를 들어, 상황정보는, 적어도 부분적으로, 검출된 사람과 함께 복수의 이미지에서 나타나는 제2의 사람에 기초할 수 있다. 따라서, 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 제2의 사람을 식별하기 위하여 이미지 분석을 사용할 수 있다.
추가적으로 또는 대안적으로, 상황정보는, 적어도 부분적으로, 검출된 사람이 입고 있는 유니폼에 기초할 수 있다. 따라서, 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 상기 유니폼을 식별하기 위하여 이미지 분석을 사용할 수 있다.
추가적으로 또는 대안적으로, 상황정보는, 적어도 부분적으로, 검출된 사람이 나타나는 방에 기초할 수 있다. 따라서, 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 상기 방을 식별하기 위하여 이미지 분석을 사용할 수 있다.
적어도 하나의 연결속성을 수신하는 것에 추가적으로 또는 대안적으로, 연결속성모듈(2002)은 시각적 상황정보 표시자를 식별하기 위하여 복수의 이미지를 분석할 수 있다. 따라서, 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 연결속성모듈(2002)은 상기 시각적 상황정보 표시자를 식별하기 위하여 이미지 분석을 사용할 수 있다.
연관성모듈(2003)은 메모리에 복수의 얼굴이미지 각각을 복수의 얼굴이미지 중 하나에 대응하여 수신된 적어도 하나의 연결속성을 연결하도록 구성될 수 있다. 연결속성모듈(2002)과 관련하여 설명된 바와 같이, 적어도 하나의 연결속성은 이미지 분석 및/또는 사용자 입력을 사용하여 결정될 수 있다.
일부 실시예에서, 연관성모듈(2003)은 각 개체의 얼굴이미지와 연관된 연결속성의 발생빈도(measure of occurrences)를 저장할 수 있다. 예를 들어, 발생빈도는 이미지 내에 연결속성이 나타나는 횟수를 포함할 수 있다. 발생빈도를 얻기 위해 횟수는 이미지 수에서 및/또는 시간에 걸쳐 평균화될 수 있다. 추가적으로 또는 대안적으로, 발생빈도는 예를 들어 이미지 내의 크기, 이미지 내의 현저성 등에 기초하여 연결속성의 강도값을 포함할 수 있다.
연결속성모듈(2002)이 사운드파일 내의 적어도 하나의 단어를 식별하기 위해 사운드파일을 처리하는 실시예에서, 연관성모듈(2003)은 메모리에 단어와 객체 이미지 사이의 연관성(association)을 저장할 수 있다. 유사하게, 연결속성모듈(2002)이 핵심단어를 추출하기 위하여 얼굴이미지와 연관된 사운드 데이터를 처리하는 실시예에서, 연관성모듈(2003)은 메모리에 기록날짜(recording date)와 관련된 핵심단어를 저장할 수 있다.
얼굴이미지모듈(2001)이 제1 캘린더날짜에 제1의 사용자와 상호작용한 개체의 복수의 얼굴이미지 및 제2 캘린더날짜에 제2의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 실시예에서, 연관성모듈(2003)은 제1 복수의 개체의 각각과 연관하여 제1 캘린더날짜의 표시자(indicator) 및 제2 복수의 개체의 각각과 연관하여 제2 캘린더날짜의 표시자를 저장할 수 있다. 예를 들어, 제1 복수의 개체 또는 제2 복수의 개체 각각의 개체가 검색할 때 이들이 검색 가능하도록 저장될 수 있다. 추가적으로 또는 대안적으로, 제1 캘린더날짜 또는 제2 캘린더날짜가 각각 검색될 때, 제1 개체의 복수의 얼굴이미지 또는 제2 개체의 복수의 얼굴이미지가 검색 가능하도록 표시자는 색인될 수 있다.
연결속성모듈(2002)이 검출된 사람과 관련된 상황정보를 식별하는 실시예에서, 연관성모듈(2003)은 상기 검출된 사람과 연관된 적어도 하나의 기록을 선택하고, 상기 상황정보를 기반으로 적어도 하나의 기록을 업데이트할 수 있다. 예를 들어, 식별된 상황정보는 검출된 사람이 검색될 때 검색 가능하도록 기록(record)에 저장될 수 있다. 추가적으로 또는 대안적으로, 식별된 상황정보는 상황정보가 검색될 때 검출된 사람이 검색 가능하도록 색인될 수 있다.
연결속성모듈(2002)이 시각적 상황정보 표시자를 식별하는 실시예에 있어서, 연관성모듈(2003)은 검출된 사람에 기초하여 상황별 카테고리를 결정하고, 결정된 상황별 카테고리와 상기 시각적 상황정보 표시자를 연결할 수 있다. 예를 들어, 상황별 카테고리는 직업관련 카테고리, 사회적 카테고리, 또는 가족 카테고리일 수 있다. 추가적으로 또는 대안적으로, 연관성모듈(2003)은 방의 상황 또는 상기 방에서 식별된 하나 이상의 사람을 기초로한 위치를 결정할 수 있다.
상기 상황별 카테고리가 검색될 때 표시자가 검색 가능하도록, 연결속성모듈(2002)은 결정된 상황별 카테고리와 함께 시각적 상황정보 표시자를 저장할 수 있다. 추가적으로 또는 대안적으로, 시각적 상황정보 표시자가 검색될 때 상기 상황별 카테고리가 검색 가능하도록, 시각적 상황정보 표시자는 색인될 수 있다.
디스플레이모듈(2004)은, 선택된 연결속성에 대해, 선택된 연결속성을 공유하는 복수의 얼굴이미지의 세트를 디스플레이의 스크린 상에 제시하도록 구성될 수 있다. 예를 들어, 복수의 얼굴이미지의 세트는 가시영상모듈(1704)과 관련하여 기재된 임의의 방법으로 배열될 수 있다. 따라서, 복수의 얼굴이미지의 세트는 페이스 클라우드로서 디스플레이될 수 있다.
일부 실시예에, 제시되는 동안, 공통 연결속성의 발생횟수가 더 높은 얼굴이미지는 공통 연결속성의 발생횟수가 더 낮은 개체의 얼굴이미지 보다 더 큰 현저성을 갖는 것으로 디스플레이될 수 있다. 예를 들어, 더 큰 현저성은, 도 18a와 관련하여 도시된 바와 같이, 얼굴이미지의 제시된 크기로 반영될 수 있다. 추가적으로 또는 대안적으로, 더 큰 현저성은, 도 18c 내지 도 18f와 관련하여 도시된 바와 같이, 디스플레이 상의 초점 위치에 근접한 것으로 반영될 수 있다.
연결속성모듈(2002)이 사용자에게 연결속성의 선택리스트를 제공하는 실시예에 있어서, 디스플레이모듈(2004)은 선택리스트로부터의 선택에 대응하여 디스플레이 상에 얼굴이미지의 표시를 변경할 수 있다. 예를 들어, 디스플레이모듈(2004)은 얼굴이미지를 디스플레이에 추가하고/추가하거나 얼굴이미지를 디스플레이로부터 제거할 수 있다. 공통 연결속성의 발생횟수가 더 높은 얼굴이미지가 더 큰 현저성으로 디스플레이되는 실시예에서, 디스플레이모듈(2004)은 선택에 기반하여 얼굴이미지의 현저성을 보정할 수 있다.
연결속성모듈(2002)이 사운드파일 내의 적어도 하나의 단어를 식별하기 위하여 처리하는 실시예에서, 디스플레이모듈(2004)은, 시간구간으로부터 원격 시간에, 적어도 하나의 핵심단어의 검색입력을 수신할 수 있다. 예를 들어, 디스플레이모듈(2004)은 검색입력을 수신하기 위한 문자박스를 생성할 수 있다. 추가적으로 또는 대안적으로, 디스플레이모듈(2004)은 핵심단어 리스트를 생성하고, 사용자에게 핵심단어 리스트를 디스플레이하여, 사용자가 리스트로부터 하나 이상의 핵심단어를 선택함으로써 검색을 입력할 수 있다.
이러한 실시예에서, 디스플레이모듈(2004)은 적어도 하나의 핵심단어와 적어도 하나의 객체 이미지 사이의 연관성을 찾기 위해 메모리에 접속하고, 웨어러블이미지센서와는 별개로 사용자의 이동통신기기 상에 객체 이미지를 디스플레이할 수 있다. 따라서, 디스플레이모듈(2004)은 웨어러블기기로부터 획득된 이미지의 빠르고 효율적인 검색을 허용할 수 있다. 또한, 디스플레이모듈(2004)은 검색 결과를 제공하기 위한 구성요소의 비일반적 및 비전통적인 조합을 포함하는 결과를 웨어러블이미지센서와는 별개로 이동통신기기 상에 디스플레이할 수 있다. 효율적인 검색과 고유한 구성요소의 조합은 사용자의 경험을 향상시키실 수 있다.
이러한 실시예에서, 디스플레이하는 것은 핵심단어와 각각 연관된 복수의 얼굴이미지를 디스플레이하는 것을 포함한다. 예를 들어, 상기 설명된 바와 같이, 복수의 얼굴이미지의 세트는 가시영상모듈(1704)과 관련하여 기재된 임의의 방법으로 배열될 수 있다. 따라서, 복수의 얼굴이미지의 세트는 페이스 클라우드로서 디스플레이될 수 있다.
얼굴이미지모듈(2001)이 제1 캘린더날짜에 제1의 사용자와 상호작용한 개체의 복수의 얼굴이미지 및 제2 캘린더날짜에 제2의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신하는 실시예에서, 디스플레이모듈(2004)이 제1 캘린더날짜에 대한 상호작용의 리콜을 사용자에 의한 제1 입력요청을 수신할 수 있다. 예를 들어, 디스플레이모듈(2004)은 사용자에게 캘린더를 디스플레이할 수 있고, 제1 입력은 제1 캘린더날짜에 대응하는 스크린 영역과의 사용자 각각의 터치 상호작용의 결과일 수 있다. 제1 입력에 응답하여, 디스플레이모듈(2004)은 제1 복수의 개체의 적어도 일부의 이미지를 사용자에게 디스플레이할 수 있다.
추가적으로 또는 대안적으로, 디스플레이모듈(2004)은 제2 캘린더날짜에 대한 상호작용의 리콜을 사용자에 의한 제2 입력요청을 수신할 수 있다. 제1 입력과 유사하게, 디스플레이모듈(2004)은 사용자에게 캘린더를 디스플레이할 수 있고, 제2 입력은 제2 캘린더날짜에 대응하는 스크린 영역과의 사용자 각각의 터치 상호작용의 결과일 수 있다. 제2 입력에 응답하여, 디스플레이모듈(2004)은 제2 복수의 개체의 적어도 일부의 이미지를 사용자에게 디스플레이할 수 있다.
제1 복수의 개체의 적어도 일부의 이미지 및/또는 제2 복수의 개체의 적어도 일부의 이미지의 디스플레이는 가시영상모듈(1704)과 관련하여 기재된 임의의 방법으로 배열될 수 있다. 따라서, 복수의 얼굴이미지의 세트는 페이스 클라우드로서 디스플레이될 수 있다.
임의의 상기 실시예에서, 추가적으로 또는 대안적으로, 디스플레이모듈(2004)은 제1 캘린더날짜 및 제2 캘린더날짜에 대한 상호작용과 연관된 핵심단어를 사용자에게 제시할 수 있다. 예를 들어, 핵심단어는 연결속성모듈(2002)에 의해 사운드파일(또는 얼굴이미지와 연관된 사운드 데이터)로부터 추출될 수 있다. 또한, 핵심단어는 핵심단어가 추출된 사운드가 녹음된 캘린더날짜에 기초하여 제1 캘린더날짜 및 제2 캘린더날짜와 연관될 수 있다.
추가적으로 또는 대안적으로, 디스플레이모듈(2004)은 사용자에 의한 검색입력을 수신할 수 있고, 상기 검색입력은 적어도 하나의 핵심단어를 포함한다. 예를 들어, 상기 설명된 바와 같이, 디스플레이모듈(2004)은 검색입력을 수신하기 위한 문자박스를 생성할 수 있다. 추가적으로 또는 대안적으로, 디스플레이모듈(2004)은 핵심단어 리스트를 생성하고, 사용자에게 핵심단어 리스트를 디스플레이하여, 사용자가 리스트로부터 하나 이상의 핵심단어를 선택함으로써 검색을 입력할 수 있다. 이러한 실시예에서, 제1 복수의 개체의 적어도 일부 및 제2 복수의 개체의 적어도 일부는 핵심단어 중 적어도 하나와 연관될 수 있다.
임의의 상기 실시예에서, 디스플레이는 웨어러블이미지센서에 무선으로 페어링된 이동통신기기 상에 발생할 수 있다. 예를 들어, 디스플레이모듈(2004)은 상기 기재된 임의의 사용자 인터페이스를 생성하고 생성된 인터페이스를 이동통신기기에 전송할 수 있다.
디스플레이모듈(2004)은 상기 임의의 디스플레이와 상호작용 가능하도록 구성될 수도 있다. 예를 들어, 디스플레이모듈(2004)은 사용자가 특정 얼굴이미지를 페이스 클라우드의 초점이 되도록 구성될 수 있다. 상기 실시예에서, 디스플레이모듈(2004)은 사용자가 특정 얼굴이미지를 클릭, 탭 또는 선택할 수 있게할 수 있다. 이러한 실시예에서, 디스플레이모듈(2004)은 초점 개체의 지정을 수신할 수 있어, 입력은 초점 개체를 유지하는 동안 페이스 클라우드의 재배열을 야기시킬 수 있다.
도 21a은 본 기재에 따른 얼굴이미지를 연결속성에 색인하기 위한 데이터베이스(2100)의 일례를 도시한 것이다. 도 21a에 도시된 바와 같이, 복수의 얼굴이미지(예를 들어 이미지 2101a, 2101b, 2101c, 및 2101d)는 데이터베이스에 저장된다.
얼굴이미지는 빠른 검색을 위해 하나 이상의 연결속성에 색인된다. 도 21a의 실시예에서, 얼굴이미지(2101a, 2101b, 2101c, 및 2101d)는 각각 제1 연결속성(2103a, 2103b, 2103c, 및 2103d) 및 제2 연결속성(2107a, 2107b, 2107c, 및 2107d)과 함께 각각 색인된다. 제1 연결속성은 위치로 도시되고, 제2 연결속성은 사회적 관계로 도시되지만, 연결속성은, 추가적으로 또는 대안적으로, 직업, 직장, 가족관계, 또는 다른 연결속성을 포함할 수 있다.
도 21a의 실시예에 도시된 바와 같이, 제1 연결속성(2103a, 2103b, 2103c, 및 2103d)은 해당하는 발생(occurrence)(2105a, 2105b, 2105c, 및 2105d)에 색인될 수 있고, 제2 연결속성(2107a, 2107b, 2107c, 및 2107d)은 해당하는 발생(2109a, 2109b, 2109c, 및 2109d)에 색인될 수 있다. 예를 들어, 발생(2105a, 2105b, 2105c, 및 2105d)은, 각각 대응하는 위치(2103a, 2103b, 2103c, 및 2103d)에 있는 동안 웨어러블기기에 의한 이미지 내에 캡처된, 대응하는 얼굴이미지(2101a, 2101b, 2101c, 및 2101d)에 도시된 사람의 수를 포함할 수 있다. 발생은 하나 이상의 이미지가 캡처되는 동안의 사람이 캡처된 총 이미지 수 또는 웨어러블기기 사용자와의 총 상호작용 수를 포함할 수 있다. 따라서, 도 21a에서, 얼굴이미지(2101a)와 연관된 사람은 커피숍에서 1개의 이미지로 캡처되었거나 커피숍에서 사용자와 1회 상호작용하는 동안 이미지에 캡처되었다; 얼굴이미지(2101b)와 연관된 사람은 2개의 이미지에서 캡처되었거나 커피숍에서 사용자와 2회 상호작용하는 동안 이미지에 캡처되었다; 얼굴이미지(2101c)와 연관된 사람은 체육관에서 1개의 이미지로 캡처되었거나 체육관에서 사용자와 4회 상호작용하는 동안 이미지에 캡처되었다; 얼굴이미지(2101d)와 연관된 사람은 공원에서 1개의 이미지에 캡처되었거나 공원에서 사용자와 1회 상호작용하는 동안 이미지에 캡처되었다.
다른 실시예에서, 발생(2109a, 2109b, 2109c, 및 2109d)은, 각각 특정 시간기간 동안 웨어러블기기에 의한 이미지에서 캡처된, 각각의 대응하는 얼굴이미지(2101a, 2101b, 2101c, 및 2101d)에 도시된 사람의 수를 포함할 수 있다. 발생은 하나 이상의 이미지가 캡처되는 동안의 사람이 캡처된 총 이미지 수 또는 웨어러블기기 사용자와의 총 상호작용 수를 포함할 수 있다. 따라서, 도 21a에서, 얼굴이미지(2101a)와 연관된 사람은 이번 주 2개의 이미지에 캡처되었거나 이번 주 사용자와 2회 상호작용하는 동안의 이미지에 캡처되었다; 얼굴이미지(2101b)와 연관된 사람은 이번 주 3개의 이미지에서 캡처되었거나 이번 주 사용자와 3회 상호작용하는 동안의 이미지에 캡처되었다; 얼굴이미지(2101c)와 연관된 사람은 이번 주 5개의 이미지에서 캡처되었거나 이번 주 사용자와 5회 상호작용하는 동안의 이미지에 캡처되었다; 얼굴이미지(2101d)와 연관된 사람은 이번주 1개의 이미지에서 캡처되었거나 이번주 사용자와 1회 상호작용하는 동안의 이미지에 캡처되었다. 1주가 시간기간으로 사용되었으나, 1일, 2주, 1달, 6달, 1년 등과 같이 다른 시간기간이 사용될 수 있다.
도 22b는 본 기재에 따른 사운드파일을 추출된 단어 및 객체 이미지에 색인하기 위한 데이터베이스(2120)의 실시예를 도시하는 것이다. 도 21b에 도시된 바와 같이, 복수의 사운드파일(예를 들어 파일(2121a, 2121b, 및 2121c))은 데이터베이스에 저장된다. 사운드파일은 시간구간 동안 웨어러블이미지센서의 부근에서 캡처 되었을 수 있다. 사운드파일은 웨어러블기기의 마이크에 의해 또는 웨어러블이미지센서 이외의 이동통신기기에 의해 캡처 되었을 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 단어(예를 들어, 단어(2123a, 2123b, 및 2123c))는 데이터베이스에 저장될 수 있다. 연결속성모듈(2002)과 관련하여 설명된 바와 같이, 하나 이상의 단어는 복수의 사운드파일로부터 추출될 수 있다.
도 21b에 도시된 바와 같이, 데이터베이스는 복수의 객체 이미지(예를 들어, 이미지(2125a, 2125b, 및 2125c))를 저장할 수 있다. 객체 이미지는 시간구간 동안 웨어러블이미지센서에 의해 캡처 되었을 수 있다. 도 21b에서 무생물의 이미지로 도시되었으나, 데이터베이스는 얼굴이미지를 포함하는 객체 이미지 또는 얼굴이미지인 객체 이미지를 포함할 수 있다. 단어(2123a, 2123b, 및 2123c)는 빠른 검색을 위해 각각 이미지(2125a, 2125b, 및 2125c)에 색인하는데 사용될 수 있다.
도 22c는 본 기재에 따른 얼굴이미지를 캘린더날짜에 색인하기 위한 데이터베이스(2140)의 실시예를 도시한 것이다. 도 21c에 도시된 바와 같이, 복수의 캘린더날짜(예를 들어, 날짜(2141a 및 2141b))는 데이터베이스에 저장되고, 빠른 검색을 위해 복수의 얼굴이미지(예를 들어, 이미지(2145a, 2145b, 2145c, 2145d, 및 2145e))에 색인하는데 사용된다.
도 21c에는 도시되지 않았으나, 데이터베이스(2140)는 얼굴이미지와 연관된 사운드 데이터로부터 핵심단어를 또한 저장할 수도 있다. 상기 저장된 핵심단어는 저장된 날짜에 따라 색인되고/색인되거나 저장된 얼굴이미지를 색인하는데 사용될 수 있다.
이미지 또는 사운드파일이 도 21a 내지 도 21c에 도시되는 곳마다, 이는 이미지 또는 사운드파일 또는 다른 저장부, 또는 이미지 또는 사운드 파일을 설명하는 메타데이터에 대한 포인터(pointer)를 나타내는 것으로 이해될 것이다.
도 22a는 얼굴이미지를 연결속성에 색인하는 방법(2200)의 순서도이다. 방법(2200)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2200)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2200)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2200)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2201단계에서, 프로세서는 사용자와 상호작용한 복수의 개체의 얼굴이미지를 수신할 수 있다. 예를 들어, 프로세서는 사용자가 착용한 이미지센서(예를 들어, 캡처부(710)의 이미지센서(220))로부터 얼굴이미지를 수신할 수 있다.
2203단계에서, 프로세서는 복수의 얼굴이미지 각각에 대한 적어도 하나의 연결속성을 결정하거나 수신할 수 있다. 예를 들어, 도 20의 연결속성모듈(2002)과 관련하여 기재된 바와 같이, 프로세서는 이미지 분석을 사용하여 적어도 하나의 연결속성을 결정하고/결정하거나 사용자로부터의 입력으로 적어도 하나의 연결속성을 수신할 수 있다. 적어도 하나의 연결속성은 위치, 직업, 직장, 가족관계, 및 사회적 관계 중 적어도 하나를 포함할 수 있다.
2205단계에서, 프로세서는 메모리에 복수의 얼굴이미지 중 하나에 대응하여 수신된 적어도 하나의 연결속성과 복수의 얼굴이미지 각각을 연관시킬 수 있다. 도 21a의 실시예에서 도시된 바와 같이, 프로세서는 적어도 하나의 연결속성에 의해 색인된 얼굴이미지를 저장할 수 있다.
일부 실시예에서, 프로세서는 또한 각 개체의 얼굴이미지와 연관된 연결속성의 발생빈도도 저장할 수 있다. 도 21a의 실시예에서 도시된 바와 같이, 프로세서는 발생에 의해 색인된 적어도 하나의 연결속성 및/또는 얼굴이미지를 저장할 수 있다.
2207단계에서, 프로세서는, 선택된 연결속성에 대해, 선택된 연결속성을 공유하는 복수의 얼굴이미지의 세트를 디스플레이 스크린 상에 제시할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 상기 기재된 도 18a 내지 도 18h에 도시된다.
발생이 저장되는 실시예에서, 제시되는 동안, 공통 연결속성의 발생횟수가 더 높은 얼굴이미지는 공통 연결속성의 발생횟수가 더 낮은 개체의 얼굴이미지 보다 더 큰 현저성을 갖는 것으로 디스플레이될 수 있다. 예를 들어, 더 큰 현저성은, 도 18a와 관련하여 도시된 바와 같이, 얼굴이미지의 제시된 크기로 반영될 수 있다. 추가적으로 또는 대안적으로, 더 큰 현저성은, 도 18c 내지 도 18f와 관련하여 도시된 바와 같이, 디스플레이 상의 초점 위치에 근접한 것으로 반영될 수 있다.
일부 실시예에서, 방법(2200)은 추가의 단계를 포함할 수 있다. 예를 들어, 도 20의 디스플레이모듈(2004)과 관련하여 설명된 바와 같이, 방법(2200)은 사용자에게 연결속성의 선택리스트를 제공하는 단계 및 선택리스트로부터의 선택에 대응하여 디스플레이 상에 얼굴이미지의 표시를 변경하는 단계를 포함할 수 있다.
또한, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 임의의 상호작용이 방법(2200)으로 구현될 수 있다. 예를 들어, 복수의 얼굴이미지의 세트는 사용자로부터의 입력에 대응하여 업데이트 되고/되거나 애니메이션화될 수 있다.
도 22b는 사운드파일 내의 단어를 객체 이미지에 색인하는 방법(2210)의 순서도이다. 방법(2210)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2210)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2210)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2210)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2211단계에서, 프로세서는 사용자가 착용한 웨어러블이미지센서로부터 시간구간에서 캡처된 적어도 하나의 이미지를 수신할 수 있다. 예를 들어, 프로세서는 캡처부(710)의 이미지센서(220)로부터 이미지를 수신할 수 있다. 이미지는 객체 이미지를 포함할 수 있다. 일부 실시예에서, 객체 이미지는 얼굴이미지를 포함하거나 얼굴이미지일 수 있다.
2213단계에서, 프로세서는 시간구간 동안 이미지센서 근처에서 캡처된 사운드파일을 수신할 수 있다. 예를 들어, 웨어러블이미지센서를 포함하는 웨어러블기기의 마이크는 사운드파일을 캡처할 수 있다. 추가적으로 또는 대안적으로, 웨어러블이미지센서 이외의 이동통신기기는 사운드파일을 캡처하고 상기 파일을 프로세서로 전송할 수 있다.
2215단계에서, 프로세서는 사운드파일 내의 적어도 하나의 단어를 식별하기 위해 사운드파일을 처리할 수 있다. 예를 들어, 연결속성모듈(2002)과 관련하여 기재된 바와 같이, 프로세서는 파일을 처리할 수 있다.
2217단계에서, 프로세서는 단어와 객체 이미지 사이의 연관성을 메모리에 저장할 수 있다. 예를 들어, 도 21b의 실시예에서 도시된 바와 같이, 프로세서는 적어도 하나의 단어에 의해 색인된 객체 이미지를 저장할 수 있다.
2219단계에서, 프로세서는 적어도 하나의 핵심단어의 검색 입력을 시간구간으로부터 원격 시간에 수신할 수 있다. 본 발명에 사용된 바와 같이, 본원에 사용된 "원격"은 예를 들어 적어도 1분, 5분, 15분, 1시간, 1일, 1주 등과 같이 시간구간 보다 적어도 임계치 시간 후인 모든 시간을 의미한다. 디스플레이모듈(2004)과 관련하여 설명된 바와 같이, 프로세서는 검색입력을 수신하기 위한 문자박스(예를 들어, 웨어러블기기 또는 이동통신기기 상에 디스플레이하기 위한)를 생성하고/생성하거나 핵심단어 리스트를 생성하고 사용자에게 핵심단어 리스트를 디스플레이하여(예를 들어, 웨어러블기기 또는 이동통신기기를 통해), 사용자가 리스트로부터 하나 이상의 핵심단어를 선택함으로써 검색을 입력할 수 있다.
2221단계에서, 프로세서는 적어도 하나의 핵심단어와 적어도 하나의 객체 이미지 사이의 연관성을 찾기 위해 메모리에 접속할 수 있다. 예를 들어, 프로세서는 데이터베이스에 저장되고 적어도 하나의 핵심단어에 색인된 적어도 하나의 객체 이미지를 획득하기 위해 색인된 핵심단어를 검색할 수 있다.
2223단계에서, 프로세서는 웨어러블이미지센서와는 별개로 사용자의 이동통신기기 상에 객체 이미지를 디스플레이할 수 있다. 예를 들어, 프로세서는 디스플레이하기 위해 객체 이미지를 이동통신기기로 전송할 수 있다.
일부 실시예에서, 디스플레이는 웨어러블이미지센서에 무선으로 페어링된 이동통신기기 상에 발생한다. 예를 들어, 이동통신기기는 블루투스(bluetooth®)와 같은 무선주파수 전송을 통해 또는 인터넷과 같은 컴퓨터 네트워크를 통해 웨어러블센서에 페어링될 수 있다.
일부 실시예에서, 디스플레이하는 단계는 핵심단어와 각각 연관된 복수의 얼굴이미지를 디스플레이하는 단계를 포함할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
또한, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 임의의 상호작용은 방법(2220)으로 구현될 수 있다. 예를 들어, 객체 이미지(또는 복수의 얼굴이미지)는 사용자로부터의 입력에 대응하여 업데이트 되고/되거나 애니메이션될 수 있다.
도 22c는 얼굴이미지를 캘린더날짜에 색인하는 방법(2230)의 순서도이다. 방법(2230)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2230)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2230)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2230)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예, 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2231단계에서, 프로세서는 사용자가 착용한 웨어러블이미지센서로부터 제1 캘린더 날짜에 제1의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신할 수 있다. 예를 들어, 프로세서는 캡처부(710)의 이미지센서(220)로부터 제1 복수의 얼굴이미지를 수신할 수 있다.
2233단계에서, 프로세서는 제1 복수의 개체의 각각과 연관하여 제1 캘린더날짜의 표시자를 저장할 수 있다. 예를 들어, 도 20과 관련하여 설명된 바와 같이, 이미지센서(220) 또는 얼굴이미지모듈(2001)은 복수의 이미지를 제1 캘린더날짜와 스탬핑할 수 있다.
2235단계에서, 프로세서는 상기 사용자가 착용한 웨어러블이미지센서로부터 제2 캘린더날짜에 제2의 사용자와 상호작용한 개체의 복수의 얼굴이미지를 수신할 수 있다. 예를 들어, 프로세서는 캡처부(710)의 이미지센서(220)로부터 제2 복수의 얼굴이미지를 수신할 수 있다.
2237단계에서, 프로세서는 제2 복수의 개체의 각각과 연관하여 제2 캘린더날짜의 표시자를 저장할 수 있다. 예를 들어, 도 20과 관련하여 설명된 바와 같이, 이미지센서(220) 또는 얼굴이미지모듈(2001)은 복수의 이미지를 제2 캘린더날짜와 스탬핑할 수 있다. 날짜는 1일, 1개월, 및 1년 또는 1개월과 1년과 같이 이의 서브세트, 또는 단지 1년, 1 주일 중 1일 등을 포함할 수 있다.
일부 실시예에서, 프로세서는 얼굴이미지와 연관된 사운드 데이터를 또한 수신할 수 있다. 예를 들어, 웨어러블이미지센서를 포함하는 웨어러블기기의 마이크는 사운드 데이터를 캡처할 수 있다. 추가적으로 또는 대안적으로, 웨어러블이미지센서 이외의 이동통신기기는 사운드 데이터를 캡처고 상기 데이터를 프로세서로 전송할 수 있다.
프로세서가 사운드 데이터를 수신하는 실시예에서, 프로세서는 사운드 데이터로부터 핵심단어를 또한 추출할 수 있다. 예를 들어, 연결속성모듈(2002)과 관련하여 기재된 바와 같이, 프로세서는 파일을 처리할 수 있다.
프로세서가 핵심단어를 추출하는 실시예에서, 프로세서는 또한 메모리에 기록날짜와 연관되는 핵심단어를 저장할 수 있다. 예를 들어, 도 20과 관련하여 설명된 바와 같이, 얼굴이미지모듈(2001)은 제1 캘린더날짜 또는 제2 캘린더날짜일 수 있는 기록날짜와 사운드 데이터를 스탬핑할 수 있다.
2239단계에서, 프로세서는 제1 캘린더날짜에 대한 상호작용의 리콜을 위한 사용자에 의한 제1 입력요청을 수신할 수 있다. 예를 들어, 프로세서는 입력을 수신하고/수신하거나 캘린더를 사용자에게 디스플레이(예를 들어, 웨어러블기기 또는 이동통신기기를 통해)하기 위해 문자박스(예를 들어, 웨어러블기기 또는 웨어러블이미지센서 이외의 이동통신기기 상에 디스플레이하기 위한)를 생성하여, 제1 입력은 제1 캘린더날짜에 해당하는 스크린 영역과 사용자 각각의 터치 상호작용의 결과이다.
2241단계에서, 프로세서는, 제1 입력에 응답하여, 제2 복수의 개체의 적어도 일부의 이미지를 사용자에게 디스플레이할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
프로세서가 핵심단어를 저장하는 실시예에서, 프로세서는 또한 제1 캘린더날짜의 상호작용과 관련된 핵심단어를 사용자에게 제공할 수 있다. 예를 들어, 프로세서는 리스트로 또는 단어 클라우드와 같이 그래프로 핵심단어를 제공할 수 있다.
2243단계에서, 프로세서는 제2 캘린더날짜에 상호작용의 리콜을 위해 사용자에 의한 제2 입력요청을 수신할 수 있다. 예를 들어, 프로세서는 입력을 수신하고/수신하거나 캘린더를 사용자에게 디스플레이(예를 들어, 웨어러블기기 또는 이동통신기기를 통해)하기 위해 문자박스(예를 들어, 웨어러블기기 또는 웨어러블이미지센서 이외의 이동통신기기 상에 디스플레이하기 위한)를 생성하여, 제2 입력은 제2 캘린더날짜에 해당하는 스크린 영역과 사용자 각각의 터치 상호작용의 결과이다.
2245단계에서, 프로세서는, 제2 입력에 응답하여, 제1 복수의 개체들 중 적어도 일부의 이미지를 사용자에게 디스플레이할 수 있다. 예를 들어, 도 17의 가시영상모듈(1704)과 관련하여 설명한 바와 같이, 프로세서는 페이스 클라우드를 생성할 수 있다. 생성된 페이스 클라우드의 예는 도 18a 내지 도 18h에서 도시되고 설명되었다.
프로세서가 핵심단어를 저장하는 실시예에서, 프로세서는 또한 제2 캘린더날짜의 상호작용과 관련된 핵심단어를 사용자에게 제공할 수 있다. 예를 들어, 프로세서는 리스트로 또는 단어 클라우드와 같이 그래프로 핵심단어를 제공할 수 있다.
또한, 도 17의 가시영상모듈(1704)과 관련하여 상기 기재된 임의의 상호작용은 방법(2230)으로 구현될 수 있다. 예를 들어, 객체 이미지(또는 복수의 얼굴이미지)는 사용자로부터의 입력에 대응하여 업데이트 되고/되거나 애니메이션화될 수 있다.
일부 실시예에서, 방법(2230)은 추가의 단계를 포함할 수 있다. 예를 들어, 프로세서가 핵심단어를 저장하는 실시예에서, 방법(2230)은 사용자에 의한 검색입력을 수신하는 단계를 포함할 수 있고, 상기 검색입력은 적어도 하나의 핵심단어를 포함한다. 상기 설명된 바와 같이, 프로세서는 검색입력을 수신하고/수신하거나, 핵심단어 리스트를 생성하고, 캘린더를 사용자에게 디스플레이(예를 들어, 웨어러블기기 또는 이동통신기기를 통해)하기 위해 문자박스(예를 들어, 웨어러블기기 또는 웨어러블이미지센서 이외의 이동통신기기 상에 디스플레이하기 위한)를 생성하여, 사용자가 리스트로부터 하나 이상의 핵심단어를 선택함으로써 검색을 입력할 수 있다. 2241단계에서 디스플레이된 제1 복수의 개체의 적어도 일부 및/또는 2245단계에서 디스플레이된 제2 복수의 개체의 적어도 일부는 핵심단어 중 적어도 하나와 연관될 수 있다.
도 22d는 얼굴이미지를 이미지로부터 추출된 상황정보에 색인하는 방법(2250)의 순서도이다. 방법(2250)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2250)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2250)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2250)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2251단계에서, 프로세서는 적어도 한 사람을 검출하기 위해 복수의 이미지를 분석할 수 있다. 예를 들어, 프로세서는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서(예를 들어, 캡처부(710)의 이미지센서(220))로부터 복수의 이미지를 수신할 수 있다. 예를 들어, 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 프로세서는 이미지 분석을 이용하여 적어도 한 사람을 검출할 수 있다.
2253단계에서, 프로세서는 상기 검출된 사람과 연관된 적어도 하나의 기록(record)을 선택할 수 있다. 예를 들어, 사람식별모듈(1701)과 관련하여 상기 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 검출된 적어도 한 사람을 식별할 수 있다. 적어도 하나의 기록은 상기 식별에 기초하여 선택될 수 있다.
2255단계에서, 프로세서는 상기 검출된 사람과 연관된 상황정보를 식별하기 위하여 복수의 이미지를 분석할 수 있다. 예를 들어 연결속성모듈(2002)과 관련하여 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 상황정보를 식별할 수 있다.
상황정보는, 적어도 부분적으로, 검출된 사람과 관련된 복수의 이미지에서 나타나는 제2의 사람을 기반으로 한다. 예를 들어, 사람식별모듈(1701)과 관련하여 상기 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 제2사람을 식별할 수 있다. 상황정보는 '가족', '친구', '부자지간' 등과 같은 검출된 사람과 제2사람 사이에 판단된 관계를 포함할 수 있다. 추가적으로 또는 대안적으로, 상황정보는 제2사람에 대한 검출된 사람의 판단된 기분 및/또는 검출된 사람에 대한 제2사람의 판단된 기분을 포함할 수 있다. 일례로, 상황정보는 검출된 사람이 제2사람에게 눈을 굴리면, '분노함(exasperated)', 제2사람이 검출된 사람에게 이마를 찌푸리고 소리를 지르면, '화남(angry)' 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 상황정보는, 적어도 부분적으로, 검출된 사람이 입고 있는 유니폼을 기반으로 할 수 있다. 예를 들어, 검출된 사람이 경찰 유니폼을 입고 있는 경우, 상황정보는 '경찰', '경찰관' 등을 포함할 수 있다. 다른 실시예에서, 검출된 사람이 파일럿 유니폼을 입고 있는 경우, 상황정보는 '파일럿' 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 상황정보는, 적어도 부분적으로, 검출된 사람이 나타나는 방을 기반으로 할 수 있다. 예를 들어, 검출된 사람이 체육관에 있는 경우, 상황정보는 '체육관', '운동' 등을 포함할 수 있다. 다른 실시예에서, 검출된 사람이 사무실에 있는 경우, 상황정보는 '사무실', '동료' 등을 포함할 수 있다.
상기 임의의 실시예들은 조합될 수 있다. 예를 들어, 검출된 사람이 나타나는 방이 회의실이고 제2사람이 보스로 식별된 경우, 상황정보는 '회의', '중요한 미팅' 등을 포함할 수 있다. 다른 실시예에서, 검출된 사람이 나타나는 방이 경찰서이고 유니폼은 경찰 유니폼인 경우, 상황정보는 '범죄 조사서(crime report)' 등을 포함할 수 있다. 또 다른 실시예에서, 유니폼은 정장이고 제2사람이 ceO로 식별된 경우, 상황정보는 '업무회의', '고객상담', '중역회의' 등을 포함할 수 있다.
2257단계에서, 프로세서는 상기 상황정보를 기반으로 적어도 하나의 기록을 업데이트할 수 있다. 예를 들어, 프로세서는 적어도 하나의 기록과 연관하여 상황정보를 저장하고/저장하거나 적어도 하나의 기록을 상황정보에 의해 색인할 수 있다.
도 22e는 이미지로부터 추출된 시각적 상황정보 표시자를 사람과 관련된 상황별 카테고리에 색인하는 방법(2260)의 순서도이다. 방법(2260)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2260)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2260)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2260)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2261단계에서, 프로세서는 적어도 한 사람을 검출하기 위해 복수의 이미지를 분석할 수 있다. 예를 들어, 프로세서는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서(예를 들어 캡처부(710)의 이미지센서(220))로부터 복수의 이미지를 수신할 수 있다. 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 프로세서는 이미지 분석을 이용하여 적어도 한사람 검출할 수 있다.
2263단계에서, 프로세서는 검출된 사람을 기반으로 상황별 카테고리를 결정할 수 있다. 예를 들어, 사람식별모듈(1701)과 관련하여 상기 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 검출된 적어도 한 사람을 식별할 수 있다. 상황별 카테고리는 상기 식별을 기반으로 선택될 수 있다.
상황별 카테고리는 업무관련일 수 있다. 예를 들어, 상황별 카테고리는 '미팅', '컨퍼런스' 등과 같은 이벤트;'동료', '보스' 등과 같은 사람; '사무실', '휴게실' 등과 같은 장소 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 상황별 카테고리는 사회적 카테고리일 수 있다. 예를 들어, 상황별 카테고리는 '커피', '점심' 등과 같은 이벤트; '친한 친구', '지인' 등과 같은 사람; '커피숍', '서브웨이(subway)'등과 같은 장소 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 상황별 카테고리는 가족 카테고리일 수 있다. 예를 들어, 상황별 카테고리는 '저녁', '가족여행' 등과 같은 이벤트; '부모', '형제' 등과 같은 사람; '집', '할머니 집' 등과 같은 장소 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 상황별 카테고리는 방의 상황 또는 방에서 식별된 하나 이상의 사람을 기반으로 할 수 있다. 예를 들어, 방은 침실로 식별하여 가족 카테고리로 선택될 수 있고, 사무실 빌딩으로 식별되어 직업관련 카테고리로 선택될 수 있다.
2265단계에서, 프로세서는 시각적 상황정보 표시자를 식별하기 위하여 복수의 이미지를 분석할 수 있다. 예를 들어 얼굴이미지모듈(2001)과 관련하여 상기 기술한 바와 같이, 프로세서는 이미지 분석을 이용하여 시각적 상황정보 표시자를 식별할 수 있다.
시각적 상황정보 표시자는 객체, 사람, 또는 상황별 카테고리와 관련된 제스처를 포함할 수 있다. 예를 들어, 스테이플러(stapler), 보스 또는 타이핑은 모두 직업관련 상황별 카테고리와 연관될 수 있다. 다른 실시예에서, 스포츠 게임 또는 이벤트를 위한 티켓, 친구, 또는 웃음은 모두 사회적 카테고리와 연관될 수 있다. 또 다른 실시예에서, 장난감, 형제, 또는 포옹은 모두 가족 카테고리와 연관될 수 있다.
2267단계에서, 프로세서는 결정된 상황별 카테고리와 상기 시각적 상황정보 표시자를 연결할 수 있다. 예를 들어, 프로세서는 결정된 상황별 카테고리와 연관하여 시각적 상황정보 표시자를 저장할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 시각적 상황정보 표시자를 결정된 상황별 카테고리에 의해 색인하고/색인하거나 결정된 상황별 카테고리를 시각적 상황정보 표시자에 의해 색인할 수 있다.
자동객체비교(automatic object comparison)
일부 실시예에서, 본 기재의 웨어러블기기는 자동객체비교를 제공할 수 있다. 예를 들어, 기기는 자동으로 2개의 객체를 식별하고, 상기 2개의 객체의 식별에 관련된 정보를 조회하고, 비교를 디스플레이하여, 사용자가 두 개의 객체 사이의 차이를 확인할 수 있도록 할 수 있다. 조회를 수행함으로써, 웨어러블기기는 수동적이고 주관적인 형태의 비교와 비교하여 보다 빠르고 정확한 비교를 제공할 수 있다.
또한, 기존의 사용자 인터페이스를 사용하는 대신, 본 기재의 실시예는 비교를 자동으로 수행할 수 있는 특정 트리거를 사용한다. 기존의 인터페이스는 일반적으로 트리거-기반이 아닌 문자-기반이기 때문에 빠른 자동비교를 위해 사용하기는 어렵다. 따라서, 본 기재의 실시예는 사용자에게 조작을 용이하게 함으로써 웨어러블기기에 대한 개선된 사용자 경험을 제공할 수 있다.
도 23은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(2300)의 실시예의 일례를 도시한 것이다. 메모리(2300)에는 객체이미지모듈(2301), 조회모듈(2302), 비교모듈(2303), 및 디스플레이모듈(2304)이 포함된다. 모듈(2301, 2302, 2303, 및 2304)은 웨어러블기기에 포함된 적어도 하나의 처리장치, 예를 들어, 프로세서(210)에 의해 실행하기 위한 소프트웨어 명령을 포함할 수 있다. 일부 실시예에서, 메모리(2300)는 웨어러블캡처부(710)의 이미지센서(220)와 무선으로 페어링되도록 구성된 이동통신기기(예를 들어 스마트폰)에 내재되는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
객체이미지모듈(2301), 조회모듈(2302), 비교모듈(2303), 및 디스플레이모듈(2304)은 자동객체비교를 수행할 뿐만 아니라 상기 비교를 특정 디스플레이를 허용하도록 협력할 수 있다. 메모리(2300)는 상기 기재된 도 6의 메모리(550)로부터 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모니터링모듈(603)은 도 23의 객체이미지모듈(2301), 조회모듈(2302), 비교모듈(2303), 및 디스플레이모듈(2304)과 함께 또는 동시에 작동될 수 있다.
객체이미지모듈(2301)은 복수의 이미지 중 적어도 하나로부터 사용자에 의해 지시된 2개의 상이한 객체의 존재를 결정하도록 구성될 수 있다, 예를 들어, 이미지는 사용자의 환경으로부터 이미지를 캡처하도록 구성된 웨어러블이미지센서(예를 들어 캡처부(710)의 이미지센서(220))로부터 일 수 있다.
일부 실시예에서, 객체이미지모듈(2301)은 적어도 2개의 상이한 객체를 포함하는 이미지를 유지하면서 적어도 2개의 상이한 객체를 포함하지 않는 이미지센서(220)에 의해 캡처된 이미지를 폐기할 수 있다. 예를 들어, 객체이미지모듈(2301)은 이미지에 존재하는 객체를 결정하기 위하여 이미지 분석을 적용할 수 있다.
객체이미지모듈(2301)은 임의의 공지의 기술을 이용하여 수신된 이미지에서 객체를 검출할 수 있다. 예를 들어, 객체이미지모듈(2301)은 현재 수신된 이미지에 대한 이미지처리를 수행하고, 수신된 이미지가 메모리에 이전에 저장된 객체의 이미지에 대응하는지를 결정할 수 있다. 따라서, 객체이미지모듈(2301)은 픽셀단위 매칭을 수행할 수 있다. 다른 실시예에서, 객체이미지모듈(2301)은 하나 이상의 분류기(또는 케스케이드 분류기)를 사용하여 이미지에 포함된 객체를 검출할 수 있다. 추가적으로 또는 대안적으로, 객체이미지모듈(2301)은 이미지에 포함된 객체를 검출하기 위하여 뉴럴네트워크을 사용할 수 있다. 또한, 객체이미지모듈(2301)은 뉴럴네트워크을 사용하여 이미지로부터의 복수의 특징(예를 들어, 특징 세트)을 도출하고, 도출된 특징(또는 특징 세트)을 객체의 검출과 관련된 특징에 대해 맵핑을 할 수 있다. 상기 맵핑은 간단한 상관관계 또는 뉴럴네트워크와 같은 보다 정교한 기술을 사용하여 수행될 수 있다.
임의의 실시예에서, 검출은, 예를 들어 뉴럴네트워크로부터의 출력된; 매칭 픽셀, 특징 등의 백분율에 기초하여 계산된; 관련확률(associated probability)을 가질 수 있다. 따라서, 객체이미지모듈(2301)은 객체 검출이 임계치 초과의 관련확률을 갖는 경우에만 검출이 종료될 수 있다. 또한, 객체이미지모듈(2301)은 검출이 결정되지 않은 경우, 예를 들어 제1 임계치는 초과하지만 제2의 높은 임계치 미만인 경우 추가의 검출기술을 적용할 수 있다. 상기 실시예에서, 객체이미지모듈(2301)은 분류기를 적용하고, 분류기가 결정 불가능한 확률로 검출을 생성하는 경우, 하나 이상의 추가의 분류기 및/또는 뉴럴네트워크를 적용하여 하나 이상의 추가의 검출확률을 생성할 수 있다. 추가의 검출확률에 기초하여, 예를 들어 제2 임계치를 초과하는 경우, 객체이미지모듈(2301)은 검출을 완료할 수 있다. 완료되지 않은 검출은 폐기 될 수 있다.
임의의 실시예에서, 이미지는 적어도 2개의 상이한 객체를 포함할 수 있다. 따라서, 객체이미지모듈(2301)은 객체를 포함하는 바운딩박스를 식별하기 위해 YOLO(You Only Look Once) 또는 SSd(Single-Shot detector)와 같은 바운딩박스구조를 사용할 수 있다. 예를 들어, 객체이미지모듈(2301)이 바운딩박스구조를 사용하고 객체로 분류된 바운딩박스를 수신하지 않거나 임계치 미만(예, 50% 미만, 40% 미만, 25% 미만, 10% 미만, 또는 5% 미만 등)으로 객체분류(object classification)를 갖는 바운딩박스를 수신하는 경우, 객체이미지모듈(2301)은 객체를 포함하지 않는 것으로 이미지를 폐기할 수 있다. 유사하게, 객체이미지모듈(2301)이 바운딩박스구조를 사용하고, 하나의 객체만이 이미지에 존재하거나 이미지 내의 모든 객체가 동일한 객체로 분류되도록 복수의 바운딩박스를 수신한 경우, 객체이미지모듈(2301)은 적어도 2개의 상이한 객체를 포함하지 않는 이미지는 폐기할 수 있다. 반면에, 객체이미지모듈(2301)이 바운딩박스구조를 사용하고 객체 그러나 동일한 객체는 아닌 것으로 분류된 복수의 바운딩박스를 수신하거나, 임계치 초과(예, 50% 초과, 40% 초과, 25% 초과, 10% 초과, 또는 5% 초과 등)하는 객체분류를 갖는 복수의 바운딩박스를 수신하는 경우, 객체이미지모듈(2301)은 상이한 객체를 포함하는 복수의 바운딩박스에 의해 정의된 이미지의 일부를 검출할 수 있다.
임의의 실시예에서, 수신된 이미지는 크기, 형상, 및 내용이 다를 수 있다. 예를 들어, 일부 실시예에서, 넓은 풍경(예를 들어 복수의 개체, 또는 개체 및 그의 주변환경)을 포함하는 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부가 잘릴 수 있다. 다른 실시예에서, 수신된 이미지는 이러한 넓은풍경(예, 복수의 개체, 또는 개체 및 그의 주변환경)을 포함할 수 있다. 또 다른 실시예에서, 수신된 이미지는 얼굴, 얼굴의 일부, 얼굴사진 (예, 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부를 포함할 수 있다. 이미지는 제품과 같은 무생물을 포함하는 부분을 포함하도록 잘릴 수도 있다.
조회모듈(2302)은 상기 2개의 상이한 객체를 확인하기 위하여 2개의 상이한 객체의 조회를 수행하도록 구성될 수 있다. 예를 들어, 조회모듈(2302)은 각 객체 또는 객체를 포함하는 이미지의 하나 이상의 부분, 예를 들어 이미지를 자른 후 남아있는 부분을 포함하는 이미지를 이용하여 이미지 검색을 하여 각 객체와 관련된 바운딩박스만을 포함하도록 할 수 있다. 잘린 부분은 바운딩박스와 자르기 사이에 버퍼를 포함할 수 있다.
추가적으로 또는 대안적으로, 객체이미지모듈(2301)로부터 분류기, 뉴럴네트워크, 또는 기타 기술 또는 이의 조합에 의해 생성된 식별은 조회를 수행하기 위해 사용될 수 있다. 예를 들어, 조회모듈(2302)은 조회를 수행하기 위해, 객체를 포함하는 이미지(또는 이의 일부분)를 함께 이용하거나 대신에 객체를 식별하는 하나 이상의 텍스트 문자열을 사용할 수 있다.
조회모듈(2302)은 2개의 상이한 객체 각각에 대한 조회를 개별적으로 수행할 수 있다. 또한, 조회모듈(2302)은 2개의 상이한 객체 각각에 대한 조회를 동시에(in parallel) 수행할 수 있다. 본 발명에 사용된 바와 같이, "동시에(in parallel)"는, 기본구조(기존의 프로세서와 같은)가 실행 동안 작업처리(thread) 사이에 스위칭을 요구하더라고, 다중작업처리(multithreading), 병렬 컴퓨팅(parallel computing), 또는 동시에 태스크를 수행하기 위해 알려진 기타 기술을 의미한다.
일부 실시예에서, 2개의 상이한 객체는 사용자의 적어도 한 손에 유지될 수 있다. 따라서, 하기 설명되는 도 24a에 도시된 바와 같이, 2개의 상이한 객체를 확인하기 위해 2개의 상이한 객체에 대한 조회는 사용자의 손에 있는 2개의 상이한 객체의 존재에 기초하여 트리거될 수 있다. 추가적으로 또는 대안적으로, 하기 설명되는 도 24b에 도시된 바와 같이, 2개의 상이한 객체를 확인하기 위해 2개의 상이한 객체에 대한 조회를 수행하는 것은 사용자에 의해 지시된 2개의 상이한 객체에 기초하여 트리거될 수 있다.
트리거와 함께 기재된 임의의 실시예에서, 조회모듈(2302) 및/또는 이미지 모듈(2301)은 트리거를 검출하기 위해 이미지 분석을 사용할 수 있다. 따라서, 하나 이상의 분류기 및/또는 뉴럴네트워크는 사용자의 손(또는 다른 신체부분)을 확인하고, 그로부터 제스처를 판단하기 위해 사용될 수 있다. 예를 들어, 사용자의 손이 2개의 상이한 객체를 잡고 있는 것으로 확인되고 분류되었을 때, 또는 사용자의 손(또는 손가락)이 2개의 상이한 객체를 가르키고 있는 것으로 확인되고 분류되었을 때, 이미지 분석은 트리거를 생성할 수 있다.
제스처-기반 트리거에 추가적으로 또는 대안적으로, 2개의 상이한 객체를 확인하기 위해 2개의 상이한 객체에 대한 조회를 수행하는 것은 사용자로부터 입력을 수신하는 것에 기초하여 트리거될 수 있다. 예를 들어, 사용자로부터의 입력은 제스처, 음성커맨드 및/또는 눌린 버튼을 포함할 수 있다. 입력은 웨어러블기기 및/또는 사용자와 연관된 이동통신기기로부터 수신될 수 있다. 입력이 제스처-기반 트리거와 조합되는 실시예에서, 입력은 사용자가 자동객체비교가 수행되기를 원한다는 것을 확인하도록 기능할 수 있다. 예를 들어, 조회모듈(2302) 및/또는 이미지 모듈(2301)은 트리거를 검출하고 커맨드(웨어러블기기 및/또는 사용자와 연관된 이동통신기기로)를 전송하여 사용자가 확인하도록 한다.
일부 실시예에서, 2개의 상이한 객체의 확인(identity)을 확인하기 위해 2개의 상이한 객체에 대한 조회를 수행하는 것은 서로 다른 객체 각각의 적어도 하나의 이미지에 대한 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 상기 설명된 바와 같이, 조회모듈(2302)은 인터넷 이미지 검색 및/또는 인터넷 문자 검색을 수행할 수 있다.
조회모듈(2302)은 또한 상기 2개의 상이한 객체에 대한 설명정보의 조회를 수행하도록 구성될 수 있다. 예를 들어, 조회모듈(2302)은 각 객체, 또는 예를 들어 각 객체와 연관된 바운딩박스만을 포함하도록 이미지 자르기 후 남은 부분과 같은 객체를 포함하는 이미지의 하나 이상의 부분을 포함하는 이미지를 이용하여 이미지 검색을 수행할 수 있다. 잘린 부분은 바운딩박스와 자르기 사이에 버퍼를 포함할 수 있다.
추가적으로 또는 대안적으로, 상기 기재된 제1 조회로부터 생성된 확인(identity)은 설명정보에 대한 조회를 수행하기 위해 사용될 수 있다. 예를 들어, 조회모듈(2302)은 설명정보에 대한 조회를 수행하기 위해 객체를 포함하는 이미지(또는 이의 일부분)를 사용하는 것 이외에 또는 이 대신에 확인(identity)은 포함하는 하나 이상의 텍스트 문자열을 사용할 수 있다.
조회모듈(2302)은, 상기 기재된 바와 같이, 확인조회 및 설명정보 조회를 별도로 수행할 수 있다. 또한, 조회모듈(2302)은 조회를 동시에 수행할 수 있다. 예를 들어, 객체이미지모듈(2301)로부터의 이미지 검색 및/또는 분류기의 사용, 뉴럴네트워크, 또는 이의 조합은 2개의 상이한 객체의 확인을 생성할 뿐만 아니라 이에 대한 설명정보를 생성할 수 있다. 추가적으로 또는 대안적으로, 객체를 식별하는 하나 이상의 텍스트 문자열은 2개의 상이한 객체의 확인조회뿐만 아니라 이에 대한 설명정보 조회를 수행하는데 사용될 수 있다.
일부 실시예에서, 2개의 상이한 객체에 대한 설명정보 조회를 수행하는 것은 제품리뷰의 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 상기 설명된 바와 같이, 조회모듈(2302)은 상이한 객체의 확인을 사용하여 제품리뷰를 색인한 것으로 식별되거나 포함하는 것으로 식별된 하나 이상의 인터넷-기반 소스의 문자 검색을 수행할 수 있다. 제품리뷰를 색인한 것으로 식별되거나 포함하는 것으로 식별된 인터넷-기반 소스는 온라인 상점(Amazon®, WAl-Mart® 등과 같은), SNS(facebook®, Twitter® 등과 같은), 리뷰 웹사이트(review aggregator, consumer ReportsTM, CNeT® 등과 같은) 등을 포함할 수 있다.
추가적으로 또는 대안적으로, 2개의 상이한 객체에 대한 설명정보 조회를 수행하는 것은 하나 이상의 SNS로 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 상기 설명된 바와 같이, 조회모듈(2302)은 상이한 객체의 확인(identity)을 이용하여 하나 이상의 SNS의 문자 검색을 수행할 수 있다.
추가적으로 또는 대안적으로, 2개의 상이한 객체에 대한 설명정보 조회를 수행하는 것은 2개의 상이한 객체 중 적어도 하나에 대한 식별된 문자의 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 조회모듈(2302)은 객체에 대해 식별된(예를 들어, 광학적 문자인식(optical character recognition)을 이용하여) 문자를 사용하여 하나 이상의 인터넷-기반 소스의 문자 검색을 수행할 수 있다. 객체에 대한 문자는 상기 기재된 바와 같이, 이미지 모듈(2301)에 의한 식별 동안 및/또는 확인조회 동안 식별될 수 있다.
추가적으로 또는 대안적으로, 2개의 상이한 객체에 대한 설명정보 조회를 수행하는 것은 2개의 상이한 객체 중 적어도 하나에 대해 확인된 식생활정보의 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 조회모듈(2302)은 상기 기재된 객체에 대해 식별된(예를 들어, 광학적 문자인식을 이용하여) 식생활정보 및/또는 확인조회 동안 획득된 식생활정보를 이용하여 하나 이상의 인터넷-기반 소스의 문자 검색을 수행할 수 있다.
추가적으로 또는 대안적으로, 2개의 상이한 객체에 대한 설명정보 조회를 수행하는 것은 2개의 상이한 객체 중 적어도 하나의 일부를 판단하기 위한 인터넷 검색을 수행하는 것을 포함할 수 있다. 예를 들어, 상기 설명된 바와 같이, 조회모듈(2302)은 상이한 객체의 확인을 이용하여 상점으로 식별된 또는 가격을 포함하는 것으로 식별된 하나 이상의 인터넷-기반 소스의 문자 검색을 수행할 수 있다. 상점으로 식별된 인터넷-기반 소스는 Amazon®, WAl-Mart® 등을 포함할 수 있고, 가격을 포함하는 것으로 식별된 인터넷-기반 소스는 Google® Shopping, Price.com 등을 포함할 수 있다.
비교속성(2303)은 상기 2개의 상이한 객체에 대한 설명정보를 비교하도록 구성될 수 있다. 제품 평가 및/또는 리뷰, SNS 언급, 검색 엔진 결과, 식생활정보, 가격 등과 같은 조회모듈(2302)에 의해 획득된 임의의 설명정보는 비교에 사용될 수 있다. 일부 실시예에서, 상기 2개의 상이한 객체에 대한 설명정보를 비교하는 것은 2개의 상이한 객체들 각각의 공통속성을 분리하고 적어도 하나의 공통속성에 대한 정보를 수집하는 것을 포함할 수 있다.
디스플레이모듈(2304)은 사용자가 2개의 상이한 객체 사이의 차이점을 확인할 수 있게 하는 방식으로 2개의 상이한 객체의 비교에 대한 정보를 디스플레이하도록 구성될 수 있다. 예를 들어, 사용자 인터페이스는 스크린 상에, 예를 들어 스크린의 반대편에, 각 객체의 중복되지 않는 이미지를 포함할 수 있다. 사용자 인터페이스는 또한, 대응하는 객체에 공간적으로 근접한 조회된 확인(identity) 및/또는 조회된 설명정보를 더 포함할 수 있다. 조회된 확인 및/또는 조회된 설명정보는 시각적으로 및/또는 문자로 표현될 수 있다.
임의의 상기 실시예에서, 2개의 상이한 객체의 비교에 대한 정보를 디스플레이하는 것은 2개의 상이한 객체의 비교에 대한 정보를 이동통신기기로 전송하는 것을 포함할 수 있다. 예를 들어, 이동통신기기는 블루투스(bluetooth®)와 같은 무선주파수 전송을 통해, 또는 인터넷과 같은 컴퓨터 네트워크를 통해 웨어러블센서와 페어링될 수 있다.
도 24a는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 일례를 도시한 것이다. 도 24a에 도시된 바와 같이, 사용자(2400)는 자동객체비교를 트리거하기 위하여 한 손에 제1 객체(2401)를 다른 한 손에 제2 객체(2403)를 들고 있을 수 있다. 별도의 손을 사용하는 것으로 도시되었으나, 사용자(2400)는 같은 손에 2개의 상이한 객체(예를 들어 객체(2401) 및 객체(2403))를 들고 있을 수도 있다.
도 24b는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 트리거의 다른 일례를 도시한 것이다. 도 24b에 도시된 바와 같이, 사용자(2400)는 자동객체비교를 트리거하기 위하여 제1 객체(2431) 및 제2 객체(2433)를 가르킬 수 있다. 사용자의 손으로 가르키는 것으로 도시되었으나, 사용자(2400)는 손의 일부(엄지손가락을 포함한 하나 이상의 손가락과 같이)로 가르킬 수 있다. 또한, 별도의 손으로 가르키는 것으로 도시되었으나, 사용자(2400)는 동일한 손으로, 예를 들어 객체(2431)를 먼저 가르키고난 후 객체(2433)를 임계치 시간구간(예를 들어, 1초, 5초, 10초 등과 같이) 내에 가르킬 수 있다.
도 24c는 본 기재에 따른 2개의 상이한 객체의 조회를 수행하기 위한 사용자 인터페이스(2460)의 일례를 도시한 것이다. 인터페이스(2460)는 웨어러블기기 상에 및/또는 사용자와 연관된 이동통신기기 상에 디스플레이될 수 있다. 도 24c의 실시예에서, 인터페이스(2460)의 사용자는 이미지(2465, 2467, 2469, 2471, 2473, 및 2475)와 같은 객체의 임의의 저장된 이미지를 입력(2461) 상에 드래그 앤 드롭(drag-and-drop)(예를 들어, 마우스나 손가락 등으로)하여 드래그된 이미지가 제1 객체로서 식별할 수 있다. 또한, 인터페이스(2460)의 사용자는 이미지(2465, 2467, 2469, 2471, 2473, 및 2475)와 같은 객체의 임의의 저장된 이미지를 입력(2463) 상에 드래그 앤 드롭(drag-and-drop)(예를 들어, 마우스나 손가락 등으로)하여 드래그된 이미지가 제2 객체로서 식별할 수 있다. 자동객체비교는 상기 드래그된 이미지를 기반으로 처리될 수 있다. 스탠달론방식(standalone process)으로 도시되었으나, 사용자 인터페이스(예를 들어, 도 24c에 도시된 인터페이스(2460))을 이용하여 획득된 사용자로부터의 입력은 검출된 트리거(예를 들어, 도 24a 및 24b에 도시된 바와 같이)에 기초하여 자동객체비교를 수행하려는 사용자의 요구를 확인을 대신해 사용될 수 있다.
도 24a 내지 도 24c에 도시된 임의의 실시예에서, 트리거로서의 제스처 상태 및/또는 입력의 사용은 사용자에 의해 선택된 설정에 의존할 수 있다. 예를 들어, 사용자는 자동객체비교를 위한 트리거로 하나 이상의 트리거를 선택하여 다른 트리거는 작동하지 않도록 할 수 있다. 상기 실시예에서, 사용자는 객체를 들고 있는 것에 대해 비교를 트리거하지 않는 동안 객체를 가르키는 것에 대해 비료를 트리거 하도록 또는 이와 반대로 옵션을 선택할 수 있다.
추가적으로 또는 대안적으로, 사용자는 하나 이상의 트리거에 기초하여 자동객체비교를 수행하기 전에 확인을 요구하기 위해 옵션을 설정할 수 있다. 예를 들어, 사용자는 객체를 가르키는 것에 기초하여 및/또는 객체를 들고 있는 것에 기초하여 자동객체비교를 수행하기 전에 확인을 요구할 수 있다. 다른 실시예에서, 사용자는 객체를 가르키는 것에 기초하여 자동객체비교를 수행하기 전 확인을 요구할 수 있으나, 객체를 들고 있는 것에 기초하여 자동객체비교를 수행하기 전은 확인을 요구하지 않을 수 있고, 그 역도 또한 같다.
도 25는 자동객체비교를 위한 방법(2500)의 순서도이다. 방법(2500)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(2500)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(2500)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2500)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2501단계에서, 프로세서는 복수의 이미지 중 적어도 하나로부터 사용자에 의해 지시된 2개의 상이한 객체의 존재를 결정할 수 있다. 예를 들어, 이미지는 사용자의 환경으로부터 이미지를 캡처하도록 구성된 웨어러블이미지센서(예를 들어 캡처부(710)의 이미지센서(220))로부터 프로세서에 의해 수신될 수 있다. 도 23의 객체이미지모듈(2301)과 관련하여 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 2개의 상이한 객체 이미지의 존재를 결정할 수 있다.
2503단계에서, 프로세서는 상기 2개의 상이한 객체를 확인하기 위하여 2개의 상이한 객체의 조회를 수행할 수 있다. 예를 들어, 도 23의 조회모듈(2302) 과 관련하여 기재된 바와 같이, 프로세서는 하나 이상의 트리거 및/또는 사용자 입력에 응답하여 조회를 수행할 수 있다.
2505단계에서, 프로세서는 상기 2개의 상이한 객체에 대한 설명정보의 조회를 수행할 수 있다. 예를 들어, 도 23의 조회모듈(2302)과 관련하여 기재된 바와 같이, 프로세서는 하나 이상의 인터넷 검색을 수행할 수 있다. 따라서, 설명정보는 2개의 상이한 객체와 연관된 제품리뷰, 2개의 상이한 객체와 연관된 SNS 활동, 2개의 상이한 객체 중 적어도 하나에서 식별된 문자, 2개의 상이한 객체 중 적어도 하나에서 식별된 식생활정보, 2개의 상이한 객체 중 적어도 하나의 가격, 또는 이의 조합을 포함할 수 있다.
일부 실시예에서, 2503 및 2505단계는 각 제품에 대한 하나의 검색으로서 함께 수행될 수 있다. 다른 실시예에서, 2503 및 2505단계는 동시에, 순차적으로 또는 임의의 다른 방법으로 수행될 수 있다.
2507단계에서, 프로세서는 상기 2개의 상이한 객체에 대한 설명정보를 비교할 수 있다. 예를 들어, 프로세서는 공통속성을 분리하고 2개의 상이한 객체들 각각의 적어도 하나의 공통속성에 대한 정보를 수집할 수 있다. 일 실시예에서, 2개의 상이한 객체의 브랜드는 공통속성으로 분리되는 반면, 2개의 상이한 객체의 가격은 다른 것으로 식별될 수 있다. 다른 실시예에서, 서로 상이한 두 가지에 대한 식생활정보 중 칼로리 정보 또는 다른 정보는 공통속성으로 분리되는 반면, 2개의 상이한 객체에 대한 식생활정보 중 다른 정보는 다른 것으로 식별될 수 있다. 다른 실시예에서, 2개의 상이한 객체와 연관된 제품리뷰는 공통속성으로 분리되는 반면, 2개의 상이한 객체의 가격 및/또는 2개의 상이한 객체 중 적어도 하나에서 식별된 문자는 다른 것으로 식별될 수 있다. 다른 실시예에서, 2개의 상이한 객체와 연관된 제품리뷰는 공통속성으로 분리되는 반면, 2개의 상이한 객체와 연관된 가격 및/또는 SNS 활동은 다른 것으로 식별될 수 있다. 상기 예들 중 어느 것도 상호 배타적이지 않다.
2509단계에서, 프로세서는 상기 2개의 상이한 객체의 차이점을 확인할 수 있도록 사용자를 허용하는 방식으로 2개의 상이한 객체의 비교에 대한 정보를 디스플레이할 수 있다. 예를 들어, 도 23의 디스플레이모듈(2304)과 관련하여 상기 기재된 바와 같이, 사용자 인터페이스는 스크린 상에, 예를 들어 스크린의 반대편에, 각 객체의 중복되지 않는 이미지를 포함할 수 있다. 사용자 인터페이스는 또한 대응하는 객체에 공간적으로 근접한, 시각적으로 및/또는 문자로 표현된, 조회된 확인 및/또는 조회된 설명정보를 더 포함할 수 있다.
일 실시예에서, 각 객체가 다른 경우 각 객체의 브랜드의 로고(logo) 및/또는 브랜드 이름의 문자는 대응하는 객체 가까이에 디스플레이될 수 있고, 동일한 경우 중심 근처에 디스플레이될 수 있다. 다른 실시예에서, 각 객체가 다른 경우 각 객체의 칼로리 정보 또는 식생활정보의 다른 정보는 대응하는 객체 가까이에 디스플레이될 수 있고, 동일한 경우 중심 근처에 디스플레이될 수 있다. 식생활정보는 문자로 및/또는 시각적으로(예를 들어, 막대그래프 또는 파이 차트와 같은 그래프로) 나타날 수 있다. 다른 실시예에서, 각 객체가 다른 경우 각 객체의 제품리뷰는 대응하는 객체 가까이에 디스플레이될 수 있고, 동일한 경우 중심 근처에 디스플레이될 수 있다. 제품리뷰는 문자로(예를 들어, 등급 및/또는 발췌와 함께) 및/또는 시각적으로(예를 들어, 별의 수, 막대그래프 등)로 나타날 수 있다. 제품리뷰는 전체 등급 및/또는 리뷰로 수집될 수 있고/있거나 대표 등급 및/또는 리뷰는 선택될 수 있다. 다른 실시예에서, 각 객체가 다른 경우 각 객체의 SNS 활동은 대응하는 객체 가까이에 디스플레이될 수 있고, 동일한 경우 중심 근처에 디스플레이될 수 있다. SNS 활동은 문자로(예를 들어, 개시물로부터의 발췌 및/또는 좋아요(likes), 리트윗(retweets) 등의 숫자) 및/또는 시각적으로(예를 들어, 좋아요(likes), 리트윗(retweets) 등의 막대그래프) 디스플레이될 수 있다. 상기 예들 중 어느 것도 상호 배타적이지 않다. 상기 기재에서, 용어 "동일한"은 절대적 동일한 또는 유사한 정도, 예를 들어 최대 5%, 10%, 20% 등의 다른 정도를 의미한다.
이전 대화로부터 핵심단어의 검색 및 디스플레이
일부 실시예에서, 본 기재의 웨어러블기기는 웨어러블기기 사용자에 의해 이전 대화로부터 핵심단어를 검색 및 디스플레이하도록 제공할 수 있다. 예를 들어, 기기는 시간구간 내에 녹음된 오디오로부터 핵심단어를 자동으로 추출하고, 핵심단어를 시간구간 내에 캡처된 얼굴이미지에 색인할 수 있다. 따라서, 본 발명의 특정 규칙에 따라 데이터베이스를 구성 및 색인화함으로써, 사용자와 알려진 개체 사이의 상호작용과 관련된 핵심단어는 기존 시스템보다 더 빠른 속도와 정확성으로 검색될 수 있고, 주관적인 판단으로 수동적 검색보다 규칙으로 자동으로 검색될 수 있다.
도 26은 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(2600)의 실시예의 일례를 도시한 것이다. 메모리(2600)에는 이미지처리모듈(2601), 사운드처리모듈(2602), 메모리접속모듈(2603), 및 디스플레이모듈(2604)이 포함된다. 모듈(2601, 2602, 2603, 및 2604)은 웨어러블기기에 포함된 적어도 하나의 처리장치, 예를 들어, 프로세서(210)에 의해 실행하기 위한 소프트웨어 명령을 포함할 수 있다. 메모리(2600)는 웨어러블캡처부(710)의 이미지센서(220)와 무선으로 페어링되도록 구성된 이동통신기기(예를 들어 스마트폰)에 내재되는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
이미지처리모듈(2601), 사운드처리모듈(2602), 메모리접속모듈(2603), 및 디스플레이모듈(2604)은 이전 대화로부터 핵심단어를 검색 및 디스플레이하기 위해 통합될 수 있다. 메모리(2600)는 상기 기재된 도 6의 메모리(550)와 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모니터링모듈(603)은 도 26의 이미지처리모듈(2601), 사운드처리모듈(2602), 메모리접속모듈(2603), 및 디스플레이모듈(2604)과 함께 또는 동시에 작동할 수 있다.
이미지처리모듈(2601)은 웨어러블이미지센서로부터 웨어러블기기 사용자가 시간구간 동안 제1 상호작용에서 상호작용한 개체의 얼굴이미지를 수신하도록 구성될 수 있다. 예를 들어, 이미지처리모듈(2601)은 캡처부(710)의 이미지센서(220)에 의해 캡처된 웨어러블기기(110)로부터의 이미지를 수신할 수 있다. 본 기재에 논의된 바와 같이, 수신된 이미지 또는 얼굴이미지는 크기, 형상, 및 내용에 있어서 다양할 수 있다. 예를 들어, 일부 실시예에서, 넓은 풍경(예를 들어 복수의 개체, 또는 개체 및 그의 주변환경)을 포함하는 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예를 들어 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부가 잘릴 수 있다. 다른 실시예에서, 수신된 이미지는 이러한 넓은 풍경(예를 들어 복수의 개체, 또는 개체 및 그의 주변환경)을 포함할 수 있다. 또 다른 실시예에서, 수신된 이미지는 얼굴, 얼굴의 일부, 얼굴사진(예를 들어 머리 및 어깨), 또는 사람의 얼굴을 포함하는 사람의 신체의 일부를 포함할 수 있다.
이미지처리모듈(2601)은 또한 웨어러블이미지센서로부터, 상기 시간구간 이외의 시간에 제2 상호작용에서의 상기 개체의 다른 얼굴이미지를 수신할 수 있다. 이미지처리모듈(2601)은 제2 상호작용의 개체가 제1 상호작용의 개체인지를 판단하기 위해 이미지처리를 사용할 수 있다. 예를 들어, 사람식별모듈(1701)은 다른 수신된 얼굴이미지에 대해 이미지처리를 수행하고, 다른 수신된 얼굴이미지가 제1 상호작용으로부터 수신된 얼굴이미지 내의 개체의 얼굴에 대응하는지를 판단할 수 있다. 따라서, 이미지처리모듈(2601)은 픽셀단위 매칭을 수행할 수 있다. 다른 실시예에서, 이미지처리모듈(2601)은 보다 정교한 기술을 수행할 수 있다. 예를 들어, 이미지처리모듈(2601)은 하나 이상의 분류기(또는 케스케이드 분류기)를 사용하여 수신된 얼굴이미지에 포함된 사람의 식별을 도출할 수 있다. 추가적으로 또는 대안적으로, 이미지처리모듈(2601)은 뉴럴네트워크를 사용하여 수신된 얼굴이미지에 포함된 사람의 하나 이상의 가능한 신원(identity)을 식별할 수 있다. 또한, 이미지처리모듈(2601)은 뉴럴네트워크를 사용하여 수신된 얼굴이미지로부터 복수의 특징(예를 들어, 특징 세트)을 도출하고, 도출된 특징(또는 특징 세트)을 하나 이상의 가능한 신원에 맵핑할 수 있다. 상기 맵핑은 간단한 상관관계 또는 뉴럴네트워크와 같은 보다 정교한 기술을 사용하여 수행될 수 있다. 용어 "식별(identification)"은 반드시 사람의 실제 신원과 관련될 필요는 없고, 캡처된 사람의 이미지와 기기에 의해 이전에 캡처된 사람과 연관시킨 것과 관련될 수 있다는 것으로 이해될 것이다. 또한, 특정 개체의 식별은 예를 들어, 정식 이름, 별명 등을 포함할 수 있다.
임의의 상기 실시예에서, 가능성 있는 매칭(likely match)은 예를 들어 뉴럴네트워크로부터의 출력된; 매칭 픽셀, 특징 등의 백분율에 기초하여 계산된; 관련확률을 가질 수 있다. 따라서, 이미지처리모듈(2601)은 가장 높은 확률 매칭(probability match)을 선택함으로써 복수의 가능성 있는 매칭에서 사람의 식별(identification)을 선택할 수 있다.
임의의 상기 실시예에서, 수신된 얼굴이미지의 하나 이상은 두 사람 이상을 포함할 수 있다. 따라서, 이미지처리모듈(2601)은 YOLO(You Only Look Once) 또는 SSd(Single-Shot detector)와 같은 바운딩박스구조를 사용하여 그 안에 사람(또는 이의 일부분)을 포함하는 바운딩박스를 확인할 수 있다. 예를 들어, 이미지처리모듈(2601)이 바운딩박스구조를 사용하고 사람으로 분류된 복수의 바운딩박스를 수신하는 경우, 또는 임계치 초과(예, 50% 초과, 40% 초과, 25% 초과, 10% 초과, 또는 5% 초과 등)하는 사람 분류를 갖는 복수의 바운딩박스를 수신하는 경우, 이미지처리모듈(2601)은 복수의 바운딩박스에 의해 정의된 이미지 부분들에 대한 식별(identification)을 수행할 수 있다.
사운드처리모듈(2602)은 상기 시간구간의 적어도 일부 동안 이미지센서의 부근에서 캡처된 사운드 데이터를 수신하도록 구성될 수 있다. 예를 들어, 사운드 데이터는 캡처부(710)의 이미지센서(220)의 부근(예, 5미터 이내, 10미터 이내, 20미터 이내 등)에서 및/또는 얼굴이미지가 캡처될 때의 부근 (예를 들어, 5초, 10초, 30초, 1분, 5분 등)에서 캡처될 수 있다.
사운드처리모듈(2602)은 또한 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리하도록 구성될 수 있다. 예를 들어, 적어도 하나의 핵심단어는 제한된 어휘 인식(limited vocabulary recognition), 큰 어휘 인식(large vocabulary recognition), 화자분리법(speaker separation)의 유무, 인식(recognition), 검증(verification) 등과 같은 오디오 분석기술을 사용하여 파싱될 수 있다. 일부 실시예에서, 사운드처리모듈(2602)은 사운드 데이터로부터 적어도 하나의 핵심단어를 파싱하도록 사운드 데이터를 전사할 수 있다.
추가적으로 또는 대안적으로, 사운드처리모듈(2602)은 사운드 데이터의 각 단어와 관련된 사용빈도에 기초하여 적어도 하나의 핵심단어를 추출할 수 있다. 예를 들어, 사운드처리모듈(2602)은 파싱된 적어도 하나의 단어로부터 기타 관사(‘the,’ ‘a,’ ‘an,’ 등), 전치사(‘of,’ ‘from,’ ‘to,’ 등)와 같은 불용어(stop word) 또는 공통단어를 제거할 수 있다.
일부 실시예에서, 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리하는 것은 원격서버에 접속하는 것을 포함할 수 있다. 예를 들어, 사운드처리모듈(2602)은 원격서버를 접속하여, 적어도 하나의 핵심단어의 추출을 돕기 위해 공통단어의 리스트, 사운드 데이터에 포함된 단어에 대한 고유성 순위(uniqueness ranking), 또는 이의 조합을 획득할 수 있다. 또한, 사운드처리모듈(2602)은 적어도 하나의 핵심단어의 추출을 위해 사운드 데이터를 원격서버로 전송하고, 원격서버로부터 적어도 하나의 핵심단어를 수신할 수 있다.
메모리접속모듈(2603)은 핵심단어와 얼굴이미지 사이의 연관성을 메모리에 저장하도록 구성될 수 있다. 예를 들어, 메모리접속모듈(2603)은, 얼굴이미지(또는 개체의 신원)가 검색될 때 핵심단어가 검색 가능하도록, 핵심단어를 얼굴이미지(및/또는 얼굴이미지에 포함된 개체의 신원)와 함께 저장할 수 있다. 추가적으로 또는 대안적으로, 얼굴이미지(및/또는 얼굴이미지에 포함된 개체의 신원)는 핵심단어가 검색될 때 검색 가능하도록 색인될 수 있다.
일부 실시예에서, 메모리에 핵심단어와 얼굴이미지 사이의 연관성을 저장하는 것은 원격서버에 연관성을 저장하는 것을 포함할 수 있다. 예를 들어, 메모리는 하나 이상의 네트워크를 통해 접속할 수 있는 원격서버에 포함될 수 있다.
메모리접속모듈(2603)은 제1 상호작용에서 적어도 하나의 핵심단어를 찾기 위해 메모리에 접속하도록 추가로 구성될 수 있다. 예를 들어, 메모리접속모듈(2602)은 제1 상호작용에서 개체의 식별에 의해 검색하여 적어도 하나의 핵심단어를 검색할 수 있다. 따라서, 메모리접속모듈(2602)은 대응하는 적어도 하나의 핵심단어를 검색하기 위해 신원(identity) 색인에 대해 실행할 신원을 포함하는 쿼리를 생성할 수 있다.
일부 실시예에서, 메모리접속모듈(2603)은 사용자와 개체의 관계, 핵심단어, 위치, 동의어, 또는 주제에 따라 저장된 핵심단어를 검색하도록 추가로 구성될 수 있다. 예를 들어, 복수의 핵심단어는 메모리에서 동일한 신원(또는 얼굴이미지)과 관련될 수 있다. 디스플레이를 위해 핵심단어를 선택하기 위하여 메모리접속모듈(2603)은 사용자와 개체의 관계, 복수의 핵심단어에 포함된 핵심단어, 제1 상호작용 또는 제2 상호작용의 위치(장소), 복수의 핵심단어에서 하나 이상의 핵심단어의 동의어, 또는 제1 상호작용 또는 제2 상호작용의 주제를 사용할 수 있다.
디스플레이모듈(2604)은, 제2 상호작용 동안, 사용자에게 보이는 디스플레이 상에 적어도 하나의 핵심단어가 디스플레이되게 하여 제1 상호작용의 주제를 사용자에게 상기시키도록 구성될 수 있다. 디스플레이는 웨어러블기기 상에 포함될 수 있다. 또한, 디스플레이는 웨어러블기기와 페어링된 이동통신기기 내에 포함될 수 있다. 예를 들어, 이동통신기기는 블루투스(bluetooth®)와 같은 무선주파수 전송을 통해 또는 인터넷과 같은 컴퓨터 네트워크를 통해 웨어러블센서에 페어링될 수 있다.
도 27a는 본 기재에 따른 핵심단어를 상호작용빈도(interaction frequencies)로 색인하기 위한 데이터베이스(2700)의 일례를 도시한 것이다. 도 27a에 도시된 바와 같이, 복수의 핵심단어(예를 들어, 단어(2701a, 2701b, 및 2701c))는 데이터베이스에 저장된다. 일부 실시예에서, 데이터베이스는 특정 사용자와 관련될 수 있다. 일부 실시예에서, 데이터베이스는 복수의 사용자를 위해 데이터를 저장할 수 있다.
도 27a에는 도시되지 않았으나, 단어는 빠른 검색을 위해 얼굴이미지로부터 추출된 개체의 신원(identity) 및/또는 얼굴이미지에 색인될 수 있다. 도 27a에 도시된 바와 같이, 단어(2701a, 2701b, 및 2701c)는 또한 각각 상호작용 빈도수준(interaction frequency level, 2703a, 2703b, 및 2703c)에 의해 색인될 수 있다. 상호작용 빈도수준은 사용자와 대응하는 개체 사이의 상호작용 횟수를 포함할 수 있다. 일부 실시예에서, 상호작용 빈도는 시간 단위마다 또는 1일, 1주일, 1달에 걸친 평균과 같이 시간에 따라 정규화될 수 있다.
도 27a에 도시된 바와 같이, 각 개체에 대해 저장된 핵심단어의 수는 상호작용 빈도수준에 비례(선형으로, 2차식으로) 할 수 있다. 예를 들어, 사용자와 개체 사이의 상호작용이 빈번한 것으로 식별될 경우 더 많은 핵심단어(또는 전체 대화)가 저장될 수 있다. 또는 핵심단어의 수는 상호작용 빈도수준에 따라 감소될 수 있다. 예를 들어, 사용자가 매일 만나는 사람에 대해 더 적은 수가 저장될 수 있다. 핵심단어 수의 감소는 사운드 데이터의 파싱이 더 엄격해진 결과일 수 있다.
예를 들어, 사운드처리모듈(2602)은 단어를 저장하기 전에, 단어의 더 큰 고유성(uniqueness, 예를 들어, 고유성 순위가 초과해야 하는 더 높은 임계치) 및/또는 단어를 저장하기 전에, 더 큰 빈도(예를 들어, 단어가 사운드 데이터에 나타나는 횟수)를 요구할 수 있다.
도 27b는 본 기재에 따른 핵심단어를 개체의 상황 내에서의 중요도 수준으로 색인하기 위한 데이터베이스(2750)의 다른 일례를 도시한 것이다. 도 27b에 도시된 바와 같이, 복수의 핵심단어(예를 들어, 단어(2751a, 2751b, 및 2751c))는 데이터베이스에 저장된다.
도 27b에는 도시되지 않았으나, 단어는 빠른 검색을 위해 얼굴이미지로부터 추출된 개체의 신원 및/또는 얼굴이미지에 색인될 수 있다. 도 27b에 도시된 바와 같이, 단어(2751a, 2751b, 및 2751c)는 또한 각각 중요도 수준(2753a, 2753b, 및 2753c)에 의해 색인될 수 있다. 중요도 수준은 직책, 사용자와의 전문적인 관계, 사용자와의 사회적 관계, 하나 이상의 SNS에서 언급 횟수 및/또는 팔로워 수 또는 이의 조합에 기초하여 대응 개체의 상황 내에서 중요도의 수치적 표현을 포함할 수 있다.
도 27b에 도시된 바와 같이, 각 개체에 대해 저장된 핵심단어의 수는 중요도 수준에 비례(선형으로, 2차식으로) 할 수 있다. 대응하는 개체가 예를 들어 가족, ceO, 유명인 등과 같이 특히 중요한 경우, 더 많은 핵심단어(또는 도 27b에 도시된 바와 같이, 전체 대화)가 저장될 수 있다. 핵심단어의 수의 증가는 사운드 데이터의 파싱이 느려질 것이다. 예를 들어, 사운드처리모듈(2602)은 단어를 저장하기 전에, 단어의 더 낮은 고유성(예를 들어, 고유성 순위가 초과해야 하는 더 낮은 임계치) 및/또는 단어를 저장하기 전에, 더 낮은 빈도(예를 들어, 단어가 사운드 데이터에 나타나는 횟수)를 요구할 수 있다.
도 28은 이전 대화에서 핵심단어를 검색 및 디스플레이하기 위한 방법(2800)의 순서도이다. 방법(2800)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 일부 실시예에서, 방법(2800)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(2800)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예, 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
2801단계에서, 프로세서는 웨어러블이미지센서로부터 웨어러블기기 사용자가 시간구간 동안 제1 상호작용에서 상호작용한 개체의 얼굴이미지를 수신할 수 있다. 예를 들어, 이미지는 캡처부(710)의 이미지센서(220)로부터 일 수 있다. 도 26의 이미지처리모듈(2601)과 관련하여 기재된 바와 같이, 프로세서는 이미지 분석을 이용하여 개체의 신원을 판단할 수 있다.
2803단계에서, 프로세서는 시간구간의 적어도 일부 동안 이미지센서의 부근에서 캡처된 사운드 데이터를 수신할 수 있다. 예를 들어, 웨어러블이미지센서를 포함하는 웨어러블기기의 마이크는 사운드 데이터를 캡처할 수 있다. 상기 실시예에서, 사운드 데이터는 웨어러블이미지센서를 포함하는 하우징 내의 사운드센서로부터 획득할 수 있다. 추가적으로 또는 대안적으로, 웨어러블이미지센서 이외의 이동통신기기는 사운드 데이터를 캡처할 수 있다.
2805단계에서, 프로세서는 적어도 하나의 핵심단어를 식별하기 위해 사운드 데이터를 처리할 수 있다. 예를 들어, 도 26의 사운드처리모듈(2602)과 관련하여 기재된 바와 같이, 프로세서는 사운드처리 기술을 사용할 수 있다.
2807단계에서, 프로세서는 핵심단어와 얼굴이미지 사이의 연관성을 메모리에 저장할 수 있다. 예를 들어, 도 26의 메모리접속모듈(2603)과 관련하여 기재된 바와 같이, 프로세서는 핵심단어를 얼굴이미지 또는 얼굴이미지에 포함된 개체의 신원에 의해 색인할 수 있다.
일부 실시예에서, 사운드 데이터의 적어도 일부분은 저장될 수 있고, 상기 부분은 상호작용 빈도수준에 따라 결정된다. 예를 들어, 27a의 실시예와 관련하여 설명된 바와 같이, 상호작용 빈도수준이 특정 임계치 미만인 경우(예를 들어, 사용자에게 흔하지 않은 상호작용에 대해서만), 상기 부분은 저장될 수 있다. 또한, 상호작용 빈도수준이 특정 임계치를 초과하는 경우(예를 들어, 사용자에게 빈번한 상호작용에 대해서만), 상기 부분은 저장될 수 있다.
일부 실시예에서, 사운드 데이터의 적어도 일부분은 저장될 수 있고, 상기 부분은 개체의 중요도 수준에 따라 결정된다. 예를 들어, 27b의 실시예와 관련하여 설명된 바와 같이, 중요도 수준이 특정 임계치를 초과하는 경우(예를 들어, 개체가 특별히 중요하다고 식별되는 경우에 대해서만), 상기 부분은 저장될 수 있다.
일부 실시예에서, 중요도 수준, 빈도 등과 같은 추가의 정보는 저장될 수 있다.
2809단계에서, 프로세서는 웨어러블이미지센서로부터, 시간구간 이외의 시간에 제2 상호작용에서의 상기 개체의 다른 얼굴이미지를 수신할 수 있다. 2811단계에서, 프로세서는 제1 상호작용의 개체가 제2 상호작용의 개체임을 판별하기 위해 이미지처리를 사용할 수 있다. 예를 들어, 이미지는 캡처부(710)의 이미지센서(220)로부터 일 수 있다. 사용된 이미지 분석은 도 26의 이미지처리모듈(2601)과 관련하여 기재된 바와 같을 수 있다.
2813단계에서, 프로세서는 상기 제1 상호작용에서 적어도 하나의 핵심단어를 찾기 위해 메모리에 접속할 수 있다. 예를 들어, 도 26의 메모리접속모듈(2603)과 관련하여 기재된 바와 같이, 프로세서는 적어도 하나의 핵심단어를 검색하기 위해 확인 색인에 대해 개체의 신원을 포함하는 쿼리를 실행할 수 있다.
2815단계에서, 프로세서는 제2 상호작용 동안, 사용자에게 보이는 디스플레이 상에 적어도 하나의 핵심단어가 디스플레이되게 하여 제1 상호작용의 주제를 사용자에게 상기(remind)시킬 수 있다. 도 26의 디스플레이모듈(2604)과 관련하여 기재된 바와 같이, 디스플레이는 웨어러블기기 상에 또는 웨어러블기기와 페어링된 이동통신기기 내에 포함될 수 있다.
방법(2800)은 추가의 단계를 더 포함할 수 있다. 예를 들어, 메모리접속모듈(2603)과 관련하여 기재된 바와 같이, 방법(2800)은 사용자와 개체의 관계, 핵심단어, 위치, 동의어, 또는 주제에 따라 저장된 핵심단어를 검색하는 단계를 포함할 수 있다. 예를 들어, 복수의 핵심단어는 메모리에서 동일한 아이덴티티(또는 얼굴이미지)와 관련되어, 프로세서가 디스플레이를 위한 핵심단어를 선택하도록 사용자와 개체의 관계, 핵심단어, 위치, 동의어, 또는 주제 중 적어도 하나를 사용할 수 있다.
일 실시예에서, 프로세서는 빈도에 따라 복수의 핵심단어 중 적어도 하나를 선택하여, 가장 높은 빈도를 갖는 단어를 선택할 수 있다. 다른 실시예에서, 사용자와 개체의 관계가 사회적이지만, 사용자와 개체의 관계가 전문적이라면 직무(회의 또는 과제의 핵심단어와 같은)와 관련된 복수의 핵심단어 중 적어도 하나를 선택하는 경우, 프로세서는 웃음(소리)(농담으로부터의 핵심단어)과 관련된 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 다른 실시예에서, 프로세서는 사용자에 의해 입력, 사용자가 말한, 개체가 말한(예를 들어, 제2 상호작용 동안) 핵심단어와 관련된 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 따라서, 프로세서는 사용자 및/또는 개체가 현재 말하는 단어에 기초하여 복수의 핵심단어 중 어느 것을 디스플레이할 것인지 선택할 수 있다. 다른 실시예에서, 프로세서는 제1 상호작용 및/또는 제2 상호작용의 위치와 관련된 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 따라서, 프로세서는 현재 상호작용의 위치적 상황에 기초하여 복수의 핵심단어 중 어느 것을 디스플레이 할 것인지 선택할 수 있다. 다른 실시예에서, 프로세서는 동의어인 것으로 판단된 핵심단어를 제거함으로써 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 사용자에 의해 입력, 사용자가 말한, 개체가 말한(예를 들어, 제2 상호작용 동안) 핵심단어와 동의어인 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 다른 실시예에서, 프로세서는 제2 상호작용의 주제와 관련된 복수의 핵심단어 중 적어도 하나를 선택할 수 있다. 프로세서는 제2 상호작용 동안 말한 단어, 제2 상호작용 동안 사용자 및/또는 개체의 얼굴 표정 및/또는 제스처, 제2 상호작용의 상황(제2 상호작용의 위치와 같은) 등에 기초하여 주제를 결정할 수 있다. 상기 예들 중 어느 것도 다른 예와 상호 배타적이지 않다.
환경조건에 의해 조절되는 웨어러블기기
일부 실시예에서, 웨어러블기기(110)는 웨어러블기기 사용자(110)의 환경과 관련된 정보를 수집할 수 있다. 사용자는 웨어러블기기(110)가 사용자와 연관된 이동통신기기와 통신하여 동작을 실행하도록 트리거링 하기 위해 환경의 특정 특성을 구성할 수 있다. 따라서, 웨어러블기기(110)는 사용자 확인 없이 사용자에 대한 동작(action)을 실행할 수 있다. 예를 들어, 사용자가 회의실에 들어가면, 기기(110)는 사용자가 회의실에 있음을 나타내는 수집된 이미지 및/또는 오디오데이터에 기초하여 사용자의 이동통신기기를 음소거로 할 수 있으므로, 사용자가 수동으로 이동통신기기를 음소거로 설정할 필요가 없다. 다른 실시예에서, 기기(110)는 사용자가 일반적으로 회의실에 들어올 때 이동통신기기를 음소거시키는 경우, 기기(110)는 회의실에 들어가는 것을 이동통신기기를 음소거하는 트리거로서 프로그램화하지 않고 이동통신기기를 음소거하는 동작을 개시할 수 있는 학습 메커니즘(learning mechanism)을 포함할 수 있다.
최근, 웨어러블기기 또는 장치는 사용자가 하나 이상의 이동통신기기를 제어할 수 있게 할 수 있다. 그러나 현재 기술은 사용자의 확인 없이 하나 이상의 동작을 실행하지 않는다. 특히 현재 기술은 사용자의 하나 이상의 환경조건을 나타내는 직접적 및 간접적 큐(cue)에 대한 이미지데이터를 분석할 수 없고, 이러한 조건을 기초하여 동작을 개시할 수 없다.
상기 기재된 바와 같이, 일부 실시예에서, 프로세서(210 또는 540)를 통해 기기(110) 또는 컴퓨팅장치(120) 중 임의의 하나는 캡처된 이미지데이터를 처리하여 캡처된 이미지데이터의 환경조건 및/또는 다른 정보를 인식하기 위한 추가의 기능을 제공할 수 있다. 일부 실시예에서, 기기(110)는 환경조건을 식별하기 위해 마이크를 통해 수신된 오디오데이터를 처리할 수 있다. 일부 실시예에서, 동작들은 기기를 제어하는 것과 같은 환경조건에 기초하여 취해질 수 있다. 예를 들어, 기기가 착용자가 회의 중임을 인식하면, 기기는 카메라와 페어링된 전화가 진동모드로 전환되도록 허용할 수 있어, 회의 동안 전화가 방해를 일으키지 않도록 한다. 환경조건에 따라 다른 트리거 및 동작도 가능하다.
본 발명에 사용된 환경조건은 사용자 환경의 임의의 물리적 특성을 의미할 수 있다. 예를 들어, 환경조건은 환경에 존재하는 객체, 존재하는 객체의 유형에 기초한 환경의 분류, 또는 사용자가 관여하는 활동 중 하나 이상일 수 있다. 예를 들어, 환경조건은 다른 사람이 말하고 있거나, 사용자가 오디오를 포함하거나 포함하지 않는 비디오 프리젠테이션을 보고 있는 것일 수 있다. 예시적인 환경조건은 회의실에 들어가는 웨어러블기기 사용자를 포함할 수 있다. 다른 실시예에서, 환경조건은 회의실을 나가는 웨어러블기기 사용자를 포함할 수 있다.
일부 실시예에서, 웨어러블기기(110)는 이미지센서(220)에 의해 캡처된 이미지를 처리함으로써 하나 이상의 환경조건에 대한 정보를 수집할 수 있다. 이미지센서(220)는, 예를 들어, 사용자가 책상과 의자를 포함하는 방에 있는 직접정보를 수집할 수 있고, 간접정보를 수집할 수 있다. 간접정보는, 예를 들어 하나 이상의 사람들이 떠는 것(dhivering)과 같은 방의 온도에 대한 시각적 단서를 주는지를 판단하기 위한, 하나 이상의 사람들을 포함하는 이미지를 분석함으로써 추론되는, 사용자가 추운 방에 있다는것일 수 있다.
일부 실시예에서, 웨어러블기기(110) 사용자는 동작과 연관된 트리거로서 환경조건을 구성할 수 있다. 따라서, 기기(110)가 트리거인 하나 이상의 환경조건을 검출할 때, 기기(110)는 사용자와 연관된 이동통신기기와 통신하여 트리거와 관련된 동작을 실행할 수 있다. 일부 실시예에서, 사용자는 기기(110)가 트리거와 관련된 동작을 실행했음을 나타내는 문자 또는 다른 통지를 이동통신기기 상에서 수신할 수 있다. 일부 실시예에서, 사용자는 특정 환경조건이 이미지센서(220)에 의해 검출될 때마다 트리거와 관련하여 저장되지 않은 동작을 실행할 수 있다. 사용자가 동일한 동작을 임계 횟수만큼 실행하는 경우, 기기(110)는 환경조건의 검출이 될 때마다 자동으로 동작을 실행할 수 있고, 이동통신기기로 하여금 사용자에게 환경조건 및 동작을 저장하도록 촉구하는 명령을 실행하여, 기기(110)가 환경조건이 검출될 때마다 동작을 실행하도록 할 수 있다.
도 29는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(2900)의 실시예의 일례를 도시한 것이다. 메모리(2900)에는 이미지처리모듈(2901), 오디오처리모듈(2905), 트리거모듈(2902), 동작모듈(2903), 및 동작 데이터베이스(2904)가 포함된다. 모듈(2901, 2902, 2903, 2905)은 웨어러블기기에 포함된 적어도 하나의 처리장치(예, 프로세서(210))에 의해 실행되는 소프트웨어 명령을 포함할 수 있다. 이미지처리모듈(2901), 오디오처리모듈(2905), 트리거모듈(2902), 및 동작모듈(2903)은 서로 협력하여, 이미지센서, 예를 들어 이미지센서(220)로부터의 이미지를 처리하고, 사용자의 환경에 존재하는 하나 이상의 트리거를 식별하고, 상기 하나 이상의 트리거에 기초하여 동작을 실행하도록 할 수 있다. 메모리(2900)는 상기 기재된 도 6의 메모리(550)로부터 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모션트래킹 모듈(603)은 도 29의 이미지분석모듈(2901), 오디오처리모듈(2905), 트리거모듈(2902), 및 동작모듈(2903)과 함께 또는 동시에 작동할 수 있다.
이미지처리모듈(2901)은 하나 이상의 이미지로부터 적어도 하나의 환경조건을 식별하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 환경조건은 하나 이상의 이미지분류기술(image classification technique)의 적용을 통해 식별될 수 있다. 예를 들어, 적어도 하나의 이미지분류기술은 이미지의 적어도 하나의 특징을 분류하도록 사용될 수 있다. 일부 실시예에서, 이미지분류기술은 이미지 향상, 에지검출(edge detection), 이미지 분석, 및 데이터 추출 중 하나 이상을 포함할 수 있다. 적어도 하나의 환경조건을 식별하기 위한 방법의 특정 실시예는 단지 예시일뿐이고, 당업자는 본 기재와 일치하는 적어도 하나의 환경조건을 식별하기 위한 다른 방법을 인식할 것이다. 일부 실시예에서, 적어도 하나의 환경조건은 객체검출 알고리즘(object detection algorithm), 이미지 내의 객체 및/또는 객체를 검출하도록 훈련된 뉴럴네트워크, 기계학습 시스템(machine learning system), 패턴인식시스템(pattern recognition system) 등을 사용하여 검출될 수 있다.
몇몇 실시예에서, 적어도 한 사람은 안면인식 알고리즘(facial recognition algorithm), 이미지 내의 얼굴 및/또는 사람을 검출하도록 훈련된 뉴럴네트워크 등을 이용하여 사용자의 환경에서 식별될 수 있다. 다른 실시예에서, 웨어러블기기(110)는 열신호 알고리즘(thermal signature algorithm)에 의한 처리를 위해 열상(thermal image)을 단독으로 또는 시각적 이미지와 조합하여 캡처할 수 있다. 웨어러블기기(110)가 감소된 조명 상황에서 동작하는 구현에서, 적어도 한 사람 또는 객체의 열인식(thermal recognition)이 바람직할 수 있다.
환경조건은 예를 들어, 하나 이상의 이미지를 분석함으로써 식별될 수 있다. 환경조건은 사용자 환경의 물리적 특징일 수 있다. 환경조건은, 예를 들어, 회의실을 나타내는 컨퍼런스 테이블과 같은 가구, 시간을 표시하는 시계, 하나 이상의 사람 등을 포함할 수 있다. 일부 실시예에서, 환경조건은 이미지에서 문자를 식별하고, 문자를 분석함으로써 식별될 수 있다. 예를 들어, 방 외부에 걸려있는 표지판의 문자를 식별하고, "회의실"을 읽고, 이를 미리 정해진 문자에 비교하는 것은 회의 중인 환경조건을 식별하도록 제공할 수 있다. 일부 실시예에서, 환경조건은 조명도 및 온도와 같은 주변조건을 포함할 수 있다. 예를 들어, 이미지 프로세서는 추워 보이는 사람을 식별하여 저온을 주변조건으로서 표시할 수 있다. 이미지처리모듈(2901)은 추가적으로 사용자의 환경에서 다른 객체, 예를 들어, 책, 신분, 컴퓨터 스크린 등을 식별할 수 있고, 객체를 프리젠테이션을 읽거나 보는 것과 같은 특정 태스크와 연관시킬 수 있다. 이미지처리모듈(2901)은 또한 공지된 환경조건의 라이브러리가 이미지처리모듈(2901)이 사용될 때 마나 업데이트될 수 있도록 통합된 기계분석 알고리즘(machine analysis algorithm)을 가질 수 있다.
일부 실시예에서, 오디오처리모듈(2905)은 기기(110)의 마이크를 통해 수신된 오디오 입력으로부터 적어도 하나의 환경조건을 식별하도록 구성될 수 있다. 일부 실시예에서, 적어도 하나의 환경조건은 하나 이상의 오디오분류기술(audio classification techniques)의 적용으로 식별될 수 있다. 예를 들어, 적어도 하나의 오디오분류기술은 기기(110) 착용자 또는 기기(110) 착용자 이외의 사람에 의한 스피치를 분류하는데 사용될 수 있다. 일부 실시예에서, 오디오분류기술은 오디오 향상, 자연어 처리(natural language processing), 스피치 인식 및 데이터 추출 중 적어도 하나를 포함할 수 있다. 예를 들어, 상황과 관련된 특정 단어, 예를 들어 미팅을 인식하는 것은 환경조건을 인식하고 관련동작을 취하는 데 있어서 유용할 수 있다. 적어도 하나의 환경조건을 식별하기 위한 방법의 특정 실시예는 단지 예시일뿐이며, 당업자는 본 기재와 일치하는 적어도 하나의 환경조건을 식별하기 위한 다른 방법을 인식할 것이다. 오디오처리모듈(2905)은 공지된 환경조건의 라이브러리가 오디오처리모듈(2905)이 사용될 때 마나 업데이트될 수 있도록 통합된 기계분석 알고리즘을 가질 수 있다.
또한, 일부 실시예에서, 기기(110)는 오디오데이터와 조합된 하나 이상의 이미지의 분석에 기반하여 적어도 하나의 환경조건을 식별할 수 있다. 예를 들어, 이러한 실시예에서, 이미지처리모듈(2901) 및/또는 오디오처리모듈(2905)은 적어도 하나의 환경조건을 식별하기 위하여 함께 작동할 수 있다. 일례로, 이미지처리모듈(2901)은 사용자의 환경에서 컨퍼런스 테이블 및 하나 이상의 사람을 식별할 수 있다. 추가적으로, 오디오처리모듈(2905)은 사용자의 부근에서 말하는 사람을 나타내는 오디오데이터를 검출할 수 있다. 본 예시에서, 환경조건은 오디오 및 이미지데이터의 분석에 기초하여 사용자가 회의 중에 있다는 것일 수 있다.
트리거모듈(2902)은 이미지처리모듈(2901)에 의해 식별된, 프로세서(210)에 의해 실행될 특정 동작과 관련된 이미지 내의 하나 이상의 환경조건을 식별하도록 구성될 수 있다. 일부 실시예에서, 이미지데이터 이외에 트리거모듈(2902)은 오디오처리모듈(2905)에 의해 식별된, 프로세서(210)에 의해 실행된 특정 동작과 관련된 오디오데이터 내의 하나 이상의 환경조건을 식별하도록 구성될 수 있다. 트리거는 사용자에 의해 미리 구성되고/되거나 정의되고, 트리거 데이터베이스(2904)에 저장될 수 있다. 예를 들어, 사용자는 이동통신기기 상의 모바일 애플리케이션을 통해 트리거를 구성할 수 있다. 트리거모듈(2902)은 또한, 학습된 행동이 트리거로서 채택되도록 학습능력(learning capabilities)을 포함할 수 있다. 예를 들어, 사용자가 항상 특정 위치에서 전화를 음소거하는 경우, 상기 위치는 사용자의 전화를 음소거하기 위한 트리거로 채택될 수 있다. 일부 실시예에서, 예를 들어, 이미지처리모듈(2901)이 시야에서 하나 이상의 객체를 식별하고, 하나 이상의 객체가 선택될 때마다 사용자가 동작을 실행하는 경우, 프로세서(210)는 트리거 데이터베이스(2904)에 하나 이상의 객체 및 동작을 트리거-동작(trigger-action)으로서 저장할 수 있다. 일부 실시예에서, 트리거-동작이 트리거 데이터베이스(2904)에 저장되기 전에 트리거-동작이 실행된 횟수는 사전구성된 값이다. 다른 실시예에서, 사용자는 상기 값을 보정할 수 있다.
트리거 데이터베이스(2904)는 트리거와 동작 사이의 연관성을 저장할 수 있다. 일부 실시예에서, 트리거는 단일 환경조건일 수 있다. 예를 들어, 이미지처리모듈(2901)은 상기 기재된 안면인식기술 또는 이미지처리기술을 사용하여 사용자의 환경에서 땀 흘리는 사람을 식별할 수 있다. 땀 흘리는 사람의 존재는 온도조절장치를 통해 사람과 사용자가 점유한 방의 온도를 낮추라는 동작과 관련된 트리거일 수 있다. 다른 실시예에서, 이미지처리모듈(2901)은 사용자 환경에서 동영상, 즉 텔레비전과 함께 조명된 스크린을 인식할 수 있다. 방송 텔레비전은 프로세서(210)가 하나 이상의 주변 광원을 어둡게 하거나 끄도록 커맨드들를 실행하기 위한 트리거일 수 있다.
일부 실시예에서, 트리거는 환경조건의 조합일 수 있다. 예를 들어, 이미지처리모듈은 의자, 컨퍼런스 테이블, 및 하나 이상의 사람과 같은 방의 여러 객체를 식별할 수 있다. 환경에서 이러한 객체의 존재는, 또는 예를 들어 회의실을 나타내는 문자를 포함하는 공간의 입구에 있는 사인은 사용자가 회의실에 있다는 것을 나타낼 수 있고, 이는 프로세서(210)가 사용자의 이동통신기기를 음소거하도록 트리거한다. 다른 실시예에서, 사용자가 회의실에 있는 것을 나타내는 이미지데이터 및 다른 사람이 말을 하고 있는 것을 나타내는 오디오 데이터의 조합은 프로세서(210)가 사용자의 이동통신기기를 음소거하도록 트리거할 수 있다. 다른 실시예에서, 트리거는 사용자의 환경에서 주변 조명이 미리 정해진 임계치 미만이고, 책이 사용자 앞에 존재하여 사용자가 낮은 조명에서 책을 읽고 있음을 나타내는 것일 수 있다. 낮은 주변 조명과 문자를 읽는 활동의 조합은 프로세서(210)가 주변 조명도를 증가시키라는 트리거일 수 있다.
동작모듈(2903)은 식별된 트리거와 관련된 동장을 수신하고, 하나 이상의 기기 및/또는 구성요소와 통신하여 동작(action)을 실행할 수 있다. 예를 들어, 프로세서(210)는 환경조건이 웨어러블기기와 무선으로 페어링된 이동통신기기와 관련된 동작에 대한 트리거로 미리 결정되어 있음을 판단하고, 이동통신기기가 상기 환경조건에 따라 동작을 트리 거하게 하여 동작이 이동통신기기를 통해 발생하게 한다. 다른 실시예에서, 동작은 스마트 홈 시스템(smart home system) 및/또는 이의 구성요소, 보안 시스템, 및 사용자의 하나 이상의 개인용 컴퓨팅장치(예를 들어 노트북, 데스트탑 컴퓨터, 태블릿, 추가의 이동통신기기, 다른 웨어러블기기 등)와 같은 하나 이상의 기기와 연관될 수 있다. 예를 들어, 동작모듈(2903)은 스마트 홈 시스템 또는 스마트 보안 시스템과 직접적으로 통신하거나, 시스템이 하나 이상의 환경조건을 변경할 수 있는 사용자와 관련된 스마트 기기와 통신할 수 있다.
상기 기재된 바와 같이, 트리거는 하나 이상의 동작과 연관되어, 트리거모듈(2902)이 환경에서 하나 이상의 트리거를 식별할 때, 기기(110)는 하나 이상의 미리 정해진 동작을 실행할 수 있도록 한다. 트리거-동작 연관성은 기기(110)에 미리 구성될 수 있거나 사용자에 의해, 예를 들어 이동기기를 통해 만들어질 수 있다. 기기(110)는 공지의 무선 표준(예를 들어 wifi, 블루투스(bluetooth®) 등), 근접장 정전용량 결합, 및 다른 근거리 무선기술, 또는 유선연결을 통해 기기와 통신함으로써 하나 이상의 동작을 실행할 수 있다.
일 실시예에서, 트리거는 사용자의 이동통신기기를 음소거하는 동작과 연관될 수 있다. 이러한 경우, 동작모듈(2903)은 명령을 무선으로 이동통신기기에 전송하여 음성 설정을 음소거로 변경할 수 있다. 다른 실시예에서, 트리거는 기기(110) 사용자 주위의 조명(빛)을 어둡게 하거나 밝게 하는 것과 관련될 수 있다. 프로세서(210)은 명령을 이동통신기기로 전송하여 조명 및/또는 조명시스템과 통신하여 조명도를 변경할 수 있다. 다른 실시예에서, 프로세서(210)은 명령을 무선으로 조명 및/또는 조명시스템에 직접 전송하여 조명도를 변경할 수 있다.
일부 실시예에서, 사용자는 이동통신기기 상의 모바일 애플리케이션을 통해 동작의 매개변수를 구성할 수 있다. 다른 실시예에서, 동작 매개변수는 기기(110)에 미리 구성될 수 있다. 예를 들어, 매개변수는 주변 광(빛)의 밝기 정도, 이동통신기기의 특정 음량(예를 들어, 데시벨 수준), 스크린의 밝기, 조명 또는 온도를 포함할 수 있다. 일 실시예에서, 이미지처리모듈(2901)이 높은 밝기에서 사용자 앞의 스크린을 검출할 경우, 프로세서(210)는 명령을 사용자의 이동통신기기로 전송하여 사용자의 선호하는 밝기로 스크린을 어둡게 하도록, 사용자는 트리거를 구성할 수 있다. 다른 실시예에서, 동일한 트리거 및 동작이 미리 구성되어, 스크린 밝기가 눈의 피로를 감소시키는 정도로 조정되도록 할 수 있다.
추가적으로, 일부 실시예에서, 프로세서는 이동통신기기와 연관된 동작을 무시하도록 프로그램화 될 수 있다. 일부 실시예에서, 이동통신기기와 연관된 동작은 상황에 따라 무시될 수 있다. 상황 수준은 개체의 중요도 수준을 포함할 수 있다. 다른 일례의 상황은 이메일 또는 다른 통신이 "긴급" 상태, 이동통신기기에 접수된 지역 비상경보(local emergency alerts), 중요한 것으로 표시된 캘린더 이벤트를 나타내는 것일 수 있다. 일 실시예에서, 사용자는 이동통신기기에 비상/중요 연락처를 설정하여, 상기 연락처 중 하나로부터 착신 통신이 수신될 때, 회의실에서 사용자의 존재의 환경조건이 사용자의 이동통신기기가 음소거되도록 프로세서(210)가 트리거되었더라도 통신기기가 울리도록 할 수 있다. 다른 실시예에서, 사용자는 수신된 통신의 유형, 예를 들어 전화, 이메일, SMS 메시지, 화상 통화, 통지 등이 되도록 최우선시 되는 상황을 구성할 수 있다. 사용자는 전화를 특정 트리거/동작을 무시하도록, 그러나 문자 메시지 및 이메일과 같은 다른 통신은 구성된 동작을 준수하도록 구성할 수 있다.
일부 실시예에서, 사용자가 트리거와 관련된 환경을 떠날 때, 프로세서는 이동통신기기 설정을 복원하도록 프로그램화 될 수 있다. 예를 들어, 특정 음향크기(volume)에서 울리도록 설정된 이동통신기기를 가진 사용자는 회의실에 들어갈 수 있고, 이로 인해 프로세서는 사용자의 이동통신기기가 음소거되도록 트리거될 수 있다. 사용자가 회의실을 떠날 대, 프로세서는 사용자의 이동통신기기와 통신하여 기기가, 회의실에 들어가기 전의 기기의 설정과 동일한, 특정 음향크기에서 울리도록 설정될 수 있다.
모듈(2901-2903 및 2905)은 소프트웨어, 하드웨어, 펌웨어, 이의 혼합 등으로 구현될 수 있다. 예를 들어, 모듈이 소프트웨어로 구현되는 경우, 모듈은 예를 들어 메모리(550)에 저장될 수 있다. 그러나 일부 실시예에서, 모듈(2901-2903 및 2905) 중 임의의 하나 이상은 프로세서(540)에 저장될 수 있고/있거나 하나 이상의 처리장치를 포함할 수 있는 서버(250) 상에 위치될 수 있다. 서버(250)의 처리장치는 모듈(2901-2903 및 2905)의 명령을 실행하도록 구성될 수 있다. 일부 실시예에서, 모듈(2901-2903 및 2905)의 양상은 하나 이상의 프로세서에 의해 단독으로 또는 서로 다양한 조합으로 실행 가능한 소프트웨어, 하드웨어, 또는 펌웨어(firmware) 명령(또는 이의 조합)을 포함할 수 있다. 예를 들어, 모듈(2901-2903 및 2905)은 서로서로 및/또는 서버(250)의 다른 모듈 및/또는 웨어러블 카메라 시스템과 상호작용하도록 구성되어 기재된 실시예에 따른 기능들을 수행할 수 있다. 일부 실시예에서, 임의의 상기 기재된 모듈은 각각 전용센서(dedicated sensor)(예를 들어, IR, 이미지센서 등) 및/또는 전용 애플리케이션 처리장치(dedicated application processing device)을 포함하여 각 모듈과 연관된 기능을 수행할 수 있다.
도 30a는 시스템이 회의실(3001)로 들어가는 사용자(3000)와 같은 환경조건을 식별하는 예시적인 시나리오를 도시한 것이다. 기기, 예를 들어 웨어러블기기(110)를 착용한 사용자(3000)가 회의실(3001)을 들어갈 수 있다. 컨퍼런스 테이블(3002), 스크린(3003), 시계(3004), 및 램프(3005)와 같은 회의실(3001) 내의 하나 이상의 객체는 이미지처리모듈(2901)에 의해 식별될 수 있다. 추가적으로, 이미지처리모듈(2901)은 조명도와 같은 회의실(3001) 내의 하나 이상의 주변조건을 식별할 수 있다. 이러한 객체 및/또는 주변조건의 각각은 사용자의 이동통신기기와 연관된 동작에 대한 트리거로서 분류된 환경조건일 수 있다.
예를 들어, 환경조건은 컨퍼런스 테이블(3002) 및 의자(3006)의 존재로 인해 사용자가 들어간 방은 회의실로 식별되는 것일 수 있다. 환경조건으로서 회의실의 식별은 프로세서(210)가 명령을 사용자의 이동통신기기로 전송하여 이동통신기기와 연관된 동작을 실행하도록 하는 트리거일 수 있다. 예를 들어, 이동통신기기와 연관된 동작은 진동모드를 가능하게 하는 것을 포함할 수 있다. 다른 실시예에서, 이동통신기기와 연관된 동작은 이동통신기기의 사운드를 비활성화하는 것 및 사운드 레벨을 감소시키는 것 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 트리거는 오디오 및 이미지데이터 둘 다에 기반으로 할 수 있다. 예를 들어, 프로세서는(210) 사용자가 회의실로 들어갈 때 이동통신기기가 진동모드로 설정되도록 할 수 있다. 오디오처리모듈(2905)이 추가적으로 회의실에서 말하고 있는, 예를 들어 프리젠테이션을 하고 있는 사람을 나타내는 오디오데이터를 수신하면, 프로세서(210)는 휴대폰이 무음으로 설정되도록 할 수 있다.
유사하게, 다른 실시예에서, 사용자가 회의실(3001)을 나갈 때, 이미지처리모듈(2901)은 하나 이상의 이미지를 분석하여 컨퍼런스 테이블(3002) 및 프리젠테이션 스크린(3003)이 더 이상 사용자 환경에 존재하지 않아 환경조건이 더 이상 유효하지 않음을 판단할 수 있다. 따라서, 프로세서(210)는 명령을 이동통신기기에 전송하여, 사용자가 회의실을 나갈 때 트리거되는, 이동통신기기와 연관된 하나 이상의 동작을 실행할 수 있다. 예를 들어, 이동통신기기와 연관된 동작은 진동모드를 중단하거나, 사용자가 회의실에 들어가기 전에 사용된 모드를 검색하는 것을 포함할 수 있다. 다른 실시예에서, 이동통신기기와 연관된 동작은 이동통신기기의 사운드를 활성화시키는 것 및 사운드 정도를 증가시키는 것 중 적어도 하나를 포함할 수 있다. 다른 실시예에서, 사용자의 기기가 회의실에 들어가기 전에 음소거되도록 설정되고 회의실에 들어가는 트리거가 음소거되도록 소리를 설정하기 위해 기기를 시작한 경우, 회의실을 나갈 때 기기는 회의실을 들어가기 전 기기의 설정과 같이 무음으로 유지될 수 있다.
다른 실시예에서, 기기(110)는 스크린(3003) 상에 공유되고 있는 프리젠테이션을 검출하고, 장치 또는 스마트 조명시스템과 통신하여 회의실 내의 램프(3005)를 어둡게 하거나, 스크린(3003) 가까이 있는 조명을 어둡게 하도록 할 수 있다. 추가적으로, 프리젠테이션이 종료되고 스크린(3003)이 어두워질 때, 기기(110)는 장치 및/또는 스마트 조명시스템과 통신하여 회의실(3001) 내의 조명도를 디폴트 주변 레벨로 증가시킬 수 있다. 다른 실시예에서, 조명을 어둡게 하고/하거나 사용자의 기기를 음소거하는 동작은 오디오처리모듈(2905)에 의해 하나 이상의 스피커로부터의 사운드 및/또는 스크린(3003)으로부터 방출되는 검출된 조명의 식별에 따라 트리거될 수 있다. 다른 실시예에서, 이미지센서(220)에 의해 검출된 낮은 주변 조명과 말하는 사람을 나타내는 오디오데이터의 조합은 프로세서(210)로 하여금 이동통신기기의 소리를 줄이거나 이동통신기기를 무음화하도록 트리거할 수 있다.
도 30b는 이미지처리모듈(2901)이 이미지센서(220)로부터 수신된 적어도 하나의 이미지에서 컴퓨터(3007), 온도조절장치(3008), 및 다른 사람(3009)과 같은 하나 이상의 환경조건을 식별할 수 있는 예시적인 시나리오를 도시한 것이다. 프로세서(210)는 이미지에 도시된 사람이 과열되어 있는 적어도 하나의 이미지를 식별하고, 트리거는 이동통신기기로 하여금 온도조절장치로 신호를 전송하여 온도를 낮추도록 프로그램화 될 수 있다. 예를 들어, 이미지처리모듈(2901)은, 안면인식 소프트웨어 또는 이전에 기재된 다른 방법을 통해, 사람(3009)이 땀을 흘리기 때문에 너무 더운 것을 검출할 수 있다. 땀을 흘리는 사람의 환경조건이 프로세서(210)로 하여금 이동통신기기로 명령을 전송하여 온도조절장치(3008)와 통신하여 기기 착용자(3010) 및 사람(3009)의 환경의 온도를 낮추도록 하기 위한 트리거일 수 있다. 다른 이미지 특징은 기기 사람(3009)이 너무 더운 것, 예를 들어 사람(3009)이 스스로 부채를 부치거나 상의를 벗는 것을 나타낼 수 있다. 온도조절장치(3008)가 설정되는 온도는 미리 구성되거나 모바일 애플리케이션을 통해 사용자에 의해 수동으로 설정될 수 있다.
유사하게, 시스템은 적어도 하나의 이미지에서 사람(3009)이 너무 추워하는 것을 검출할 수도 있다. 프로세서(210)는 적어도 하나의 이미지에서, 이미지에 도시된 사람이 추운 것을 식별하고, 트리거는 이동통신기기가 온도조절장치에 신호를 전송하여 온도를 높이도록 프로그램화 될 수 있다. 예를 들어, 사람(3009)이 떨거나 스카프, 자켓 및/또는 장갑을 착용하면, 프로세서(210)는 사용자의 이동통신기기와 통신하여 온도조절장치(3008)를 통해 환경의 온도를 높일 수 있다. 추가적으로 또는 대안적으로, 오디오 분석은 사람(3009)이 임계치를 초과하는 숫자, 예를 들어 2회 이상, 기침과 재채기하여 사람(3009)이 추워하는 것을 나타낼 수 있다. 기기가 온도조절장치(3008)를 조절하는 온도는 미리 구성되거나 모바일 애플리케이션을 통해 착용자(3010)에 의해 미리 설정될 수 있다. 다른 실시예에서, 프로세서(210)는 직접적으로 무선 네트워크를 통해 온도조절장치(3008)와 통신할 수 있다.
다른 실시예에서, 오디오처리모듈(2905)로부터의 오디오데이터는 사람(3009)이 말하고 있는 것을 나타낼 수 있다. 말하는 다른 사람의 환경조건은 기기가 이동통신기기를 무음화하는 것이 트리거 일 수 있다. 사람(3009)이 말하기를 종료할 때, 기기(110)는 이동통신기기를 트리거가 검출되기 전의 설정으로 복원할 수 있다. 다른 실시예에서, 기기(110)는 오디오 및 이미지데이터 둘 다를 분석하여, 예를 들어, 다른 사람이 존재하고, 대화 또는 미팅이 있는 것으로 판단하여, 기기(110)가 이동통신기기를 무음화할 수 있다. 다른 실시예에서, 방 안에 또는 방 주위에 사인(sign)이, 회의실이라고 나타낼 수 있고, 기기(110)는 광학적 문자인식(optical character recognition)을 사용하여 문자를 판단할 수 있다. 문자는 단독으로 또는 다른 시각적 및/또는 청각적 신호(cue)와 함께 사용되어 회의가 진행되고 있음을 판단할 수 있다.
다른 실시예에서, 프로세서는 사용자가 더 높거나 더 낮은 조명도가 바람직한 활동에 참여하고 있음을 식별하고, 트리거는 이동통신기기가 조명시스템에 신호를 보내어 조명의 양을 증가 또는 감소시키도록 프로그램화 될 수 있다. 이미지처리모듈(2901)은 주변 조명의 정도 및 기기 착용자(3010)가 보고 있는 컴퓨터 스크린(3007)의 밝기를 환경조건으로서 검출할 수 있다. 환경조건의 조합은 명령을 이동통신기기에 전송하여 주변 조명 정도, 예를 들어 램프(3011), 또는 스크린 중 하나 또는 둘 다를 눈에 피로를 줄이기 위해 최적의 밝기로 증가 또는 감소하는 동작을 트리거할 수 있다. 낮은 조명도가 바람직한 다른 활동은 사용자가 텔레비전 또는 영화를 볼 때이거나, 사용자가 감광성 물질을 취급하는 특정 실험실 활동일 수 있다. 일부 실시예에서, 프로세서(210)는 텔레비전 스크린과 같은 발광 물체에 가장 가까운 광원을 식별하고, 명령을 이동통신기기로 전송하여 광원만의 조명도를 증가 또는 감소시키도록 할 수 있다. 트리거의 존재의 결과로서 조정된 광원의 수 및 조명도는 사용자에 의해 구성되거나 미리 구성될 수 있다.
또 다른 실시예에서, 프로세서는 읽고 있고 주변 조명이 충분하지 않음을 식별하고, 트리거는 이동통신기기가 조명시스템으로 신호를 전송하여 조명의 양을 증가시키도록 프로그램화 될 수 있다. 이미지처리모듈(2901)은 비조명된 책(un-illuminated book) 또는 사용자 앞의 문자를 환경조건으로 식별할 수 있다. 상기 환경조건은 프로세서(210)가 이동통신기기로 명령을 전송하여 조명도를 증가시키는 트리거일 수 있다.
도 31a는 실시예에 따른 이미지센서(220)에 의해 수신된 적어도 하나의 이미지에서 트리거를 식별하고 사용자의 이동통신기기와 연관된 동작을 실행하기 위한 방법(3100)의 순서도이다. 방법(3100)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(3100)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(3100)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(3100)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
3101단계에서, 프로세서는 웨어러블이미지센서, 예를 들어 센서(220)로부터 적어도 하나의 이미지를 수신할 수 있다.
3102단계에서, 프로세서는 웨어러블기기 사용자의 환경조건을 식별하기 위하여 적어도 하나의 이미지에 대해 이미지처리를 수행할 수 있다. 예를 들어, 도 29와 관련하여 기재한 바와 같이, 이미지처리모듈(2901)은 이미지센서(220)로부터 이미지데이터를 수신하고, 적어도 하나의 이미지에서 객체, 사람, 및/또는 주변조건과 같은 하나 이상의 환경조건을 식별할 수 있다. 상기 기재된 바와 같이, 프로세서(210)는 이미지 분석 기술을 이용하여 적어도 하나의 이미지 내에 존재하는 하나 이상의 환경조건을 식별할 수 있다. 일부 실시예에서, 환경조건은 하나 이상의 후속적으로 캡처된 이미지 사이의 차이점을 기반으로 결정될 수 있다. 예를 들어, 하나의 이미지는 컨퍼런스 테이블 및 의자(회의실의 환경조건과 관련된 객체)를 캡처하고, 후속 이미지는 상기 객체를 포함하지 않을 수 있어, 사용자의 환경조건이 회의실을 나가고 있음을 나타낼 수 있다.
3103단계에서, 프로세서는 환경조건이 웨어러블기기와 무선으로 페어링된 이동통신기기와 연관된 동작에 대한 트리거인지 판단할 수 있다. 도 39와 관련하여 상기 기재된 바와 같이, 트리거 데이터베이스(2904)는 트리거, 관련동작 및 상기 관련동작의 매개변수인 하나 이상의 환경조건을 저장할 수 있다. 트리거모듈(2902)은 트리거 데이터베이스(2904)에 접속하여 3102단계에서 이미지처리모듈(2901)에 의해 식별된 환경조건과 관련된 트리거 데이터를 검색할 수 있다.
3104단계에서, 프로세서는 이동통신기기가 동작을 트리거하게 하여 동작이 이동통신기기를 통해 발생하게 할 수 있다. 상기 기재된 바와 같이, 동작모듈(2903)은 프로세서가 유선 또는 무선 연결을 통해 명령을 사용자와 연관된 이동통신기기로 전송하도록 할 수 있다. 명령은 이동통신기기가 자체적으로 동작을 실행하게 하거나, 이동통신기기가 다른 장치 및/또는 시스템으로 명령을 전송하여 동작을 실행하도록 할 수 있다. 예를 들어, 이동통신기기는 다른 장치 및/또는 시스템을 제어하도록 구성된 하나 이상의 애플리케이션을 저장할 수 있다. 다른 실시예에서, 프로세서(210)는 이동통신기기에 명령을 먼저 전송하지 않고, 다른 장치 또는 시스템과 직접적으로 통신하도록 구성될 수 있다. 예를 들어, 프로세서(210)는 스마트 홈 시스템, 보안 시스템, 또는 개인용 컴퓨팅장치 중 적어도 하나와 무선으로 통신할 수 있다.
도 31b는 실시예에 따른 오디오데이터에 기초하여 트리거를 식별하고 사용자의 이동통신기기와 연관된 동작을 실행하기 위한 방법(3110)의 순서도이다. 방법(3110)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(3110)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(3110)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(3110)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
3111단계에서, 프로세서는 웨어러블오디오입력장치로부터 오디오데이터를 수신할 수 있다.
3112단계에서, 프로세서는 웨어러블기기 사용자의 환경조건을 식별하기 위하여 오디오데이터의 오디오처리를 수행할 수 있다. 예를 들어, 도 29와 관련하여 기재한 바와 같이, 오디오처리모듈(2905)은 마이크와 같은 오디오 입력장치로부터 오디오데이터를 수신하고, 다른 사람 또는 말하고 있는 다른 사람, 음악, 또는 시청각 프리젠테이션과 같은 하나 이상의 환경조건을 식별할 수 있다. 상기 기재된 바와 같이, 프로세서(210)는 오디오분류기술을 이용하여 오디오데이터에 존재하는 하나 이상의 환경조건을 식별할 수 있다.
3113단계에서, 프로세서는 환경조건이 상기 웨어러블기기와 무선으로 페어링된 이동통신기기와 연관된 동작에 대한 트리거임을 결정할 수 있다. 도 39와 관련하여 상기 기재된 바와 같이, 트리거 데이터베이스(2904)는 트리거, 관련동작 및 상기 관련동작의 매개변수인 하나 이상의 환경조건을 저장할 수 있다. 트리거모듈(2902)은 트리거 데이터베이스(2904)에 접속하여 3112단계에서 식별된 환경조건과 관련된 트리거 데이터를 검색할 수 있다. 일부 실시예에서, 트리거는 이미지 및 오디오데이터 둘 다에 의해 식별된 환경조건과 관련될 수 있다.
3114단계에서, 프로세서는 이동통신기기가 동작을 트리거하게 하여 동작이 이동통신기기를 통해 발생하게 할 수 있다. 상기 기재된 바와 같이, 동작모듈(2903)은 프로세서가 유선 또는 무선 연결을 통해 명령을 사용자와 연관된 이동통신기기로 전송하도록 할 수 있다. 명령은 이동통신기기가 자체적으로 동작을 실행하게 하거나, 이동통신기기가 다른 장치 및/또는 시스템으로 명령을 전송하여 동작을 실행하도록 할 수 있다. 예를 들어, 이동통신기기는 다른 장치 및/또는 시스템을 제어하도록 구성된 하나 이상의 애플리케이션을 저장할 수 있다. 다른 실시예에서, 프로세서(210)는 이동통신기기에 명령을 먼저 전송하지 않고 다른 장치 또는 시스템과 직접적으로 통신하도록 구성될 수 있다. 예를 들어, 프로세서(210)는 스마트 홈 시스템, 보안 시스템, 또는 개인용 컴퓨팅장치 중 적어도 하나와 무선으로 통신할 수 있다.
도 31c는 실시예에 따른 오디오 및 이미지데이터의 조합에 기초하여 트리거를 식별하고, 사용자의 이동통신기기와 연관된 동작을 실행하기 위한 방법(3120)의 순서도이다. 방법(3120)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(3120)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(3120)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(3120)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
3121a 단계에서, 프로세서는 웨어러블오디오입력장치로부터 오디오데이터를 수신할 수 있다. 3121b 단계에서, 프로세서는 웨어러블이미지센서, 예를 들어 이미지센서(220)로부터 이미지데이터를 수신할 수 있다. 3121a 및 3121b 단계는 함께 또는 동시에 발생할 수 있다.
3122단계에서, 프로세서는 웨어러블기기 사용자의 환경조건을 식별하기 위하여 오디오데이터의 오디오처리 및 이미지데이터의 이미지처리를 수행할 수 있다. 예를 들어, 도 29와 관련하여 기재한 바와 같이, 오디오처리모듈(2905)은 마이크와 같은 오디오 입력장치로부터 오디오데이터를 수신하고, 다른 사람 또는 말하고 있는 다른 사람, 음악, 또는 시청각 프리젠테이션과 같은 하나 이상의 환경조건을 식별할 수 있다. 이와 함께 또는 동시에, 이미지처리모듈(2901)은 이미지센서(220)로부터 이미지데이터를 수신하고, 사용자의 환경에서 하나 이상의 객체 및/또는 사람을 식별할 수 있다. 상기 기재된 바와 같이, 프로세서(210)는 오디오 및/또는 이미지분류기술을 이용하여 오디오 및 이미지데이터에 기반하여 환경에 존재하는 하나 이상의 환경조건을 식별할 수 있다.
3123단계에서, 프로세서는 환경조건이 상기 웨어러블기기와 무선으로 페어링된 이동통신기기와 연관된 동작에 대한 트리거임을 결정할 수 있다. 도 39와 관련하여 상기 기재된 바와 같이, 트리거 데이터베이스(2904)는 트리거, 관련동작 및 상기 관련동작의 매개변수인 하나 이상의 환경조건을 저장할 수 있다. 트리거모듈(2902)은 트리거 데이터베이스(2904)에 접속하여 3122단계의 이미지처리모듈(2901) 및 오디오처리모듈(2905)에 의해 식별된 환경조건과 관련된 트리거 데이터를 검색할 수 있다. 일부 실시예에서, 트리거는 오디오데이터, 이미지데이터, 또는 오디오 및 이미지데이터 둘 다의 조합에 의해 식별된 환경조건과 관련될 수 있다.
3124단계에서, 프로세서는 이동통신기기가 동작을 트리거하게 하여 동작이 이동통신기기를 통해 발생하게 할 수 있다. 상기 기재된 바와 같이, 동작모듈(2903)은 프로세서가 유선 또는 무선 연결을 통해 명령을 사용자와 연관된 이동통신기기로 전송하도록 할 수 있다. 명령은 이동통신기기가 자체적으로 동작을 실행하게 하거나, 이동통신기기가 다른 장치 및/또는 시스템으로 명령을 전송하여 동작을 실행하도록 할 수 있다. 예를 들어, 이동통신기기는 다른 장치 및/또는 시스템을 제어하도록 구성된 하나 이상의 애플리케이션을 저장할 수 있다. 다른 실시예에서, 프로세서(210)는 이동통신기기에 명령을 먼저 전송하지 않고 다른 장치 또는 시스템과 직접적으로 통신하도록 구성될 수 있다. 예를 들어, 프로세서(210)는 스마트 홈 시스템, 보안 시스템, 또는 개인용 컴퓨팅장치 중 적어도 하나와 무선으로 통신할 수 있다.
웨어러블기기의 위치를 원격으로 식별
일부 실시예에서, 웨어러블기기(110)는 사용자와 관련된 이동통신기기와 페어링 될 수 있다. 사용자가 웨어러블기기(110)를 분실하면, 사용자는 기기(110)를 찾기 위해 이동통신기기 상에서 애플리케이션을 개시하게 할 수 있다. 예를 들어, 이미지센서(220)는 기기(110)의 환경과 관련된 정보를 수집할 수 있고, 이미지데이터 및/또는 위치데이터를 웨어러블기기(110)와 페어링된 이동통신기기로 전송할 수 있다. 웨어러블기기(110)는 이의 환경의 이미지데이터를 이용하여 오디오 및/또는 음성 방향을 사용자에게 이동통신기기를 통해 제공하여 기기(110)를 찾도록 협조할 수 있다. 예를 들어, 기기(110)가 가구, 예를 들어 소파 아래 있는 경우, 기기(110)는 낮은 조도 환경을 나타내는 이미지데이터를 수신할 수 있고/있거나 시야의 가려진 부분으로 이미지를 캡처할 수 있고, 기기(110)는 이미지데이터를 처리하여 위치를 식별하고, 사용자에게 이동통신기기를 통해 "기기가 소파 아래에 있다."와 같은 오디오 지시를 제공할 수 있다. 일부 실시예에서, 기기(110)의 위치가 이미지데이터로부터 결정될 수 없는 경우, 즉 이미지센서(220)가 어두운 공간에 있고 이미지데이터를 수집할 수 없는 경우, 기기(110)는 이의 위치를 나타내는 GPS 좌표(coordinates)를 전송할 수 있다.
기기가 분실되는 경우, 사용자는 분실된 기기를 찾기 위해 제2기기를 통해 모바일 애플리케이션을 사용할 수 있다. 예를 들어, 사용자는 GPS 좌표 또는 제2기기에 대한 근접성에 기초하여 분실된 기기를 찾을 수 있다. 그러나 현재 기기가 해당 환경의 다른 객체를 참조하여 정확한 위치를 식별할 수 없다. 분실된 기기가 해당 환경에서 다른 객체 및/또는 사람을 인식하지 못하기 때문에, 기기가 사용자에게 찾기에 정확한 방향을 제공할 충분한 정보가 없다.
상기 기재된 바와 같이, 일부 실시예에서, 기기(110) 또는 컴퓨팅장치(120)는 프로세서(210 또는 540)를 통하여 캡처된 이미지데이터를 처리하여 해당 환경 내의 객체를 인식하는 추가 기능을 제공할 수 있다. 기기(110)는 공지의 무선 표준(예를 들어, wifi, 블루투스(bluetooth®) 등), 근접장 정전용량 결합, 및 다른 근거리 무선기술을 통해 사용자와 연관된 이동통신기기와 페어링 될 수 있다. 이동통신기기는 스마트폰, 노트북, 태블릿, 또는 무선 네트워크를 통해 통신할 수 있는 다른 장치일 수 있다. 기기(110)는 무선 송수신기(530), 오디오 스피커, 진동촉각 시뮬레이터(simulator), 또는 디스플레이 중 하나 이상을 사용하여 예를 들어, 피드백 출력부(230)를 통해 출력을 제공하도록 구성될 수 있다.
일부 실시예에서, 기기(110)는 상기 웨어러블기기(110)와 무선으로 페어링된 이동통신기기로부터 웨어러블기기에 대한 위치정보를 제공하는 커맨드를 수신할 수 있다. 예를 들어, 웨어러블기기(110) 사용자는 기기(110)가 위치정보를 전송하도록 이동통신기기에 설치된 모바일 애플리케이션을 통해 커맨드를 실행할 수 있다. 이동통신기기로부터 무선으로 수신된 커맨드에 응답하여, 기기(110)는 이미지센서(220)에 의해 수집된 이미지 데이터를 처리하고 기기(110)의 위치를 결정한다.
일부 실시예에서, 기기(110)는 모션센서, 예를 들어 가속도계 또는 자이로스코프를 포함할 수 있다. 모션센서는 기기의 이동(movement)에 대한 정보를 수집할 수 있다. 예를 들어, 기기(110)가 사용자의 주머니에 있는 경우, 이미지센서(220)는 이미지데이터를 수집하지 않을 수 있다. 그러나 모션센서는 인간 보행 패턴을 나타내는 데이터를 수집할 수 있다. 본 예시에서, 이동통신기기는 사용자에게 기기(110)가 주머니에 또는 사용자가 들고 다니는 가방에 있음을 알릴 수 있다.
기기(110)는 이동통신기기의 위치로부터 기기(110)의 위치로 향하는 위치정보 및/또는 방향을 전송할 수 있다. 일부 실시예에서, 이동통신기기는 웨어러블기기의 위치에 관한 정보에 기초하여 웨어러블기기의 위치의 가청설명(audible description)을 제공하도록 구성된다. 일부 실시예에서, 가청설명은 웨어러블기기의 위치를 지정하는 음성단어(spoken word)를 포함한다. 예를 들어, 이동통신기기는 기기(110)를 찾기 위한 명령 또는 방향을 스피커 또는 시각적 디스플레이를 통해 사용자에게 출력할 수 있다. 일부 실시예에서, 음성단어는 '웨어러블기기가 가구 아래 있다.'라는 사양(specification)을 포함한다. 예를 들어, 이동통신기기는 '기기가 가구 아래에 있다.' 또는 '기기가 소파 아래에 있다.'라는 오디오 출력을 할 수 있다. 다른 실시예에서, 음성단어는 웨어러블기기가 가방이나 용기에 위치한다는 사양을 포함한다. 다른 실시예에서, 음성단어는 웨어러블기기가 이동통신기기 사용자의 주머니에 위치한다는 사양을 포함할 수 있다. 또 다른 실시예에서, 음성단어는 웨어러블기기가 이동통신기기 사용자에 대한 방향으로 위치되는 사양을 포함할 수 있다.
다른 실시예에서, 이동통신기기는 웨어러블기기의 위치에 관한 정보에 기초하여 웨어러블기기의 위치에 대한 문자출력을 제공하도록 구성된다. 일부 실시예에서, 문자는 웨어러블기기가 가방이나 용기에 위치한다는 사양을 포함할 수 있다. 다른 실시예에서, 문자는 웨어러블기기가 이동통신기기 사용자의 주머니에 위치한다는 사양을 포함할 수 있다. 또 다른 실시예에서, 문자는 웨어러블기기가 이동통신기기 사용자에 대한 방향으로 위치됨을 특정할 수 있다.
다른 실시예에서, 기기(110)를 찾는 것은 웨어러블기기와 이동통신기기 사이에 무선 페어링을 확립하는 것을 포함할 수 있다. 웨어러블기기가 분실된 경우, 이동통신기기는 웨어러블기기를 핑하기 위한 예를 들어, 애플리케이션 및/또는 이동통신기기의 I/O 장치를 통해 사용자 입력을 수신하도록 구성될 수 있다. 사용자 입력에 응답하여, 분실된 기기를 찾는 것은 무선으로 핑을 이동통신기기로부터 웨어러블기기로의 전송하는 것을 포함할 수 있다. 핑은 웨어러블기기가 웨어러블기기 주변의 적어도 하나의 이미지를 캡처하기 위한 설명을 포함할 수 있다. 기기(110)는 웨어러블기기의 위치를 판단하기 위해 적어도 하나의 이미지를 분석하고, 위치정보를 이동통신기기로 전송할 수 있다.
다른 실시예에서, 기기(110)는 이미지 정보 이외에 오디오 정보를 사용하도록 구성될 수 있다. 예를 들어, 기기(110)는 마이크를 통해 기차 소리를 검출할 수 있다. 기기(110)는 이미지 정보를 사용하는 대신 또는 이미지 정보와 함께 오디오 정보를 사용하여 기기(110)가 기차역에 있을 수 있다는 명령을 이동통신기기에 전송할 수 있다. 다른 실시예에서, 기기(110)는 이미지센서(220)가 캡처할 수 있는 데이터를 제한하는 가방에 있을 수 있다. 본 예시에서, 기기(110)는 오디오데이터를 사용하여, 예를 들어, 음성인식을 사용하여, 기기와 함께 사용자가 동일한 방에 있음을 판단할 수 있다.
도 32는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(3200)의 실시예의 일례를 도시한 것이다. 메모리(3200) 내에 이미지처리모듈(3201), 오디오처리모듈(3204), 기기위치모듈(3202), 및 방향모듈(3203)이 포함된다. 모듈(3201, 3202, 3203, 3204)은 웨어러블기기에 포함된 적어도 하나의 처리장치(예, 프로세서(210))에 의해 실행되는 소프트웨어 명령을 포함할 수 있다. 일부 실시예에서, 이미지처리모듈(3201), 오디오처리모듈(3204), 기기위치모듈(3202), 및 방향모듈(3203) 중 하나 이상은 웨어러블기기와 무선으로 페어링된 이동통신기기에 의해 실행될 수 있다. 이미지처리모듈(3201), 오디오처리모듈(3204), 기기위치모듈(3202), 및 방향모듈(3203)은 이미지센서, 예를 들어 이미지센서(220)로부터의 하나 이상의 이미지 및 위치데이터, 예를 들어 기기(110)의 GPS 좌표를 처리하기 위해 조합하여, 기기(110)를 찾는데 사용자에게 도움을 줄 명령 세트를 생성할 수 있다. 메모리(3200)는 상기 기재된 도 6의 메모리(550)로부터 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모션트래킹 모듈(603)은 도 32의 이미지분석모듈 3201, 오디오처리모듈(3204), 기기 위치 모듈 3202, 및 방향모듈(3203)와 함께 또는 동시에 작동할 수 있다.
이미지처리모듈(3201)은 이미지센서(220)로부터 수신된 하나 이상의 이미지에서 하나 이상의 객체를 식별하도록 구성될 수 있다. 일부 실시예에서, 객체 또는 사람은 하나 이상의 이미지분류기술의 애플리케이션을 통해 식별될 수 있다. 예를 들어, 적어도 하나의 이미지분류기술은 이미지의 적어도 하나의 특징을 분류하기 위해 사용될 수 있다. 일부 실시예에서, 이미지분류기술은 이미지 향상, 에지검출(edge detection), 이미지 분석, 및 데이터 추출 중 하나 이상을 포함할 수 있다. 하나 이상의 객체를 식별하기 위한 방법의 특정 실시예는 단지 예시일뿐이고, 당업자는 본 기재와 일치하는 객체를 식별하기 위한 다른 방법을 인식할 것이다. 몇몇 실시예에서, 하나 이상의 객체는 객체검출 알고리즘(object detection algorithm), 이미지 내의 객체 및/또는 객체를 검출하도록 훈련된 뉴럴네트워크, 기계학습 시스템(machine learning system), 패턴인식시스템(pattern recognition system) 등을 사용하여 검출될 수 있다.
몇몇 실시예에서, 적어도 한 사람은 안면인식 알고리즘(facial recognition algorithm), 이미지 내의 얼굴 및/또는 사람을 검출하도록 훈련된 뉴럴네트워크 등을 이용하여 사용자의 환경에서 식별될 수 있다. 다른 실시예에서, 웨어러블기기(110)는 열신호 알고리즘(thermal signature algorithm)에 의한 처리를 위해 열상(thermal image)을 단독으로 또는 시각적 이미지와 조합하여 캡처할 수 있다. 웨어러블기기(110)가 감소된 조명 상황에서 동작하는 구현에서, 적어도 한 사람 또는 객체의 열인식(thermal recognition)이 바람직할 수 있다.
일부 실시예에서, 오디오처리모듈(3204)은 기기(110)의 마이크를 통해 수신된 오디오 입력에 기초하여 위치정보를 식별하도록 구성될 수 있다. 일부 실시예에서, 위치정보는 하나 이상의 오디오분류기술(audio classification techniques)의 애플리케이션을 통해 식별될 수 있다. 예를 들어, 적어도 하나의 오디오분류기술은 착용자 이외의 사람의 스피치, 교통 소음, 철도 소음, 인간 소음 등을 분류하도록 사용될 수 있다. 일부 실시예에서, 오디오분류기술은 오디오 향상, 자연어처리(natural language processing), 스피치 인식 및 데이터 추출 중 적어도 하나를 포함할 수 있다. 적어도 하나의 환경조건을 식별하기 위한 방법의 특정 실시예는 단지 예시일뿐이며, 당업자는 본 기재와 일치하는 적어도 하나의 환경조건을 식별하기 위한 다른 방법을 인식할 것이다. 오디오처리모듈(3204)은 공지된 환경조건의 라이브러리가 오디오처리모듈(3204)이 사용될 때 마나 업데이트될 수 있도록 통합된 기계분석 알고리즘을 가질 수 있다.
예를 들어, 오디오처리모듈(3204)은 기기가 다수의 사람들과 함께 방에 있음을 나타내는 몇 가지 음성을 식별할 수 있다. 본 예시에서, 이미지처리모듈(3201)은 기기가 회의실에 있음을 나타내는 하나 이상의 의자 및/또는 컨퍼런스 테이블을 식별할 수 있다. 기기(110)는 오디오 및 이미지데이터로부터의 정보를 사용하여 이동통신기기가 사용자에게 기기가 회의실에 있음을 오디오 또는 문자를 통해 제공할 수 있다.
기기위치모듈(3202)은 이미지처리모듈(3201) 및 오디오처리모듈(3204)에 의해 결정된 이미지데이터 및/또는 오디오데이터를 수신하도록 구성될 수 있다. 일부 실시예에서, 기기위치모듈(3202)은 하나 이상의 기기 구성요소, GPS부로부터 또는 기기(110) 사용자와 연관된 이동통신기기로부터 위치데이터를 수신할 수 있다. 기기위치모듈(3202)은 이미지처리모듈(3201) 및/또는 오디오처리모듈(3204)에 의해 수집된 이미지 정보에 기초하여 기기(110)의 위치를 나타내는 위치정보를 결정할 수 있다. 예를 들어, 기기(110)의 환경에서 검출된 객체는 이의 위치를 나타낼 수 있다. 기기(110)는 기계학습(machine learning) 또는 상기 기재된 다른 방법을 이용하여 특정 방과 관련된 하나 이상의 객체의 수집을 인식할 수 있다. 일부 실시예에서, 기기위치모듈(3202)은 기기(110)의 모션센서로부터 모션데이터를 수신하고, 모션, 이미지, 및/또는 오디오데이터의 조합을 기반으로 하여 기기의 위치를 결정할 수 있다.
예를 들어, 기기(110)를 찾기 위해 사용자로부터 커맨드를 수신하면, 이동통신기기는 기기(110)와 통신하거나 "핑(ping)"을 기기(110)에 전송할 수 있다. 기기위치모듈(3202)은 이동통신기기와 연결되고, 이의 위치데이터, 예를 들어 GPS 좌표 또는 근접성을 이동통신기기에 전송할 수 있다. 위치데이터는 예를 들어, GPS 좌표, 이동통신기기로 부터의 추정 거리, 및/또는 바닥과 같은 기준점(reference point)으로부터의 높이를 포함할 수 있다. 일부 실시예에서, 기기위치모듈(3202)은 이동통신기기의 GPS 좌표와 비교하여, 기기(110)의 GPS 좌표를 분석함으로써 기기(110)로부터 이동통신기까지의 거리를 결정할 수 있다.
다른 실시예에서, 기기(110)가 사용자 바로 근처에 있지 않은 경우, 예를 들어, 기기가 동일한 빌딩에 있지 않은 경우, 기기위치모듈(3202)은 서버 상에 맵을 접속할 수 있고, 이동통신기기의 위치로부터 기기(110)의 GPS 위치로의 방향을 제공할 수 있다. 본 예시에서, 이동통신기기는 TBT 오디오 방향(turn-by-turn audio direction)을 제공하거나, 경로를 나타내는 지도를 디스플레이하거나, 또는 방향과 경로 지도를 GPS부, GPS부를 포함하는 스마트 차량, 및/또는 사용자에 의해 특정된 다른 장치 중 적어도 하나로 전송할 수 있다.
방향모듈(3203)은 이미지처리모듈(3201), 오디오처리모듈(3205), 및 기기위치모듈(3202)로부터 데이터를 수신하고, 사용자를 기기(110)로 안내하기 위한 명령 세트를 결정하고, 이러한 방향을 출력할 수 있다. 상기 세트는 최적의 방향일 수도 있고 아닐 수도 있다. 사용자로부터 기기(110)의 거리에 따라, 이동통신기기는 위치로 방향을 제공하거나, 기기(110)의 위치를 나타내는 오디오를 디스플레이 및/또는 제공할 수 있다. 예를 들어, 기기(110)가 이동통신기기로부터 500피트 이상 떨어진 경우, 방향모듈(3203)은 기기(110)의 위치로의 TBT(turn-by-turn) 방향의 리스트를 출력할 수 있다. 다른 실시예에서, 기기(110)가 이동통신기기로부터 몇 피트, 예를 들어 1 또는 2피트 떨어진 경우, 기기(110)는 명령을 이동통신기기로 전송하여 기기(110)의 위치를 나타내는 오디오를 출력할 수 있다.
일 실시예에서, 이미지센서(220)가 테이블 상에 있는 경우, 이미지센서(220)는 테이블 표면 및 소파와 안락의자와 같은 다른 가구를 캡처할 수 있다. 본 예시에서, 기기위치모듈(3202)은 기기(110)의 위치, 예를 들어 기기(110)가 거실의 테이블 상에 있음을 결정할 수 있고, 방향모듈(3203)은 이동통신기기가 "기기가 거실의 테이블 상에 있다."를 오디오 출력하도록 명령을 생성하고 전송할 수 있다. 다른 실시예에서, 방향모듈(3203)은 기기(110)의 위치를 나타내는 이미지 및/또는 아이콘(icon)을 생성할 수 있다. 다른 실시예에서, 방향모듈(3203)은 명령을 사용자의 이동통신기기에 전송하여 사용자가 분실된 기기(110) 가까이에 있음을 알릴 수 있다.
일부 실시예에서, 방향모듈(3203)에 의해 결정된 위치정보는 이동통신기기가 웨어러블기기의 위치를 나타내는 이미지를 제공하도록 구성될 수 있다. 일부 실시예에서, 이동통신기기 사용자는 적어도 하나의 이미지에 도시되고, 정보는 웨어러블기기에 대한 사용자의 위치를 포함한다. 이동통신기기는 웨어러블기기의 위치에 관한 정보를 기반으로 하여 웨어러블기기에 대한 사용자의 위치를 청각적으로 출력하도록 구성될 수 있다.
일부 실시예에서, 이미지센서(220)의 하우징은 이미지센서(220)가 아래로 향하지 않도록 하여 환경의 이미지를 항상 수집하도록 설계될 수 있다. 예를 들어, 이미지센서(220)는 만곡된 하우징(curved housing)을 가질 수 있어서, 센서가 테이블 상에서 아래로 향하는 경우, 센서는 여전히 어느 정도의 이미지 정보를 수집할 수 있다. 다른 실시예에서, 이미지처리모듈(3201)이 기기(110)를 찾기 위해 초기 이미지 세트로부터 충분한 데이터를 추출할 수 없는 경우, 기기(110)는 이미지센서(220)의 캡처링 각도, 또는 다른 매개변수, 예를 들어 줌(zoom) 또는 밝기(brightness)를 변경하여 더 많은 이미지를 캡처하도록 구성될 수 있다. 일부 실시예에서, 기기(110)는 하나 이상의 이미지처리 알고리즘으로부터 피드백을 사용하여 캡처할 시야의 영역을 결정하거나 매개변수, 예를 들어 캡처링 각도를 얼마나 변경할지를 결정할 수 있다.
모듈(3201 내지 3204)은 소프트웨어, 하드웨어, 펌웨어, 이의 혼합 등으로 구현될 수 있다. 예를 들어, 모듈이 소프트웨어로 구현되는 경우, 모듈은 예를 들어 메모리(550)에 저장될 수 있다. 그러나, 일부 실시예에서, 모듈(3201 내지 3204) 중 임의의 하나 이상은 프로세서(540)에 저장될 수 있고/있거나 하나 이상의 처리장치를 포함할 수 있는 서버(250) 상에 위치될 수 있다. 서버(250)의 처리장치는 모듈(3201 내지 3204)의 명령을 실행하도록 구성될 수 있다. 일부 실시예에서, 모듈(3201 내지 3204)의 양상은 하나 이상의 프로세서에 의해 단독으로 또는 서로 다양한 조합으로 실행 가능한 소프트웨어, 하드웨어, 또는 펌웨어(firmware) 명령(또는 이의 조합)을 포함할 수 있다. 예를 들어, 모듈(3201 내지 3204)은 서로서로 및/또는 서버(250)의 다른 모듈 및/또는 웨어러블 카메라 시스템 및/또는 이동통신기기와 상호작용하도록 구성되어 기재된 실시예에 따른 기능들을 수행할 수 있다. 일부 실시예에서, 임의의 상기 기재된 모듈은 각각 전용센서(dedicated sensor)(예를 들어, IR, 이미지센서, 등) 및/또는 전용 애플리케이션 처리장치(dedicated application processing device)을 포함하여 각 모듈과 연관된 기능을 수행할 수 있다.
도 33a는 사용자가 소파(3302) 아래로 떨어진 기기(110)를 찾으려고 하는 예시적인 시나리오를 도시한 것이다. 기기 위치를 찾기 시작하기 위해 사용자(3301)는 이동통신기기(미도시)의 모바일 애플리케이션을 열고, 기기(110)를 찾을 수 없음을 나타내는 정보를 입력할 수 있다. 이동통신기기로부터 통신, 또는 "핑(ping)"을 수신한 후, 기기(110)는 이미지센서(220)가 기기의 환경에서 하나 이상의 이미지를 수집하도록 명령을 실행할 수 있다. 이미지처리모듈(3201)은 이미지데이터를 처리하여 수집된 하나 이상의 이미지에서 하나 이상의 객체를 식별할 수 있다. 객체는 소파(3302)의 모서리, 바닥, 사용자(3301)의 발 등을 포함할 수 있다. 방향모듈(3203)은 이러한 이미지를 분석하여 기기(110)가 바닥에 있는지, 가구 아래 있는지 및 사용자(3301)의 오른쪽에 있는지를 결정할 수 있다. 다른 실시예에서, 오디오처리모듈(3205)에 의해 분석된 오디오데이터는 사용자의 발자국 및/또는 음성을 나타낼 수 있다. 이러한 오디오데이터는 프로세서(210)가 사용자(3301)가 기기(110) 가까이에 있음을 결정하도록 하고, 프로세서(210)가 기기(110)로부터 사용자(3301)의 거리 및 방향을 결정하도록 할 수 있다.
방향모듈(3203)은 명령 및/또는 위치정보를 이동통신기기로 전송할 수 있다. 예를 들어, 방향모듈(3203)은 이미지센서(220)에 의해 수집된 하나 이상의 이미지 및 명령을 무선으로 전송하여, 이동통신기기가 하나 이상의 이미지를 디스플레이하게 하여, 사용자가 이미지에서 보이는 객체를 기반으로 기기를 찾도록 할 수 있다. 추가적으로, 방향모듈(3203)은 명령을 전송하여 이동통신기기가 음성 오디오, 예를 들어, "기기가 당신의 오른쪽으로 가구 아래 있다"를 출력하도록 할 수 있다.
도 33b는 책상(3304) 위 서류가방(3303) 안에 있는 기기(110)를 찾으려고 하는 예시적인 시나리오를 도시한 것이다. 기기 위치를 찾기 시작하기 위해 사용자(3301)는 이동통신기기(미도시)의 모바일 애플리케이션을 열고, 기기(110)를 찾을 수 없음을 나타내는 정보를 입력할 수 있다. 이동통신기기로부터 통신, 또는 "핑(ping)"을 수신한 후, 기기(110)는 이미지센서(220)가 기기의 환경에서 하나 이상의 이미지를 수집하도록 명령을 실행할 수 있다. 이미지처리모듈(3201)은 이미지데이터를 처리하여 수집된 하나 이상의 이미지에서 하나 이상의 객체를 식별할 수 있다. 객체는 서류가방(3303)의 모서리, 책상 의자(3305)의 일부, 및 사용자(3301)의 일부를 포함할 수 있다. 오디오 정보는 사용자의 음성을 포함할 수 있다. 예를 들어, 오디오처리모듈(3204)은 사용자의 음성의 크기에 기반하여 사용자(3301)가 기기(110)가 얼마나 가까이에 있음을 결정할 수 있다. 방향모듈(3203)은 이러한 이미지를 분석하여 기기(110)가 책상 위 컨테이너, 예를 들어 서류가방(3303) 안에 있는지, 높은 표면상에 있는지를 결정할 수 있다. 방향모듈(3203)은 검출된 객체에 기초하여 기기(110)가 표면상에 있음을 결정할 수 있다. 예를 들어, 이미지센서(220)가 의자의 상단 및 사용자의 중앙부의 이미지를 수집한다면, 방향모듈(3203)은 기기(110)가 테이블 상에 또는 다른 높은 표면 상에 있다고 결정할 수 있다.
방향모듈(3203)은 명령 및/또는 위치정보를 이동통신기기로 전송할 수 있다. 예를 들어, 방향모듈(3203)은 이미지센서(220)에 의해 수집된 하나 이상의 이미지 및 명령을 무선으로 전송하여, 이동통신기기가 하나 이상의 이미지를 디스플레이하게 할 수 있다. 추가적으로, 방향모듈(3203)은 명령을 전송하여 이동통신기기가 음성 오디오, 예를 들어, "기기가 당신의 왼쪽으로 테이블 상의 컨테이너 안에 있다."를 출력하도록 할 수 있다. 일부 실시예에서, 이동통신기기는 기기(110)와 사용자(3301)의 상대적 위치 및 근접성(proximity)을 나타내는 아이콘을 디스플레이할 수 있다.
도 33c는 사용자(3301)가 사용자의 주머니(3306)에 있는 기기(110)를 찾으려고 하는 예시적인 시나리오를 도시한 것이다. 기기 위치를 찾기 시작하기 위해 사용자(3301)는 이동통신기기(미도시)의 모바일 애플리케이션을 열고, 기기(110)를 찾을 수 없음을 나타내는 정보를 입력할 수 있다. 이동통신기기로부터 통신, 또는 "핑(ping)"을 수신한 후, 기기(110)는 이미지센서(220)가 기기의 환경에서 하나 이상의 이미지를 수집하도록 명령을 실행할 수 있다. 그러나 이미지센서(220)가 직물에 의해 차단될 수 있기 때문에, 이미지센서(220)는 사용자의 주머니(3306) 내의 이미지를 수집할 수 없다. 이미지처리모듈(3201)은 방향모듈(3203)과 통신하여 기기(110)가 컨테이너, 예를 들어 주머니, 안에 있어 이미지데이터를 제공할 수 없음을 나타낼 수 있다. 본 예시에서, 방향모듈(3203)은 기기위치모듈(3202)로부터의 이동통신기기까지의 근접성과 같은 위치정보를 수신할 수 있다. 기기(110)의 위치가 이동통신기기의 위치에 가까운 경우, 예를 들어 1피트에 위치하는 경우, 방향모듈(3203)은 이동통신기기로 하여금 기기(110)가 주머니 안에 있음을 디스플레이하거나 오디오로 출력하도록 지시할 수 있다.
일부 실시예에서, 기기(110)는 모션센서를 포함할 수 있다. 예를 들어, 사용자(3301)가 걷고 있고, 사용자의 주머니(3306)에 있는 기기(110)를 찾을 수 없는 경우, 모션센서는 보행 패턴을 나타내는 모션데이터를 수집할 수 있다. 기기 위치모듈(3202)은 이미지 및/또는 오디오데이터와 함께 모션데이터를 사용하여 기기(110)가 사용자의 주머니(3306)에 있음을 결정할 수 있다. 일부 실시예에서, 기기(110)는 모션센서에 의해 검출된 보행 패턴이 사용자의 보행 패턴과 매칭하는 지를 결정하기 위해 보행인식 알고리즘(gait recognition algorithm)을 사용할 수 있다.
도 34는 기기를 찾고 이동통신기기 상에 위치정보를 디스플레이하는 방법(3400)의 순서도이다. 방법(3400)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(3400)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(3400)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(3400)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰, 태블릿, 또는 이어폰 등과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
3401단계에서, 프로세서는 웨어러블기기와 무선으로 페어링된 이동통신기기로부터 웨어러블기기에 대한 위치정보를 제공하는 커맨드를 수신할 수 있다. 일부 실시예에서, 프로세서는 웨어러블기기와 이동통신기기 사이에 무선 페어링을 확립할 수 있다. 기기가 분실되면, 프로세서는 웨어러블기기 페어링을 위해 사용자 입력을 수신할 수 있다. 사용자 입력에 응답하여, 프로세서는 이동통신기기로부터, 웨어러블기기로 하여금 웨어러블기기 주변의 적어도 하나의 이미지를 캡처하도록 하는 명령을 포함하는, 핑을 웨어러블기기로 무선으로 전송할 수 있다.
3402단계에서, 프로세서는 커맨드에 응답하여, 웨어러블기기의 위치를 판단하기 위하여 웨어러블기기의 환경을 나타내는 적어도 하나의 이미지를 분석할 수 있다. 예를 들어, 방향모듈(3203)은 이미지처리모듈(3201)로부터 이미지 정보를 수신하고, 이미지 정보에 기초하여 기기(110)의 위치를 식별할 수 있다. 다른 실시예에서, 방향모듈(3203)은 추가적으로 기기위치모듈(3202)로부터 위치데이터를 수신하고, 기기의 위치를 결정하기 위해 이미지 정보와 함께 위치데이터를 사용할 수 있다.
3402단계에서, 일부 실시예에서, 프로세서는 웨어러블기기의 위치를 결정하기 위해 이미지 정보와 함께 오디오 정보를 분석할 수도 있다. 예를 들어, 방향모듈(3203)은 이미지처리모듈(3201)로부터 이미지 정보 및 오디오처리모듈(3204)로부터 오디오 정보를 수신하고, 이미지 및 오디오 정보의 조합에 기초하여 기기(110)의 위치를 결정할 수 있다. 다른 실시예에서, 방향모듈(3203)은 추가적으로 기기위치모듈(3202)로부터 위치데이터를 수신하고, 기기의 위치를 결정하기 위해 이미지 및/또는 오디오 정보와 함께 위치데이터를 사용할 수 있다. 당업자는 일부 실시예에서, 프로세서가 웨어러블기기의 위치를 결정하기 위해 이미지 및/또는 오디오데이터의 임의의 조합을 분석할 수 있음을 인식할 것이다.
3403단계에서, 프로세서는 이동통신기기의 위치에 대한 정보를 이동통신기기로 전송할 수 있다. 상기 기재된 바와 같이, 기기(110)의 위치에 관한 정보는 GPS 좌표, 이미지센서(220)에 의해 수집된 이미지, 및/또는 방향(위치), 사용자에 대한 기기(110)의 위치를 포함할 수 있다. 프로세서는 추가적으로 실행 가능한 명령을 전송하여 이동통신기기로 하여금 기기(110)의 위치에 대한 정보를 디스플레이 및/또는 청각적으로 출력할 수 있다.
시야를 조정하기 위한 피드백을 제공하는 웨어러블기기
일부 실시예에서, 웨어러블기기(110)는 웨어러블기기 사용자(110)의 환경과 관련된 정보를 수집할 수 있다. 또한, 일부의 실시예에서, 기기(110)의 이미지센서(220)는 전체 시야를 캡처하는데 방해되도록 위치할 수 있다. 다른 실시예에서, 이미지센서(220)는 전체 시야 및/또는 사용자의 환경에 대한 정보를 포함하는 시야의 일부를 캡처할 수 없도록 위치할 수 있다. 일부 실시예에서, 기기(110)는 이미지센서(220)의 방해(obstruction) 또는 잘못된 방향을 검출하고 사용자에게 통지 또는 보정정보를 통신하도록 구성될 수 있다. 예를 들어, 기기(110)는 사용자에게 이미지센서(220)를 재배치시키거나 다시 방향을 바꾸도록 제안할 수 있다.
현재, 웨어러블기기 또는 장치는 이미지감지 구성요소를 포함할 수 있다. 그러나 사용자는 이미지감지 구성요소가 장애물이 없음을 보장하고/하거나 원하는 시야를 검출할 수 있는지 확인할 수 있다. 일부 경우에 있어서, 이미지감지 구성요소는 사용자에게 알려지지 않고 방해받을 수 있어서, 이미지감지 구성요소는 의미있는 피드백을 제공하기에 사용가능한 이미지를 캡처할 수 없을 수 있다.
상기 기재된 바와 같이, 일부 실시예에서, 기기(110) 또는 컴퓨팅장치(120) 중 임의의 하나는 프로세서(210 또는 540)를 통해 캡처된 이미지데이터를 또한 처리하고, 이미지센서(220)의 시야의 전부 또는 일부가 방해 받는지 아닌지를 결정할 수 있다. 일부 실시예에서, 기기(110)는 웨어러블이미지센서에 의해 캡처된 적어도 하나의 이미지를 분석하여 웨어러블이미지센서(220)에 관련된 위치결정문제(positioning issue)를 판단할 수 있다. 위치결정문제의 결정에 응답하여 기기(110)는 위치결정문제를 해결하기 위한 보정정보를 결정하고, 상기 보정정보를 기기(110) 사용자에게 제공할 수 있다.
이미지센서(220)가 완전히 또는 부분적으로 차단되어 이미지데이터를 수집할 수 없는 경우, 위치결정문제가 발생할 수 있다. 일부 실시예에서, 위치결정문제는 웨어러블이미지센서(220)의 방해(obstruction) 및/또는 양질의 이미지 캡처의 방해(impediment)를 포함할 수 있다. 다른 실시예에서, 위치결정문제는 기기(110) 사용자에 의한 웨어러블이미지센서(220)의 방해를 포함할 수 있다. 예를 들어, 이미지센서(220)가 사용자에 의해 방해받거나 사용자의 옷에 의해 방해받도록 기기(110)가 사용자에 의해 착용될 수 있다. 다른 실시예에서, 이미지센서(220)는 거즈같거나 반투명한 의복, 예를 들어 리넨 스카프(linen scarf) 뒤에 위치할 수 있다. 위치결정문제는 스카프로 인한 캡처된 이미지 품질에 나타나는 문제일 수 있다. 다른 실시예에서, 위치결정문제는 웨어러블이미지센서(220)의 방향을 포함할 수 있다. 예를 들어, 이미지센서(220)가 안경, 예를 들어 안경(130) 위에 장착된 경우, 사용자는 안경을 제거하고 이를 머리 위에 위치하게 하여, 이미지센서(220)가 하늘 또는 천장을 향하도록 할 수 있다. 본 예시에서, 이미지센서(220)는 사용자와 관련된 이미지 정보, 즉 사용자의 환경에 관한 정보를 캡처할 수 없을 수 있다.
이미지센서(220)의 위치결정문제의 결정에 응답하여, 기기(110)는 사용자에게 보정정보를 제공할 수 있다. 일부 실시예에서, 보정정보는 웨어러블기기를 이동시키기 위한 추천(recommendation)을 포함할 수 있다. 예를 들어, 이미지센서(220)가 사용자의 스카프에 의해 방해받는 경우, 보정정보는 사용자의 신체에서 다른 위치에 기기(110)를 착용하도록 하는 것일 수 있다. 일부 실시예에서, 보정정보는 방해물을 제거 또는 재위치를 위한 추천을 포함할 수 있다. 상기 실시예에서, 보정정보는 사용자에게 스카프를 제거 및/또는 재위치시키기 위한 추천을 포함할 수 있다. 위치결정문제가 이미지센서(220)의 방향과 관련되는 실시예에서, 보정정보는 웨어러블이미지센서(220)의 방향을 변경하라는 추천을 포함할 수 있다.
일부 실시예에서, 보정정보는 웨어러블기기와 무선으로 페어링된 이동통신기기로 제공된다. 일부 실시예에서, 보정정보는 문자출력으로 제공된다. 예를 들어, 보정정보는 이동통신기기로 하여금 보정정보를 문자로 출력하도록 구성될 수 있다. 예를 들어, 보정정보는 모바일 애플리케이션을 통해 이동통신기기의 스크린에 디스플레이될 수 있다. 다른 실시예에서, 보정정보는 이동통신기기로 하여금 스피커를 통해 이동통신기기의 보정정보를 청각적으로 출력하도록 구성된다.
일부 실시예에서, 보정정보는 웨어러블기기를 조정하기 위한 일반적인 추천을 포함할 수 있다. 예를 들어, 보정정보는 사용자의 이동통신기기로 하여금 사용자에게 이미지센서가 충분한 이미지데이터를 수집할 수 없음을 문자 및/또는 음성 메시지를 통해 알리도록 할 수 있다. 예시적인 메시지는 예를 들어, "이미지센서가 차단되었으니 기기를 조정하시기 바랍니다"일 수 있다.
다른 실시예에서, 보정정보는 적어도 하나의 프로세서로 하여금 위치결정문제를 자동으로 해결하도록 구성된 실행 가능한 명령을 포함할 수 있다. 예를 들어, 위치결정문제는 이미지센서(220)의 방향일 수 있다. 보정정보는 프로세서가 기기 내의 이미지센서의 방향 및/또는 각도를 조정하여 센서가 더 넓은 시야를 캡처할 수 있는 명령을 포함할 수 있다.
도 35는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(3500)의 실시예의 일례를 도시한 것이다. 메모리(550) 내에 이미지처리모듈(3501), 위치결정모듈(3502), 및 보정모듈(3503)이 포함된다. 모듈(3501, 3502, 3503)은 웨어러블기기에 포함된 적어도 하나의 처리장치(예, 프로세서(210))에 의해 실행되는 소프트웨어 명령을 포함할 수 있다. 이미지처리모듈(3501), 위치결정모듈(3502), 및 보정모듈(3503)은 이미지센서, 예를 들어 이미지센서(220)로부터의 이미지를 처리하고, 위치결정문제를 식별하고, 상기 위치결정문제에 기초하여 보정정보를 결정 및 사용자에게 보정정보를 출력하기 위해 조합할 수 있다. 메모리(3500)는 상기 기재된 도 6의 메모리(550)로부터 분리 및/또는 통합될 수 있다. 유사하게, 도 6의 방향식별모듈(601), 방향조정모듈(602), 및 모션트래킹 모듈(603)은 도 35의 이미지처리모듈(3501), 위치결정모듈(3502), 및 보정모듈(3503)과 함께 또는 동시에 작동할 수 있다.
이미지처리모듈(3501)은 하나 이상의 객체 및/또는 하나 이상의 이미지로부터 조명 정도를 식별하도록 구성될 수 있다. 일부 실시예에서, 하나 이상의 이미지에서의 객체는 하나 이상의 이미지분류기술의 애플리케이션을 통해 식별될 수 있다. 예를 들어, 적어도 하나의 이미지분류기술은 이미지의 적어도 하나의 특징을 분류하기 위해 사용될 수 있다. 일부 실시예에서, 이미지분류기술은 이미지 향상, 에지검출(edge detection), 이미지 분석, 및 데이터 추출 중 적어도 하나 포함할 수 있다. 적어도 하나의 환경조건을 식별하기 위한 방법의 특정 실시예는 단지 예시일뿐이고, 당업자는 본 기재와 일치하는 적어도 하나의 위치결정문제를 식별하기 위한 다른 방법을 인식할 것이다. 일부 실시예에서, 적어도 하나의 객체는 객체검출 알고리즘(object detection algorithm), 이미지 내의 객체 및/또는 객체를 검출하도록 훈련된 뉴럴네트워크, 기계학습 시스템(machine learning system), 패턴인식시스템(pattern recognition system) 등을 사용하여 검출될 수 있다. 일부 실시예에서, 이미지처리모듈(3501)은 사용자의 환경의 조명 정도를 식별할 수 있다.
위치결정모듈(3502)은 이미지처리모듈(3501)로부터 이미지데이터를 수신하고 위치결정문제를 식별하도록 구성될 수 있다. 위치결정문제는 이미지센서(220)가 사용자의 환경과 연관된 이미지 정보를 캡처할 수 없는 이미지센서(220)의 차단 또는 이미지센서(220)의 방향일 수 있다. 예를 들어, 이미지처리모듈(3501)의 하나 이상의 캡처된 이미지를 분석하여, 이미지센서(220)가 시야의 일부분으로부터 이미지데이터를 수집할 수 없음을 결정할 수 있고, 위치결정모듈(3502)은 데이터의 부족이 이미지센서(220)의 일부 차단과 연결시킬 수 있다. 본 예시에서, 위치결정모듈(3502)은 이미지센서(220)의 어느 쪽이 차단되었는지, 예를 들어 사용자에 대해, 객체가 센서의 왼쪽 부분을 차단하고 있는지를 결정할 수 있다. 다른 실시예에서, 이미지처리모듈(3501)은 이미지센서(220)가 완전히 차단되었음을 나타내는 이미지데이터를 수신하지 않을 수 있다. 다른 실시예에서, 위치결정문제가 이미지센서(220)의 방향인 경우, 이미지처리모듈(3501)은 평평한 표면, 예를 들어 사용자가 있는 방의 천장 또는 하늘을 식별할 수 있다. 본 예시에서, 위치결정모듈(3502)은 이미지처리모듈(3501)의 정보에 기반하여 위치결정문제가 이미지센서가 위를 향하고 있다는 것임을 식별할 수 있다. 위치결정모듈(3502)은 또한 공지된 방해 및/또는 방향의 라이브러리가 이미지처리모듈(3501) 및 위치결정모듈(3502)을 사용될 때마나 업데이트될 수 있도록 통합된 기계분석 알고리즘(machine analysis algorithm)을 가질 수 있다.
보정모듈(3503)은 위치결정모듈(3502)로부터 위치결정문제 정보를 수신하고, 사용자에게 위치결정문제를 해결하기 위한 추천을 포함하는 보정정보를 결정할 수 있다. 추천은 이미지센서(220)를 이동, 재배치 및/또는 다시 방향을 바꾸도록 하는 명령을 포함할 수 있다. 다른 실시예에서, 추천은 사용자 자신 및/또는 의복을 재배치하라는 것일 수 있다. 보정모듈(3503)은 보정정보를 문자로 및/또는 음성 명령으로 기기(110)에 무선으로 페어링된 이동통신기기로 전송하도록 구성될 수 있다. 기기(110)는 공지의 무선 표준(예를 들어, wifi, 블루투스(bluetooth®) 등), 근접장 정전용량 결합, 및 다른 근거리 무선기술, 또는 유선연결을 통해 기기와 통신함으로써 보정정보를 전송할 수 있다.
일부 실시예에서, 보정모듈(3503)은 이미지센서(220)의 방향으로부터 발생하는 위치결정문제를 나타내는 데이터를 수신할 수 있다. 보정모듈(3503)은 하나 이상의 방향모듈과 통신하여 이미지센서의 방향을 자동으로 보정하고 위치결정모듈(3502)에 의해 식별된 위치결정문제를 보정할 수 있다.
모듈(3501-3503)은 소프트웨어, 하드웨어, 펌웨어, 이의 혼합 등으로 구현될 수 있다. 예를 들어, 모듈이 소프트웨어로 구현되는 경우, 모듈은 예를 들어 메모리(550)에 저장될 수 있다. 그러나 일부 실시예에서, 모듈(3501-3503) 중 하나 이상은 프로세서(540)에 저장될 수 있고/있거나 하나 이상의 처리장치를 포함할 수 있는 서버(250) 상에 위치될 수 있다. 서버(250)의 처리장치는 모듈(3501-3503)의 명령을 실행하도록 구성될 수 있다. 일부 실시예에서, 모듈(3501-3503)의 양상은 하나 이상의 프로세서에 의해 단독으로 또는 서로 다양한 조합으로 실행 가능한 소프트웨어, 하드웨어, 또는 펌웨어(firmware) 명령(또는 이의 조합)을 포함할 수 있다. 예를 들어, 모듈(3501-3503)은 서로서로 및/또는 서버(250)의 다른 모듈 및/또는 웨어러블 카메라 시스템과 상호작용하도록 구성되어 기재된 실시예에 따른 기능들을 수행할 수 있다. 일부 실시예에서, 임의의 상기 기재된 모듈은 각각 전용센서(dedicated sensor)(예를 들어, IR, 이미지센서 등) 및/또는 전용 애플리케이션 처리장치(dedicated application processing device)을 포함하여 각 모듈과 연관된 기능을 수행할 수 있다.
도 36a는 기기(110)의 이미지센서가 사용자(3602)의 자켓(3601)에 의해 부분적으로 차단되었다는 위치결정문제를 시스템이 식별하는 예시적인 시나리오를 도시한 것이다. 기기(110)는 벨트(3603) 위에 사용자(3602)에 의해 착용될 수 있다. 벨트(3603)는 벨트(150)와 동일하거나 유사할 수 있다. 사용자(3602)가 자켓(3601)을 입고 있는 경우, 기기(110)는 부분적으로 차단될 수 있다. 이미지센서(220)에 의해 캡처된 이미지는 시야가 차단된 부분에 상응하는 데이터가 부족할 수 있다. 위치결정모듈(3502)은 이미지처리모듈(3501)로부터 이미지 정보를 수신하고, 이미지센서의 좌측(사용자의 좌측에 대응하는)이 차단되었다는 위치결정문제 결정할 수 있다. 보정모듈(3503)은 예를 들어, "옷이 기기를 차단하고 있으니 기기나 옷을 재배치하시기 바랍니다."와 같은 명령을 결정할 수 있다. 명령은 사용자의 이동통신기기로 무선으로 전송되고, 이동통신기기의 스크린에 디스플레이 및/또는 청각적으로 사용자의 이동통신기기의 스피커로부터 출력될 수 있다.
도 36b는 기기(110)의 이미지센서가 사용자(3604)에 의해 부분적으로 차단되었다는 위치결정문제를 시스템이 식별하는 예시적인 시나리오를 도시한 것이다. 기기(110)는 목걸이(3605) 상에 사용자(3604)에 의해 착용될 수 있다. 목걸이(3605)는 목걸이(14)와 동일하거나 유사할 수 있다. 기기를 착용하면서 사용자(3604)가, 예를 들어, 사용자가 팔장을 낌으로써, 기기(110)를 차단할 수 있다. 이미지처리모듈(3501)은 이미지센서(220)에 의해 캡처된 하나 이상의 이미지를 분석하여 시야의 하부가 차단되었음을 결정할 수 있다. 상기 기재된 바와 같이, 이미지처리모듈(3501)은 하나 이상의 기술을 이용하여 차단을 야기하는 객체를 포함한 사용자의 환경에서 객체를 특징화할 수 있다. 이미지처리모듈(3501)은 차단의 기하학적 구조 및/또는 굽음을 분석하여 차단이 사람의 신체부분, 예를 들어 '팔'에 의해 야기되었음을 결정할 수 있다. 위치결정모듈(3502)은 상기 정보를 수신하고, 시야의 하부가 사용자의 팔에 의해 차단됨을 결정할 수 있다.
본 예시에서, 보정모듈(3503)에 의해 결정된 보정정보는 사용자(3604)에게 팔을 이동시킬 것을 추천하는 것일 수 있다. 일부 실시예에서, 예를 들어, 보정정보가 팔을 이동하는 사용자(3604)에게 출력되고, 이후 사용자(3604)가 다음에 위치를 가정하여 사용자 팔이 다시 센서를 차단하면, 보정모듈(3503)은 차단의 연속적 행동을 분석하고 차후의 차단을 피하기 위해 사용자에게 기기(110)를 이동할 것을 추천할 수 있다. 상기 기재된 바와 같이, 보정모듈(3503)은 사용자의 이동통신기기로 보정명령을 전송하고 이동통신기기의 스크린에 상기 명령을 디스플레이할 수 있다.
도 36c는 기기(110)의 이미지센서가 연관 이미지 정보를 수집할 수 없도록 이미지센서가 위치한다는 위치결정문제를 시스템이 식별하는 예시적인 시나리오를 도시한 것이다. 기기(110)는 시계(3607) 위에 사용자(3606)에 의해 착용될 수 있다. 시계를 차고 있는 동안 사용자(3606)가 키보드에 타이핑을 하거나 필기하는 것과 같은 기기(110)가 위로 향하도록 하는 활동을 할 수 있다. 이미지처리모듈(3501)은 이미지센서(220)에 의해 캡처된 하나 이상의 이미지를 분석하고, 사용자(3606)의 턱 및/또는 사용자(3606)가 있는 방의 천장을 식별할 수 있다. 상기 기재된 바와 같이, 이미지처리모듈(3501)은 하나 이상의 기술을 이용하여 사용자(3606)의 환경에서 객체를 특성화할 수 있다. 위치결정모듈(3502)은 이러한 정보, 예를 들어, 사용자(3606)의 턱의 식별을 수신하고 기기(110)가 위를 향하고 있다고 결정할 수 있다.
본 예시에서, 보정모듈(3503)에 의해 결정된 보정정보는 이미지센서(220)에 의해 캡처된 시야가 사용자(3606)가 보는 시야와 동일하도록 사용자의 팔을 움직이거나 기기(110)를 이동할 것을 추천하는 것일 수 있다. 몇몇 실시예에서, 이러한 정보는 사용자가 기기를 제거하고(즉, 더 이상 시계로 착용하지 않음) 기기를 재위치 시킬 것을 추천하여, 이미지센서(220)의 시야가 특정 지역(예를 들어, 디스플레이)을 모니터링 하면서 사용자가 활동(예를 들어 타이핑)을 계속할 수 있도록 한다. 상기 기재된 바와 같이, 보정모듈(3503)은 사용자의 이동통신기기로 보정명령을 전송하고, 이동통신기기의 스크린 상에 상기 명령을 디스플레이할 수 있다.
도 37은 실시예에 따른 웨어러블기기 센서와 관련된 위치결정문제를 결정하고 상기 위치결정문제에 기초하여 보정정보를 사용자에게 제공하는 방법(3700)의 순서도이다. 방법(3700)은 범용 컴퓨터 또는 본 기재의 실시예에 따라 구축된 특수목적의 컴퓨터에 의해 구현될 수 있다. 예를 들어, 방법(3700)은 프로세서(210, 210a, 210b, 및 540) 중 적어도 하나에 의해서 실행될 수 있다. 일부 실시예에서, 방법(3700)의 단계들은 웨어러블기기(110)에 의해 수행될 수 있다. 다른 실시예에서, 방법(3700)의 단계들은 웨어러블기기(110) 및 하나 이상의 외부장치(예를 들어 예를 들어, 네트워크를 통해 웨어러블기기(110)로부터 데이터를 수신하는 외부 서버에 포함된 프로세서 및/또는 노트북, 스마트 시계, 스마트폰과 같은 외부장치에 포함된 프로세서)에 의해 수행될 수 있다.
3701단계에서, 프로세서는 웨어러블이미지센서, 예를 들어 센서(220)로부터 적어도 하나의 이미지를 분석할 수 있다. 예를 들어, 이미지센서(220)는 사용자 환경의 하나 이상의 이미지를 캡처할 수 있다. 이미지처리모듈(3501)은 하나 이상의 이미지를 분석하여 하나 이상의 객체, 조명 정도, 및/또는 캡처된 시야를 식별할 수 있다. 일부 실시예에서, 프로세서(210)는 웨어러블이미지센서로부터 복수의 이미지를 수신하고 이미지의 적어도 일부분에 대해 이미지처리를 수행할 수 있다.
3702단계에서, 프로세서는 적어도 하나의 이미지의 분석에 기반하여 위치결정문제를 판단할 수 있다. 일부 실시예에서, 프로세서(210)는 이미지처리에 기반하여 양질의 이미지 캡처에 문제를 판단할 수 있다. 상기 기재된 바와 같이, 위치결정모듈(3502)은 이미지처리모듈(3501)로부터 이미지 정보를 수신하고, 상기 이미지 정보를 차단, 방해 또는 이미지센서(220)의 불충분한 방향과 같은 위치결정문제와 연관시킬 수 있다.
3703단계에서, 프로세서는 위치결정문제를 해결하기 위한 보정정보를 결정할 수 있다. 일부 실시예에서, 프로세서는, 상기 판단된 장애에 기반하여, 위치결정문제를 해결하기 위한 보정정보를 결정할 수 있다. 예를 들어, 보정모듈(3503)은 위치결정모듈(3502)로부터 위치결정문제를 나타내는 정보를 수신하고 위치결정문제를 해결할 보정정보를 결정할 수 있다. 상기 기재된 바와 같이, 보정정보는 위치결정문제를 해결하기 위해 기기(110)를 이동하거나 재위치하라는 추천을 포함할 수 있다.
일부 실시예에서, 보정모듈(3503)은 위치결정모듈(3202)로부터 위치결정문제를 나타내는 정보를 수신할 수 있으나, 위치결정정보는 위치결정문제의 원인을 나타내지 않을 수 있다. 특정 원인이 위치결정모듈(3502)에 의해 결정되지 않는 경우, 보정모듈(3503)은 일반적인 메세지를 제공할 수 있다. 예를 들어, 이미지센서가 추출 가능한 데이터를 포함하는 이미지를 수집하고 않는 경우, 예를 들어 센서가 완전히 차단된 경우, 위치결정모듈(3502)은 차단의 원인을 판단할 수 없을 수 있다. 본 예시에서, 보정모듈(3503)은 이동통신기기로 하여금 "이미지센서가 차단되었습니다."와 같은 일반적인 메시지를 출력할 수 있다.
3704단계에서, 프로세서는 보정정보를 웨어러블기기 사용자에게 제공할 수 있다. 보정정보를 제공하는 것은 보정정보를 기기(110)와 무선으로 페어링된 이동통신기기로 전송하는 것을 포함할 수 있다. 보정정보는 사용자가 위치결정문제를 해결하기 위해 문자, 시각적 및/또는 음성 명령을 포함할 수 있다. 프로세서는 명령이 이동통신기기로 전송되어 문자 명령을 디스플레이하거나 문자음성변환프로그램(text-to-speech) 소프트웨어를 사용하여 음성 명령으로 출력할 수 있다.
일부 실시예에서, 방법(3700)은 선택적인 3705단계를 포함할 수 있다. 위치결정모듈(3502)에 의해 식별된 위치결정문제는 사용자에게 이미지센서(220)를 재위치시키거나 방향을 바꿀 것을 요구하지 않을 수 있다. 위치결정문제는 3705단계에서 기기(110)에 의해 자체적으로 해결될 수 있는 경우, 프로세서는 기기(110) 및/또는 이미지센서(220)로 하여금 자동으로 위치결정문제를 보정하도록 할 수 있다. 예를 들어, 자동으로 위치결정문제를 보정하는 것은 센서의 각도, 센서의 감도 또는 캡처된 이미지의 해상도 중 적어도 하나를 수정하는 것을 포함할 수 있다.
일 실시예에서, 사용자는 사용자의 신체에 대해 약간의 각도로 위치되어 기기를 옷 위에 착용할 수 있다. 위치결정모듈(3502)은, 이미지데이터에 기초하여, 이미지센서(220)가 사용자와 동일한 각도로부터 전체 시야를 캡처링하지 않는 것으로 결정할 수 있다. 본 예시에서, 프로세서는 이미지센서(220)를 자동으로 회점시킴으로써 위치결정문제를 해결하여, 센서가 사용자의 시선과 평형하게 사용자로부터 멀어지도록 할 수 있다.
네임태깅(name tagging)을 위한 웨어러블기기
일부 실시예에서, 기재된 기기 및 방법은 자연어처리(natural language processing)를 이용하여 캡처된 얼굴이미지와 이름의 연관성을 용이하게 하여, 얼굴이미지와 연관될 수 있는 대화로부터 이름을 추출할 수 있다. 정확성을 보장하기 위하여, 사용자는 이름을 저장하기 전에 확인을 요청받을 수 있다. 상기 기재된 기기 및 방법은 또한 후속 만남 후에, 후속 얼굴이미지에 기반하여, 신원조회를 할 수 있다.
도 38에 도시된 바와 같이, 상기 기재된 다른 모듈과 조합하여 얼굴이미지와 이름의 연관성은 예를 들어, 얼굴이미지 연관성모듈(3802), 신원조회모듈(3804), 사운드처리모듈(3806), 및 디스플레이모듈(3808)을 포함하는 4개의 모듈로 분할될 수 있다. 일부 실시예에서, 모듈(3802, 3804, 3806, 및 3808)은 기기(110 및/또는 120)의 메모리(550)에 저장될 수 있거나, 모듈(3802, 3804, 3806, 및 3808)(또는 이의 일부)은 기기(110)로부터 원격으로 저장될 수 있다(예를 들어, 무선 송수신기(530)를 통해 기기(110)에 접속 가능한 서버에 저장될 수 있다).
프로세서(210)에 의해 실행 가능한 명령을 저장할 수 있는 얼굴이미지 연관성모듈(3802)은 음성 이름에 기반하여 생성된 문자와 얼굴이미지를 연관시키는 것과 관련된 다양한 태스크를 처리할 수 있다. 상기 기재된 바와 같이, 이러한 태스크는 기기(110)와 연관된 다양한 센서 및 감지시스템(sensing system)으로부터의 입력에 따라 다양할 수 있다.
얼굴이미지 연관성모듈(3802)은 웨어러블이미지센서(이미지센서(220)와 같은)로부터 웨어러블기기 사용자와 상호작용하는 개체의 얼굴이미지를 수신할 수 있다. 얼굴이미지는 임의의 적합한 스틸 또는 모션 이미징 포맷일 수 있고, 얼굴이미지에 도시된 개체는 인간을 포함할 수 있다. 일 실시예에서, 이미지에 도시된 개체는 사람의 표현, 사람의 랜더링된, 애니메이션화된 또는 도시된 표현, 또는 웨어러블이미지센서의 출력에 나타날 수 있는 임의의 다른 시각적 대상을 포함할 수 있다.
연관성모듈(3802)은 메모리(예를 들어, 메모리(550))에 문자를 얼굴이미지와 연관시키는 방식으로 개체와 연관 문자를 저장할 수 있다. 일체의 데이터 구조, 파일 시스템, 또는 문자를 얼굴이미지와 연관시키는 알고리즘이 사용될 수 있다. 문자는 개체와 상호작용 동안 캡처된 음성을 포함할 수 있다. 예를 들어, 문자는 개체와의 대화 및/또는 개체와 관련된 대화에서 캡처된 개체의 음성 이름을 포함할 수 있다. 일부 실시예에서, 얼굴이미지 연관성모듈(3802)은 사운드처리모듈(3806)(하기 더 기재된)로부터 문자를 수신할 수 있다. 다음의 설명은 개체의 이름과 관련된 문자에 중점을 두지만, 문자는, 예를 들어, 제목(title), 공통 관심사, 하나 이상의 다른 개체와의 관계와 같이 개체와 관련된 임의의 정보를 포함할 수 있다.
일부 실시예에서, 개체와 관련된 문자를 저장하기 전에, 얼굴이미지 연관성모듈(3802)은 사용자로 하여금 개체의 추정된 이름을 확인하도록 할 수 있다. 예를 들어, 얼굴이미지 연관성모듈(3802)은 개체의 추정된 이름을 사용자에게 디스플레이할 수 있다. 디스플레이는 적어도 부분적으로 디스플레이모듈(3808)(하기 더 상세히 설명된)에 의해 수행될 수 있다. 일부 실시예에서, 개체와 관련된 문자를 저장하기 전에, 얼굴이미지 연관성모듈(3802)은 사용자가 문자를 변경하도록 할 수 있다. 임의의 공지의 문자 변경 방법이 사용될 수 있다. 예를 들어, 이미지 연관성모듈(3802)은 디스플레이모듈(3808)로 하여금 문자를 편집할 수 있도록 할 수 있다. 추가적으로 또는 대안적으로, 이미지 연관성모듈(3802)은 디스플레이모듈(3808)로 하여금 문자에 대한 대체 후보를 디스플레이하도록 할 수 있다.
일부 실시예에서, 얼굴 연관성모듈(3802)은 개체와 상호작용하는 동안 음성이 캡처되는 시간 또는 그 시간 가까이에서 웨어러블이미지센서로부터 수신된 이미지 보다 다른 이미지와 연관하여 개체와 연관된 문자를 저장할 수 있다. 즉, 얼굴 연관성모듈(3802)은 이전에 캡처된 얼굴이미지와 관련하여 문자를 저장함으로써 문자를 얼굴이미지와 연관시키는 방식으로 음성 이름과 연관된 문자를 저장할 수 있다.
일부 실시예에서, 얼굴 연관성모듈(3802)은 캡처된 음성 이외의 소스로부터 문자를 수신하고, 상기 문자를 개체의 얼굴이미지와 연관시킬 수 있다. 예를 들어, 얼굴 연관성모듈(3802)은 이미지에서 문자의 분석에 기초하여 이름을 판단하도록 프로그램화될 수 있다. 얼굴 연관성모듈(3802)은 이미지에 나타나는 이름표, Id 카드 등에 기초하여 이름을 판단할 수 있다. 공지의 광학적 문자인식(optical character recognition)(OCR) 기술과 같은 문자를 분석하는 임의의 적당한 방법이 분석에 사용될 수 있다.
신원조회모듈(3804)은 프로세서(210)에 의해 실행 가능한 명령을 저장하고, 개체의 신원조회와 관련된 다양한 태스크를 처리할 수 있다. 예를 들어, 신원조회모듈(3804)은 웨어러블이미지센서로부터 개체의 얼굴이미지를 수신할 수 있다. 수신된 얼굴이미지는 후속 얼굴이미지일 수 있다. 즉, 얼굴이미지는, 문자와 얼굴이미지를 연관시키는 방식으로 개체와 연관된 문자가 얼굴이미지 연관성모듈(3802)에 의해 저장된 만남, 이 후의 개체와의 만남을 기반으로 수신될 수 있다.
신원조회모듈(3804)은 후속 얼굴이미지와 같은 얼굴이미지에 기초하여 개체의 신원조회를 수행할 수 있다. 조회는 임의의 공지의 이미지 매칭 또는 안면인식법 또는 적합한 기술의 조합에 기초하여 수행될 수 있다. 조회를 수행하는 것에 응답하여, 신원조회모듈(3804)은 메모리(예를 들어 기기(110 및/또는 120)의 메모리(550))로부터 개체의 음성 이름의 문자를 수신할 수 있다.
사운드처리모듈(3806)은 프로세서(210)에 의해 실행 가능한 명령을 저장하고, 오디오 정보의 수신 및 관리와 관련된 다양한 태스크를 처리할 수 있다. 사운드처리모듈(3806)은 개체와 상호작용 동안 캡처된 사운드 데이터를 수신할 수 있다. 사운드처리모듈(3806)은 기기(120)의 이미지센서와 같은 웨어러블이미지센서를 포함하는 하우징 내의 사운드센서로부터 사운드 데이터를 획득할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 상기 기재된 바와 같이, 사운드 데이터는 기기(110)와 통신하는 컴퓨팅장치(120) 내에 포함된 사운드센서로부터 획득될 수 있다. 이러한 실시예에서, 사운드 데이터는 스마트폰 또는 태블릿과 같은 이동통신기기로부터 획득될 수 있다.
사운드처리모듈(3806)은 수신된 사운드 데이터의 적어도 일부분을 처리하여 개체의 음성 이름을 판단할 수 있다. 처리하는 것은 캡처된 사운드 데이터를 저장 또는 추가의 처리를 위해 적합한 포맷으로 변환하는 것을 포함할 수 있다. 일부 실시예에서, 사운드처리모듈(3806)은 공지의 STT(음성인식, speech-to-text) 방법 또는 기술을 이용하여 음성 이름을 문자로 전환할 수 있다. 사운드처리모듈(3806)은 이름 데이터베이스에 접속하고, 이름과 수신된 사운드 데이터의 적어도 일부분을 비교할 수 있다. 특히, 사운드 데이터로부터 파싱된 단어는 데이터베이스 내의 이름과 비교될 수 있다. 이름의 데이터베이스는 기기(110 및/또는 120)의 메모리(550)에 저장되고, 추가적으로 또는 대안적으로, 하나 이상의 네트워크를 통해 접속할 수 있는 원격서버에 포함될 수 있다. 사운드처리모듈(3806)은 사운드 데이터의 일부를 처리하여 개체의 음성 이름을 적어도 부분적으로 원격서버를 접속함으로써 판단할 수 있다.
디스플레이모듈(3808)은 프로세서(210)에 의해 실행 가능한 명령을 저장하고, 개체와 관련된 신원정보의 디스플레이와 관련된 다양한 태스크를 처리할 수 있다. 예를 들어, 디스플레이모듈(3808)은 기기(110)와 연관된 디스플레이 상에 개체의 이름을 문자로 디스플레이할 수 있다. 일부 실시예에서, 디스플레이모듈(3808)은 기기(110)와 통합된 디스플레이 상에 문자를 디스플레이할 수 있다. 본 기술분야에 알려지고 기기(110)에 포함시키기에 적합한 디스플레이 기술이 사용될 수 있다. 일부 실시예에서, 디스플레이모듈(3808)은 LCD(liquid crystal display), Led(light-emitting diode) 디스플레이, OLED(organic light-emitting diode) 디스플레이 등 중 적어도 하나 상에 문자를 디스플레이할 수 있다. 추가적으로 또는 대안적으로, 디스플레이모듈(3808)은 이동통신기기와 같은 웨어러블기기와 페어링된, 네트워크된, 또는 통신하는 기기(예를 들어, 컴퓨팅장치(120)) 상에 개체의 이름을 디스플레이할 수 있다.
도 39a는 자연어처리(natural language processing)를 사용하여 대화로부터 이름을 추출하기 위하여 캡처된 얼굴이미지와 이름을 연관시키는 방법의 실시예를 나타내는 순서도(3900)이다. 3902단계에서, 웨어러블기기의 적어도 하나의 처리장치(예를 들어, 프로세서(210))는 웨어러블이미지센서로부터 사용자와 상호작용하는 개체의 얼굴이미지를 수신할 수 있다. 일부 실시예에서, 상기 기재된 바와 같이, 얼굴이미지는 얼굴이미지 연관성모듈(3802)로부터 수신될 수 있다.
3904단계에서, 적어도 하나의 처리장치는 상호작용하는 동안 캡처된 사운드 데이터를 수신할 수 있다. 사운드 데이터는 웨어러블이미지센서를 포함하는 하우징 내의 사운드센서로부터 획득될 수 있다. 예를 들어, 상기 기재된 바와 같이, 사운드 데이터는 이동통신기기 내에 포함된 사운드센서로부터 획득될 수 있다.
3906단계에서, 적어도 하나의 처리장치는 개체의 음성 이름을 결정하기 위하여 상기 사운드 데이터의 적어도 일부를 처리할 수 있다. 상기 처리는, 상기 기재된 바와 같이, 사운드처리모듈(3806)에 의해 수행될 수 있다. 상기 기재된 바와 같이, 3906단계에서의 사운드 데이터의 적어도 일부분을 처리하는 것은 이름 데이터베이스에 접속하고, 사운드 데이터로부터 파싱된 단어와 데이터베이스 내의 이름과 비교하는 것을 포함하고, 여기서 상기 데이터베이스는 원격서버에 포함될 수 있다.
3908단계에서, 적어도 하나의 처리장치는 음성 이름을 문자로 전환시킬 수 있다. 상기 기재된 바와 같이, 전환은 사운드처리모듈(3806)에 의해 수행될 수 있다.
3910단계에서, 적어도 하나의 처리장치는 문자를 얼굴이미지와 연관시키는 방식으로 음성 이름과 관련된 문자를 메모리에 저장할 수 있다. 일부 실시예에서, 3910단계는 이전에 캡처된 얼굴이미지와 관련하여 문자를 저장하는 것을 포함할 수 있다.
3912단계에서, 적어도 하나의 처리장치는 웨어러블이미지센서로부터 개체의 후속 얼굴이미지를 수신할 수 있다. 상기 기재된 바와 같이, 후속 얼굴이미지를 수신하는 것은 신원조회모듈(3804)에 의해 수행될 수 있다. 후속 얼굴이미지는 3912단계에서, 예를 들어, 이후 개체와의 만남 후 수신될 수 있다.
3914단계에서, 적어도 하나의 처리장치는 후속 얼굴이미지에 기반하여 개체의 신원조회를 수행할 수 있다. 조회는, 상기 기재된 바와 같이, 신원조회모듈(3804)에 의해 수행될 수 있다.
3916단계에서, 적어도 하나의 처리장치는 메모리로부터 개체의 음성 이름의 문자를 수신할 수 있다. 상기 기재된 바와 같이, 음성 이름의 문자는 신원조회모듈(3804)에 의해 수신될 수 있다.
3918단계에서, 적어도 하나의 처리장치는 웨어러블기기와 페어링된 이동통신기기 상에 개체의 이름을 문자로 디스플레이할 수 있다. 상기 기재된 바와 같이, 개체의 이름의 디스플레이는 디스플레이모듈(3808)에 의해 수행될 수 있다.
일부 실시예에서, 적어도 하나의 처리장치는 캡처된 얼굴이미지와 이름을 연관시키는데 있어서 애매모호하거나 불확실할 수 있다. 예를 들어, 환경 소음은 가끔 음성을 문자로의 변환(speech to text)을 부정확하거나, 음성 이름이 하나 이상의 철자일 수 있다, 이러한 문제를 해결하기 위하여, 도 39b는 이름을 얼굴이미지와 연관하여 저장하기 전 및/또는 저장하는 것의 일부로, 이름의 문자의 정확성을 확인하기 위한 예시적인 방법를 나타내는 순서도(3900)의 추가 단계의 실시예이다.
3909a 단계에서, 적어도 하나의 처리장치는 사용자로 하여금 개체의 추정된 이름을 디스플레이하게 할 수 있다. 상기 기재된 바와 같이, 3909a 단계는 얼굴이미지 연관성모듈(3802)에 의해 수행될 수 있다. 3909a 단계는 3908단계에서 음성 이름을 문자로 변환시킨 후 시작할 수 있으나, 3910단계에서 문자와 얼굴이미지를 연관하여 문자로 저장하기 전에 수행될 수 있다. 3909a 단계에서, 적어도 하나의 처리장치는 사용자에게 디스플레이된 추정된 이름을 확인하도록 할 수 있다.
도 40은 3909a 단계와 동일하게 구성된 기기(4006)에 디스플레이된 인터페이스(4002)의 일례를 도시한 것이다. 인터페이스는, 디스플레이모듈(3808)과 관련하여 상기 기재된 바와 같이, 기기(110) 또는 컴퓨팅장치(120)와 같은 기기 상에 디스플레이될 수 있다. 도 40에 도시된 바와 같이, 인터페이스(4002)는 추정된 이름(4008), "John Smith"를 포함할 수 있다. 인터페이스(4002)는 또한 사용자가 추정된 이름(4008)을 신속히 확인하도록 메세지(4010)를 포함할 수 있다.
도 39b에 도시된 바와 같이, 3909b 단계에서, 적어도 하나의 처리장치는 추정된 이름의 정확성과 관련하여 사용자 입력을 수신할 수 있다. 상기 기재된 바와 같이, 3909b 단계는 얼굴이미지 연관성모듈(3802)에 의해 수행될 수 있다. 터치 스크린 입력, 물리적 버튼, 이미지센서 또는 가속도계에 의해 수신된 제스처 등과 같이 임의의 확인 방법이 사용될 수 있다. 도 40의 실시예에서, 인터페이스(4002)는 추정된 이름(4008)의 확인 및 거부를 각각 나타내는 인터페이스 구성요소(4012 및 4014)를 도시한다. 추정된 이름(4008)의 확인 및 거부의 다른 구성은 본 기술의 당업자에게 자명할 것이다. 예를 들어, 일부 실시예에서, 인터페이스 구성요소(4014)는 생략될 수 있고, 사용자는 추정된 이름(4008) 자체를 선택함으로써 추정된 이름(4008)을 편집할 수 있다. 3909b 단계에서 수신된 입력이 추정된 이름과 정확하게 옳은 경우(3909c 단계; Yes)인 경우, 순서도(3900)는 기재된 바와 같이 3910단계로 진행할 수 있다. 그러나 3909b 단계에서 수신된 입력이 추정된 이름이 정확하지 않은 것(3909c 단계; NO)인 경우, 순서도(3900)는 3909d 단계로 진행할 수 있다.
3909d 단계에서, 적어도 하나의 처리장치는 음성 이름의 문자를 변경하라는 사용자 입력을 수신하여, 사용자가 3910단계에서 저장하기 전에 문자를 변경할 수 있다. 상기 기재된 바와 같이, 3909a 단계는 얼굴이미지 연관성모듈(3802)에 의해 수행될 수 있다. 도 40의 실시예에 도시된 바와 같이, 인터페이스(4004)는 3909d 단계와 일치하도록 구성될 수 있다. 인터페이스(4004)는 사용자가 음성 이름의 문자를 수정할 수 있는 기능을 제공하도록 구성될 수 있다. 예를 들어, 이름 "John" 및 "Jon"이 동일하게 발음될 수 있으므로, 사용자는 개체의 이름을 정확하게 반영하도록 철자를 수정할 수 있다. 인터페이스(4006)는 이러한 수정을 용이하게 하기 위해 문자박스(4018) 및 커서(cursor, 4020)를 포함할 수 있다. 인터페이스(4006)는 또한 문자박스(4018)에 보여지는 이름을 사용자가 신속하게 수정하도록 메세지(4016)를 포함할 수 있다. 이름을 수정 후, 사용자는 확인을 위한 인터페이스 구성요소(4022)를 선택할 수 있고, 순서도(3900)는 3910 단계로 진행될 수 있다.
일부 실시예에서, 사용자가 처음으로 개체를 만나고 있는지 개체의 이름이 이미 저장되어 있는지 여부는 미리 알 수 없기 때문에, 3902단계에서 개체의 얼굴이미지를 수신 후, 순서도(3900)는 3914단계로 진행될 수 있고, 적어도 하나의 처리장치는 개체의 신원을 조회할 수 있다. 개체가 조회에 기초하여 식별되는 경우, 순서도(3900)는 3916단계로 진행하는 반면, 그렇지 않은 경우 순서도(3900)는 3904단계로 진행될 것이다.
일부 실시예에서, 개체가 3914단계의 조회를 기반으로 식별되는 경우, 적어도 하나의 처리장치는 3909b 단계에서 수신된 입력과 유사한 입력을 수신할 수 있다. 입력은 식별된 계체의 신원의 확인 또는 거부를 나타내고/나타내거나 사용자는 조회에서 식별된 기존의 개체 이름의 문자를 편집하도록 할 수 있다. 또한, 자동으로 또는 사용자로부터 수신된 입력에 대응하여, 적어도 하나의 처리장치는 수신된 얼굴이미지를 3914단계에서 조회된 개체의 신원(예를 들어, 이름)과 연관시킬 수 있다.
태스크 우선순위지정을 위한 웨어러블기기
일부 실시예에서, 기재된 기기 및 방법은 캡처된 이미지로부터 식별된 정보를 기초로 하여 태스크 우선순위지정을 용이하게 할 수 있다. 예를 들어, 피드백이 사용자에게 태스크 우선순위의 변화를 알리기 위해 제공될 수 있다.
도 41에 도시된 바와 같이. 상기 기재된 다른 모듈과 조합하여 태스크의 우선순위지정은 예를 들어 이미지분석모듈(4102), 태스크 우선순위지정모듈(4104), 및 피드백모듈(4106)을 포함하는 3개의 모듈로 분할될 수 있다. 일부 실시예에서, 모듈(4102, 4104, 및 4106)은 기기(110 및/또는 120)의 메모리(550)에 저장될 수 있거나, 모듈(4102, 4104, 및 4106)(또는 이의 일부)은 기기(110)로부터 원격으로 저장될 수 있다(예를 들어, 무선 송수신기(530)를 통해 기기(110)에 접속 가능한 서버에 저장될 수 있다). 또한, 메모리(550)는 복수의 태스크를 저장하도록 구성될 수 있다.
본원에 기재된 바와 같이, 태스크는 기기(110)와 관련된 사용자에 의해 또는 위해 달성될 수 있는 임의의 방법 또는 목표를 포함할 수 있다. 태스크는 약속, 스케줄 항목, 집안일, 쇼핑목록, 운동 목표, 건강관리 태스크 등과 같은 개인적 태스크를 포함할 수 있다. 추가적으로 또는 대안적으로, 태스크는 사용자의 직장과 관련된 요구사항을 충족시키는 것과 관련된 태스크를 포함할 수 있다. 태스크는 복수의 태스크를 저장하도록 구성된 메모리부, 예를 들어, 기기(110 및/또는 120)의 메모리(550)에 저장되거나/저장되고 태스크는 기기(110)로부터 원격으로 저장될 수 있다(예를 들어, 무선 송수신기(530)를 통해 기기(110)에 접속 가능한 서버에 저장될 수 있다).
프로세서(210)에 의해 실행 가능한 명령을 저장할 수 있는 이미지분석모듈(4102)은 복수의 태스크와 관련된 정보를 획득하는 것과 관련된 다양한 작업을 처리할 수 있다. 이러한 작업은 기기(110)와 연관된 다양한 센서 및 감지시스템(sensing system)으로부터의 입력에 따라 다양할 수 있다. 예를 들어, 이미지분석모듈(4102)은 웨어러블이미지센서(이미지센서(220)와 같은)로부터 이미지를 수신할 수 있다. 웨어러블이미지센서는 웨어러블기기 사용자의 환경으로부터 복수의 이미지를 캡처하도록 구성될 수 있다. 이미지는 임의의 적합한 스틸 또는 모션 이미징 포맷일 수 있고, 이미지에 도시된 대상(들)은 우선순위에 영향을 미치는 것으로 해석되는 것들을 포함할 수 있다. 일 실시예에서, 이미지에 도시된 대상(들)은 사람 또는 객체의 표현, 사람 또는 객체의 랜더링된, 애니메이션화된 또는 도시된 표현, 또는 웨어러블이미지센서의 출력에 나타날 수 있는 임의의 다른 시각적 대상을 포함할 수 있다.
일부 실시예에서, 이미지분석모듈(4102)은 추가적으로 또는 대안적으로 복수의 이미지 이외의 소스로부터 정보를 수신할 수 있다. 예를 들어, 사운드 데이터는 이미지분석모듈(4102) 및/또는 기기(110)의 다른 모듈에 의해 캡처 및 분석될 수 있다. 이미지분석모듈(4102)은 기기(120)의 이미지센서와 같은 웨어러블이미지센서를 포함하는 하우징 내의 사운드센서로부터 사운드 데이터를 획득할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예에서, 상기 기재된 바와 같이, 사운드 데이터는 기기(110)와 통신하는 컴퓨팅장치(120) 내에 포함된 사운드센서로부터 획득될 수 있다. 이러한 실시예에서, 사운드 데이터는 스마트폰 또는 태블릿과 같은 이동통신기기로부터 획득될 수 있다. 분석은 캡처된 사운드 데이터를 저장 또는 추가의 처리를 위해 적절한 포맷으로 변환하는 것을 포함할 수 있다. 일부 실시예에서, 사운드처리모듈(3806)은 공지의 STT(음성인식) 방법 또는 기술을 사용하여 음성을 문자로 전환할 수 있다.
이미지분석모듈(4102)은 복수의 이미지를 분석하여 복수의 태스크 중 적어도 일부와 관련된 정보를 획득할 수 있다. 정보는 기기(110)에 의한 사용을 위해 임의의 적절한 포맷일 수 있다. 분석은 임의의 적절한 방법 또는 알고리즘에 의해 수행될 수 있다. 예를 들어, 공지의 이미지와의 비교가 수행될 수 있고, 공지의 특성이 하나 이상의 이미지로부터 식별될 수 있고, 이미지로부터 문자를 추출하기 위하여 광학적 문자인식(optical character recognition)이 수행될 수 있다.
복수의 태스크 중 적어도 일부와 관련된 정보는 복수의 태스크 중 하나 또는 그 이상을 완료하는데 필요한 추정시간과 관련된 정보일 수 있다. 일부 실시예에서, 이미지분석모듈(4102)은 태스크를 완료하는데 필요한 추정시간을 나타내는 하나 이상의 이미지에서 객체를 식별할 수 있다. 예를 들어, 이미지분석모듈(4102)은 하나 이상의 이미지가 사용자가 줄을 서서 기다리고 있거나, 운전을 하고 있거나, 또는 군중 속에서 걷고 있음을 나타내고 있음을 결정할 수 있다. 다른 사람, 자동차 등과 같이 이러한 조건과 관련된 객체의 존재는 이미지분석모듈(4102)에 의해 결정될 수 있다.
일부 실시예에서, 복수의 태스크 중 적어도 일부와 관련된 정보는 복수의 태스크 중 하나 또는 그 이상과 관련된 사람과 관련된 정보를 포함할 수 있다. 예를 들어, 이미지분석모듈(4102)은 사람의 신원, 사람의 위치, 사람이 참여하는 활동, 사람이 새로 나타났는지 또는 사라졌는지 등을 결정할 수 있다. 다른 예로서, 일부 실시예에서, 복수의 태스크 중 적어도 일부와 관련된 정보는 심각한 의학적 문제, 추정된 행복수준, 인내심 수준, 스트레스 수준, 분노수준 등과 같은 사람의 신체적, 정신적 및/또는 감정적 상태를 포함할 수 있다. 이러한 상태는 신체 또는 얼굴의 특징, 자세, 움직임, 제스처 등을 분석하는 것과 같이 사람의 적절한 검출 가능한 특성으로부터 판단될 수 있다.
일부 실시예에서, 이미지분석모듈(4102)은 복수의 이미지를 분석하여 복수의 태스크 중 적어도 하나와 관련된 위치에 관련된 정보를 포함할 수 있다. 예를 들어, 이미지분석모듈(4102)은 하나 이상의 도로, 도시, 주(state), 다른 지리적 영역과 관련된 문자 또는 다른 식별정보를 식별할 수 있다. 일부 실시예에서, 이미지분석모듈(4102)은 특정 위치 또는 지역과 관련된 것으로 알려진 하나 이상의 심벌, 랜드마크, 건물, 조직(organization), 사업 등을 식별할 수 있다. 이미지분석모듈(4102)은 복수의 이미지를 분석하여 연기, 화재, 조수(tide)와 같은 위험한 상황과 관련된 정보를 획득할 수 있다.
이미지분석모듈(4102)은 획득된 정보를 기기(110 및/또는 120)의 메모리(550)와 같은 임의의 적절한 메모리에, 또는 기기(110)로부터 원격으로(예를 들어, 무선 송수신기(530)를 통해 기기(110)에 접속 가능한 서버에) 저장될 수 있다. 정보를 저장하기 위한 일체의 데이터 구조, 파일 시스템, 또는 알고리즘이 사용될 수 있다.
태스크 우선순위지정모듈(4104)은 프로세서(210)에 의해 실행 가능한 명령을 저장하고, 태스크를 생성 또는 태스크 우선순위 변경 또는 할당과 관련된 다양한 작업을 처리할 수 있다. 예를 들어, 태스크 우선순위지정모듈(4104)은 이미지분석모듈(4102)로부터 복수의 태스크 중 적어도 하나와 관련된 정보를 수신할 수 있다. 태스크 우선순위지정모듈(4104)은 수신된 정보를 기초하여 태스크를 우선순위화 할 수 있다. 예를 들어, 태스크 우선순위지정모듈(4104)은 적어도 부분적으로 이미지분석모듈(4102)에 의해 획득된 정보를 기초하여 제2 태스크 보다 제1 태스크에 더 높은 우선순위를 할당할 수 있다.
예를 들어, 태스크는 중요도, 긴급성, 기간 등과 같은 하나 이상의 요인에 의해 순위가 매겨질 수 있다. 태스크 우선순위지정모듈(4104)은 상기 얻은 결과에 기반하여 사용자와 다른 사람 또는 객체 사이의 역할 또는 관계에 기반하여 태스크를 우선순위화할 수 있다. 예를 들어, 태스크 우선순위지정모듈(4104)은 사용자는 서비스 제공자이고 다른 사람은 고객 또는 그 반대인 결정에 기반하여 태스크를 우선순위화할 수 있다.
태스크 우선순위지정모듈(4104)은 상기 획득된 결과에 기반하여 복수의 태스크의 적어도 하나와 관련된 점수(숫자 점수와 같은)를 할당 또는 수정할 수 있다. 예를 들어, 태스크 우선순위지정모듈(4104)은 복수의 태스크 중 적어도 하나의 완료와 관련된 적어도 하나의 점수를 결정할 수 있고, 상기 점수를 연관 태스크에 적용할 수 있다. 거의 완료된 태스크는 거의 완료되지 않은 태스크 보다 우선순위가 높거나 그 반대일 수 있다. 제2 태스크 보다 제1 태스크에 더 높은 우선순위를 할당하는 것은, 적어도 부분적으로, 목적기능(objective function)을 최대화하는 것에 기초할 수 있다. 예를 들어, 태스크 우선순위지정모듈(4104)은 특정 시간 또는 특정 위치에서 완료될 수 있는 태스크의 수를 최대화하기 위해 우선순위를 할당할 수 있다. 일부 실시예에, 태스크 우선순위지정모듈(4104)은 태스크 완료와 관련된 비용, 위험성 및/또는 다른 요인을 최소화 또는 최대화하기 위해 우선순위를 할당할 수 있다.
피드백모듈(4106)은 프로세서(210)에 의해 실행 가능한 명령을 저장하고, 할당된 우선순위에 기반하여 사용자에게 피드백을 제공하는 것과 관련된 다양한 작업을 처리할 수 있다. 피드백모듈(4106)은 문자, 그래프 디스플레이, 음성, 촉각 피드백 등과 같은 사용자에게 인식 가능한 임의의 적절한 방식으로 피드백을 제공할 수 있다.
일부 실시예에서, 피드백모듈(4106)은 기기(110)와 연관된 디스플레이를 통해 피드백을 제공할 수 있다. 일부 실시예에서, 피드백모듈(4106)은 문자, 그래프 또는 다른 정보를 기기(110)에 통합된 디스플레이 상에 디스플레이할 수 있다. 본 기술분야에 공지되고 기기(110)에 포함되기에 적합한 임의의 디스플레이 기술이 사용될 수 있다. 일부 실시예에서, 피드백모듈(4106)은 LCD, Led(light-emitting diode) 디스플레이, OLED(organic light-emitting diode) 디스플레이 중 적어도 하나에 정보를 디스플레이할 수 있다. 추가적으로 또는 대안적으로, 피드백모듈(4106)은 이동통신기기와 같은 웨어러블기기와 페어링된, 네크워크된, 또는 이와 달리 통신되는 기기(예를 들어, 컴퓨팅장치(120)) 상에 디스플레이할 수 있다.
도 42는 태스크들의 우선순위를 결정하는 방법의 순서도(4200)의 일례이다.
4202단계에서, 웨어러블기기의 적어도 하나의 처리장치(예를 들어, 프로세서(210))는 복수의 태스크 중 적어도 일부와 관련된 정보를 얻기 위한 복수의 이미지를 분석할 수 있다. 전술한 바와 같이, 웨어러블기기는 복수의 태스크를 저장하도록 구성된 메모리부(예를 들어, 메모리(550))를 포함할 수 있다. 일부 실시예에서, 복수의 태스크는 적어도 제1 태스크 및 제2 태스크를 포함할 수 있다. 메모리부는 태스크의 표시자 또는 설명을 포함한 태스크와 관련된 다양한 정보를 저장할 수 있고, 또한 태스크와 관련되거나 태스크와 관련된 정보와 관련되는 다른 정보(예를 들어, 이름, 위치, 마감일, 목표 등)를 포함할 수 있다.
도 43a는 4202단계에서 적어도 하나의 처리장치에 의해 분석될 수 있는 이미지(4300)의 일례를 도시한 것이다. 일부 실시예에서, 상기 기재된 바와 같이, 이미지는 이미지분석모듈(4102)에 의해 분석될 수 있다. 예를 들어, 이미지(4300)는 약국(4302)을 도시한다. 적어도 하나의 처리장치는 4202단계에서 이미지를 분석하여 예를 들어, "약국" 사인(4304)의 문자 또는 약국 심벌(4306)(예를 들어, 복수의 태스크 중 적어도 하나와 관련된 위치와 관련된 정보)을 식별할 수 있다. 적어도 하나의 처리장치는 또한 자동차(4308)의 존재 또는 차량 수 및/또는 주차공간(4310)(예를 들어, 복수의 태스크 중 하나 또는 그 이상을 완료하는데 필요한 추정시간과 관련된 정보)과 같은 정보를 식별할 수 있다.
4202단계에서 획득된 정보는 복수의 태스크 중 하나 또는 그 이상과 관련된 사람과 관련된 정보를 포함할 수 있다. 예를 들어, 도 43b는 4202단계에서 적어도 하나의 처리장치에 의해 분석될 수 있는 이미지(4340)의 다른 일례를 도시한 것이다. 이미지(4340)는 두 사람(4341 및 4342)을 도시한다. 적어도 하나의 처리장치는 예를 들어, 얼굴분석, 이름표(4350)의 OCR에 의한 이미지(4340)의 분석에 기초하여 결정될 수 있는 특성 또는 다른 정보 또는 사람(4341)의 복장 등에 디스플레이된 문자(4348)와 같은 다른 문자 정보에 기초하여 사람(4341) 및/또는 사람(4342)을 식별할 수 있다.
4202단계에서, 적어도 하나의 처리장치는 정보와 사람 또는 객체 사이의 관계를 판단할 수 있다. 예를 들어, 적어도 하나의 처리장치는, 사용자가 서비스 제공자이고 사람(3431) 및/또는 사람(3432)은 고객 또는 그 반대인 이미지(4340)에 나타나는 특성에 기초하여, 판단할 수 있다.
일부 실시예에서, 적어도 하나의 처리장치는 이미지에서 사람의 신체적, 정신적 또는 감정적 상태를 결정할 수 있다. 예를 들어, 적어도 하나의 처리장치는 사람(4341)의 추정 인내심 수준은 사람(4342) 보다 더 높음 또는 사람(4342)의 추정 스트레스수준은 사람(4341) 보다 더 높음을 나타내는 눈썹(4344 및 4346)의 상대적 위치 또는 상처와 같은 특성을 식별할 수 있다.
도 42를 참조하면, 4204단계에서, 적어도 하나의 처리장치는 얻은 결과에 기반하여 태스크의 우선순위지정을 할 수 있다. 예를 들어, 4204단계에서, 적어도 하나의 처리장치는 제2 태스크 보다 제1 태스크에 더 높은 우선순위를 할당할 수 있다. 상기 기재된 바와 같이, 우선순위지정은 우선순위지정모듈(4104)에 의해 수행될 수 있다.
예를 들어, 도 43a을 참조하면, 이미지(4300)가 약국(4302)을 포함한다는 4202단계에서의 결정에 기초하여, 적어도 하나의 처리장치는 약국과 관련없는 태스크 보다 처방약을 픽업하는 것과 같이 약국과 관련된 태스크에 더 높은 우선순위를 할당할 수 있다.
4204단계에서, 적어도 하나의 처리장치는 태스크의 완료를 고려할 수 있다. 예를 들어, 이미지(4300)가 약국(4302)을 포함한다는 정보의 존재에 따라, 적어도 하나의 처리장치는 약국에서 처방전이 내려진 후 경과한 시간에 기초하여 처방전을 픽업하는 태스크에 우선순위를 지정할 수 있다.
4204단계에서, 적어도 하나의 처리장치는, 적어도 부분적으로, 목적기능을 최대화하는 것을 기반으로 하여 우선순위를 할당할 수 있다. 예를 들어, 자동차(4308)의 수 및/또는 빈 주차공간(4310)과 관련된 정보에 기반하여, 적어도 하나의 처리장치는 약국(4302)에서 태스크를 수행하는데 소요되는 예상시간을 결정할 수 있다. 예를 들어, 적어도 하나의 처리장치는 상기 예상시간에 기반하여(예를 들어, 태스크를 수행하는데 소요된 시간을 최소화하기 위하여) 약국(4302)과 관련된 태스크를 우선순위 지정할 수 있다. 그러나 사용자가 미팅에 늦은 경우, 약국에서 처방전을 픽업하는 우선순위는 낮아질 수 있다.
도 43b를 참조하면, 적어도 하나의 처리장치는 4202단계에서 결정된 사람 또는 객체 사이의 관계 정보에 기반하여 우선순위를 할당할 수 있다. 예를 들어, 적어도 하나의 처리장치는 이미지에서 사람의 신체적, 정신적 또는 감정적 상태에 기반하여 태스크를 우선순위 지정할 수 있다. 예를 들어, 사람(4341) 및 사람(4342)은 둘 다 고객일 수 있고, 사용자는 서비스 제공자이다. 사람(4341)의 추정 인내심 수준이 사람(4342) 보다 더 높고 및/또는 사람(4342)의 추정 스트레스수준이 사람(4341) 보다 더 높음을 기반으로, 적어도 하나의 처리장치는 사람(4341)에게 서비스를 제공하는 태스크 보다 사람(4342)에게 서비스를 제공하는 태스크에 우선순위를 할당할 수 있다.
4206단계에서, 적어도 하나의 처리장치는 상기 할당된 우선순위에 따라 사용자에게 피드백을 제공할 수 있다. 상기 기재된 바와 같이, 피드백을 제공하는 것은 피드백모듈(4106)에 의해 수행될 수 있다.
도 43c는 인터페이스(4360 및 4361)의 일례를 도시한 것이다. 일 실시예에서, 인터페이스(4360 및/또는 4361)는 피드백모듈(4106)에 의해 생성될 수 있다. 인터페이스(4360)는 도 43a의 이미지(4300)에 기반하는 분석 및 우선순위지정에 응답하여, 하나 이상의 다른 태스크 보다 처방약을 리필하는 태스크의 우선순위의 증가에 기반하여 생성될 수 있다. 인터페이스(4360)는 태스크를 식별하는 메세지(4362)를 포함할 수 있다. 일부 실시예에서, 인터페이스(4360)는 인터페이스 구성요소(4364 및 4366)를 포함할 수 있다. 도 43c에 도시된 바와 같이, 인터페이스 구성요소(4364 및 4366)는 사용자가 태스크 상태 및/또는 우선순위를 조작할 수 있게 하는 옵션을 제공할 수 있다. 도 43c의 실시예에서, 인터페이스 구성요소(4364)는 태스크를 완료로 표시하는 기능을 제공할 수 있다. 인터페이스 구성요소(4366)는 "나중에 알림" 기능을 제공할 수 있다. 예를 들어, 인터페이스 구성요소(4366)의 선택은 태스크의 우선순위를 감소시킬 수 있고, 사실상 다른 태스크보다 낮은 우선순위를 할당한다.
인터페이스(4361)는 도 43b의 이미지(4340)에 기초한 태스크의 우선순위의 변화에 따라 생성될 수 있다. 예를 들어, 4204단계에서 사람(4341)에게 서비스를 제공하는 태스크보다 사람(4342)에게 서비스를 제공하는 태스크에 우선순위를 지정한 것에 기초하여, 인터페이스(4361)는 우선순위의 지정을 나타내는 메세지(4368)를 디스플레이할 수 있다.
인터페이스(4360)는 또한 인터페이스 구성요소(4370)를 포함할 수 있다. 43c에 도시된 바와 같이, 인터페이스 구성요소(4370)는 메세지(4368)를 확인하는 옵션을 제공할 수 있다.
집단역학(group dynamics)을 분석하기 위한 웨어러블기기
일부 실시예에서, 기기(110)는 이미지를 캡처하고 분석하여 기기(110) 사용자(100)의 환경에서 검출된 사람의 집단역학(group dynamics)을 결정할 수 있다. 예를 들어, 기기(110)는 이미지를 분석하여 둘 이상의 사람을 검출하고, 이미지를 분석하여 검출된 사람과 연관된 연관성 정보를 결정할 수 있다. 연관성 정보는 개체의 신원, 특성 또는 사회 시스템에 따라 둘 이상의 사람 사이의 관계에 관련된 정보를 포함할 수 있다. 특성은 나이, 성별, 결혼 여부, 고용상태 또는 사람의 주변환경, 사람이 참여할 수 있는 활동, 환경에서 개체의 감정적 상태 또는 제3자와의 관계와 같은 본질적인 특성과 관련될 수 있다. 제1 검출된 개체의 정보는 제2 검출된 개체의 정보와 비교하여 연관성 정보를 결정할 수 있다. 연관성 정보는 집단역학에 대한 이해를 발전시키기 위해 분석될 수 있다. 연관성 정보를 나타내는 데이터는 분석 및/또는 사용자에게 리포팅하기 위해 컴퓨팅장치(예를 들어 스마트폰, 태블릿, 시계, 컴퓨터, 등) 및/또는 서버로 전송될 수 있다. 연관성 정보는 또한 사회적 표현을 업데이트하기 위해 사용될 수 있다. 사회적 표현은 시간에 따른 연관성 정보의 변화를 보여주는 그래프 표현의 형태를 취할 수 있다. 사회적 표현은 또한 사용자(100)를 위해 스마트폰 애플리케이션을 통해 사용자(100)와 연관된 SNS 상에 캡처된 이미지를 디스플레이하는 것을 포함할 수 있다.
도 44는 본 기재에 따른 소프트웨어 모듈을 포함하는 메모리(4400)의 실시예의 일례를 도시한 것이다. 메모리(4400)에는 모니터링모듈(4410), 이미지처리모듈(4420), 연관성모듈(4430), 및 데이터베이스(4440)가 포함된다. 모듈(4410, 4420, 및 4430)은 기기(110)에 포함된 적어도 하나의 처리장치, 예, 프로세서(210)에 의해 실행하기 위한 소프트웨어 명령을 포함한다. 일부 실시예에서, 메모리(4400)는 웨어러블캡처부(710)의 이미지센서(220)와 무선으로 페어링되도록 구성된 이동통신기기(예를 들어 스마트폰)에 내재되는 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
모니터링모듈(4410)은 연속적, 주기적 또는 주문형 모니터링을 제공할 수 있다. 예를 들어, 모니터링은 이미지센서(220)에 의해 캡처된 하나 이상의 이미지에 포함된 적어도 하나의 검출된 사람의 움직임을 추적하는 것을 포함한다. 예를 들어, 일 실시예에서, 기기(110)는 객체가 이미지센서(220)의 시야 내에 실질적으로 남아 있는 한 사람을 추적할 수 있다. 다른 실시예에서, 모니터링모듈(4410)은 검출된 사람을 향해 이미지센서(220)를 계속 향하게 할 수 있다. 예를 들어, 일 실시예에서, 모니터링모듈(4410)은 이미지센서(220)로 하여금 검출된 사람이 이미지센서(220)의 시야 안에 있도록 방향을 조정하게 할 수 있다. 다른 실시예에서, 모니터링모듈(4410)은 이미지센서에 의해 캡처된 하나 이상의 이미지에 포함된 관심영역을 계속 모니터링 할 수 있다. 예를 들어, 사용자는 특정 태스크에 의해 점유될 수 있다. 예를 들어, 이미지센서(220)는 명예의 손님 또는 이벤트 주최자와 같은 미리 결정된 관심있는 사람에게 특정 방향으로 배향을 유지하면서, 사용자가 많은 사람에게 연설을 할 수 있고, 일련의 이미지에서 각 이미지의 일부를 지속적으로 모니터링하여 트리거 또는 다른 이벤트를 검출할 수 있다. 예를 들어, 이미지센서(220)는 관심있는 사람을 향할 수 있고, 모니터링모듈 (4410)은, 사용자의 집중이 방의 강연자 또는 다른 영역에 놓인 종이를 향하는 동안, 연설에 대한 사람들의 반응을 모니터링하도록 구성될 수 있다. 모니터링모듈(4410)은 도 44의 이미지처리모듈(4420) 및 연관성모듈(4430)과 함께 또는 동시에 작동할 수 있다.
이미지처리모듈(4420)은 하나 이상의 이미지로부터 둘 이상의 검출된 사람을 식별하도록 구성될 수 있다. 일부 실시예에서, 둘 이상의 검출된 사람은 하나 이상의 이미지처리 기술을 통해 식별될 수 있다. 예를 들어, 이미지의 적어도 하나의 특징을 식별하기 위해 적어도 하나의 이미지처리 기술이 사용될 수 있다. 일부 실시예에서, 이미지 처리기술은 이미지 향상, 에지 검출, 이미지 분석 및 데이터 추출 중 하나 이상을 포함할 수 있다. 적어도 하나의 특징을 식별하는 방법의 특정예는 단지 예시일 뿐이며, 당업자는 본 개시 내용과 일치하는 적어도 하나의 특징을 식별하기 위한 다른 방법을 인식할 것이다. 몇몇 실시예에서, 적어도 하나의 특징은 객체검출 알고리즘(object detection algorithm), 이미지 내의 객체 및/또는 객체를 검출하도록 훈련된 뉴럴네트워크, 기계학습 시스템(machine learning system), 패턴인식시스템(pattern recognition system) 등을 사용하여 검출될 수 있다.
몇몇 실시예에서, 안면인식 알고리즘(facial recognition algorithm), 이미지 내의 얼굴 및/또는 사람을 검출하도록 훈련된 뉴럴네트워크 등을 이용하여, 적어도 한 사람은 사용자의 환경에서 식별될 수 있다. 예를 들어, 검출된 사람은 검출된 사람의 특성에 대한 하나 이상의 이미지를 분석함으로써 식별될 수 있다. 개체의 특성은 눈 색깔, 머리 색깔, 얼굴 모양, 문신, 피어싱 등을 포함하여 검출된 사람의 신체적 특성일 수 있다. 특성은 사용자(100)가 이전에 만난 사람으로 검출된 사람을 식별하고, 데이터베이스(4440)에 저장된 상호작용과 현재 상호작용을 관련시키는데 사용될 수 있다. 이미지처리모듈(4420)은 또한 이전의 만남에 기초하여 검출된 사람이 식별될 수 없음을 검출할 수 있고, 이미지처리모듈(4420)에 의해 수집된 정보로 덧붙이기 위해 검출된 사람에 대한 프로파일을 생성할 수 있다. 이미지처리모듈(4420)은 사용자(100)의 주변의 다른 객체들, 예를 들어 책, 이름표, 활동의 표시를 추가적으로 식별하고, 검출된 사람에 대한 데이터 및 정보와 함께 프로파일을 덧붙여 집단역학을 결정하는데 사용되도록 할 수 있다.
연관성모듈(4430)은 이미지처리모듈(4410)에 의해 식별된 둘 이상의 검출된 사람의 특징에 기초하여 연관성 정보를 식별하도록 구성될 수 있다. 연관성 정보를 분석하기 위한 매개변수는 사용자(100)에 의해 구성 및/또는 정의될 수 있고, 데이터베이스(4440)에 저장될 수 있다. 예를 들어, 사용자(100)는 이동통신기기 상의 모바일 애플리케이션을 통해 정보의 카테고리를 결정하도록 연관성 모듈(4430)을 구성할 수 있다. 예를 들어, 사용자(100)는 전문 이벤트에 참석하고, 이름표로부터 식별된 정보에 기초하여 각각의 검출된 사람에 대한 고용정보를 식별하고 저장하도록 이미지처리모듈(4420)을 구성할 수 있다. 연관성모듈(4430)은 연관성 정보를 결정하기 위해 둘 이상의 검출된 사람에 대한 정보를 비교하도록 구성될 수 있다. 예를 들어, 이미지처리모듈(4420)은 검출된 사람의 온라인 프로파일 또는 SNS에 기초하여 검출된 사람을 식별하기 위해 데이터베이스(4440)와 통신할 수 있다. 연관성모듈(4430)은 그 후 프로파일을 쿼리하여 2개의 검출된 사람 각각과 관련된 데이터를 획득할 수 있다. 연관성모듈(4430)은 획득된 데이터를 비교하여 검출된 두 사람에 대한 연관성 정보를 결정할 수 있다. 예를 들어, 연관성모듈(4430)은 검출된 두 사람이 동일한 전문분야에 있거나 동일한 조직을 위해 일하는 등을 결정할 수 있다.
모니터링모듈(4410), 이미지처리모듈(4420) 및 연관성모듈(4430)은 네트워크(240)를 통해 데이터베이스(4440)로부터 데이터를 전송 또는 수신하도록 구성될 수 있다. 본 실시예에서, 데이터베이스(4440)로부터 수신되는 데이터는, 이전에 분석된 이미지데이터, 저장된 표현 데이터, 사람과 관련된 정보, 식별된 랜드마크, 및 데이터베이스(4440)에 저장된 또는 데이터베이스(4440)에 의해 접속될 수 있는 다른 정보에 기초한, 다수의 상이한 유형의 정보를 포함할 수 있다. 일부 실시예에서, 데이터는 컴퓨팅장치(120)를 통해 수신 및 전송될 수 있다. 본 실시예에 따르면, 데이터베이스(4440) 및/또는 컴퓨팅장치(120)는 상이한 데이터 소스(예를 들어, 사용자 특정 데이터베이스, 사용자의 SNS 계정 또는 다른 계정, 인터넷, 및 다른 관리되거나 접속 가능한 데이터베이스)를 검색하고, 분석된 이미지데이터와 관련된 정보를 기기(110)에 제공할 수 있다. 일부 실시예에서, 상이한 데이터 소스들로부터 검색된 캘린더-관련 정보는 분석된 이미지데이터에 기초하여 특정 정보를 제공하기 위한 특정 시간 정보 또는 시간-기반 상황를 제공하도록 분석될 수 있다.
도 45a 내지 도 45d는 연관성 정보를 결정하기 위한 예시적인 캡처된 이미지를 도시한다. 예를 들어, 도 45a에서, 연관성 정보는 그룹 내의 둘 이상의 사람 사이의 물리적 거리에 기초할 수 있다. 기기(110)는 개체들 사이의 거리를 측정하도록 구성될 수 있다. 개체들 사이의 거리를 지속적으로 모니터링 하여 보디랭귀지(body language)의 변화를 검출할 수도 있다. 예를 들어, 프로세서(210)는 검출된 두 사람의 복수의 이미지를 캡처할 수 있다. 복수의 이미지의 분석은 둘 이상의 검출된 개체 사이의 측정된 평균 거리를 초래할 수 있다. 거리(4510a)는 거리(4510b)보다 작은 크기일 수 있다. 프로세서(210)는 더 작은 거리(4510a)에 의해 분리된 사람이 연관되어있는 반면, 미리 결정된 임계치보다 더 큰 거리(4510b)에 의해 분리된 사람은 연관되지 않은 것으로 결정할 수 있다. 물리적 거리에 기초한 연관성 정보는 또한 둘 이상의 사람이 이전에 만났거나 동료이거나 가족적 관계를 가지고 있다는 결정을 포함할 수 있다. 연관성 정보는 또한 사람이 다른 사람과 얼마나 자주 근접하는지 또는 검출된 사람이 얼마나 사교적인지에 대한 정보를 포함한 집단역학에 관한 정보를 제공할 수 있다. 예를 들어, 기기(110)는 사람(4520)이 자주 사람(4530)의 가까운 물리적 거리 내에 있는 것으로 결정할 수 있다. 기기(110)는 사람(4530)과 제3자 사이의 거리(4510b)가 사람(4520)과 제3자 사이의 거리와 대략 동일한 비율 및 대략 동일한 상대 시간에서 변화한다고 결정할 수 있다. 이러한 연관성 정보에 기초하여, 프로세서(210)는 사람(4520)과 사람(4530)이 함께 이벤트에 참석하는 것으로 결정할 수 있다(전문 파트너, 데이트 등과 같이).
집단역학을 분석하기위한 물리적 거리에 기초한 연관성 정보는 또한 검출된 두 사람 사이의 물리적 거리의 변화에 기초할 수 있다. 기기(110)는 사람(4520)과 사람(4530) 사이의 거리(4510a) 및 거리(4510c)를 결정할 수 있다. 거리(4510c)의 변화는 데이터베이스에 저장된 보디랭귀지 표시자와 관련될 수 있다. 예를 들어, 기기(110)는 거리(4510a)가 일정한 반면, 거리(4510c)는 증가함을 검출할 수 있다. 이것은 사람(4520)이 사람(4530)으로부터 멀어지고 있음을 나타내는 저장된 보디랭귀지와 상관될 수 있다. 멀어지는 것은 사람(4520)이 상황적 불편함을 겪고 있음을 프로세서(210)에 제안할 수 있다. 또한, 거리(4510c)의 감소에 이어 증가는 사람(4520)과 사람(4530) 사이의 포옹과 관련될 수 있다.
도 45b에 도시된 바와 같이, 연관성 정보는 또한 둘 이상의 검출된 사람이 참여하는 공동활동에 기초할 수 있다. 기기(110)는 관련된 활동의 표시에 기초하여 활동을 검출할 수 있다. 기기(110)에 의해 캡처된 복수의 이미지는 검출된 활동 표시를 데이터베이스에 저장된 예시적인 표시와 비교함으로써 분석될 수 있다. 예를 들어, 기기(110)는 스포츠, 여행, 영화 관람 등과 같은 둘 이상의 사람들이 참여하는 활동을 나타내는 복수의 이미지를 캡처할 수 있다. 사용자(100)가 착용하는 기기(110)에 의해 관찰되는 바와 같이, 도 45b는 축구 게임에 참여하는 복수의 사람들을 도시한다. 복수의 이미지는 형상, 크기, 패턴 및 색을 포함하는 공의 특성에 기초하여 표시(4540)가 축구 공인 것으로 결정할 수 있다. 상기 정보에 기초하여, 프로세서(210)는 둘 이상의 검출된 사람들이 축구 게임에 참여하고 있다고 결정할 수 있다. 기기(110)는 또한 검출된 사람이 플레이하고 있는 팀에 기초하여 연관성 정보를 결정하고 검출된 사람의 팀원을 식별할 수 있다. 예를 들어, 기기(110)는 둘 이상의 검출된 사람 사이에 공이 빈번하게 전달된다는 결정에 기초하여, 둘 이상의 검출된 사람이 동일한 팀을 위해 경기한다고 결정할 수 있다. 결정은 또한 제1그룹의 사람들이 제1방향으로 공을 자주 차는 반면, 제2그룹의 사람들이 제1방향과 반대 방향인 제2 방향으로 공을 차는 것으로 결정일 수 있다.
도 45c에 도시된 바와 같이, 연관성 정보는 검출된 두 사람의 공유특성에 기초할 수 있다. 공유특성은 머리색깔, 얼굴 구조, 키 등과 같은 검출된 고유특성을 포함할 수 있다. 공유특성은 집단역학에 관한 정보를 제공할 수 있다. 예를 들어, 기기(110)는 복수의 이미지를 캡처할 수 있다. 프로세서(210)는 캡쳐된 이미지를 분석하고, 캡쳐된 이미지 내의 둘 이상의 사람이 머리색깔 또는 독특한 코 모양과 같은 특성을 공유함을 검출할 수 있다. 이러한 정보로부터, 프로세서(210)는 검출된 사람이 친척이라고 결정할 수 있다. 프로세서(210)는, 캡처된 이미지의 분석에 기초하여, 더 검출된 사람 중 두 사람이 고유특성을 공유하는 것을 검출할 수 있다.
공유특성은 또한 상황특성을 포함할 수 있다. 검출된 상황특성은 주어진 환경과 관련된 특성과 관련될 수 있다. 예를 들어, 기기(110)는 복수의 이미지를 캡처할 수 있다. 프로세서(210)는 캡쳐된 이미지를 분석하고, 캡쳐된 이미지 내의 둘 이상의 사람이 공통복장, 유사한 액세서리 또는 유사한 행동(예를 들어, 동시에 웃는 것, 자극에 반응하여 동요되는 것)과 같은 상황특성을 공유하는 것을 검출할 수 있다.
공유특성은 집단역학을 분석하기 위해 사용될 수 있다. 예를 들어, 프로세서(210)는 특정 공유특성이 검출될 때 특정 집단역학이 적용되는 것으로 결정할 수 있다. 이러한 결정은 집단역학을 분석하기 위한 일련의 규칙에 기초할 수 있다. 예를 들어, 기기(110)는 정치적 집회의 복수의 이미지를 캡처할 수 있다. 프로세서(210)는 집회에서 정당(political affiliation)을 가진 사람들이 착용하는 유사한 핀 또는 셔츠와 같은 공유특성을 갖는 둘 이상의 개체를 검출할 수 있다. 공유특성은 또한 슬로건(구호)에 대한 얼굴반응을 포함할 수 있다. 프로세서(110)는 또한 제2 집단역학의 공유특성을 검출할 수 있다. 슬로건에 대한 응답으로 둘 이상의 검출된 사람이 흥분될 수 있다. 이것은 특성을 공유하는 멤버들이 집회의 시위자일 수 있음을 프로세서(210)에 표시할 수 있다.
도 45c에 도시 된 바와 같이, 사용자(100)의 기기(110)는 둘 이상의 사람의 복수의 이미지를 캡처할 수 있다. 사람(4560a, 4560b, 및 4560c)을 검출하면, 프로세서(210)는 공유특성을 식별하기 위해 이미지를 분석할 수 있다. 프로세서(210)는 얼굴의 특징들(4580a, 4580b 및 4580c) 사이의 유사성을 결정할 수 있다. 유사한 얼굴 특징은 독특한 코 모양 또는 눈 색깔을 포함할 수 있다. 프로세서(210)는 또한 사람(4560a, 4560b 및 4560c)이 모두 유사한 머리 색깔을 공유한다고 결정할 수 있다. 다른 공유특성은 각각의 검출된 사람(4560a, 4560b, 및 4560c)에 의해 들려있는 동일한 쇼핑백(4570a, 4570b 및 4570c)을 포함할 수 있다. 이러한 공유특성에 기초하여, 프로세서(210)는 검출된 사람(4560a, 4560b 및 4560c)이 함께 쇼핑하는 가족 구성원이라고 결정할 수 있다. 프로세서(210)는 또한 동일한 시간에 가게에서 출발하여, 유사한 방향으로 걷고, 서로 소정 거리 내에 있는 것을 포함하는 다른 공유특성을 검출할 수 있다. 공유특성은 쇼핑에 참여하는 가족 구성원과 같은 집단역학에 관한 정보를 제공할 수 있다.
연관성 정보는 또한 상기 두 사람 중 한 사람의 다른 한 사람의 행동에 대한 반응에 기초할 수 있다. 예를 들어, 기기 (110)의 사용자(100)는 하나 이상의 다른 사람과 대화 또는 활동에 참여할 수 있다. 기기(210)는 사용자 (100)의 동작에 대한 검출된 사람들의 상이한 반응을 나타내는 복수의 이미지를 캡처할 수 있다. 반응은 그룹으로부터 검출된 사람의 이탈, 감정을 나타내는 얼굴 반응, 또는 포옹을 위해 기울인 것과 같은 보디랭귀지 표시자를 포함할 수 있다.
도 45d에 도시된 바와 같이, 기기(110)의 사용자(100)는 그룹과 대화에 참여할 수 있다. 기기(110)는 사용자(100)의 행동에 대한 그룹 구성원의 상이한 반응을 나타내는 복수의 이미지(4590a, 4590b 및 4590c)를 캡처할 수 있다. 이미지(4590a)는 사용자(100)의 행동에 긍정적인 반응을 갖는 검출된 사람을 도시한다. 프로세서(210)는 검출된 모든 사람이 웃고 있음을 나타내는 이미지의 분석에 기초하여 긍정적 반응을 검출할 수 있다. 대안적으로, 이미지(4590b)의 분석은 검출된 사람들 중 일부가 사용자(100)에 대해 긍정적인 반응을 갖는 것을 보여줄 수 있다. 여전히 대안적으로, 이미지(4590c)의 분석은 검출된 모든 사람들이 사용자(100)에 의한 행동에 대해 부정적인 반응을 갖는 것을 나타낼 수 있다. 이러한 분석은 특히 다른 사람에 반응하는 집단역학을 이해하는데 사용될 수 있다. 집단역학은 사람이 얼마나 좋아하는지, 그룹의 사람들이 그룹에 전달되는 개념에 얼마나 반응하는지, 또는 그룹의 일반적인 분위기를 나타낼 수 있다.
도 46은 결정된 연관성 정보에 기초하여 사회적 표현(4600)을 업데이트하는 것을 도시한다. 기기(110)에 의해 캡처된 이미지(4590a)는 사용자(100)에 의한 행동에 대한 긍정적인 반응을 포함하는 연관성 정보를 결정하기 위해 분석될 수 있다. 일 실시예에서, 사회적 표현(4600)에 대한 업데이트는 사용자(100)와 관련된 SNS에 대한 상태 업데이트를 포함한다. 캡틴(4610)이 프로세서(210)에 검출된 집단역학을 기반하여 제안될 수 있다. 이미지(4590a)는 검출된 사람들이 웃고 있어, 사용자(100)에 대한 긍정적인 반응을 갖는지를 결정하기 위해 분석될 수 있다. 따라서, 업데이트된 사회적 표현은 집단역학을 설명하기 위해 결정된 연관성 정보를 포함할 수 있다. 업데이트된 사회적 표현은 또한 사용자(100)의 온라인 SNS를 확장하는 것을 포함할 수 있다. 예를 들어, 연관성 정보를 나타내는 데이터는 분석을 위해 외부 컴퓨팅장치로 전송될 수 있다. 분석은 검출된 사람의 온라인 SNS 계정(예를 들어, facebook, Twitter, LinkedIn 등)을 식별하고, 검출된 사람과 연결하기 위한 요청(request)을 사용자(110)에게 전송할 수 있다.
도 47은 기재된 실시예에 따른, 사용자(100)와 관련된 집단역학을 분석하기 위한 예시적인 방법(4700)을 도시하는 순서도를 도시한다. 기기(110)는 예를 들어, 도 45a 내지 도 45d에 도시된 집단역학 정보를 결정하기 위한 방법(4700)의 하나 이상의 단계를 구현할 수 있다.
도 47에 도시된 바와 같이, 4710단계에서, 기기(110)는 사용자(100)의 환경으로부터 복수의 이미지를 캡처할 수 있다. 예를 들어, 캡처부(710)는 사용자(100) 시야를 매칭시키고, 캡처부(710의 이미지센서(220)는 또한 사용자(100) 시야에서 하나 이상의 검출된 사람의 이미지를 캡처할 수 있다. 이미지센서(220)는 사용자(100)의 관심이 검출된 사람으로부터 멀어질 때에도 검출된 사람의 이미지를 캡처할 수 있다. 예를 들어, 모니터링모듈(4410)은 검출된 사람 및 사용자(100)의 환경에 관련되는 검출된 사람들 중 하나를 지속적으로 모니터링할 수 있다. 사용자(100)의 환경은 사용자(100)가 들어온 방 또는 사용자(100)가 여행하는 경로를 포함할 수 있다. 환경은 또한 지시된 방향으로 이미지센서(220)의 최대 시야를 포함할 수 있다.
4720단계에서, 처리장치(예를 들어, 프로세서(210))는 복수의 이미지의 제1 분석을 수행하여 사용자의 환경으로부터 적어도 두 사람을 검출할 수 있다. 사람은 객체인식, 패턴인식 또는 에지 검출을 포함하는 다양한 이미지처리 기술 중 하나를 사용하여 기기(110)에 의해 검출될 수 있다. 사람이 환경에서 검출되면, 캡처된 이미지를 데이터베이스(4440)에 저장된 이미지와 비교함으로써 사람이 식별될 수 있다. 비교에 기초하여, 프로세서(210)는 식별된 사람과 사용자(100)가 이전의 저장된 만남에 기초하여 이미지처리모듈(4420)을 사용하여 사람을 식별할 수 있다. 예를 들어, 사용자(100)는 복수의 사람들과 함께 방에 있을 수 있다. 기기(110)는 방의 복수의 이미지를 캡처하고, 이미지처리 기술을 사용하여 방 내의 하나 이상의 사람을 검출할 수 있다.
4730단계에서, 프로세서(210)는 복수의 이미지의 제2 분석을 수행하여 검출된 적어도 두 사람과 관련된 연관성 정보를 결정할 수 있다. 연관성 정보는 안면인식 또는 데이터베이스에 저장된 약력(biographical data)을 통해 식별된 둘 이상의 검출된 사람에 대한 특성정보에 기초할 수 있다. 특성정보는 또한 검출된 사람의 환경에 관한 정보에 기초할 수 있다. 또한, 이미지처리 기술은 환경정보를 검출하는데 사용될 수 있다. 예를 들어, 객체식별(identification)은 검출된 사람의 미리 결정된 근접도 내의 객체를 식별하기 위해 사용될 수 있다. 이미지의 일부에 있는 객체는 검출된 객체를 데이터베이스(4440)의 대표 객체의 저장된 이미지와 비교함으로써 캡처 및 분석될 수 있다. 제1 검출된 개체에 대한 특성정보는 제2 검출된 개체에 대한 특성정보와 상호관련되어, 제1 및 제2 검출된 개체 사이의 유사성 또는 차이점을 검출할 수 있다. 둘 이상의 검출된 사람에 대한 특성정보 사이의 유사점 및 차이점은 연관성 정보를 결정하는데 사용될 수 있다. 연관성 정보는 또한 SNS 또는 웹 페이지상의 리스팅과 같은 하나 이상의 디렉토리로부터 획득된 정보에 기초할 수 있다. 예를 들어, 프로세서(210)는 제1 및 제2 검출된 사람의 소셜 네트워크를 쿼리할 수 있고, 둘 다 제3 검출된 사람에 의해 주최되는 이벤트에 "참석"하는 것으로 결정될 수 있다. 검출된 사람들의 SNS로부터 획득된 다른 정보는 관계상태(relationship status), 고용상태, 고용주 이름, 정치적 소속, 가족 구성원으로서 다른 사람의 목록 및 약력을 포함할 수 있다. 따라서, 검출된 사람에 관한 정보는 검출된 사람의 온라인 존재에 기초할 수 있고, 연관성 정보를 결정하는데 사용될 수 있다.
4740단계에서, 프로세서(210)는 판단된 연관성 정보에 기초하여 사회적 표현을 업데이트할 수 있다. 사회적 표현은 이벤트를 라이프로깅하기 위해 사용자의 SNS 계정에 업데이트를 제공하는 것 또는 검출된 사람에 대한 저장된 데이터를 업데이트하는 것을 포함할 수 있다. 사회적 표현은 또한 검출된 사람에 관한 데이터베이스(4440)에 저장된 정보를 포함할 수 있다. 정보는 하나 이상의 검출된 사람에 대한 프로파일을 포함할 수 있고 사용자(100)와의 만남으로부터의 연관성 정보를 포함하도록 업데이트될 수 있다. 예를 들어, 사용자(100)는 소셜 이벤트에 참석할 수 있다. 기기(110)는 둘 이상의 사람이 미리 정해진 임계값보다 큰 물리적 거리를 유지하고 있음을 검출할 수 있다. 프로세서(210)는 이전에 저장된 연관성 데이터가 영화에 참석하고 함께 식사하는 것과 같이 검출된 사람이 정기적으로 함께 활동에 참여했다는 정보를 포함한다고 결정할 수 있다. 프로세서(210)는 검출된 두 사람 사이의 관계가 긴장될 수 있음을 나타내는 새로운 연관성 정보로 두 검출된 사람 각각에 대한 사회적 표현을 업데이트할 수 있다. 업데이트된 사회적 표현은 또한 시간에 따른 연관성 정보의 변화의 그래프 표현일 수 있다. 제1 이벤트로부터의 연관성 정보는 제2 이벤트로부터의 연관성 정보와 통합되어 분석을 위한 복합 연관성 정보를 제공할 수 있다.
기기(110)는 또한 임의의 알려진 무선 표준(예를 들어, 셀룰러, Wifi, 블루투스(bluetooth®) 등) 또는 유선 연결을 통해 하나 이상의 네트워크를 통해 컴퓨팅장치(예를 들어, 스마트폰, 태블릿, 시계, 컴퓨터 등)에 데이터를 전송할 수 있다. 기기(110)에 의해 전송된 데이터는 이미지, 이미지의 일부, 분석된 이미지에 나타나는 정보와 관련된 식별자, 연관성 정보 또는 집단역학정보를 포함할 수 있다. 예를 들어, 이미지는 분석될 수 있고 이미지에서 발생하는 활동과 관련된 집단역학이 식별될 수 있다. 그 후 이미지는 컴퓨팅장치(예를 들어, "페어링된 장치")로 전송될 수 있다. 본 명세서에 설명된 실시예에서, 기기(110)는 이미지를 국부적으로(웨어러블기기를 탑재하여) 및/또는 원격으로(컴퓨팅장치를 통해) 분석할 수 있다. 또한, 페어링된 장치는 기기(110)로부터 수신된 데이터(예를 들어, 식별자, 텍스트, 이미지 등)를 처리, 디스플레이 및/또는 분석하기 위해 하나 이상의 애플리케이션(apps)을 실행할 수 있다.
상기의 설명은 예시의 목적으로 제시되었다. 이 설명은 모든 것을 망라한 것이 아니며 기재된 그대로의 형태 또는 실시예로 제한되는 것이 아니다. 수정 및 응용은 본 명세서를 고려하고 기재된 실시예를 실시함으로써 당업자에게 당연할 것이다. 또한, 기재된 실시예의 양상들이 메모리에 저장되는 것으로 설명되었지만, 당업자라면 이러한 양상들이, 예를 들어, 하드 디스크 또는 cd ROM, 또는 다른 유형의 RAM 또는 ROM, USB 매체, DVD, 블루레이, UHD 블루레이, 또는 기타 광드라이브 매체 등의 2차 저장장치와 같은 다른 유형의 컴퓨터 가독 매체에 저장될 수도 있음을 이해할 것이다.
기재된 설명과 방법에 기반한 컴퓨터 프로그램은 당업자에게는 당연한 기술이다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 공지인 기술을 사용하여 생성되거나 기존의 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net framework, .Net compact framework (및 Visual basic, C 등과 같은 관련 언어), Java, C++, Objective-C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿(Java applet)을 포함하는 HTML로 설계될 수 있다.
또한, 예시된 실시예들을 여기에 설명하였지만, 모든 실시예의 범위는 균등한 구성요소, 수정, 누락, 조합(예, 다양한 실시예에 걸친 양상의 조합), 응용, 및/또는 변경을 가짐은 본 발명의 당업자에게 당연하다. 청구항의 한정은 청구항에 사용된 언어에 근거하여 넓게 해석되어야 하며 본 명세서에서 또는 본 발명의 출원 중에 설명된 예시에 한정되지 않는다. 예시들은 배타적이지 않은 것으로 이해되어야 한다. 나아가, 기재된 방법의 단계들은 단계들의 순서를 재배열 및/또는 단계를 삽입 또는 삭제하는 등의 다양한 방법으로 수정될 수 있다. 따라서, 본 명세서와 예시들은 예시의 목적으로만 고려되고, 진정한 범위와 기술적 사상은 하기의 청구항과 그 균등한 범위에 의해 정의된다
Claims (20)
- 웨어러블기기에 있어서,
상기 웨어러블기기는 복수의 이미지를 캡처하도록 구성된 웨어러블이미지센서; 및 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
상기 웨어러블기기와 무선으로 페어링된 이동통신기기로부터 상기 웨어러블기기에 대한 위치정보를 제공하는 명령을 수신―여기서, 상기 명령은 상기 웨어러블기기를 핑하기 위해 상기 이동통신기기에서의 사용자 입력에 응답하여 전송된 것임;
상기 웨어러블이미지센서를 활용하여 하나 이상의 이미지를 캡처; 및
상기 수신된 명령에 응답하여 상기 하나 이상의 캡처된 이미지를 상기 이동통신기기로 전송하여 상기 웨어러블기기에 대한 위치정보를 제공하도록 프로그램된 것을 특징으로 하는 웨어러블기기. - 제1항에 있어서,
상기 적어도 하나의 프로세서는 상기 웨어러블기기와 연관된 위치데이터를 상기 이동통신기기로 전송하도록 더 프로그램 된 것을 특징으로 하는, 웨어러블기기. - 제2항에 있어서,.
상기 위치데이터는 GPS(global positioning system) 좌표를 포함하는 것을 특징으로 하는, 웨어러블기기. - 제2항에 있어서,
상기 위치데이터는 상기 이동통신기기까지의 상기 웨어러블기기의 근접성을 포함하는 것을 특징으로 하는, 웨어러블기기. - 제2항에 있어서,
상기 위치데이터는 기준점으로부터의 거리를 포함하는 것을 특징으로 하는, 웨어러블기기. - 제2항에 있어서,
상기 위치데이터는 상기 웨어러블기기에 대한 상기 사용자의 위치를 포함하는 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 적어도 하나의 프로세서는:
상기 웨어러블기기가 오디오데이터를 수신; 및
상기 오디오데이터를 상기 이동통신기기로 전송하도록 더 프로그램 된 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 이동통신기기는 상기 웨어러블기기에 대한 상기 사용자의 위치를 청각적으로 출력하도록 구성된 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 하나 이상의 이미지는 적어도 하나의 캡처 파라미터를 활용하여 캡처되는 것을 특징으로 하는, 웨어러블기기. - 제9항에 있어서,
상기 적어도 하나의 캡처 파라미터는 각도 파라미터, 줌(zoom) 파라미터, 및 밝기 파라미터 중의 적어도 하나를 포함하는 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 웨어러블기기는 만곡된 부분이 있는 하우징을 포함하는 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 이동통신기기는 상기 웨어러블기기의 상기 위치의 가청 설명(audible description)을 제공하도록 구성된 것을 특징으로 하는, 웨어러블기기. - 제12항에 있어서,
상기 가청 설명은 상기 웨어러블기기의 위치를 특정하는 음성 단어(spoken word)를 포함하는 것을 특징으로 하는, 웨어러블기기. - 제1항에 있어서,
상기 이동통신기기는 상기 웨어러블기기의 위치의 문자 출력을 제공하도록 구성된 것을 특징으로 하는, 웨어러블기기. - 적어도 하나의 프로세서에 의해 실행되는 경우에 상기 프로세서가 방법을 수행하도록 유발하는 명령을 포함하는 비일시적 컴퓨터-판독 가능 매체에 있어서,
상기 방법은:
웨어러블기기와 무선으로 페어링된 이동통신기기로부터 상기 웨어러블기기에 대한 위치 정보를 제공하는 명령을 수신하는 단계―여기서, 상기 명령은 상기 웨어러블기기를 핑하기 위해 상기 이동통신기기에서의 사용자 입력에 응답하여 전송된 것임;
웨어러블이미지센서를 활용하여 하나 이상의 이미지를 캡처하는 단계; 및
상기 수신된 명령에 응답하여 상기 하나 이상의 캡처된 이미지를 상기 이동통신기기로 전송하여 상기 웨어러블기기에 대한 위치 정보를 제공하는 단계를 포함하는 것을 특징으로 하는,
비일시적 컴퓨터-판독 가능 매체. - 제15항에 있어서,
상기 방법은 상기 웨어러블기기와 연관된 위치데이터를 상기 이동통신기기로 전송하는 단계를 더 포함하는 것을 특징으로 하는, 비일시적 컴퓨터-판독 가능 매체. - 제16항에 있어서,
상기 위치데이터는 상기 이동통신기기까지의 상기 웨어러블기기의 근접성을 포함하는 것을 특징으로 하는, 비일시적 컴퓨터-판독 가능 매체. - 제15항에 있어서,
상기 하나 이상의 이미지는 적어도 하나의 캡처 파라미터를 활용하여 캡처되는 것을 특징으로 하는, 비일시적 컴퓨터-판독 가능 매체. - 제18항에 있어서,
상기 적어도 하나의 캡처 파라미터는 각도 파라미터, 줌(zoom) 파라미터, 및 밝기 파라미터 중의 적어도 하나를 포함하는 것을 특징으로 하는, 비일시적 컴퓨터-판독 가능 매체. - 웨어러블기기의 위치를 확인하는 방법에 있어서,
상기 방법은,
상기 웨어러블기기가 상기 웨어러블기기와 무선으로 페어링된 이동통신기기로부터 상기 웨어러블기기에 대한 위치정보를 제공하는 명령을 수신하는 단계―여기서, 상기 명령은 상기 웨어러블기기를 핑하기 위해 상기 이동통신기기에서의 사용자 입력에 응답하여 전송된 것임;
웨어러블이미지센서를 활용하여 하나 이상의 이미지를 캡처하는 단계; 및
상기 웨어러블기기가 상기 수신된 명령에 응답하여 상기 하나 이상의 캡처된 이미지를 상기 이동통신기기로 전송하여 상기 웨어러블기기에 대한 위치 정보를 제공하는 단계를 포함하는,
웨어러블기기의 위치를 확인하는 방법.
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762488791P | 2017-04-23 | 2017-04-23 | |
| US201762488789P | 2017-04-23 | 2017-04-23 | |
| US62/488,791 | 2017-04-23 | ||
| US62/488,789 | 2017-04-23 | ||
| US201762503034P | 2017-05-08 | 2017-05-08 | |
| US62/503,034 | 2017-05-08 | ||
| PCT/IB2018/000474 WO2018215827A1 (en) | 2017-04-23 | 2018-04-23 | Wearable apparatus and methods for analyzing images |
| KR1020197034468A KR20200026798A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197034468A Division KR20200026798A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210046085A KR20210046085A (ko) | 2021-04-27 |
| KR102354428B1 true KR102354428B1 (ko) | 2022-01-21 |
Family
ID=62186498
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217011279A KR102354428B1 (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
| KR1020217011624A KR20210047373A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
| KR1020197034468A KR20200026798A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217011624A KR20210047373A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
| KR1020197034468A KR20200026798A (ko) | 2017-04-23 | 2018-04-23 | 이미지를 분석하기 위한 웨어러블기기 및 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (7) | US20200053262A1 (ko) |
| EP (1) | EP3616210A1 (ko) |
| KR (3) | KR102354428B1 (ko) |
| CN (5) | CN110265121A (ko) |
| WO (1) | WO2018215827A1 (ko) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11195542B2 (en) * | 2019-10-31 | 2021-12-07 | Ron Zass | Detecting repetitions in audio data |
| US11159585B2 (en) * | 2018-03-14 | 2021-10-26 | At&T Intellectual Property I, L.P. | Content delivery and consumption with affinity-based remixing |
| US11086126B1 (en) * | 2018-05-14 | 2021-08-10 | Facebook Technologies, Llc | Distributed artificial reality system with a removable display |
| US10748038B1 (en) | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
| WO2020121056A2 (en) * | 2018-12-13 | 2020-06-18 | Orcam Technologies Ltd. | Wearable apparatus and methods |
| JP7207431B2 (ja) * | 2018-12-27 | 2023-01-18 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
| US11144750B2 (en) * | 2019-02-28 | 2021-10-12 | Family Concepts Ii, Llc | Association training related to human faces |
| CN113692599A (zh) * | 2019-04-15 | 2021-11-23 | 瑞典爱立信有限公司 | 移动通信设备和应用服务器 |
| WO2020219802A1 (en) | 2019-04-24 | 2020-10-29 | The Research Foundation For The State University Of New York | System and method for tracking human behavior real-time with single magnetometer sensor and magnets |
| US11748679B2 (en) * | 2019-05-10 | 2023-09-05 | Accenture Global Solutions Limited | Extended reality based immersive project workspace creation |
| US12119021B1 (en) | 2019-05-22 | 2024-10-15 | Apple Inc. | Situational awareness for head mounted devices |
| CN110177209B (zh) * | 2019-05-31 | 2022-02-22 | 努比亚技术有限公司 | 一种视频参数调控方法、设备及计算机可读存储介质 |
| US20210142692A1 (en) * | 2019-06-06 | 2021-05-13 | National Taiwan Normal University | Method and system for skill learning |
| US10921887B2 (en) * | 2019-06-14 | 2021-02-16 | International Business Machines Corporation | Cognitive state aware accelerated activity completion and amelioration |
| US10850709B1 (en) * | 2019-08-27 | 2020-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Facial recognition and object detection for vehicle unlocking scenarios |
| US11687635B2 (en) | 2019-09-25 | 2023-06-27 | Google PLLC | Automatic exposure and gain control for face authentication |
| CN113544692B (zh) * | 2019-10-10 | 2024-09-06 | 谷歌有限责任公司 | 用于面部认证的摄像头同步和图像标记 |
| CN111127734B (zh) * | 2019-12-31 | 2022-01-14 | 中国银行股份有限公司 | 银行柜台网点排队管理系统、装置及方法 |
| CN115211144A (zh) * | 2020-01-03 | 2022-10-18 | 奥康科技有限公司 | 助听器系统和方法 |
| US11176375B2 (en) * | 2020-03-10 | 2021-11-16 | Sony Corporation | Smart glasses lost object assistance |
| CN111524518B (zh) * | 2020-04-01 | 2023-04-18 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
| US11546690B2 (en) * | 2020-04-27 | 2023-01-03 | Orcam Technologies Ltd. | Processing audio and video |
| US20210358152A1 (en) * | 2020-05-12 | 2021-11-18 | Corsight .Al | Monitoring distances between people |
| CN116235225A (zh) * | 2020-09-30 | 2023-06-06 | 谷歌有限责任公司 | 使用会话图来管理可穿戴设备上的显示内容 |
| US12049116B2 (en) | 2020-09-30 | 2024-07-30 | Autobrains Technologies Ltd | Configuring an active suspension |
| KR20220105893A (ko) * | 2021-01-21 | 2022-07-28 | 삼성전자주식회사 | 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법 |
| US12001276B2 (en) | 2021-03-22 | 2024-06-04 | Dell Products L.P. | System for efficient enterprise dispatching |
| US20220318847A1 (en) * | 2021-04-01 | 2022-10-06 | Tlcd, Llc | Enterprise content delivery platform and architecture |
| US11431557B1 (en) * | 2021-04-13 | 2022-08-30 | Dell Products L.P. | System for enterprise event analysis |
| US11996996B2 (en) | 2021-04-16 | 2024-05-28 | Dell Products L.P. | System for view-only command center mode |
| US11606246B2 (en) | 2021-04-28 | 2023-03-14 | Dell Products L.P. | System for enterprise alert timeline of a system and service |
| US12062376B2 (en) | 2021-04-28 | 2024-08-13 | Dell Products L.P. | System for enterprise voice signature login |
| CN113283617B (zh) * | 2021-05-21 | 2024-07-05 | 东华大学 | 一种服装重构方法及其服务器系统 |
| KR102287401B1 (ko) * | 2021-05-28 | 2021-08-09 | 주식회사 폴라리스쓰리디 | 3d 공간 지도를 2d 평면도로 변환하기 위한 방법 및 장치 |
| US12110075B2 (en) | 2021-08-05 | 2024-10-08 | AutoBrains Technologies Ltd. | Providing a prediction of a radius of a motorcycle turn |
| TWI769915B (zh) | 2021-08-26 | 2022-07-01 | 財團法人工業技術研究院 | 投射系統及應用其之投射校準方法 |
| CN113782038A (zh) * | 2021-09-13 | 2021-12-10 | 北京声智科技有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
| KR20230073875A (ko) * | 2021-11-19 | 2023-05-26 | 삼성전자주식회사 | 이미지를 적응적으로 디스플레이하는 전자 장치 및 그 동작 방법 |
| US20230162530A1 (en) * | 2021-11-25 | 2023-05-25 | Nec Corporation | Facial recognition adversarial patch adjustment |
| US11962455B2 (en) | 2021-11-29 | 2024-04-16 | T-Mobile Usa, Inc. | Prioritizing multiple issues associated with a wireless telecommunication network |
| US12039471B2 (en) | 2021-11-29 | 2024-07-16 | T-Mobile Usa, Inc. | Tracking issues and resolution of same in a wireless communication network |
| US20230171484A1 (en) * | 2021-11-29 | 2023-06-01 | Apple Inc. | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user |
| CN114202756A (zh) * | 2021-12-13 | 2022-03-18 | 广东魅视科技股份有限公司 | 一种跨网段传输数据的方法、装置及可读介质 |
| KR20240016815A (ko) * | 2022-07-29 | 2024-02-06 | 주식회사 마블러스 | 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 |
| TWI843251B (zh) | 2022-10-25 | 2024-05-21 | 財團法人工業技術研究院 | 目標追蹤系統及應用其之目標追蹤方法 |
| KR102528507B1 (ko) * | 2022-12-08 | 2023-05-08 | 주식회사 인터엑스 | Yolo모델과 객체 추적 기법을 융합한 하이브리드형 열화상 이미지 기반 객체 탐지 방법 |
| TWI842578B (zh) * | 2023-06-26 | 2024-05-11 | 英業達股份有限公司 | 動畫處理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050256720A1 (en) | 2004-05-12 | 2005-11-17 | Iorio Laura M | Voice-activated audio/visual locator with voice recognition |
| US20100273452A1 (en) | 2009-04-26 | 2010-10-28 | Qualcomm Incorporated | Apparatus and Methods For Locating Tracking and/or Recovering a Wireless Communication Device |
| US20140369595A1 (en) | 2008-11-05 | 2014-12-18 | Hover, Inc. | Computer vision database platform for a three-dimensional mapping system |
| WO2016012865A2 (en) | 2014-07-23 | 2016-01-28 | Yonatan Wexler | Wearable apparatus and methods for processing image data |
Family Cites Families (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7355508B2 (en) * | 2004-05-21 | 2008-04-08 | International Electronic Machines Corp. | System and method for monitoring an area |
| US10909474B2 (en) * | 2005-07-22 | 2021-02-02 | Proximity Grid, Inc. | Triggering an automatic creation of an event stamp |
| US9706345B2 (en) * | 2008-01-04 | 2017-07-11 | Excalibur Ip, Llc | Interest mapping system |
| WO2011025234A2 (en) * | 2009-08-24 | 2011-03-03 | Samsung Electronics Co., Ltd. | Method for transmitting image and image pickup apparatus applying the same |
| US9465993B2 (en) * | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
| EP2390851B1 (en) | 2010-05-27 | 2013-02-20 | Nxp B.V. | Presence Detection System and Method |
| JP5241782B2 (ja) * | 2010-07-30 | 2013-07-17 | 株式会社日立製作所 | カメラ異常検出装置を有する監視カメラシステム |
| US8814754B2 (en) * | 2010-11-01 | 2014-08-26 | Nike, Inc. | Wearable device having athletic functionality |
| TWI426775B (zh) * | 2010-12-17 | 2014-02-11 | Ind Tech Res Inst | 攝影機再校正系統及其方法 |
| CN102737255A (zh) * | 2011-03-30 | 2012-10-17 | 索尼公司 | 目标检测设备和方法 |
| EP2834776A4 (en) * | 2012-03-30 | 2016-10-05 | Intel Corp | SECURITY BASED ON IDENTIFICATION |
| US9449343B2 (en) * | 2012-10-05 | 2016-09-20 | Sap Se | Augmented-reality shopping using a networked mobile device |
| US20140152777A1 (en) * | 2012-12-01 | 2014-06-05 | Csr Techology Inc. | Camera having additional functionality based on connectivity with a host device |
| US9445057B2 (en) * | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| US9584705B2 (en) * | 2013-03-14 | 2017-02-28 | Google Inc. | Wearable camera systems |
| US9195880B1 (en) * | 2013-03-29 | 2015-11-24 | Google Inc. | Interactive viewer for image stacks |
| US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
| US9055210B2 (en) * | 2013-06-19 | 2015-06-09 | Blackberry Limited | Device for detecting a camera obstruction |
| CN105814626B (zh) * | 2013-09-30 | 2018-03-13 | Pcms控股公司 | 用于提供增强信息的方法和设备 |
| US9530067B2 (en) * | 2013-11-20 | 2016-12-27 | Ulsee Inc. | Method and apparatus for storing and retrieving personal contact information |
| WO2015084346A1 (en) * | 2013-12-04 | 2015-06-11 | Intel Corporation | Wearable map and image display |
| US10248856B2 (en) * | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| WO2015107928A1 (ja) * | 2014-01-17 | 2015-07-23 | ソニー株式会社 | 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム |
| EP2899609B1 (en) * | 2014-01-24 | 2019-04-17 | Sony Corporation | System and method for name recollection |
| WO2015127395A1 (en) * | 2014-02-21 | 2015-08-27 | Wendell Brown | Coupling a request to a personal message |
| US9171434B2 (en) * | 2014-03-12 | 2015-10-27 | Google Inc. | Selectively redirecting notifications to a wearable computing device |
| US9639887B2 (en) * | 2014-04-23 | 2017-05-02 | Sony Corporation | In-store object highlighting by a real world user interface |
| KR101534282B1 (ko) * | 2014-05-07 | 2015-07-03 | 삼성전자주식회사 | 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스 |
| JP6076304B2 (ja) * | 2014-09-29 | 2017-02-08 | 京セラドキュメントソリューションズ株式会社 | 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム |
| US9349068B2 (en) * | 2014-06-05 | 2016-05-24 | Honeywell International Inc. | Detecting camera conditions to initiate camera maintenance |
| WO2016018044A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable device and method of controlling the same |
| EP2981063B1 (en) * | 2014-07-31 | 2020-03-04 | Samsung Electronics Co., Ltd | Method of modifying image including photographing restricted element, and device for performing the method |
| US20160042637A1 (en) * | 2014-08-11 | 2016-02-11 | Clandestine Development, Llc | Drone Safety Alert Monitoring System and Method |
| CN104410601A (zh) * | 2014-08-28 | 2015-03-11 | 中国联合网络通信集团有限公司 | 访问控制方法、系统及可穿戴设备 |
| KR102414569B1 (ko) * | 2014-09-02 | 2022-06-29 | 애플 인크. | 웨어러블 전자 디바이스 |
| CN104239510B (zh) * | 2014-09-15 | 2018-01-23 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
| WO2016047902A1 (ko) * | 2014-09-23 | 2016-03-31 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| US9961293B2 (en) * | 2014-12-05 | 2018-05-01 | Lg Electronics Inc. | Method for providing interface using mobile device and wearable device |
| KR20160108983A (ko) * | 2015-03-09 | 2016-09-21 | 삼성전자주식회사 | 웨어러블 전자 장치의 분실 방지 방법 및 장치 |
| CN104717366B (zh) * | 2015-03-31 | 2017-11-14 | 小米科技有限责任公司 | 联系人头像的推荐方法及装置 |
| US10473942B2 (en) * | 2015-06-05 | 2019-11-12 | Marc Lemchen | Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system |
| US9800778B2 (en) * | 2015-07-21 | 2017-10-24 | Qualcomm Incorporated | Camera orientation notification system |
| US10555021B2 (en) * | 2015-08-31 | 2020-02-04 | Orcam Technologies Ltd. | Systems and methods for selecting content based on a user's behavior |
| CN105491289B (zh) * | 2015-12-08 | 2019-10-01 | 小米科技有限责任公司 | 防止拍照遮挡的方法及装置 |
| CN105809695A (zh) * | 2016-03-11 | 2016-07-27 | 深圳还是威健康科技有限公司 | 一种基于可穿戴设备的终端寻找方法及装置 |
| CN105913039B (zh) * | 2016-04-26 | 2020-08-18 | 北京光年无限科技有限公司 | 基于视觉和语音的对话数据交互处理方法及装置 |
| WO2017210419A1 (en) * | 2016-06-03 | 2017-12-07 | Magic Leaf, Inc. | Augmented reality identity verification |
| CN106357974B (zh) * | 2016-08-26 | 2019-06-07 | 深圳市沃特沃德股份有限公司 | 记录宠物位置的方法和装置 |
| US9949068B2 (en) * | 2016-09-19 | 2018-04-17 | Qualcomm Incorporated | Method and apparatus for to determine the location of a wearable device |
| CN106254617B (zh) * | 2016-09-29 | 2019-02-26 | 努比亚技术有限公司 | 一种移动终端及控制方法 |
| US10277714B2 (en) * | 2017-05-10 | 2019-04-30 | Facebook, Inc. | Predicting household demographics based on image data |
| US11010596B2 (en) * | 2019-03-07 | 2021-05-18 | 15 Seconds of Fame, Inc. | Apparatus and methods for facial recognition systems to identify proximity-based connections |
-
2018
- 2018-04-23 EP EP18725293.7A patent/EP3616210A1/en not_active Withdrawn
- 2018-04-23 WO PCT/IB2018/000474 patent/WO2018215827A1/en unknown
- 2018-04-23 CN CN201910484966.XA patent/CN110265121A/zh active Pending
- 2018-04-23 KR KR1020217011279A patent/KR102354428B1/ko active IP Right Grant
- 2018-04-23 CN CN201880003444.7A patent/CN109690686A/zh active Pending
- 2018-04-23 CN CN201910484898.7A patent/CN110232968A/zh active Pending
- 2018-04-23 CN CN201910484987.1A patent/CN110289082A/zh active Pending
- 2018-04-23 KR KR1020217011624A patent/KR20210047373A/ko not_active Application Discontinuation
- 2018-04-23 CN CN201910484918.0A patent/CN110246569A/zh active Pending
- 2018-04-23 KR KR1020197034468A patent/KR20200026798A/ko not_active Application Discontinuation
-
2019
- 2019-10-18 US US16/657,478 patent/US20200053262A1/en not_active Abandoned
- 2019-10-21 US US16/659,190 patent/US11039053B2/en active Active
- 2019-10-21 US US16/658,438 patent/US10939028B2/en active Active
- 2019-10-21 US US16/659,091 patent/US20200117902A1/en not_active Abandoned
- 2019-10-21 US US16/659,163 patent/US11503197B2/en active Active
- 2019-10-21 US US16/658,529 patent/US11503196B2/en active Active
-
2021
- 2021-05-11 US US17/316,913 patent/US20210266437A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050256720A1 (en) | 2004-05-12 | 2005-11-17 | Iorio Laura M | Voice-activated audio/visual locator with voice recognition |
| US20140369595A1 (en) | 2008-11-05 | 2014-12-18 | Hover, Inc. | Computer vision database platform for a three-dimensional mapping system |
| US20100273452A1 (en) | 2009-04-26 | 2010-10-28 | Qualcomm Incorporated | Apparatus and Methods For Locating Tracking and/or Recovering a Wireless Communication Device |
| WO2016012865A2 (en) | 2014-07-23 | 2016-01-28 | Yonatan Wexler | Wearable apparatus and methods for processing image data |
Also Published As
| Publication number | Publication date |
|---|---|
| US11039053B2 (en) | 2021-06-15 |
| US20200050863A1 (en) | 2020-02-13 |
| KR20200026798A (ko) | 2020-03-11 |
| KR20210046085A (ko) | 2021-04-27 |
| CN110232968A (zh) | 2019-09-13 |
| US20200050861A1 (en) | 2020-02-13 |
| WO2018215827A1 (en) | 2018-11-29 |
| CN110265121A (zh) | 2019-09-20 |
| KR20210047373A (ko) | 2021-04-29 |
| US11503196B2 (en) | 2022-11-15 |
| CN109690686A (zh) | 2019-04-26 |
| CN110289082A (zh) | 2019-09-27 |
| US20210266437A1 (en) | 2021-08-26 |
| US20200117902A1 (en) | 2020-04-16 |
| US10939028B2 (en) | 2021-03-02 |
| CN110246569A (zh) | 2019-09-17 |
| US20200053262A1 (en) | 2020-02-13 |
| US20200051271A1 (en) | 2020-02-13 |
| EP3616210A1 (en) | 2020-03-04 |
| US20200050862A1 (en) | 2020-02-13 |
| US11503197B2 (en) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102354428B1 (ko) | 이미지를 분석하기 위한 웨어러블기기 및 방법 | |
| US10887486B2 (en) | Wearable device and methods for transmitting information based on physical distance | |
| US10841476B2 (en) | Wearable unit for selectively withholding actions based on recognized gestures | |
| US10019625B2 (en) | Wearable camera for reporting the time based on wrist-related trigger | |
| US20230336694A1 (en) | Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |