KR20240009974A - 증강 현실 경험들을 위한 가상 가이드 피트니스 루틴들 - Google Patents
증강 현실 경험들을 위한 가상 가이드 피트니스 루틴들 Download PDFInfo
- Publication number
- KR20240009974A KR20240009974A KR1020237042914A KR20237042914A KR20240009974A KR 20240009974 A KR20240009974 A KR 20240009974A KR 1020237042914 A KR1020237042914 A KR 1020237042914A KR 20237042914 A KR20237042914 A KR 20237042914A KR 20240009974 A KR20240009974 A KR 20240009974A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- display
- motion
- avatar
- presenting
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title abstract description 10
- 230000033001 locomotion Effects 0.000 claims abstract description 174
- 238000000034 method Methods 0.000 claims abstract description 122
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 77
- 230000003252 repetitive effect Effects 0.000 claims description 73
- 230000000694 effects Effects 0.000 claims description 66
- 230000004044 response Effects 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 26
- 230000000386 athletic effect Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000010079 rubber tapping Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 52
- 230000001133 acceleration Effects 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000004807 localization Effects 0.000 description 17
- 239000003550 marker Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000000712 assembly Effects 0.000 description 8
- 238000000429 assembly Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000037023 motor activity Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
- A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
- A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0625—Emitting sound, noise or music
- A63B2071/063—Spoken or verbal instructions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0658—Position or arrangement of display
- A63B2071/0661—Position or arrangement of display arranged on the user
- A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0675—Input for modifying training controls during workout
- A63B2071/068—Input by voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Physical Education & Sports Medicine (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Optics & Photonics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
증강 현실에서 아이웨어 디바이스의 디스플레이를 사용하여 가상 가이드 피트니스 경험을 제시하기 위한 예시적인 시스템들, 디바이스들, 매체들 및 방법들이 설명된다. 가이드 피트니스 애플리케이션은 하나 이상의 카메라들로부터의 비디오 데이터 및 관성 측정 유닛(IMU)을 사용하여 모션 데이터의 프레임들을 캡처하는 것을 구현하고 제어한다. 본 방법은 (장비를 사용하거나 또는 장비를 사용하지 않고) 운동 모션들을 검출하는 것뿐만 아니라 반복들을 검출 및 카운팅하는 단계를 포함한다. 검출된 모션들 또는 장비에 대한 관련 데이터는 리트리브되며, 가이드 피트니스 경험을 큐레이팅하기 위해 사용된다. 현재 반복 카운트는 메시지들을 재생하고, 애니메이팅된 시연들을 수행하며, 음성 인식을 사용하여 커맨드들 및 질의들에 응답하며 그리고 텍스트, 오디오 및 비디오를 통해 가이드 피트니스 명령들을 제시하기 위한 아바타와 함께 디스플레이 상에 제시된다.
Description
[0001] 본 출원은 2021년 5월 14일 금요일에 출원된 미국 출원 일련번호 제17/321,178호에 대해 우선권을 주장하며, 이 출원의 내용들은 인용에 의해 본원에 완전히 통합된다.
[0002] 본 개시내용에 제시된 예들은 아이웨어와 같은 웨어러블 디바이스들을 포함하여, 전자 디바이스들에 대한 증강 현실 경험들의 분야에 관한 것이다. 보다 구체적으로, 그러나 이에 제한되지는 않고, 본 개시내용은 증강 현실에서 가상 가이드 운동들 및 피트니스 루틴들의 제시를 설명한다.
[0003] 오늘날 이용 가능한 많은 타입들의 컴퓨터들 및 전자 디바이스들, 이를테면 모바일 디바이스들(예컨대, 스마트폰들, 태블릿들 및 랩톱들), 핸드헬드 장치들, 및 웨어러블 장치들(예컨대, 스마트 안경, 디지털 아이웨어, 헤드웨어, 헤드기어 및 머리-장착 디스플레이들)은 다양한 카메라들, 센서들, 무선 트랜시버들, 입력 시스템들 및 디스플레이들을 포함한다.
[0004] 가상 현실(VR) 기술은 때때로 VR 헤드셋 또는 다른 머리-장착 디스플레이 상에 제시되는 현실적인 이미지들을 포함하는 완전한 가상 환경을 생성한다. VR 경험들은 사용자로 하여금 가상 환경을 통해 이동하고 가상 객체들과 상호 작용할 수 있게 한다. 증강 현실(AR)은 가상 객체들과 물리적 환경의 실제 객체들을 결합하고 이 결합을 사용자에게 디스플레이하는 일종의 VR 기술이다. 결합된 디스플레이는 특히 가상 객체들이 실제 객체들 처럼 나타나고 동작할 때 가상 객체들이 물리적 환경에 진정으로 존재한다는 인상을 준다. XR(cross reality)은 일반적으로 AR, VR 및 MR(mixed reality) 환경들로부터의 엘리먼트들을 포함하거나 결합하는 시스템들을 지칭하는 포괄적 용어로 이해된다.
[0005] 그래픽 사용자 인터페이스들은 사용자로 하여금 가상 객체들 및 그래픽 엘리먼트들, 이를테면 아이콘들, 태스크바들, 리스트 박스들, 메뉴들, 버튼들, 및 커서들, 포인터들, 핸들들 및 슬라이드들과 같은 선택 제어 엘리먼트들을 포함하여, 디스플레이된 콘텐츠와 상호작용할 수 있게 한다.
[0006] ASR(automatic speech recognition)은 구두 단어들을 수신하고 구두 단어들을 컴퓨팅 디바이스로 프로세싱하기에 적합한 오디오 데이터로 변환하는 것을 수반하는 컴퓨터 과학, 인공 지능, 및 언어학의 분야이다. 프로세싱된 오디오 데이터의 프레임들은 수신된 구두 단어들을 텍스트로 번역하거나 또는 구두 단어들을 다양한 소프트웨어 애플리케이션들을 제어하고 이와 상호 작용하기 위한 커맨드들을 변환하는 데 사용될 수 있다. 인간-컴퓨터 상호 작용들을 용이하게 하기 위해 컴퓨터들, 핸드헬드 디바이스들, 웨어러블 디바이스들, 전화 시스템들, 자동차들, 및 매우 다양한 다른 디바이스들에 의해 ASR 프로세싱이 사용될 수 있다.
[0007] 설명된 다양한 예들의 특징들은 도면들을 참조하는 이하의 상세한 설명으로부터 용이하게 이해될 것이다. 상세한 설명 및 도면의 여러 도면들 전반에 걸쳐 각각의 엘리먼트에 대해 참조 번호가 사용된다. 복수의 유사한 엘리먼트들이 존재할 때, 소문자를 추가하여 특정 엘리먼트들을 지칭하면서, 유사한 엘리먼트들에 단일 참조 부호가 할당될 수 있다.
[0008] 도면들에 도시된 다양한 엘리먼트들은 달리 표시하지 않는 한 실척대로 도시되지는 않는다. 다양한 엘리먼트들의 치수들은 명확성을 위해 확대되거나 또는 축소될 수 있다. 여러 도면들은 하나 이상의 구현들을 도시하며, 단지 예로서 제시되며 제한으로서 해석되지 않아야 한다. 도면들에는 이하의 도면들이 포함된다.
[0009] 도 1a는 예시적인 가상 가이드 피트니스 시스템에서 사용하기에 적합한 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(우측)이다.
[0010] 도 1b는 우측 가시광 카메라, 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스의 우측 코너 사시적 부분 단면도이다.
[0011] 도 1c는 좌측 가시광 카메라를 도시하는, 도 1a의 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(좌측)이다.
[0012] 도 1d는 좌측 가시광 카메라, 및 회로 기판을 묘사하는 도 1c의 아이웨어 디바이스의 좌측 코너 사시적 부분 단면도이다.
[0013] 도 2a 및 도 2b는 예시적인 가상 가이드 피트니스 시스템에서 활용되는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 후면도들이다.
[0014] 도 3은 3차원 장면, 좌측 가시광 카메라에 의해 캡처된 좌측 원시 이미지, 및 우측 가시광 카메라에 의해 캡처된 우측 원시 이미지의 도식적 묘사이다.
[0015] 도 4는 아이웨어 디바이스 및 다양한 네트워크들을 통해 연결된 서버 시스템을 포함하는 예시적인 가상 가이드 피트니스 시스템의 기능 블록도이다.
[0016] 도 5는 도 4의 예시적인 가상 가이드 피트니스 시스템에서 사용하기에 적합한 모바일 디바이스에 대한 예시적인 하드웨어 구성의 도식적 표현이다.
[0017] 도 6은 동시 로컬리제이션 및 매핑을 설명하는 데 사용하기 위한 예시적인 환경에서의 사용자의 개략적 예시이다.
[0018] 도 7은 디스플레이 상의 예시적인 아바타 및 반복 카운터의 사시적 예시이다.
[0019] 도 8은 디스플레이 상에 제시된 세션 정보 및 제어 엘리먼트들을 갖는 예시적인 피트니스 프로그램의 사시적 예시이다.
[0020] 도 9는 디스플레이 상에 제시된 아바타와 함께 시스템에 의해 검출된 예시적인 운동 장치의 사시적 예시이다.
[0021] 도 10은 디스플레이 상에 제시된 예시적인 반복 장치 모션, 아바타 및 반복 카운터의 사시적 예시이다.
[0022] 도 11은 디스플레이 상에 가상 가이드 피트니스 경험을 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0023] 도 12는 반복 모션들을 검출하는 것에 대한 응답으로 디스플레이 상에 선택적으로 증분된 반복 카운트를 제시하는 예시하는 방법의 단계들을 나열한 흐름도이다.
[0024] 도 13은 운동 장치를 검출하고, 반복 장치 모션을 검출하며 그리고 디스플레이 상에 선택적으로 증분된 반복 카운트를 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0008] 도면들에 도시된 다양한 엘리먼트들은 달리 표시하지 않는 한 실척대로 도시되지는 않는다. 다양한 엘리먼트들의 치수들은 명확성을 위해 확대되거나 또는 축소될 수 있다. 여러 도면들은 하나 이상의 구현들을 도시하며, 단지 예로서 제시되며 제한으로서 해석되지 않아야 한다. 도면들에는 이하의 도면들이 포함된다.
[0009] 도 1a는 예시적인 가상 가이드 피트니스 시스템에서 사용하기에 적합한 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(우측)이다.
[0010] 도 1b는 우측 가시광 카메라, 및 회로 기판을 묘사하는 도 1a의 아이웨어 디바이스의 우측 코너 사시적 부분 단면도이다.
[0011] 도 1c는 좌측 가시광 카메라를 도시하는, 도 1a의 아이웨어 디바이스의 예시적인 하드웨어 구성의 측면도(좌측)이다.
[0012] 도 1d는 좌측 가시광 카메라, 및 회로 기판을 묘사하는 도 1c의 아이웨어 디바이스의 좌측 코너 사시적 부분 단면도이다.
[0013] 도 2a 및 도 2b는 예시적인 가상 가이드 피트니스 시스템에서 활용되는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 후면도들이다.
[0014] 도 3은 3차원 장면, 좌측 가시광 카메라에 의해 캡처된 좌측 원시 이미지, 및 우측 가시광 카메라에 의해 캡처된 우측 원시 이미지의 도식적 묘사이다.
[0015] 도 4는 아이웨어 디바이스 및 다양한 네트워크들을 통해 연결된 서버 시스템을 포함하는 예시적인 가상 가이드 피트니스 시스템의 기능 블록도이다.
[0016] 도 5는 도 4의 예시적인 가상 가이드 피트니스 시스템에서 사용하기에 적합한 모바일 디바이스에 대한 예시적인 하드웨어 구성의 도식적 표현이다.
[0017] 도 6은 동시 로컬리제이션 및 매핑을 설명하는 데 사용하기 위한 예시적인 환경에서의 사용자의 개략적 예시이다.
[0018] 도 7은 디스플레이 상의 예시적인 아바타 및 반복 카운터의 사시적 예시이다.
[0019] 도 8은 디스플레이 상에 제시된 세션 정보 및 제어 엘리먼트들을 갖는 예시적인 피트니스 프로그램의 사시적 예시이다.
[0020] 도 9는 디스플레이 상에 제시된 아바타와 함께 시스템에 의해 검출된 예시적인 운동 장치의 사시적 예시이다.
[0021] 도 10은 디스플레이 상에 제시된 예시적인 반복 장치 모션, 아바타 및 반복 카운터의 사시적 예시이다.
[0022] 도 11은 디스플레이 상에 가상 가이드 피트니스 경험을 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0023] 도 12는 반복 모션들을 검출하는 것에 대한 응답으로 디스플레이 상에 선택적으로 증분된 반복 카운트를 제시하는 예시하는 방법의 단계들을 나열한 흐름도이다.
[0024] 도 13은 운동 장치를 검출하고, 반복 장치 모션을 검출하며 그리고 디스플레이 상에 선택적으로 증분된 반복 카운트를 제시하는 예시적인 방법의 단계들을 나열한 흐름도이다.
[0025] 증강 현실에서 가상 피트니스 경험을 제시하기 위한 예들을 참조하여 다양한 구현들 및 세부 사항들이 설명된다. 예컨대, 운동 모션 또는 장치는 카메라에 의해 캡처된 이미지 데이터 및 관성 측정 유닛(IMU)에 의해 캡처된 모션 데이터를 사용하여 검출된다. 검출된 모션 또는 장치에 대한 관련 데이터는 라이브러리들 및 인터넷 서치들로부터 리트리브된다. 가상 피트니스 경험은 메시지들 및 애니메이팅된 사용 지침 프로그램들을 재생하기 위한 아바타와 함께 디스플레이 상에 반복 카운터를 제시하는 것을 포함한다.
[0026] 예시적인 방법들은 아이웨어 디바이스를 사용하여 물리적 환경에서 운동 모션을 검출하는 것에 대한 응답으로 가상 피트니스 경험을 시작하는 단계를 포함한다. 아이웨어 디바이스는 IMU, 카메라 시스템, 마이크로폰, 라우드스피커, 가이드 피트니스 애플리케이션, 이미지 프로세싱 시스템 및 디스플레이를 포함한다. 방법은 관성 측정 유닛을 사용하여 모션 데이터의 프레임을 캡처하는 단계, 및 이후 캡처된 모션 데이터의 프레임들 내에서 장치 모션(예컨대, 착용자에 의해 지지되는 아이웨어 디바이스의 모션)을 검출하는 단계를 포함한다. 검출된 디바이스 모션의 분석은 검출된 디바이스 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 운동 활동과 매칭되는지 여부를 결정하는 것을 포함한다. 매칭에 대한 응답으로, 가이드 피트니스 애플리케이션은 제1 미리 정의된 운동 활동과 연관된 운동 데이터를 리트리브하고, 가상 피트니스 경험을 디스플레이 상에 제시하며, 이는 리트리브된 운동 데이터에 기반한다.
[0027] 가상 피트니스 경험을 제시하는 프로세스는 디스플레이 상에 아바타를 제시하는 것, 및 리트리브된 운동 데이터와 연관된 하나 이상의 메시지들 및 강의들을 (아바타를 통해) 재생하는 것을 포함한다. 아바타를 통해 재생하는 프로세스는 텍스트 버블에 텍스트를 제시하는 것, 라우드스피커를 통해 오디오 메시지들을 재생하는 것, 디스플레이 상에 비디오를 제시하는 것 또는 이들의 조합들을 포함한다. 이러한 프로세스는 또한 레슨과 관련한 시연을 디스플레이 상에 수행하도록 아바타를 애니메이팅하는 것을 포함한다.
[0028] 가상 피트니스 경험을 제시하는 프로세스는 또한 캡처된 모션 데이터의 프레임들 내에서 반복 모션(예컨대, 착용자에 의해 지원되는 디바이스의 모션)을 검출하는 것을 포함한다. 검출된 반복 모션이 제1 미리 정의된 반복 활동과 매칭되는 경우에, 가이드 피트니스 애플리케이션은 디스플레이 상에 현재 반복 카운트를 증분시킨다. 일부 구현들에서 프로세스는 운동 장치(예컨대, 덤벨)를 검출하는 것 및 반복 장치 모션(예컨대, 바이셉스 컬을 수행하는 덤벨)을 검출하는 것을 포함한다. 검출된 반복 장치 모션이 제1 미리 정의된 장치 반복 활동과 매칭되는 경우에, 가이드 피트니스 애플리케이션은 디스플레이 상에서 현재 반복 카운트를 증분시킨다. 메시지들은 운동 프로그램 또는 세션의 실제 지속기간, 완료된 반복 횟수, 소모된 칼로리 수치 등을 보고하는 클로징 메시지를 포함할 수 있다.
[0029] 피트니스, 운동들 및 운동 장비와 관련하여 다양한 시스템들 및 방법들이 본원에서 설명될지라도, 설명된 기술은 물리적 환경에서 발생하는 임의의 타입의 경험 또는 활동을 검출하는 것, 검출된 활동에 대한 데이터를 리트리브하는 것, 및 가상 가이드 튜토리얼, 레슨, 트레이닝, 교육, 또는 다른 안내를 디스플레이 상에 제시하는 것에 적용될 수 있다.
[0030] 이하의 상세한 설명은 본 개시내용에 예시적으로 제시된 시스템들, 방법들, 기법들, 명령 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 개시된 청구대상 및 이의 관련 교시들의 완전한 이해를 제공하기 위한 다수의 세부사항들 및 예들이 포함된다. 그러나, 당업자는 이러한 세부사항들 없이 관련 교시들을 적용하는 방법을 이해할 수 있다. 개시된 청구대상의 양상들은 관련 교시들이 다양한 방식들로 적용되거나 실시될 수 있기 때문에 설명된 특정 디바이스들, 시스템들 및 방법으로 제한되지 않는다. 본원에서 사용되는 용어 및 명명법은 오직 특정 양상들을 설명하기 위한 목적이며, 제한으로 의도되지 않는다. 일반적으로, 잘 알려진 명령 인스턴스들, 프로토콜들, 구조들 및 기법들은 반드시 상세히 도시되지는 않는다.
[0031] 본원에서 사용되는 "커플링된” 또는 "연결된"이라는 용어들은 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링되거나 연결된 엘리먼트에 전달되게 하는 링크 등을 포함하여, 임의의 논리적, 광학적, 물리적 또는 전기적 연결부를 지칭할 수 있다. 달리 설명되지 않는 한, 커플링된 또는 연결된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결되는 것은 아니며, 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있으며, 이들 중 하나 이상은 전기 신호들을 수정, 조작 또는 반송할 수 있다. “상에”라는 용어는 엘리먼트에 의해 직접 지지되는 것 또는 엘리먼트에 통합되거나 그에 의해 지지되는 다른 엘리먼트를 통해 엘리먼트에 의해 간접적으로 지지되는 것을 의미한다.
[0032] "근접"이라는 용어는 물체 또는 사람 근처에, 이에 인접하게 또는 이 옆에 배치되거나; 또는 "말단"으로서 설명될 수 있는 아이템의 다른 부분들에 대해 더 근접한 아이템 또는 아이템의 부분을 설명하기 위해 사용된다. 예컨대, 객체에 가장 가까운 항목의 끝은 근위 끝으로 지칭될 수 있는 반면에, 일반적으로 반대 끝은 말단 끝으로서 지칭될 수 있다.
[0033] 도면들 중 임의의 도면에 도시된 것들과 같은, 아이웨어 디바이스, 다른 모바일 디바이스들, 커플링된 컴포넌트들, 및 임의의 다른 디바이스들의 배향들은, 예시 및 논의를 위해, 단지 예로서 주어진다. 동작 시에, 아이웨어 디바이스는 아이웨어 디바이스의 특정한 애플리케이션에 적합한 임의의 다른 방향으로, 예컨대, 위, 아래, 옆으로, 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에 사용되는 범위까지, 앞, 뒤, 내향, 외향, 쪽으로, 좌측, 우측, 측방향, 종방향, 위, 아래, 상부, 하부, 최상부, 최하부, 측면, 수평, 수직 및 대각과 같은 임의의 방향성 용어는 단지 예시의 방식으로 사용되며, 구성되거나 또는 달리 본원에 설명된 바와 같은 임의의 카메라, 관성 측정 유닛 또는 디스플레이의 방향 또는 배향으로 제한되지 않는다.
[0034] 진보된 AR 기술들, 이를테면 컴퓨터 비전 및 객체 추적은 지각적으로 풍부하고 몰입적인 경험을 생성하는 데 사용될 수 있다. 컴퓨터 비전 알고리즘들은 디지털 이미지들 또는 비디오에 캡처된 데이터로부터 물리적 세계에 대한 3차원 데이터를 추출한다. 객체 인식 및 추적 알고리즘들은 디지털 이미지 또는 비디오에서 객체를 검출하고, 객체의 배향 또는 포즈를 추정하며, 그리고 시간에 따른 객체의 이동을 추적하기 위해 사용된다. 실시간으로 손 및 손가락을 인식하고 추적하는 것은 컴퓨터 비전 분야에서 가장 어렵고 프로세싱 집약적인 작업들 중 하나이다.
[0035] "포즈"라는 용어는 특정한 순간에 객체의 정적 포지션 및 배향을 지칭한다. "제스처"라는 용어는 때때로 신호 또는 아이디어를 전달하기 위한 일련의 포즈들을 통한 손과 같은 객체의 능동적인 움직임을 지칭한다. 포즈와 제스처라는 용어들은 때때로 컴퓨터 비전 및 증강 현실 분야에서 상호 교환 가능하게 사용된다. 본원에서 사용되는 바와같이, "포즈" 또는 "제스처" (또는 이들의 변형들)라는 용어들은 포즈들 및 제스처들 둘 모두를 포함하는 것으로 의도되는데, 즉, 한 용어의 사용은 다른 용어의 사용을 배제하지 않는다.
[0036] 예들의 추가적인 목적들, 이점들 및 신규 특징들은 하기 설명에서 부분적으로 제시될 것이고, 부분적으로, 이하의 그리고 첨부된 도면들의 검토 시에 당업자들에게 자명해질 것이거나 예들의 생산 또는 동작에 의해 학습될 수 있다. 본 발명의 청구대상의 목적들 및 장점들은 특히 첨부된 청구항들에서 적시된 방법론들, 기구들 및 조합들에 의해 실현 및 달성될 수 있다.
[0037] 이제, 첨부 도면들에서 예시되고 아래에서 논의되는 예들이 상세히 참조된다.
[0038] 도 1a는 터치-감지 입력 디바이스, 이를테면 터치패드(181)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(우측)이다. 도시된 바와 같이, 터치패드(181)는 뚜렷이 보이거나 또는 터치패드(181)의 로케이션 및 경계에 관해 사용자에게 피드백을 제공하는 융기된 또는 달리 촉각으로 알 수 있는 에지를 포함하는 경계를 가질 수 있고; 대안적으로, 경계는 미세하여 잘 보이거나 느껴지지 않을 수 있다. 다른 구현들에서, 아이웨어 디바이스(100)는 우측 측면 상의 터치패드(181)와 함께 또는 이와 독립적으로 동작하는 좌측 측면 상의 터치패드(181)를 포함할 수 있다.
[0039] 터치패드(181)의 표면은, 사용자가 메뉴 옵션들을 내비게이팅하여 직관적인 방식으로 메뉴 옵션들을 선택할 수 있게 하도록, 이미지 디스플레이 상에서 아이웨어 디바이스에 디스플레이되는 GUI와 함께 사용하기 위한 손가락 터치들, 탭들 및 제스처들 (예컨대, 이동 터치들)을 검출하도록 구성되며, 이는 사용자 경험을 향상시키고 단순화시킨다.
[0040] 터치패드(181) 상의 손가락 입력들의 검출은 여러 기능들을 가능하게 할 수 있다. 예컨대, 터치패드(181)의 임의의 위치를 터치하면, GUI가 이미지 디스플레이 상에 아이템을 디스플레이하거나 또는 강조할 수 있으며, 이는 광학 어셈블리들(180A, 180B) 중 적어도 하나에 투사될 수 있다. 터치패드(181) 상의 태핑 또는 더블 태핑은 아이템 또는 아이콘을 선택할 수 있다. 특정 방향으로 (예컨대, 앞에서 뒤로, 뒤에서 앞으로, 위에서 아래로 또는 아래에서 위로) 손가락을 슬라이딩하거나 또는 스와이핑하면, 아이템들 또는 아이콘들이 특정 방향으로 슬라이딩되거나 또는 스크롤링되게 하며; 예컨대, 다음 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동되게 할 수 있다. 손가락을 다른 방향으로 슬라이딩하면, 반대 방향으로 슬라이딩 또는 스크롤링할 수 있으며; 예컨대 이전 아이템, 아이콘, 비디오, 이미지, 페이지 또는 슬라이드로 이동할 수 있다. 터치패드(181)는 아이웨어 디바이스(100)의 사실상 임의의 위치일 수 있다.
[0041] 일례에서, 터치패드(181) 상의 단일 탭의 식별된 손가락 제스처는 광학 조립체(180A, 180B)의 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 선택 또는 누름을 개시한다. 식별된 손가락 제스처에 기반하여 광학 조립체(180A-B)의 이미지 디스플레이 상에 제시된 이미지에 대한 조절은 추가적 디스플레이 또는 실행을 위해 광학 조립체(180A, 180B)의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 엘리먼트를 선택하거나 또는 제출하는 1차 액션일 수 있다.
[0042] 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 본원에서 추가로 설명되는 바와 같이, 2개의 카메라들(114A, 114B)은 2개의 별개의 뷰포인트들로부터 스크린에 대한 이미지 정보를 캡처한다. 2개의 캡처된 이미지는 3D 안경으로 보기 위해 3차원 디스플레이를 이미지 디스플레이에 투사하는 데 사용될 수 있다.
[0043] 아이웨어 디바이스(100)는 깊이 이미지들과 같은 이미지들을 제시하기 위한 이미지 디스플레이를 갖는 우측 광학 조립체(180B)를 포함한다. 도 1a 및 도 1b에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 아이웨어 디바이스(100)는 스테레오 카메라와 같은 수동 타입의 3차원 카메라를 형성하는 다수의 가시광 카메라들(114A, 114B)을 포함할 수 있고, 이들 중 우측 가시광 카메라(114B)는 우측 코너(110B) 상에 로케이팅된다. 도 1c 및 도 1d에 도시된 바와 같이, 아이웨어 디바이스(100)는 또한 좌측 가시광 카메라(114A)를 포함한다.
[0044] 좌측 및 우측 가시광 카메라들(114A, 114B)은 가시광선 범위 파장에 민감하다. 가시광 카메라들(114A, 114B)의 각각은 3차원 깊이 이미지들의 생성을 가능하게 하기 위해 중첩하는 상이한 전방을 향하는 시야를 갖는데, 예컨대, 우측 가시광 카메라(114B)는 우측 시야(111B)를 도시한다. 일반적으로, “시야”는, 공간 내의 특정 위치 및 배향에서 카메라를 통해 가시적인 장면의 일부이다. 시야들(111A 및 111B)은 중첩하는 시야(304)(도 3)를 갖는다. 가시광 카메라가 이미지를 캡처할 때 시야(111A, 111B) 외측의 물체들 또는 물체 피처들은 원시 이미지(예컨대, 포토그래프 또는 픽처)에 기록되지 않는다. 시야는 가시광 카메라(114A, 114B)의 이미지 센서가 주어진 장면의 캡처된 이미지 내의 주어진 장면의 전자기 방사를 픽업하는 각도 범위 또는 정도를 설명한다. 시야는 뷰 콘(view cone)의 각도 크기, 즉 시야각으로 표현될 수 있다. 시야각은 수평으로, 수직으로 또는 대각으로 측정될 수 있다.
[0045] 예시적인 구성에서, 가시광 카메라들(114A, 114B) 중 하나 또는 둘 모두는 100°의 시야 및 480 x 480 픽셀들의 해상도를 갖는다. “커버리지 각도”는 가시광 카메라들(114A, 114B) 또는 적외선 카메라(410)(도 2a 참조)의 렌즈가 효과적으로 이미징할 수 있는 각도 범위를 설명한다. 통상적으로, 카메라 렌즈는 가능하게는 일부 비네팅(vignetting)(예컨대, 중심과 비교하여 에지들 쪽의 이미지의 다크닝)을 포함하여, 필름 또는 카메라의 센서를 완전히 커버할 만큼 충분히 큰 이미지 원을 생성한다. 카메라 렌즈의 커버리지 각도가 센서를 채우지 않는 경우, 이미지 서클은 가시적일 것이고, 통상적으로 에지를 향하는 강한 비네팅을 가지며, 뷰의 유효 각도는 커버리지 각도로 제한될 것이다.
[0046] 이러한 가시광 카메라들(114A, 114B)의 예들은 480p(예컨대, 640 x 480 픽셀들), 720p, 1080p, 또는 그 초과의 해상도들이 가능한 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 디지털 VGA 카메라(비디오 그래픽 어레이)를 포함한다. 다른 예들은 높은 프레임 레이트(예컨대, 초당 30 내지 60개의 프레임들 또는 그 초과)로 HD(high-definition) 비디오를 캡처하고 기록을 1216 x 1216 픽셀들(또는 그 초과)의 해상도로 저장할 수 있는 가시광 카메라들(114A, 114B)을 포함한다.
[0047] 아이웨어 디바이스(100)는 메모리에의 저장을 위해 이미지 프로세서에 의해 디지털화되는, 가시광 카메라들(114A, 114B)로부터의 이미지 센서 데이터를 지오로케이션 데이터와 함께 캡처할 수 있다. 가시광 카메라들(114A, 114B)은 수평 포지션에 대한 X-축 및 수직 포지션에 대한 Y-축을 포함하는 2차원 좌표 시스템 상의 픽셀들의 행렬을 포함하는 2차원 공간 도메인에서 개개의 좌측 및 우측 원시 이미지들을 캡처한다. 각각의 픽셀은 컬러 속성 값(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 또는 청색 픽셀 광 값); 및 포지션 속성(예컨대, X-축 좌표 및 Y-축 좌표)을 포함한다.
[0048] 3차원 투사로서 추후 디스플레이하기 위한 스테레오 이미지들을 캡처하기 위해, 이미지 프로세서(412)(도 4에 도시됨)는 가시광 카메라들(114A, 114B)에 커플링되어 시각 이미지 정보를 수신하고 저장할 수 있다. 이미지 프로세서(412) 또는 다른 프로세서는 가시광 카메라들(114A, 114B)의 동작을 제어하여, 인간의 양안 비전을 시뮬레이팅하는 스테레오 카메라의 역할을 하고, 각각의 이미지에 타임스탬프를 추가할 수 있다. 이미지들의 각각의 쌍 상의 타임스탬프는 3차원 투사의 부분으로서 이미지들의 동시 디스플레이를 허용한다. 3차원 투사들은 가상 현실(VR) 및 비디오 게이밍을 포함하여 다양한 콘텍스트들에서 바람직한 몰입형의 실감나는 경험을 생성한다.
[0049] 도 1b는 카메라 시스템의 우측 가시광 카메라(114B) 및 회로 보드를 도시하는 도 1a의 아이웨어 디바이스(100)의 우측 코너(110B)의 사시 단면도이다. 도 1c는 카메라 시스템의 좌측 가시광 카메라(114A)를 도시하는, 도 1a의 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 측면도(좌측)이다. 도 1d는 3차원 카메라의 좌측 가시광 카메라(114A) 및 회로 보드를 도시하는, 도 1c의 아이웨어 디바이스의 좌측 코너(110A)의 사시 단면도이다.
[0050] 좌측 가시광 카메라(114A)의 구성 및 배치는 연결부들 및 커플링이 좌측 측방향 측면(170A)에 있다는 점을 제외하고 우측 가시광 카메라(114B)와 실질적으로 유사하다. 도 1b의 예에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B) 및 가요성 PCB(printed circuit board)일 수 있는 회로 보드(140B)를 포함한다. 우측 힌지(126B)는 아이웨어 디바이스(100)의 우측 템플(125B)에 우측 코너(110B)를 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140B), 또는 다른 전기 커넥터들 또는 콘택들의 컴포넌트들은 우측 템플(125B) 또는 우측 힌지(126B) 상에 로케이팅될 수 있다. 좌측 힌지(126A)는 아이웨어 디바이스(100)의 좌측 템플(125A)에 좌측 코너(110A)를 연결한다. 일부 예들에서, 좌측 가시광 카메라(114A), 가요성 PCB(140A), 또는 다른 전기 커넥터들 또는 콘택들의 컴포넌트들은 좌측 템플(125A) 또는 좌측 힌지(126A) 상에 로케이팅될 수 있다.
[0051] 우측 코너(110B)는 코너 본체(190) 및 코너 캡을 포함하고, 코너 캡은 도 1b의 단면에서 생략될 수 있다. 우측 코너(110B) 내부에는 우측 가시광 카메라(114B)에 대한 제어기 회로들, 마이크로폰(들)(139), 라우드스피커(들)(191), (예컨대, Bluetooth™를 통한 무선 근거리 네트워크 통신을 위한) 저전력 무선 회로, (예컨대, Wi-Fi 통한 무선 로컬 영역 네트워크 통신을 위한) 고속 무선 회로를 포함하는 다양한 상호연결 회로 보드들, 예컨대, PCB들 또는 가요성 PCB들이 배치된다.
[0052] 우측 가시광 카메라(114B)는 가요성 PCB(140B)에 커플링되거나 배치되고, 프레임(105)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 커버된다. 예컨대, 도 2a에 도시된 프레임(105)의 우측 테두리(107B)는 우측 코너(110B)에 연결되고 가시광 카메라 커버 렌즈를 위한 개구(들)를 포함한다. 프레임(105)은 사용자의 눈으로부터 멀리 바깥 쪽을 향하도록 구성된 전방 측면을 포함한다. 가시광 카메라 커버 렌즈를 위한 개구는 프레임(105)의 전방 또는 외향 측면 상에 그리고 이를 통해 형성된다. 예에서, 우측 가시광 카메라(114B)는 아이웨어 디바이스(100)의 사용자의 우측 눈과 상관되는 시선 또는 시각을 갖는 (도 3에 도시된) 외향 시야(111B)를 갖는다. 가시광 카메라 커버 렌즈는 또한 우측 코너(110B)의 전방 측면 또는 외향 표면에 부착될 수 있고, 여기서 커버리지의 외향 각도를 갖지만 상이한 외측 방향을 향하는 개구가 형성된다. 커플링은 또한 개재 컴포넌트들을 통해 간접적일 수 있다.
[0053] 도 1b에 도시된 바와 같이, 가요성 PCB(140B)는 우측 코너(110B) 내부에 배치되고, 우측 코너(110B)에 하우징된 하나 이상의 다른 컴포넌트들에 커플링된다. 우측 코너(110B)의 회로 보드들 상에 형성된 것으로 도시되었지만, 우측 가시광 카메라(114B)는 좌측 코너(110A), 템플들(125A, 125B) 또는 프레임(105)의 회로 보드들 상에 형성될 수 있다.
[0054] 도 2a 및 도 2b는 2개의 상이한 타입들의 이미지 디스플레이들을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들을 뒤에서 본 사시도들이다. 아이웨어 디바이스(100)는 사용자가 착용하도록 구성된 형태의 크기를 갖고 이러한 형태로 형상화되며; 안경의 형태가 본 예에 도시된다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 타입들의 프레임워크들, 예컨대 헤드기어, 헤드셋 또는 헬멧을 포함할 수 있다.
[0055] 안경 예에서, 아이웨어 디바이스(100)는 사용자의 코에 의해 지지되도록 적응된 브리지( bridge)(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A, 107B)은 렌즈 및 디스플레이 디바이스와 같은 개개의 광학 엘리먼트(180A, 180B)를 홀딩하는 개개의 애퍼처들(175A, 175B)을 포함한다. 본원에서 사용되는 바와 같이, 렌즈라는 용어는 광이 수렴 또는 발산하게 하는 또는 수렴 또는 발산이 거의 또는 전혀 없게 하는 만곡된 또는 평탄한 표면들을 갖는 유리 또는 플라스틱의 투명한 또는 반투명한 피스들을 포함하는 것을 의미한다.
[0056] 도 2a는 우측 코너(110B)가 마이크로폰(139)과 라우드스피커(191)를 지지하는 아이웨어 디바이스(100)에 대한 예시적인 하드웨어 구성이다. 마이크로폰(139)은 사운드를 대응하는 전기 오디오 신호로 변환하는 변환기를 포함한다. 이 예에서 마이크로폰(139)은, 도시된 바와 같이, 구두 커맨드들 및 질의들을 포함하는 인간 음성과 같은 음파들의 수신을 용이하게 하기 위해, 착용자를 향해 내측을 향하는 개구와 함께 포지셔닝되어 있다. 추가의 또는 상이하게 배향된 개구들이 구현될 수 있다. 다른 예시적인 구성들에서, 아이웨어 디바이스(100)는, 함께 또는 독립적으로 동작하도록 구성되고, 아이웨어 디바이스(100) 상의 다양한 로케이션들에 포지셔닝된, 하나 이상의 마이크로폰들(139)에 커플링된다.
[0057] 라우드스피커(191)는 전기 오디오 신호를 대응하는 사운드로 변환하는 전기 음향 트랜스듀서를 포함한다 라우드스피커(191)는 프로세서들(422, 432) 중 하나에 의해 또는 오디오 프로세서(413)에 의해 제어된다(도 4). 이러한 예에서 라우드스피커(191)는, 도시된 바와 같이, 착용자를 향해 사운드를 지향시키기 위해 내측을 향하는 일련의 직사각형 애퍼처들을 포함한다. 추가의 또는 상이하게 배향된 애퍼처들이 구현될 수 있다. 다른 예시적인 구성들에서는, 아이웨어 디바이스(100)는, 함께 (예컨대, 스테레오로, 서라운드 사운드를 생성하는 구역들에서) 또는 독립적으로 동작하도록 구성되고, 아이웨어 디바이스(100)의 다양한 로케이션들에 포지셔닝된, 하나 이상의 라우드스피커들(191)에 커플링된다. 예컨대, 하나 이상의 라우드스피커들(191)은 아이웨어 디바이스(100)의 프레임(105), 템플들(125), 또는 코너들(110A, 110B)에 통합될 수 있다.
[0058] 2개의 광학 엘리먼트들(180A, 180B)을 갖는 것으로 도 2a 및 도 2b에 도시되었지만, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 단일 광학 엘리먼트와 같은 다른 배열들을 포함할 수 있다 (또는 임의의 광학 엘리먼트(180A, 180B)를 포함하지 않을 수 있다). 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(미도시)에 통합될 수 있다.
[0059] 일례에서, 광학 조립체(180A, 180B)의 이미지 디스플레이는 통합 이미지 디스플레이를 포함한다. 도 2a에 도시된 바와 같이, 각각의 광학 조립체(180A, 180B)는 LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이 또는 임의의 다른 그러한 디스플레이와 같은 적합한 디스플레이 매트릭스(177)를 포함한다. 각각의 광학 조립체(180A, 180B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 거울들, 도파관들, 광학 스트립들, 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있는 광학 레이어 또는 레이어들(176)을 포함한다. (도 2a 및 본원에서 176A-N으로서 도시된) 광학 레이어들(176A, 176B, … 176N)은 적합한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 레이어들(176A-N)의 프리즘은 좌측 및 우측 테두리들(107A, 107B)에 형성된 개개의 애퍼처들(175A, 175B)의 전부 또는 적어도 일부분에 걸쳐 연장되어, 사용자의 눈이 대응하는 좌측 및 우측 테두리들(107A, 107B)을 보고 있을 때 사용자가 프리즘의 제2 표면을 보도록 허용한다. 광학 레이어(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위를 향하고, 디스플레이 매트릭스(177)는 디스플레이 매트릭스(177)에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 레이어들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 하는 크기를 가지고 형상화된다. 이와 관련하여, 광학 레이어들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향하도록 볼록할 수 있다. 프리즘은 선택적으로 디스플레이 매트릭스(177)에 의해 투사된 이미지를 확대하도록 크기설정 및 형상화될 수 있고, 광은 프리즘을 통해 이동하여 제2 표면으로부터 보이는 이미지는 디스플레이 매트릭스(177)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크다.
[0060] 일례에서, 광학 레이어들(176A-N)은 레이어를 불투명하게 만드는(렌즈를 닫거나 차단하는) 전압이 인가되지 않는 한 그리고 전압이 인가될 때까지 투명한 (렌즈를 개방된 상태로 유지하는) LCD 레이어를 포함할 수 있다. 아이웨어 디바이스(100) 상의 이미지 프로세서(412)는 능동 셔터 시스템을 생성하기 위해 LCD 레이어에 전압을 인가하는 프로그래밍을 실행할 수 있고, 이는 아이웨어 디바이스(100)가 3차원 투사로서 디스플레이될 때 시각적 콘텐츠를 보기에 적합하도록 만든다. 전압 또는 다른 타입의 입력에 응답하는 다른 타입들의 반응 레이어들을 포함하여, LCD와 다른 기술들이 능동 셔터 모드 동안 사용될 수 있다.
[0061] 다른 예에서, 광학 조립체(180A, 180B)의 이미지 디스플레이 디바이스는 도 2b에 도시된 바와 같이 투사 이미지 디스플레이를 포함한다. 각각의 광학 조립체(180A, 180B)는 스캐닝 미러 또는 검류계를 사용하는 3-색 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안, 레이저 프로젝터(150)와 같은 광원은 아이웨어 디바이스(100)의 템플들(125A, 125B) 중 하나에 또는 그 위에 배치된다. 이러한 예에서 광학 조립체(180B)는 각각의 광학 조립체(180A, 180B)의 렌즈의 폭에서 떨어져서 이를 가로질러 또는 렌즈의 전방 표면 및 후방 표면 사이의 렌즈의 깊이를 가로질러 이격되는 하나 이상의 광학 스트립들(155A, 155B, … 155N)(도 2b에서 155A-N로서 도시됨)을 포함한다.
[0062] 레이저 프로젝터(150)에 의해 투사된 광자들이 각각의 광학 조립체(180A, 180B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-N)과 만난다. 특정 광자가 특정 광학 스트립을 만날 때, 그 광자는 사용자의 눈을 향해 재지향되거나 다음 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조 및 광학 스트립들의 변조의 조합은 특정 광자들 또는 광 빔들을 제어할 수 있다. 일례에서, 프로세서는 기계적, 음향적 또는 전자기 신호들을 개시함으로써 광학 스트립들(155A-N)을 제어한다. 2개의 광학 조립체들(180A, 180B)을 갖는 것으로 도시되었지만, 아이웨어 디바이스(100)는 단일의 또는 3개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 또는 각각의 광학 조립체(180A, 180B)는 아이웨어 디바이스(100)의 의도된 사용자 또는 애플리케이션에 따라 배열된 상이한 배열을 가질 수 있다.
[0063] 도 2a 및 도 2b에 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 코너(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 코너(110B)를 포함한다. 코너들(110A, 110B)은 (예시된 바와 같이) 개개의 측면들(170A, 170B) 상에서 프레임(105)에 통합되거나, 또는 개개의 측면들(170A, 170B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 코너들(110A, 110B)은 프레임(105)에 부착된 템플들(125A, 125B)에 통합될 수 있다.
[0064] 다른 예에서, 도 2b에 도시된 아이웨어 디바이스(100)는 2개의 프로젝터들, 즉 좌측 프로젝터(미도시) 및 우측 프로젝터(150)를 포함할 수 있다. 좌측 광학 조립체(180A)는 좌측 디스플레이 매트릭스(177A)(미도시), 또는 좌측 프로젝터로부터의 광과 상호작용하도록 구성된 좌측 세트의 광학 스트립들(미도시)을 포함할 수 있다. 유사하게, 우측 광학 조립체(180B)는 우측 디스플레이 매트릭스(미도시), 또는 우측 프로젝터(150)로부터의 광과 상호작용하도록 구성된 우측 세트의 광학 스트립들(미도시)을 포함할 수 있다. 이러한 예에서, 아이웨어 디바이스(100)는 좌측 디스플레이 및 우측 디스플레이를 포함한다.
[0065] 도 3은 3차원 장면(306), 좌측 가시광 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 가시광 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)의 개략도이다. 좌측 시야(111A)는 도시된 바와 같이 우측 시야(111B)와 중첩할 수 있다. 중첩 시야(304)는 양 카메라들(114A, 114B)에 의해 캡처된 이미지의 해당 부분을 나타낸다. 시야를 지칭할 때 “중첩”이라는 용어는 생성된 원시 이미지들의 픽셀들의 매트릭스가 30 퍼센트(30%) 이상 중첩하는 것을 의미한다. '상당히 중첩하는 것'은 생성된 원시 이미지들 (또는 장면의 적외선 이미지)의 픽셀들의 매트릭스가 50 퍼센트 (50%) 이상 중첩하는 것을 의미한다. 본원에서 설명되는 바와 같이, 2개의 원시 이미지들(302A, 302B)은 타임스탬프를 포함하도록 프로세싱될 수 있으며, 이는 이미지들이 3차원 투사의 부분으로서 함께 디스플레이될 수 있게 한다.
[0066] 스테레오 이미지의 캡처를 위해, 도 3에 예시된 바와같이, 원시 적색, 녹색 및 청색(RGB) 이미지들의 쌍, 즉 좌측 카메라(114A)에 의해 캡처된 좌측 원시 이미지(302A) 및 우측 카메라(114B)에 의해 캡처된 우측 원시 이미지(302B)가 주어진 순간에 실제 장면(306)으로부터 캡처된다. 원시 이미지들(302A, 302B)의 쌍이 (예컨대, 이미지 프로세서(412))에 의해 프로세싱될 때, 깊이 이미지들이 생성된다. 생성된 깊이 이미지들은 아이웨어 디바이스의 광학 어셈블리(180A, 180B) 상에, 다른 디스플레이(예컨대, 모바일 디바이스(401) 상의 이미지 디스플레이(580)) 상에 또는 스크린 상에서 보여질 수 있다.
[0067] 생성된 깊이 이미지들은 3차원 공간 도메인에 있고, 수평 포지션(예컨대, 길이)에 대한 X 축, 수직 포지션(예컨대, 높이)에 대한 Y 축, 및 깊이(예컨대, 거리)에 대한 Z 축을 포함하는 3차원 로케이션 좌표 시스템 상에 정점들의 매트릭스를 포함할 수 있다. 각각의 정점은 컬러 속성(예컨대, 적색 픽셀 광 값, 녹색 픽셀 광 값, 및/또는 청색 픽셀 광 값); 포지션 속성(예컨대, X 로케이션 좌표 및 Y 로케이션 좌표, 및 Z 로케이션 좌표); 텍스처 속성; 반사 속성; 또는 이들의 조합을 포함할 수 있다. 텍스처 속성은 깊이 이미지의 정점들의 영역에서 컬러의 공간적 배열 또는 세기들과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0068] 일례에서, 가상 가이드 피트니스 시스템(400)(도 4)은 아이웨어 디바이스(100)를 포함하며, 아이웨어 디바이스(100)는 프레임(105) 및 프레임(105)의 좌측 측방향 측면(170A)으로부터 연장되는 좌측 템플(125A) 및 프레임(105)의 우측 측방향 측면(170B)으로부터 연장되는 우측 템플(125B)을 포함한다. 아이웨어 디바이스(100)는 중첩 시야를 갖는 적어도 2개의 가시광 카메라들(114A, 114B)을 더 포함할 수 있다. 일례에서, 아이웨어 디바이스(100)는 도 3에 도시된 바와 같이 좌측 시야(111A)를 갖는 좌측 가시광 카메라(114A)를 포함한다. 좌측 카메라(114A)는 프레임(105) 또는 좌측 템플(125A)에 연결되어 장면(306)의 좌측으로부터 좌측 원시 이미지(302A)를 캡처한다. 아이웨어 디바이스(100)는 우측 시야(111B)를 갖는 우측 가시광 카메라(114B)를 더 포함한다. 우측 카메라(114B)는 프레임(105) 또는 우측 템플(125B)에 연결되어 장면(306)의 우측으로부터 우측 원시 이미지(302B)를 캡처한다.
[0069] 도 4는 인터넷과 같은 다양한 네트워크들(495)을 통해 연결된 아이웨어 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)을 포함하는 예시적인 가상 가이드 피트니스 시스템(400)의 기능 블록도이다. 도시된 바와 같이, 가상 가이드 피트니스 시스템(400)은 아이웨어 디바이스(100)와 모바일 디바이스(401) 사이의 저-전력 무선 연결(425) 및 고속 무선 연결(437)을 포함한다.
[0070] 도 4에 도시된 바와 같이, 아이웨어 디바이스(100)는 본원에서 설명되는 바와 같이 정지 이미지들, 비디오 이미지들 또는 정지 이미지들과 비디오 이미지들 둘 모두를 캡처하는 하나 이상의 가시광 카메라들(114A, 114B)을 포함한다. 카메라들(114A, 114B)은 고속 회로(430)에 대한 직접 메모리 액세스(DMA)를 가질 수 있고, 스테레오 카메라로서 기능할 수 있다. 카메라들(114A, 114B)은 적색, 녹색 및 청색 (RGB) 이미지 장면의 텍스처 매핑 이미지들인 3차원(3D) 모델들로 렌더링될 수 있는 초기-깊이 이미지들을 캡처하는 데 사용될 수 있다. 디바이스(100)는 또한 디바이스(100)에 대한 객체들의 포지션을 추정하기 위해 적외선 신호들을 사용하는 깊이 센서를 포함할 수 있다. 일부 예들에서, 깊이 센서는 하나 이상의 적외선 방출기(들) 및 적외선 카메라(들)(410)를 포함한다.
[0071] 아이웨어 디바이스(100)는 각각의 광학 조립체(180A, 180B) (하나는 좌측 측면(170A)과 연관되고 하나는 우측 측면(170B)과 연관됨)의 2개의 이미지 디스플레이들을 더 포함한다. 아이웨어 디바이스(100)는 또한 이미지 디스플레이 드라이버(442), 이미지 프로세서(412), 저전력 회로(420) 및 고속 회로(430)를 포함한다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 정지 이미지들, 비디오 이미지들 또는 정지 및 비디오 이미지들을 포함하는 이미지들을 제시하기 위한 것이다. 이미지 디스플레이 드라이버(442)는 이미지들의 디스플레이를 제어하기 위해 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들에 커플링된다.
[0072] 아이웨어 디바이스(100)에 대해 도 4에 도시된 컴포넌트들은 테두리들 또는 템플들에 로케이팅된, 하나 이상의 회로 보드들, 예컨대, PCB(printed circuit board) 또는 PCB(flexible printed circuit) 상에 로케이팅된다. 대안적으로 또는 추가적으로, 도시된 컴포넌트들은 아이웨어 디바이스(100)의 코너들, 프레임들, 힌지들 또는 브리지에 로케이팅될 수 있다. 좌측 및 우측 가시광 카메라들(114A, 114B)은 디지털 카메라 엘리먼트들, 이를테면 CMOS(complementary metal-oxide-semiconductor) 이미지 센서, 전하-결합 디바이스, 렌즈, 또는 미지의 물체들을 갖는 장면들의 정지 이미지들 또는 비디오를 포함하여 데이터를 캡처하기 위해 사용될 수 있는 임의의 다른 개개의 가시적 또는 광 캡처 엘리먼트들을 포함할 수 있다.
[0073] 도 4에 도시된 바와 같이, 고속 회로(430)는 고속 프로세서(432), 메모리(434) 및 고속 무선 회로(436)를 포함한다. 예에서, 이미지 디스플레이 드라이버(442)는 고속 회로(430)에 커플링되고, 각각의 광학 조립체(180A, 180B)의 좌측 및 우측 이미지 디스플레이들을 구동하기 위해 고속 프로세서(432)에 의해 동작된다. 고속 프로세서(432)는 아이웨어 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(432)는 고속 무선 회로(436)를 사용하여 WLAN(wireless local area network)으로의 고속 무선 연결부(437) 상에서 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 자원들을 포함한다.
[0074] 일부 예들에서, 고속 프로세서(432)는 오퍼레이팅 시스템, 이를테면 LINUX 오퍼레이팅 시스템, 또는 아이웨어 디바이스(100)의 다른 그러한 오퍼레이팅 시스템을 실행하고, 오퍼레이팅 시스템은 실행을 위해 메모리(434)에 저장된다. 임의의 다른 책임들에 부가하여, 고속 프로세서(432)는 고속 무선 회로(436)로 데이터 전달들을 관리하는데 사용되는 아이웨어 디바이스(100)를 위한 소프트웨어 아키텍처를 실행한다. 일부 예들에서, 고속 무선 회로(436)는 본원에서 또한 Wi-Fi로 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들은 고속 무선 회로(436)에 의해 구현될 수 있다.
[0075] 저-전력 회로(420)는 저-전력 프로세서(422) 및 저-전력 무선 회로(424)를 포함한다. 아이웨어 디바이스(100)의 저-전력 무선 회로(424) 및 고속 무선 회로(436)는 단거리 트랜시버들(Bluetooth™ 또는 BLE(Bluetooth Low-Energy)) 및 무선 와이드, 로컬 또는 광역 네트워크 트랜시버들(예컨대, 셀룰러 또는 Wi-Fi)을 포함할 수 있다. 저-전력 무선 연결부(425) 및 고속 무선 연결부(437)를 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(401)는 네트워크(495)의 다른 엘리먼트들과 마찬가지로 아이웨어 디바이스(100)의 아키텍처의 세부사항들을 사용하여 구현될 수 있다.
[0076] 메모리(434)는 무엇보다도 좌측 및 우측 가시광 카메라들(114A, 114B), 적외선 카메라(들)(410), 이미지 프로세서(412)에 의해 생성된 카메라 데이터 및 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들 상에서 이미지 디스플레이 드라이버(442)에 의한 디스플레이를 위해 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(434)가 고속 회로(430)와 통합된 것으로 도시되었지만, 다른 예들에서, 메모리(434)는 아이웨어 디바이스(100)의 독립적인 스탠드얼론 엘리먼트일 수 있다. 이러한 특정 예들에서, 전기 라우팅 라인들은 고속 프로세서(432)를 포함하는 칩을 통해 이미지 프로세서(412) 또는 저전력 프로세서(422)로부터 메모리(434)로의 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(432)는 메모리(434)를 수반하는 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(422)가 고속 프로세서(432)를 부팅하도록 메모리(434)의 어드레싱을 관리할 수 있다.
[0077] 도 4에 도시된 바와 같이, 아이웨어 디바이스(100)의 다양한 엘리먼트들이 저전력 회로(420), 고속 회로(430), 또는 이둘 모두에 커플링될 수 있다. 예컨대, 적외선 카메라(410)(일부 구현들에서는 적외선 방사체를 포함함), 사용자 입력 디바이스들(491)(예컨대, 터치패드(181)), 마이크로폰(들)(139), 및 관성 측정 유닛(IMU)(472)이 저전력 회로(420), 고속 회로(430), 또는 양쪽 모두에 커플링될 수 있다.
[0078] 도 5에 도시된 바와 같이, 모바일 디바이스(401)의 CPU(540)는 카메라 시스템(570), 모바일 디스플레이 드라이버(582), 사용자 입력 레이어(591) 및 메모리(540A)에 커플링될 수 있다.
[0079] 서버 시스템(498)은 예컨대 프로세서, 메모리, 및 네트워크(495)를 통해 아이웨어 디바이스(100) 및 모바일 디바이스(401)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다.
[0080] 아이웨어 디바이스(100)의 출력 컴포넌트들은 도 2a 및 도 2b에 설명된 바와 같은 각각의 렌즈 또는 광학 조립체(180A, 180B)와 연관된 좌측 및 우측 이미지 디스플레이들(예컨대, LCD(liquid crystal display), PDP(plasma display panel), LED(light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)과 같은 시각적 엘리먼트들을 포함한다. 아이웨어 디바이스(100)는 사용자-대면 표시기(예컨대, LED, 라우드스피커(191) 또는 진동 액추에이터) 또는 외향 신호(예컨대, LED, 라우드스피커(191))를 포함할 수 있다. 각각의 광학 조립체(180A, 180B)의 이미지 디스플레이들은 이미지 디스플레이 드라이버(442)에 의해 구동된다. 일부 예시적인 구성들에서, 아이웨어 디바이스(100)의 출력 컴포넌트들은 추가 표시기들, 이를테면 가청 엘리먼트들(예컨대, 라우드스피커들(191)), 촉각 컴포넌트들(예컨대, 햅틱 피드백을 생성하기 위한 진동 모터와 같은 액추에이터) 및 다른 신호 생성기들을 더 포함한다. 예컨대, 디바이스(100)는 사용자-대면 세트의 표시기들 및 외향 세트의 신호들을 포함할 수 있다. 사용자-대면 세트의 표시기들은 디바이스(100)의 사용자가 보거나 그렇지 않으면 감지하도록 구성된다. 예컨대, 디바이스(100)는 사용자가 볼 수 있도록 포지셔닝된 LED 디스플레이, 사용자가 들을 수 있는 사운드를 생성하도록 포지셔닝된 하나 이상의 스피커들(191), 또는 사용자가 느낄 수 있는 햅틱 피드백을 제공하기 위한 액추에이터를 포함할 수 있다. 외향 세트의 신호들은 디바이스(100) 근처의 관찰자가 보거나 또는 그렇지 않으면 감지하도록 구성된다. 유사하게, 디바이스(100)는 관찰자에 의해 감지하도록 구성되고 포지셔닝된 LED, 라우드스피커(191) 또는 액추에이터를 포함할 수 있다.
[0081] 아이웨어 디바이스(100)의 입력 컴포넌트들은 알파뉴메릭 입력 컴포넌트들 (예컨대, 알파뉴메릭 입력을 수신하도록 구성된 터치 스크린 또는 터치패드(181), 포토-광학 키보드, 또는 다른 알파뉴메릭-구성 엘리먼트들), 포인트-기반 입력 컴포넌트들(예컨대, 마우스, 터치패드(181), 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예컨대, 터치들 또는 터치 제스처들의 로케이션, 힘 또는 로케이션 및 힘을 감지하는 버튼 스위치, 터치 스크린 또는 터치패드(181) 또는 다른 촉각-구성 엘리먼트들), 및 오디오 입력 컴포넌트들(예컨대, 마이크로폰(139)) 등을 포함할 수 있다. 모바일 디바이스(401) 및 서버 시스템(498)은 알파뉴메릭, 포인터-기반, 촉각, 오디오 및 다른 입력 컴포넌트들을 포함할 수 있다.
[0082] 일부 예들에서, 아이웨어 디바이스(100)는 관성 측정 유닛(472)으로 지칭되는 모션-감지 컴포넌트들의 집합을 포함한다. 모션-감지 컴포넌트들은 종종 마이크로칩의 일부가 될 정도로 충분히 작은 마이크로스코픽 이동 부분들을 갖는 MEMS(micro-electro-mechanical system)들일 수 있다. 일부 예시적인 구성들의 관성 측정 유닛(IMU)(472)은 가속도계, 자이로스코프 및 자력계를 포함한다. 가속도계는 3개의 직교 축들(x, y, z)에 대한 디바이스(100)의 선형 가속도(중력으로 인한 가속도를 포함함)를 감지한다. 자이로스코프는 3개의 회전축(피치, 롤, 요)에 대한 디바이스(100)의 각속도를 감지한다. 동시에, 가속도계 및 자이로스코프는 6개 축(x, y, z, 피치, 롤, 요)에 대한 장치에 대한 포지션, 배향 및 모션 데이터를 제공할 수 있다. 존재하는 경우 자력계는 자북에 대한 디바이스(100)의 헤딩을 감지한다. 디바이스(100)의 포지션은 로케이션 센서들, 이를테면 GPS 유닛, 상대적인 포지션 좌표들을 생성하기 위한 하나 이상의 트랜시버들, 고도 센서들 또는 기압계들, 및 다른 배향 센서들에 의해 결정될 수 있다. 이러한 포지셔닝 시스템 좌표들은 또한 저-전력 무선 회로(424) 또는 고속 무선 회로(436)를 통해 모바일 디바이스(401)로부터 무선 연결부들(425, 437)을 통해 수신될 수 있다.
[0083] IMU(472)는 컴포넌트들로부터의 원시 데이터를 수집하는 디지털 모션 프로세서 또는 프로그래밍을 포함하거나 또는 이와 연관될 수 있으며, 디바이스(100)의 포지션, 배향 및 모션에 대한 다수의 유용한 값들을 계산할 수 있다. 예컨대, 가속도계로부터 수집된 가속도 데이터는 각각의 축(x, y, z)에 대한 속도를 획득하도록 통합될 수 있으며; (선형 좌표들 (x, y, 및 z)에서) 디바이스(100)의 포지션을 획득하기 위해 다시 통합될 수 있다. 자이로스코프로부터의 각속도 데이터는 디바이스(100)의 포지션(구형 좌표들)을 획득하기 위해 통합될 수 있다. 이들 유용한 값들을 계산하기 위한 프로그래밍은 메모리(434)에 저장될 수 있고, 아이웨어 디바이스(100)의 고속 프로세서(432)에 의해 실행될 수 있다.
[0084] 아이웨어 디바이스(100)는 추가 주변 센서들, 이를테면 생체 센서들, 특수 센서들, 또는 아이웨어 디바이스(100)와 통합된 디스플레이 엘리먼트들을 선택적으로 포함할 수 있다. 예컨대, 주변 디바이스 엘리먼트들은 출력 컴포넌트들, 모션 컴포넌트들, 위치 컴포넌트들 또는 본원에 설명된 임의의 다른 이러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다. 예컨대, 생체 센서들은 표현들(예컨대, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체신호들 (예컨대, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하는 것, 또는 사람을 식별(예컨대, 음성, 망막, 얼굴 특징들, 지문들 또는 전기 생체 신호들, 이를테면 뇌전도 데이터에 기반한 식별)하는 것 등을 수행하기 위한 컴포넌트들을 포함할 수 있다.
[0085] 모바일 디바이스(401)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결부(425) 및 고속 무선 연결부(437) 둘 모두를 사용하여 아이웨어 디바이스(100)와 연결할 수 있는 임의의 다른 그러한 디바이스일 수 있다. 모바일 디바이스(401)는 서버 시스템(498) 및 네트워크(495)에 연결된다. 네트워크(495)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0086] 도 4에 도시된 바와 같은 가상 가이드 피트니스 시스템(400)은 네트워크를 통해 아이웨어 디바이스(100)에 커플링된 모바일 디바이스(401)와 같은 컴퓨팅 장치를 포함한다. 가상 가이드 피트니스 시스템(400)은 명령들을 저장하기 위한 메모리 및 명령들을 실행하기 위한 프로세서를 포함한다. 프로세서(432)에 의한 가상 가이드 피트니스 시스템(400)의 명령들의 실행은 모바일 디바이스(401)와 협력하도록 아이웨어 디바이스(100)를 구성한다. 가상 가이드 피트니스 시스템(400)은 아이웨어 디바이스(100)의 메모리(434) 또는 모바일 디바이스(401)의 메모리 엘리먼트들(540A, 540B, 540C)(도 5)을 활용할 수 있다. 또한, 가상 가이드 피트니스 시스템(400)은 아이웨어 디바이스(100)의 프로세서 엘리먼트들(432, 422) 또는 모바일 디바이스(401)의 CPU(central processing unit)(540)(도 5)를 활용할 수 있다. 더욱이, 가상 가이드 피트니스 시스템(400)은 서버 시스템(498)의 메모리 및 프로세서 엘리먼트들을 추가로 활용할 수 있다. 이러한 양상에서, 가상 가이드 피트니스 시스템(400)의 메모리 및 프로세싱 기능들은 아이웨어 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)의 프로세서들 및 메모리들에 걸쳐 공유되거나 또는 분산될 수 있다.
[0087] 일부 구현들에서, 메모리(434)는 가이드 피트니스 애플리케이션(910), 로컬리제이션 시스템(915), 이미지 프로세싱 시스템(920), 음성 인식 모듈(925) 및 아바타 애니메이션 엔진(930)을 포함하거나 이에 커플링된다.
[0088] 관성 측정 유닛(IMU)(472)이 모션 데이터(902)의 프레임들을 캡처하고 있는 가상 가이드 피트니스 시스템(400)에서, 가이드 피트니스 애플리케이션(910)은 본원에서 설명된 바와 같이 모션(예컨대, 미용 체조 동안 아이웨어 디바이스(100)의 모션)을 검출하며, 검출된 모션과 연관된 운동 데이터(880)를 리트리브하며, 그리고 가상 피트니스 경험(700)을 제시하도록 프로세서(432)를 구성한다. 카메라가 비디오 데이터(900)의 프레임들을 캡처하고 있는 일부 구현들에서, 가이드 피트니스 애플리케이션(910)은 본원에서 설명된 바와 같이 운동 장치(650)(예컨대, 웨이트 머신들, 유산소 장비들, 매트들, 프리 웨이트들)를 검출하고, 검출된 장치와 연관된 장치 데이터(882)를 리트리브하며, 그리고 가상 피트니스 경험(700)을 제시하도록 프로세서(432)를 구성한다.
[0089] 로컬리제이션 시스템(915)은 물리적 환경에 대한 아이웨어 디바이스(100)의 포지션을 결정할 때 사용하기 위한 로컬리제이션 데이터를 획득하도록 프로세서(432)를 구성한다. 로컬리제이션 데이터는 일련의 이미지들, IMU(472), GPS 유닛 또는 이들의 조합으로부터 유도될 수 있다.
[0090] 이미지 프로세싱 시스템(920)은 이미지 디스플레이 드라이버(442) 및 이미지 프로세서(412)와 협력하여 광학 조립체(180A, 180B)의 디스플레이 상에 아바타(710) 및 다양한 그래픽 엘리먼트들(712, 750, 770, 780, 720, 731, 721, 711)를 제시하도록 프로세서(432)를 구성한다.
[0091] 음성 인식 모듈(925)은 인간 음성을 인식하고, 수신된 음성을 오디오 데이터(905)의 프레임들로 변환하고, 오디오 데이터(905)에 기반하여 질의를 식별하고, 식별된 질의에 응답하도록 상관된 응답을 어셈블링하도록 프로세서(432)를 구성한다.
[0092] 아바타 애니메이션 엔진(930)은 이미지 디스플레이 드라이버(442) 및 이미지 프로세서(412)와 협력하여 광학 어셈블리(180A, 180B)의 디스플레이 상에 프레젠테이션하기 위해 정지 이미지 또는 이동 이미지(예컨대, 부분적으로 또는 완전히 애니메이팅됨)로서 아바타(710)를 렌더링하도록 프로세서(432)를 구성한다. 아바타(710)는 일부 구현들에서는 3차원으로 보이도록 렌더링되는 Bitmoji®라고 불리는 만화 같은 캐릭터이다. 미리 정의된 그리고 구성 가능한 Bitmoji® 아바타들이 네트워크(495)를 통해 액세스 가능하며, 일부 구현들에서는, 본원에서 설명된 피트니스 라이브러리(484)에 저장된다.
[0093] 도 5는 예시적인 모바일 디바이스(401)의 하이-레벨 기능 블록도이다. 모바일 디바이스(401)는 본원에 설명된 기능들의 전부 또는 서브세트를 수행하기 위해 CPU(540)에 의해 실행될 프로그래밍을 저장하는 플래시 메모리(540A)를 포함한다.
[0094] 모바일 디바이스(401)는 적어도 2개의 가시광 카메라들(중첩하는 시야들을 갖는 제1 및 제2 가시광 카메라들) 또는 실질적으로 중첩하는 시야들을 갖는 적어도 하나의 가시광 카메라 및 깊이 센서를 포함하는 카메라(570)를 포함할 수 있다. 플래시 메모리(540A)는 카메라(570)를 통해 생성되는 다수의 이미지들 또는 비디오를 더 포함할 수 있다.
[0095] 도시된 바와 같이, 모바일 디바이스(401)는 이미지 디스플레이(580), 이미지 디스플레이(580)를 제어하기 위한 모바일 디스플레이 드라이버(582), 및 디스플레이 제어기(584)를 포함한다. 도 5의 예에서, 이미지 디스플레이(580)는 이미지 디스플레이(580)에 의해 사용되는 스크린 최상부에 계층화되거나 또는 그렇지 않으면 스크린에 통합되는 사용자 입력 레이어(591)(예컨대, 터치스크린)를 포함한다.
[0096] 사용될 수 있는 터치스크린-타입의 모바일 디바이스들의 예들은 스마트 폰, PDA(personal digital assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나, 이에 제한되지는 않음). 그러나, 터치스크린-타입 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에 설명된 청구대상 기술은 이에 제한되는 것으로 의도되지 않는다. 따라서, 이러한 논의의 목적들을 위해, 도 5는 (터치, 멀티-터치 또는 제스처 등에 의한, 손에 의한, 스타일러스 또는 다른 도구에 의한) 입력을 수신하기 위한 터치스크린 입력 레이어(591) 및 콘텐츠를 디스플레이하기 위한 이미지 디스플레이(580)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(401)의 블록도 예시를 제공한다.
[0097] 도 5에 도시된 바와 같이, 모바일 디바이스(401)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로서 도시된 적어도 하나의 디지털 트랜시버(XCVR)(510)를 포함한다. 모바일 디바이스(401)는 또한 이를테면 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 Wi-Fi를 통해 단거리 네트워크 통신을 위한 단거리 트랜시버(XCVR)(520)들과 같은 추가 디지털 또는 아날로그 트랜시버들을 포함한다. 예컨대, 단거리 XCVR들(520)은 IEEE 802.11 하의 Wi-Fi 표준들 중 하나와 같은 무선 로컬 영역 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환 가능한 타입의 임의의 이용 가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.
[0098] 모바일 디바이스(401)의 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해, 모바일 디바이스(401)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로 모바일 디바이스(401)는 포지셔닝을 위한 로케이션 좌표들을 생성하기 위해 근거리 XCVR들(520) 및 WWAN XCVR들(510) 중 하나 또는 둘 모두를 활용할 수 있다. 예컨대, 셀룰러 네트워크, Wi-Fi 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 로케이션 좌표들을 생성할 수 있다. 이러한 위치 좌표들은 XCVR들(510, 520)을 통해 하나 이상의 네트워크 연결부들을 통해 아이웨어 디바이스에 송신될 수 있다.
[0099] 일부 예들에서, 클라이언트 장치(401)는 클라이언트 장치(401)의 포지션, 배향 및 모션을 감지하기 위해 IMU(inertial measurement unit)(572)로서 지칭되는 모션-감지 컴포넌트들의 집합을 포함한다. 모션-감지 컴포넌트들은 종종 마이크로칩의 일부가 될 정도로 충분히 작은 마이크로스코픽 이동 부분들을 갖는 MEMS(micro-electro-mechanical system)들일 수 있다. 일부 예시적인 구성들의 관성 측정 유닛(IMU)(572)은 가속도계, 자이로스코프 및 자력계를 포함한다. 가속도계는 3개의 직교 축들(x, y, z)에 대한 클라이언트 디바이스(401)의 선형 가속도(중력으로 인한 가속도를 포함함)를 감지한다. 자이로스코프는 3개의 회전축들(피치, 롤, 요)에 대한 클라이언트 디바이스(401)의 각속도를 감지한다. 동시에, 가속도계 및 자이로스코프는 6개 축(x, y, z, 피치, 롤, 요)에 대한 장치에 대한 포지션, 배향 및 모션 데이터를 제공할 수 있다. 존재하는 경우 자력계는 자북에 대한 클라이언트 디바이스(401)의 헤딩을 감지한다.
[0100] IMU(572)는 컴포넌트들로부터의 원시 데이터를 수집하는 디지털 모션 프로세서 또는 프로그래밍을 포함하거나 또는 이와 협력할 수 있으며, 클라이언트 디바이스(401)의 포지션, 배향 및 모션에 대한 다수의 유용한 값들을 계산할 수 있다. 예컨대, 가속도계로부터 수집된 가속도 데이터는 각각의 축(x, y, z)에 대한 속도를 획득하도록 통합될 수 있으며; (선형 좌표들 (x, y, 및 z)에서) 클라이언트 디바이스(401)의 포지션을 획득하기 위해 다시 통합될 수 있다. 자이로스코프로부터의 각속도 데이터는 (구형 좌표들에서) 클라이언트 디바이스(401)의 포지션을 획득하기 위해 통합될 수 있다. 이러한 유용한 값들을 계산하기 위한 프로그래밍은 하나 이상의 메모리 엘리먼트들(540A, 540B, 540C)에 저장되고, 클라이언트 장치(401)의 CPU(540)에 의해 실행될 수 있다.
[0101] 트랜시버들(510, 520)(즉, 네트워크 통신 인터페이스)은 현대식 모바일 네트워크들에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 준수한다. WWAN 트랜시버들(510)의 예들은, 예컨대 제한없이 3GPP(3rd Generation Partnership Project) 타입 2(또는 3GPP2) 및 때때로 “4G”로 지칭되는 LTE를 포함하는 3GPP 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 제한되지 않음). 예컨대, 트랜시버들(510, 520)은 디지털화된 오디오 신호들, 정지 이미지들 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들, 및 모바일 디바이스(401)로/로부터의 다양한 타입들의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.
[0102] 모바일 디바이스(401)는 CPU(central processing unit)로서 기능하는 마이크로프로세서를 더 포함하며; 도 4에서 CPU(540)로서 도시된다. 프로세서는 하나 이상의 프로세싱 기능들, 즉, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 개별 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그램 가능 CPU를 형성하는 컴포넌트들을 활용한다. 예컨대, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 IC(integrated circuit) 칩들을 포함한다. 예컨대, CPU(540)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 통상적으로 사용되는 바와 같이 ARM 아키텍처를 사용하여 RISC(Reduced Instruction Set Computing)와 같은 임의의 공지된 또는 이용 가능한 마이크로프로세서 아키텍처에 기반할 수 있다. 물론, 스마트폰, 랩톱 컴퓨터 및 태블릿에서 CPU(540) 또는 프로세서 하드웨어를 형성하기 위해 프로세서 회로의 다른 어레인지먼트들이 사용될 수 있다.
[0103] CPU(540)는 예컨대 CPU(540)에 의해 실행 가능한 프로그래밍 또는 명령들에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(401)를 구성함으로써 모바일 디바이스(401)에 대한 프로그램 가능 호스트 제어기로서 역할을 한다. 예컨대, 이러한 동작들은 모바일 디바이스의 다양한 일반적인 동작들뿐만 아니라 모바일 디바이스 상의 애플리케이션들에 대한 프로그래밍과 관련된 동작들을 포함할 수 있다. 프로세서는 하드와이어드 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성된 일반적인 프로세싱 회로들이다.
[0104] 모바일 디바이스(401)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 포함한다. 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(540A), RAM(random access memory)(540B) 및 다른 메모리 컴포넌트들(540C)을 포함할 수 있다. RAM(540B)은 예컨대, 작동 데이터 프로세싱 메모리로서 CPU(540)에 의해 처리되는 명령들 및 데이터를 위한 단기 저장부로서 역할을 한다. 플래시 메모리(540A)는 전형적으로 장기 저장부를 제공한다.
[0105] 따라서, 모바일 디바이스(401)의 예에서, 플래시 메모리(540A)는 CPU(540)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하기 위해 사용된다. 디바이스의 타입에 따라, 모바일 디바이스(401)는 특정 애플리케이션들이 실행되게 하는 모바일 오퍼레이팅 시스템을 저장 및 실행한다. 모바일 오퍼레이팅 시스템들의 예들은 Google Android, (I-Phone 또는 iPad 디바이스들에 대한) Apple iOS, Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등을 포함한다.
[0106] 아이웨어 디바이스(100) 내의 프로세서(432)는 아이웨어 디바이스(100)를 둘러싼 환경의 맵을 구성하고, 매핑된 환경 내에서 아이웨어 디바이스의 로케이션을 결정하며, 그리고 매핑된 환경에서 하나 이상의 객체들에 대한 아이웨어 디바이스의 상대적 포지션을 결정할 수 있다. 프로세서(432)는 하나 이상의 센서들로부터 수신된 데이터에 적용된 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 맵을 구성하고 로케이션 및 포지션 정보를 결정할 수 있다. 센서 데이터는 카메라들(114A, 114B) 중 하나 또는 둘 모두로부터 수신된 이미지들, 레이저 거리 측정기로부터 수신된 거리(들), GPS 유닛으로부터 수신된 포지션 정보, IMU(572)로부터 수신된 모션 및 가속도 데이터, 또는 이러한 센서들로부터의 데이터 또는 포지션 정보를 결정할 때 유용한 데이터를 제공하는 다른 센서들로부터의 데이터의 조합을 포함한다. 증강 현실의 맥락에서, SLAM 알고리즘은 환경의 맵을 구성 및 업데이트하는 동시에 매핑된 환경 내에서 장치(또는 사용자)의 로케이션을 추적하고 업데이트하는 데 사용된다. 수학적 솔루션은 입자 필터들, 칼만 필터들, 확장 칼만 필터들 및 공분산 교차점(covariance intersection)과 같은 다양한 통계 방법들을 사용하여 근사화될 수 있다. 높은 프레임 레이트(예컨대, 초당 30개의 프레임들)로 비디오를 캡처하는 HD(high-definition) 비디오 카메라를 포함하는 시스템에서, SLAM 알고리즘은 적어도 프레임 레이트 만큼 자주 객체들의 맵 및 로케이션을 업데이트하며, 즉 매핑 및 로컬리제이션을 초당 30번 계산하고 업데이트한다.
[0107] 센서 데이터는 카메라들(114A, 114B) 중 하나 또는 둘 모두로부터 수신된 이미지들, 레이저 거리 탐지기로부터 수신된 거리(들), GPS 유닛으로부터 수신된 포지션 정보, IMU(472)로부터 수신된 모션 및 가속도 데이터, 또는 이러한 센서들로부터 또는 포지션 정보를 결정하는 데 유용한 데이터를 제공하는 다른 센서들로부터의 데이터의 조합을 포함한다.
[0108] 도 6은 SLAM 애플리케이션 및 다른 타입들의 추적 애플리케이션들(예컨대, NFT(natural feature tracking))을 사용할 때 유용한 엘리먼트들과 함께 예시적인 물리적 환경(600)을 묘사한다. 아이웨어 디바이스(100)의 사용자(602)는 (도 6에서는 내부 방인) 예시적인 물리적 환경(600)에 존재한다. 아이웨어 디바이스(100)의 프로세서(432)는 캡처된 이미지들을 사용하여 환경(600) 내의 하나 이상의 객체들(604)에 대한 자신의 포지션을 결정하고, 환경(600)에 대한 좌표 시스템(x, y, z)을 사용하여 환경(600)의 맵을 구성하며, 좌표 시스템 내에서 자신의 포지션을 결정한다. 부가적으로, 프로세서(432)는 단일 객체(604a)와 연관된 2개 이상의 로케이션 포인트들(예컨대, 3개의 로케이션 포인트들(606a, 606b, 및 606c))을 사용함으로써 또는 2개 이상의 객체들(604a, 604b, 604c)과 연관된 하나 이상의 로케이션 포인트들(606)을 사용함으로써 환경 내에서 아이웨어 디바이스(100)의 헤드 포즈(롤, 피치 및 요)를 결정한다. 아이웨어 디바이스(100)의 프로세서(432)는 증강 현실 경험 동안 보기를 위해 환경(600) 내에 (도 6에 도시된 키와 같은) 가상 객체(608)를 포지셔닝할 수 있다.
[0109] 일부 예들에서, 로컬리제이션 시스템(915)은 환경(600) 내의 가상 객체(608)와 연관된 가상 마커(610a)이다. 증강 현실에서, 마커들은 디바이스들이 매핑된 환경에서 사용자들, 디바이스들 및 객체들(가상 및 물리)의 로케이션을 추적하고 업데이트하는 것을 보조하기 위해 환경의 로케이션들에 등록된다. 마커들은 때때로 카메라들 및 다른 센서들이 마커를 검출하는 것을 보조하기 위해 밝은 색상의 벽에 장착된 액자에 넣은 사진(604a)과 같은 상대적으로 어두운 객체와 같은 높은-콘트라스트 물리 객체에 등록된다. 마커들은 사전 할당될 수 있거나, 또는 환경에 진입할 때 아이웨어 디바이스(100)에 의해 할당될 수 있다.
[0110] 마커들은 정보로 인코딩되거나 또는 그렇지 않으면 정보에 링크될 수 있다. 마커는 포지션 정보, 물리적 코드(이를테면, 바코드 또는 QR 코드; 사용자에게 보이거나 또는 숨겨짐) 또는 이들의 조합을 포함할 수 있다. 마커와 연관된 데이터의 세트는 아이웨어 디바이스(100)의 메모리(434)에 저장된다. 데이터의 세트는 마커(610a), 마커의 포지션(로케이션 및 배향), 하나 이상의 가상 객체들 또는 이들의 조합에 대한 정보를 포함한다. 마커 포지션은 도 6에 도시된 대체로 직사각형인 마커(610a)의 코너와 같은 하나 이상의 마커 랜드마크들(616a)에 대한 3차원 좌표들을 포함할 수 있다. 마커 로케이션은 실세계 지리적 좌표들, 마커 좌표들의 시스템, 아이웨어 디바이스(100)의 포지션, 또는 다른 좌표 시스템에 대해 표현될 수 있다. 마커(610a)와 연관된 하나 이상의 가상 객체들은 정지 이미지들, 비디오, 오디오, 촉각 피드백, 실행 가능 애플리케이션들, 인터랙티브 사용자 인터페이스들 및 경험들, 및 이러한 자료의 조합들 또는 시퀀스들을 포함하는 다양한 자료 중 임의의 자료를 포함할 수 있다. 메모리에 저장될 수 있고 마커(610a)가 할당된 마커와 마주치거나 연관될 때 리트리브될 수 있는 임의의 타입의 콘텐츠는 이러한 맥락에서 가상 객체로서 분류될 수 있다. 도 6에 도시된 키(608)는 예컨대 마커 로케이션에서 2D 또는 3D인 정지 이미지로서 디스플레이된 가상 객체이다.
[0111] 일례에서, 마커(610a)는 물리적 객체(604a)(예컨대, 도 6에 도시된 액자 미술작품) 근처에 로케이팅되고 이와 연관된 것으로 메모리에 등록될 수 있다. 다른 예에서, 마커는 아이웨어 디바이스(100)에 대한 특정 포지션인 것으로 메모리에 등록될 수 있다.
[0112] 도 11은 아이웨어 디바이스(100)의 디스플레이(180B) 상에 가상 피트니스 경험(700)을 제시하는 예시적인 방법의 단계들을 나열하는 흐름도(940)이다. 단계들이 본원에서 설명된 아이웨어 디바이스(100)를 참조하여 설명되지만, 다른 타입들의 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 도시되고 설명된 단계들 중 하나 이상이 동시에, 직렬로, 도시되고 설명된 것과 다른 순서로 또는 추가 단계들과 함께 수행될 수 있다. 일부 단계들은 생략되거나, 또는 일부 애플리케이션들에서 반복될 수 있다.
[0113] 본원에서 설명된 가이드 피트니스 애플리케이션(910)은 일부 구현들에서 사용자 인터페이스를 통해 선택(예컨대, 메뉴로부터의 선택, 버튼 누르기, 터치패드의 사용)을 수신하거나 또는 일부 다른 입력 수단(예컨대, 손 제스처, 손가락 모션, 음성 커맨드)을 통해 선택을 수신하는 것에 대한 응답으로 시작한다. 다른 예들에서, 가이드 피트니스 애플리케이션(910)은 본원에서 설명된 바와 같이 디바이스 모션(801)을 검출하거나 또는 다른 모션들을 검출하는 것에 응답하여 시작한다.
[0114] 도 11의 블록(942)은 아이웨어 디바이스(100)의 IMU(472)을 사용하여 모션 데이터(902)의 프레임들을 캡처하는 예시적인 단계를 설명한다. 이러한 예에서 아이웨어 디바이스(100)는 IMU(472), 카메라(114B), 마이크로폰(139), 라우드스피커(191), 가이드 피트니스 애플리케이션(910) 및 디스플레이(180B)를 포함한다. 일부 구현들에서, 모션 데이터(902)의 프레임들을 캡처하는 프로세스는 아이웨어 디바이스(100)의 활성 사용 중에 진행된다. 다른 예들에서, 캡처 프로세스는 사용자 인터페이스를 통해 또는 일부 다른 입력 수단을 통해 선택을 수신하는 것에 응답하여 시작된다. 일부 구현들에서, 예시적인 방법은, 블록(942)에서, 캡처된 모션 데이터(902)의 프레임들을 아이웨어 디바이스(100)의 메모리(434)에 적어도 일시적으로 저장하여 프레임들이 분석에 이용 가능하도록 하는 단계를 포함한다.
[0115] 블록(944)은 모션 데이터(902)의 캡처된 프레임에서 장치 모션(801)(예컨대, 전형적으로 착용자에 의해 지지되는 아이웨어 디바이스(100)의 모션)을 검출하는 예시적인 단계를 설명한다. 착용자에 의해 동작 및 사용 동안, 디바이스 모션(801)은 착용자의 모션과 유사하다. 예컨대, 착용자가 미용 체조(예컨대, 조깅, 점핑 잭, 스쿼트, 팔굽혀펴기)를 할 때, 디바이스 모션(801)은 착용자의 모션을 등록 및 근사화한다. 일부 구현들에서, IMU(472)는 매우 높은 샘플 레이트들(예컨대, 100Hz(초당 샘플들), 720Hz, 1024Hz, 1344Hz, 3200Hz 또는 그 초과)에서 모션 데이터를 캡처할 수 있다. 빈번한 측정들은 시간이 지남에 따라 상대적으로 미묘한 디바이스 모션(801)의 검출 및 분석을 용이하게 한다. 일부 구현들에서 디바이스 모션(801)을 검출하는 프로세스는 도 7에 도시된 바와 같이 물리적 환경(600)의 하나 이상의 엘리먼트들에 대한 3차원 좌표들에서 현재 아이웨어 로케이션(840)을 검출하는 것을 포함한다.
[0116] 도 11의 블록(946)은 검출된 디바이스 모션(801)이 활동 라이브러리(480)에 저장된 복수의 미리 정의된 운동 활동들(850) 중에서 제1 미리 정의된 운동 활동(851)(예컨대, 조깅, 점핑 잭, 스쿼트, 팔굽혀펴기)와 매칭되는지 여부를 결정하는 예시적인 단계를 설명한다.
[0117] 다양한 미리 정의된 운동 활동들(850) 중 임의의 것은 설정되고 정의되어 활동 라이브러리(480)에 저장될 수 있다. 예컨대, 미리 정의된 운동 활동들(850) 중 하나에 대한 데이터 레코드는 이름 또는 다른 식별자(예컨대, 스쿼트), 3차원 좌표들을 포함하는 시작, 중간 및 종료 포지셔닝들에 대한 일련의 예상 값들, 직교 축들(x, y, z)에 대한 일련의 예상 가속도들, 3개의 회전 축들(피치, 롤, 요)에 대한 일련의 예상 각속도들, 관점(예컨대, 측면, 상단, 하단), 방향 기준(예컨대, 수직, 수평), 및 각각의 운동 활동과 관련된 다른 데이터 및 설명들을 포함한다.
[0118] 검출된 디바이스 모션(801)이 제1 미리 정의된 운동 활동(851)과 매칭되는 여부를 결정하는 프로세스는 IMU(472)에 의해 캡처된 모션 데이터(902)의 프레임들(예컨대, 포지션, 가속도, 각속도)을 미리 정의된 운동 활동들(850)에 대해 저장된 데이터(예컨대, 포지션 좌표들, 예상 가속도들, 예상 각속도들)과 비교하는 것을 포함한다.
[0119] 본원에서 사용되는 바와 같이, 매치라는 용어는 실질적인 매치들 또는 대략적인 매치들을 포함하는 것으로 의미되며, 이들은 가능한 매치들 또는 후보 매치들과 연관된 미리 결정된 신뢰도 값에 의해 지배될 수 있다. 검출된 모션은 캡처된 모션 데이터(902)의 프레임들에서 발견되는 3차원 좌표 및 다른 값들을 포함할 수 있다. 일부 예들에서, 매칭 프로세스는 검출된 디바이스 모션(801)의 특성들과 미리 정의된 운동 활동들(850) 각각에 대한 대응하는 저장된 데이터 값들 사이의 수학적 차이의 합을 계산하는 것을 포함한다. 이러한 양상에서, 구성 가능한 임계 정확도 값 내에 속하는 수학적 차이는 매치를 나타낸다.
[0120] 도 11의 블록(948)은 검출된 디바이스 모션(801)이 제1 미리 정의된 운동 활동(851)과 매칭된다는 블록(946)에서의 결정에 응답하여 제1 미리 정의된 운동 활동(851)과 연관된 운동 데이터(880)를 리트리브하는 예시적인 단계를 설명한다. 일부 구현들에서, 운동 데이터(880)를 리트리브하는 프로세스는 활동 라이브러리(480)에서 제1 미리 정의된 운동 활동(851)에 대해 저장된 데이터를 룩업하는 것을 포함한다. 다른 구현들에서, 제1 미리 정의된 운동 활동(851)에 대한 정보를 수집하는 프로세스는 인터넷을 검색하는 것을 포함한다. 이러한 양상에서, 운동 데이터(880)를 리트리브하는 프로세스는 검색어들을 어셈블링하는 것, 서치를 실행하는 것, 및 제1 미리 정의된 운동 활동(851)과 관련된 정보를 하베스팅하는 것을 포함한다. 일부 구현들에서 가이드 피트니스 애플리케이션(910)은 하나 이상의 선호 서치 엔진들, 웹사이트들 및 다른 인터넷-기반 자원들에 액세스하도록 구성된다. 일부 구현들에서, 인터넷 서치를 사용하여 운동 데이터(880)를 리트리브하는 프로세스는 머신-러닝 알고리즘을 사용하여 관련 컨테이너 정보를 빠르고 효율적으로 리트리브할 가능성이 가장 높은 서치 엔진, 웹 자원들 및 웹사이트 데이터를 선택하는 것을 수반한다.
[0121] 도 11의 블록(950)은 물리적 환경(600)에 대한 오버레이로서 디스플레이(180B) 상에 가상 피트니스 경험(700)을 제시하는 예시적인 단계를 설명한다. 가상 피트니스 경험(700)은 리트리브된 운동 데이터(880)에 기반하고, 디바이스 모션(801)을 검출하는 것에 응답하여 제시된다.
[0122] 도 7은 아바타(710), 반복 카운터(780) 및 스톱워치(770)를 포함하는 가상 피트니스 경험(700)의 여러 예시적인 엘리먼트들의 사시도이다. 도시된 예에서, 아바타(710)는 디스플레이(180B)에 대한 아바타 포지션(701)에서 디스플레이 상에 제시된다. 일부 구현들에서, 아바타 포지션(701)은 디스플레이(180B)와 관련하여 정의되어, 아바타(710)는 디스플레이 상에서 일관된 포지션(예컨대, 좌측)에 제시될 것이다. 유사하게, 이러한 예에서, 반복 카운터(780) 및 스톱워치(770)는 디스플레이(180B)에 대한 정보 포지션(775)에서 디스플레이 상에 제시되어, 이들 엘리먼트들은 디스플레이 상에서 일관된 포지션(예컨대, 우측)에 제시될 것이다.
[0123] 본원에서 사용된 바와 같이, 반복은 반복되는 트레이닝 움직임, 특히 단일 사이클 또는 중량(예컨대, 덤벨, 사용자의 체중)을 올리고 내리는 시퀀스를 지칭하며 이를 포함한다. 반복은 전형적으로 제1 포지션에서 시작하고, 제2 포지션에 대한 움직임을 포함하며, 일시 중지를 포함할 수 있으며, 이후 제1 포지션 쪽으로의 리턴 움직임을 다시 포함한다. 신체 부위들에 대한 반복은 굴곡 및 신전, 외전 및 내전, 내측 및 외측 회전, 들어올림 및 내림, 내전 및 외전, 배측 굴곡 및 저측 굴곡, 반전 및 내전, 반대 및 재배치, 내전 및 수축, 각도 거리를 통한 원회전 등을 수반할 수 있다.
[0124] 도 11의 블록(952)은 디스플레이(180B) 상에 가상 피트니스 경험(700)을 제시하는 프로세스의 일부로서 아바타(710)를 통해 메시지들, 강의들 및 다른 콘텐츠를 제시하거나 또는 재생하는 예시적인 단계를 설명한다. 일부 구현들에서, 프로세스는 검출된 디바이스 모션(801)에 대한 응답으로 아바타(710)를 통해 시작 메시지(871)를 재생하는 것을 포함한다. 예컨대, 시작 메시지(871)는 인사말(예컨대, 안녕하세요), 일반 메시지(예컨대, 가상 피트니스 경험에 오신 것을 환영합니다), 모션-관련 메시지(예컨대, 스쿼트를 하고 계시군요) 등을 포함할 수 있다.
[0125] 본원에서 설명된 바와 같이, "아바타(720)를 통해" 제시 또는 재생하는 프로세스는 텍스트 버블(712)에 텍스트를 제시하는 것, 라우드스피커(191)를 통해 오디오를 재생하는 것, 비디오(750)를 제시하는 것, 및 이들의 조합들을 지칭하며 이를 포함한다.
[0126] 일부 구현들에서, 블록(952)의 프로세스는 강의(872)를 아바타(710)를 통해 재생하는 것을 포함하며, 이의 콘텐츠는 리트리브된 운동 데이터(880)에 기반한다. 예컨대, 강의(872)는 일반 정보(예컨대, 스쿼트가 다리의 가장 큰 근육 중 일부를 운동함), 자세에 대한 안내(예컨대, 가슴을 펴고 등을 곧게 유지하는 것), 격려(예컨대, 수고했어요) 등을 포함할 수 있다.
[0127] 일부 구현들에서, 강의(872)는 운동 프로그램, 프로그램의 세션들 중 하나, 또는 이들의 조합들의 종료시 또는 그 근처에서 전달될 클로징 메시지를 포함한다. 예컨대, 강의(872)의 클로징 메시지는 운동 프로그램 또는 세션의 실제 지속기간, 완료된 반복 횟수, 소모된 칼로리 수치, 임의의 개인 레코드 또는 도달한 개인 최고 레코드 등을 포함할 수 있다.
[0128] 도 11의 블록(954)은 레슨(873)과 관련된 시연(760)을 수행하도록 아바타(710)를 애니메이팅하는 예시적인 단계를 설명한다. 레슨(873)의 콘텐츠 및 시연(760)의 애니메이팅된 움직임들은 리트리브된 운동 데이터(880)에 기반한다.
[0129] 레슨(873)은 텍스트 버블(712)에 텍스트를 제시하는 것, 라우드스피커(191)를 통해 오디오를 재생하는 것, 비디오(750)를 제시하는 것, 및 이들의 조합들에 의해 전달된다. 레슨(873)은 강의(872)의 일부일 수도 있고 아닐 수도 있는 시연(760)과 직접적으로 상관된 음성을 지칭하며 이를 포함한다.
[0130] 도 7에 도시된 아바타(710)는 정지 상태 도형으로 렌더링되어 제시될 수 있다. 일부 구현들에서, 시연(760)은 적절한 형태를 사용하여 모션 또는 운동을 수행하기 위해 아바타 애니메이션 엔진(930)을 사용하여 아바타(710)를 애니메이팅하는 것을 포함한다. 예컨대, 리트리브된 운동 데이터(880)(예컨대, 스쿼트)에 기반한 시연(760)은 아바타(710)를 완전히 애니메이팅하는 것을 포함할 수 있으며, 이에 따라 아바타 캐릭터는 운동 중 전부 또는 일부 (예컨대, 스쿼드를 수행하는 아바타(710)를 렌더링하는 것)를 이동하고 수행하는 것처럼 보이며, 형태에 관한 특정 팁을 보여주고(예컨대, 가슴이 위를 향하고 등이 곧은 아바타(710)의 측면도를 보여줌), 근육 그룹을 강조하는 식(예컨대, 다리 근육 주위의 강조된 영역으로 아바타(710)를 렌더링함)이다. 일부 구현들에서, 아바타 애니메이션 엔진(930)은 시연(760)을 수행하는 디스플레이 상에 아바타(710)를 렌더링하고 제시한다. 다른 구현들에서, 애니메이션 아바타(710)는 디스플레이 상에 제시된 보완 비디오(750)(예컨대, 유사한 활동에 참여한 인물 또는 실제 사람)와 함께 디스플레이 상에 제시된다.
[0131] 시연(760)은 레슨(873)의 콘텐츠가 시연(760)의 콘텐츠와 거의 일치하도록 레슨(873)과 상관된다. 예컨대, 올바른 자세(예컨대, 아바타(710)의 측면 보기 표시)에 대한 시연(760) 동안, 레슨(873)은 올바른 자세(예컨대, 가슴을 위로 올리고 등을 곧게 유지)에 대한 정보를 포함한다.
[0132] 도 11의 흐름도(940)에 설명된 예시적인 프로세스 단계들은 물론 추가 모션들을 검출하고 프로세싱하는 것을 포함한다. 예컨대, 예시적인 프로세스 단계들은 후속 디바이스 모션을 검출하는 단계, 검출된 후속 디바이스 모션과 연관된 후속 운동 데이터를 리트리브하는 단계, 및 리트리브된 후속 운동 데이터에 기반하여 가상 피트니스 경험을 제시하는 단계를 지칭하고 이를 포함한다.
[0133] 도 12는 아이웨어 디바이스(100)의 디스플레이(180B) 상에 가상 피트니스 경험(700)의 일부로서 선택적인 증분 반복 카운트를 제시하는 예시적인 방법의 단계들을 나열하는 흐름도(960)이다. 단계들이 본원에서 설명된 아이웨어 디바이스(100)를 참조하여 설명되지만, 다른 타입들의 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 도시되고 설명된 단계들 중 하나 이상이 동시에, 직렬로, 도시되고 설명된 것과 다른 순서로 또는 추가 단계들과 함께 수행될 수 있다. 일부 단계들은 생략되거나, 또는 일부 애플리케이션들에서 반복될 수 있다.
[0134] 도 12의 블록(962)은 반복 카운터(780)를 사용하여 현재 반복 카운트(781)(즉, 반복 카운트)를 디스플레이(180B) 상에 제시하는 예시적인 단계를 설명한다. 도 7에 도시된 바와 같이, 반복 카운터(780)는 디스플레이(180B)에 대한 정보 포지션(775)에 제시된다. 일부 구현들에서, 반복 카운터(780)는 현재 반복 카운트(781)를 선택적으로 증분시키고(예컨대, 특정 조건들이 만족되는 경우 증가 또는 감소시키고) 리트리브된 운동 데이터(800)와 상관되는 시작 값(782)(예컨대 0)으로 시작하도록 구성된다. 이러한 예에서, 리트리브된 운동 데이터(800)는 추천된 총 반복 횟수(720D)(예컨대, 12회 반복들)를 포함한다. 현재 반복 카운트(781)는 0에서 시작하여 추천된 총 반복들(720D)이 수행될 때까지 1씩 점진적으로 증가하도록 구성될 수 있다. 일부 구현들은 디스플레이 상에 추천된 총 반복들(720D)을 제시한다.
[0135] 블록(964)은 IMU(472)에 의해 캡처된 모션 데이터(902)의 프레임들에서 반복 모션(802)(예컨대, 아이웨어 디바이스(100)가 시작 로케이션으로부터 아래쪽 하부 로케이션으로 이동하며, 일시 중지하며, 그리고 모션이 시작 로케이션으로 위쪽으로 리턴하는 스쿼트 모션)을 검출하는 예시적인 단계를 설명한다. 높은 IMU 샘플링 레이트들은 시간이 지남에 따라 반복 모션들(802)의 검출 및 분석을 용이하게 한다. 일부 구현들에서 반복 모션(802)을 검출하는 프로세스는 시간에 따라 물리적 환경(600)의 하나 이상의 엘리먼트들에 대한 3차원 좌표들에서 현재 아이웨어 포지션(840)을 검출하는 것을 포함한다.
[0136] 도 12의 블록(966)은 검출된 반복 모션(802)이 활동 라이브러리(480)에 저장된 복수의 미리 정의된 운동 활동들(850) 중에서 제1 미리 정의된 반복 활동(852)(예컨대, 스쿼트 반복)과 매칭되는지 여부를 결정하는 예시적인 단계를 설명한다. 이러한 예에서, 미리 정의된 운동 활동들(850)에 대해 저장된 데이터는 각각의 운동과 연관된 반복 활동들에 대한 데이터를 포함한다. 예컨대, 미리 정의된 운동 활동들(850) 중 하나에 대한 데이터 레코드는 이름 또는 다른 식별자(예컨대, 스쿼트들), 단일 반복과 연관된 일련의 값들, 이를테면 시작 및 종료 좌표들, 가속도들, 속도들 및 각속도들을 포함한다.
[0137] 검출된 반복 모션(802)이 제1 미리 정의된 반복 활동(852)과 매칭되는 여부를 결정하는 프로세스는 IMU(472)에 의해 캡처된 모션 데이터(902)의 프레임들(예컨대, 포지션, 가속도, 각속도)을 미리 정의된 운동 활동들(850) 각각과 연관된 반복 활동(예컨대, 포지션들, 가속도들, 속도들)에 대해 저장된 데이터와 비교하는 것을 포함한다.
[0138] 도 12의 블록(968)은 검출된 반복 모션(802)이 제1 미리 정의된 반복 활동(852)과 매칭된다는 결정에 대한 응답으로 현재 반복 카운트(781)를 1씩 증가시키는 예시적인 단계를 설명한다. 증가하는 프로세스는 검출된 반복 모션(802)이 제1 미리 정의된 반복 활동(852)과 매칭되는 경우에만 현재 반복 카운트(781)가 증가되기 때문에 본원에서 선택적인 것으로 설명된다. 일부 구현들에서, 현재 반복 카운트(781)를 증가시키는 프로세스는 증가된 현재 반복 카운트를 디스플레이 상에 제시하는 것을 포함한다.
[0139] 일부 구현들에서, 현재 반복 카운트(781)를 증가시키는 프로세스는 증가(예컨대, 카운트 업) 또는 감소(예컨대, 카운트 다운)를 포함하고, 또한 시작 값(782)을 디스플레이 상에 먼저 제시하는 것을 포함한다. 예컨대, 시작 값(782)은 (예컨대, 세션 동안 반복 카운트(781)를 증가시키기 위한 준비로) 0일 수 있거나 또는 시작 값(782)은 (예컨대, 세션 동안 목표 값으로부터 0으로 카운트 다운하는 준비로) 최대 또는 목표 값을 나타낼 수 있다.
[0140] 관련된 양상에서, 도 7에 도시된 예시적인 디스플레이(180B)는 정보 포지션(775)에 인접하거나, 이에 근접하거나 또는 그렇지 않으면 이에 상대적인 포지션에서 디스플레이 상에 제시되는 스톱워치(770) 상에 제시되는 현재 시간(771)을 포함한다. 리트리브된 운동 데이터(800)는 일부 예들에서 추천된 지속기간을 포함한다. 일부 구현들에서, 추천된 지속기간은 휴식 기간들을 포함하여, 프로그램 내의 하나 이상의 개별 세션들 각각과 연관된 시간 또는 전체 프로그램과 연관된 시간이다. 스톱워치(770)는 현재 시간(771)을 증분시키고 (예컨대, 증가 또는 감소시키고), 리트리브된 운동 데이터(800)에 저장된 추천된 지속기간과 상관된 시작 시간(예컨대, 0, 30초)에 시작하도록 구성될 수 있다. 현재 시간(771)은 추천된 지속시간에 도달할 때까지 0에서 시작하여 1씩 점진적으로 증가할 수 있다. 다른 구현들에서, 현재 시간(771)은 추천된 지속기간에서 시작하며, 0에 도달할 때까지 1씩 증분 감소할 수 있다.
[0141] 현재 시간(771)을 증가시키는 프로세스는 처음 검출된 디바이스 모션(801), 처음 검출된 반복 모션(802), 또는 일부 다른 이벤트에 대한 응답으로 시작될 수 있다. 일부 구현들에서, 현재 시간(771)을 증가시키는 프로세스는 동일한 디바이스 모션(801)(또는 동일한 반복 모션(802))이 검출되어 매칭으로서 식별되는 동안 계속되도록 구성된다. 상이한 또는 새로운 디바이스 모션(801)(또는 상이한 반복 모션(802))이 검출 및 식별될 때, 현재 시간(771)을 증가시키는 프로세스는 새로운 시작 시간(예컨대, 0, 60초)에 현재 시간(771)을 다시 시작하도록 구성될 수 있다.
[0142] 도 12의 블록(970)은 마이크로폰(139)에 의해 수신된 오디오 데이터(905)의 프레임들에 기반하여 음성 인식 모듈(925)을 사용하여 제1 질의(860)를 식별하는 예시적인 단계를 설명한다. 음성 인식 모듈(925)은 아이웨어 디바이스(100)에 커플링되거나 또는 그렇지 않으면 이에 의해 액세스가능하다. 제1 질의(860)를 식별하는 프로세스는 마이크로폰(139)을 통해 인간 음성을 수신한 다음 음성을 오디오 데이터(905)의 프레임들로 변환하는 것을 포함한다. 음성 인식 모듈(925)은 제1 질의(860)의 콘텐츠들을 식별하기 위해 자동화된 음성 인식 프로세싱을 사용하여 오디오 데이터(905)의 프레임들을 분석한다. 일부 구현들에서, 자동화된 음성 인식은 인간 음성의 콘텐츠들을 빠르고 효율적으로 검출, 해독 및 식별하도록 트레이닝된 머신-러닝 알고리즘을 사용하는 것을 수반한다.
[0143] 블록(972)은 식별된 제1 질의(860)에 대한 응답으로 제1 응답(870)을 재생하는 예시적인 단계를 설명한다. 본원에서 설명된 다른 메시지들 및 응답들과 마찬가지로, 제1 응답(870)은 (예컨대, 음성 버블(712) 내에) 텍스트 형식으로 제시되거나 또는 라우드스피커(191)를 통해 청각적으로 재생되거나 이들 둘 모두가 수행될 수 있다. 음성 인식 모듈(925)에 의해 제1 응답(870)을 어셈블링하여 재생하는 프로세스는 제1 질의(860)의 콘텐츠들과 제1 응답(870)의 콘텐츠들을 상관시키는 것을 포함한다.
[0144] 도 12의 블록들(970 및 972)은 가이드 피트니스 애플리케이션(910)이 질의들과 상관되고 질의들에 대한 응답인 응답들을 제공하는 아바타(710)와의 대화형 질문 및 답변 세션을 수행하기 위한 예시적인 프로세스를 설명한다. 이러한 종류의 음성-기반 대화형 세션은 일부 구현들에서 본원에서 설명된 가상 피트니스 경험(700)의 임의의 스테이지 동안 그리고 임의의 시간에 활성화되어 이용 가능하다. 예컨대, 이러한 종류의 음성-기반 대화형 세션은 아바타(710)가 디스플레이 상에 처음 제시될 때, 시작 메시지(871)에 대한 응답으로, 강의(872) 동안, 시연(760) 및 레슨(730) 동안, 비디오(750) 동안, 현재 반복 카운트(781)가 변경될 때, 프로그램 타이틀(731) 또는 세션 정보가 디스플레이 상에서 나타날 때, 운동 장치(650)가 검출될 때, 반복 장치 모션(803)이 검출될 때, 그리고 가상 가이드 피트니스 경험(700) 동안 임의의 다른 시간에 발생할 수 있다.
[0145] 다른 양상에서, 일부 구현들에서 블록(964)에서 반복 모션(802)(예컨대, 스쿼트 모션)을 검출하는 예시적인 단계는 가상 피트니스 경험(700)을 제시하는 프로세스의 부분으로서 아바타(710)를 통해 메시지들, 강의들 및 다른 콘텐츠를 제시하거나 또는 재생하는 것을 포함한다. 일부 구현들에서, 프로세스는 검출된 반복 모션(802)에 대한 응답으로 아바타(710)를 통해 시작 메시지(871)를 재생하는 것을 포함한다. 예컨대, 시작 메시지(871)는 인사말, 일반 메시지(예컨대, 월요일에 스쿼트 12회를 마지막으로 했습니다), 반복-관련 메시지(예컨대, 위쪽으로 누르기 전에 2초 동안 정지) 등을 포함할 수 있다.
[0146] 일부 구현들에서, 프로세스는 강의(872) - 이의 콘텐츠는 리트리브된 운동 데이터(880)에 기반함 - 뿐만 아니라 검출된 반복 모션(802)을 아바타(710)를 통해 재생하는 것을 포함한다. 예컨대, 강의(872)는 일반 정보(예컨대, 오늘 스쿼트 12번 하자), 자세 안내(예컨대, 헤드업), 현재 반복 카운트에 대한 정보(781)(예컨대, 10회 반복이야), 격려(예컨대, 2개 더; 당신은 이것을 얻었습니다) 등을 포함할 수 있다.
[0147] 일부 구현들에서, 프로세스는 레슨(873)과 관련된 시연(760)을 수행하도록 아바타(710)를 애니메이팅하는 것을 포함한다. 레슨(873)의 콘텐츠 및 시연(760)의 애니메이팅된 움직임들은 리트리브된 운동 데이터(880)뿐만 아니라 검출된 반복 모션(802)에 기반한다. 이러한 양상에서, 검출된 반복 모션(802)은 커스터마이징된 가상 피트니스 경험(700)을 큐레이팅하고, 업데이트하며, 개선하며 그리고 전달하기 위해 가이드 피트니스 애플리케이션(910)에 의해 액세스 가능한 데이터에 추가된다.
[0148] 도 12의 흐름도(960)에 설명된 예시적인 프로세스 단계들은 물론 추가 반복 모션들을 검출하고 프로세싱하는 것을 포함한다. 예컨대, 예시적인 프로세스 단계들은 후속 반복 모션을 검출하는 것, 검출된 후속 반복 모션이 후속 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 것, 및 후속 미리 정의된 반복 활동에 대한 응답으로 현재 반복 카운트를 1씩 증가시키는 것을 지칭하고 이를 포함한다.
[0149] 도 8은 디스플레이(180B) 상에 제시된 세션 정보 및 하나 이상의 그래픽 제어 엘리먼트들(721)을 갖는 예시적인 피트니스 프로그램의 사시적 예시이다. 이러한 예에서, 가상 피트니스 애플리케이션(910)은 (예컨대, 그래픽 사용자 인터페이스를 통해, 음성 커맨드를 통해, 또는 다른 입력 수단을 통해) 프로그램 선택을 수신하도록 구성된다.
[0150] 프로그램 선택을 수신하는 것에 응답하여, 가상 피트니스 애플리케이션(910)은 (예컨대, 피트니스 라이브러리(484)로부터, 인터넷으로부터) 프로그램 데이터를 리트리브한다. 일부 구현들에서, 리트리브된 프로그램 데이터는 프로그램 타이틀(731), 하나 이상의 세션 타이틀들(720A)을 포함한다. 각각의 세션은 활동 이름(720B), 추천된 총 반복 횟수(720D) 및 추천된 지속기간(720E)을 포함할 수 있다.
[0151] 도 8에 도시된 바와 같이, 가상 피트니스 애플리케이션(910)은 이러한 예에서 세션 타이틀(720A)(예컨대, 운동 1), 활동 이름(720B)(예컨대, 바이셉스 컬들) 및 추천된 총 반복들(720D)(예컨대, 12회)을 세션 포지션(723)에서 디스플레이(180B) 상에 제시하도록 구성된다. 이러한 예에서 세션 포지션(723)은 디스플레이(180B)에 대해 정의되어, 디스플레이(180B) 상의 일관된 포지션(예컨대, 중앙 상단)에 제시될 것이다.
[0152] 가상 피트니스 애플리케이션(910)은 이러한 예에서 타이틀 포지션(722)에서 프로그램 타이틀(731)을 디스플레이(180B) 상에 제시하도록 구성된다. 이러한 예에서 타이틀 포지션(722)은 디스플레이(180B)에 대해 정의되어, 디스플레이(180B) 상의 일관된 포지션(예컨대, 중앙 하단)에 제시될 것이다.
[0153] 일부 구현들에서, 가상 피트니스 애플리케이션(910)은 도 8에 도시된 바와 같이 타이틀 포지션(722)에 인접하거나, 이에 가깝거나, 또는 그렇지 않으면 이와 연관된 디스플레이 상의 포지션에서 그래픽 제어 엘리먼트(721)를 디스플레이 상에 제시하도록 구성된다.
[0154] 도 8에 도시된 바와 같이, 예시적인 그래픽 제어 엘리먼트(721)는 재생, 뒤로 가기, 일시 중지, 앞으로 건너뛰기 및 중지를 위한 선택 가능한 버튼들을 포함한다. 그래픽 제어 엘리먼트(721)의 컴포넌트들은 본원에서 설명된 바와 같이 터치패드(181) 및 이동 가능한 엘리먼트(711)를 사용하여 선택될 수 있다. 이동 가능한 엘리먼트(711)(예컨대, 도 8에 도시된 커서)는 디스플레이에 대한 현재 엘리먼트 포지션(740)에 제시된다. 일부 구현들에서, 커서(711)와 상호작용하는 것은 도시된 바와 같이 아이웨어 디바이스에 커플링된 터치패드(181)에 대한 현재 손가락 끝 로케이션(681)을 검출하는 것; 및 이후 검출된 현재 손가락 끝 로케이션(681)에 따라 디스플레이 상의 현재 엘리먼트 포지션(740)에 커서(711)를 제시하는 것을 포함한다. 이러한 예에서, 내비게이팅 액션은 커서(711)를 디스플레이 상의 그래픽 엘리먼트들 중 하나의 엘리먼트로 이동시킴으로써 실행될 수 있다. 예컨대, 선택 액션은 커서(711)를 제1 컨트롤(예컨대, 일시 정지 버튼과 같은 그래픽 제어 엘리먼트의 컴포넌트들 중 하나의 컴포넌트) 근처에 배치하는 것을 포함한다. 일부 구현들에서, (예컨대, 일시 정지 버튼 근처에 커서(711)를 배치하고 태핑 제스처를 실행함으로써 달성되는) 선택 액션을 검출하는 것은 (예컨대, 일시 정지 버튼이 다시 선택될 때까지 일시 정지함으로써) 가이드 피트니스 애플리케이션(910)의 진행을 제어한다. 일부 구현들에서, 선택 액션은 음성 커맨드를 수신하는 것을 포함한다.
[0155] 그래픽 제어 엘리먼트(721)는 선택된 프로그램의 진행, 진행중인 세션, 및 텍스트 버블(712), 비디오(750), 메시지(871), 강의(873), 데모(760) 및 이의 대응 레슨(873)을 포함하는 (그러나, 이에 제한되지 않음) 다른 엘리먼트들인 가상 가이드 피트니스 경험(700)을 제어하도록 구성될 수 있다.
[0156] 일부 구현들에서, 그래픽 제어 엘리먼트(721)는 가상 가이드 피트니스 경험(700)의 뒤로가기(및 부분들의 반복) 또는 앞으로 건너뛰기(부분들의 생략)하도록 구성된다. 추가적인 또는 상이한 그래픽 제어 엘리먼트들(721)은 디스플레이 상에 제시될 수 있고, 기록, 저장, 친구와 공유, 삭제 및 경험을 처리하거나 프로세싱하는 데 적합한 다양한 다른 활동들 중 임의의 활동과 같은 다른 활동들을 수행하도록 구성된다.
[0157] 도 8에 예시된 바와 같이 선택된 프로그램에 기반하여 동작할 때, 일부 구현들에서의 프로세스는 본원에서 설명된 바와 같이 아바타(710)를 제시하는 것뿐만 아니라 리트리브된 프로그램 데이터(예컨대, "H.I.I.T Workout"라는 명칭을 갖는 운동 프로그램에 대한 피트니스 라이브러리(484)에 저장된 데이터)에 기반하여 메시지(871), 강의(872) 또는 레슨(873)를 재생하는 것을 포함한다.
[0158] 프로세스는 본원에서 설명된 바와같이 레슨(873)과 상관된 시연(760)을 수행하도록 아바타(710)를 애니메이팅하는 것을 더 포함한다. 예컨대, 리트리브된 프로그램 데이터는 특정 프로그램과 관련하여 특별히 큐레이팅되고, 수행되며, 그리고 저장된 하나 이상의 기록된 애니메이팅된 시연들(760) 및 레슨(873)을 포함할 수 있다.
[0159] 도 8에 예시된 바와 같이 선택된 프로그램에 기반하여 동작할 때, 일부 구현들에서의 프로세스는 본원에서 설명된 바와 같이 반복 카운터(780)를 사용하여 현재 반복 카운트(781)를 제시하는 것 및 스톱워치(700)를 사용하여 현재 시간(771)을 제시하는 것을 포함한다.
[0160] 도 13은 운동 장치(650)를 검출하고, 운동 장치의 반복 모션(803)을 검출하며 그리고 가상 피트니스 경험(700)의 부분으로서 디스플레이(180B) 상에 선택적으로 증분된 반복 카운트를 제시하는 예시적인 방법의 단계들을 나열한 흐름도(980)이다. 단계들이 본원에서 설명된 아이웨어 디바이스(100)를 참조하여 설명되지만, 다른 타입들의 디바이스들에 대해 설명된 단계들의 다른 구현들이 당업자에 의해 본원의 설명으로부터 이해될 것이다. 도시되고 설명된 단계들 중 하나 이상이 동시에, 직렬로, 도시되고 설명된 것과 다른 순서로 또는 추가 단계들과 함께 수행될 수 있다. 일부 단계들은 생략되거나, 또는 일부 애플리케이션들에서 반복될 수 있다.
[0161] 도 13의 블록(982)은 아이웨어 디바이스(100)의 카메라(114B)에 의해 캡처된 비디오 데이터(900)의 프레임들 내에서 운동 장치(650)(예컨대, 웨이트 머신, 덤벨 또는 다른 프리 웨이트, 유산소 운동 기구의 트레드밀 및 다른 아이템, 벤치 또는 매트)를 검출하는 예시적인 단계를 설명한다.
[0162] 이러한 예에서 아이웨어 디바이스(100)는 카메라(114B), IMU(472), 마이크로폰(139), 라우드스피커(191), 가이드 피트니스 애플리케이션(910) 및 디스플레이(180B)를 포함한다. 일부 구현들에서, 아이웨어 디바이스(100)는 본원에서 설명된 바와 같이 비디오 데이터(900)의 정지 이미지들 또는 프레임들을 캡처하기 위한 하나 이상의 카메라들(114A, 114B)을 포함한다. 이러한 예에서, 아이웨어 디바이스(100)는 이미지 프로세싱 시스템(920), 및 하나 이상의 디스플레이들(180A, 180B)을 포함한다. 예컨대, 도 7에 도시된 바와 같이, 아이웨어 디바이스(100)는 반-투명 이미지 디스플레이(180B)를 포함하며, 반-투명 이미지 디스플레이(180B)는, 본원에서 설명된 바와같이, 아이웨어 디바이스의 렌즈 상에 이미지들을 제시하도록 구성된 디스플레이 매트릭스 레이어 및 반-투명 렌즈 레이어를 포함할 수 있다. 그래픽 및 가상 엘리먼트들은 주변 물리적 환경(600)에 대한 오버레이로서 디스플레이(180B) 상에 제시된다. 도시된 바와 같이, 그 효과는 주변 환경(600)이 또한 디스플레이(180B)를 통해 가시적으로 유지되는 동안 뷰어가 제시된 맥락 관련 오버레이(725)을 보고 이와 상호 작용할 수 있게 한다.
[0163] 일부 구현들에서, 아이웨어 디바이스(100)의 고속 프로세서(432)는 착용자가 물리적 환경(600)을 통해 이동할 때 카메라(114B)와 함께 캡처된 비디오 데이터(900)의 프레임들을 저장한다. 본원에서 설명되고 도 7에 도시된 바와 같이, 카메라(114B)는 전형적으로 디스플레이(180B)의 제한들을 넘는 환경의 이미지들 및 비디오를 캡처할 수 있는 카메라 시야(904)를 갖는다.
[0164] 일부 구현들에서, 카메라 시스템은 비교적 높은 프레임 레이트들 (예컨대, 초당 30개의 프레임들 또는 그 초과)로 HD(high-definition) 정지 이미지들 및 HD(high-definition) 비디오를 캡처할 수 있는 CMOS 이미지 센서를 구비한 하나 이상의 HD(high-definition) 디지털 카메라들을 포함한다. 디지털 비디오의 각각의 프레임은 이미지의 복수의 픽셀들에 대한 깊이 정보를 포함한다. 이러한 양상에서, 카메라 시스템은 물리 환경의 상세한 입력 이미지를 캡처함으로써 HD(high-definition) 스캐너의 역할을 한다. 일부 구현들에서, 카메라 시스템은 본원에서 설명된 바와같이 아이웨어 디바이스(100)에 커플링되고 좌측-카메라 원시 이미지 및 우측-카메라 원시 이미지를 획득하기 위해 이격된 HD(high-definition) 디지털 카메라들(114A, 114B)을 포함한다. 결합될 때, 원시 이미지들은 3차원 픽셀 로케이션들의 매트릭스를 포함하는 입력 이미지를 형성한다. 일부 구현들에서, 예시적인 방법은, 블록(982)에서, 캡처된 비디오 데이터(900)의 프레임들을 아이웨어 디바이스(100)의 메모리(434)에 적어도 일시적으로 저장하여 프레임들이 분석에 이용 가능하도록 하는 단계를 포함한다.
[0165] 본원에서 설명된 비디오 데이터(900)의 프레임들을 캡처하는 프로세스는, 일부 구현들에서, 아이웨어 디바이스(100)의 활성 사용 중에 진행된다. 다른 예들에서, 캡처하는 프로세스는 사용자 인터페이스를 통해 선택(예컨대, 메뉴로부터의 선택, 버튼 누르기)을 수신하거나 또는 일부 다른 입력 수단(예컨대, 손 제스처, 음성 커맨드)을 통해 선택을 수신하는 것에 대한 응답으로 시작한다.
[0166] 일부 구현들에서, 운동 장치(650)를 검출하는 예시적인 프로세스는 디스플레이(180B) 또는 대안적으로 다른 알려진 포지션, 이를테면 아이웨어 로케이션(840)에 대한 현재 장치 포지션(705)(도 10 참조)을 3차원 좌표들에서 검출하는 것을 포함한다. 일부 예시적인 구현들에서, 이미지 프로세싱 시스템(920)은 프레임이 하나 이상의 운동 장치들(650)을 포함하는지 여부를 결정하기 위해 캡처된 비디오 데이터(900)의 프레임들에서 픽셀-레벨 데이터를 분석한다.
[0167] 도 9는 물리적 환경(600)에서 예시적인 운동 장치(650)(예컨대, 한쌍의 덤벨들)의 사시도이다. 도시된 예에서, 아바타(710)는 디스플레이(180B)에 대한 아바타 포지션(701)에서 디스플레이 상에 제시된다. 본원에서 설명된 바와 같이, "아바타(720)를 통해"를 제시 또는 재생하는 프로세스는 텍스트 버블(712)에 텍스트를 제시하는 것, 라우드스피커(191)를 통해 오디오를 재생하는 것, 비디오(750)를 제시하는 것, 및 이들의 조합들을 지칭하며 이를 포함한다.
[0168] 도 13의 블록(984)은 가이드 피트니스 애플리케이션(910)을 사용하여 검출된 운동 장치(650)와 연관된 장치 데이터(884)를 리트리브하는 예시적인 단계를 설명한다. 리트리브된 장치 데이터(884)는 아이웨어 디바이스(100)의 메모리(434)에 적어도 일시적으로 저장된다. 일부 예시적인 구현들에서, 장치 데이터(884)를 리트리브하는 프로세스는 활동 라이브러리(480), 객체 데이터 라이브러리(482) 및 피트니스 라이브러리(484)를 포함하여 하나 이상의 소스들로부터 검출된 운동 장치(650) 및 그 사용에 관한 정보를 수집하는 것을 포함하며; 인터넷에서 하나 이상의 웹사이트들을 검색하는 것을 더 포함할 수 있다. 이러한 양상에서, 장치 데이터(884)를 리트리브하는 프로세스는 검색어들을 어셈블링하는 것, 서치를 실행하는 것, 및 검출된 운동 장치(650) 및 그 사용들과 관련된 정보를 하베스팅하는 것을 포함한다. 일부 구현들에서 가이드 피트니스 애플리케이션(910)은 하나 이상의 선호 서치 엔진들, 웹사이트들 및 다른 인터넷-기반 자원들에 액세스하도록 구성된다. 일부 구현들에서, 인터넷 서치를 사용하여 장치 데이터(884)를 리트리브하는 블록(946)의 프로세스는 관련 컨테이너 정보를 빠르고 효율적으로 리트리브할 가능성이 가장 높은 서치 엔진, 웹 자원들 및 웹사이트 데이터를 선택하기 위해 머신-러닝 알고리즘을 사용하는 것을 수반한다.
[0169] 도 13의 블록(984)에 설명된 예시적인 프로세스는 물론 운동 장치(650)의 추가 아이템들을 검출하고 프로세싱하는 것을 포함한다. 예컨대, 예시적인 프로세스 단계들은 후속 운동 장치를 검출하는 것, 검출된 후속 운동 장치와 연관된 후속 장치 데이터를 리트리브하는 것, 및 가상 피트니스 경험(700)을 제시하는 프로세스의 일부로서 후속 장치 데이터를 포함하는 것을 지칭하고 이를 포함한다.
[0170] 도 13의 블록(986)은 물리적 환경(600)에 대한 오버레이로서 디스플레이(180B) 상에 가상 피트니스 경험(700)을 제시하는 예시적인 단계를 설명한다. 가상 피트니스 경험(700)은 리트리브된 장치 데이터(884) 및 리트리브된 운동 데이터(880)에 기반하며, 운동 장치(850)를 검출하는 것에 응답하여 제시된다.
[0171] 도 13의 블록(988)은 카메라(114B)에 의해 캡처된 이미지 데이터(900)의 프레임들에서 반복 장치 모션(803)(예컨대, 검출된 바벨이 제1 로케이션으로부터 제2 로케이션으로 이동하고, 일시 정지하며 모션이 제1 로케이션으로 리턴하는 바이셉스 컬 반복)을 검출하는 예시적인 예를 설명한다. 일부 구현들에서, 본원에서 설명된 가시광 카메라들(114A, 114B)은 상대적으로 높은 프레임 레이트(예컨대, 초당 30 내지 60개의 프레임들 또는 그 초과)로 HD(high-definition) 비디오를 캡처할 수 있다. 높은 프레임 레이트는 시간에 따라 객체들의 모션의 검출 및 분석을 용이하게 한다.
[0172] 일부 구현들에서 반복 장치 모션(803)을 검출하는 프로세스는 시간에 따라 현재 장치 포지션(705)을 검출하고 이를 이전 장치 포지션들과 비교하는 것을 포함한다. 예컨대, 도 10은 예시적인 반복 장치 모션(803)의 사시도이며; 제1 장치 포지션(705A)에서 검출된 운동 장치(650A), 및 제2 장치 포지션(705B)에서의 운동 장치(650B)를 도시한다. 일부 구현들에서, 이미지 프로세싱 시스템(920)은 프레임이 반복 장치 모션(803)(예컨대, 포지션(705A)으로부터 포지션(705B)으로 그리고 다시 원래대로)을 포함하는지 여부를 결정하기 위해 캡처된 비디오 데이터(900)의 프레임들에서 픽셀-레벨 데이터를 분석한다.
[0173] 당업자는 아이웨어 디바이스(100)가 물리적 환경(600)을 통해 이동할 때 운동 장치(650) 및 현재 장치 포지션들(705A, 705B)을 검출하는 프로세스가 시간에 따라 연속적으로 발생함을 이해할 것이다. 시간이 지남에 따라, 카메라(114B)의 시야(904) 내에서 추가 운동 장치(650)가 검출될 수 있는 반면 다른 운동 장치는 검출되지 않는다. 더욱이, 하나 이상의 검출된 운동 장치(650)는 물리적 환경(600)의 새로운 로케이션으로 이동된 후, 상이한 또는 업데이트된 현재 장치 포지션(705)에서 검출될 수 있다. 이러한 양상에서, 검출하는 프로세스는 진행 중이며 실질적으로 연속적이며, 여기서 이미지 프로세싱 시스템(920)은 비디오 데이터(900)의 캡처된 프레임들에서 픽셀 레벨 데이터를 분석하여 후속 장치 포지션들에서 후속 운동 장치들을 검출한다.
[0174] 일부 구현들에서, 가상 운동 경험(700)을 제시하는 블록(986)의 프로세스는 디스플레이(180B) 상에 맥락 관련 오버레이(예컨대, 나는 한 쌍의 바벨들을 보고 있습니다. 나는 10 파운드 바벨들을 사용하는 것을 추천합니다)를 제시하는 보충 프로세스를 포함한다. 맥락 관련 오버레이는 리트리브된 장치 데이터(884)에 기반하며, 텍스트 버블(712)에 텍스트를 제시하는 것, 라우드스피커(191)를 통해 오디오를 재생하는 것, 비디오(750)를 제시하는 것, 및 이들의 조합들에 의해 제시될 수 있다. 맥락 관련 오버레이는 (예컨대, 검출된 운동 장치(650)의 로케이션 옆에 나타나도록 디스플레이(180B) 상에 포지셔닝된 보충 텍스트 버블에서) 검출된 운동 장치(650)에 인접하거나 또는 그렇지 않으면 이와 연관된 포지션에 제시될 수 있다. 일부 구현들에서, 맥락 관련 오버레이는 디스플레이(180B)에 맞을 구성 가능한 최대 크기까지 그 콘텐츠에 따라 크기 및 모양이 렌더링된다. 다른 구현들에서, 맥락 관련 오버레이의 콘텐츠들은 맥락 관련 오버레이를 제시하는데 이용 가능한 공간의 크기 및 모양에 따라 크기가 제한된다.
[0175] 아이웨어 디바이스(100)가 물리적 환경(600)을 통해 이동할 때, 일부 구현들에서, 맥락 관련 오버레이는 로컬리제이션으로 불리는 프로세스를 사용하여 운동 장치(650)의 현재 포지션 근처에 유지되는 것처럼 보일 것이다. 일부 구현들에서, 아이웨어 디바이스(100) 상의 로컬리제이션 시스템(915)은 현재 운동 장치 포지션에 대한 현재 아이웨어 로케이션(840)을 결정하는 데 사용하기 위한 로컬리제이션 데이터를 획득하도록 아이웨어(100)의 프로세서(432)를 구성한다. 로컬리제이션 데이터는 비디오 데이터(900)의 캡처된 프레임들, IMU 유닛(472), GPS 유닛 또는 이들의 조합으로부터 유도될 수 있다. 로컬리제이션 시스템(915)은 본원에서 설명된 바와 같이 SLAM 알고리즘을 사용하여 카메라 시야(904) 내의 다양한 엘리먼트들의 가상 맵을 구성하여, 적어도 카메라(114B)의 프레임 레이트 만큼 자주 객체들의 로케이션 및 맵을 업데이트할 수 있다(예컨대, 초당 30회 이상 자주 현재 아이웨어 로케이션(840)의 매핑 및 로컬리제이션을 계산하고 업데이트할 수 있다).
[0176] 일부 구현들에서 로컬리제이션의 프로세스는 검출된 운동 장치 포지션과 현재 아이웨어 로케이션(840) 사이의 상관 관계를 계산하는 단계를 포함한다. 상관 관계라는 용어는 현재 아이웨어 로케이션(840)에 따라 검출된 운동 장치 포지션과 아이웨어 디스플레이(180B) 사이의 3차원 거리를 정의하기에 충분한 하나 이상의 벡터들, 행렬들, 공식들 또는 다른 수학적 표현들을 지칭하고 이를 포함한다. 현재 아이웨어 로케이션(840)은 물론 아이웨어 디바이스(100)의 프레임에 의해 지지되는 디스플레이(180B)에 고정되거나 또는 이와 지속적으로 연관된다. 이러한 양상에서, 상관 관계는 검출된 컨테이너(650)의 겉보기 모션으로 아이웨어(100)의 모션을 교정하는 기능을 수행한다. 로컬리제이션 프로세스가 계속해서 자주 발생하기 때문에, 상관 관계는 계속해서 자주 계산되어, 현재 아이웨어 로케이션(840)에 대한 검출된 현재 운동 장치의 포지션이 정확하고 거의 실시간으로 추적될 수 있다.
[0177] 로컬리제이션 프로세스가 계속해서 자주 발생하기 때문에, 상관 관계는 계속해서 자주 계산되어, 현재 아이웨어 로케이션(840)에 대한 운동 장치(650)의 현재 로케이션이 정확하고 거의 실시간으로 추적될 수 있다.
[0178] 도 13의 블록(990)은 검출된 반복 장치 모션(803)이 활동 라이브러리(480)에 저장된 복수의 미리 정의된 운동 활동들(850) 중에서 제1 미리 정의된 장치 반복 활동(853)(예컨대, 완전 반복을 통해 이동하는 바벨)과 매칭되는지 여부를 결정하는 예시적인 단계를 설명한다. 이러한 예에서, 미리 정의된 운동 활동들(850)에 대해 저장된 데이터는 각각의 운동과 연관된 반복 활동들에 대한 데이터를 포함한다. 예컨대, 미리 정의된 운동 활동들(850) 중 하나에 대한 데이터 레코드는 이름 또는 다른 식별자(예컨대, 바이셉스 컬들), 하나 이상의 적용 가능한 운동 장치들(650)(예컨대, 하나 또는 2개의 덤벨들, 스트레이트 바벨, 컬링 바, 케이블-기반 머신), 및 시작 및 끝 좌표들, 가속도들, 속도들 및 각속도들과 같은 단일 반복과 연관된 일련의 값들을 포함한다.
[0179] 검출된 반복 장치 모션(803)이 제1 미리 정의된 장치 반복 활동(853)과 매칭되는 여부를 결정하는 프로세스는 카메라(114B)에 의해 캡처된 이미지 데이터(900)의 프레임들을 미리 정의된 운동 활동들(850) 각각과 연관된 장치 반복 활동(예컨대, 포지션들, 가속도들, 속도들)에 대해 저장된 데이터와 비교하는 것을 포함한다.
[0180] 일부 구현들에서, 매칭 프로세스는 또한 미리 정의된 운동 활동들(850) 각각과 연관된 장치 반복 활동에 대해 저장된 데이터(예컨대, 반복을 수행하는 신체와 연관된 포지션들, 가속도들, 속도들)와 아이웨어 디바이스(100)의 모션을 설명하는 IMU(472)에 의해 캡처된 모션 데이터(902)(예컨대, 포지션, 가속도, 각속도)의 프레임들을 비교하는 것을 포함한다. 예컨대, 검출된 반복 장치 모션(803)(예컨대, 단일 덤벨 컬링)은 또한 신체 및 아이웨어(100)의 검출된 모션(801)(예컨대, 단일 덤벨 컬 동안 상대적으로 약간 머리를 앞뒤로 움직이는 것)과 연관된다. 이러한 양상에서, 이미지 데이터(900) 및 모션 데이터(902)는 검출된 반복 장치 모션(803)의 검출 및 분석을 개선하기 위해 함께 상관되고 분석될 수 있다.
[0181] 도 13의 블록(992)은 검출된 반복 장치 활동(803)이 제1 미리 정의된 장치 반복 활동(853)과 매칭된다는 결정에 대한 응답으로 현재 반복 카운트(781)를 1씩 증가시키는 예시적인 단계를 설명한다. 증가하는 프로세스는 검출된 반복 장치 활동(803)이 제1 미리 정의된 장치 반복 활동(853)과 매칭되는 경우에만 현재 반복 카운트(781)가 증가되기 때문에 본원에서 선택적인 것으로 설명된다. 일부 구현들에서, 현재 반복 카운트(781)를 증가시키는 프로세스는 증가된 현재 반복 카운트를 디스플레이 상에 제시하는 것을 포함한다.
[0182] 도 13의 블록(994)은 디스플레이(180B) 상에 가상 피트니스 경험(700)을 제시하는 프로세스의 일부로서 아바타(710)를 통해, 본원에서 설명된 바와같이, 메시지들, 강의들 및 다른 콘텐츠를 제시하거나 또는 재생하는 예시적인 단계를 설명한다. 일부 구현들에서, 프로세스는 검출된 운동 장치(650), 검출된 반복 장치 모션(803), 증분된 반복 카운트(781) 및 이들의 조합에 대한 응답으로 아바타(710)를 통해 시작 메시지(871), 강의(872), 레슨(873) 및 이들의 조합들을 재생하는 것을 포함한다.
[0183] 도 13의 블록(996)은 레슨(873)과 관련된 시연(760)을 수행하도록 아바타(710)를 애니메이팅하는 예시적인 단계를 설명한다. 레슨(873)의 콘텐츠 및 시연(760)의 애니메이팅된 움직임들은 리트리브된 운동 데이터(880), 리트리브된 제1 미리 정의된 장치 반복 활동(853) 및 이들의 조합들에 기반한다.
[0184] 시작 메시지(871), 강의(872), 레슨(873) 및 본원에서 설명된 다른 정보는 텍스트 버블(712)에 텍스트를 제시하는 것, 라우드스피커(191)를 통해 오디오를 재생하는 것, 비디오(750)를 제시하는 것, 및 이들의 조합들에 의해 전달된다.
[0185] 도 13의 흐름도(980)에 설명된 예시적인 프로세스 단계들은 물론 추가 반복들을 검출하고 프로세싱하는 것을 포함한다. 예컨대, 예시적인 프로세스 단계들은 후속 장치 모션을 검출하는 것, 후속 장치 모션이 후속 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 것, 및 후속 미리 정의된 장치 반복 활동에 대한 응답으로 현재 반복 카운트를 1씩 증가시키는 것을 지칭하고 이를 포함한다.
[0186] 피트니스, 운동들 및 운동 장비와 관련하여 다양한 시스템들 및 방법들이 본원에서 설명될지라도, 설명된 기술은 물리적 환경에서 발생하는 임의의 타입의 경험 또는 활동을 검출하는 것, 검출된 활동에 대한 데이터를 리트리브하는 것, 및 가상 가이드 튜토리얼, 레슨, 트레이닝, 교육, 또는 다른 안내를 디스플레이 상에 제시하는 것에 적용될 수 있다.
[0187] 본원에서 설명된 프로세스들 중 몇몇은 일부 구현들에서 캡처된 비디오 데이터(900)의 프레임들에 포함된 픽셀 레벨 정보를 분석하도록 트레이닝된 컴퓨터 비전 시스템들 및 머신-러닝 알고리즘들의 사용을 수반한다. 머신-트레이닝 객체-분류 알고리즘들은 비디오 데이터(900)의 프레임들에서 검출된 객체들을 식별하고 이름에서 알 수 있듯이 객체들을 하나 이상의 개별 클래스들(예컨대, 프리 웨이트들, 운동 머신들, 웨이트 벤치들, 운동 매치들, 가구)에 속하는 것으로 분류하는 데 사용된다. 예컨대, 분류 알고리즘들은 운동 장치(650)(및 후속 장치들)를 검출하는 프로세스를 용이하게 하는 데 사용될 수 있다.
[0188] 유사하게, 본원에서 설명된 바와 같이, 일부 구현들에서 검출된 액션들을 하나 이상의 미리 정의된 활동들과 매칭시키는 프로세스는 매칭을 발견하는 목표로 캡처된 모션 데이터(902)의 프레임들 - 캡처된 비디오 데이터(900)의 프레임들-을 복수의 미리 정의된 활동들에 비교하기 위한 머신-트레이닝 알고리즘들의 사용을 수반한다.
[0189] 또한, 본원에서 설명된 음성 인식 프로세스들은, 일부 구현들에서, 컴퓨터-기반 음성 인식 시스템들(NLU(natural language understanding) 기술들을 포함함) 및 머신-러닝 알고리즘들의 사용을 수반하며, 이들은 인간 음성을 분석하고, 음성을 오디오 데이터로 변환하며 그리고 응답들을 컨텍스트로 어셈블링하도록 트레이닝된다.
[0190] 머신 러닝은 경험을 통해 점차적으로 개선하는 알고리즘을 지칭한다. 많은 수의 상이한 입력 데이터세트들(예컨대, 다양한 환경들에서 다양한 객체들, 컨테이너들 및 활동들의 사진들)을 프로세싱함으로써, 머신-러닝 알고리즘은 특정 데이터세트들에 대한 개선된 일반화들을 개발하고, 이후 이러한 일반화들을 사용하여 새로운 데이터세트를 프로세싱할 때 정확한 출력 또는 솔루션을 생성할 수 있다. 대체로, 머신-러닝 알고리즘은 새로운 경험들에 응답하여 조절하거나 또는 변경할 하나 이상의 파라미터들을 포함하여 알고리즘을 점차적으로 개선하며; 프로세스는 학습과 유사하다.
[0191] 컴퓨터 비전의 맥락에서, 수학적 모델들은 인간 시각 시스템에 의해 달성되는 작업들을 에뮬레이트하려고 시도하며, 여기서 컴퓨터들을 사용하는 목표는 이미지로부터 정보를 추출하고 이미지의 콘텐츠들을 정확하게 이해하는 것이다. 인공지능, 자율주행 등을 포함하여 다양한 분야들에서 컴퓨터 비전 알고리즘들이 개발되어, 디지털 이미지들과 비디오에서 데이터를 추출하고 분석하였다.
[0192] 딥 러닝은 인공 신경망들에 기반하거나 또는 인공 신경망들 이후에 모델링되는 일종의 머신-러닝 방법들을 지칭한다. 인공 신경망은 외부 입력들에 응답하여 자신들의 동적 상태에 의해 정보를 프로세싱하는 다수의 단순하고 고도로 상호 연결된 프로세싱 엘리먼트들(노드들)로 구성된 컴퓨팅 시스템이다. 대규모 인공 신경망은 수백 또는 수천 개의 노드들을 가질 수 있다.
[0193] CNN(convolutional neural network)은 디지털 사진들 및 비디오를 포함하여 시각적 이미지들을 분석하기 위해 자주 적용되는 일종의 신경망이다. CNN에서 노드들 간의 연결 패턴은 전형적으로 인간 시각 피질의 조직을 본떠서 만들어지며, 이는 시야 내의 중첩 구역들에 반응하도록 배열된 개별 뉴런들을 포함한다. 본원에서 설명된 결정 프로세스에 사용하기에 적합한 신경망은 VGG16, VGG19, ResNet50, Inception V3, Xception, 또는 다른 CNN-호환가능 아키텍처들 중 하나에 기반한다.
[0194] 하나의 예시적인 구현에서, 트레이닝된 아이템 분류 모델은 검출된 아이템을 포함하는 비디오 데이터의 프레임을 수신하고, 분석을 위해 프레임의 이미지를 레이어들로 추상화한다. 각각의 레이어의 데이터는 양호한 매치가 식별될 때까지 트레이닝된 분류 모델에 기반하여 계층별로 객체 데이터 라이브러리(482)에 저장된 아이템들 및 객체들과 비교된다.
[0195] 일례에서, 계층별 이미지 분석은 컨볼루션 신경망을 사용하여 실행된다. 제1 컨볼루션 레이어에서, CNN은 학습된 특징들(예컨대, 운동 장비 특성들, 제품 라벨들, 운동 장비 디스크립터들 등)을 식별한다. 제2 컨볼루션 레이어에서, 이미지는 복수의 이미지들로 변환되며, 여기서 학습된 특징들은 개개의 서브-이미지에서 각각 강조된다. 풀링 레이어에서, 이미지들 및 서브-이미지들의 크기들 및 해상도는 가능한 관심 특징(예컨대, 바벨, 점프 로프, 컨테이너, 베셀)을 포함하는 각각의 이미지의 부분들을 격리하기 위해 감소된다. 비-출력 레이어들로부터의 이미지들의 값들 및 비교들은 프레임에서 이미지를 분류하는 데 사용된다.
[0196] 아이웨어 디바이스(100), 모바일 디바이스(401) 및 서버 시스템(498)에 대해 본원에 설명된 기능 중 임의의 것은 본원에 설명되는 바와같이 하나 이상의 컴퓨터 소프트웨어 애플리케이션들 또는 프로그래밍 명령들의 세트들로 구현될 수 있다. 일부 예들에 따르면, "기능", "기능들", "애플리케이션", "애플리케이션들", "명령", "명령들” 또는 "프로그래밍"은 프로그램들에서 정의된 기능들을 실행하는 프로그램(들)이다. 객체 지향 프로그래밍 언어들(예컨대, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)과 같이, 다양한 방식들로 구성된 애플리케이션들 중 하나 이상을 개발하기 위해 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(예컨대, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 사용하여 개발된 애플리케이션)은 모바일 오퍼레이팅 시스템, 예컨대 IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 오퍼레이팅 시스템들 상에서 실행되는 모바일 소프트웨어를 포함할 수 있다. 이러한 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 오퍼레이팅 시스템에 의해 제공된 API 콜들을 인보크할 수 있다.
[0197] 따라서, 머신 판독가능 매체는 유형의 저장 매체의 많은 형태들을 취할 수 있다. 비-휘발성 저장 매체들은 예컨대, 도면들에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 것과 같은 임의의 컴퓨터 디바이스들 등에 있는 저장 디바이스들 중 임의의 것과 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체는 이러한 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 송신 매체들은 컴퓨터 시스템 내의 버스를 포함하는 와이어를 포함하는 동축 케이블들, 구리 와이어 및 광섬유들을 포함한다. 캐리어파 송신 매체들은 RF(radio frequency) 및 적외선(IR) 데이터 통신들 동안 생성되는 것들과 같은 전기 또는 전자기 신호들, 또는 음파 또는 광파의 형태를 취할 수 있다. 따라서, 컴퓨터-판독가능 매체들의 일반적인 형태들은, 예컨대 플로피 디스크, 유연한 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 전달하는 반송파, 그러한 반송파를 전달하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 다양한 형태들의 컴퓨터 판독가능 매체들 대부분은 실행을 위해 프로세서에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는데 수반될 수 있다.
[0198] 바로 위에 언급된 경우를 제외하고, 청구항들에 인용되든 아니든 무관하게, 언급되거나 예시된 어떤 것도 컴포넌트, 단계, 특징, 목적, 이익, 이점 또는 이에 상응하는 것을 일반 대중에게 제공하도록 의도되거나 해석되어서는 안된다.
[0199] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에 달리 제시된 경우를 제외하고는 그들 대응하는 개개의 탐구 및 연구 영역들과 관련하여 그러한 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는다는 것이 이해될 것이다. 관계형 용어들, 이를테면 제1, 제2 등은 단지 하나의 엔티티 또는 동작을 다른 것으로부터 구별하기 위해 사용될 수 있고, 이러한 엔티티들 또는 동작들 간의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어들 "포함하다", "포함하는", "구비하다" , “구비하는" , 또는 이의 임의의 다른 변형은 비-배타적인 포함을 커버하는 것으로 의도되어, 엘리먼트들 또는 단계들의 리스트를 포함하거나 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트들 또는 단계들만을 구비하는 것이 아니라, 명시적으로 나열되지 않거나 또는 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 엘리먼트들 또는 단계들을 구비할 수 있다. 단수형 엘리먼트는, 추가적인 제약들 없이, 엘리먼트를 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.
[0200] 달리 언급되지 않는 한, 하기 청구항들을 포함하여 본 명세서에 기재된 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 근사치이다. 이러한 수량들은, 이들이 관련되는 기능들 및 이들과 관련된 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예컨대, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 양 또는 범위으로부터 ± 10 %만큼 많이 달라질 수 있다.
[0201] 더욱이, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 예들에서 함께 그룹화된다. 본 개시내용의 방법은 청구되는 예들이 각각의 청구항에 명시적으로 언급된 것보다 많은 특징들을 요구하려는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 보호될 청구대상은 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 하기의 청구항들은 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 청구대상으로서 독자적으로 기재된다.
[0202] 전술한 것은 최상의 모드 및 다른 예들인 것으로 고려되는 것을 설명하지만, 본원에서 다양한 수정들이 이루어질 수 있고 본원에 개시된 청구대상은 다양한 형태들 및 예들로 구현될 수 있으며 이들은 다수의 애플리케이션들에 적용될 수 있고 그 일부만이 본원에서 설명되었음이 이해된다. 이하의 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변경들을 청구하도록 의도된다.
Claims (20)
- 아이웨어 디바이스를 사용하여 가상 피트니스 경험을 제시하는 방법으로서, 상기 아이웨어 디바이스는 카메라, 관성 측정 유닛, 마이크로폰, 라우드스피커, 가이드 피트니스 애플리케이션, 이미지 프로세싱 시스템 및 디스플레이를 포함하며, 상기 방법은,
상기 관성 측정 유닛을 사용하여 모션 데이터의 프레임들을 캡처하는 단계;
상기 캡처된 모션 데이터의 프레임들 내에서 물리적 환경에 대한 상기 아이웨어 디바이스의 디바이스 모션을 검출하는 단계;
상기 검출된 디바이스 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 운동 활동과 매칭되는지 여부를 결정하는 단계;
상기 제1 미리 정의된 운동 활동과 연관된 운동 데이터를 리트리브하는 단계; 및
상기 물리적 환경에 대한 오버레이로서 상기 리트리브된 운동 데이터에 기반하여 가상 피트니스 경험을 상기 디스플레이 상에 제시하는 단계를 포함하는, 방법. - 제1 항에 있어서,
상기 가상 피트니스 경험을 제시하는 프로세스는,
상기 디스플레이에 대한 아바타 포지션에 아바타를 제시하는 단계;
상기 리트리브된 운동 데이터와 연관된 시작 메시지를 상기 아바타를 통해 재생하는 단계;
상기 리트리브된 운동 데이터와 연관된 강의를 상기 아바타를 통해 재생하는 단계 ― 상기 아바타를 통해 재생하는 프로세스는 텍스트 버블에서 텍스트를 제시하는 것, 상기 라우드스피커를 통해 오디오를 재생하는 것 및 상기 디스플레이 상에 비디오를 제시하는 것으로 구성된 그룹으로부터 선택된 하나 이상의 동작들을 포함함 ―; 및
레슨과 관련한 시연을 상기 아바타 포지션에 인접한 상기 디스플레이 상에서 수행하도록 상기 아바타를 애니메이팅하는 단계를 더 포함하며, 상기 시연은 상기 리트리브된 운동 데이터에 기반하는, 방법. - 제1 항에 있어서,
후속 디바이스 모션을 검출하는 단계;
상기 검출된 후속 디바이스 모션과 연관된 후속 운동 데이터를 리트리브하는 단계; 및
상기 리트리브된 후속 운동 데이터에 기반하여 상기 가상 피트니스 경험을 제시하는 단계를 더 포함하는, 방법. - 제1 항에 있어서,
상기 디스플레이에 대한 정보 포지션에 반복 카운터를 사용하여 현재 반복 카운트를 상기 디스플레이 상에 제시하는 단계 ― 상기 반복 카운터는 상기 현재 반복 카운트를 선택적으로 증분시키고 상기 리트리브된 운동 데이터와 상관되는 시작 값으로 시작하도록 구성되며, 상기 리트리브된 운동 데이터는 추천된 총 반복들 및 추천된 지속기간을 포함함 ―;
상기 캡처된 모션 데이터의 프레임들 내에서 상기 물리적 환경에 대한 상기 아이웨어 디바이스의 반복 모션을 검출하는 단계;
상기 검출된 반복 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 단계;
상기 제1 미리 정의된 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 단계;
상기 정보 포지션에 인접하게 상기 디스플레이 상에 포지셔닝된 스톱워치를 사용하여 현재 시간을 제시하는 단계; 및
상기 추천된 지속기간 동안 상기 현재 시간을 1단위씩 증분시키는 단계를 더 포함하는, 방법. - 제4 항에 있어서,
후속 반복 모션을 검출하는 단계;
상기 검출된 후속 반복 모션이 후속 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 단계; 및
상기 후속 미리 정의된 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 단계를 더 포함하는, 방법. - 제2 항에 있어서,
프로그램 선택을 수신하는 단계;
상기 수신된 프로그램 선택에 기반하여 프로그램 데이터를 리트리브하는 단계 ― 상기 프로그램 데이터는 프로그램 타이틀 및 하나 이상의 세션 타이틀들을 포함하며, 하나 이상의 세션 타이틀들 각각은 활동 이름, 추천된 총 반복들 및 추천된 지속기간을 포함함 ―;
상기 세션 타이틀 및 제1 활동 이름을 상기 세션 포지션에서 상기 디스플레이 상에 제시하는 단계;
상기 세션 포지션에 인접하게 상기 디스플레이 상에 포지셔닝된 반복 윈도우를 사용하여 현재 추천된 총 반복들을 제시하는 단계;
상기 프로그램 타이틀을 상기 디스플레이에 대한 타이틀 포지션에서 상기 디스플레이 상에 제시하는 단계;
상기 리트리브된 프로그램 데이터와 연관된 시작 메시지를 상기 아바타를 통해 재생하는 단계;
상기 리트리브된 프로그램 데이터와 연관된 강의를 상기 아바타를 통해 재생하는 단계; 및
레슨과 관련한 시연을 상기 아바타 포지션에 인접한 상기 디스플레이 상에서 수행하도록 상기 아바타를 애니메이팅하는 단계를 더 포함하며, 상기 시연은 상기 리트리브된 프로그램 데이터에 기반하는, 방법. - 제6 항에 있어서,
상기 가상 피트니스 경험을 제시하는 프로세스는,
상기 타이틀 포지션에 인접하게 포지셔닝된 그래픽 제어 엘리먼트를 상기 디스플레이 상에 제시하는 단계 ― 상기 그래픽 제어 엘리먼트는 재생, 일시정지, 뒤로, 다음 및 정지로 구성된 그룹으로부터 선택된 하나 이상의 컨트롤들을 포함함 ―;
상기 아이웨어 디바이스에 커플링된 터치패드에 대한 현재 손가락 끝 로케이션을 검출하는 단계;
상기 검출된 현재 손가락 끝 로케이션에 따라 상기 디스플레이 상의 현재 엘리먼트 포지션에 이동 가능한 엘리먼트를 제시하는 단계;
상기 현재 엘리먼트 포지션에 가장 근접한 상기 그래픽 제어 엘리먼트의 제1 컨트롤을 식별하는 단계;
상기 터치패드에 대한 태핑 제스처를 검출하는 단계; 및
상기 검출된 태핑 제스처에 따라 상기 제1 컨트롤에 대한 선택 액션을 실행하는 단계를 더 포함하는, 방법. - 제1 항에 있어서,
상기 아이웨어 디바이스는 음성 인식 모듈을 더 포함하며,
상기 방법은,
상기 마이크로폰을 사용하여 인간 음성을 수신하는 단계;
상기 수신된 음성을 오디오 데이터의 프레임들로 변환하는 단계;
상기 음성 인식 모듈을 사용하여, 상기 오디오 데이터의 프레임들에 기반한 제1 질의를 식별하는 단계; 및
상기 식별된 제1 질의에 대한 응답으로 상기 라우드스피커를 통해 제1 응답을 재생하는 단계를 더 포함하는, 방법. - 제1 항에 있어서,
상기 카메라의 시야 내에서 비디오 데이터의 프레임들을 캡처하는 단계;
상기 이미지 프로세싱 시스템을 사용하여, 상기 캡처된 비디오 데이터의 프레임들 내에서 운동 장치를 검출하는 단계;
상기 검출된 운동 장치와 연관된 장치 데이터를 리트리브하는 단계; 및
상기 리트리브된 장치 데이터 및 상기 리트리브된 운동 데이터에 기반하여 상기 가상 피트니스 경험을 제시하는 단계를 더 포함하는, 방법. - 제9 항에 있어서,
상기 가상 피트니스 경험을 제시하는 프로세스는,
상기 디스플레이에 대한 아바타 포지션에 아바타를 제시하는 단계;
상기 리트리브된 장치 데이터와 연관된 시작 메시지를 상기 아바타를 통해 재생하는 단계;
상기 리트리브된 장치 데이터와 연관된 강의를 상기 아바타를 통해 재생하는 단계; 및
레슨과 관련한 시연을 상기 아바타 포지션에 인접한 상기 디스플레이 상에서 수행하도록 상기 아바타를 애니메이팅하는 단계를 더 포함하며, 상기 시연은 상기 리트리브된 장치 데이터에 기반하는, 방법. - 제9 항에 있어서,
상기 이미지 프로세싱 시스템을 사용하여, 상기 캡처된 비디오 데이터의 프레임들 내에서 반복 장치 모션을 검출하는 단계;
상기 검출된 반복 장치 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 활동들 중에서 제1 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 단계; 및
상기 제1 장치 반복 활동에 대한 응답으로 현재 반복 카운트를 1씩 증분시키는 단계를 더 포함하는, 방법. - 제11 항에 있어서,
후속 장치 모션을 검출하는 단계;
상기 후속 장치 모션이 후속 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 단계; 및
상기 후속 미리 정의된 장치 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 단계를 더 포함하는, 방법. - 가상 가이드 피트니스 시스템으로서,
카메라, 관성 측정 유닛, 마이크로폰, 라우드스피커, 가이드 피트니스 애플리케이션, 이미지 프로세싱 시스템, 메모리, 프로세서 및 디스플레이를 포함하는 아이웨어 디바이스;
상기 메모리 내의 프로그래밍을 포함하며, 상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 구성하며,
상기 기능들은,
상기 관성 측정 유닛을 사용하여 모션 데이터의 프레임들을 캡처하는 기능;
상기 캡처된 모션 데이터의 프레임들 내에서 물리적 환경에 대한 상기 아이웨어 디바이스의 디바이스 모션을 검출하는 기능;
상기 검출된 디바이스 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 운동 활동과 매칭되는지 여부를 결정하는 기능;
상기 제1 미리 정의된 운동 활동과 연관된 운동 데이터를 리트리브하는 기능; 및
상기 물리적 환경에 대한 오버레이로서 상기 리트리브된 운동 데이터에 기반하여 가상 피트니스 경험을 상기 디스플레이 상에 제시하는 기능을 포함하는, 가상 가이드 피트니스 시스템. - 제13 항에 있어서,
상기 가상 피트니스 경험을 제시하는 기능은,
상기 디스플레이에 대한 아바타 포지션에 아바타를 제시하는 기능;
상기 리트리브된 운동 데이터와 연관된 시작 메시지를 상기 아바타를 통해 재생하는 기능;
상기 리트리브된 운동 데이터와 연관된 강의를 상기 아바타를 통해 재생하는 기능 ― 상기 아바타를 통해 재생하는 프로세스는 텍스트 버블에서 텍스트를 제시하는 것, 상기 라우드스피커를 통해 오디오를 재생하는 것 및 상기 디스플레이 상에 비디오를 제시하는 것으로 구성된 그룹으로부터 선택된 하나 이상의 동작들을 포함함 ―; 및
레슨과 관련한 시연을 상기 아바타 포지션에 인접한 상기 디스플레이 상에서 수행하도록 아바타 애니메이션 엔진을 사용하여 상기 아바타를 애니메이팅하는 기능을 더 포함하며, 상기 시연은 상기 리트리브된 운동 데이터에 기반하는, 가상 가이드 피트니스 시스템. - 제13 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가 기능들을 수행하도록 상기 아이웨어 디바이스를 추가로 구성하며,
상기 추가 기능들은,
후속 디바이스 모션을 검출하는 기능;
상기 검출된 후속 디바이스 모션과 연관된 후속 운동 데이터를 리트리브하는 기능;
상기 리트리브된 후속 운동 데이터에 기반하여 상기 가상 피트니스 경험을 제시하는 기능;
상기 디스플레이에 대한 정보 포지션에 반복 카운터를 사용하여 현재 반복 카운트를 상기 디스플레이 상에 제시하는 기능 ― 상기 반복 카운터는 상기 현재 반복 카운트를 선택적으로 증분시키고 상기 리트리브된 운동 데이터와 상관되는 시작 값으로 시작하도록 구성되며, 상기 리트리브된 운동 데이터는 추천된 총 반복들 및 추천된 지속기간을 포함함 ―;
상기 캡처된 모션 데이터의 프레임들 내에서 상기 물리적 환경에 대한 상기 아이웨어 디바이스의 반복 모션을 검출하는 기능;
상기 검출된 반복 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 기능;
상기 제1 미리 정의된 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 기능;
상기 정보 포지션에 인접하게 상기 디스플레이 상에 포지셔닝된 스톱워치를 사용하여 현재 시간을 제시하는 기능;
상기 추천된 지속기간 동안 상기 현재 시간을 1단위씩 증분시키는 기능;
후속 반복 모션을 검출하는 기능;
상기 검출된 후속 반복 모션이 후속 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 기능; 및
상기 후속 미리 정의된 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 기능을 더 포함하는, 가상 가이드 피트니스 시스템. - 제13 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가 기능들을 수행하도록 상기 아이웨어 디바이스를 추가로 구성하며,
상기 추가 기능들은,
상기 이미지 프로세싱 시스템을 사용하여, 상기 캡처된 비디오 데이터의 프레임들 내에서 반복 장치 모션을 검출하는 기능;
상기 검출된 반복 장치 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 활동들 중에서 제1 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 기능;
상기 제1 장치 반복 활동에 대한 응답으로 현재 반복 카운트를 1씩 증분시키는 기능;
후속 장치 모션을 검출하는 기능;
상기 후속 장치 모션이 후속 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 기능; 및
상기 후속 미리 정의된 장치 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 기능을 포함하는, 가상 가이드 피트니스 시스템. - 프로그램 코드를 저장한 비-일시적 컴퓨터-판독 가능 매체로서, 상기 프로그램 코드는, 실행될 때, 전자 프로세서로 하여금,
아이웨어 디바이스의 관성 측정 유닛을 사용하여 모션 데이터의 프레임들을 캡처하는 단계 ― 상기 아이웨어 디바이스는 카메라, 마이크로폰, 라우드스피커, 가이드 피트니스 애플리케이션, 이미지 프로세싱 시스템 및 디스플레이를 더 포함함 ―;
상기 캡처된 모션 데이터의 프레임들 내에서 물리적 환경에 대한 상기 아이웨어 디바이스의 디바이스 모션을 검출하는 단계;
상기 검출된 디바이스 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 운동 활동과 매칭되는지 여부를 결정하는 단계;
상기 제1 미리 정의된 운동 활동과 연관된 운동 데이터를 리트리브하는 단계;
상기 물리적 환경에 대한 오버레이로서 상기 리트리브된 운동 데이터에 기반하여 가상 피트니스 경험을 상기 디스플레이 상에 제시하는 단계를 수행하게 하도록 동작하며, 상기 가상 피트니스 경험을 제시하는 단계는,
상기 디스플레이에 대한 아바타 포지션에 아바타를 제시하는 단계;
상기 리트리브된 운동 데이터와 연관된 시작 메시지를 상기 아바타를 통해 재생하는 단계;
상기 리트리브된 운동 데이터와 연관된 강의를 상기 아바타를 통해 재생하는 단계 ― 상기 아바타를 통해 재생하는 프로세스는 텍스트 버블에서 텍스트를 제시하는 것, 상기 라우드스피커를 통해 오디오를 재생하는 것 및 상기 디스플레이 상에 비디오를 제시하는 것으로 구성된 그룹으로부터 선택된 하나 이상의 동작들을 포함함 ―; 및
레슨과 관련한 시연을 상기 아바타 포지션에 인접한 상기 디스플레이 상에서 수행하도록 상기 아바타를 애니메이팅하는 단계를 더 포함하며, 상기 시연은 상기 리트리브된 운동 데이터에 기반하는, 비-일시적 컴퓨터-판독 가능 매체. - 제17 항에 있어서,
상기 가상 피트니스 경험을 제시하는 단계는,
상기 디스플레이에 대한 정보 포지션에 반복 카운터를 사용하여 현재 반복 카운트를 상기 디스플레이 상에 제시하는 단계 ― 상기 반복 카운터는 상기 현재 반복 카운트를 선택적으로 증분시키고 상기 리트리브된 운동 데이터와 상관되는 시작 값으로 시작하도록 구성되며, 상기 리트리브된 운동 데이터는 추천된 총 반복들 및 추천된 지속기간을 포함함 ―;
상기 캡처된 모션 데이터의 프레임들 내에서 상기 물리적 환경에 대한 상기 아이웨어 디바이스의 반복 모션을 검출하는 단계;
상기 검출된 반복 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 운동 활동들 중에서 제1 미리 정의된 반복 활동과 매칭되는지 여부를 결정하는 단계;
상기 제1 미리 정의된 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 단계;
상기 정보 포지션에 인접하게 상기 디스플레이 상에 포지셔닝된 스톱워치를 사용하여 현재 시간을 제시하는 단계; 및
상기 추천된 지속기간 동안 상기 현재 시간을 1단위씩 증분시키는 단계를 더 포함하는, 비-일시적 컴퓨터-판독 가능 매체. - 제17 항에 있어서,
상기 가상 피트니스 경험을 제시하는 단계는,
상기 카메라의 시야 내에서 비디오 데이터의 프레임들을 캡처하는 단계;
상기 이미지 프로세싱 시스템을 사용하여, 상기 캡처된 비디오 데이터의 프레임들 내에서 운동 장치를 검출하는 단계;
상기 검출된 운동 장치와 연관된 장치 데이터를 리트리브하는 단계; 및
상기 리트리브된 장치 데이터 및 상기 리트리브된 운동 데이터에 기반하여 상기 가상 피트니스 경험을 제시하는 단계를 더 포함하는, 비-일시적 컴퓨터-판독 가능 매체. - 제18 항에 있어서,
상기 가상 피트니스 경험을 제시하는 단계는,
상기 이미지 프로세싱 시스템을 사용하여, 상기 캡처된 비디오 데이터의 프레임들 내에서 반복 장치 모션을 검출하는 단계;
상기 검출된 반복 장치 모션이 활동 라이브러리에 저장된 복수의 미리 정의된 활동들 중에서 제1 미리 정의된 장치 반복 활동과 매칭되는지 여부를 결정하는 단계; 및
상기 제1 장치 반복 활동에 대한 응답으로 상기 현재 반복 카운트를 1씩 증분시키는 단계를 더 포함하는, 비-일시적 컴퓨터-판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/321,178 US11998798B2 (en) | 2021-05-14 | 2021-05-14 | Virtual guided fitness routines for augmented reality experiences |
| US17/321,178 | 2021-05-14 | ||
| PCT/US2022/028515 WO2022240829A1 (en) | 2021-05-14 | 2022-05-10 | Virtual guided fitness routines for augmented reality experiences |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240009974A true KR20240009974A (ko) | 2024-01-23 |
Family
ID=81854435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237042914A KR20240009974A (ko) | 2021-05-14 | 2022-05-10 | 증강 현실 경험들을 위한 가상 가이드 피트니스 루틴들 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11998798B2 (ko) |
| EP (1) | EP4338164A1 (ko) |
| KR (1) | KR20240009974A (ko) |
| CN (1) | CN117597743A (ko) |
| WO (1) | WO2022240829A1 (ko) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9345957B2 (en) | 2011-09-30 | 2016-05-24 | Microsoft Technology Licensing, Llc | Enhancing a sport using an augmented reality display |
| US20220245880A1 (en) | 2015-01-07 | 2022-08-04 | Visyn Inc. | Holographic multi avatar training system interface and sonification associative training |
| JP5996138B1 (ja) | 2016-03-18 | 2016-09-21 | 株式会社コロプラ | ゲームプログラム、方法およびゲームシステム |
| CA3042535C (en) * | 2016-11-03 | 2022-05-17 | Zimmer, Inc. | Augmented reality therapeutic movement display and gesture analyzer |
| US20190160339A1 (en) | 2017-11-29 | 2019-05-30 | Board Of Trustees Of Michigan State University | System and apparatus for immersive and interactive machine-based strength training using virtual reality |
| US10453264B1 (en) * | 2018-04-05 | 2019-10-22 | Stone Patents | System for simulating a virtual fitness partner |
| KR20210058969A (ko) | 2018-09-28 | 2021-05-24 | 스냅 인코포레이티드 | 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 |
| US11145126B1 (en) * | 2019-06-27 | 2021-10-12 | Facebook Technologies, Llc | Movement instruction using a mirror in an artificial reality environment |
| EP3996822A4 (en) * | 2019-07-11 | 2023-07-05 | Elo Labs, Inc. | INTERACTIVE PERSONAL TRAINING SYSTEM |
| US11442685B2 (en) | 2019-09-09 | 2022-09-13 | Autodesk, Inc. | Remote interaction via bi-directional mixed-reality telepresence |
-
2021
- 2021-05-14 US US17/321,178 patent/US11998798B2/en active Active
-
2022
- 2022-05-10 WO PCT/US2022/028515 patent/WO2022240829A1/en active Application Filing
- 2022-05-10 EP EP22726913.1A patent/EP4338164A1/en active Pending
- 2022-05-10 CN CN202280047453.2A patent/CN117597743A/zh active Pending
- 2022-05-10 KR KR1020237042914A patent/KR20240009974A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN117597743A (zh) | 2024-02-23 |
| US11998798B2 (en) | 2024-06-04 |
| EP4338164A1 (en) | 2024-03-20 |
| US20220362631A1 (en) | 2022-11-17 |
| WO2022240829A1 (en) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11531402B1 (en) | Bimanual gestures for controlling virtual and graphical elements | |
| US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
| US20220206588A1 (en) | Micro hand gestures for controlling virtual and graphical elements | |
| CN116324677A (zh) | 响应于检测到的手势的非接触式照片捕获 | |
| US11887246B2 (en) | Generating ground truth datasets for virtual reality experiences | |
| CN115768537A (zh) | 使用定位追踪的交互式增强现实体验 | |
| US20230256297A1 (en) | Virtual evaluation tools for augmented reality exercise experiences | |
| US11998798B2 (en) | Virtual guided fitness routines for augmented reality experiences | |
| US20240050831A1 (en) | Instructor avatars for augmented reality experiences | |
| US20240079031A1 (en) | Authoring tools for creating interactive ar experiences | |
| US20240077983A1 (en) | Interaction recording tools for creating interactive ar stories | |
| US20240077984A1 (en) | Recording following behaviors between virtual objects and user avatars in ar experiences | |
| US20220358689A1 (en) | Curated contextual overlays for augmented reality experiences | |
| US20240119928A1 (en) | Media control tools for managing communications between devices | |
| US12013985B1 (en) | Single-handed gestures for reviewing virtual content | |
| US20240071020A1 (en) | Real-world responsiveness of a collaborative object | |
| US20240070299A1 (en) | Revealing collaborative object using countdown timer | |
| US20240069642A1 (en) | Scissor hand gesture for a collaborative object |