KR102320754B1 - 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원 - Google Patents

전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원 Download PDF

Info

Publication number
KR102320754B1
KR102320754B1 KR1020190157394A KR20190157394A KR102320754B1 KR 102320754 B1 KR102320754 B1 KR 102320754B1 KR 1020190157394 A KR1020190157394 A KR 1020190157394A KR 20190157394 A KR20190157394 A KR 20190157394A KR 102320754 B1 KR102320754 B1 KR 102320754B1
Authority
KR
South Korea
Prior art keywords
radar
gesture
user
visual
movement
Prior art date
Application number
KR1020190157394A
Other languages
English (en)
Other versions
KR20210040243A (ko
Inventor
다니엘 퍼 젭손
로렌 마리 베달
비그네시 사치다난담
모그윈 퀸 맥카티
브랜든 찰스 바벨로
알렉산더 리
레오나르도 기우스티
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20210040243A publication Critical patent/KR20210040243A/ko
Application granted granted Critical
Publication of KR102320754B1 publication Critical patent/KR102320754B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/872—Combinations of primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/44—Monopulse radar, i.e. simultaneous lobing
    • G01S13/4454—Monopulse radar, i.e. simultaneous lobing phase comparisons monopulse, i.e. comparing the echo signals received by an interferometric antenna arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/68—Radar-tracking systems; Analogous systems for angle tracking only
    • G01S13/685—Radar-tracking systems; Analogous systems for angle tracking only using simultaneous lobing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/027—Constructional details of housings, e.g. form, type, material or ruggedness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 문서는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하여 사용자의 숙련도를 지원하는 기법을 설명한다. 설명된 기법을 사용하여, 전자 디바이스는 전자 디바이스 및 전자 디바이스에서 실행되는 애플리케이션과 인터렉션하기 위해 사용자에 의해 수행된 레이더 기반 터치 독립적 제스처(레이더 제스처)를 검출하고 결정하기 위한 레이더 시스템을 이용할 수 있다. 전자 디바이스를 제어하거나 인터렉션하기 위해 레이더 제스처를 사용하려면 사용자는 레이더 제스처를 올바르게 수행해야 한다. 따라서, 설명된 기법은 또한 사용자가 자연스럽게 레이더 제스처를 배우고 연습할 수 있는 게임 또는 튜토리얼 환경을 제공한다. 게임 또는 튜토리얼 환경은 또한 레이더 제스처가 적절하게 이루어졌을 때와 레이더 제스처가 적절하게 이루어지지 않았을 때, 사용자에게 피드백을 제공하는 시각적 게임 엘리먼트를 제공하여, 학습과 연습이 사용자에게 즐거운 경험이 되도록 한다.

Description

전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원{FACILITATING USER-PROFICIENCY IN USING RADAR GESTURES TO INTERACT WITH AN ELECTRONIC DEVICE}
우선권 출원
본 출원은 35 USC §119(e)에 따라 2019년 10월 3일자로 출원된 미국 특허 가출원 번호 62/910,135 "전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원"에 대해 우선권을 주장하며, 그 전체의 내용이 본 명세서에 참고로서 통합된다.
스마트폰, 웨어러블 컴퓨터, 태블릿 및 기타 전자 디바이스는 개인용 및 업무용으로 사용된다. 사용자는 음성 및 터치를 통해 그들과 통신하고, 회의 및 이벤트에 대한 가상 어시스턴트와 같이 취급하고, 디지털 미디어를 소비하고, 프리젠테이션 및 기타 문서를 공유한다. 또한, 기계 학습 기법은 이들 디바이스들로 하여금 상기 디바이스들을 사용하는 것에 대한 사용자의 선호 중 일부를 예측하게 할 수 있다. 그러나 이 모든 컴퓨팅 파워와 인공 지능에서 이러한 디바이스들은 여전히 반응형 커뮤니케이터이다. 즉, 스마트폰은 "스마트"하고, 많은 사용자들이 스마트폰이 사람인 것처럼 스마트폰과 대화하지만, 전자 디바이스는 사용자가 디바이스와 인터렉션한 후에만 작업을 수행하고 피드백을 제공할 수 있다. 사용자는 음성, 터치 및 다른 입력 기법을 포함하는 많은 방식으로 전자 디바이스와 인터렉션할 수 있다. 새로운 기술적 기능과 구성이 도입됨에 따라, 사용자는 새로운 입력 기법이나 기존 입력 기법을 사용하기 위한 다른 방식을 배워야만 할 수 있다. 이러한 새로운 기법과 방법을 학습한 후에만 사용자는 사용가능한 새로운 구성, 애플리케이션 및 기능을 활용할 수 있다. 새로운 기능 및 입력 방법에 대한 경험이 부족하면, 종종 디바이스에 대한 사용자 경험이 좋지 않게 된다.
본 문서는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하여 사용자의 숙련도를 지원하는 기법 및 시스템을 설명한다. 기법 및 시스템은 레이더 필드를 사용하여 전자 디바이스로 하여금 전자 디바이스 근처에서 사용자의 존재 또는 부재를 정확하게 결정하게 하고, 사용자가 전자 디바이스와 인터렉션하기 위해서 한 리치(reach) 또는 다른 레이더 제스처를 검출하게 한다. 또한, 전자 디바이스는 사용자가 전자 디바이스와 인터렉션하는데 사용될 수 있는 레이더 제스처를 올바르게 하는 방법을 사용자가 학습할 수 있게 하는 애플리케이션을 포함한다. 애플리케이션은 사용자가 전자 디바이스와 인터렉션하거나 제어하는데 효과적인 레이더 제스처를 어떻게 하는지를 학습할 수 있는 게임, 튜토리얼 또는 다른 포맷일 수 있다. 이 애플리케이션은 기계 학습 기법과 모델을 사용하여 레이더 시스템과 전자 디바이스가 상이한 사용자가 레이더 제스처를 어떻게 하는지 더 잘 인식하도록 한다. 애플리케이션 및 기계 학습 기능은 레이더 제스처 사용에 대한 사용자의 숙련도를 향상시키고 사용자로 하여금 레이더 제스처의 가용성에 의해 제공되는 추가 기능 및 구성을 활용할 수 있게 하여 사용자 경험을 향상시킬 수 있다.
아래에 설명된 양태들은 레이더-제스처 가능 전자 디바이스에 의해 수행되는 방법을 포함한다. 방법은 상기 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제1 시각적 게임 엘리먼트를 제시하는 단계를 포함한다. 방법은 또한 레이더 시스템에 의해 제공된 레이더 필드에서 사용자의 제1 움직임에 대응하는 제1 레이더 데이터를 수신하는 단계를 포함하고, 상기 레이더 시스템은 상기 레이더-제스처-가능 전자 디바이스에 포함되거나 또는 그와 연관된다. 방법은 상기 제1 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 제1 레이더 제스처를 포함하는지 여부를 결정하는 단계를 포함한다. 방법은 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함한다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하는 단계를 더 포함하고, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 성공적 진행을 표시한다. 대안적으로, 방법은 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하는 단계를 포함하며, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션은 상기 시각적 게임 플레이 진행의 실패를 표시한다.
아래에 설명되는 다른 양태들은 레이더 시스템, 컴퓨터 프로세서 및 컴퓨터 판독가능 매체를 포함하는 레이더-제스처-가능 전자 디바이스를 포함한다. 레이더 시스템은 적어도 부분적으로 하드웨어로 구현되고 레이더 필드를 제공한다. 레이더 시스템은 또한 레이더 필드에서 사용자로부터의 반사를 감지하고, 레이더 필드에서 사용자로부터의 반사를 분석하고, 반사의 분석에 기초하여 레이더 데이터를 제공한다. 컴퓨터 판독가능 매체는 제스처 트레이닝 모듈을 구현하기 위해 하나 이상의 컴퓨터 프로세서에 의해 실행될 수 있는 저장된 명령어를 포함한다. 제스처 트레이닝 모듈은 시각적 게임 플레이의 컨텍스트에서, 상기 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제1 시각적 게임 엘리먼트를 제시한다. 제스처 트레이닝 모듈은 또한 상기 레이더 필드에서의 상기 사용자의 제1 움직임에 대응하는 상기 레이더 데이터의 제1 서브셋을 수신한다. 제스처 트레이닝 모듈은 상기 레이더 데이터의 제1 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 제1 레이더 제스처를 포함하는지 여부를 결정한다. 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함한다는 결정에 응답하여, 제스처 트레이닝 모듈은 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하며, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 성공적 진행을 표시한다. 대안적으로, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다는 결정에 응답하여, 제스처 트레이닝 모듈은 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하며, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션은 상기 시각적 게임 플레이 진행의 실패를 표시한다.
다른 양태에서, 레이더 시스템, 컴퓨터 프로세서 및 컴퓨터 판독가능 매체를 포함하는 레이더-제스처-가능 전자 디바이스가 기술된다. 레이더 시스템은 적어도 부분적으로 하드웨어로 구현되고 레이더 필드를 제공한다. 레이더 시스템은 또한 레이더 필드에서 사용자로부터의 반사를 감지하고, 레이더 필드에서 사용자로부터의 반사를 분석하고, 반사의 분석에 기초하여 레이더 데이터를 제공한다. 레이더-제스처-가능 전자 디바이스는 시각적 게임 플레이의 컨텍스트에서, 상기 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제1 시각적 게임 엘리먼트를 제시하기 위한 수단을 포함한다. 레이더-제스처-가능 전자 디바이스는 또한 상기 레이더 필드에서의 상기 사용자의 제1 움직임에 대응하는 상기 레이더 데이터의 제1 서브셋을 수신하기 위한 수단을 포함한다. 레이더-제스처-가능 전자 디바이스는 상기 레이더 데이터의 상기 제1 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 제1 레이더 제스처를 포함하는지 여부를 결정하기 위한 수단을 포함한다. 레이더-제스처-가능 전자 디바이스는 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함한다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하기 위한 수단을 더 포함하고, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 성공적 진행을 표시한다. 대안적으로, 레이더-제스처-가능 전자 디바이스는 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하기 위한 수단을 포함하며, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션은 상기 시각적 게임 플레이 진행의 실패를 표시한다.
본 요약은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하여 사용자의 숙련도를 지원하는 단순화된 개념을 소개하기 위해 제공된다. 단순화된 개념은 아래의 상세한 설명에서 추가로 설명된다. 본 요약은 청구된 발명의 필수적 구성을 식별하기 위한 것이 아니며, 청구된 발명의 범위를 결정하는데 사용하도록 의도된 것도 아니다.
전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 사용자의 숙련도를 지원하는 양태는 다음 도면을 참조하여 설명된다. 도면 전체에서 동일한 구성 및 컴포넌트를 참조하기 위해 동일한 번호가 사용된다.
도 1은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 기법이 구현될 수 있는 예시적 동작 환경을 도시한다.
도 2는 도 1의 예시적 동작 환경에서 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 예시적 구현예를 도시한다.
도 3는 도 1의 예시적 동작 환경에서 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 다른 예시적 구현예를 도시한다.
도 4은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 것이 구현될 수 있는 레이더 시스템을 포함하는 전자 디바이스의 예시적 구현예를 도시한다.
도 5는 도 1 및 4의 레이더 시스템의 예시적 구현예를 도시한다.
도 6은 도 5의 레이더 시스템을 위한 수신 안테나 엘리먼트의 예시적 구성을 도시한다.
도 7는 도 1 및 4의 레이더 시스템의 예시적 구현예의 추가적 세부사항을 도시한다.
도 8는 도 1 및 4의 레이더 시스템에 의해 구현될 수 있는 예시적 스키마를 도시한다.
도 9는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 시각적 엘리먼트 및 시각적 피드백 엘리먼트를 가지는 튜토리얼 환경을 사용하는 예시적 방법을 도시한다.
도 10-22는 도 9에 설명된 튜토리얼 환경 방법과 함께 사용되는 시각적 엘리먼트 및 시각적 피드백 엘리먼트의 예를 도시한다.
도 23는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 시각적 게임 엘리먼트 및 시각적 게임 엘리먼트의 애니메이션을 포함하는 게임 환경을 사용하는 다른 예시적 방법을 도시한다.
도 24-33는 도 23에 설명된 게임 환경 방법과 함께 사용되는 시각적 게임 엘리먼트 및 시각적 게임 엘리먼트의 애니메이션의 예를 도시한다.
도 34는 도 1 내지 33을 참조하여 설명된 바와 같이 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하게 하는 기법이 구현될 수 있는, 임의의 유형의 클라이언트, 서버 및/또는 전자 디바이스로서 구현될 수 있는 예시적 컴퓨팅 시스템을 도시한다.
개요
본 문서는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하여 사용자의 숙련도를 지원하는 기법 및 시스템을 설명한다. 설명된 기법은 전자 디바이스 및 전자 디바이스에서 실행되는 애플리케이션 또는 프로그램과 인터렉션하기 위해 사용자에 의해 수행된 레이더 기반 터치 독립적 제스처(레이더 제스처)를 검출하고 결정하는 레이더 시스템을 이용할 수 있다. 레이더 제스처가 전자 디바이스를 제어하거나 인터렉션하기 위해 사용되기 위해서는, 사용자는 개별 레이더 제스처를 적절하게 하거나 수행해야 한다(그렇지 않으면, 레이더 제스처가 무시되거나 제스처가 아닌 것이 제스처로서 검출될 위험이 있다). 따라서, 설명된 기법은 또한 사용자가 자연스럽게 레이더 제스처를 배우고 연습할 수 있는 튜토리얼 또는 게임 환경을 제시하는 애플리케이션을 사용한다. 튜토리얼 또는 게임 환경은 또한 레이더 제스처가 적절하게 이루어졌을 때와 레이더 제스처가 적절하게 이루어지지 않았을 때, 사용자에게 피드백을 제공하는 시각적 피드백 엘리먼트를 제공하여, 학습과 연습이 사용자에게 즐거운 경험이 되도록 한다.
이 설명에서, "레이더 기반 터치 독립적 제스처", "3D 제스처"또는 "레이더 제스처"라는 용어는 전자 디바이스로부터 멀리 떨어진 공간에서의 제스처의 성질을 지칭한다(예를 들어, 제스처는 제스처가 터치를 배제하지는 않지만 사용자 디바이스를 터치할 것을 요하지 않는다). 레이더 제스처 자체는 종종 평면에서 왼쪽 상단에서 오른쪽 하단으로의 스와이프로 구성된 레이더 제스처와 같이 2차원에 있는 능동적 정보 컴포넌트만 가질 수 있지만, 레이더 제스처는 전자 디바이스로부터의 거리를 가질 수 있기 때문에("제3의"차원 또는 깊이), 본 명세서에서 논의된 레이더 제스처는 일반적으로 3차원으로 간주될 수 있다. 레이더 기반 터치 독립적 제스처를 통해 제어 입력을 수신할 수 있는 애플리케이션은 레이더 제스처 애플리케이션 또는 레이더 가능 애플리케이션이라고 한다.
설명된 레이더 시스템 및 튜토리얼(또는 게임) 애플리케이션이 포함된 예시적 스마트폰을 고려한다. 이 예에서, 사용자는 튜토리얼 또는 게임을 런칭하고, 전자 디바이스의 디스플레이 상에 제시된 엘리먼트와 인터렉션한다. 사용자는 사용자가 레이더 제스처를 할 것을 요구하는 엘리먼트와 인터렉션하거나 게임을 한다. 사용자가 레이더 제스처를 적절하게 하면, 튜토리얼이 진행되거나 게임 플레이가 연장된다(또는 진행된다). 사용자가 레이더 제스처를 부적절하게 하면, 애플리케이션은 사용자가 제스처를 하는데 도움이 되는 다른 피드백을 제공한다. 레이더 제스처는 제스처와 함께 사용될 레이더-제스처 애플리케이션의 유형 또는 레이더 제스처의 유형(예를 들어, 수평적 스와이프, 수직적 스와이프 또는 핀치 확장 또는 축소)과 같은 팩터들에 따라 변할 수 있는 다양한 기준에 기초하여 성공(예를 들어, 적절하게 이루어진) 것으로 결정된다. 예를 들어, 기준은 레이더 제스처의 형상, 레이더 제스처의 속도 또는 레이더 제스처의 완료 동안 사용자의 손이 전자 디바이스에 얼마나 가까운지를 포함할 수 있다.
설명된 기법 및 시스템은 다른 구성들과 함께 레이더 시스템을 사용하여, 사용자의 제스처 및 전자 디바이스에서의 레이더-제스처 애플리케이션의 동작에 기초하여 시각적 피드백 및 게임 플레이를 포함하는 유용하고 보상적인 사용자 경험을 제공한다. 특정한 레이더-제스처 애플리케이션에 대한 사용자의 지식 및 인식에만 의존하지 않고, 전자 디바이스는 레이더 제스처의 성공 또는 실패를 표시하는 피드백을 사용자에게 제공할 수 있다. 일부 종래의 전자 디바이스는 상이한 입력 방법을 사용하기 위한 지시를 포함할 수 있다(예를 들어, 디바이스 패키징 또는 문서의 일부로서). 예를 들어, 전자 디바이스는 패키징 삽입물에 몇 개의 다이어그램 또는 웹사이트 주소를 제공할 수 있다. 일부 경우에, 애플리케이션에 "도움말" 기능이 있을 수 있다. 그러나, 종래의 전자 디바이스는 일반적으로 사용자에게 전자 디바이스의 기능 및 전자 디바이스와의 인터렉션에 대해 교육할 수 있는 유용하고 풍부한 주변 경험을 제공할 수 없다.
이들은 어떻게 기술된 기법 및 시스템이 전자 디바이스와의 인터렉션을 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는데 사용될 수 있는지에 관한 일부 예시들이지만, 다른 예시들 및 구현예들이 본 명세서 전반에 걸쳐 기술된다. 본 문서는 이제 예시적 동작 환경을 설명하고 그 후에 예시적 디바이스, 방법 및 시스템이 설명된다.
동작 환경
도 1은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 기법이 구현될 수 있는 예시적 환경(100)을 도시한다. 예시적 환경(100)은 지속적 레이더 시스템(104), 지속적 제스처 트레이닝 모듈(106)(제스처 트레이닝 모듈(106)) 및 선택적으로 하나 이상의 비-레이더 센서(108)(비-레이더 센서(108))를 포함하거나 이와 연관된 전자 디바이스(102)를 포함한다. 레이더 시스템(104) 또는 제스처 트레이닝 모듈(106)과 관련하여 용어 "지속적(persistent)"은 (휴면 모드, 참여 모드 또는 활성 모드와 같이 다양한 모드에서 동작할 수 있는) 레이더 시스템(104) 또는 제스처 트레이닝 모듈(106)을 활성화시키는데 사용자 인터렉션이 필요하지 않음을 의미한다. 일부 구현예에서, "지속적" 상태는(예를 들어, 사용자에 의해) 일시정지되거나 꺼질 수 있다. 다른 구현예에서, "지속적" 상태는 전자 디바이스(102)(또는 다른 전자 디바이스)의 하나 이상의 파라미터에 따라 스케쥴링되거나 달리 관리될 수 있다. 예를 들어, 전자 디바이스(102)가 밤과 낮 모두에 켜지더라도, 낮 시간 동안만 동작하도록 사용자는 "지속적" 상태를 스케줄링할 수 있다. 비-레이더 센서(108)는 오디오 센서(예를 들어, 마이크로폰), 터치 입력 센서(예를 들어, 터치스크린), 모션 센서, 또는 이미지 캡처 디바이스(예: 카메라 또는 비디오 카메라)와 같은 임의의 다양한 디바이스일 수 있다.
예시적 환경(100)에서, 레이더 시스템(104)은 도 5 내지 8을 참조하여 후술되는 바와 같이, 하나 이상의 레이더 신호 또는 파형을 전송함으로써 레이더 필드(110)를 제공한다. 레이더 필드(110)는 레이더 시스템(104)이 레이더 신호 및 파형의 반사를 검출할 수 있는 공간의 볼륨이다(예를 들어, 공간의 볼륨에서 물체로부터 반사된 레이더 신호 및 파형). 레이더 필드(110)는 구, 반구, 타원체, 원뿔, 하나 이상의 로브 또는 비대칭 형상(예를 들어, 레이어데 의해 침투될 수 없는 장애물의 어느 한쪽 측면을 덮을 수 있음)과 같은 다수의 형상으로 구성될 수 있다. 레이더 시스템(104)은 또한 전자 디바이스(102) 또는 다른 전자 디바이스가 레이더 필드(110)에서 물체 또는 움직임으로부터의 반사를 감지하고 분석할 수 있게 한다.
레이더 시스템(104)의 일부 구현예는 저전력 요구, 프로세싱 효율 요구, 공간 및 안테나 엘리먼트의 레이아웃의 한계점과 같은 이슈와 다른 이슈의 수렴이 존재하는 전자 디바이스(102)와 같은 스마트폰의 맥락에서 적용될 때 특히 이점이 있고, 그리고 미세한 손 제스처들의 레이더 검출이 요구되는 스마트폰의 특정 맥락에서 더욱 이점이 있다. 구현예는 미세한 레이더 검출 손 제스처가 요구되는 스마트폰의 설명된 맥락에서 특히 이점이 있지만, 본 발명의 구성 및 이점의 적용가능성이 반드시 그렇게 제한되는 것은 아니며, (도 4를 참조하여 도시된 것과 같은) 다른 유형의 전자 디바이스를 포함하는 다른 구현예들도 본 교시의 범위 내에 있다는 것이 인식될 것이다.
레이더 시스템(104)과의 또는 레이더 시스템(104)에 의한 인터렉션과 관련하여, 물체는 레이더 시스템(104)이 나무, 플라스틱, 금속, 직물, 인체, 인체의 일부(예를 들어, 전자 디바이스(102)의 사용자의 발, 손 또는 손가락)와 같이 레이더 반사를 감지하고 분석할 수 있는 다양한 물체 중 임의의 것일 수 있다. 도 1에 도시된 바와 같이, 물체는 사용자의 손(112)(사용자(112))이다. 도 5 내지 8을 참조하여 기술된 바와 같이, 반사의 분석에 기초하여, 레이더 시스템(104)은 레이더 필드(110)와 연관된 다양한 유형의 정보 및 사용자(112)(또는 사용자(112)의 일부)로부터의 반사를 포함하는 레이더 데이터를 제공할 수 있다(예를 들어, 레이더 시스템(104)은 레이더 데이터를 제스처 트레이닝 모듈(106)과 같은 다른 엔터티로 패스할 수 있다).
레이더 데이터는 물체(예를 들어, 레이더 필드(110)에서의 사용자(112) 또는 사용자(112)의 부분)로부터의 감지되고 분석된 반사에 기초하여, 시간에 따라 계속적으로 또는 주기적으로 제공될 수 있다. 사용자(112)의 포지션은 시간에 따라 변할 수 있고(예를 들어, 레이더 필드 내의 물체가 레이더 필드(110) 내에서 이동할 수 있음), 따라서 레이더 데이터는 변경된 포지션, 반사 및 분석에 대응하여 시간에 따라 변할 수 있다. 레이더 데이터는 시간에 따라 변할 수 있기 때문에, 레이더 시스템(104)은 상이한 시간 기간에 대응하는 레이더 데이터의 하나 이상의 서브셋을 포함하는 레이더 데이터를 제공한다. 예를 들어, 레이더 시스템(104)은 제1 시간 기간에 대응하는 레이더 데이터의 제1 서브셋, 제2 시간 기간에 대응하는 레이더 데이터의 제2 서브셋 등을 제공할 수 있다. 일부 경우에, 레이더 데이터의 상이한 서브셋은 전체적으로 또는 부분적으로 오버랩될 수 있다(예를 들어, 레이더 데이터의 하나의 서브셋은 레이더 데이터의 다른 서브셋과 동일한 데이터의 일부 또는 전부를 포함할 수 있다).
일부 구현예에서, 레이더 시스템(104)은 레이더 필드(110)를 제공하여, 시야(예를 들어, 전자 디바이스(102), 레이더 시스템(104) 또는 제스처 트레이닝 모듈(106)이 레이더 제스처를 결정할 수 있는 볼륨)가 전자 디바이스(102)의 대략 1미터 내에서 그리고 전자 디바이스의 디스플레이의 평면으로부터 측정된 대략 10도 보다 큰 각도 내에서 전자 디바이스 주변의 볼륨을 포함하도록 한다. 예를 들어, 제스처는 전자 디스플레이(102)로부터 대략 1미터 및 (디스플레이(114)의 평면으로부터 측정될 때) 대략 10도의 각도로 이루어질 수 있다. 다시 말해서, 레이더 시스템(104)의 시야는 전자 디바이스의 평면 또는 표면에 대략 수직인 대략 160도의 레이더 필드 볼륨을 포함할 수 있다.
또한 전자 디바이스(102)는 디스플레이(114) 및 애플리케이션 관리자(116)를 포함할 수 있다. 디스플레이(114)는 터치스크린, 액정 디스플레이(LCD), TFT LCD, IPS LCD, 용량성 터치스크린 디스플레이, OLDE 디스플레이, AMOLED 디스플레이, 수퍼 AMOLED 디스플레이 등과 같은 임의의 적합한 디스플레이 디바이스를 포함할 수 있다. 디스플레이(114)는 전자 디바이스(102)의 다양한 모드와 연관된 시각적 엘리먼트를 디스플레이하는데 사용되며, 이는 도 10 내지 33을 참조하여 더 상세히 설명된다. 애플리케이션 관리자(116)는 전자 디바이스(102)에서 동작하는 애플리케이션과 통신 및 인터렉션하여, 애플리케이션 간의 충돌(예: 프로세서 리소스 사용, 전력 사용 또는 전자 디바이스(102)의 다른 컴포넌트들에 대한 액세스)을 결정하고 해결할 수 있다. 또한 애플리케이션 관리자(116)는 터치, 음성 또는 레이더 제스처(및 레이더 제스처의 유형)와 같은 애플리케이션의 사용가능한 입력 모드를 결정하고 사용가능한 모드를 제스처 트레이닝 모듈(106)에 통신하기 위해 애플리케이션과 인터렉션할 수 있다.
전자 디바이스(102)는 레이더 제스처 검출과 같은 레이더 필드(110) 내에서 사용자(112)의 움직임을 검출할 수 있다. 예를 들어, 제스처-트레이닝 모듈(106)은 (독립적으로 또는 애플리케이션 관리자(116)를 통해) 전자 디바이스에서 동작하는 애플리케이션이 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 능력을 가지며(예를 들어, 레이더 제스처 애플리케이션이다), 그리고 어떤 유형의 제스처를 상기 레이저 제스처 애플리케이션이 수신할 수 있는지 결정할 수 있다. 레이더 제스처는 레이더 데이터에 기초하여(또는 이를 통해 결정된) 레이더 시스템(104)을 통해 수신될 수 있다. 예를 들어, 제스처 트레이닝 모듈(106)은 튜토리얼 또는 게임 환경을 사용자에게 제시할 수 있고, 제스처 트레이닝 모듈(106)(또는 레이더 시스템(104))은 전자 디바이스(102)의 제스처 존(118) 내에 있는 손 또는 물체와 같은 사용자(112)의 일부에 의해 수행된 모션 또는 움직임을 검출하기 위해 레이더 데이터의 하나 이상의 서브셋을 사용할 수 있다. 제스처 트레이닝 모듈(106)은 사용자의 모션이 레이더 제스처인지 여부를 결정할 수 있다. 예를 들어, 전자 디바이스는 또한 제스처 라이브러리(120)를 포함한다. 제스처 라이브러리(120)는 알려진 레이더 제스처 또는 레이더 제스처 템플릿과 관련된 데이터 또는 정보를 저장할 수 있는 메모리 디바이스 또는 위치이다. 제스처 트레이닝 모듈(106)은 제스처 존(118) 내의 사용자(112)의 움직임과 연관된 레이더 데이터를 제스처 라이브러리(120)에 저장된 데이터 또는 정보와 비교하여 사용자(112)의 움직임이 레이더 제스처인지를 결정할 수 있다. 제스처 존(118) 및 제스처 라이브러리(120)의 추가적인 세부사항은 후술된다.
제스처 존(118)은 레이더 시스템(104)(또는 다른 모듈 또는 애플리케이션)이 사용자 또는 사용자의 일부(예를 들어, 사용자의 손(112))에 의한 모션을 검출하고, 모션이 레이더 제스처인지 여부를 결정할 수 있는 전자 디바이스(102) 주변의 영역 또는 볼륨이다. 레이더 필드의 제스처 존은 레이더 필드보다 작은 지역 또는 영역이다(예를 들어, 제스처 존은 레이더 필드보다 작은 볼륨을 가지며 레이더 필드 내에 있다). 예를 들어, 제스처 존(118)은 미리 정의된, 가변의, 사용자 선택가능한 또는 다른 방법(예를 들어, 전력 요구사항, 잔존 배터리 수명, 이미징/깊이 센서 또는 다른 팩터)을 통해 결정된 정적 크기 및/또는 형상을 가지는 전자 디바이스 주변의 고정된 볼륨(예를 들어, 3, 5, 7, 9 또는 12 인치 내와 같은 전자 디바이스(102) 주변의 임계 거리)일 수 있다. 레이더 시스템(104)의 시야와 관련된 장점들에 더하여, 레이더 시스템(104)(및 연관 프로그램, 모듈 및 관리자)는 전자 디바이스(102)로 하여금 레이더 시스템이 동작하기 위해 빛이 필요하지 않기 때문에 저조도 또는 무광의 환경에서 사용자의 움직임을 검출하고 레이더 제스처를 결정할 수 있게 한다.
다른 경우에, 제스처 존(118)은 전자 디바이스(102), 레이더 시스템(104) 또는 제스처 트레이닝 모듈(106)에 의해 전자 디바이스(102)의 속도 또는 위치, 시간 전자 디바이스(102)에서 실행되는 애플리케이션의 상태와 같은 팩터 또는 또는 다른 팩터에 기초하여, 동적으로 그리고 자동적으로 조절가능한 전자 디바이스 주변의 볼륨일 수 있다. 레이더 시스템(104)이 더 먼 거리에서 레이더 필드(110) 내의 물체를 검출할 수 있지만, 제스처 존(118)은 전자 디바이스(102)와 레이더-제스처 애플리케이션으로 하여금 사용자에 의한 의도적 레이더 제스처와 사용자에 의해 의도된 것이 아닌 레이더 제스처와 유사한 다른 종류의 모션을 구별하게 한다. 제스처 존(118)은 대략 3, 5, 7, 9 또는 12인치 내와 같은 임계 거리로 구성될 수 있다. 일부 경우에, 제스처 존은 전자 디바이스로부터 상이한 임계 거리를 상이한 방향으로 연장할 수 있다(예를 들어, 쐐기형, 직사각형, 타원체 또는 비대칭 형상을 가질 수 있음). 제스처 존의 크기 또는 형상은 또한 시간에 따라 변할 수 있거나 전자 디바이스의 상태(예를 들어, 배터리 레벨, 배향, 잠금 또는 잠금 해제) 또는 환경(예: 주머니 또는 지갑, 자동차 또는 평평한 표면)과 같은 다른 팩터들에 기초할 수 있다.
일부 구현예에서, 제스처 트레이닝 모듈(106)은 레이더 제스처를 배우고 연습하기 위해, 사용자(112)가 레이더 제스처를 사용하여 전자 디바이스(102)와 인터렉션할 수 있는, 튜토리얼 또는 게임 환경을 제공하는데 사용될 수 있다. 예를 들어, 제스처 트레이닝 모듈은 사용자에게 어떻게 레이더 제스처를 하고 사용하는지 가르치기 위해 사용될 수 있는 엘리먼트를 디스플레이(114) 상에 제시할 수 있다. 엘리먼트는 시각적 엘리먼트, 시각적 게임 엘리먼트 또는 시각적 피드백 엘리먼트와 같은 임의의 적절한 엘리먼트일 수 있다. 도 1은 예시적 시각적 엘리먼트(122), 예시적 시각적 게임 엘리먼트(124) 및 예시적 시각적 피드백 엘리먼트(126)를 도시한다. 도 1의 시각적 간결성을 위해, 예시는 일반적인 형상으로 표현된다. 그러나, 이들 예시적 엘리먼트는 추상적 형상, 기하학적 형상, 심볼, 비디오 이미지(예를 들어, 디스플레이(114) 상에 제시된 내장 비디오) 또는 하나 이상의 형태의 조합과 같이 임의의 다양한 형태를 취할 수 있다. 다른 경우에, 엘리먼트는 사람 또는 동물(실제 또는 신화)과 같은 실제 또는 허구의 캐릭터 또는 Pikachu™와 같은 미디어 또는 게임 캐릭터일 수 있다. 이들 엘리먼트들과 관련된 추가적 예시들 및 세부사항은 도 2 내지 33을 참조하여 설명된다.
도 2에 도시된 예시를 고려하면, 도 2는 제스처 존(118) 내의 사용자(112)를 도시한다. 도 2에서, 예시적 시각적 엘리먼트(122-1)(공 컴포넌트 및 개 컴포넌트로 도시됨)가 디스플레이(114) 상에 제시된다. 이 예시에서, 제스처 트레이닝 모듈(106)은 사용자(112)가 왼쪽에서 오른쪽으로 스와이프 레이더 제스처(예를 들어, 사용자가 그 제스처를 하도록 트레이닝하기 위해)를 하도록 요청하기 위한 시각적 엘리먼트(122-1)를 제시한다고 가정한다. 또한, 시각적 엘리먼트(122-1)는 초기에 공 컴포넌트의 점선 표현에 의해 도시된 바와 같이 디스플레이(114)의 왼쪽 에지 근처에서 공 그리고 디스플레이(114)의 오른쪽 에지 근처에서 대기하는 개와 함께 제시된다. 예시를 계속하면, 사용자(112)는 화살표(202)로 도시된 바와 같이 왼쪽에서 오른쪽으로 손을 움직인다. 제스처 트레이닝 모듈(106)이 사용자의 움직임이 왼쪽에서 오른쪽으로 스와이프 레이더 제스처라고 결정한다고 가정한다. 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 사용자가 요청된 왼쪽에서 오른쪽으로 레이더 제스처를 성공적으로 수행했음을 표시하는 예시적 시각적 피드백 엘리먼트(126-1)를 제공할 수 있다. 예를 들어, 시각적 피드백 엘리먼트(126-1)는 시각적 엘리먼트(122-1)의 공 컴포넌트가 다른 화살표(204)에 의해 도시된 바와 같이 시각적 엘리먼트(122-1)의 개 컴포넌트(왼쪽에서 오른쪽으로)를 향해 이동하는 시각적 엘리먼트(122-1)의 애니메이션일 수 있다.
도 3에 도시된 다른 예시를 고려하면, 도 3은 제스처 존(118) 내의 사용자(112)를 도시한다. 도 3에서, 예시적 시각적 게임 엘리먼트(124-1)(농구공 컴포넌트 및 바스켓 컴포넌트로 도시됨)가 디스플레이(114) 상에 제시된다. 이 예시에서, 제스처 트레이닝 모듈(106)은 사용자(112)가 왼쪽에서 오른쪽으로 스와이프 레이더 제스처(예를 들어, 사용자가 그 제스처를 하도록 트레이닝하기 위해)를 하도록 요청하기 위한 시각적 게임 엘리먼트(124-1)를 제시한다고 가정한다. 또한, 시각적 엘리먼트(124-1)는 초기에 농구공 컴포넌트의 점선 표현에 의해 도시된 바와 같이 디스플레이(114)의 왼쪽 에지 근처에서 농구공 그리고 디스플레이(114)의 오른쪽 에지 근처에서 위치하는 바스켓 컴포넌트와 함께 제시된다. 예시를 계속하면, 사용자(112)는 화살표(302)로 도시된 바와 같이 왼쪽에서 오른쪽으로 손을 움직인다. 제스처 트레이닝 모듈(106)이 사용자의 움직임이 왼쪽에서 오른쪽으로 스와이프 레이더 제스처라고 결정한다고 가정한다. 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 사용자가 요청된 왼쪽에서 오른쪽으로 레이더 제스처를 성공적으로 수행했음을 표시하는 예시적 시각적 피드백 엘리먼트(126-2)를 제공할 수 있다. 예를 들어, 시각적 피드백 엘리먼트(126-2)는 시각적 엘리먼트(124-1)의 농구공 컴포넌트가 다른 화살표(304)에 의해 도시된 바와 같이 시각적 게임 엘리먼트(124-1)의 바스켓 컴포넌트(왼쪽에서 오른쪽으로)를 향해 이동하는 시각적 게임 엘리먼트(124-1)의 성공 애니메이션일 수 있다.
상기 예시(200 또는 300) 중 하나에서, 제스처 트레이닝 모듈(106)은 또한 사용자의 움직임이 요청된 제스처가 아니라고 결정할 수 있다. 움직임이 요청된 레이더 제스처가 아니라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 사용자가 요청된 왼쪽에서 오른쪽으로의 레이더 제스처를 성공적으로 수행하지 못했음을 표시하는 다른 시각적 피드백 엘리먼트를 제공할 수 있다(도 2 또는 도 3에 도시되지 않음). 시각적 엘리먼트(122), 시각적 게임 엘리먼트(124) 및 시각적 피드백 엘리먼트(126)의 추가 예시들이 도 10-22 및 24-33을 참조하여 설명된다. 이들 예시는 시각적 엘리먼트(122), 시각적 게임 엘리먼트(124) 및 시각적 피드백 엘리먼트(126)를 포함하는 설명된 기법이 어떻게 레이더 제스처를 배우고 연습할 수 있는 자연스럽고 즐거운 기회를 사용자에게 제공하는지 보여주며, 이는 전자 디바이스(102) 및 전자 디바이스(102)에서 실행되는 레이더-제스처 애플리케이션에 대한 사용자(112)의 경험을 향상할 수 있다.
보다 구체적으로, 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에 있어서 사용자 숙련도를 지원하는 양태를 구현할 수 있는, 전자 디바이스(102)(레이더 시스템(104), 제스처 트레이닝 모듈(106), 비-레이더 센서(108), 디스플레이(114), 애플리케이션 관리자(116) 및 제스처 라이브러리(120)를 포함)의 예시적 구현예(400)을 도시하는 도 4를 고려한다. 도 4의 전자 디바이스(102)는 스마트 폰(102-1), 태블릿(102-2), 랩톱(102-3), 데스크톱 컴퓨터(102-4), 컴퓨팅 워치(102-5), 게임 시스템(102-6), 컴퓨팅 안경(102-7), 홈 자동화 및 제어 시스템(102-8), 스마트 냉장고(102-9) 및 자동차(102-10)를 포함하는 다양한 예시적 디바이스들을 도시한다. 전자 디바이스(102)는 또한 텔레비전, 엔터테인먼트 시스템, 오디오 시스템, 드론, 트랙 패드, 드로잉 패드, 넷북, 전자 판독기, 홈 보안 시스템 및 기타 가전 제품과 같은 다른 디바이스들을 포함할 수 있다. 전자 디바이스(102)는 웨어러블 장치, 비-웨어러블이지만 모바일 디바이스 또는 상대적으로 비이동형 디바이스(예를 들어, 데스크톱 및 기기)일 수 있다. 본 개시에서 사용되는 용어 "웨어러블 디바이스"는 손목, 발목, 허리, 가슴 또는 다른 신체 부위와 같은 사람의 신체에 또는 그 근처에 착용될 수 있는 임의의 디바이스 또는 보철물(예: 시계, 팔찌, 반지, 목걸이, 기타 보석류, 안경, 신발류, 장갑, 머리띠 또는 기타 헤드웨어, 의류, 고글, 콘택트 렌즈)를 지칭한다.
일부 구현예에서, 전자 디바이스(102)의 예시적 전체 측면 치수는 대략 8cm x 대략 15cm일 수 있다. 레이더 시스템(104)의 예시적인 풋프린트는 안테나가 포함된 대략 4mm x 6mm와 같이 훨씬 더 제한될 수 있다. 레이더 시스템(104)에 대한 이러한 제한된 풋프린트에 대한 이러한 요구 사항은 이러한 공간 제한 패키지(예를 들어, 지문 센서, 비-레이더 센서(108) 등)에서 전자 디바이스(102)의 많은 다른 바람직한 구성을 수용하는 것이다. 전력 및 프로세싱 제한과 결합하여, 이 크기 요구 사항은 레이더-제스처 검출의 정확성 및 효율의 타협하게 할 수 있으며, 이들 중 적어도 일부는 본 명세서의 교시와 관련하여 극복될 수 있다.
전자 디바이스(102)는 또한 하나 이상의 컴퓨터 프로세서(402) 및 메모리 매체 및 저장 매체를 포함하는 하나 이상의 컴퓨터 판독가능 매체(404)를 포함한다. 컴퓨터 판독가능 매체(404) 상에 컴퓨터 판독가능 명령어로서 구현된 애플리케이션 및/또는 운영 체제(도시되지 않음)는 본 명세서에 기술된 기능의 일부 또는 전부를 제공하기 위해 컴퓨터 프로세서(402)에 의해 실행될 수 있다. 예를 들어, 프로세서(402)는 제스처 트레이닝 모듈(106) 및/또는 애플리케이션 관리자(116)를 구현하기 위해 컴퓨터 판독가능 매체(404) 상의 명령어를 실행하는 데 사용될 수 있다. 전자 디바이스(102)는 네트워크 인터페이스(406)를 포함할 수 있다. 전자 디바이스(102)는 유선, 무선 또는 광 네트워크를 통해 데이터를 통신하기 위해 네트워크 인터페이스(406)를 사용할 수 있다. 제한이 아닌 예로서, 네트워크 인터페이스(406)는 근거리 통신망(LAN), 무선 근거리 통신망(WLAN), 개인 영역 네트워크(PAN), 광역 통신망(WAN), 인트라넷, 인터넷, 피어 투 피어 네트워크, 지점 간 네트워크 또는 메시 네트워크를 통해 데이터를 통신할 수 있다.
레이더 시스템(104)의 다양한 구현예는 SoC(System-on-Chip), 하나 이상의 집적 회로(IC), 내장 프로세서 명령어를 갖는 프로세서 또는 메모리에 저장된 프로세서 명령어에 액세스하도록 구성된 프로세서, 내장 펌웨어를 갖는 하드웨어, 다양한 하드웨어 컴포넌트들을 갖는 인쇄 회로 기판 또는 이들의 임의의 조합을 포함할 수 있다. 레이더 시스템(104)은 자신의 레이더 신호를 송신 및 수신함으로써 단일 정적 레이더로서 동작할 수 있다.
일부 구현예에서, 레이더 시스템(104)은 또한 외부 환경 내에 있는 다른 레이더 시스템(104)과 협력하여 바이스태틱 레이더, 멀티스태틱 레이더 또는 네트워크 레이더를 구현할 수 있다. 그러나, 전자 디바이스(102)의 제약 또는 제한은 레이더 시스템(104)의 설계에 영향을 줄 수 있다. 전자 디바이스(102)는 예를 들어 레이더를 동작하는데 사용가능한 제한된 전력, 제한된 계산 능력, 크기 제약, 레이아웃 제한, 레이더 신호를 감쇄 또는 왜곡시키는 외부 하우징 등을 가질 수 있다. 레이더 시스템(104)은 도 5와 관련하여 아래에 더 설명되는 바와 같이, 이러한 제약의 존재 하에서 개선된 레이더 기능 및 고성능이 실현될 수 있게 하는 여러 구성을 포함한다. 도 1 및 도 4에서, 레이더 시스템(104), 제스처 트레이닝 모듈(106), 애플리케이션 관리자(116) 및 제스처 라이브러리(120)는 전자 디바이스(102)의 일부로서 도시되어 있다. 다른 구현예에서, 레이더 시스템(104), 제스처 트레이닝 모듈(106), 애플리케이션 관리자(116) 및 제스처 라이브러리(120) 중 하나 이상은 전자 디바이스(102)과 별개이거나 원격에 있을 수 있다.
이들 및 다른 능력 및 구성 뿐만 아니라 도 1의 엔터티가 동작하고 인터렉션하는 방식이 아래에 더 자세히 설명된다. 이들 엔터티는 추가로 분할되거나 결합될 수 있다. 도 1의 환경(100) 및 도 2 내지 34의 상세한 설명은 기술된 기법을 이용할 수 있는 많은 가능한 환경 및 디바이스들 중 일부를 도시한다. 도 5-8은 레이더 시스템(104)의 추가 세부 사항 및 구성을 설명한다. 도 5-8에서, 레이더 시스템(104)은 전자 디바이스(102)와 관련하여 기술되지만, 위에서 언급된 바와 같이, 기술된 시스템 및 기법의 구성 및 장점의 적용가능성은 반드시 그렇게 제한되는 것은 아니며, 다른 유형의 전자 디바이스들을 포함하는 다른 구현예들도 본 교시의 범위 내에 있을 수 있다.
도 5는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위해 사용될 수 있는 레이더 시스템(104)의 예시적 구현예(500)를 도시한다. 예시(500)에서, 레이더 시스템(104)은 통신 인터페이스(502), 안테나 어레이(504), 트랜시버(506), 프로세서(508) 및 시스템 매체(510)(예를 들어, 하나 이상의 컴퓨터 판독가능 저장 매체) 중 적어도 하나를 포함한다. 프로세서(508)는 디지털 신호 프로세서, 제어기, 애플리케이션 프로세서, 다른 프로세서(예를 들어, 전자 디바이스(102)의 컴퓨터 프로세서(402)) 또는 이들의 일부 조합으로 구현될 수 있다. 전자 디바이스(102)의 컴퓨터 판독가능 매체(404) 내에 포함되거나 이와 별개인 시스템 미디어(510)는 감쇠 완화기(514), 디지털 빔 형성기(516), 각도 추정기(518) 또는 전력 관리자(520) 중 하나 이상을 포함할 수 있다. 이들 모듈은 전자 디바이스(102) 내에 레이더 시스템(104)을 통합함으로써 그 영향을 보상 또는 완화할 수 있어, 레이더 시스템(104)이 작거나 복잡한 제스처를 인식하고, 사용자의 서로 다른 배향을 구별하며, 외부 환경을 지속적으로 모니터링하거나 또는 타겟 오경보률을 달성하게 한다. 이들 구성에 의해, 레이더 시스템(104)은 도 4에 도시된 디바이스들과 같은 다양한 다른 디바이스들 내에서 구현될 수 있다.
통신 인터페이스(502)를 사용하여, 레이더 시스템(104)은 레이더 데이터를 제스처 트레이닝 모듈(106)에 제공할 수 있다. 통신 인터페이스(502)는 전자 디바이스(102)와 별개로 구현되거나 내장된 레이더 시스템(104)에 기초한 무선 또는 유선 인터페이스일 수 있다. 애플리케이션에 따라, 레이더 데이터는 원시 또는 최소 프로세싱된 데이터, 동 위상 및 직교(I/Q) 데이터, 범위-도플러 데이터, 타겟 위치 정보(예를 들어, 범위, 방위각, 고도)를 포함하는 프로세싱된 데이터, 클러터 지도 데이터 등을 포함할 수 있다. 일반적으로, 레이더 데이터는 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 제스처 트레이닝 모듈(106)에 의해 사용 가능한 정보를 포함한다.
안테나 어레이(504)는 적어도 하나의 전송 안테나 엘리먼트(도시되지 않음) 및 적어도 2개의 수신 안테나 엘리먼트(도 6에 도시됨)를 포함한다. 일부 경우에, 안테나 어레이(504)는 한 번에 다수의 별개의 파형을 전송할 수 있는(예를 들어, 전송 안테나 엘리먼트마다 상이한 파형) 다중 입력 다중 출력(MIMO) 레이더를 구현하기 위해 다수의 전송 안테나 엘리먼트를 포함할 수 있다. 다중 파형의 사용은 레이더 시스템(104)의 측정 정확도를 증가시킬 수 있다. 수신 안테나 엘리먼트는 3개 이상의 수신 안테나 엘리먼트를 포함하는 구현을 위해 1차원 형상(예를 들어, 라인) 또는 2차원 형상으로 포지셔닝될 수 있다. 1차원 형상은 레이더 시스템(104)이 하나의 각도 치수(예를 들어, 방위각 또는 고도)를 측정할 수 있게 하고, 2차원 형상은 2개의 각도 치수가 측정될 수 있게 한다(예를 들어, 방위각 및 고도 모두). 수신 안테나 엘리먼트의 예시적 2차원 구성이 도 6과 관련하여 추가로 설명된다.
도 6은 수신 안테나 엘리먼트(602)의 예시적 구성(600)을 도시한다. 안테나 어레이(504)가 적어도 4개의 수신 안테나 엘리먼트(602)를 포함하면, 예를 들어, 수신 안테나 엘리먼트(602)는 도 6의 중앙에 도시된 바와 같이, 직사각형 배열(604-1)으로 구성될 수 있다. 대안적으로, 안테나 어레이(504)가 3개 이상의 수신 안테나 엘리먼트(602)를 포함하는 경우, 삼각 배열(604-2) 또는 L자 배열(604-3)이 사용될 수 있다.
전자 디바이스(102)의 크기 또는 레이아웃 제약으로 인해, 수신 안테나 엘리먼트(602) 사이의 엘리먼트 간격 또는 수신 안테나 엘리먼트(602)의 수량은 레이더 시스템(104)이 모니터링할 각도에 이상적이지 않을 수 있다. 특히, 엘리먼트 간격은 각도 모호성이 존재하게 하여 종래의 레이더가 타겟의 각도 포지션을 추정하는 것을 어렵게 할 수 있다. 따라서, 종래의 레이더는 각도 모호성을 갖는 모호한 존을 피하여 오검출을 감소시키기 위해 시야(예를 들어, 모니터링될 각도)를 제한할 수 있다. 예를 들어, 종래의 레이더는 5mm의 파장 및 3.5mm의 엘리먼트 간격을 사용하여 발생하는 각 모호성을 피하기 위해 시야를 약 -45도 내지 45도 사이의 각도로 제한할 수 있다(예를 들어, 엘리먼트 간격은 파장의 70%). 결과적으로, 종래의 레이더는 시야각의 45도 한계를 초과하는 표적을 검출하지 못할 수 있다. 대조적으로, 레이더 시스템(104)은 각도 모호성을 해결하고 레이더 시스템(104)이 대략 -90도 내지 90도 사이의 각도 또는 최대 약 -180도 및 180 도와 같이, 45도 한계를 초과하는 각도를 모니터링 할 수 있게 하는 디지털 빔 형성기(516) 및 각도 추정기(518)를 포함한다. 이들 각도 범위는 하나 이상의 방향(예를 들어, 방위각 및/또는 고도)에 걸쳐 적용될 수 있다. 따라서, 레이더 시스템(104)은 레이더 신호의 중심 파장의 절반보다 작거나 크거나 동일한 엘리먼트 간격을 포함하여 다양한 상이한 안테나 어레이 설계에 대해 낮은 오경보율을 실현할 수 있다.
안테나 어레이(504)를 사용하여, 레이더 시스템(104)은 조향되거나 조향되지 않거나, 넓거나 좁거나, 형상화된 빔을 형성할 수 있다(예를 들어, 반구, 큐브, 팬, 원뿔 또는 실린더로서). 예시로서, 하나 이상의 전송 안테나 엘리먼트(미도시)는 조향되지 않은 전방향성 방사 패턴을 가질 수 있거나 또는 넓은 전송 빔(606)과 같은 넓은 빔을 생성할 수 있다. 이들 기법 중 어느 하나는 레이더 시스템(104)이 많은 공간을 조명할 수 있게 한다. 그러나, 타겟 각도 정확도 및 각도 해상도를 달성하기 위해, 수신 안테나 엘리먼트(602) 및 디지털 빔 형성기(516)는 좁은 수신 빔(608)과 같은 좁고 조향된 수천개의 빔(예를 들어, 2000 빔, 4000 빔 또는 6000 빔)을 생성하는데 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104)은 외부 환경을 효율적으로 모니터링하고 외부 환경 내에서 반사의 도달각을 정확하게 결정할 수 있다.
도 4로 돌아가면, 트랜시버(506)는 안테나 어레이(504)를 통해 레이더 신호를 전송 및 수신하기 위한 회로 및 로직을 포함한다. 트랜시버(506)의 컴포넌트는 레이더 신호를 컨디셔닝하기 위한 증폭기, 믹서, 스위치, 아날로그-디지털 변환기, 필터 등을 포함할 수 있다. 트랜시버(506)는 또한 변조 또는 복조와 같은 동상/직교(I/Q) 동작을 수행하는 로직을 포함할 수 있다. 트랜시버(506)는 연속파 레이더 동작 또는 펄스 레이더 동작을 위해 구성될 수 있다. 선형 주파수 변조, 삼각 주파수 변조, 계단형 주파수 변조 또는 위상 변조를 포함하여 다양한 변조를 사용하여 레이더 신호를 생성할 수 있다.
트랜시버(506)는 1기가 헤르츠(GHz) 내지 400GHz, 4GHz 내지 100GHz, 또는 57GHz 내지 63GHz 사이와 같은 주파수 범위(예를 들어, 주파수 스펙트럼) 내에서 레이더 신호를 생성할 수 있다. 주파수 스펙트럼은 유사한 대역폭 또는 상이한 대역폭을 갖는 다중 서브 스펙트럼으로 분할될 수 있다. 대역폭은 500MHz, 1GHz, 2GHz 등의 정도일 수 있다. 예로서, 상이한 주파수 서브 스펙트럼은 대략 57GHz 내지 59GHz, 59GHz 내지 61GHz, 또는 61GHz 내지 63GHz 사이의 주파수를 포함할 수 있다. 동일한 대역폭을 갖고 연속적이거나 비연속적일 수 있는 다중 주파수 서브 스펙트럼이 또한 일관성을 위해 선택될 수 있다. 다중 주파수 서브 스펙트럼은 단일 레이더 신호 또는 다중 레이더 신호를 사용하여 동시에 전송되거나 시간적으로 분리될 수 있다. 연속적 주파수 서브 스펙트럼은 레이더 신호가 더 넓은 대역폭을 갖도록 하며, 비연속적 주파수 서브 스펙트럼은 각도 추정기(518)가 각도 모호성을 해결하게 하는 진폭 및 위상 차이를 더 강조할 수 있다. 감쇠 완화기(514) 또는 각도 추정기(518)는 도 7 내지 도 8에 대해 더 설명된 바와 같이, 트랜시버(506)가 레이더 시스템(104)의 성능을 향상시키기 위해 하나 이상의 주파수 서브 스펙트럼을 활용하게 할 수 있다.
전력 관리자(520)는 레이더 시스템(104)이 전자 디바이스(102) 내에서 내부적에서 또는 외부적으로 전력을 절약할 수 있게 한다. 일부 구현에서, 전력 관리자(520)는 제스처 트레이닝 모듈(106)과 통신하여 레이더 시스템(104) 또는 전자 디바이스(102) 중 하나 또는 둘 모두 내의 전력을 절약한다. 내부적으로, 예를 들어, 전력 관리자(520)는 레이더 시스템(104)이 미리 정의된 전력 모드 또는 특정 제스처 프레임 업데이트 레이트를 사용하여 데이터를 수집하게 할 수 있다. 제스처 프레임 업데이트 레이트는 레이더 시스템(104)이 하나 이상의 레이더 신호를 전송 및 수신함으로써 외부 환경을 얼마나 자주 능동적으로 모니터링하지를 나타낸다. 일반적으로 전력 소비는 제스처 프레임 업데이트 레이트에 비례한다. 이와 같이, 제스처 프레임 업데이트 레이트가 높을수록 레이더 시스템(104)에 의해 더 많은 양의 전력이 소비된다.
각 미리 정의된 전력 모드는 특정 프레이밍 구조, 특정 전송 전력 레벨 또는 특정한 하드웨어(예를 들어, 저전력 프로세서 또는 고전력 프로세서)와 연관될 수 있다. 이들 중 하나 이상을 조정하면 레이더 시스템(104)의 전력 소비에 영향을 준다. 그러나 전력 소비를 줄이면, 제스처 프레임 업데이트 레이트 및 응답 지연과 같은 성능에 영향을 준다. 이 경우에, 전력 관리자(520)는 제스처 프레임 업데이트 레이트, 응답 지연 및 전력 소비가 환경 내의 활동에 기초하여 함께 관리되도록 상이한 전력 모드 사이에서 동적으로 스위칭한다. 일반적으로, 전력 관리자(520)는 전력이 절약될 수 있는 시기 및 방법을 결정하고, 레이더 시스템(104)이 전자 디바이스(102)의 전력 제한 내에서 동작할 수 있도록 전력 소비를 점진적으로 조정한다. 일부 경우에, 전력 관리자(520)는 남은 가용 전력량을 모니터링하고, 그에 따라 레이더 시스템(104)의 동작을 조정할 수 있다. 예를 들어, 잔여 전력량이 적은 경우, 전력 관리자(520)는 고전력 모드로 스위칭하는 대신 저전력 모드에서 계속 동작할 수 있다.
예를 들어, 저전력 모드는 몇 헤르츠(예를 들어, 대략 1Hz 또는 5Hz 미만) 정도의 더 낮은 제스처 프레임 업데이트 레이트를 사용하고 몇 밀리와트(mW) 정도의 더 적은 전력을 소비할 수 있다(예를 들어, 대략 2mW 내지 4mW). 반면에, 고전력 모드는 수십 헤르츠(예를 들어, 대략 20Hz 또는 10Hz 이상) 정도의 더 높은 제스처 프레임 업데이트 레이트를 사용하고, 이는 레이더 시스템(104)로 하여금 수 밀리와트(mW) 정도의 더 많은 전력을 소비하게 한다(예를 들어, 대략 6mW 내지 20mW). 저전력 모드는 외부 환경을 모니터링하거나 접근하는 사용자를 검출하는데 사용될 수 있지만, 레이더 시스템(104)이 사용자가 제스처를 수행하기 시작한다고 결정하면 전력 관리자(520)는 고전력 모드로 스위칭할 수 있다. 상이한 트리거가 전력 관리자(520)로 하여금 상이한 전력 모드 사이에서 동적으로 스위칭하게 할 수 있다. 예시적 트리거는 모션 또는 모션의 부족, 사용자의 출현 또는 소멸, 사용자가 지정된 영역(예를 들어, 범위, 방위각 또는 고도에 의해 정의된 영역)으로 이동 또는 이탈, 사용자와 연관된 모션의 속도 변화 또는 반사된 신호 강도에서의 변화(예를 들어, 레이더 크로스 섹션의 변화로 인한)를 포함한다. 일반적으로, 사용자가 전자 디바이스(102)와 인터렉션할 가능성이 낮거나 더 긴 응답 지연을 사용하여 데이터를 수집하는 것을 선호한다고 표시하는 트리거는 전력을 절약하기 위해 저전력 모드가 활성화되게 한다.
각 전력 모드는 특정 프레이밍 구조와 연관될 수 있다. 프레이밍 구조는 레이더 신호의 전송 및 수신과 연관된 구성, 스케줄링 및 신호 특성을 지정한다. 일반적으로, 프레이밍 구조는 외부 환경에 기초하여 적절한 레이더 데이터가 수집될 수 있도록 설정된다. 프레이밍 구조는 상이한 애플리케이션(예를 들어, 근접 검출, 피처 인식 또는 제스처 인식)에 대한 상이한 유형의 레이더 데이터의 수집을 용이하게 하도록 커스터마이징될 수 있다. 프레이밍 구조의 각 레벨에 걸쳐 비활성 시간 동안, 전력 관리자(520)는 전력을 절약하기 위해 도 5의 트랜시버(506) 내의 컴포넌트를 끌 수 있다. 프레이밍 구조는 각 프레임 유형 내에서 조정가능한 듀티 사이클을 통해 전력을 절약할 수 있다. 예를 들어, 제1 듀티 사이클은 피처 프레임의 용량에 대한 활성 피처 프레임의 양에 기초할 수 있다. 예를 들어, 제2 듀티 사이클은 레이더 프레임의 용량에 대한 활성 레이더 프레임의 양에 기초할 수 있다. 예를 들어, 제3 듀티 사이클은 레이더 프레임의 지속시간에 대한 레이더 신호의 지속시간에 기초할 수 있다.
약 2mW의 전력을 소비하고 약 1Hz와 4Hz 사이의 제스처 프레임 업데이트 레이트를 갖는 저전력 모드에 대한 예시적 프레이밍 구조(미도시)를 고려한다. 이 예시에서, 프레이밍 구조는 대략 250ms 내지 1초의 지속시간을 갖는 제스처 프레임을 포함한다. 제스처 프레임은 31개의 펄스 모드 피처 프레임을 포함한다. 31개의 펄스 모드 피처 프레임 중 하나는 활성 상태이다. 이로 인해 듀티 사이클은 대략 3.2%가 된다. 각 펄스 모드 피처 프레임의 지속시간은 약 8ms와 32ms 사이다. 각 펄스 모드 피처 프레임 여덟 개 레이더 프레임으로 구성된다. 활성 펄스 모드 피처 프레임 내에서, 8개의 레이더 프레임이 모두 활성 상태이다. 이로 인해 듀티 사이클은 대략 100%가 된다. 각 레이더 프레임의 지속시간은 약 1ms와 4ms 사이다. 각 활성 레이더 프레임 내의 활성 시간은 약 32μs~ 28μs이다. 따라서, 결과 듀티 사이클은 약 3.2%이다. 이 예시적 프레이밍 구조는 우수한 성능 결과를 산출하는 것으로 밝혀졌다. 이러한 우수한 성능 결과는 우수한 제스처 인식 및 존재 검출과 관련하여 저전력 상태의 핸드헬드 스마트폰의 애플리케이션 컨텍스트에서 우수한 전력 효율 결과를 제공한다. 이 예시적 프레이밍 구조에 기초하여, 전력 관리자(520)는 레이더 시스템(104)이 레이더 데이터를 능동적으로 수집하지 않는 시간을 결정할 수 있다. 이 비활성 시간 기간에 기초하여, 전력 관리자(520)는 아래에 더 설명되는 바와 같이, 레이더 시스템(104)의 동작 상태를 조정하고 트랜시버(506)의 하나 이상의 컴포넌트를 끄는 것에 의해 전력을 절약할 수 있다.
전력 관리자(520)는 또한 트랜시버(506) 내에서 하나 이상의 컴포넌트(예를 들어, 전압 제어 발진기, 멀티플렉서, 아날로그-디지털 변환기, 위상 잠금 루프 또는 수정 발진기)를 끔으로써 비활성 시간 기간 동안 전력을 절약할 수 있다. 이러한 비활성 시간 기간은 레이더 시스템(104)이 레이더 신호를 능동적으로 전송 또는 수신하지 않는 경우에 발생하며, 이는 마이크로 초(μs), 밀리 초(ms) 또는 초(들) 정도일 수 있다. 또한, 전력 관리자(520)는 신호 증폭기에 의해 제공되는 증폭량을 조정함으로써 레이더 신호의 전송 전력을 수정할 수 있다. 또한, 전력 관리자(520)는 전력을 절약하기 위해 레이더 시스템(104) 내의 상이한 하드웨어 컴포넌트들의 사용을 제어할 수 있다. 프로세서(508)가 저전력 프로세서 및 고전력 프로세서(예를 들어, 상이한 양의 메모리 및 계산 능력을 갖는 프로세서)를 포함하는 경우, 예를 들면, 전력 관리자(520)는 저레벨 분석(예를 들어, 아이들 모드 구현, 모션 검출, 사용자의 위치 결정 또는 환경 모니터링)을 위해 저전력 프로세서를, 제스처 트레이닝 모듈(106)에 의해 고충실도 또는 정확한 레이더 데이터가 요청되는 상황(예를 들어, 인식 모드, 참여 모드 또는 활성 모드, 제스처 인식 또는 사용자 오리엔테이션을 구현하기 위해)에 대해 고전력 프로세서를 활용하는 것 사이에서 스위칭할 수 있다.
또한, 전력 관리자(520)는 전자 디바이스(102) 주변 환경의 컨텍스트를 결정할 수 있다. 이러한 컨텍스트에서, 전력 관리자(520)는 어떤 전력 상태가 사용가능하고, 어떻게 구성되는지를 결정할 수 있다. 예를 들어, 전자 디바이스(102)가 사용자의 주머니에 있다면, 사용자가 전자 디바이스(102)에 근접한 것으로 검출되지만, 레이더 시스템(104)은 높은 제스처 프레임 업데이트 레이트로 고전력 모드에서 동작할 필요가 없다. 따라서, 전력 관리자(520)는 사용자가 전자 디바이스(102)에 근접한 것으로 검출되더라도 레이더 시스템(104)이 저전력 모드로 유지되게 하고, 디스플레이(114)를 꺼지게 하거나 다른 저전력 상태에 있게 한다. 전자 디바이스(102)는 레이더 시스템(104)과 함께 임의의 적합한 비-레이더 센서(108)(예를 들어, 자이로스코프, 가속도계, 광 센서, 근접 센서, 용량성 센서 등)를 사용하여 환경의 컨텍스트을 결정할 수 있다. 컨텍스트는 시간, 날짜, 명/암, 사용자 근처의 사용자 수, 주변 소음 레벨, 전자 디바이스(102)에 대한 주변 물체들의 이동 속도(사용자 포함) 등을 포함할 수 있다.
도 7는 전자 디바이스(102) 내의 레이더 시스템(104)의 예시적 구현예(700)의 추가적 세부사항을 도시한다. 예시(700)에서, 안테나 어레이(504)는 유리 커버 또는 외부 케이스와 같은 전자 디바이스(102)의 외부 하우징 아래에 포지셔닝된다. 재료 속성에 따라, 외부 하우징은 레이더 시스템(104)에 의해 전송 및 수신되는 레이더 신호를 감쇠 또는 왜곡시키는 감쇠기(702)로서 작용할 수 있다. 감쇠기(702)는 상이한 유형의 유리 또는 플라스틱을 포함할 수 있으며, 이들 중 일부는 디스플레이 스크린, 외부 하우징 또는 전자 디바이스(102)의 다른 컴포넌트들 내에서 발견될 수 있고, 대략 4 내지 10의 유전 상수(예를 들어, 비유전율)를 갖는다. 따라서, 감쇠기(702)는 레이더 신호(706)에 대해 불투명하거나 반투명하며, (반사된 부분(704)에 의해 도시된 바와 같이) 전송 또는 수신된 레이더 신호(706)의 일부가 반사되게 할 수 있다. 종래의 레이더의 경우, 감쇠기(702)는 모니터링될 수 있는 유효 범위를 감소 시키거나, 작은 표적이 검출되는 것을 방해하거나, 전체 정확도를 감소시킬 수 있다.
레이더 시스템(104)의 전송 전력이 제한되고, 외부 하우징을 재설계하는 것이 바람직하지 않다고 가정하면, 레이더 신호(706)의 하나 이상의 감쇠-의존적 속성(예를 들어, 주파수 서브 스펙트럼(708) 또는 조향각(710)) 또는 감쇠기(702)의 감쇠-의존적 속성들(예를 들어, 감쇠기(702)와 레이더 시스템(104) 사이의 거리(712) 또는 감쇠기(702)의 두께(714))은 감쇠기(702)의 효과를 완화시키도록 조정된다. 이들 특성 중 일부는 제조 중에 설정되거나 레이더 시스템(104)의 동작 중에 감쇠 완화기(514)에 의해 조정될 수 있다. 감쇠 완화기(514)는, 예를 들어, 트랜시버(506)가 선택된 주파수 서브 스펙트럼(708) 또는 조향각(710)을 사용하여 레이더 신호(706)를 전송하게 하고, 거리(712)를 변경하기 위해 플랫폼이 레이더 시스템(104)을 감쇠기(702)로부터 더 가깝거나 멀게 이동하게 하고, 감쇠기(702)의 두께(714)를 증가시키기 위해 다른 감쇠기를 적용하도록 사용자에게 프롬프트하게 한다.
적절한 조정은 감쇠기(702)의 미리 결정된 특성(예를 들어, 전자 디바이스(102)의 컴퓨터 판독가능 매체(404)에 또는 시스템 미디어(510) 내에 저장된 특성)에 기초하여, 감쇠 완화기(514)에 의해 또는 감쇠기(702)의 하나 이상의 특성을 측정하기 위해서 레이더 신호(706)의 리턴들을 프로세싱함으로써 이루어진다. 감쇠-의존적 특성 중 일부가 고정되거나 제한되더라도, 감쇠 완화기(514)는 각 파라미터의 균형을 맞추고 타겟 레이더 성능을 달성하기 위해 이러한 제한을 고려할 수 있다. 결과적으로, 감쇠 완화기(514)는 레이더 시스템(104)이 감쇠기(702)의 반대쪽에 위치한 사용자를 검출하고 추적하기 위해 향상된 정확도 및 더 큰 유효 범위를 실현할 수 있게 한다. 이들 기법은 디바이스가 한 번 생산되면 어렵고 비쌀 수 있는, 레이더 시스템(104)의 전력 소비를 증가시키는 전송 전력을 증가시키거나 감쇠기(702)의 재료 속성을 변경하는 대안을 제공한다.
도 8는 레이더 시스템(104)에 의해 구현될 수 있는 예시적 스키마(800)를 도시한다. 스키마(800)의 일부는 프로세서(508), 컴퓨터 프로세서(402) 또는 다른 하드웨어 회로에 의해 수행될 수 있다. 스키마(800)는 상이한 유형의 전자 디바이스 및 레이더 기반 애플리케이션(예를 들어, 제스처 트레이닝 모듈(106))을 지원하도록 커스터마이징될 수 있고, 또한 레이더 시스템(104)이 설계 제약에도 불구하고 타겟 각도 정확도를 달성할 수 있게 한다.
트랜시버(506)는 수신된 레이더 신호에 대한 수신 안테나 엘리먼트(602)의 개별 응답에 기초하여 원시 데이터(raw data)(802)를 생성한다. 수신된 레이더 신호는 각도 모호성 해결을 지원하기 위해 각도 추정기(518)에 의해 선택되었던 하나 이상의 주파수 서브 스펙트럼(804)과 연관될 수 있다. 주파수 서브 스펙트럼(804)은 예를 들어, 사이드 로브(sidelobe)의 양을 감소시키거나 사이드 로브의 진폭을 감소시키도록 선택될 수 있다(예를 들어, 진폭을 0.5dB, 1dB 이상 감소). 주파수 서브 스펙트럼의 양은 레이더 시스템(104)의 타겟 각도 정확도 또는 계산 한계에 기초하여 결정될 수 있다.
원시 데이터(802)는 수신 안테나 엘리먼트(602)와 각각 연관된 시간 기간, 상이한 파수 및 다수의 채널에 대한 디지털 정보(예를 들어, 동 위상 및 직교 데이터)를 포함한다. FFT(Fast-Fourier Transform)(806)는 원시 데이터(802)에 대해 수행되어 사전 프로세싱된 데이터(808)를 생성한다. 사전-프로세싱된 데이터(808)는 상이한 범위(예를 들어, 범위 빈(range bin)) 및 다수의 채널에 대한 시간 기간에 걸친 디지털 정보를 포함한다. 범위-도플러 데이터(812)를 생성하기 위해 사전-프로세싱된 데이터(808)에 대해 도플러 필터링 프로세스(810)가 수행된다. 도플러 필터링 프로세스(810)는 다수의 레인지 빈, 다수의 도플러 주파수 및 다수의 채널에 대한 진폭 및 위상 정보를 생성하는 다른 FFT를 포함할 수 있다. 디지털 빔 형성기(516)는 범위-도플러 데이터(812)에 기초하여 빔 형성(beamforming) 데이터(814)를 생성한다. 빔 형성 데이터(814)는 방위 및/또는 고도의 세트에 대한 디지털 정보를 포함하며, 이는 상이한 조향 각도 또는 빔이 디지털 빔 형성기(516)에 의해 형성되는 시야를 나타낸다. 도시되지 않았지만, 디지털 빔 형성기(516)는 대안적으로 사전-프로세싱된 데이터(808)에 기초하여 빔 포밍 데이터(814)를 생성할 수 있고, 도플러 필터링 프로세스(810)는 빔 포밍 데이터(814)에 기초하여 범위-도플러 데이터(812)를 생성할 수 있다. 계산의 양을 감소시키기 위해, 디지털 빔 형성기(516)는 관심 범위, 시간 또는 도플러 주파수 간격에 기초하여 범위-도플러 데이터(812) 또는 사전-프로세싱된 데이터(808)의 일부를 프로세싱할 수 있다.
디지털 빔 형성기(516)는 단일-룩 빔 형성기(816), 멀티-룩 간섭계(818) 또는 멀티-룩 빔 형성기(820)를 사용하여 구현될 수 있다. 일반적으로, 단일-룩 빔 형성기(816)는 결정성 물체(예를 들어, 단일 위상 중심을 갖는 포인트 소스 타겟)에 사용될 수 있다. 비-결정성 타겟(예를 들어, 다중 위상 중심을 갖는 타겟)에 대해, 멀티-룩 간섭계(818) 또는 멀티-룩 빔 형성기(820)는 단일-뷰 빔 형성기(816)에 비해 정확도를 향상시키기 위해 사용된다. 사람은 비-결정성 타겟의 예이며, 824-1 및 824-2에 도시된 바와 같이, 상이한 종횡 각에 기초하여 변할 수 있는 다중 위상 중심(822)을 갖는다. 다중 위상 중심(822)에 의해 생성된 구조적 또는 파괴적 간섭의 변화는 종래의 레이더가 각도 포지션를 정확하게 결정하는 것을 어렵게 할 수 있다. 그러나, 멀티-룩 간섭계(818) 또는 멀티-룩 빔 형성기(820)는 빔 형성 데이터(814)의 정확도를 증가시키기 위해 코헤런트 평균화(coherent averaging)를 수행한다. 멀티-룩 간섭계(818)는 각도 정보를 정확하게 결정하는데 사용될 수 있는 위상 정보를 생성하기 위해 2개의 채널을 연접하게 평균화한다. 한편, 멀티-룩 빔 형성기(820)는 푸리에, Capon, 다중 신호 분류(MUSIC), 또는 최소 분산 왜곡 감소 응답(MVDR)과 같은 선형 또는 비선형 빔 형성기를 사용하여 2개 이상의 채널을 연접하게 평균화할 수 있다. 멀티-룩 빔 형성기(820) 또는 멀티-룩 간섭계(818)를 통해 제공되는 증가된 정확도는 레이더 시스템(104)이 작은 제스처를 인식하거나 사용자의 여러 부분을 구별할 수 있게 한다.
각도 추정기(518)는 빔 형성 데이터(814)를 분석하여 하나 이상의 각도 포지션을 추정한다. 각도 추정기(518)는 신호 프로세싱 기법, 패턴 매칭 기법 혹은 기계 학습을 이용할 수 있다. 각도 추정기(518)는 또한 레이더 시스템(104)의 설계 또는 레이더 시스템(104)이 모니터링하는 시야에서 발생할 수 있는 각 모호성을 해결한다. 예시적 각도 모호성은 진폭 플롯(826)(예를 들어, 진폭 응답) 내에 도시된다.
진폭 플롯(826)은 타겟의 상이한 각도 포지션 및 상이한 조향 각도(710)에 대해 발생할 수 있는 진폭 차이를 도시한다. 제1 각도 포지션(830-1)에 포지셔닝된 타겟에 대한 제1 진폭 응답(828-1)(실선으로 도시됨)이 도시된다. 유사하게, 제2 각도 포지션(830-2)에 포지셔닝된 타겟에 대한 제2 진폭 응답(828-2)(점선으로 도시됨)이 도시된다. 이 예에서는 -180도에서 180도 사이의 각도에서 차이가 고려된다.
진폭 플롯(826)에 도시된 바와 같이, 2개의 각도 포지션(830-1 및 830-2)에 대해 모호한 존이 존재한다. 제1 진폭 응답(828-1)은 제1 각도 포지션(830-1)에서 가장 높은 피크를 갖고, 제2 각도 포지션(830-2)에서 더 작은 피크를 갖는다. 가장 높은 피크는 타겟의 실제 포지션에 해당하지만, 더 작은 피크는 종래의 레이더가 타겟이 제1 각도 포지션(830-1) 또는 제2 각도 포지션(830-2)에 있는지 여부를 자신있게 결정할 수 없는 임계치 내에 있기 때문에 제1 각도 포지션(830-1)을 모호하게 한다. 반대로 제2 진폭 응답(828-2)은 제2 각도 포지션(830-2)에서 더 작은 피크를 가지고, 제1 각도 포지션(830-1)에서 가장 높은 피크를 갖는다. 이 경우, 더 작은 피크는 타겟의 위치에 해당한다.
종래의 레이더는 각도 포지션을 결정하기 위해 가장 높은 피크 진폭을 사용하는 것으로 제한될 수 있지만, 각도 추정기(518)는 대신 진폭 응답(828-1 및 828-2)의 형상의 미묘한 차이를 분석한다. 형상의 특성은 예를 들어, 롤오프, 피크 또는 널(null) 폭, 피크 또는 널의 각도 위치, 피크 및 널의 높이 또는 깊이, 사이드 로브의 형상, 진폭 응답(828-1 또는 828-2) 내의 대칭(828-1) 또는 진폭 응답(828-1 또는 828-2) 내에서 대칭성의 결여를 포함할 수 있다. 위상 응답에서 유사한 형상 특성을 분석할 수 있으며, 이는 각도 모호성을 해결하기 위한 추가 정보를 제공할 수 있다. 따라서, 각도 추정기(518)는 고유 각도 서명 또는 패턴을 각도 포지션에 매핑한다.
각도 추정기(518)는 전자 디바이스(102)의 유형(예를 들어, 계산 능력 또는 전력 제약) 또는 제스처 트레이닝 모듈(106)에 대한 타겟 각도 해상도에 따라 선택될 수 있는 일련의 알고리즘 또는 툴을 포함할 수 있다. 일부 구현예에서, 각도 추정기(518)는 신경망(832), 컨볼루션 신경망(CNN)(834) 또는 LSTM(long short-term memory) 네트워크(836)를 포함할 수 있다. 신경망(832)은 다양한 깊이 또는 양의 히든 레이어(예를 들어, 3개의 히든 레이어, 5개의 히든 레이어 또는 10개의 히든 레이어)를 가질 수 있고, 또한 상이한 양의 연결을 포함할 수 있다(예를 들어, 신경 네트워크(832)는 완전히 연결된 신경 네트워크 또는 부분적으로 연결된 신경 네트워크를 포함할 수 있음). 일부 경우에, CNN(834)은 각도 추정기(518)의 계산 속도를 증가시키기 위해 사용될 수 있다. LSTM 네트워크(836)는 각도 추정기(518)가 타겟을 추적할 수 있게 하는데 사용될 수 있다. 기계 학습 기법을 사용하여, 각도 추정기(518)는 비선형 함수를 사용하여 진폭 응답(828-1 또는 828-2)의 형상을 분석하고, 각도 확률 데이터(838)를 생성하며, 이는 사용자 또는 사용자의 일부가 각도 빈 내에 있을 가능성을 나타낸다. 각도 추정기(518)는 전자 디바이스(102)의 왼쪽 또는 오른쪽에 있는 타겟의 확률을 제공하기 위해 또는 2개의 각도 빈과 같은 몇 개의 각도 빈에 대한 또는 수천개의 각도 빈들에 대한(예를 들어, 연속 각도 측정을 위한 각도 확률 데이터(838)를 제공하기 위해) 각도 확률 데이터(838)를 제공할 수 있다.
각도 확률 데이터(838)에 기초하여, 추적기 모듈(840)은 타겟의 각도 위치를 식별하는 각도 포지션 데이터(842)를 생성한다. 추적기 모듈(840)은 각도 확률 데이터(838)에서 가장 높은 확률을 갖는 각도 빈 또는 예측 정보(예를 들어, 이전에 측정된 각도 위치 정보)에 기초하여 타겟의 각도 위치를 결정할 수 있다. 추적기 모듈(840)은 또한 레이더 시스템(104)이 타겟을 자신있게 식별하거나 구별할 수 있도록 하나 이상의 이동 타겟을 계속 추적할 수 있다. 범위, 도플러, 속도 또는 가속도를 포함한 다른 데이터를 사용하여 각도 포지션을 결정할 수도 있다. 일부 경우에, 추적기 모듈(840)은 알파-베타 추적기, 칼만 필터, 다중 가설 추적기(MHT) 등을 포함할 수 있다.
양자화 모듈(844)은 각도 포지션 데이터(842)를 획득하고 양자화된 각도 포지션 데이터(846)를 생성하기 위해 데이터를 양자화한다. 양자화는 제스처 트레이닝 모듈(106)에 대한 타겟 각도 해상도에 기초하여 수행될 수 있다. 일부 상황에서, 양자화된 각도 포지션 데이터(846)가 타겟이 전자 디바이스(102)의 오른쪽에 있는지 왼쪽에 있는지를 나타내거나 또는 타겟이 위치하는 90도 사분면을 식별하도록 더 적은 양자화 레벨이 사용될 수 있다. 이것은 사용자 근접 검출과 같은 일부 레이더 기반 애플리케이션에 충분할 수 있다. 다른 상황에서, 양자화된 각도 포지션 데이터(846)가 1도, 1도, 5도 등의 분수의 정확도 내에서 타겟의 각도 포지션을 나타내도록 더 많은 수의 양자화 레벨이 사용될 수 있다. 이 해상도는 제스처 인식과 같은 고해상도 레이더 기반 애플리케이션 또는 본 명세서에 기술된 제스처 존, 인식 존, 인식 모드, 참여 모드 또는 활성 모드의 구현예에서 사용될 수 있다. 일부 구현예에서, 디지털 빔 형성기(516), 각도 추정기(518), 추적기 모듈(840) 및 양자화 모듈(844)은 단일 기계 학습 모듈에서 함께 구현된다.
이들 및 다른 능력 및 구성뿐만 아니라 도 1-8의 엔터티들티가 동자갛고 인터렉션하는 방식들이 아래에 설명된다. 설명된 엔터티는 다른 센서 또는 컴포넌트 등과 함께 추가로 분할, 결합, 사용될 수 있다. 이러한 방식으로, 레이더 시스템(104) 및 비-레이더 센서의 상이한 구성을 갖는 전자 디바이스(102)의 상이한 구현예들이 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 양태를 구현하는데 사용될 수 있다. 도 1의 예시적 동작 환경(100) 및 도 2 내지 8의 상세한 설명은 기술된 기법을 이용할 수 있는 많은 가능한 환경 및 디바이스들 중 일부를 도시한다.
예시적 방법들
도 9-22 및 23-33은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자의 숙련도를 지원하는 예시적 방법들(900 및 2300)을 도시한다. 방법들(900 및 2300)은 전자 디바이스(102)(및 레이더 시스템(104)와) 같은 레이더 필드를 제공할 수 있는 디스플레이, 컴퓨터 프로세서 및 레이더 시스템을 포함하거나 이와 연관된 전자 디바이스로 수행될 수 있다. 레이더 시스템 및 레이더 필드는 레이더 필드 내의 물체들(예를 들어, 사용자(112) 또는 손(112)과 같은 사용자의 일부)로부터 레이더 필드의 반사에 기초하여 레이더 데이터를 제공할 수 있다. 예를 들어, 레이더 데이터는 도 1-8을 참조하여 설명된 바와 같이 레이더 시스템(104)에 의해 생성 및/또는 수신될 수 있다. 레이더 데이터는 레이더 필드에서의 사용자의 존재 및 사용자에 의해 만들어진 제스처(예를 들어, 레이더 제스처)와 같은 전자 디바이스와 사용자의 인터렉션을 결정하는데 사용된다. 사용자의 존재, 움직임 및 제스처의 결정에 기초하여, 전자 디바이스는 기능의 상이한 모드에 진입하거나 종료할 수 있고, 시각적 엘리먼트, 시각적 게임 엘리먼트, 시각적 피드백 엘리먼트를 포함하는 상이한 엘리먼트들을 디스플레이 상에 제시할 수 있다.
방법들(900 및 2300)을 참조하여 설명된 시각적 엘리먼트는 전자 디바이스가 전자 디바이스와 레이더-제스처 인터렉션을 수행함에 있어서 사용자에게 트레이닝 및 연습을 제공할 수 있게 한다. 또한, 시각적 엘리먼트는 전자 디바이스와의 사용자의 레이더-제스처 인터렉션의 성공 및 효율을 나타내기 위해 사용자에게 피드백을 제공할 수 있다. 시각적 엘리먼트의 추가 예시는 도 10-22 및 24-33를 참조하여 설명된다.
방법(900)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 도 2-8에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단시 예시적 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
(902)에서, 시각적 엘리먼트 및 지시가 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제시된다. 시각적 엘리먼트 및 지시는 사용자에게 전자 디바이스에 근접한 제스처를 수행하도록 요청한다. 예를 들어, 제스처 트레이닝 모듈(106)은 시각적 엘리먼트(122)(시각적 엘리먼트(122-1)를 포함할 수 있음) 및 전자 디바이스(102)의 디스플레이(114)에 지시를 제시할 수 있다. 요청된 제스처는 레이더 기반 터치 독립적 제스처(위에서 설명된 바와 같이), 터치 제스처(예를 들어, 터치 스크린 상에서) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있다. 시각적 엘리먼트(122)는 사용자(112)가 요청된 제스처(예를 들어, 레이더-제스처)를 사용하여 인터렉션할 수 있는 다양한 적합한 엘리먼트 중 임의의 것일 수 있다. 일부 경우에, 예를 들어, 시각적 엘리먼트(122)는 공 및 개 또는 미로 내의 쥐와 같은 일련의 객체일 수 있다. 다른 경우에, 시각적 엘리먼트(122)는 게임 플레이 환경에서 캐릭터 또는 객체일 수 있으며, 예를 들어 수행할 작업을 갖는 애니메이션화된 캐릭터(예를 들어 피카추(pikachu)) 또는 경주로 상의 자동차일 수 있다.
시각적 엘리먼트(122)에 포함된 지시는 다양한 형태(예를 들어, 텍스트, 비-텍스트 또는 암시적 지시) 중 임의의 형태일 수 있다. 예를 들어, 지시는 시각적 엘리먼트와는 별개로 디스플레이(114) 상에 제시된 텍스트일 수 있다(예를 들어, "공을 개에게 던지기 위해 왼쪽에서 오른쪽으로 스와이프"라고 표시되는 텍스트 라인이 도 1에 도시된 공과 개와 함께 제시될 수 있다). 시각적 엘리먼트(122)에 의해 제공되는 비-텍스트 명령은 시각적 엘리먼트(122)의 애니메이션, 오디오 지시(예를 들어, 전자 디바이스(102)와 연관된 스피커를 통한) 또는 다른 유형의 비-텍스트 지시일 수 있다. 예를 들어, 비-텍스트 지시는 개가 꼬리를 흔든 다음 공중으로 뛰는 도 1에 도시된 개의 애니메이션 또는 공이 개를 향해 움직이고 개가 공을 잡는 애니메이션일 수 있다. 다른 경우에, 지시는 시각적 엘리먼트(122)의 제시에서 암시적일 수 있다(예를 들어, 함께 제시된 개와 공은 사용자에게 추가적인 지시없이 공을 개에게 던지도록 암시 적으로 지시할 수 있다).
(904)에서, 레이더 시스템에 의해 제공된 레이더 필드에서 사용자의 움직임에 대응하는 레이더 데이터가 수신된다. 레이더 시스템은 전자 디바이스에 포함되거나 전자 디바이스와 연관될 수 있으며, 움직임은 전자 디바이스에 근접하다. 예를 들어, 레이더 시스템(104)은 도 1-8을 참조하여 설명된 바와 같이, 레이더 데이터를 제공할 수 있다.
(906)에서, 상기 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 움직임이 상기 지시가 수행을 요청한 상기 제스처를 포함하는지 여부가 결정된다. 예를 들어, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 레이더 제스처(예를 들어, 전술한 바와 같은 레이더 기반 터치 독립적 제스처)인지 여부를 결정할 수 있다.
일부 구현예에서, 제스처 트레이닝 모듈(106)은 레이더 데이터를 사용하여 레이더 필드(110)에서 사용자의 움직임이 레이더 제스처인지를 결정하여, 레이더 필드에서 사용자의 움직임과 연관된 파라미터들의 세트의 값들을 검출한다. 예를 들어, 파라미터들의 세트는 레이더 필드(110)에서 사용자의 움직임의 형상, 레이더 필드(110)에서 사용자의 움직임의 경로, 레이더 필드(110)에서 사용자의 움직임의 길이, 레이더 필드(110)에서의 사용자의 움직임의 속도 또는 전자 디바이스(102)로부터 레이더 필드(110)에서 사용자의 거리 중 하나 이상을 나타내는 값을 포함할 수 있다. 제스처 트레이닝 모듈(106)은 파라미터들의 세트의 값을 파라미터들의 세트에 대한 벤치마크 값과 비교한다. 예를 들어, 제스처 트레이닝 모듈(106)은 전술한 바와 같이 파라미터들의 세트에 대한 값을 제스처 라이브러리(120)에 의해 저장된 벤치마크 값과 비교할 수 있다. 벤치마크 값은 지시가 수행을 요청한 제스처에 대응하는 파라미터들의 값일 수 있다.
사용자의 움직임과 연관된 파라미터들의 세트의 값이 벤치마크 파라미터들에 의해 정의된 기준을 충족하는 경우, 제스처 트레이닝 모듈(106)은 레이더 필드에서의 사용자의 움직임이 레이더 제스처인 것으로 결정한다. 유사하게, 사용자의 움직임과 연관된 파라미터들의 세트의 값이 벤치마크 파라미터들에 의해 정의된 기준을 충족하지 않는 경우, 제스처 트레이닝 모듈(106)은 레이더 필드에서의 사용자의 움직임이 레이더 제스처가 아닌 것으로 결정한다. 일부 경우에, 제스처 트레이닝 모듈(106)은 제스처 트레이닝 모듈(106)로 하여금 사용자의 움직임은 레이더 제스처인 것으로 결정하게 하는 파라미터들의 세트의 값들에서 일부 변형을 허용하는 벤치마크 값들의 범위(예를 들어, 제스터 라이브러리(120)에 의해 저장됨)를 사용할 수 있다.
또한, 일부 구현예에서, 전자 디바이스(102)는 지시가 수행을 요청한 제스처와 연관된 적응 또는 조정된 벤치마크 값들을 생성할 수 있는 기계 학습 기법들을 포함할 수 있다. 조정된 벤치마크 값은 지시가 수행을 요청한 제스처를 수행하려는 사용자의 다수의 시도를 나타내는 레이더 데이터에 기초하여 생성된다. 예를 들어, 사용자는 요청된 제스처를 성공하지 못하며 반복적으로 시도할 수 있다(예를 들어, 사용자의 시도된 제스처와 연관된 파라미터들의 값은 벤치마크 파라미터의 값 내에 포함되지 않음). 이 경우에, 기계 학습 기법은 사용자의 실패한 제스처와 연관된 파라미터들의 값 중 적어도 일부를 포함하는 조정된 벤치마크 값의 세트를 생성할 수 있다.
그 다음 제스처 트레이닝 모듈(106)은 레이더 필드에서(예를 들어, 실패한 제스처 시도 후) 사용자의 움직임에 대응하는 레이더 데이터를 수신하고, 사용자의 움직임과 연관된 다른 파라미터들의 세트의 값을 검출할 수 있다. 상기 기술된 바와 같이, 제스처 트레이닝 모듈(106)은 다른 파라미터들의 세트의 검출된 값을 조정된 벤치마크 값과 비교하고, 상기 비교에 기초하여, 레이더 필드에서의 사용자의 움직임이 지시가 수행을 요청한 제스처인지 여부를 결정할 수 있다. 조정된 파라미터들은 기계 학습된 파라미터들의 세트에 기초하기 때문에, 사용자의 제스처가 조정되지 않은 벤치마크 값과의 비교에 기초하여 요청된 제스처가 아닌 경우에도, 사용자의 제스처는 요청된 레이더 제스처인 것으로 결정될 수 있다. 이러한 방식으로, 조정된 벤치마크 값은 전자 디바이스 및 제스처 트레이닝 모듈(106)이 사용자가 레이더 제스처를 하는 방법(예를 들어, 변형이 일관된 경우)에서 더 많은 변형을 수용하는 것을 학습하게 한다. 이들 기법은 또한 특정 사용자의 제스처가 인식될 수 있게 한다. 예를 들어, 사용자가 벤치마크 파라미터들에 의해 정의된 대로 실제로 제스처를 수행 할 수 없는 경우.
일부 구현예에서, 시각적 엘리먼트(122) 및 연관된 지시는 또한 조정된 벤치마크 값들의 정확도를 증가시키고 조정된 벤치마크 값들을 생성하는데 걸리는 시간을 감소시키기 위해 사용될 수 있다. 예를 들어, 기계 학습 기술은 사용자의 움직임이 요청된 제스처를 의도한 것인지 사용자에게 묻는 텍스트 또는 오디오와 같은 지시를 제시하도록 제스처 트레이닝 모듈(106)에 안내할 수 있다. 사용자는 (예를 들어, 레이더 제스처, 터치 입력 또는 음성 입력을 사용하여) 응답할 수 있고, 제스처 트레이닝 모듈(106)은 기계 학습 기술이 조정된 벤치마크 값을 생성하기 위한 충분한 데이터를 가질 때까지 요청된 제스처를 반복하도록 요청할 수 있다.
선택적으로, (908)에서, 레이더 필드에서의 사용자의 움직임이 지시가 수행을 요청한 제스처인 것으로 결정함에 응답하여, 시각적 피드백 엘리먼트가 디스플레이 상에 제시된다. 시각적 피드백 엘리먼트는 상기 레이더 필드에서의 상기 사용자의 움직임이 상기 지시가 수행을 요청한 레이더 제스처라고 표시한다. 예를 들어, 사용자의 움직임이 요청된 레이더 제스처라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(126)를 디스플레이(114)에 제시할 수 있다(이는 시각적 피드백 엘리먼트(126-1 및 126-2) 중 하나 또는 둘 모두를 포함할 수 있음).
도 10에 도시된 예를 고려하면, 도 10은 시각적 엘리먼트(122) 및 시각적 피드백 엘리먼트(126)의 추가적인 예시를 일반적으로 (1000)에서 도시한다. 상세도(1000-1)는 볼 컴포넌트(1002-1) 및 개 컴포넌트(1002-2)를 포함하는 예시적 시각적 엘리먼트(1002)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 상세도(1000-1)에서, 볼 컴포넌트(1002-1)는 디스플레이(114)의 좌측 에지에 제시되고, 개 컴포넌트(1002-2)는 디스플레이(114)의 우측 제시에 제시된다. 상세도(1000-1)는 또한 예시적 시각적 엘리먼트(1002)와 연관된 선택적 텍스트 지시(예를 들어, 왼쪽에서 오른쪽으로 스와이프 제스처를 수행하기 위한 텍스트 지시)가 디스플레이될 수 있는 위치(1004)를 도시한다.
다른 상세도(1000-2)는 볼 컴포넌트(1006-1) 및 개 컴포넌트(1006-2)를 포함하는 예시적 시각적 피드백 엘리먼트(1006)를 도시한다. 상세도(1000-2)의 예에서, 사용자(112)가 요청된 제스처를 성공적으로 수행했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더 제스처라고 결정했다). 제스처는 스와이프 제스처(예를 들어, 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로) 또는 방향 독립적 제스처(예를 들어, 전 방향 제스처)를 포함하는 다양한 제스처 중 하나일 수 있다. 성공적으로 수행된 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 엘리먼트(1002)를 애니메이션화함으로써 시각적 피드백 엘리먼트(1006)를 제시한다. 예시적 애니메이션에서, 볼 컴포넌트(1006-1)는 화살표(1008)로 도시된 바와 같이 디스플레이(114)의 좌측 에지로부터 개 컴포넌트(1006-2)를 향해 이동한다. 볼 컴포넌트(1006-1)가 접근함에 따라, 개 컴포넌트(1006-2)는 볼 컴포넌트(1006-1)를 픽업하기 위해 이동한다. 상세도(1000-2)는 또한 예시적 시각적 피드백 엘리먼트(1006)와 연관된 추가 선택적 텍스트 지시(예를 들어, 요청된 제스처를 다시 수행하기 위한 지시 또는 요청된 제스처의 성공적 수행을 확인하는 메시지)가 디스플레이될 수 있는 위치(1010)를 도시한다.
도 9로 돌아가면, 선택적으로, (910)에서, 레이더 필드에서의 사용자의 움직임이 지시가 수행을 요청한 제스처가 아닌 것으로 결정함에 응답하여, 다른 시각적 피드백이 디스플레이 상에 제시된다. 다른 시각적 피드백 엘리먼트는 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 지시가 수행을 요청한 레이더 제스처가 아니거나 이를 포함하지 않는다고 표시한다. 예를 들어, 사용자의 움직임이 요청된 제스처가 아니라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 다른 시각적 피드백 엘리먼트를 디스플레이(114) 상에 제시할 수 있다.
도 11에 도시된 예를 고려하면, 도 10은 시각적 엘리먼트(122) 및 시각적 피드백 엘리먼트(126)의 추가적인 예시를 일반적으로 (1100)에서 도시한다. 상세도(1100-1)는 볼 컴포넌트(1102-1) 및 개 컴포넌트(1102-2)를 포함하는 예시적 시각적 엘리먼트(1102)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 상세도(1100-1)에서, 볼 컴포넌트(1102-1)는 디스플레이(114)의 좌측 에지에 제시되고, 개 컴포넌트(1102-2)는 디스플레이(114)의 우측 제시에 제시된다. 상세도(1100-1)는 또한 예시적 시각적 엘리먼트(1102)와 연관된 선택적 텍스트 지시(예를 들어, 왼쪽에서 오른쪽으로 스와이프 제스처를 수행하기 위한 텍스트 지시)가 디스플레이될 수 있는 위치(1104)를 도시한다.
다른 상세도(1100-2)는 볼 컴포넌트(1106-1) 및 개 컴포넌트(1106-2)를 포함하는 예시적 시각적 피드백 엘리먼트(1106)를 도시한다. 상세도(1100-2)의 예에서, 사용자(112)가 요청된 제스처를 수행하는 것을 실패했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더가 아니라고 결정했다). 제스처는 스와이프 제스처(예를 들어, 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로) 또는 방향 독립적 제스처(예를 들어, 전 방향 제스처)를 포함하는 다양한 제스처 중 하나일 수 있다. 실패한 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 엘리먼트(1102)를 애니메이션화함으로써 시각적 피드백 엘리먼트(1106)를 제시한다. 예시적 애니메이션에서, 볼 컴포넌트(1106-1)는 모션 표시기(1108)에 의해 도시된 바와 같이 짧게 위아래로 튀어 오른다. 볼 컴포넌트(1106-1)가 바운스됨에 따라, 개 컴포넌트(1106-2)가 앉는다. 상세도(1100-2)는 또한 예시적 시각적 피드백 엘리먼트(1106)와 연관된 추가 선택적 텍스트 지시(예를 들어, 요청된 제스처를 다시 수행하기 위한 지시 또는 요청된 제스처의 성공적 수행을 확인하는 메시지)가 디스플레이될 수 있는 위치(1110)를 도시한다.
시각적 피드백 엘리먼트(1106)가 지속시간 동안 제시된 후, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(1106)의 제시를 중단하고 시각적 엘리먼트(1102)를 제시할 수 있다. 지속 시간은 사용자(112)가 시각적 피드백 엘리먼트(1106)를 볼 수 있게 하는 임의의 적절한 지속 시간일 수 있다(예를 들어, 대략 2, 4 또는 6초). 지속 시간은 사용자(112)에 의해 선택 가능 및/또는 조정 가능할 수 있다. 일부 경우에, 사용자는 다른 제스처를 시도할 수 있고, 이 경우 제스처 트레이닝 모듈(106)은 지속 기간이 만료되지 않았어도 시각적 피드백 엘리먼트(1106)의 제시를 중단하고 시각적 엘리먼트(1102)를 제시할 수 있다.
레이더 필드에서의 사용자의 움직임이 요청된 제스처가 아니라고 결정하고, 시각적 엘리먼트(1102)가 제시되는 동안(예를 들어, 지속 시간이 종료된 후 또는 제스처 트레이닝 모듈(106)이 사용자가 레이더 필드에서의 움직임을 수행하는 중이라는 결정하는 경우), 추가 레이더 데이터가 수신될 수 있다. 추가 레이더 데이터는 레이더 필드(110)에서의 사용자(112)의 다른 움직임에 대응할 수 있다(예를 들어, 요청된 제스처를 수행하는데 실패한 시도 후, 사용자(112)는 다른 시도를 할 수 있다). 추가 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 사용자(112)의 다른 움직임이 요청된 제스처인 것으로 결정할 수 있다(예를 들어, 전술한 바와 같이 벤치마크 값을 사용하여). 사용자(112)의 다른 움직임이 요청된 제스처라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(1006)를 제시하여, 사용자(112)의 다른 움직임이 요청된 제스처임을 표시할 수 있다.
일부 구현예에서, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트들(1006 및 1106) 대신에 또는 그에 추가하여 다른 시각적 피드백 엘리먼트들을 제시할 수 있다. 예를 들어, 제스처 트레이닝 모듈(106)은 전자 디바이스(102)상에서 동작하는 레이더-제스처 애플리케이션들에 대해 유사하거나 동일한 시스템 레벨의 시각적 피드백 엘리먼트들의 세트를 제공할 수 있다(그러나 시각적 피드백 엘리먼트들(1006 및 1106)과는 상이함).
도 12를 고려하면, 도 12는 일반적으로 (1200)에서 시각적 피드백 엘리먼트(1202)의 예를 도시한다. 상세도(1200-1)는 조명된 영역(예를 들어, 빛나는 영역)으로 도시된 예시적 시각적 피드백 엘리먼트(1202)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 시각적 엘리먼트들(1002 및 1102) 및 시각적 피드백 엘리먼트들(1006 및 1106)과 같이, 시각적 피드백 엘리먼트(1202)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다. 상세도(1200-1)는 또한 예시적 시각적 엘리먼트(1002)와 연관된 선택적 텍스트 지시가 디스플레이될 수 있는 위치(1004)를 도시한다. 도시된 바와 같이, 시각적 피드백 엘리먼트(1202)가 디스플레이(114)의 상단에 제시되기 때문에 위치(1004)는 다른 위치에 제시된다.
다른 상세도(1200-2)는 예시적 시각적 피드백 엘리먼트(1202)가 성공적인 레이더 제스처에 응답하여 어떻게 변화 하는지를 도시한다. 상세도(1200-2)의 예에서, 요청된 제스처가 왼쪽에서 오른쪽으로의 스와이프이고, 사용자(112)가 요청된 제스처를 성공적으로 수행했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더 제스처라고 결정했다). 성공적으로 수행된 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 화살표(1204)로 도시된 바와 같이, 시각적 피드백 엘리먼트(1202)를 디스플레이(114)의 코너 주위에서 왼쪽에서 오른쪽으로 움직여서 애니메이션화한다. 시각적 피드백 엘리먼트(1202)의 모션은 요청된 제스처가 성공적으로 수행되었음을 사용자(112)에게 알려준다. 도 12에 도시된 바와 같이, 시각적 피드백 엘리먼트(1202)에 예시적 시각적 엘리먼트(1002) 및 예시적 시각적 피드백 엘리먼트(1006)(및 위치(1010))가 제시된다. 다른 경우에, 시각적 피드백 엘리먼트(1202)는 시각적 엘리먼트(1002) 및 시각적 피드백 엘리먼트(1006) 중 어느 하나 또는 둘 모두 없이 제시될 수 있다. 일부 경우에, 시각적 피드백 엘리먼트(1202)에는 다른 시각적 엘리먼트(도시되지 않음)가 제시될 수 있다.
도 13은 일반적으로 (1300)에서, 사용자(112)의 움직임이 요청된 제스처가 아니거나 포함하지 않을 때 제시될 수 있는 다른 시각적 피드백 엘리먼트(1302)의 예를 도시한다. 상세도(1300-1)는 조명된 영역(예를 들어, 빛나는 영역)으로 도시된 예시적 시각적 피드백 엘리먼트(1302)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 시각적 엘리먼트들(1002 및 1102) 및 시각적 피드백 엘리먼트들(1006, 1106 및 1202)과 같이, 시각적 피드백 엘리먼트(1302)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다. 상세도(1300-1)는 또한 예시적 시각적 엘리먼트(1102)와 연관된 선택적 텍스트 지시가 디스플레이될 수 있는 위치(1104)를 도시한다. 도시된 바와 같이, 시각적 피드백 엘리먼트(1302)가 디스플레이(114)의 상단에 제시되기 때문에 위치(1104)는 다른 위치에 제시된다.
다른 상세도(1300-2)는 예시적 시각적 피드백 엘리먼트(1302)가 요청된 레이더 제스처를 수행하는 것을 실패한 시도 응답하여 어떻게 변화 하는지를 도시한다. 상세도(1300-2)의 예에서, 요청된 제스처가 왼쪽에서 오른쪽으로의 스와이프이고, 사용자(112)가 요청된 제스처를 수행하는데 실패했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더 제스처가 아니라고 결정했다). 실패한 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 화살표(1304)로 도시된 바와 같이, 시각적 피드백 엘리먼트(1302)를 왼쪽에서 오른쪽으로 움직여서 애니메이션화한다. 이 경우에, 시각적 피드백 엘리먼트(1302)는 코너 주위를 이동하지 않는다. 대신, 시각적 피드백 엘리먼트(1302)는 코너에 도달하기 전에 정지하고 상세도(1300-1)에 도시된 바와 같이 초기 위치로 복귀한다(복귀는 도시되지 않음). 시각적 피드백 엘리먼트(1302)의 모션은 요청된 제스처가 성공적으로 수행되었지 않았음을 사용자(112)에게 알려준다. 도 13에 도시된 바와 같이, 시각적 피드백 엘리먼트(1302)에 예시적 시각적 엘리먼트(1102), 위치(1110) 및 예시적 시각적 피드백 엘리먼트(1106)가 제시된다(볼 컴포넌트(1106-1)의 모션(1108)과 같은 애니메이션을 포함). 다른 경우에, 시각적 피드백 엘리먼트(1302)는 시각적 엘리먼트(1102) 및 시각적 피드백 엘리먼트(1106) 중 어느 하나 또는 둘 모두 없이 제시될 수 있다. 일부 경우에, 시각적 피드백 엘리먼트(1302)에는 다른 시각적 엘리먼트(도시되지 않음)가 제시될 수 있다.
다른 구현에서, 시각적 피드백 엘리먼트(1202 또는 1302)는 다른 방식으로 애니메이션화할 수 있다. 예를 들어, 도 14을 고려하면, 도 14는 시각적 피드백 엘리먼트의 추가 예를 도시한다. 상세도(1400-1)는 조명된 영역(예를 들어, 빛나는 영역)으로 도시된 예시적 시각적 피드백 엘리먼트(1402)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 디스플레이(114)의 상단 에지에서 도시된, 시각적 피드백 엘리먼트(1402)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다. 상세도(1400-1)는 또한 예시적 시각적 피드백 엘리먼트(1006)와 연관된 선택적 텍스트 지시가 디스플레이될 수 있는 위치(1010)를 도시한다. 도시된 바와 같이, 시각적 피드백 엘리먼트(1402)가 디스플레이(114)의 상단에 제시되기 때문에 위치(1010)는 다른 위치에 제시된다.
상세도(1400-1)의 예에서, 요청된 제스처가 방향 독립적 제스처(예를 들어, 전 방향 제스처)이고, 사용자(112)가 요청된 제스처를 성공적으로 수행했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더 제스처라고 결정했다). 성공적으로 수행된 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 상세도(1400-2)에 도시된 바와 같이, 시각적 피드백 엘리먼트(1402)의 크기 및 밝기(예를 들어, 광도)를 증가시키고, 디스플레이(114)의 에지에 근접하게 밝은 선(1404)을 추가함으로써 시각적 피드백 엘리먼트(1402)를 애니메이션화한다. 애니메이션의 시퀀스는 다른 상세도(1400-3)에서 계속되며, 여기서 이중 종단 화살표(1406)로 도시된 바와 같이, 시각적 피드백 엘리먼트(1402)는 크기가 감소하기 시작한다. 다른 상세도(1400-4)는 계속되는 애니메이션을 도시하며, 여기서 또 다른 이중 종단 화살표(1408)에 의해 도시된 바와 같이, 시각적 피드백 엘리먼트(1402)가 디스플레이(114)의 상부 에지의 중심을 향해 수축하면서 크기가 더 감소한다. 시각적 피드백 엘리먼트(1402)가 사라질 때까지 애니메이션은 계속되고, 상세도(1400-1)에 도시된 바와 같은 상태로 돌아 간다(도시되지 않음). 시각적 피드백 엘리먼트(1402)의 모션은 요청된 제스처가 성공적으로 수행되었음을 사용자(112)에게 알려준다.
도 14에 도시된 바와 같이, 시각적 피드백 엘리먼트(1402)에 예시적 시각적 피드백 엘리먼트(1006)가 제시된다(볼 컴포넌트(1006-1)의 모션(1008)과 같은 애니메이션을 포함). 다른 경우에, 시각적 피드백 엘리먼트(1402)는 시각적 피드백 엘리먼트(1006)없이, 다른 컨텐츠(시각적 피드백 엘리먼트(1006)와 함께 또는 없이), 시각적 엘리먼트(예를 들어, 시각적 엘리먼트(1002))와 함께 또는 다른 구성으로 제공될 수 있다(도시되지 않음).
유사하게, 도 15를 고려하면, 도 15는 사용자(112)의 움직임이 요청된 제스처가 아니거나 포함하지 않을 때 제시될 수 있는 다른 시각적 피드백 엘리먼트(1302)의 추가적 예시를 도시한다. 상세도(1500-1)는 조명된 영역(예를 들어, 빛나는 영역)으로 도시된 예시적 시각적 피드백 엘리먼트(1502)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 디스플레이(114)의 상단 에지에서 도시된, 시각적 피드백 엘리먼트(1502)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다. 상세도(1500-1)는 또한 예시적 시각적 피드백 엘리먼트(1106)와 연관된 선택적 텍스트 지시가 디스플레이될 수 있는 위치(1110)를 도시한다. 도시된 바와 같이, 시각적 피드백 엘리먼트(1502)가 디스플레이(114)의 상단에 제시되기 때문에 위치(1110)는 다른 위치에 제시된다.
상세도(1500-1)의 예에서, 요청된 제스처가 방향 독립적 제스처(예를 들어, 전 방향 제스처)이고, 사용자(112)가 요청된 제스처를 수행하는데 실패했다고 가정한다(예를 들어, 레이더 데이터에 기초하여, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 요청된 레이더 제스처가 아니라고 결정했다). 성공적으로 수행되지 않은 레이더 제스처에 응답하여, 제스처 트레이닝 모듈(106)은 상세도(1500-2)에 도시된 바와 같이, 시각적 피드백 엘리먼트(1502)의 크기 및 밝기(예를 들어, 광도)를 감소시킴으로써 시각적 피드백 엘리먼트(1402)를 애니메이션화한다. 애니메이션의 시퀀스는 다른 상세도(1500-3)에서 계속되며, 여기서 이중 종단 화살표(1506)로 도시된 바와 같이, 시각적 피드백 엘리먼트(1502)는 줄어드는 것을 중단하고 밝아지고 확장하기 시작한다. 다른 상세도(1500-4)는 계속된느 애니메이션을 도시하며, 시각적 피드백 엘리먼트(1502)는 상세도(1500-1)에 도시된 상태로 복귀한다. 시각적 피드백 엘리먼트(1502)의 모션은 요청된 제스처가 성공적으로 수행되었지 않았음을 사용자(112)에게 알려준다.
도 15에 도시된 바와 같이, 시각적 피드백 엘리먼트(1502)는 예시적 시각적 피드백 엘리먼트(1106)과 함께 도시된다(볼 컴포넌트(1106-1)의 모션(1108)과 같은 애니메이션을 포함). 다른 경우에, 시각적 피드백 엘리먼트(1502)는 시각적 피드백 엘리먼트(1106)없이, 다른 컨텐츠(시각적 피드백 엘리먼트(1106)와 함께 또는 없이), 시각적 엘리먼트(예를 들어, 시각적 엘리먼트(1102))와 함께 또는 다른 구성으로 제공될 수 있다(도시되지 않음).
일부 구현예에서, 전자 디바이스(102) 및 레이더 시스템(104)은 제스처-일시정지 모드를 포함할 수 있다. 제스처-일시정지 모드에서, 제스처-일시정지 트리거 이벤트는 레이더 시스템이 레이더 필드를 제공하고 레이더-제스처 애플리케이션이 전자 디바이스에서 실행되는 기간 동안 검출된다. 제스처-일시정지 모드는 제스처-일시정지 트리거 이벤트의 검출에 응답하여 진입된다. 제스처-일시정지 모드에서, 레이더-제스처 애플리케이션이 전자 디바이스 상에서 실행될 때, 전자 디바이스는 전자 디바이스가 제스처-일시정지 모드에 있음을 나타내는 다른 시각적 피드백 엘리먼트를 제공한다.
전자 디바이스(102)는 레이더 시스템(104)으로부터의 입력 및/또는 다른 센서(예를 들어, 카메라 또는 비-레이더 센서(108))로부터의 입력을 통해 제스처-일시정지 트리거 이벤트를 검출할 수 있다. 제스처-일시정지 트리거 이벤트는 조건, 조건 세트 또는 레이더-제스처 애플리케이션이 레이더 제스처와 연관된 액션을 수행할 수 없기 때문에 레이더 제스처가 일시정지된 상태이다. 일반적으로, 제스처 일시정지 트리거 이벤트가 전자 디바이스(102) 또는 레이더 시스템(104)이 사용자의 움직임이 레이더 제스처인지 여부를 정확하고 효율적으로 결정하기 어렵게 하는 조건이다. 예를 들어, 제스처-일시정지 트리거 이벤트는 임계 주파수를 초과하는 전자 디바이스(102)의 진동 운동, 임계 속도를 초과하는 속도에서의 전자 디바이스의 모션, 또는 예를 들어, 임계 주파수를 초과하는 사용자(112)(또는 사용자(112)의 일부)와 같은 레이더 필드에서 물체의 진동 모션일 수 있다.
상기 제스처-일시정지 트리거 이벤트를 검출함에 응답하여, 전자 디바이스(102)는 제스처-일시정지 모드에 진입한다. 전자 디바이스(102)가 제스처-일시정지 모드에 있는 동안 레이더-제스처 애플리케이션(예를 들어, 레이더 제스처에 대응하는 제어 입력을 수신할 수 있는 애플리케이션)이 전자 디바이스(102) 상에서 실행 중인 경우, 제스처 트레이닝 모듈(106)은 전자 디바이스(102)의 디스플레이(114) 상에 시각적 피드백 엘리먼트를 제공한다. 이 경우, 사용자(112)는 레이더 제스처를 시도하거나 시도하지 않았을 수 있다. 제스처 트레이닝 모듈(106)은 제스처-일시정지 트리거 이벤트의 검출에 기초하여 시각적 피드백 엘리먼트를 제공하고, 레이더 제스처가 시도되었을 필요는 없다. 오히려, 시각적 피드백 엘리먼트는 전자 디바이스(102)에서 레이더 제스처 애플리케이션을 제어하기 위해 현재 레이더 제스처가 사용가능하지 않다는 것을 사용자에게 경고한다.
도 16에 도시된 예를 고려하면, 도 16은 일반적으로 1600에서, 전자 디바이스(102) 및/또는 레이더 시스템(104)이 제스처-일시정지 모드에 있음을 나타내는 시각적 피드백 엘리먼트의 예시를 도시한다. 상세도(1600-1)는 앉아있는 개가 도시된 예시적 시각적 피드백 엘리먼트(1602)를 제시하는 예시적 전자 디바이스(102)(이 경우, 스마트폰(102-1))를 도시한다. 이 경우에, 시각적 피드백 엘리먼트는 볼 컴포넌트(예를 들어, 1002-1 또는 1102-1)를 제거하고 제스처 트레이닝 모듈(106)이 제스처(예를 들어, 시각적 엘리먼트(1002 또는 1102)를 수용할 수 없음을 나타내기 위해 제시된 시각적 엘리먼트의 개 컴포넌트(예: 1002-2 또는 1102-2)를 애니메이션화함으로써 제스처-일시정지 모드를 표시한다. 상세도(1600-1)는 또한 예시적 시각적 피드백 엘리먼트(1602)와 연관된 추가 선택적 텍스트 지시(예를 들어, 요청된 제스처를 수행하기 위해 대기하라는 지시 또는 전자 디바이스(102)가 제스처-일시정지 모드에 있음을 설명하는 메시지)가 디스플레이될 수 있는 위치(1010)를 도시한다.
일부 구현예에서, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(1602) 대신에 또는 그에 추가하여 다른 시각적 피드백 엘리먼트들을 제시할 수 있다. 예를 들어, 제스처 트레이닝 모듈(106)은 다른 시각 피드백 엘리먼트(1604)를 제공할 수 있으며, 이는 도 12-15를 참조하여 설명된 일련의 시스템 레벨 시각 피드백 엘리먼트의 일부일 수 있다. 도 16에서, 다른 시각적 피드백 엘리먼트(1604)는 디스플레이(114)의 상단 에지에서 조명된 영역(예를 들어, 빛나는 영역)이다. 다른 경우에, 시각적 피드백 엘리먼트(1604)는 상이한 조명 레벨(예를 들어, 더 많거나 또는 적게 조명된)로 또는 엘리먼트의 다른 형상 또는 유형으로 디스플레이(114)의 다른 위치에 제시될 수 있다.
상세도 1600-1의 예시에서, 시각적 피드백 엘리먼트(1604)는 전자 디바이스(102)가 레이더 제스처를 수신하고 그에 의해 제어될 수 있음을 나타내는 형태로 제시되고 있다(예를 들어, 시각적 피드백 엘리먼트(1202, 1302, 1402 및 1502)와 유사). 전자 디바이스(102)가 제스처-일시정지 모드로 진입하면, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(1604)를 애니메이션하여 사용자에게 경고한다. 제스처 트레이닝 모듈(106)은 상세도(1600-2)에서 이중 종단 화살표(1606)로 도시된 바와 같이, 시각 피드백 엘리먼트(1604)의 크기 및 밝기(예를 들어, 광도)를 감소시킴으로써 애니메이션을 시작한다. 애니메이션의 시퀀스는 다른 상세도(1600-3)에서 계속되며, 시각적 피드백 엘리먼트(1604)는 줄어드는 것을 중단하고, 디스플레이(114)의 상단 에지의 중심 근처에 디스플레이된다. 더 작고 희미한 시각적 피드백 엘리먼트(1604)는 제스처-일시정지 모드가 관여되었음을 표시한다. 상세도(1600-4)는 애니메이션의 종료(예를 들어, 제스처-일시정지 모드의 종료)를 도시하고, 다른 이중 종단 화살표(1608)로 도시된 바와 같이 시각적 피드백 엘리먼트(1604)가 크기 및 밝기의 증가에 의해 상세도(1600-1)에 도시된 상태로 복귀하는 것을 도시한다. 도 16에 도시된 바와 같이, 시각적 피드백 엘리먼트(1604)에 시각적 피드백 엘리먼트(1602)가 제시된다. 다른 경우에, 시각적 피드백 엘리먼트(1604)는 시각적 피드백 엘리먼트(1602)없이, 다른 컨텐츠(시각적 피드백 엘리먼트(1602)와 함께 또는 없이), 시각적 엘리먼트(예를 들어, 시각적 엘리먼트(1002 및/또는 1102))와 함께 또는 다른 구성으로 제공될 수 있다(도시되지 않음).
도 10-16은 또한 예시적 시각적 엘리먼트(1002 및 1102) 및 예시적 시각적 피드백 엘리먼트(1006 및 1106)와 연관된 선택적 텍스트 지시가 디스플레이될 수 있는 위치(예를 들어, 위치(1004, 1010, 1104 및 1110))를 도시한다. 이들 텍스트 위치는 요청된 제스처, 요청된 제스처의 사용자의 수행 등과 관련된 임의의 적절한 지시, 설명 또는 메시지를 포함할 수 있다. 예를 들어, 텍스트 지시는 요청된 제스처를 수행하기 위한 지시, 요청된 제스처를 다시 수행하기 위한 지시, 요청된 제스처를 설명하는 또는 관련된 메시지 또는 요청된 제스처의 성공적 수행을 확인하는 메시지를 포함할 수 있다.
도 17을 고려하면, 도 17은 제시될 수 있는 텍스트 지시의 예를 도시한다. 상세도(1700-1)에서, 위치(1004)는 요청된 제스처(예를 들어, 공을 개를 향해 이동시키기 위해 왼쪽에서 오른쪽으로 스와이프 제스처)를 나타내는 텍스트 메시지("개한테 공을 던져보세요")를 디스플레이하고 있다. 텍스트 지시의 다른 변형은 "공을 개에게 던지려면 오른쪽으로 스와이프" 또는 "공을 공으로 보내려면 제스처를 사용하십시오"이다. 다른 상세도(1700-2)에서, 위치(1010)는 사용자(112)가 요청된 제스처를 성공적으로 수행했음을 나타내는 텍스트 메시지("잘 하셨습니다!")를 디스플레이하고 있다. 텍스트 지시의 다른 변형은 "성공!" 또는"매우 훌륭했습니다."이다. 다른 상세도(1700-3)는 사용자(112)가 요청된 제스처를 성공적으로 수행하지 못했음을 나타내는 예시적 지시를 도시한다("아깝네요, 다시 공을 던져보세요"). 텍스트 지시의 다른 변형은 "거의 됐어요. 다시 시도해보세요" 또는 "한 번 더 해보세요. 할 수 있어요"이다.
일부 구현예에서(도시되지 않음), 지시는 또한 요청된 제스처와 관련된 메시지 또는 피드백을 포함할 수 있다. 예를 들어, 지시는 시각적 피드백 엘리먼트(1202)가 어떻게 동작하는지를 사용자에게 알려주는 메시지일 수 있다(예를 들어, "제스처를 사용하여 공을 던지면 개가 그것을 가져올 것입니다"). 다른 예에서, 제스처 트레이닝 모듈(106)은 도 12-16를 참조하여 설명된 다른 시각적 피드백 엘리먼트를 디스플레이하고 있다(예를 들어, 시스템 레벨의 시각적 피드백 엘리먼트 세트). 제스처 트레이닝 모듈(106)이 도 12에 도시된 시각적 엘리먼트를 디스플레이하는 경우를 고려한다(예를 들어, 상세도 1200-1 및 1200-2). 이 경우에, 제스처 트레이닝 모듈(106)은 위치(1004)에서 "공을 던지면 화면 상단의 글로우가 보인다"와 같은 텍스트 지시를 제시할 수 있다. 유사하게, 제스처 트레이닝 모듈(106)은 위치(1010)에서 "당신이 제스처를 한 것을 보여주기 위해 글로우가 코너 주변을 어떻게 돌았는지 보세요"와 같은 텍스트 지시를 제시할 수 있다.
요청된 제스처가 제1 또는 후속 시도에서 성공적으로 수행된 후, 제스처 트레이닝 모듈(106)은 사용자에게 계속 트레이닝을 제공하거나 트레이닝 제공을 중단할 수 있다. 트레이닝이 계속되는 경우에, 제스처 트레이닝 모듈(106)은 동일한 시각적 엘리먼트(동일한 제스처를 계속 연습) 또는 다른 시각적 엘리먼트 및 지시(예를 들어, 다른 제스처를 연습하거나 동일한 제스처를 다른 환경에서 연습하기 위해)를 제시할 수 있다. 따라서, 요청된 제스처를 수행하려는 사용자의 실패한 시도는 전자 디바이스(102)가 시각적 엘리먼트 및 요청을 반복하게 한다. 대안적으로 또는 추가적으로, 요청된 제스처의 사용자의 성공적 수행은 전자 디바이스가 다른 시각적 엘리먼트를 제공하게 하여, 사용자가 이전에 요청된 제스처를 성공적으로 수행한 후 다른 제스처에서 트레이닝을 받을 수 있게 한다. 일부 구현예에서, 제스처 트레이닝 모듈(106)은 다음 시각적 엘리먼트를 제시하기 전에 제1 시각적 피드백 엘리먼트 및 지시들을 여러 번(예를 들어, 1, 3, 5 또는 7회) 제시할 수 있다. 각각의 시각적 엘리먼트가 제시되는 횟수는 사용자가 선택할 수 있다. 또한, 제스처 트레이닝 모듈(106)은 텍스트 지시를 사용하여, 사용자에게 트레이닝을 중지 또는 계속할지 물을 수 있다(예를 들어, "공을 다시 던지시겠습니까?" 또는 "다른 제스처를 시도하시겠습니까?").
방법(900)은 다른 방식으로도 구현될 수 있다. 예를 들어, 도 18-22을 고려하면, 이들은 추가의 예시적 시각적 엘리먼트(122) 및 시각적 피드백 엘리먼트(126)와 함께 튜토리얼 스타일 연습 및 트레이닝 환경(예를 들어, 사용자 "팁" 환경)의 다른 예를 도시한다. 예를 들어, 도 18은 (1800)에서, 다른 예시적 환경(예를 들어, 팁 환경)에 대한 진입 시퀀스를 도시한다. 예를 들어, 상세도(1800-1)는 (예를 들어, 제스처 트레이닝 모듈(106)을 통해) 팁 상세 페이지를 제시하는 예시적 디스플레이(114)를 도시하며, 여기에는 사용자(112)가 레이더 제스처를 사용하여 배울 수 있는 비디오를 포함한다. 사용자는 제어(1802)를 사용하여 비디오에 액세스할 수 있다. 상세도(1800-1)에 도시된 바와 같이, 팁 상세 페이지는 하나 이상의 텍스트 영역(1804)을 포함할 수 있으며, 이는 레이더 제스처가 노래를 건너뛰거나 알람을 스누즈하거나 또는 전화소리를 끄는데 어떻게 사용될 수 있는지 기술하는 텍스트를 디스플레이할 수 있다.
예를 들어, 텍스트 영역(1804-1)에서, 제스처 트레이닝 모듈(106)은 "팁 세부 사항" 또는 "전문가되기"와 같은 제목을 제시할 수 있다. 유사하게, 다른 텍스트 영역(1804-2)(점선 사각형으로 도시됨)을 사용하여, 제스처 트레이닝 모듈(106)은 "노래를 건너뛰기 위해 전화기 위에서 왼쪽 또는 오른쪽으로 스와이프" 또는 "알람을 스누즈하거나 전화 소리를 끄려면 전화기 위의 임의의 방향으로 스와이프"와 같은 메시지(또는 두 메시지 모두)를 제시할 수 있다. 일부 경우에, 메시지에 "빠른 제스처 사용" 또는 "레이더 제스처 사용 방법"과 같은 제목이 있을 수 있다.
제스처 트레이닝 모듈(106)은 또한 팁 튜토리얼(예를 들어, "시도" 아이콘)을 입력하는데 사용될 수 있는 제어(1806)를 제공할 수 있다. 예를 들어, 사용자(112)가 제어(1806)를 사용하여 팁 튜토리얼을 입력하면, 제스처 트레이닝 모듈(106)은 노래를 건너뛰기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(1800-2)에 도시된 트레이닝 화면을 제시할 수 있다. 상세도(1800-2)의 트레이닝 화면은 스마트폰 및 스마트폰 위의 사용자 손(112)의 애니메이션을 도시한다. 스마트폰은 또한 시각적 피드백 엘리먼트(1808)(예를 들어, 시각적 피드백 엘리먼트(1202, 1302, 1402, 1502 또는 1604))를 디스플레이한다. 트레이닝 화면 및 애니메이션은 사용자가 제어(1806)를 활성화하는 것에 응답하여 제시될 수 있다.
트레이닝 화면은 또한 텍스트 영역(1810)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 노래를 건너뛰기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "전화기 위에서 왼쪽 또는 오른쪽으로 스와이프"). 텍스트 영역(1810)은 팁 튜토리얼(예를 들어, "노래 건너뛰기" 또는 "음악 플레이어")의 제목을 디스플레이하는데 사용될 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 경우에, 음악 플레이어와 같은 애플리케이션이 실행 중(예를 들어, 음표) 또는 레이더 제스처 가능을 나타내기 위해 아이콘(1812)이 스마트폰 상에 제시될 수 있다. 애플리케이션이 음악 플레이어 인 경우, 팁 환경은 사운드 제어(1814)에 의해 도시 된 바와 같이 사운드가 오프 인 기본 모드(사용자 선택 가능)로 동작할 수 있다. 소리 제어(1814)는 사용자에게 소리가 꺼져 있고 소리 제어(1814)로 소리를 켜고 끌 수 있음을 알려준다.
다른 상세도(1800-3)에서, 사용자가 전자 디바이스(102)에 도달할 때, 애니메이션 시퀀스가 계속된다. 계속되는 시퀀스에서, 사용자의 손(112)의 애니메이션이 사라지고, 트레이닝 화면에 디스플레이된 스마트폰은 시각적 피드백 엘리먼트(1808)를 계속 보여주며, 이는 사용자(112)가 전자 디바이스(102)에 도달할 때 확장된다. 트레이닝 화면은 여전히 텍스트 영역(1810)에 텍스트를 제시하여, 사용자가 스마트폰 위에서 왼쪽 또는 오른쪽으로 스와이프하여 노래를 건너 뛰도록 지시한다. 다른 상세도(1800-4)는 부분 제스처(예를 들어, 전술한 바와 같이 성공적으로 수행되지 않은 레이더 제스처)의 결과를 도시한다. 상세도(1800-4)에서, 애니메이션은 시각적 피드백 엘리먼트(1808)를 원래의 크기로 되돌리고, 텍스트 영역(1810)에서 지시 텍스트를 변경하여 사용자가 노래를 건너 뛰기 위해 레이더 제스처를 수행하게 하기 위해 추가 세부사항을 포함하도록 한다(예를 들어, "전화기의 왼쪽 또는 오른쪽으로 스와이프"에서 "전화기의 양쪽 에지를 지나는 스위핑 모션을 시도"로 변경). 일부 경우에, 오디오 또는 촉각(햅틱) 피드백(예를 들어, 진동)은 새로운 텍스트 지시(예를 들어, 거부된 입력을 나타내는 소리 또는 햅틱)와 함께 포함될 수 있다.
도 19는 (1900)에서 팁 튜토리얼에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 예를 들어, 상세도(1900-1)는 사용자가 성공적으로 스와이프하지 않고 선택가능한 수의 부분 제스처를 수행한 후(예를 들어, 1, 2, 3 또는 4개의 부분 제스처)에 나타나는 트레이닝 화면을 도시한다. 상세도(1900-1)의 트레이닝 화면은 스마트폰 및 스마트폰 위의 사용자 손의 다른 애니메이션을 도시하고, 텍스트 영역(1810)에 제시된 지시 텍스트는 노래를 건너뛰기 위해 사용자에게 "전화기의 양쪽 에지를 지나는 스위핑 모션을 시도해보세요"라고 전한다.
다른 상세도(1900-2)는 스와이프 제스처(예를 들어, 전술한 바와 같이 성공적으로 수행된 스와이프 레이더 제스처)의 결과를 도시한다. 상세도(1900-2)에서, 시각적 피드백 엘리먼트(1808)가 예시적 스마트폰의 코너를 향해 그리고 그 주위를 이동하게 함으로써 애니메이션이 계속된다(예를 들어, 도 12에 도시된 바와 같이). 상세도(1900-2)에서, 텍스트 영역(1810)에 제시된 지시 텍스트는 "잘 하셨습니다!"로 변경되고 노래는 재생 목록에서 다음 노래로 건너뛴다. 도 18을 참조하여 언급된 바와 같이, 팁 환경은 사운드 제어(1814)에 의해 도시된 바와 같이 소리가 꺼지는 기본 모드(사용자 선택 가능)로 동작할 수 있다. 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 확인된 입력을 나타내는 소리 또는 햅틱). 일부 경우에, 음악 아이콘(1812)은 또한 성공적 스와이프(도시되지 않음)에 응답하여 스크린을 가로 질러 이동하거나 병진한다. 추가적으로, 트레이닝 화면은 사용자(112)가 노래 건너뛰기 튜토리얼을 종료할 수 있게 하는 리턴 제어(1902)를 제시한다(예를 들어, "확인" 아이콘).
다른 상세도(1900-3)는 사용자(112)가 복귀 제어(1902)를 활성화하지 않으면 제시되는 트레이닝 화면을 도시한다. 상세도(1900-3)에서, 애니메이션에 상세도(1800-2 및 1800-4)에서와 동일한 상태로 스마트폰 및 시각적 피드백 엘리먼트(1808)를 제시된다(복귀 제어(1902)도 제시함). 다른 상세도(1900-4)는 사용자(112)가 복귀 제어(1902)를 활성화하면 제시되는 트레이닝 화면을 도시한다. 상세도(1900-4)에서, 애니메이션이 종료되고 요약 페이지가 제시된다. 요약 페이지는 텍스트 영역(1810)에 텍스트를 포함하며, 상기 텍스트는 사용자(112)에게 다른 트레이닝 옵션("이들 액션에 대한 빠른 제스처를 시도해보세요")을 알려준다. 제스처 트레이닝 모듈(106)은 또한 사용자(112)가 노래를 건너 뛰기 위한 팁 환경을 재진입하거나 알람 스누즈 및 전화 묵음을 위한 다른 팁 튜토리얼에 진입할 수 있게 하는 튜토리얼 제어(1904)를 제시한다. 튜토리얼 제어(1904)는 텍스트 및 아이콘(예를 들어, "노래 건너뛰기"를 위한 음악 노트, "알람 스누즈"을 위한 알람 시계 및 "전화 묵음"을 위한 클래식 전화 핸드셋)을 포함한다. 튜토리얼 제어(1904)에 표시자(1906)(예를 들어, 체크 표시 아이콘)가 제시되며, 이는 사용자(112)에게 어느 튜토리얼이 완료되었는지를 알려준다. 일부 경우에, 튜토리얼 제어(1904)는 튜토리얼이 완료되었는지 여부에 기초하여 순서화된다(예를 들어, 완성된 튜토리얼이 목록의 상단에 있고 완료되지 않은 튜토리얼이 목록의 하단에 있음). 요약 페이지는 또한 종료 제어(1908)를 포함할 수 있으며(예를 들어, "종료" 아이콘), 이는 사용자(112)가 팁 튜토리얼 환경을 종료할 수 있게 한다.
도 20은 (2000)에서, 사용자(112)가 스누즈 알람에 대한 튜토리얼 제어(1904)를 활성화하는 경우 제시될 수 있는 트레이닝 화면의 시퀀스를 도시한다. 예를 들어, 제스처 트레이닝 모듈(106)은 알람을 스누즈하기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(2000-1)에 도시된 트레이닝 화면을 제시할 수 있다. 상세도(2000-1)의 트레이닝 화면은 스마트폰 및 스마트폰 위의 사용자 손(112)의 애니메이션을 도시한다. 스마트폰은 또한 시각적 피드백 엘리먼트(1808) 및 사운드 제어(1814)를 디스플레이한다. 상세도(2000-1)의 트레이닝 화면은 또한 텍스트 영역(1810)에서 "알람 스누즈"하는 방법을 설명하는 텍스트 지시를 제시한다(예를 들어, "전화기 위에서 임의의 방향으로 스와이프"). 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 알람 아이콘(2002)(예를 들어, 알람 시계) 또한 스마트폰 상에 제시될 수 있다.
다른 상세도(2000-2)에서, 사용자가 전자 디바이스(102)에 도달할 때, 애니메이션이 계속된다. 계속되는 애니메이션에서, 사용자의 손의 애니메이션이 사라지고, 트레이닝 화면에 디스플레이된 스마트폰은 시각적 피드백 엘리먼트(1808)를 보여주며, 이는 사용자(112)가 전자 디바이스(102)에 도달할 때 확장된다. 트레이닝 화면은 알람을 스누즈하기 위한 방법에 대한 지시 텍스트를 텍스트 영역(1810)에 계속 제시한다. 상세도(2000-2)에서, 소리 제어(1814)는 사용자(112)가 소리 제어(1814)로 소리를 끄고 켜는 방법을 설명하기 위해 "소리 켜기" 텍스트와 함께 디스플레이된다. 다른 상세도(2000-3)는 부분 제스처(예를 들어, 전술한 바와 같이 성공적으로 수행되지 않은 레이더 제스처)의 결과를 도시한다. 상세도(2000-3)에서, 애니메이션은 시각적 피드백 엘리먼트(1808)를 원래의 크기로 되돌리고, 텍스트 영역(1810)에서 지시 텍스트를 변경하여 계속된다(예를 들어, "전화기 위에서 임의의 방향으로 스와이프"에서 "전화기의 양쪽 에지를 지나는 스위핑 모션을 시도"로 변경). 일부 경우에, 오디오 또는 촉각(햅틱) 피드백은 새로운 텍스트 지시(예를 들어, 거부된 입력을 나타내는 소리 또는 햅틱)와 함께 포함될 수 있다.
다른 상세도(2000-4)는 성공적 스와이프 제스처(예를 들어, 전술한 바와 같이 성공적으로 수행된 스와이프 레이더 제스처, 방향 독립적 스와이프 또는 전 방향 스와이프 레이더 제스처)의 결과를 도시한다. 상세도(2000-4)에서, 시각적 피드백 엘리먼트(1808)가 스스로 축소되게 함으로써 애니메이션이 계속된다(예를 들어, 도 14에 도시된 바와 같이). 상세도(2000-4)에서, 텍스트 영역(1810)에 제시된 지시 텍스트는 사용자(112)에게 제스처가 성공했다는 피드백을 제공하도록 변경된다(예를 들어, "잘 하셨습니다!"). 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 확인된 입력을 나타내는 소리 또는 햅틱). 알람을 스누즈하기 위한 팁 튜토리얼에 대한 설명은 도 21의 다음 설명에서 계속된다.
도 21은 (2100)에서 알람을 스누즈하기 위한 팁 튜토리얼에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 예를 들어, 상세도(2100-1)는 사용자가 스와이프(예를 들어, 방향 독립적 스와이프 또는 전 방향 스와이프)를 성공적으로 수행한 후에 제시되는 상세도(2000-4)에 기술된 트레이닝 화면의 추가 엘리먼트를 도시한다. 상세도(210-1)의 트레이닝 화면은 텍스트 영역(1810)에 디스플레이된 "잘 하셨습니다!" 텍스트 메시지, 사용자(112)가 스누즈 알람 튜토리얼을 종료하게 하는 리턴 제어(1902)(예를 들어, "확인" 아이콘) 및 소리 제어(1814)를 가진 스마트폰을 도시한다. 일부 구현예에서, 트레이닝 화면은 또한 완료 아이콘(2102)(예를 들어, 체크마크) 또는 재시작 제어(2104)(예를 들어, "다시 연습" 아이콘) 중 하나 또는 둘 모두를 스마트폰 디스플레이에 제시할 수 있다.
다른 상세도(2100-2)는 사용자(112)가 복귀 제어(1902)를 활성화하면 제시되는 트레이닝 화면을 도시한다. 상세도(2100-2)에서, 애니메이션이 종료되고, 요약 페이지가 제시된다(예를 들어, 도 19의 상세도(1900-4)에 기술된 요약 페이지). 요약 페이지는 텍스트 영역(1810)에 텍스트가 제시되며, 상기 텍스트는 사용자(112)에게 다른 트레이닝 옵션("이들 액션에 대한 빠른 제스처를 시도해보세요")이 있다는 것을 리마인드한다. 요약 페이지는 또한 사용자(112)가 알람을 스누즈하기 위한 팁 환경에 재진입하거나 노래 건너뛰기 및 전화 묵음을 위한 다른 팁 튜토리얼에 진입할 수 있게 하는 튜토리얼 제어(1904)를 제시할 수 있다. 요약 페이지는 또한 종료 제어(1908)를 포함할 수 있으며(예를 들어, "종료" 아이콘), 이는 사용자(112)가 팁 튜토리얼 환경을 종료할 수 있게 한다. 튜토리얼 제어(1904)에 표시자(1906)(예를 들어, 체크 표시 아이콘)가 제시되며, 이는 사용자(112)에게 어느 튜토리얼이 완료되었는지를 알려준다.
도 21은 상세도(2100-3)에서, 사용자(112)가 전화 묵음을 위한 튜토리얼 제어(1904)를 활성화하는 경우 제시될 수 있는 트레이닝 화면의 시퀀스를 도시한다. 예를 들어, 제스처 트레이닝 모듈(106)은 전화를 묵음으로 하기 위한 레이더 제스처를 수행하는 방법을 설명하는 트레이닝 화면의 시퀀스를 제시할 수 있다. 상세도(2100-3)의 트레이닝 화면은 시각적 피드백 엘리먼트(1808) 및 소리 제어(1814)를 디스플레이하는 스마트폰을 도시한다. 텍스트 영역(1810)에 디스플레이된 텍스트는 사용자에게 전화를 묵음으로 하는 방법을 설명한다(예를 들어, "전화기 위에서 임의의 방향으로 스와이프"). 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 경우에, 전화 아이콘(2106)(예를 들어, 클래식 전화 핸드셋)이 애니메이션화된 스마트폰 디스플레이 상에 제시될 수 있다.
다른 상세도(2100-4)는 성공적 스와이프 제스처(예를 들어, 전술한 바와 같이 성공적으로 수행된 스와이프 레이더 제스처, 방향 독립적 스와이프 또는 전 방향 스와이프 레이더 제스처)의 결과를 도시한다. 상세도(2100-4)에서, 시각적 피드백 엘리먼트(1808)가 스스로 축소되게 함으로써 애니메이션이 계속된다(예를 들어, 도 14 및 20에 도시된 바와 같이). 상세도(2100-4)에서, 텍스트 영역(1810)에 제시된 지시 텍스트는 제스처의 성공적인 수행을 나타내도록 변경된다(예를 들어, "전화기 위에서 임의의 방향으로 스와이프"에서 "잘 하셨습니다!"로). 전화 아이콘(2106) 및 소리 제어(1814)가 또한 디스플레이될 수 있다. 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 확인된 입력을 나타내는 시스템 소리 또는 햅틱). 전화를 묵음으로 하기 위한 팁 튜토리얼에 대한 설명은 도 22의 다음 설명에서 계속된다.
도 22은 (2200)에서 전화를 묵음으로 하기 위한 팁 튜토리얼에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 예를 들어, 상세도(2200-1)는 사용자가 스와이프(예를 들어, 방향 독립적 스와이프 또는 전 방향 스와이프)를 성공적으로 수행한 후에 제시되는 상세도(2100-4)에 기술된 트레이닝 화면의 추가 엘리먼트를 도시한다. 상세도(2200-1)의 트레이닝 화면은 텍스트 영역(1810)에 디스플레이된 "잘 하셨습니다!" 메시지, 사용자(112)가 전화 묵음 튜토리얼을 종료하게 하는 리턴 제어(1902)(예를 들어, "확인" 아이콘) 및 소리 제어(1814)를 가진 스마트폰을 도시한다. 일부 구현예에서, 트레이닝 화면은 또한 완료 아이콘(2102)(예를 들어, 체크마크) 또는 재시작 제어(2104)(예를 들어, "다시 연습" 아이콘) 중 하나 또는 둘 모두를 스마트폰 디스플레이에 제시할 수 있다.
다른 상세도(2200-2)는 사용자(112)가 복귀 제어(2202)를 활성화하면 제시되는 트레이닝 화면을 도시한다. 상세도(2200-2)에서, 애니메이션이 종료되고, 요약 페이지가 제시된다(예를 들어, 도 19의 상세도(1900-4)에 기술된 요약 페이지). 요약 페이지는 텍스트 영역(1810)에 텍스트를 포함하며, 상기 텍스트는 사용자(112)에게 다른 트레이닝 옵션(예를 들어, "이들 액션에 대한 빠른 제스처를 시도해보세요") 및 사용자(112)로 하여금 전화를 묵음으로 하기 위한 팁 환경에 재진입하거나 노래 건너뛰기 및 알람 스누즈를 위한 다른 팁 튜토리얼에 진입하기 위한 튜토리얼 제어(1904)를 알린다. 요약 페이지는 또한 종료 제어(1908)를 포함할 수 있으며(예를 들어, "종료" 아이콘), 이는 사용자(112)가 팁 튜토리얼 환경을 종료할 수 있게 한다. 튜토리얼 제어에 표시자(1906)(예를 들어, 체크 표시 아이콘)가 제시되며, 이는 사용자(112)에게 어느 튜토리얼이 완료되었는지를 알려준다. 도 10-20을 참조하여 설명된 기법 및 예시는 전자 디바이스(102) 및 레이더 시스템(104)로 하여금 사용자의 숙련도를 지원하게 하고, 사용자에게 피드백을 제공하고, 일부 구현예에서, (예를 들어, 임의의 기술된 시각적 엘리먼트 및 시각적 피드백 엘리먼트와 사용될 수 있는, 도 9를 참조하여 기술된 기계 학습 기법을 통해) 사용자의 선호 및 습관을 학습하여 전자 디바이스(102), 레이더 시스템(104) 및 제스처 트레이닝 모듈(106)의 전자 디바이스(102)의 성능, 정확도 및 효율성을 개선한다.
도 23은 방법(2300)을 도시하며, 방법(2300)은 수행된 동작을 특정하는 블록 세트로서 도시되었지만, 각 블록에 의해 동작을 수행하기 위해 도시된 순서 또는 조합으로 반드시 제한되는 것은 아니다. 또한, 하나 이상의 동작들 중 임의의 것이 반복, 조합, 재구성 또는 연결되어 광범위한 추가 및/또는 대안적인 방법을 제공할 수 있다. 다음의 논의의 일부에서, 도 1의 예시적 동작 환경(100) 또는 도 2-22에 상세히 설명된 엔터티 또는 프로세스가 참조될 수 있고, 이에 대한 참조는 단지 예시적인 것이다. 본 기법은 하나의 디바이스 상의 하나의 엔터티 또는 다수의 엔터티들에 의해 수행되는 것으로 제한되지 않는다.
(2302)에서, 시각적 게임 엘리먼트가 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제시된다. 예를 들어, 제스처 트레이닝 모듈(106)은 전자 디바이스(102)의 디스플레이(114)에 시각적 게임 엘리먼트(124)(시각적 게임 엘리먼트(124-1)를 포함할 수 있음)를 제시할 수 있다. 시각적 게임 엘리먼트(124)는 사용자(112)가 게임 또는 게임 환경의 일부로서 인터렉션(예를 들어, 레이더 제스처와 같은 제스처를 사용하여)할 수 있는 다양한 적합한 엘리먼트 중 임의의 것일 수 있다. 일부 경우에, 예를 들어, 시각적 게임 엘리먼트(124)는 캐릭터(예를 들어, 피카추, 영웅, 생물 또는 모험가) 또는 차량(예를 들어, 경주용 자동차 또는 항공기)일 수 있다. 다른 경우에, 시각적 게임 엘리먼트(124)는 공과 개, 농구공과 바스켓 또는 미로의 쥐와 같은 물체들의 세트일 수 있으며, 사용자(112)는 제스처를 사용하여 인터렉션할 수 있다. 추가적으로, 시각적 게임 엘리먼트는 게임 플레이를 설명하거나, 시각적 게임 엘리먼트(124)와 인터렉션하기 위해 사용될 수 있는 제스처를 설명하는 지시(방법(900)을 참조하여 설명된 바와 같이 텍스트, 비-텍스트 또는 암시적) 또는 사용자가 특정한 제스처를 수행하기 위한 요청을 포함할 수 있다.
일부 경우에, 지시 또는 시각적 게임 엘리먼트 자체는 사용자가 전자 디바이스에 근접한 제스처를 수행하도록 요청하는 것을 포함할 수 있다. 요청된 제스처는 레이더 기반 터치 독립적 제스처(위에서 설명된 바와 같이), 터치 제스처(예를 들어, 터치 스크린 상에서) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있다.
(2304)에서, 레이더 시스템에 의해 제공된 레이더 필드에서 사용자의 움직임에 대응하는 레이더 데이터가 수신된다. 레이더 시스템은 전자 디바이스에 포함되거나 전자 디바이스와 연관될 수 있으며, 움직임은 전자 디바이스에 근접될 수 있다. 예를 들어, 레이더 시스템(104)은 도 1-8을 참조하여 설명된 바와 같이, 레이더 데이터를 제공할 수 있다.
(2306)에서, 상기 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 움직임이 제스처를 포함하는지 여부가 결정된다(예를 들어, 상기 지시가 설명하거나 수행을 요청한 상기 제스처). 예를 들어, 제스처 트레이닝 모듈(106)은 레이더 필드(110)에서의 사용자의 움직임이 레이더 제스처(예를 들어, 전술한 바와 같은 레이더 기반 터치 독립적 제스처)인지 또는 포함하는지 여부를 결정할 수 있다.
상기 기술된 바와 같이, 일부 구현예에서, 제스처 트레이닝 모듈(106)은 레이더 데이터를 사용하여 레이더 필드(110)에서 사용자의 움직임이 레이더 제스처인지를 결정하여, 레이더 필드에서 사용자의 움직임과 연관된 파라미터들의 세트의 값들을 검출한다. 예를 들어, 파라미터들의 세트는 사용자의 움직임의 형상 또는 경로, 움직임의 길이 또는 속도, 또는 전자 디바이스(102)로부터의 사용자의 거리 중 하나 이상을 나타내는 값을 포함할 수 있다. 제스처 트레이닝 모듈(106)은 파라미터들의 세트의 값을 파라미터들의 세트에 대한 벤치마크 값과 비교한다. 예를 들어, 제스처 트레이닝 모듈(106)은 전술한 바와 같이 파라미터들의 세트에 대한 값을 제스처 라이브러리(120)에 의해 저장된 벤치마크 값과 비교할 수 있다.
사용자의 움직임과 연관된 파라미터들의 세트의 값이 벤치마크 파라미터들에 의해 정의된 기준을 충족하는 경우, 제스처 트레이닝 모듈(106)은 레이더 필드에서의 사용자의 움직임이 레이더 제스처이거나 또는 포함하는 것으로 결정한다. 대안적으로, 사용자의 움직임과 연관된 파라미터들의 세트의 값이 벤치마크 파라미터들에 의해 정의된 기준을 충족하지 않는 경우, 제스처 트레이닝 모듈(106)은 레이더 필드에서의 사용자의 움직임이 레이더 제스처가 아니거나 또는 포함하지 않는 것으로 결정한다. 기술된 바와 같이, 제스처 트레이닝 모듈(106)은 제스처 트레이닝 모듈(106)로 하여금 사용자의 움직임은 레이더 제스처인 것으로 결정하게 하는 파라미터들의 세트의 값들에서 일부 변형을 허용하는 벤치마크 값들의 범위를 사용할 수 있다. 사용자의 움직임이 제스처인지를 결정하기 위한 기법과 관련된 추가 세부 사항은 도 9를 참조하여 설명된다.
또한, 상기 기술된 일부 구현예에서, 전자 디바이스(102)는 지시가 수행을 요청한 제1 제스처와 연관된 적응 또는 조정된 벤치마크 값들을 생성할 수 있는 기계 학습 기법들을 포함할 수 있다. 그 후, 제스처 트레이닝 모듈(106)이 레이더 필드에서 사용자의 움직임에 대응하는 레이더 데이터를 수신하는 경우, 제스처 트레이닝 모듈(106)은 검출된 값을 조정된 벤치마크 값과 비교하고 사용자의 움직임이 레이더 제스처인지 여부를 결정할 수 있다. 조정된 파라미터들은 기계 학습된 파라미터들의 세트에 기초하기 때문에, 사용자의 제스처가 조정되지 않은 벤치마크 값과의 비교에 기초하여 요청된 제스처가 아닌 경우에도, 사용자의 제스처는 요청된 레이더 제스처인 것으로 결정될 수 있다. 따라서, 조정된 벤치마크 값은 전자 디바이스 및 제스처 트레이닝 모듈(106)이 사용자가 레이더 제스처를 하는 방법(예를 들어, 변형이 일관된 경우)에서 더 많은 변형을 수용하는 것을 학습하게 한다. 기계 학습 기법의 사용과 관련된 추가 세부 사항은 도 9를 참조하여 설명된다.
선택적으로, (2308)에서, 레이더 필드에서의 사용자의 움직임이 레이더 제스처이거나 이를 포함하는 것으로 결정함에 응답하여(예를 들어, 지시가 수행을 요청한 제스처), 시각적 게임 엘리먼트의 성공 시각적 애니메이션이 디스플레이 상에 제시된다. 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 게임 플레이의 성공적 진행, 긍정적 결과 또는 다른 긍정적 피드백(예를 들어, "잘 했어요!"와 같은 텍스트 또는 동물 또는 Pokemon™ 캐릭터(예: Pikachu™)와 같은 시각적 캐릭터, 웃거나 점프 또는 이와 달리 긍정적 방식으로 행동하는 시각적 캐릭터)을 표시한다. 따라서, 시각적 피드백 엘리먼트(예를 들어, 시각적 애니메이션)가 디스플레이 상에 제시된다. 시각적 피드백 엘리먼트의 시각적 애니메이션은 상기 레이더 필드에서의 상기 사용자의 움직임이 상기 지시가 수행을 요청한 레이더 제스처라고 표시한다. 예를 들어, 사용자의 움직임이 요청된 레이더 제스처라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(124)의 성공 시각적 애니메이션을 디스플레이(114) 상에 제시할 수 있다.
선택적으로, (2310)에서, 레이더 필드에서의 사용자의 움직임이 레이더 제스처가 아니거나 이를 포함하지 않는 것으로 결정함에 응답하여, 시각적 게임 엘리먼트의 실패 시각적 애니메이션이 디스플레이 상에 제시된다. 시각적 엘리먼트의 실패 시각적 애니메이션은 게임 플레이 진행 실패, 게임 플레이 진행 실패, 부정적 결과 또는 기타 부정적 피드백("다시 시도!"의 텍스트 제시 또는 기다리거나 슬픈 얼굴을 보이는 또는 중립적 또는 부정적 방식으로 행동하는 동물 또는 Pokemon™ 캐릭터(예: Pikachu™)와 같은 시각적 캐릭터 또는 성공 제스처의 결정에 응답하는 것과 다른 임의의 비-긍정적 응답)을 표시한다. 예를 들어, 사용자의 움직임이 요청된 레이더 제스처가 아니라는 결정에 응답하여, 제스처 트레이닝 모듈(106)은 시각적 피드백 엘리먼트(124)의 실패 시각적 애니메이션을 디스플레이(114) 상에 제시할 수 있다.
사용자(112)가 성공 제스처를 하지 못하면(예를 들어, 제스처 트레이닝 모듈(106)이 사용자의 움직임이 전술한 바와 같이 레이더 제스처가 아니라고 결정), 제스처 트레이닝 모듈(106)은 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하고, 사용자(112)는 레이더 제스처를 다시 시도한다(예를 들어, 사용자의 의지로 또는 상기 기술된 바와 같이 텍스트 영역(1810)에 디스플레이될 수 있는 텍스트 지시와 같은 지시에 응답하여). 사용자(112)가 다시 제스처를 시도하면, 레이더 시스템은 대응하는 레이더 데이터를 생성하고 전자 디바이스(102)는 (예를 들어, 레이더 시스템(104) 및/또는 제스처 트레이닝 모듈(106)을 사용하여) 사용자의 움직임이 레이더 제스처라고 결정할 수 있고, 디스플레이(114) 상에 시각적 게임 엘리먼트(124)의 성공 시각적 애니메이션을 제시한다. 추가적으로, 제스처 트레이닝 모듈(106)이 사용자의 움직임이 레이더 제스처라고 결정한 후(예를 들어, 제1, 제2 또는 후속 시도 후), 제스처 트레이닝 모듈(106)은 시각적 게임 엘리먼트의 다른 성공적인 시각적 애니메이션을 제시할 수 있고, 게임 플레이를 진행한다.
시각적 게임 엘리먼트의 다른 성공적인 시각적 애니메이션은 시각적 게임 엘리먼트(예를 들어, 원래 시각적 게임 엘리먼트 또는 새로운 시각적 게임 엘리먼트)가 제시되도록 게임 플레이를 진행시킬 수 있다. 시각적 게임 엘리먼트는 게임 플레이를 설명하거나, 시각적 게임 엘리먼트와 인터렉션하기 위해 사용될 수 있는 제스처를 설명하는 지시(방법(900)을 참조하여 설명된 바와 같이 텍스트, 비-텍스트 또는 암시적) 또는 사용자가 특정한 제스처를 수행하기 위한 요청을 포함할 수 있다. 이 제스처의 프로세스 및 사용자의 수행에 기초한 게임 플레이를 진행 또는 미진행은 상이한 시각적 게임 엘리먼트 및 시각적 게임 엘리먼트의 상이한 성공 및 실패 시각적 애니메이션으로 반복될 수 있다.
상이한 시각적 게임 엘리먼트 및 시각적 게임 엘리먼트의 상이한 성공 및 실패 시각적 애니메이션은 방향 의존적 제스처(예: 왼쪽에서 오른쪽으로 스와이프, 오른쪽에서 왼쪽으로 스와이프, 아래에서 아래로 또는 위에서 아래로 스와이프) 또는 방향 독립적 제스처(예: 위에서 설명한 전 방향 스와이프)와 같은 상이한 제스처와 연관될 수 있다. 따라서, 전자 디바이스(102)는 게임 환경을 사용하여 사용자 제스처를 가르치거나 사용자가 즐겁고 효율적인 방식으로 제스처를 연습할 수 있게 한다. 예로서, 다음의 도 22-33을 고려하면, 도 22-33은 시각적 게임 엘리먼트(124)의 성공 및 실패 시각적 애니메이션의 다양한 예를 도시한다.
도 24는 (2400)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 시퀀스를 도시한다. 보물 상자를 열기 위해 사용자가 제스처 또는 일련의 제스처를 수행하는 간단한 게임을 고려한다. 대안적으로 또는 추가적으로, 게임 환경은 토글 스위치, 로터리 다이얼, 슬라이드 제어, 북 페이지 등과 같은 간단하거나 직관적인 조작을 갖는 다른 일반적인 객체를 이용할 수 있다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 보물 상자를 열기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(2400-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(2400-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(2400-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하거나 게임 엘리먼트를 조작하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "보물 상자를 위로 스와이프" 또는 "스마트폰 위에서 위쪽으로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 열기")에 의해 어떤 액션이 발생하는지에 대한 설명을 디스플레이하는데 사용될 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 구현예에서, 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스(102)의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
애니메이션 시퀀스는 다른 상세도(2400-2)에서 시작하며, 여기서 화살표(2408)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(스와이프)를 하기 시작한다. 사용자가 제스처를 시작함에 따라, 다른 화살표(2410)에 의해 도시된 바와 같이 보물 상자(2402)가 상승하기 시작한다. 애니메이션은 상세도(2400-3)에서 계속되며, 여기서 사용자의 손이 예시적 스마트폰(102)의 상단에 도달할 때까지 제스처를 계속하고, 보물 상자(2402)가 계속 상승한다(화살표(2414)로 표시됨). 보물 상자 게임 환경에서 트레이닝 화면의 설명이 도 25의 다음 설명에서 계속된다.
도 25는 (2500)에서 보물 상자 게임 환경에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 이 예시에서, 추가적 트레이닝 화면은 성공적 "스와이프 업" 레이더 제스처의 결과를 도시한다(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션). 예를 들어, 상세도(2500-1)는 열기 시작한 보물 상자(2402)를 도시한다(이중 종단 화살표(2502)로 표시됨). 상세도(2500-1)는 또한 텍스트 영역(2404)에 텍스트 지시를 포함한다. 다른 상세도(2500-2)에서, 텍스트 지시가 사라지고, 보물 상자(2402)가 열리면서 보물 동전(2504)을 방출함에 따라 성공적인 애니메이션이 계속된다.
상세도(2500-1 및 2500-2) 모두에서, 트레이닝 화면은 선택적 종료 제어(2406)를 포함한다. 추가로, 도 24 및 25에서 제시된 트레이닝 화면에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 확인된 입력을 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 보물 상자(2402)는 상승하거나 열리지 않으며, 제스처 트레이닝 모듈(106)은 보물 상자(2402)가 조류에 의해 떠내려가거나 땅속으로 가라앉는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 26는 (2600)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 애완 동물(2602)(예를 들어, 고양이, 개 또는 Pikachu™)에게 인사하기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 애완 동물(2602)에게 인사하기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(2600-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(2600-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(2600-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "화면을 가로질러 손가락을 스와이프" 또는 "전화기 위에서 왼쪽 또는 오른쪽으로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 인사하기")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 구현예에서, 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(2600-2)에서, 화살표(2604)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 가로질러 스와이프)를 하기 시작한다. 애완 동물(2602) 및 종료 제어(2406)는 또한 상세도(2600-2)에서 트레이닝 화면 상에 제시된다. 애니메이션(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 실패 애니메이션)은 애완 동물(2602)이 앉아서 입을 여는(예를 들어, "안녕하세요") 상세도(2600-3)를 계속한다. 상세도(2600-1 내지 2600-3)에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 애완 동물(2602)은 인사하지 않고, 제스처 트레이닝 모듈(106)은 애완 동물(2602)이 걸어가거나 잠드는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 27는 (2700)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 동물 또는 애완 동물(2702)(예를 들어, 고양이, 개 또는 Pikachu™)을 쓰다듬기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 동물 또는 애완 동물(2702)(이 경우, 고양이(2702))을 쓰다듬기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(2700-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(2700-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(2700-1)은 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "쓰다듬기 위해 왼쪽과 오른쪽을 스와이프" 또는 "쓰다듬기 위해 손가락을 왼쪽과 오른쪼으로 드래그" 또는 "전화기 위에서 왼쪽 또는 오른쪽으로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 쓰다듬기")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 구현예에서, 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(2700-2)에서, 화살표(2704)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 위에서 오른쪽으로 스와이프)를 하기 시작한다. 고양이(2702) 및 종료 제어(2406)는 또한 상세도(2700-2)에서 트레이닝 화면 상에 제시된다. 상세도(2700-3)에서 애니메이션이 계속되어, 화살표(2706)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 위에서 왼쪽으로 스와이프)의 제2 부분을 하기 시작한다. 상세도(2700-2 및 2700-3)의 트레이닝 화면은 또한 텍스트 영역(2404)(지시와 함께) 및 종료 제어(2406)를 도시한다. 상세도(2700-1 내지 2700-3)에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 스와이프하여 쓰다듬기 게임 환경에서 트레이닝 화면의 설명이 도 28의 다음 설명에서 계속된다.
도 28는 (2800)에서 스와이프하여 쓰다듬기 게임 환경에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 이 예시에서, 추가적 트레이닝 화면은 성공적 "왼쪽 및 오른쪽 스와이프" 제스처의 결과를 도시한다(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션). 예를 들어, 상세도(2800-1)는 고양이(2702)가 눈을 감고 표정을 바꾸는 것을 도시한다. 상세도(2800-1)는 또한 텍스트 영역(2404)에 텍스트 지시를 포함한다. 사용자(112)는 이중 종단 화살표(2802)로 도시된 바와 같이 계속해서 좌우로 스와이프한다.
다른 상세도(2800-2)에서, 고양이(2702)가 눈을 뜨고 애니메이션 하트(2804)가 고양이(2702) 위에 나타날 때까지 성공적인 애니메이션이 계속된다. 상세도(2800-1 및 2800-2) 모두에서, 트레이닝 화면은 선택적 종료 제어(2406)를 포함한다. 추가로, 도 28에서 제시된 트레이닝 화면에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 확인된 입력을 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(도시되지 않음), 고양이(2702)는 눈을 감지 않으며, 하트가 제시되지 않는다. 또한, 제스처 트레이닝 모듈(106)은 고양이(2702)가 걸어가거나 잠드는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 29는 (2900)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 캐릭터 또는 동물(2902)(예를 들어, 원숭이, 고양이 또는 Pikachu™)을 쓰다듬기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 캐릭터 또는 동물(2902)(이 경우, 원숭이(2902))을 쓰다듬기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(2900-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(2900-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(2900-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "도약하기 위해 위로 스와이프" 또는 "뛰기 위해 위로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 점프")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 일부 구현예에서, 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(2900-2)에서, 화살표(2904)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 위에서 위쪽으로 스와이프)를 하기 시작한다. 원숭이(2902) 및 종료 제어(2406)는 또한 상세도(2900-2)에서 트레이닝 화면 상에 제시된다. 상세도(2900-3)에서 애니메이션이 계속되어, 화살표(2906)에 의해 도시된 바와 같이, 사용자는 요청된 제스처를 계속한다. 상세도(2900-2 및 2900-3)의 트레이닝 화면은 또한 텍스트 영역(2404)(지시와 함께) 및 종료 제어(2406)를 도시한다. 스와이프하여 점프하기 게임 환경에서 트레이닝 화면의 설명이 도 30의 다음 설명에서 계속된다.
도 30는 (3000)에서 스와이프하여 점프하기 게임 환경에 제시될 수 있는 추가 트레이닝 화면을 도시한다. 이 예시에서, 추가적 트레이닝 화면은 성공적 "스와이프 업" 제스처의 결과를 도시한다(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션). 예를 들어, 상세도(3000-1)는 원숭이(2902)가 표정을 바꾸고 공중으로 점프하는 것을 도시한다. 상세도(3000-1)는 또한 작은 불꽃으로 도시된 게임 플레이 표시기(3002)를 포함한다. 게임 플레이 표시기(3002)는 게임을 완료하기 위해 원숭이를 점프하게 하는 횟수를 사용자에게 보여준다. 상세도(3000-1)의 예에서, 가장 왼쪽의 게임 플레이 표시기(3002)가 더 크게 도시되고 후광(3004)으로 도시된 바와 같이, 제1 점프가 완료되었다.
다른 상세도(3000-2)에서, 원숭이(2902)가 지면으로 돌아와서 원래의 표정으로 되돌아 갈 때까지 성공 애니메이션이 계속된다. 또한, 더 얇고 부분적으로 파선으로 도시된 바와 같이, 후광(3004)은 페이딩된다. 상세도(3000-1 및 3000-2) 모두에서, 트레이닝 화면은 선택적 종료 제어(2406)를 포함한다. 추가로, 도 29 및 30에서 제시된 트레이닝 화면에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 원숭이(2902)는 점프하지 않고, 제스처 트레이닝 모듈(106)은 원숭이(2902)가 어깨를 으쓱하거나 누워 잠드는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 31는 (3100)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 펭귄(3102)(또는 고양이, 개 또는 Pikachu™와 같은 다른 캐릭터)이 물을 튀기게 하기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 펭귄(3102)이 물을 튀기게 하기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(3100-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(3100-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(3100-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "물을 튀기기 위해 화면을 가로질러 손가락을 스와이프" 또는 "전화기 위에서 왼쪽 또는 오른쪽으로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 물 튀기기")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다.
이 예에서, 트레이닝 화면은 또한 태양(3104)을 포함하는데, 이는 게임의 대상이 물을 튀겨서 펭귄(3102)을 냉각시키는 것임을 사용자가 이해하도록 도울 수 있다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(3100-2)에서, 화살표(3106)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 가로질러 또는 위에서 스와이프)를 하기 시작한다. 펭귄(3104), 태양(3104) 및 종료 제어(2406)는 또한 상세도(3100-2)에서 트레이닝 화면 상에 제시된다. 애니메이션(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션)은 튀긴 물(3108)이 펭귄(3102)을 씻기는 상세도(3100-3)를 계속한다. 상세도(3100-3)는 또한 작은 물방울로 도시된 게임 플레이 표시기(3110)를 포함한다. 게임 플레이 표시기(3110)는 게임을 완료하기 위해 펭귄이 물을 튀기는 횟수를 사용자에게 보여준다. 상세도(3100-3)의 예에서, 가장 왼쪽의 게임 플레이 표시기(3110)가 더 크게 도시되고 후광(3112)으로 도시된 바와 같이, 제1 물튀기기가 완료되었다.
상세도(3100-1 내지 3100-3)에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 펭귄(3102)은 물을 튀기지 않고, 제스처 트레이닝 모듈(106)은 펭귄(3102)이 걸어가거나 수영하거나 우는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 32는 (3200)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 곰(3202)(또는 고양이, 개 또는 Pikachu™와 같은 다른 캐릭터)이 마술봉(3204)로 풀을 자라나게 하기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 곰(3204)이 마술봉(3204)을 사용하게 하기 위한 레이더 제스처를 수행하는 방법을 설명하는 다른 상세도(3200-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(3200-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(3200-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "화면을 아래로 손가락을 스와이프" 또는 "전화기 위에서 아래쪽으로 스와이프"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "아래로 스와이프하여 풀을 자라나게 하기")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다.
이 예시에서, 트레이닝 화면은 또한 작은 원으로 도시된 게임 플레이 표시기(3206)를 포함한다. 게임 플레이 표시기(3206)는 게임을 완료하기 위해 곰(3202)이 마술봉(3204)을 사용하게 하는 횟수를 사용자에게 보여준다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(3200-2)에서, 화살표(3208)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 위에서 아래쪽으로 스와이프)를 하기 시작한다. 곰(3202), 마술봉(3204), 게임 플레이 표시기(3206) 및 종료 제어(2406)는 또한 상세도(3200-2)에서 트레이닝 화면 상에 제시된다. 애니메이션(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션)은 상세도(3200-3)에서 계속되며, 여기서 곰(3202)은 마술봉(3204)을 지면에 쳐서 풀(3210)이 자라나게 한다(예를 들어, 사용자가 아래로 스와이프하고 곰(3202)는 지면에 침). 상세도(3200-3)에서, 텍스트 영역(2404)의 텍스트는 사용자(112)에게 시도된 제스처가 성공적이라는 것을 알리도록 변경되었다(예를 들어, "잘하셨습니다! 큰 곰이 놀기를 좋아합니다"). 상세도(3200-3)는 또한 게임 플레이 표시기(3206) 및 종료 제어(2406)를 포함한다. 상세도(3200-3)의 예에서, 가장 왼쪽의 게임 플레이 표시기(3206)가 다른 게임 플레이 표시기 보다 더 크게 도시되어, 제1 풀 기르기가 완료되었다.
상세도(3200-1 내지 3200-3)에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 곰(3202)은 풀(3210)을 자라나게 하기 위해 마술봉(3204)을 사용하지 않고, 제스처 트레이닝 모듈(106)은 곰(3202)이 걸어가거나 잠드는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
도 33는 (3300)에서, 사용자(112)가 도 23을 참조하여 기술된 게임 환경에 진입하는 경우 제시될 수 있는 트레이닝 화면의 다른 시퀀스를 도시한다. 예를 들어, 사용자가 개(3302)(또는 고양이 또는 도마뱀과 같은 다른 캐릭터)을 쓰다듬거나 간지럽히기 위해 제스처 또는 일련의 제스처를 수행하는 게임을 고려한다. 제스처는 임의의 적합한 유형의 제스처, 예컨대 레이더 기반 터치 독립적 제스처(상기 설명된 바와 같은), 터치 제스처(예를 들어, 터치 스크린상에서 수행되는 터치 제스처) 또는 카메라 기반 터치 독립적 제스처와 같은 다른 종류의 제스처일 수 있고, 이 예에서, 게임 제스처는 레이더 제스처라고 가정한다.
예를 들어, 제스처 트레이닝 모듈(106)은 개(3302)를 쓰다듬기 위한 제스처를 수행하는 방법을 설명하는 다른 상세도(3300-1)에 도시된 트레이닝 게임 화면(트레이닝 화면)을 제시할 수 있다. 상세도(3300-1)의 트레이닝 화면은 예시적 스마트폰(102) 및 스마트폰 근처의 사용자 손(112)의 애니메이션을 도시한다. 트레이닝 화면의 상세도(3300-1)는 또한 텍스트 영역(2404)(점선 사각형으로 도시됨)을 포함할 수 있으며, 이는 사용자가 게임을 플레이하기 위해 레이더 제스처를 수행하도록 지시하는 텍스트를 디스플레이할 수 있다(예를 들어, "쓰다듬기 위해 왼쪽과 오른쪽으로 스와이프" 또는 "전화기 위에서 왼쪽 또는 오른쪽으로 스와이프" 또는 "간지럽히기 위해 손가락을 뻗어 이동"). 텍스트 영역(2404)은 또한 튜토리얼 제목을 디스플레이하거나 성공적 제스처(예를 들어, "스와이프하여 쓰다듬기" 또는 "간지럽히기 위해 손가락 흔들기")의 목적(또는 그에 의해 어떤 액션이 발생하는지)에 대한 설명을 디스플레이하는데 사용될 수 있다.
이 예시에서, 트레이닝 화면은 또한 하트로 도시된 게임 플레이 표시기(3204)를 포함한다. 게임 플레이 표시기(3204)는 게임을 완료하기 위해 개(3302)를 쓰다듬기 해야하는 횟수를 사용자에게 보여준다. 일부 구현예에서, 오디오 지시가 또한 사용 가능할 수 있다(예를 들어, 사용자는 텍스트, 오디오 또는 둘 모두를 선택하고, 텍스트와 같은 디폴트 옵션을 선택할 수 있다). 게임 환경은 또한 사용자가 트레이닝 화면을 종료하고 게임 환경이 전자 디바이스의 정상 동작으로 복귀할 수 있게 하는 종료 제어(2406)를 포함한다.
다른 상세도(3300-2)에서, 화살표(3306)에 의해 도시된 바와 같이, 사용자(112)는 요청된 제스처(화면을 왼쪽과 오른쪽으로 스와이프)를 하기 시작한다. 개(3202), 게임 플레이 표시기(3304) 및 종료 제어(2406)는 또한 상세도(3300-2)에서 트레이닝 화면 상에 제시된다. 애니메이션(예를 들어, 도 23을 참조하여 설명된 바와 같은 시각적 게임 엘리먼트의 성공 애니메이션)은 개(3302)가 성공적 제스처(예를 들어, 스와이프 또는 간지럽히기)를 표시하기 위해 자세와 표정을 바꾸는 상세도(3300-3)를 계속한다. 상세도(3300-3)는 또한 종료 제어(2406) 및 게임 플레이 표시기(3304)를 포함한다. 이 경우, 게임 플레이 표시기(3304)는 가장 왼쪽의 게임 플레이 표시기(3304)가 더 크게 도시되고 후광(3308)으로 둘러싸인 것으로 도시된 바와 같이, 제1 쓰다듬기가 완료되었다는 것을 사용자에게 보여준다. 추가적으로, 사용자가 레이더 제스처가 성공적임을 이해하도록 돕기 위해, 제스처 트레이닝 모듈(106)은 개(3302) 위에 작은 하트(3310)를 제시한다. 또한, 사용자에게 다시 플레이하는 것을 알리기 위해, 텍스트 영역(2404)의 텍스트가 변경된다(예를 들어, "스와이프하여 쓰다듬기" 및 "쓰다듬기 위해 왼쪽과 오른쪽으로 스와이프"에서 "너무 귀엽네요! 로버가 행복하도록 다시 해보세요" 또는 "로버를 간지럽히기 위해 손가락을 뻗어 움직이세요"로).
상세도(3300-1 내지 3300-3)에서, 사용가능한 경우, 오디오 또는 촉각(햅틱) 피드백이 제공될 수 있다(예를 들어, 성공적 제스처를 나타내는 소리 또는 햅틱). 사용자가 제스처를 실패한 경우(미도시), 개(3302)은 자세와 표정을 바꾸지 않고, 제스처 트레이닝 모듈(106)은 개(3302)가 걸어가거나 잠드는 것과 같은 실패 제스처 시도를 나타내는 다른 애니메이션을 제시할 수 있다(예를 들어, 제스처 트레이닝 모듈(106)은 도 23을 참조하여 설명된 바와 같이 시각적 게임 엘리먼트의 실패 애니메이션을 제시할 수 있다).
예시적 시스템
도 34는 앞선 도 1 내지 33을 참조하여 설명된 바와 같이 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하게 하는 양태를 구현하기 위한 임의의 유형의 클라이언트, 서버 및/또는 전자 디바이스로서 구현될 수 있는 예시적 컴퓨팅 시스템(3400)의 다양한 컴포넌트들을 도시한다.
컴퓨팅 시스템(3400)은 디바이스 데이터(3404)의 유선 및/또는 무선 통신을 가능하게 하는 통신 디바이스(3402)를 포함한다(예를 들어, 레이더 데이터, 인증 데이터, 참조 데이터, 수신된 데이터, 수신 중인 데이터, 방송 예정 데이터 및 데이터의 데이터 패킷들). 디바이스 데이터(3404) 또는 다른 디바이스 컨텐츠는 디바이스의 구성 설정, 디바이스에 저장된 미디어 컨텐츠 및/또는 디바이스의 사용자와 연관된 정보(예를 들어, 레이더 필드 내의 사람의 신원 또는 커스터마이징되 제스처 데이터)를 포함할 수 있다. 컴퓨팅 시스템(3400)에 저장된 미디어 컨텐츠는 임의의 유형의 레이더, 생체, 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 컴퓨팅 시스템(3400)은 사람 발언, 레이더 필드와의 인터렉션(예를 들어, 레이더 제스처), 터치 입력, 사용자 선택가능 입력 또는 인터렉션(명시적 또는 암시적), 메시지, 음악, 텔레비전 미디어 컨텐츠, 녹화된 비디오 컨텐츠 및 임의의 컨텐츠 및/또는 데이터 소스로부터 수신된 임의의 다른 유형의 오디오, 비디오 및/또는 이미지 데이터와 같은 임의의 유형의 데이터, 미디어 컨텐츠 및/또는 입력이 수신될 수 있는 하나 이상의 데이터 입력(3406)을 포함한다.
컴퓨팅 시스템(3400)은 또한 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 유형의 네트워크 인터페이스, 모뎀 및 임의의 다른 유형의 통신 인터페이스 중 어느 하나 이상으로서 구현될 수 있는 통신 인터페이스(3408)를 포함한다. 통신 인터페이스(3408)는 컴퓨팅 시스템(3400)과 다른 전자, 컴퓨팅 및 통신 디바이스가 컴퓨팅 시스템(3400)과 데이터를 통신하는 통신 네트워크 사이의 연결 및/또는 통신 링크를 제공한다.
컴퓨팅 시스템(3400)은 컴퓨팅 시스템(3400)의 동작을 제어하고, 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하기 위한 기법을 위한 또는 상기 기법이 구현될 수 있는 다양한 컴퓨터 실행가능 명령어들을 프로세싱할 수 있는 하나 이상의 프로세서들(3410)(예를 들어, 임의의 마이크로프로세서, 제어기 또는 다른 제어기)을 포함한다. 대안적으로 또는 추가적으로, 컴퓨팅 시스템(3400)은 일반적으로 (3412)에서 식별되는 프로세싱 및 제어 회로와 관련하여 구현되는 하드웨어, 펌웨어 또는 고정 논리 회로의 임의의 하나 또는 조합으로 구현될 수 있다. 도시되지 않았지만, 컴퓨팅 시스템(3400)은 디바이스 내의 다양한 컴포넌트를 연결하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변기기 버스, 범용 직렬 버스 및/또는 다양한 버스 아키텍처 중 하나를 이용하는 프로세서 또는 로컬 버스와 같은 다른 버스 구조 중 하나 또는 그 이상의 조합을 포함할 수 있다. 또한 도시되지 않았지만, 컴퓨팅 시스템(3400)은 비-레이더 센서(108)와 같은 하나 이상의 비-레이더 센서를 포함할 수 있다.
컴퓨팅 시스템(3400)은 또한 영구적 및/또는 비일시적 데이터 저장(예: 일시적 신호 전송의 반대)을 지원하는 하나 이상의 메모리 디바이스와 같은 컴퓨터 판독가능 매체(3414)를 포함하며, 그 예시는 랜덤 액세스 메모리(RAM), 비-휘발성 메모리(예를 들어, 읽기 전용 메모리(ROM), 플래시 메모리, EPROM, EEPROM 등 중 임의의 하나 이상) 및 디스크 저장 디바이스를 포함한다. 디스크 저장 디바이스는 하드 디스크 드라이브, 기록 가능 및/또는 재기록 가능 컴팩트 디스크(CD), 임의의 유형의 DVD 등과 같은 임의의 유형의 자기적 또는 광학적 저장 디바이스로서 구현될 수 있다. 컴퓨팅 시스템(3400)은 또한 대용량 저장 매체 디바이스(저장 매체)(3416)를 포함할 수 있다.
컴퓨터 판독가능 매체(3414)는 디바이스 데이터(3404)뿐만 아니라 다양한 디바이스 애플리케이션(3418) 및 컴퓨팅 시스템(3400)의 동작 양태와 관련된 임의의 다른 유형의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘을 제공한다. 예를 들어, 운영 체제(3420)는 컴퓨터 판독가능 매체(3414)를 갖는 컴퓨터 애플리케이션으로서 유지될 수 있고 프로세서(3410)상에서 실행될 수 있다. 디바이스 애플리케이션(3418)은 임의의 형태의 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 프로세싱 및 제어 모듈, 특정한 디바이스 고유의 코드, 추상화 모듈, 제스처 인식 모듈 및/또는 다른 모듈과 같은 디바이스 관리자를 포함할 수 있다. 디바이스 애플리케이션(3418)은 또한 레이더 시스템(104), 제스처 트레이닝 모듈(106), 애플리케이션 관리자(116) 또는 제스처 라이브러리(120)와 같은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 양태를 구현하기 위한 시스템 컴포넌트, 엔진, 모듈 또는 관리자를 포함할 수 있다. 컴퓨팅 시스템(3400)은 또한 하나 이상의 기계 학습 시스템을 포함하거나 이에 액세스할 수 있다.
전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 양태들이 구성 및/또는 방법에 특정적인 언어로 기술되었지만, 첨부된 청구항의 주제는 기술된 특정 구성 또는 방법에 반드시 제한되는 것은 아니다. 오히려, 특정 구성 및 방법은 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도를 지원하는 예시적 구현예로서 개시되었고, 다른 균등한 구성 및 방법도 첨부된 청구항의 범위 내에 있는 것으로 의도된다. 또한, 다양하고 상이한 양태들이 설명되고, 각 설명된 양태은 독립적으로 또는 하나 이상의 다른 설명된 양태들과 관련하여 구현될 수 있음을 이해해야 한다.

Claims (20)

  1. 레이더를 사용하여 수신된 제스처를 사용하는 것에서 사용자 숙련도를 시각적 게임 플레이를 통해 지원하기 위해 레이더-제스처-가능 전자 디바이스에 의해 수행되는 방법으로서,
    상기 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제1 시각적 게임 엘리먼트를 제시하는 단계;
    레이더 시스템에 의해 제공된 레이더 필드에서 사용자의 제1 움직임에 대응하는 제1 레이더 데이터를 수신하는 단계, 상기 레이더 시스템은 상기 레이더-제스처-가능 전자 디바이스에 포함되거나 또는 그와 연관되며;
    상기 제1 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 제1 레이더 제스처를 포함하는지 여부를 결정하는 단계;
    상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함한다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하는 단계, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 성공적 진행을 표시하며; 또는
    상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다고 결정함에 응답하여,
    상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하는 단계, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션은 상기 시각적 게임 플레이 진행의 실패를 표시하며;
    상기 레이더 필드에서의 상기 사용자의 제2 움직임에 대응하는 제2 레이더 데이터를 수신하는 단계;
    상기 제2 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함한다고 결정하는 단계; 및
    상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함한다고 결정함에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하는 단계를 포함하며,
    상기 제2 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함하는지 여부를 결정하는 단계는:
    상기 레이더 필드에서의 상기 사용자의 상기 제2 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 제2 레이더 데이터를 사용하는 것;
    상기 파라미터들의 세트의 검출된 값을 상기 파라미터들의 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제1 레이더 제스처에 대응하는 것을 특징으로 하는 방법
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 레이더 필드에서의 상기 사용자의 제1 움직임 또는 제2 움직임이 상기 제1 레이더 제스처를 포함한다고 결정함에 응답하여, 제2 시각적 게임 엘리먼트를 제시하는 단계;
    상기 레이더 필드에서의 상기 사용자의 제3 움직임에 대응하는 제3 레이더 데이터를 수신하는 단계, 상기 제3 레이더 데이터는 상기 제1 레이더 데이터 및 상기 제2 레이더 데이터 이후에 수신되며;
    상기 제3 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제3 움직임이 제2 레이더 제스처를 포함한다고 결정하는 단계; 및
    상기 레이더 필드에서의 상기 사용자의 제3 움직임이 상기 제2 레이더 제스처를 포함한다고 결정함에 응답하여, 상기 제2 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하는 단계를 더 포함하며, 상기 제2 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 다른 성공적 진행을 표시하는 것을 특징으로 하는 방법.
  5. 청구항 4에 있어서, 상기 제3 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제3 움직임이 상기 제2 레이더 제스처를 포함하는지 여부를 결정하는 단계는:
    상기 레이더 필드에서의 상기 사용자의 상기 제3 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 제3 레이더 데이터를 사용하는 것;
    상기 파라미터들의 세트의 검출된 값을 상기 파라미터들의 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제2 레이더 제스처에 대응하는 것을 특징으로 하는 방법.
  6. 청구항 4에 있어서, 상기 제1 레이더 제스처 또는 상기 제2 레이더 제스처가 결정될 수 있는 시야는 상기 레이더-제스처-가능 전자 디바이스의 1미터 내 그리고 상기 레이더-제스처-가능 전자 디바이스의 디스플레이의 평면으로부터 측정된 10도 이상의 각도 내의 볼륨을 포함하는 것을 특징으로 하는 방법.
  7. 청구항 4에 있어서,
    기계 학습 모델로, 상기 제1 레이더 제스처 또는 상기 제2 레이더 제스처와 연관된 조정된 벤치마크 값을 생성하는 단계;
    상기 레이더 필드에서의 상기 사용자의 제4 움직임에 대응하는 제4 레이더 데이터를 수신하는 단계;
    상기 레이더 필드에서의 상기 사용자의 상기 제4 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 제4 레이더 데이터를 사용하는 단계;
    상기 파라미터들의 세트의 검출된 값을 상기 조정된 벤치마크 값과 비교하는 단계;
    상기 비교에 기초하여, 상기 레이더 필드에서의 사용자의 제4 움직임이 상기 제1 또는 제2 레이더 제스처를 포함하고, 상기 레이더 필드에서의 사용자의 제4 움직임이 상기 파라미터들의 세트의 값과 기본 벤치마크 값과의 비교에 기초하여 상기 제1 또는 제2 레이더 제스처가 아니라고 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 청구항 1에 있어서, 상기 제1 레이더 데이터에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하는지 여부를 결정하는 단계는:
    상기 레이더 필드에서의 상기 사용자의 제1 움직임과 연관된 파라미터들의 제1 세트의 값을 검출하기 위해 상기 제1 레이더 데이터를 사용하는 것;
    상기 파라미터들의 제1 세트의 검출된 값을 상기 파라미터들의 제1 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제1 레이더 제스처에 대응하는 것을 특징으로 하는 방법.
  9. 청구항 1에 있어서, 상기 제1 시각적 게임 엘리먼트는 상기 제1 레이더 제스처를 수행하는 방법과 연관된 텍스트 지시 또는 비-텍스트 지시없이 제시되는 것을 특징으로 하는 방법.
  10. 청구항 1에 있어서, 상기 제1 시각적 게임 엘리먼트는 상기 제1 레이더 제스처를 수행하는 방법을 설명하는 추가 지시와 함께 제시되는 것을 특징으로 하는 방법.
  11. 레이더-제스처-가능 전자 디바이스로서,
    컴퓨터 프로세서;
    하드웨어에서 적어도 부분적으로 구현되는 레이더 시스템, 상기 레이더 시스템은:
    레이더 필드를 제공하고;
    상기 레이더 필드에서 사용자로부터의 반사를 감지하고;
    상기 레이더 필드에서 상기 사용자로부터의 반사를 분석하고;
    반사의 분석에 기초하여, 레이더 데이터를 제공하도록 구성되며; 그리고
    상기 컴퓨터 프로세서에 의한 실행에 응답하여, 제스처-트레이닝 모듈을 구현하는 명령어를 저장하는 컴퓨터 판독가능 매체를 포함하며, 상기 제스처 트레이닝 모듈은:
    시각적 게임 플레이의 컨텍스트에서, 상기 레이더-제스처-가능 전자 디바이스의 디스플레이 상에 제1 시각적 게임 엘리먼트를 제시하고;
    상기 레이더 필드에서의 상기 사용자의 제1 움직임에 대응하는 상기 레이더 데이터의 제1 서브셋을 수신하고;
    상기 레이더 데이터의 제1 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 제1 레이더 제스처를 포함하는지 여부를 결정하고; 그리고
    상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함한다는 결정에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하고, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 성공적 진행을 표시하며; 또는
    상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다는 결정에 응답하여, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션을 제시하도록 구성되며, 상기 제1 시각적 게임 엘리먼트의 실패 시각적 애니메이션은 상기 시각적 게임 플레이 진행의 실패를 표시하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  12. 청구항 11에 있어서, 상기 제스처 트레이닝 모듈은:
    상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하지 않는다는 결정에 응답하여, 상기 레이더 필드에서의 상기 사용자의 제2 움직임에 대응하는 상기 레이더 데이터의 제2 서브셋을 수신하고;
    상기 레이더 데이터의 제2 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함한다고 결정하고; 그리고
    상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함한다는 결정에 응답하여, 상기 제1 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하도록 더 구성되는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  13. 청구항 12에 있어서, 상기 레이더 데이터의 제2 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제2 움직임이 상기 제1 레이더 제스처를 포함하는지 여부를 결정하는 것은:
    상기 레이더 필드에서의 상기 사용자의 상기 제2 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 레이더 데이터의 제2 서브셋을 사용하는 것;
    상기 파라미터들의 세트의 검출된 값을 상기 파라미터들의 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제1 레이더 제스처에 대응하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  14. 청구항 12에 있어서, 상기 제스처 트레이닝 모듈은:
    상기 레이더 필드에서의 상기 사용자의 제1 움직임 또는 제2 움직임이 상기 제1 레이더 제스처를 포함한다는 결정에 응답하여, 제2 시각적 게임 엘리먼트를 제시하고;
    상기 레이더 필드에서의 상기 사용자의 제3 움직임에 대응하는 상기 레이더 데이터의 제3 서브셋을 수신하고, 상기 레이더 데이터의 제3 서브셋은 상기 레이더 데이터의 제1 또는 제2 서브셋 이후에 수신되며;
    상기 레이더 데이터의 제3 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제3 움직임이 제2 레이더 제스처를 포함한다고 결정하고; 그리고
    상기 레이더 필드에서의 상기 사용자의 제3 움직임이 상기 제2 레이더 제스처를 포함한다는 결정에 응답하여, 상기 제2 시각적 게임 엘리먼트의 성공 시각적 애니메이션을 제시하도록 더 구성되며, 상기 제2 시각적 게임 엘리먼트의 성공 시각적 애니메이션은 상기 시각적 게임 플레이의 다른 성공적 진행을 표시하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  15. 청구항 14에 있어서, 상기 레이더 데이터의 제3 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제3 움직임이 상기 제2 레이더 제스처를 포함하는지 여부를 결정하는 것은:
    상기 레이더 필드에서의 상기 사용자의 상기 제3 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 레이더 데이터의 제3 서브셋을 사용하는 것;
    상기 파라미터들의 세트의 검출된 값을 상기 파라미터들의 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제2 레이더 제스처에 대응하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  16. 청구항 14에 있어서, 상기 제1 레이더 제스처 또는 상기 제2 레이더 제스처가 결정될 수 있는 시야는 상기 레이더-제스처-가능 전자 디바이스의 1미터 내 그리고 상기 레이더-제스처-가능 전자 디바이스의 디스플레이의 평면으로부터 측정된 10도 이상의 각도 내의 볼륨을 포함하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  17. 청구항 14에 있어서, 상기 제스처 트레이닝 모듈은:
    기계 학습 모델로, 상기 제1 레이더 제스처 또는 상기 제2 레이더 제스처와 연관된 조정된 벤치마크 값을 생성하고;
    상기 레이더 필드에서의 상기 사용자의 제4 움직임에 대응하는 상기 레이더 데이터의 제4 서브셋을 수신하고;
    상기 레이더 필드에서의 상기 사용자의 상기 제4 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 레이더 데이터의 제4 서브셋을 사용하고;
    상기 파라미터들의 세트의 검출된 값을 상기 조정된 벤치마크 값과 비교하고;
    상기 비교에 기초하여, 상기 레이더 필드에서의 사용자의 제4 움직임이 상기 제1 또는 제2 레이더 제스처를 포함하고, 상기 레이더 필드에서의 사용자의 제4 움직임이 상기 파라미터들의 세트의 값과 기본 벤치마크 값과의 비교에 기초하여 상기 제1 레이더 제스처 또는 제2 레이더 제스처가 아니라고 결정하도록 더 구성되는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  18. 청구항 11에 있어서, 상기 레이더 데이터의 제1 서브셋에 기초하여, 상기 레이더 필드에서의 상기 사용자의 제1 움직임이 상기 제1 레이더 제스처를 포함하는지 여부를 결정하는 것은:
    상기 레이더 필드에서의 상기 사용자의 상기 제1 움직임과 연관된 파라미터들의 세트의 값을 검출하기 위해 상기 레이더 데이터의 제1 서브셋을 사용하고;
    상기 파라미터들의 세트의 검출된 값을 상기 파라미터들의 세트에 대한 벤치마크 값과 비교하는 것을 더 포함하며, 상기 벤치마크 값은 상기 제1 레이더 제스처에 대응하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  19. 청구항 11에 있어서, 상기 제1 시각적 게임 엘리먼트는 상기 제1 레이더 제스처를 수행하는 방법과 연관된 텍스트 지시 또는 비-텍스트 지시없이 제시되는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
  20. 청구항 11에 있어서, 상기 제1 시각적 게임 엘리먼트는 상기 제1 레이더 제스처를 수행하는 방법을 설명하는 추가 지시와 함께 제시되며, 상기 추가 지시는 텍스트 지시 또는 비-텍스트 중 하나 또는 둘 모두를 포함하는 것을 특징으로 하는 레이더-제스처-가능 전자 디바이스.
KR1020190157394A 2019-10-03 2019-11-29 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원 KR102320754B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962910135P 2019-10-03 2019-10-03
US62/910,135 2019-10-03
US16/601,452 2019-10-14
US16/601,452 US20210103337A1 (en) 2019-10-03 2019-10-14 Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device

Publications (2)

Publication Number Publication Date
KR20210040243A KR20210040243A (ko) 2021-04-13
KR102320754B1 true KR102320754B1 (ko) 2021-11-02

Family

ID=75274833

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190157391A KR20210040242A (ko) 2019-10-03 2019-11-29 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원
KR1020190157394A KR102320754B1 (ko) 2019-10-03 2019-11-29 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190157391A KR20210040242A (ko) 2019-10-03 2019-11-29 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원

Country Status (2)

Country Link
US (2) US20210103337A1 (ko)
KR (2) KR20210040242A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437979B1 (ko) 2022-02-22 2022-08-30 주식회사 마인드포지 제스처 기반의 객체 지향적 인터페이싱 방법 및 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
USD930676S1 (en) * 2018-09-07 2021-09-14 Samsung Display Co., Ltd. Display device with generated image for display
WO2020263250A1 (en) 2019-06-26 2020-12-30 Google Llc Radar-based authentication status feedback
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
JP7270070B2 (ja) 2019-08-30 2023-05-09 グーグル エルエルシー モバイルデバイスのための入力方法
US11467672B2 (en) * 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
KR20220098805A (ko) 2019-08-30 2022-07-12 구글 엘엘씨 다중 입력 모드에 대한 입력 모드 통지
USD955404S1 (en) * 2019-09-11 2022-06-21 Ford Global Technologies, Llc Display screen with graphical user interface
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
EP3805980A1 (en) * 2019-10-11 2021-04-14 Kepler Vision Technologies B.V. A system to notify a request for help by detecting an intent to press a button, said system using artificial intelligence
USD956064S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
USD956065S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
US20230039849A1 (en) * 2021-05-21 2023-02-09 Samsung Electronics Co., Ltd. Method and apparatus for activity detection and recognition based on radar measurements
US11972060B2 (en) * 2022-08-04 2024-04-30 Sony Interactive Entertainment Inc. Gesture training for skill adaptation and accessibility

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076061A (ja) 2014-10-06 2016-05-12 三菱電機株式会社 操作入力装置
WO2019146032A1 (ja) * 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US9545571B2 (en) * 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
KR101641091B1 (ko) * 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
KR102222561B1 (ko) * 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US20170097684A1 (en) * 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
US10086267B2 (en) * 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
US11269428B2 (en) * 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11417163B2 (en) * 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076061A (ja) 2014-10-06 2016-05-12 三菱電機株式会社 操作入力装置
WO2019146032A1 (ja) * 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437979B1 (ko) 2022-02-22 2022-08-30 주식회사 마인드포지 제스처 기반의 객체 지향적 인터페이싱 방법 및 장치
KR20230126150A (ko) 2022-02-22 2023-08-29 주식회사 마인드포지 제스처 기반의 인터페이싱 방법
KR20230126158A (ko) 2022-02-22 2023-08-29 주식회사 마인드포지 기동 사운드의 방향성 정보를 이용한 인터페이싱 방법 및 장치

Also Published As

Publication number Publication date
US20210103337A1 (en) 2021-04-08
US20210103348A1 (en) 2021-04-08
KR20210040243A (ko) 2021-04-13
KR20210040242A (ko) 2021-04-13

Similar Documents

Publication Publication Date Title
KR102320754B1 (ko) 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
CN112753005B (zh) 移动设备的输入方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
KR102416386B1 (ko) 다중 입력 모드에 대한 입력 모드 통지
US20200410072A1 (en) Radar-Based Authentication Status Feedback
CN113614676B (zh) 用于提供多模式界面的基于移动设备的雷达系统及其方法
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN111812633B (zh) 检测基于智能设备的雷达系统中的参考系变化
CN110908516A (zh) 促进用户熟练使用雷达手势来与电子设备交互
CN110989836A (zh) 促进用户熟练使用雷达手势来与电子设备交互

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant