KR20190107047A - 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템 - Google Patents

터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템 Download PDF

Info

Publication number
KR20190107047A
KR20190107047A KR1020197022313A KR20197022313A KR20190107047A KR 20190107047 A KR20190107047 A KR 20190107047A KR 1020197022313 A KR1020197022313 A KR 1020197022313A KR 20197022313 A KR20197022313 A KR 20197022313A KR 20190107047 A KR20190107047 A KR 20190107047A
Authority
KR
South Korea
Prior art keywords
radio waves
electronic device
radar
sensing system
objects
Prior art date
Application number
KR1020197022313A
Other languages
English (en)
Other versions
KR102510402B1 (ko
Inventor
아빌라 산티아고 오르테가
코디 워섬
사지드 사디
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190107047A publication Critical patent/KR20190107047A/ko
Application granted granted Critical
Publication of KR102510402B1 publication Critical patent/KR102510402B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Abstract

일 실시 예에서, 방법은 상이한 처리 모듈들에 기초하여 전자 장치와의 사용자 인터랙션들을 처리하는 단계를 포함한다. 전자 장치는 하나 이상의 레이더 기반 송신기들 및 수신기들을 포함한다. 상기 방법은 송신기들로부터 전자 장치 부근의 영역으로 전파들을 송신하고, 수신기들에서 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신한다. 상기 방법은 사용자 인터랙션들을 처리하기 위한 상이한 요구 사항들에 기초하여, 수신된 전파들을 처리하기 위한 삼변측량 처리 또는 이미징 처리를 선택한다.

Description

터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
본 개시는 일반적으로 물체의 전자 검출에 관한 것이다.
사용자는 다양한 방식으로 전자 장치들과 상호 작용할 수 있다. 예를 들어, 마우스와 같은 제어기 또는 조작 패널이 전자 장치와의 상호 작용을 위해서 전통적으로 사용될 수 있다. 전자 장치들과 상호 작용하기 위해 터치 인터랙션들 또는 인-더-에어(in-the-air) 제스처가 점점 더 많이 사용되고 있다. 기존의 제어기 또는 조작 패널과 비교하여, 터치 또는 인-더-에어 인터랙션들은 스마트 장치 및 전자 시스템을 사용하는 사용자들에 대하여 인터랙션 공간, 자유로움, 편의성, 직관력 등을 증가시킬 수 있다.
터치 또는 인-더-에어 제스처 인터랙션들은 일반적으로 저항, 용량, 표면 탄성파, 카메라 또는 적외선 기술들을 통해 달성된다. 그러나, 이러한 기술들을 터치 또는 인-더-에어 제스처 인터랙션 시스템에 사용할 경우에는 단점들이 존재한다. 예를 들어, 이러한 기술들은 조명 상태의 변화에 강건하지 않고, 해킹(hacking) 또는 스푸핑(spoofing)에 취약하며, 및/또는 상당한 처리 능력 및 비용을 필요로 한다.
본 발명의 다양한 실시 예들에 따르면, 방법이 제공된다. 상기 방법은 하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파(radio wave)들을 송신하는 단계; 상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 무선파들을 수신하는 단계; 및 상기 전자 장치와의 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량(trilateration) 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 단계를 포함한다.
본 발명의 다양한 실시 예들에 따르면, 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체는 명령들을 구현하며, 상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금, 하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파(radio wave)들을 송신하는 동작; 상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하는 동작; 및 상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 동작을 포함하는 동작들을 수행하게 한다.
본 발명의 다양한 실시 예들에 따르면, 시스템이 제공된다. 상기 시스템은 송수신기; 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 커플링되는 비일시적 메모리를 포함하며, 상기 적어도 하나의 프로세서는, 상기 송수신기를 제어하여 상기 전자 장치 부근의 영역으로 전파들을 송신하도록 하고; 상기 송수신기를 제어하여 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하도록 하고; 또한 상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하도록 구성된다.
본 발명의 다양한 실시 예에 따르면, 장치가 제공된다. 상기 장치는 디스플레이; 상기 전자 장치 부근의 영역으로 전파들을 송신하도록 구성되는 송수신기; 및 적어도 하나의 프로세서를 포함하며, 상기 송수신기는, 각각의 송신기가 상기 디스플레이에 평행한 방향으로 자신의 전파들 대부분을 송신하는 제 1 세트의 송신기들; 각각의 송신기가 상기 디스플레이에 수직한 방향으로 자신의 전파들 대부분을 송신하는 제 2 세트의 송신기들; 및 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는, 상기 송신된 전파들의 반사들을 검출하기 위한 하나 이상의 수신기들을 포함하며, 여기서 상기 반사들은 상기 전자 장치와의 사용자 인터랙션에 대응하는 것이다.
본 발명의 다양한 실시 예들에 따르면, 방법이 제공된다. 상기 방법은 복수의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 전자 장치 부근의 하나 이상의 물체들을 검출하기 위한 하나 이상의 프리퍼런스(preference)들에 기초하여, 상기 복수의 송신기들에 대한 송신 동작 모드(transmission operating mode)를 선택하는 단계; 상기 송신 동작 모드에 따라 상기 복수의 송신기들 중 적어도 일부로부터, 상기 전자 장치 부근의 영역으로 전파들을 송신하는 단계; 및 상기 하나 이상의 수신기들을 활성화시켜 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 검출하도록 하는 단계를 포함한다.
본 개시는 물체의 전자 검출을 위한 효율적인 방법 및 장치를 제공한다.
도 1은 터치 및 인-더-에어 인터랙션들을 검출하기 위한 예시적인 레이더 기반 감지 시스템을 도시한 것이다.
도 2는 디스플레이가 장착된 장치 상에 배치되는 예시적인 레이더 기반 감지 시스템을 도시한 것이다.
도 3은 레이더 기반 감지 시스템의 예시적인 하드웨어를 도시한 것이다.
도 4는 장면 및 제스처 분석을 위한 예시적인 레이더 기반 감지 시스템에 의해 구현되는 예시적인 처리 흐름을 도시한 것이다.
도 5는 레이더 이미징에 의해 검출될 수 있는 복수의 예시적인 제스처를 도시한 것이다.
도 6a 및 도 6b는 삼변측량에 의해 검출될 수 있는 복수의 예시적인 제스처를 도시한 것이다.
도 7은 레이더 기반 감지 시스템에 대한 삼변측량 및 레이더 이미징 중 하나를 선택하기 위한 예시적인 방법을 도시한 것이다.
도 8은 레이더 기반 감지 시스템의 내향 및 외향 송수신기들의 예시적인 레이아웃을 도시한 것이다.
도 9는 내향 및 외향 송수신기들을 갖는 레이더 기반 감지 시스템을 사용하기 위한 예시적인 방법을 도시한 것이다.
도 10은 캐리어 코딩에 의한 예시적인 전파 처리를 도시한 것이다.
도 11은 위상 코딩에 의한 예시적인 전파 처리를 도시한 것이다.
도 12는 몇몇 송신 동작 모드들에서 레이더 기반 감지 시스템을 동작 시키기 위한 예시적인 방법을 도시한 것이다.
도 13은 예시적인 컴퓨터 시스템을 도시한 것이다.
레이더(radar)는 "radio detection and ranging"의 약자로, 물체의 범위, 속도, 각 방향, 크기 및 형상을 결정하기 위해 전파(3 MHz 내지 120 GHz의 전자기파)를 사용하는 물체 검출 시스템이다. 레이더 시스템에서는, 송신기가 전파를 방출하며, 이 전파가 물체와 접촉할 경우 반사되거나, 산란되거나 흡수된다. 그 후에, 수신기 쪽으로 반사 또는 산란된 전파(에코 신호)는 물체의 범위, 속도, 각 방향, 크기, 형상 또는 그 밖의 특징들을 결정하기 위해 처리된다.
본 명세서에 기재된 레이더 기반 감지 시스템은 전파를 사용하여 전자 장치와의 사용자 인터랙션들을 검출한다. 일부 실시 예들에서, 레이더 기반 감지 시스템은 사용자들이 레이더 기반 감지 시스템에 근접해 있을 경우 터치 제스처 인터랙션들을 검출할 수 있다. 일부 실시 예들에서, 레이더 기반 감지 시스템은 사용자들이 레이더 기반 감지 시스템으로부터 멀리 떨어져 있을 경우 인-더-에어(in-the-air) 제스처 인터랙션들을 검출할 수 있다. 예를 들어, 사용자들은 레이더 기반 감지 시스템에서 1 피트, 30 피트 또는 1 피트 내지 30 피트의 거리에 있을 수 있다. 이러한 기능을 달성하기 위해, 레이더 기반 감지 시스템은 시스템에 대해 상이한 각도(예를 들어, 내향 및 외향)로 전파들을 송신하는 송신기들을 배치할 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 상이한 요구 사항들(예를 들어, 낮은 해상도, 높은 해상도, 높은 프레임 레이트 등)을 충족시키기 위해, 전파를 송신하기 위한 다수의 상이한 동작 모드들 중에서 선택할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 상이한 애플리케이션들(예를 들어, 간단한 제스처 인식, 복잡한 제스처 인식, 장면 분석 등)에 대해 상이한 데이터 처리 모듈들(예를 들어, 삼변측량 및 레이더 이미징)을 사용할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 상이한 송신 동작 모드들 또는 상이한 데이터 처리 모듈들 사이에서 동적으로 스위칭할 수 있다. 특정 실시 예들에서, 본 명세서에 개시된 레이더 기반 감지 시스템은 송신기들, 데이터 처리 모듈들 및 송신 동작 모드들의 특정 조합을 선택함으로써, 각종 요구 사항들(예를 들어, 이미징 또는 물체 추적 요구 사항들)을 충족시킬 수 있다. 예를 들어, 적절한 송신 동작 모드 및/또는 데이터 처리 모듈을 동적으로 선택함으로써, 레이더 기반 감지 시스템은 노이즈가 있는 환경 내의 근거리 필드에서 간단한 제스처 인식을 제공할 수 있으며; 그러나 더 높은 해상도가 요구될 경우, 시스템은 또한 다른 송신 동작 모드 및/또는 데이터 처리 모듈(또는 양쪽 모두)을 선택함으로써 원거리 필드의, 복잡한 제스처 인식을 제공할 수 있다.
본 명세서에 기재된 레이더 기반 감지 시스템의 특정 실시 예들은 가시 광선이 제한되거나 연기, 증기, 안개, 눈, 비 등이 있는 경우에도 작동할 수 있다. 본 명세서에 기재된 레이더 기반 감지 시스템의 특정 실시 예들은 벽 또는 유리와 같은 물질들을 통한 인-더-에어 인터랙션들을 검출할 수 있다. 따라서, 특정 실시 예들은 레이더 기반 감지 시스템의 은닉 설치를 허용한다. 예를 들어, 시스템은 벽, 덮개 등의 뒤쪽에 설치될 수 있다. 다른 실시 예들에서, 레이더 기반 감지 시스템은 공용 디스플레이, 예를 들어, 투시창 스토어 인터랙티브 디스플레이에 사용될 수 있다.
본 명세서에 기재된 레이더 기반 감지 시스템은 용량성 터치를 대체하거나 보완할 수 있다. 예를 들어, 용량성 터치 센서는 대형 디스플레이에서 고가일 수 있으므로, 레이더 기반 감지 시스템이 보다 경제적이게 된다. 본 명세서에 기재된 레이더 기반 감지 시스템은 또한 카메라가 필요 없기 때문에 사용자 개인 정보를 개선할 수 있으며 야간에도 작동할 수 있다.
본 명세서에 기재된 레이더 기반 감지 시스템의 특정 실시 예들은 터치 및 인-더-에어 인터랙션들 모두를 허용할 수 있으며, 사용자들이 인-더-에어 인터랙션들 동안에 시스템으로부터 멀리 떨어져 있도록 허용할 수 있다. 따라서, 본 레이더 기반 감지 시스템은 TV, 프로젝터, 조작을 위해 제스처를 사용하는 자동차 제어 시스템, 사운드 시스템 및 주방 용품과 같은 가전 제품, 그리고 대화형 게임 등에 사용될 수 있다. 예를 들어, 레이더 기반 감지 시스템은 보다 효과적인 광고 전달을 달성하는데 사용될 수 있는, 가정 내 감지 및/또는 추적(예를 들어, TV 또는 사운드 바)에서 사용될 수 있다. 본 명세서에 기재된 레이더 기반 감지 시스템의 특정 실시 예들은 상대적으로 적은 처리 능력 및 낮은 제조 비용을 필요로 할 수 있다. 결과적으로, 본 레이더 기반 감지 시스템은 스마트 폰, 태블릿, 웨어러블 장치, VR/AR 헤드셋 등과 같은 소형 소비자 제품에 사용될 수 있다. 본 명세서에 기재된 레이더 기반 감지 시스템의 특정 실시 예들은 다양한 다른 시나리오에서 사용될 수 있다. 본 개시가 레이더 기반 감지 시스템의 특정 사용 케이스들을 설명 및 예시하고 있지만, 본 개시는 본 명세서에 기재된 레이더 기반 감지 시스템의 임의의 적절한 사용 케이스들을 고려한다.
도 1은 터치 및 인-더-에어(in-the-air) 인터랙션들을 검출하기 위한 레이더 기반 감지 시스템의 예를 도시한 것이다. 제한이 아닌 일 예로서, 레이더 기반 감지 시스템은 사용자(101)가 시스템에 접촉함으로써 시스템과 상호 작용하는 것을 검출할 수 있다. 사용자(101)은 상이한 기능들을 구현하도록 시스템에 지시하는 일 방법으로서 상이한 터치 제스처들을 수행할 수 있다. 그에 상응하게, 레이더 기반 감지 시스템은 이러한 터치 제스처들을 식별하여 다양한 기능들을 구현할 수 있다. 제한이 아닌 다른 예로서, 레이더 기반 감지 시스템은 사용자 (102)가 인-더-에어 제스처들을 통해 시스템과 상호 작용하는 것을 검출할 수 있다. 사용자 (102)는 기능들을 구현하도록 시스템에 지시하는 일 방법으로서 상이한 인-더-에어 제스처들을 수행할 수 있다. 그에 상응하게, 레이더 기반 감지 시스템은 이러한 인-더-에어 제스처들을 식별하여 적절한 기능들을 구현할 수 있다. 제한이 아닌 다른 예로서, 레이더 기반 감지 시스템은 사용자(103)가 시스템의 앞에 서있는 것을 검출할 수 있다. 레이더 기반 감지 시스템은 사용자(103)의 높이, 크기, 위치, 자세 또는 다른 속성들을 결정할 수 있다. 제한이 아닌 다른 예로서, 레이더 기반 감지 시스템은 사용자(104)가 시스템의 앞에 앉아 있는 것을 검출할 수 있다. 레이더 기반 감지 시스템은 다른 특징들 중에서도, 사용자(104)의 착석 포지션 및 위치를 결정할 수 있다. 본 개시가 특정 인터랙션들을 검출하기 위한 특정 레이더 기반 감지 시스템의 특정 시나리오를 예시하고 있지만, 본 개시는 임의의 적합한 방식으로 임의의 적합한 인터랙션들을 검출하기 위한 임의의 적합한 레이더 기반 감지 시스템들에 대한 임의의 적합한 시나리오를 고려한다.
도 2는 디스플레이(215)가 장착된 장치 상에 배치된 레이더 기반 감지 시스템(200)의 예시적인 프로토타입(prototype)을 도시한 것이다. 특정 실시 예들에서, 레이더 기반 감지 시스템(200)은 복수의 레이더 송수신기들(205) 및 복수의 레이더 송수신기들(210)을 포함할 수 있다. 제한이 아닌 일 예로서, 도 2의 레이더 기반 감지 시스템(200)은 4개의 송수신기 (205 즉, 205A-205D) 및 4개의 송수신기(210 즉, 210A-210D)를 포함할 수 있다. 특정 실시 예들에서, 복수의 레이더 송수신기들(205) 또는 레이더 송수신기들(210) 각각은 하나 이상의 레이더 송신기들 및 하나 이상의 레이더 수신기들을 포함할 수 있다. 하나 이상의 레이더 송신기들은 레이더 기반 감지 시스템(200) 부근의 영역으로 전파들을 송신할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템(200)의 부근은 레이더 기반 감지 시스템(200) 근처 또는 그 주변의 영역을 포함할 수 있다. 예를 들어, 이 부근은 레이더 기반 감지 시스템(200)의 반경 2 피트 내의 영역일 수 있다. 다른 예로서, 이 부근은 레이더 기반 감지 시스템(200)의 반경 30 피트 내의 영역일 수 있다. 다른 예로서, 이 부근은 레이더 기반 감지 시스템(200)의 반경 15 피트 내의 영역일 수 있다. 다른 예로서, 이 부근은 송수신기들이 특정 전력 또는 에너지 임계치를 초과하는 전파들을 방사할 수 있는 영역일 수 있다. 특정 실시 예들에서, 전력 또는 에너지 임계치는 수신된 전파들에 존재하는 노이즈에 의존할 수 있다. 본 개시는 부근이 원형 형상 또는 직사각형 형상과 같은 임의의 적합한 형상을 취할 수 있는 것을 고려한다. 특정 실시 예들에서, 레이더 기반 감지 시스템의 부근은 시스템의 특정 응용 또는 구현에 의존할 수 있다. 예를 들어, 레이더 기반 감지 시스템이 일련의 스마트 폰들 중 특정 스마트 폰과의 상호 작용과 같은, 소형의 스토어 디스플레이와의 상호 작용을 검출하는데 사용되는 경우, 이 부근은 2 피트 이하가 될 수 있다. 다른 예로서, 레이더 기반 감지 시스템이 사용자의 거실에 있는 TV와 같은 대형 디스플레이에 사용되는 경우, 레이더 기반 감지 시스템의 부근은 레이더 기반 감지 시스템으로부터 약 15 피트가 될 수 있다.
하나 이상의 레이더 수신기들은 레이더 기반 감지 시스템(200)의 부근에 있는 하나 이상의 물체들에서 반사되는 전파들을 수신할 수 있다. 다른 실시 예들에서, 하나 이상의 레이더 수신기들은 레이더 기반 감지 시스템(200) 부근의 하나 이상의 물체들에 의해 산란되는 전파들을 수신할 수 있다. 특정 실시 예들에서, 복수의 레이더 송수신기들(205) 및 복수의 레이더 송수신기들(210)은 디스플레이(215)를 둘러싸는 레이더 기반 감지 시스템(200)의 실질적으로 직사각형인 에지(edge) 상에 배치될 수 있다. 제한이 아닌 일 예로서, 도 2의 송수신기들(205A-205D)는 디스플레이(215)를 둘러싸는 실질적으로 직사각형인 에지의 코너(corner)들에 배치될 수 있으며, 도 2의 송수신기들(210A-210D)는 디스플레이(215)를 둘러싸는 실질적으로 직사각형인 에지의 코너들 사이에 배치될 수 있다. 본 개시가 디스플레이의 에지들에 송수신기들을 배치하는 것을 설명하고 있지만, 이 송수신기들은 전파들이 사용자들에게 도달할 수 있고 레이더 기반 감지 시스템들이 사용자 제스처 인터랙션들을 검출할 수 있는 임의의 적절한 방식으로 배치될 수도 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템(200)은 또한 명령들을 구현하는 하나 이상의 비일시적인 저장 매체를 포함할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템(200)은 하나 이상의 프로세서들을 추가로 포함할 수 있다. 하나 이상의 프로세서들은 이 명령들을 실행하여 사용자 제스처 인터랙션들을 검출하도록 동작할 수 있다. 본 개시가 송수신기 내의 송신기들 및 수신기들에 대한 다양한 양태들을 설명하고 있지만, 본 개시는 이들 컴포넌트들이 송수신기와는 별도로 레이더 기반 감지 시스템에서 구현되거나, 송수신기가 이들 컴포넌트들 중의 일부만을 포함하고/하거나 송수신기가 레이더 기반 감지 시스템의 추가 컴포넌트들을 포함할 수도 있는 것을 고려한다.
도 3은 레이더 기반 감지 시스템(200)과 같은 레이더 기반 감지 시스템의 예시적인 하드웨어를 도시한 것이다. 도 3에서, 레이더 기반 감지 시스템은 안테나 어레이(305), 무선 송신기(310), 무선 수신기(315), 제어 유닛(320) 및 처리 유닛(325)를 포함할 수 있다. 안테나 어레이(305)는 하나 이상의 안테나들(302)를 통합한 송신기 어레이(301)를 포함할 수 있다. 안테나 어레이(305)는 또한 하나 이상의 안테나들(304)를 통합한 수신기 어레이(303)을 포함할 수 있다. 사용자 입력에 기초하여 사용자들로부터의 인터랙션들을 검출하기 위해, 레이더 기반 감지 시스템은 송신 모드 및 수신 모드를 구현할 수 있다. 송신 모드에서, 무선 송신기(310)은 무선 주파수(3 MHz 내지 120 GHz)에서 발진하는 전류를 송신기 어레이(301)에 공급할 수 있다. 그 후, 송신기 어레이(301)의 안테나들 302은 전류로부터의 에너지를 전파들로서 방사할 수 있다. 이 전파들은 사용자들과 같은, 물체들에 도달한 다음, 레이더 기반 감지 시스템으로 다시 반사될 수 있다. 레이더 기반 감지 시스템은 수신 모드에서 작동할 수도 있다. 수신 모드에서, 수신기 어레이(303)의 안테나들(304)은 반사된 전파들을 검출할 수 있다. 안테나들(304)은 또한 전압을 생성하여 무선 수신기(315)에게 이 전압을 제공할 수도 있다. 그 후, 무선 수신기(315)가 전압을 증폭하고 이 증폭된 전압을 처리 유닛(325)에 전송할 수 있다. 그 후, 처리 유닛(325)는 이 증폭된 전압에 기초하여 제스처 인터랙션들을 검출할 수 있다. 제어 유닛(320)은 전류 생성을 위해 무선 송신기(310)을 제어하고, 전압 증폭을 위해 무선 수신기(315)를 제어할 수 있다. 제어 유닛 (320) 및 처리 유닛(325)는 제스처 인터랙션들을 검출하기 위해 서로 통신할 수 있다. 본 개시가 레이더 기반 감지 시스템의 특정 하드웨어를 예시하고 있지만, 본 개시는 레이더 기반 감지 시스템의 임의의 적합한 하드웨어를 고려한다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 상이한 방식들로 상이한 타입의 전파들을 송신할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 상대적으로 높은 전력을 갖는 고주파 임펄스 신호들로서 전파를 송신할 수 있다. 고전력의 하나의 고주파 임펄스 신호를 송신한 후, 레이더 기반 감지 시스템은 반사되는 신호를 수신하기 위해 송신을 중단할 수 있다. 반사된 신호가 수신되고 나면, 레이더 기반 감지 시스템은 다른 고주파 임펄스 신호를 송신할 수 있다. 레이더 기반 감지 시스템은 측정된 안테나 포지션 및 임펄스 신호들의 전파 시간(propagation time)에 기초하여 물체의 방향, 거리, 높이 및/또는 고도를 결정할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 고주파 신호들을 사용하여 전파들을 연속적으로 송신할 수 있다. 일 예로서, 이 신호들은 진폭 및 주파수가 일정할 수 있다. 레이더 기반 감지 시스템은 이러한 신호들을 타겟 사용자의 속도를 측정하는데 사용할 수 있다. 다른 예로서, 이 신호들은 진폭이 일정하지만 주파수가 변조될 수 있다. 레이더 기반 감지 시스템(200)은 이러한 신호들을 시스템으로부터 물체의 거리를 측정하는데 사용할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체는 명령들을 구현하며, 상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금, 하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파들을 송신하는 동작; 상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하는 동작; 및 상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 동작을 포함하는 동작들을 수행하게 한다.
본 개시의 다양한 실시 예들에 따르면, 시스템이 제공된다. 상기 시스템은 송수신기; 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 커플링되는 비일시적 메모리를 포함하며, 상기 적어도 하나의 프로세서는, 상기 송수신기를 제어하여 상기 전자 장치 부근의 영역으로 전파들을 송신하도록 하고; 상기 송수신기를 제어하여 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하도록 하고; 또한 상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하도록 구성된다.
본 개시의 다양한 실시 예들에 따르면, 장치가 제공된다. 상기 장치는 디스플레이; 상기 전자 장치 부근의 영역으로 전파들을 송신하도록 구성되는 송수신기; 및 적어도 하나의 프로세서를 포함하며, 상기 송수신기는, 각각의 송신기가 상기 디스플레이에 평행한 방향으로 자신의 전파들 대부분을 송신하는 제 1 세트의 송신기들; 각각의 송신기가 상기 디스플레이에 수직한 방향으로 자신의 전파들 대부분을 송신하는 제 2 세트의 송신기들; 및 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는, 상기 송신된 전파들의 반사들을 검출하기 위한 하나 이상의 수신기들을 포함하며, 여기서 상기 반사들은 상기 전자 장치와의 사용자 인터랙션에 대응하는 것이다. 바람직하게는, 상기 복수의 송신기들은 상기 디스플레이를 둘러싸는 상기 장치의 실질적으로 직사각형인 에지 상에 배치되고; 상기 제 1 세트의 송신기들은 상기 실질적으로 직사각형인 에지의 코너에 배치되고; 상기 제 2 세트의 송신기들은 상기 실질적으로 직사각형인 에지의 코너들 사이에 배치된다. 바람직하게는, 상기 장치는 하나 이상의 프로세서들; 및 상기 프로세서들에 의해 실행 가능한 명령들을 포함하는 상기 프로세서들에 커플링되는 비일시적 메모리를 더 포함하며, 상기 프로세서들이 상기 명령들을 실행할 경우, 상기 수신된 전파들에 기초하여, 상기 장치 부근의 하나 이상의 물체들 중의 일 물체를 검출하는 동작; 상기 수신된 전파들에 기초하여, 상기 물체와 상기 장치 사이의 거리를 결정하는 동작; 상기 거리가 미리 결정된 임계치보다 작을 경우 상기 제 1 세트의 송신기들로부터 송신하는 동작; 및 상기 거리가 상기 미리 결정된 임계치보다 클 경우 상기 제 2 세트의 송신기들로부터 송신하는 동작을 포함하는 동작들을 수행하도록 작동될 수 있다. 바람직하게는, 상기 물체는 사용자의 손을 포함한다. 바람직하게는, 상기 미리 결정된 임계치는 대략 2 피트이다.
도 4는 장면 및 제스처 분석을 위한 예시적인 레이더 기반 감지 시스템에 의해 구현되는 예시적인 처리 흐름(400)을 도시한 것이다. 본 처리 흐름은 송신기 어레이(301) 및 수신기 어레이(303)로부터의 데이터를 사용할 수 있다. 특정 실시 예들에서, 송신기 어레이(301) 및 수신기 어레이(303)은 모노 스태틱(monostatic) 구성으로 작동될 수 있다. 다른 실시 예들에서, 송신기 어레이(301) 및 수신기 어레이(303)은 바이스태틱(bistatic)(Multi Input Multi Output) 구성으로 작동될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 신호 컨디셔닝부(Signal Conditioning)(410)을 사용하여 송신기 어레이(301) 및 수신기 어레이(303)로부터의 프레임 데이터(405)를 처리할 수 있다. 예를 들어, 신호 컨디셔닝부(410)은 수신된 레이더 신호들로부터 노이즈를 제거할 수 있다. 프레임 데이터(405)가 처리된 후, 레이더 기반 감지 시스템은 검출 모듈 선택부(415)를 사용하여 데이터를 처리하기 위해 삼변측량 모듈(Trilateration Module) (420)을 선택할지 또는 레이더 이미징 모듈(Radar Imaging Module) 425를 선택할지 여부를 결정할 수 있다. 특정 실시 예들에서, 이 결정은 이하에서 보다 완전하게 설명되는, 장면 분석(Scene Analysis) (411) 및 애플리케이션 분석(Application Analysis) (412)에 기초할 수 있다.
특정 실시 예들에서, 삼변측량 모듈(420)는 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들(예를 들어, 사용자들)의 하나 이상의 포지션들을 추정할 수 있다. 그 후, 이 추정된 포지션들이 장면/제스처 분석 모듈(Scene/Gesture Analysis Module)(430)에 입력됨으로써 상이한 장면들 또는 제스처들을 검출할 수 있다. 특정 실시 예들에서, 레이더 이미징 모듈(425)는 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들(예를 들어, 사용자들)에 대한 복수의 특징들을 추정할 수 있다. 이 복수의 특징들은 크기, 포지션, 배향 및 높이를 포함할 수 있다. 그 후, 이 추정된 특징들이 장면/제스처 분석 모듈(430)에 입력됨으로써 상이한 장면들 또는 제스처들을 검출할 수 있다. 특정 실시 예들에서, 레이더 이미징 모듈(425)는 잘못된 물체들(예를 들어, 사용자들)을 검출할 확률을 감소시키기 위해, 삼변측량 모듈(420)에 의한 하나 이상의 물체들(예를 들어, 사용자들)의 추정된 포지션들을 사용할 수 있다. 다른 실시 예들에서, 삼변측량 모듈(420)는 레이더 이미징 모듈(425)의 검출 결과들을 사용하여 물체들(예를 들어, 사용자들)의 포지션 추정을 향상시킬 수 있다.
특정 실시 예들에서, 검출 모듈 선택부(415)는 인터랙션 데이터를 사용하는 애플리케이션 또는 프로세스에 의해 지정되는 하나 이상의 인터랙션 요구 사항들에 기초하여, 삼변측량 모듈(420) 및 레이더 이미징 모듈(425) 사이에서 선택할 수 있다. 본 개시는 애플리케이션들이 독립형 애플리케이션에 의해 지정되거나 또는 예를 들어 사용자가 상호 작용하는 장치 상에서 실행되는 운영 시스템 내부의 프로세스에 의해 지정될 수 있음을 고려한다. 일 예로서, 애플리케이션 분석 모듈(412)는 레이더 기반 감지 시스템과의 사용자 인터랙션을 처리하기 위한 하나 이상의 애플리케이션 요구 사항들을 식별할 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 하나 이상의 요구 사항들이 하나 이상의 물체들을 추적하는 것, 하나 이상의 물체들과 레이더 기반 감지 시스템 사이의 거리를 결정하는 것, 및 하나 이상의 물체들의 형상을 결정하는 것, 및/또는 하나 이상의 물체들의 크기를 결정하는 것을 포함하는 경우, 레이더 이미징 모듈(425)를 선택할 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 하나 이상의 요구 사항들이 수신된 전파들을 임계 프레임 레이트를 초과하는 프레임 레이트로 처리하는 것을 포함하는 경우 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 게임 중에 사용자 인터랙션들(예를 들어, 손 움직임)은 높은 프레임 레이트를 필요로 할 수 있다. 따라서, 레이더 기반 감지 시스템은 사용자 인터랙션들을 처리하기 위해 삼변측량 모듈(420)을 선택할 수 있다.
특정 실시 예들에서, 검출 모듈 선택부(415)는 하나 이상의 인터랙션 요구 사항들이 하나 이상의 물체들의 배향을 결정하는 것을 포함하는 경우 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 하나 이상의 물체들은 사용자의 손 또는 사지(limb)를 포함할 수 있다. 제한이 아닌 다른 예로서, 하나 이상의 물체들은 사용자의 복수의 손가락들을 포함할 수 있다. 드로잉(drawing) 또는 게임 애플리케이션과 같은 애플리케이션은 개별 손가락들의 배향을 검출할 것을 요구할 수 있으며, 따라서 레이더 이미징 모듈(420)이 사용자 인터랙션들을 처리하는데 사용될 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 하나 이상의 요구 사항들이 하나 이상의 물체들 중 적어도 일부를 식별하는 것을 포함하는 경우 레이더 이미징 모듈(425)를 선택할 수 있다. 아래에서 보다 상세히 설명하는 바와 같이, 검출 모듈 선택부(415)는 장면 분석 모듈(411)에 기초하여 추가 처리를 집중시키게 되는 식별된 물체들의 세트를 결정할 수 있으며, 이것은 애플리케이션 요구 사항들 및 환경 조건들에 기초하여 검출 요구 사항들을 식별할 수 있다. 예를 들어, 일 애플리케이션은 사용자의 손만 추적하도록 요구할 수 있으며, 장면 분석 모듈(411)은 레이더 기반 시스템의 영역에서의 사용자의 손 검출에 삼변측량 모듈(420)을 사용할 필요가 있는지 또는 레이더 이미징 모듈(425)를 사용할 필요가 있는지 여부를 결정할 수 있다.
검출 모듈 선택부(415)는 다양한 조건들에 기초하여 삼변측량 모듈(420)과 레이더 이미징 모듈(425) 사이의 선택을 결정할 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 추적되고 있는 하나 이상의 물체들 중 적어도 하나의 속도가 미리 결정된 임계치를 초과하는 경우 삼변측량 모듈(420)을 선택할 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 추적되고 있는 물체의 포지션이 레이더 기반 감지 시스템(200)의 디스플레이(215) 상에 표시된 커서의 포지션에 대응하는 경우 삼변측량 모듈(420)을 선택할 수 있다. 특정 실시 예들에서는, 프레임 데이터(405)를 처리하기 위해 삼변측량 모듈(420)을 사용하는 것이 유익할 수 있다. 레이더 이미징 모듈(425) 대신에 삼변측량 모듈(420)을 사용하는 이점은 제스처 인터랙션들을 효율적으로 검출하는 더 빠른 데이터 처리, 타이밍 에러에 대한 민감도 감소, 데이터에 대한 보다 높은 프레임 레이트 처리 및 레이더 기반 감지 시스템 부근에 있는 물체들에 대한 정확한 위치 파악을 포함할 수 있다.
다른 실시 예들에서는, 프레임 데이터(405)를 처리하기 위해 삼변측량 모듈(420)보다는 레이더 이미징 모듈(425)를 사용하는 것이 유리할 수 있다. 예를 들어, 검출 모듈 선택부(415)는 장면이 상세히 분석될 필요가 있는 경우 레이더 이미징 모듈(425)를 선택할 수 있다. 레이더 이미징 모듈(425)는 장면을 나타내는 3D 이미지를 형성할 수 있다. 그 후, 이 3D 이미지는 장면 분석을 위해 장면/제스처 분석 모듈(430)에 입력될 수 있다. 제한이 아닌 일 예로서, 장면/제스처 분석 모듈(430)은 하나 이상의 사용자들의 - 또는 하나 이상의 사용자들의 일부(예컨대, 팔과 손)의 - 크기, 포지션, 자세 등을 분석하고, 장면 중의 어느 부분을 분석하거나 추적할지를 결정할 수 있다. 특정 실시 예들에서, 검출 모듈 선택부(415)는 수신된 전파들과 관련된 노이즈가 미리 결정된 임계치를 초과할 경우 레이더 이미징 모듈(425)를 선택할 수 있다. 예를 들어, 삼변측량 모듈(420)는, 타겟 물체에 대한 단순한 포지션만이 필요한 경우에도, 노이즈가 존재할 때 타겟 물체를 적절하게 식별하는데 실패할 수도 있다. 이 경우, 레이더 기반 감지 시스템은 레이더 이미징 모듈(425)를 선택하여 장면을 분석할 수 있다. 물체를 포함하는 타겟 영역이 식별되고 나면, 레이더 기반 감지 시스템은 신호의 해당 부분에 초점을 맞춤으로써 노이즈 영역들을 피하고 삼변측량 모듈(420)의 정확도를 향상시킬 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 레이더 이미징 모듈(425)에 대한 부분 이미징 영역들을 동적으로 선택하여 분석함으로써 효율성을 증가시킬 수 있다.
특정 실시 예들에서, 프레임 데이터(405)는 하나 이상의 시간적으로 순차적인 프레임들을 포함할 수 있다. 검출 모듈 선택부(415)는 각 프레임 또는 다수의 프레임들에 대해, 삼변측량 모듈(420) 또는 레이더 이미징 모듈(425)를 사용하여 프레임(들)을 처리할지 여부를 동적으로 결정할 수 있다. 특정 실시 예들에서, 동적 결정은 위에서 설명된 것과 같은, 애플리케이션 및 장면 요구 사항들에 기초하여 이루어질 수 있다. 제한이 아닌 일 예로서, 애플리케이션의 인터랙션 검출 요구 사항들은 사용자 경험(user experience, UX)의 흐름 내의 상이한 포인트들에서 달라질 수 있다. 예를 들어, 애플리케이션의 메인 메뉴에서, 간단한 커서로 애플리케이션과 상호 작용하기에 충분할 수 있다. 따라서, 애플리케이션은 사용자가 커서의 포지션을 제어하는 것 만을 필요로 하기 때문에, 검출 모듈 선택부(415)는 삼변측량 모듈(420)을 선택할 수 있다. 메인 프로그램에서, 애플리케이션은 복잡한 제스처를 기반으로 하는 동작을 필요로 할 수도 있다. 예를 들어, 복잡한 제스처는 손가락으로 하위 메뉴 항목을 선택하거나, 손 배향으로 그래픽 객체를 회전시키거나, 또는 게임에서 그래픽 객체 또는 문자를 제어하는 것을 포함할 수 있다. 그 결과, 검출 모듈 선택부(415)는 레이더 이미징 모듈(425)를 선택하여 보다 복잡한 인터랙션들을 처리할 수 있다. 메인 프로그램 중에, 사용자는 다른 메뉴(메인 메뉴와 다른 메뉴)를 선택하도록 하는 옵션을 행할 수 있다. 따라서, 애플리케이션은 다시 한 번 사용자가 커서의 포지션을 지정할 것만을 요구할 수 있다. 따라서, 검출 모듈 선택부(415)는 메인 메뉴와의 상호 작용에 대응하는 프레임 데이터에 대한 삼변측량 모듈(420)을 선택할 수 있다. 검출 모듈 선택부(415)는 애플리케이션이 복잡한 제스처 검출을 요구할 경우 레이더 이미징 모듈(425)를 다시 선택할 수 있다. 제한이 아닌 다른 예로서, 애플리케이션은 간단한 추적 이후에 뒤따르는 장면 분석을 필요로 할 수 있다. 예를 들어, TV의 IOT(internet of things) 애플리케이션은 사용자들 또는 특정 룸 레이아웃의 포지션, 크기 또는 자세를 이해하기 위해 레이더 이미징 모듈(425)를 사용하여 초기에 장면을 분석할 수 있다. 장면 분석이 완료되고 나면, 애플리케이션은 손과 같은, 특정 사용자들 또는 사용자들의 일부를 추적하도록 결정할 수 있다. 상황에 따라, 레이더 이미징 모듈(425)는 어느 사용자가 타겟인지를 결정하기 위해 다시 선택될 수 있다. 타겟이 결정된 이후에, 애플리케이션은 타겟의 단순한 포지션들만을 필요로 할 수 있으며 이에 따라 삼변측량 모듈(420)이 선택될 수 있다. 따라서, 상기 및 본 명세서의 다른 곳에서 설명된 바와 같이, 검출 모듈 선택부(415)는 한 프레임씩 기반으로, 조건 기반(예를 들어, 애플리케이션 요구 사항 변경시)으로, 초기화 프로세스의 일부로서, 또는 이들의 임의의 적합한 조합으로 적절한 처리 모듈을 선택할 수 있다.
특정 실시 예들에서, 레이더 이미징 모듈(425)는 복수의 레이더 송수신기들(205) 및 복수의 레이더 송수신기들(210)로부터의 데이터를 코히어런트하게 또는 비코히어런트하게 결합하여 사용자 정의된 이미지 공간에 걸쳐 2D 또는 3D 이미지를 형성할 수 있다. 특정 실시 예들에서, 각각의 레이더 송수신기(205) 또는 레이더 송수신기(210)은 송신기 또는 수신기 중 하나로서 프로그래밍되어 재구성될 수 있으며, 이들 각각은 1 차원 데이터를 반환할 수 있다. 특정 실시 예들에서, 레이더 이미징 모듈(425)는 하나 이상의 이미징 알고리즘을 사용하여 프레임 데이터(405)로부터 이미지들을 형성할 수 있다. 하나 이상의 이미징 알고리즘은 백-프로젝션(back-projection) 알고리즘 및 MIMO 범위 이동(MIMO range migration) 알고리즘을 포함할 수 있다.
특정 실시 예들에서, 레이더 이미징 모듈(425)는 백-프로젝션 알고리즘을 사용할 수 있다. 예를 들어, 프레임 데이터(405)가 먼저 저역 통과 필터를 사용하여 필터링될 수 있다. 그 후, 백-프로젝션 알고리즘은 필터링된 데이터의 엔벨로프(envelope)를 계산하거나 또는 인코히어런트 처리 또는 코히어런트 처리에 각각 대응하지 않도록 선택될 수 있다. 인코히어런트 처리를 위해, 필터링된 데이터의 엔벨로프는 신호 진폭만을 유지하면서 계산될 수 있다. 인코히어런트 처리는 캘리브레이션 오류의 영향을 덜 받지만 해상도가 낮은 이미지를 제공할 수 있다. 코히어런트 처리를 위해, 엔벨로프가 계산되지 않을 수 있으며 신호가 캐리어 주파수에 남겨질 수도 있다. 결과적으로, 신호의 위상 정보가 유지될 수 있다. 특정 실시 예들에서, 레이더 이미징 모듈(425)는 사전 정의된 이미징 공간에 기초하여 그 후에 2D 또는 3D 이미지를 형성할 수 있다. 사전 정의된 이미징 공간은 개별 좌표들을 갖는 평면 또는 개별 좌표들을 갖는 볼륨일 수 있다. 이미징 공간의 해상도 및 크기는 안테나 어레이(305)의 어레이 간격, 송수신기(205) 및 송수신기(210)의 수, 그리고 전파들의 대역폭 중 하나 이상의 함수들로서 결정될 수 있다. 2D 또는 3D 이미지가 형성된 후에, 하나 이상의 물체들의 포지션들이 블롭 검출(blob detection)을 사용하여 추정될 수 있다. 추정된 포지션들은 장면/제스처 분석(430)을 위해 사용될 수 있다.
본 개시는 삼변측량 모듈(420) 및 레이더 이미징 모듈(425)이 데이터 프레임들을 처리하기 위해 임의의 적절한 삼변측량 또는 이미징 처리 알고리즘들을 각각 구현할 수 있음을 고려한다. 본 개시는 알고리즘들이, 다수의 경우에, 사용자가 상호 작용하고 있는 컴퓨팅 장치인 임의의 적합한 컴퓨팅 장치에 의해 실행될 수 있음을 고려한다. 그러나, 본 개시는 또한 이러한 처리가 서버 장치와 같은 원격 장치 또는 장치들의 조합에 의해 수행될 수 있음도 고려한다.
도 5는 레이더 이미징(425)에 기초하여 검출 가능한 복수의 예시적인 인터랙션들을 도시한 것이다. 제한이 아닌 일 예로서, 레이더 이미징 모듈(425)는 손의 배향을 검출할 수 있다. 제한이 아닌 다른 예로서, 레이더 이미징 모듈(425)는 손의 포즈를 검출할 수 있다. 제한이 아닌 다른 예로서, 레이더 이미징 모듈(425)는 한 팔에 의한 포즈 또는 두 팔에 의한 포즈를 검출할 수 있다. 제한이 아닌 다른 예로서, 레이더 이미징 모듈(425)는 손가락 포즈를 검출할 수 있다. 본 개시가 레이더 이미징에 기초하여 검출 가능한 특정 제스처들을 예시하고 있지만, 본 개시는 임의의 적절한 방식으로 레이더 이미징에 기초하여 검출 가능한 임의의 적절한 제스처들을 고려한다.
특정 실시 예들에서, 삼변측량 모듈(420)는 레이더 기반 감지 시스템의 부근에서 하나 이상의 물체들의 하나 이상의 포지션들을 추정할 수 있다. 예를 들어, 프레임 데이터(405)가 먼저 저역 통과 필터를 사용하여 필터링될 수 있다. 필터링된 데이터의 엔벨로프가 계산될 수 있다. 삼변측량 모듈(420)가, 계산된 엔벨로프에 기초하여 물체들의 포지션들을 또한 추정할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템이 물체들의 추정된 포지션들에 기초하여 인터랙션들을 또한 검출할 수 있다.
도 6a 및 도 6b는 삼변측량 모듈(420)에 기초하여 검출 가능한 복수의 예시적인 인터랙션들을 도시한 것이다. 제한이 아닌 일 예로서, 인터랙션들은 손에 의한 스와이프(swipe), 손에 의한 터치, 또는 손에 의한 클릭과 같은 제스처들을 포함할 수 있다. 이 제스처들은 상이한 사용자들에 의해 수행될 수도 있다. 예를 들어, 도 6a에서, 사용자(601)이 한 손으로 스와이프를 수행할 수 있고, 사용자(602)는 한 손으로 터치를 수행할 수 있다. 제한이 아닌 다른 예로서, 이 제스처들은 두 손으로 수행될 수도 있다. 예를 들어, 도 6b에서, 사용자(603)은 두 손을 사용하여 핀치(pinch), 줌(zoom) 또는 회전(rotate)할 수 있다. 특정 실시 예들에서, 삼변측량 모듈(420)는 물체를 단일의 엔티티로서 처리하는 반면, 레이더 이미징 모듈(425)는 물체들의 다양한 부분들을 검출하여 이들을 개별적으로 처리할 수 있다. 예를 들어, 삼변측량 모듈(420)는 사용자(601)의 손을 단일 물체로서 검출할 수 있다. 따라서, 삼변측량 모듈(420)는 손의 특정 손가락이 무엇을 행하는지에 관계없이 손의 포지션을 추적할 수 있다. 대조적으로, 레이더 이미징 모듈(425)는 손의 포지션 및 손의 개별 손가락의 위치(들)를 검출하고, 포지션(들)간을 구별할 수 있다.
삼변측량 모듈(420)과 레이더 이미징 모듈(425) 사이를 동적으로 스위칭하는 것으로부터 다수의 이점들이 얻어진다. 하나의 이점은 이미징 전용 솔루션에 비해 더 높은 프레임 레이트 및 감소된 처리 복잡성으로 프레임들을 처리할 수 있는 능력을 포함할 수 있다. 또 다른 이점은, 예를 들어, 장면을 이미징하는데 필요한 처리 리소스들을 사용하기 전에 움직이고 있는 장면의 부분들을 신속하게 검출함으로써, 관심 대상인 하위 영역들을 정확하게 지적하는 삼변측량 모듈(420)의 사용에 의해 도출되는 보다 지능적인 이미징을 포함할 수 있다. 다른 이점은, 예를 들어, 삼변측량 모듈(420)이, 일부 실시 예들에서, 단지 3개의 안테나를 사용하여 물체를 추적할 것을 필요로 할 수 있기 때문에, 보다 적은 안테나를 잠재적으로 사용하는 것을 포함할 수 있다.
도 7은 레이더 기반 감지 시스템에 대한 삼변측량 모듈(420)과 레이더 이미징 모듈(425) 사이에서 선택하기 위한 예시적인 방법(700)을 도시한 것이다. 이 방법은 710 단계에서 시작될 수 있다. 710 단계에서, 레이더 기반 감지 시스템은 하나 이상의 송신기들로부터 레이더 기반 감지 시스템 부근의 영역으로 전파들을 송신할 수 있다. 예를 들어, 송신기들은 송수신기들(205) 또는 송수신기들(210)에 통합될 수도 있다. 720 단계에서, 레이더 기반 감지 시스템은 하나 이상의 수신기들에서, 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들에서 반사된 전파들을 수신할 수 있다. 예를 들어, 수신기들은 송수신기들(205) 또는 송수신기들(210)에 통합될 수 있으며, 하나 이상의 물체들은 하나 이상의 사용자들일 수 있다. 730 단계에서, 레이더 기반 감지 시스템은 레이더 기반 감지 시스템(200)과의 사용자 인터랙션들을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 모듈(420) 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈(425)을 선택할 수 있다. 예를 들어, 전술한 요구 사항들 중 임의의 것 또는 이들의 임의의 적절한 조합이 적절한 처리 모듈을 선택하는데 사용될 수 있다.
특정 실시 예들은 적절한 경우 도 7의 방법의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 특정 순서로 발생하는 것으로서 도 7의 방법의 특정 단계들을 설명 및 예시하고 있지만, 본 개시는 임의의 적절한 순서로 발생하는 도 7의 방법의 임의의 적절한 단계들을 고려한다. 또한, 본 개시가 도 7의 방법의 특정 단계들을 포함하여, 전자기 방사에 기초하여 물체를 감지하는 예시적인 방법을 설명 및 예시하고 있지만, 본 개시는 적절한 경우 도 7의 방법의 단계들 중 일부 또는 모두를 포함하거나, 어떠한 단계도 포함하지 않을 수 있는, 전자기 방사 기초하여 물체를 감지하는 임의의 적절한 방법을 고려한다. 또한, 본 개시가 도 7의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 도 7의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들, 장치들, 또는 시스템들의 임의의 적절한 조합을 고려한다.
본 개시의 다양한 실시 예들에 따르면, 방법이 제공된다. 상기 방법은 하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파들을 송신하는 단계; 상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하는 단계; 및 상기 전자 장치와의 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 단계를 포함한다. 바람직하게는, 상기 방법은 상기 수신된 전파들과 관련된 노이즈 신호가 미리 결정된 임계치를 초과할 경우 상기 이미징 처리 모듈을 선택하는 단계를 더 포함한다. 바람직하게는, 상기 방법은 상기 하나 이상의 물체들 중 적어도 하나의 속도가 미리 결정된 임계치를 초과할 경우 상기 삼변측량 처리 모듈을 선택하는 단계를 더 포함한다. 바람직하게는, 상기 전자 장치는 디스플레이를 더 포함하고, 상기 방법은 상기 물체의 포지션이 상기 디스플레이 상에 표시된 커서의 포지션에 대응할 경우 상기 삼변측량 처리 모듈을 선택하는 단계를 더 포함한다. 바람직하게는, 상기 방법은 복수의 시간적으로 순차적인 프레임들의 각 프레임에 대하여, 상기 삼변측량 처리 모듈을 선택할지 또는 상기 이미징 처리 모듈을 선택할지 여부를 동적으로 결정하는 단계를 더 포함한다.
본 개시의 다양한 실시 예들에 따르면, 방법이 제공된다. 상기 방법은 복수의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서, 상기 전자 장치 부근의 하나 이상의 물체들을 검출하기 위한 하나 이상의 프리퍼런스(preference)들에 기초하여, 상기 복수의 송신기들에 대한 송신 동작 모드(transmission operating mode)를 선택하는 단계; 상기 송신 동작 모드에 따라 상기 복수의 송신기들 중 적어도 일부로부터, 상기 전자 장치 부근의 영역으로 전파들을 송신하는 단계; 및 상기 하나 이상의 수신기들을 활성화시켜 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 검출하도록 하는 단계를 포함한다. 바람직하게는, 상기 송신 동작 모드는, 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것; 또는 각 송신기로부터 순차적으로 송신하는 것으로서, 상기 송신기들 중 하나로부터 송신한 이후 및 상기 송신기들 중 다른 하나로부터 송신하기 이전에, 상기 하나 이상의 수신기들이 활성화되는 것; 또는 상기 복수의 송신기들 중 하나로부터 송신하는 것으로서, 상기 하나 이상의 수신기들은 상기 송신기로부터 송신한 이후에 활성화되는 것을 포함한다. 바람직하게는, 상기 하나 이상의 프리퍼런스들은 임계 해상도보다 높은 해상도의 물체들을 이미징하는 것을 지정하며; 상기 송신 동작 모드는 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함한다. 바람직하게는, 상기 하나 이상의 프리퍼런스들은 임계 노이즈보다 낮은 노이즈를 갖는 물체들을 포지셔닝하는 것으로 지정하고; 상기 송신 동작 모드는 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함한다. 바람직하게는, 상기 하나 이상의 프리퍼런스들은 임계 프레임 레이트보다 높은 프레임 레이트의 물체들을 이미징하는 것으로 지정하고; 상기 송신 동작 모드는 각 송신기로부터 동시에 송신하거나 상기 복수의 송신기들 중 하나로부터 송신하는 것을 포함한다. 바람직하게는, 상기 송신 동작 모드는 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것과, 각각의 송신기가 상이한 주파수 대역에서 전파들을 송신하는 것 또는 각각의 송신기가 상이한 위상 코드를 이용하여 송신하는 것 중 하나를 포함한다. 바람직하게는, 상기 하나 이상의 프리퍼런스들은 임계 해상도보다 높은 해상도를 지정하고; 상기 송신 동작 모드는 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함하며, 여기서 각각의 송신기는 상이한 위상 코드를 사용하여 전파들을 송신한다. 바람직하게는, 상기 하나 이상의 프리퍼런스들은 임계 프레임 레이트보다 높은 프레임 레이트를 지정하고; 상기 송신 동작 모드는 상기 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함하며, 여기서 각각의 송신기는 상이한 주파수 대역에서 송신한다.
레이더 안테나들은 방향성을 가지므로, 어느 한 안테나(또는 송신기-수신기 안테나 쌍)로부터의 전파들의 송신 및 검출은 비교적 제한된 시야에서 발생한다. 그러나, 본 명세서에 설명된 레이더 기반 감지 시스템의 특정 실시 예들은 일 환경을 통해 위치된 복수의 사용자들(또는 다른 물체들)로부터의 인터랙션들을 동시에 검출할 수 있다. 예를 들어, 도 8은 레이더 기반 감지 시스템의 내향 및 외향 송수신기들의 예시적인 레이아웃을 도시한 것이다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 복수의 송수신기들(205)를 내향으로, 복수의 송수신기들(210)을 외향으로 구성할 수 있다. 결과적으로, 내향 송수신기들(205)에 통합된 송신기들은 상대적으로 가까운(예컨대, 디스플레이(215)의 2 피트 내) 인터랙션들을 커버할 수 있고, 외향 송수신기들(210)에 통합된 송신기들은 상대적으로 먼 인터랙션들을 커버할 수 있다. 도 8에 도시된 바와 같이, 복수의 송수신기들(205) 및 송수신기들(210)은 디스플레이(215)를 둘러싸는 레이더 기반 감지 시스템(200)의 실질적으로 직사각형인 에지 상에 배치될 수 있다. 송수신기들(205A-205D)는 실질적으로 직사각형인 에지의 코너들에 배치될 수 있고, 송수신기들(210A-210D)는 실질적으로 직사각형인 에지의 코너들 사이에 배치될 수 있다. 특정 실시 예들에서, 내향 송수신기들(205)에 통합된 송신기들 각각은 디스플레이(215)에 평행한 방향으로 그 전파들의 대부분을 송신할 수 있다. 특정 실시 예들에서, 내향 송수신기들(210)에 통합된 송신기들 각각은 디스플레이(215)에 수직한 방향으로 그 전파들의 대부분을 송신할 수 있다. 특정 실시 예들에서, 송수신기들(205) 및 송수신기들(210)에 통합된 하나 이상의 수신기들은 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들로부터 송신되는 전파들의 반사 및/또는 산란을 검출할 수 있다. 제한이 아닌 일 예로서, 이 반사 및/또는 산란은 레이더 기반 감지 시스템과의 사용자 인터랙션들에 대응할 수 있다. 본 개시가 특정 배향을 갖는 송수신기들의 특정 레이아웃을 예시하고 있지만, 본 개시는 임의의 적절한 배향을 갖는 송수신기들의 임의의 적절한 레이아웃을 고려한다. 예를 들어, 본 개시는 디스플레이에 평행한 것과 수직한 것 사이의 각도로 배향되는 디스플레이(215)의 에지에 부가적인 송수신기들을 추가하는 것을 고려한다.
특정 실시 예들에서, 도 8의 레이더 기반 감지 시스템은 내향 및 외향 송수신기들의 결과로서, 디스플레이(215)에 상대적으로 가까운 물체들 및 상대적으로 먼 물체들을 동시에 추적할 수 있다. 예를 들어, 도 8의 레이더 기반 감지 시스템은 근거리 필드(예를 들어, 디스플레이(215)로부터 2 피트 이내의 거리)에서 원거리 필드(예를 들어, 10 피트 넘게 떨어진 곳)로 이동하는 사용자를 추적할 수 있다.
도 9는 내향 송수신기들(205)로부터 전파들을 송신할지 또는 외향 송수신기들(210)로부터 전파들을 송신할지 여부를 결정하는 예시적인 방법(900)을 도시한 것이다. 이 방법은 910단계에서 시작될 수 있다. 901 단계에서, 레이더 기반 감지 시스템은 내향 송수신기들(205)의 송신기들 각각으로부터, 디스플레이(215)에 평행한 방향으로 그 전파들의 대부분을 송신할 수 있고; 외향 송수신기들(210)의 송신기들 각각으로부터, 디스플레이(215)에 수직한 방향으로 그 전파들의 대부분을 송신할 수 있다. 단계 920에서, 레이더 기반 감지 시스템은 하나 이상의 수신기들에서, 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들로부터의 송신된 전파들의 반사들 및/또는 산란들을 검출할 수 있으며, 여기서 이 반사들 및/또는 산란들은 레이더 기반 감지 시스템과의 사용자 인터랙션에 대응한다. 930 단계에서, 레이더 기반 감지 시스템은 수신기들부터 수신된 전파들에 기초하여, 레이더 기반 감지 시스템의 부근에 있는 물체를 검출할 수 있다. 제한이 아닌 일 예로서, 물체는 사용자의 손을 포함할 수 있다. 단계 940에서, 레이더 기반 감지 시스템(200)은 수신된 전파들에 기초하여, 물체와 레이더 기반 감지 시스템 사이의 거리를 결정할 수 있다. 950 단계에서, 레이더 기반 감지 시스템은 거리가 미리 결정된 임계치보다 작을 경우 내향 송수신기들(205)에 있는 송신기들로부터 전파들을 송신할 수 있으며; 거리가 미리 결정된 임계치보다 클 경우 외향 송수신기들(210)에 있는 송신기들로부터 전파들을 송신할 수 있다. 제한이 아닌 일 예로서, 미리 결정된 임계치는 대략 2 피트일 수 있다. 예를 들어, 레이더 기반 감지 시스템(200)은 사용자들(601-603)이 디스플레이(215)에 근접해 있을 경우(예컨대, 2 피트 거리 이내), 송수신기들(205A-205D)로부터의 전파들에 기초하여 도 5 및/또는 도 6에 도시된 제스처들을 검출할 수 있다. 사용자들(601-603)이 디스플레이(215)로부터 더 멀리(예를 들어, 2 피트 넘게) 이동할 경우, 레이더 기반 감지 시스템(200)은 송수신기들(210A-210D)로부터의 전파들에 기초하여 동일한 제스처들을 검출할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은, 예를 들어, 물체들이 근거리 필드 및 원거리 필드 모두에서 검출되는 경우 내향 및 외향 송수신기들 모두를 동작시킬 수 있다. 특정 실시 예들에서는, 내향 송수신기들로부터의 프레임들이 일 처리 모듈에 따라 처리될 수 있으며, 외향 송수신기들로부터의 프레임들은 다른 또는 동일한 처리 모듈에 따라 처리될 수 있다. 즉, 검출 모듈 선택부(415)는 소정의 배향의 송수신기들의 서브세트에 대하여(또는, 특정 실시 예들에서는, 한 송수신기씩 기반으로) 어떤 처리 모듈을 사용할지를 결정할 수 있다.
특정 실시 예들은 적절한 경우, 도 9의 방법의 하나 이상의 단계들을 반복할 수 있다. 이 개시가 특정 순서로 발생하는 것으로서 도 9의 방법의 특정 단계들을 설명 및 예시하고 있지만, 본 개시는 임의의 적절한 순서로 발생하는 도 9의 방법의 임의의 적절한 단계들을 고려한다. 또한, 본 개시가 도 9의 방법의 특정 단계들을 포함하여, 전자기 방사에 기초하여 물체를 감지하는 예시적인 방법을 설명 및 예시하고 있지만, 본 개시는 적절한 경우 도 9의 방법의 단계들 중 일부 또는 모두를 포함하거나, 어떠한 단계도 포함하지 않을 수 있는, 전자기 방사 기초하여 물체를 감지하는 임의의 적절한 방법을 고려한다. 또한, 본 개시가 도 9의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 도 9의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들, 장치들, 또는 시스템들의 임의의 적절한 조합을 고려한다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들을 검출하기 위한 하나 이상의 프리퍼런스(preference)들에 기초하여 그것의 송신기들 중 하나 이상에 대한 송신 동작 모드를 선택할 수 있다. 송신 동작 모드는 복수의 송신기들 각각으로부터 동시에 송신하는 것, 또는 순차적으로 각각의 송신기로부터 송신하는 것, 또는 복수의 송신기들 중 하나로부터 송신하는 것을 포함할 수 있다. 동시에 송신하는 송신 동작 모드의 경우, 복수의 송신기들 내의 모든 송신기들이 실질적으로 동시에 활성화된다. 각각의 송신기로부터 순차적으로 송신하는 송신 동작 모드의 경우, 송신기들 중 하나로부터 송신한 이후 및 송신기들 중 다른 하나로부터 송신하기 이전에 하나 이상의 수신기들이 활성화된다. 예를 들어, 도 8을 참조하면, 송수신기(210A)의 송신기가 송신한 다음에, 송수신기들(210A-D)의 모든 수신기들이 수신할 수 있으며, 그 후에 송수신기(210B)로부터의 송신기가 송신할 수 있다. 복수의 송신기들 중 하나로부터 송신하는 송신 동작 모드의 경우, 하나의 송신기로부터 송신된 이후에 하나 이상의 수신기들이 활성화된다.
특정 실시 예들에서는, 송신 동작 모드를 선택하는데 사용되는 하나 이상의 프리퍼런스들이 레이더 이미징(425)에 대해 상대적으로 높은 해상도(예를 들어, 지정된 해상도 임계치를 넘는 해상도)의 물체들을 이미징하는 것으로 지정할 수 있다. 예를 들어, 복잡한 장면 분석, 세부적인 사용자 특징 검출, 근거리 필드 이미징 또는 복잡한 제스처 인식은 고해상도 이미징을 필요로 할 수 있다. 대응하여, 송신 동작 모드는 송신기들 중 하나로부터 송신한 이후 및 송신기들 중 다른 하나로부터 송신하기 이전에 하나 이상의 수신기들이 활성화되는 것으로 순차적으로 각 송신기로부터 송신하는 것을 포함할 수도 있다. 대안적으로, 송신 동작 모드는 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함할 수 있다.
복수의 송신기들 각각으로부터 동시에 송신하는 경우, 송신 동작 모드는 상이한 위상 코드를 사용하여 전파들을 송신하도록 각각의 송신기를 추가로 구성할 수 있다. 제한이 아닌 일 예로서, 상이한 코드를 사용하여 전파들을 송신하는 각각의 송신기는 위상 코딩(phase coding)에 의해 달성될 수 있다. 특정 실시 예들에서, 하나 이상의 프리퍼런스들이 상대적으로 낮은 노이즈를 가진(예를 들어, 지정된 노이즈 임계치보다 낮은 노이즈를 가진) 물체들을 포지셔닝하는 것으로 지정할 수 있다. 제한이 아닌 일 예로서, 물체들의 포지셔닝은 삼변측량 모듈(420)에 기초할 수 있다. 이에 대응하여, 송신 동작 모드는 송신기들 중 하나로부터 송신한 이후 및 송신기들 중 다른 하나로부터 송신하기 이전에 하나 이상의 수신기들이 활성화되는 것으로 순차적으로 각 송신기로부터 송신하는 것을 포함할 수 있다. 대안적으로, 송신 동작 모드는 복수의 송신기들 각각으로부터 동시에 송신하는 것을 포함할 수 있다.
복수의 송신기들 각각으로부터 동시에 송신하는 경우, 송신 동작 모드는 각 송신기가 상이한 주파수 대역에서 전파들을 송신하도록 구성할 수 있다. 제한이 아닌 일 예로서, 각각의 송신기가 상이한 주파수 대역에서 전파들을 송신하는 것은 캐리어 코딩(carrier coding)에 의해 달성될 수 있다. 특정 실시 예들에서, 하나 이상의 프리퍼런스들이 상대적으로 더 높은 프레임 레이트(예를 들어, 지정된 프레임 레이트 임계치를 넘는 프레임 레이트)의 물체들을 이미징하는 것으로 지정할 수 있다. 따라서, 송신 동작 모드는 송신기로부터 송신한 이후 또는 복수의 송신기들 각각으로부터 동시에 송신한 이후에 하나 이상의 수신기들이 활성화되는 것으로, 복수의 송신기들 중 하나로부터 송신하는 것을 포함할 수 있다. 복수의 송신기들 각각으로부터 동시에 송신하는 경우, 송신 동작 모드는 상이한 주파수 대역에서 또는 상이한 위상 코드를 사용하여 각각의 전파들을 송신하도록 각각의 송신기를 추가로 구성할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은, 예를 들어, 프레임 데이터(405)의 각각의 프레임에 대해, 상이한 송신 동작 모드들 간을 동적으로 스위칭할 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템(200)은 송신 동작 모드에 따라 복수의 송신기들 중 적어도 일부로부터, 레이더 기반 감지 시스템(200) 부근의 영역으로 전파들을 더 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템(200)은 하나 이상의 수신기들을 활성화시켜 레이더 기반 감지 시스템(200) 부근의 하나 이상의 물체들에서 반사되는 전파들을 검출할 수 있다.
도 10은 캐리어 코딩에 의한 예시적인 전파 처리를 도시한 것이다. 캐리어 코딩은, 각각의 송신기가 고유의 주파수 대역에서 송신하기 때문에, 복수의 송신기들 각각으로부터 동시에 송신하는 것을 허용할 수 있다. 도 10의 시간 도메인(1005)에 나타나 있는 바와 같이, 도 10의 예는 두 개의 전파, 즉 전파(1001) 및 전파(1002)를 포함한다. 이 두 개의 전파는 0 ns 내지 약 6 ns에서 동시에 송신된다. 주파수 도메인 (1010)에서, 전파(1001)은 3GHz에 중심이 놓여져 있고, 전파(1002)는 7GHz에 중심이 놓여져 있다. 이 대역폭이 분할됨으로써, 해상도가 손실될 수 있다. 제한이 아닌 일 예로서, 캐리어 코딩은 저해상도 이미징을 필요로 하는 코어스(coarse) 장면 분석, 존재 검출 및 간단한 제스처 인식을 포함하는 애플리케이션들에 사용될 수 있다.
도 11은 위상 코딩에 의한 예시적인 전파 처리를 도시한 것이다. 위상 코딩은 각각의 송신기가 고유의 위상 코드를 갖는 신호를 송신하기 때문에, 복수의 송신기들 각각으로부터 동시에 송신하는 것을 허용할 수 있다. 도 11의 하위 도면 (1105)에 의해 나타나 있는 바와 같이, 전파 (1101)은 대략 4 ns 내지 13 ns에서 위상 코딩되며 대략 14 ns 내지 26 ns에서 퓨어 톤(pure tone)을 보유한다. 하위 도면 (1110)에 도시된 바와 같이, 전파(1101)의 위상 코딩된 출력은 SNR(signal-noise-ratio) 손실을 갖는다. 특정 실시 예들에서, 직교 위상 코드가 SNR 손실을 방지하기 위해 사용될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 복수의 상이한 방식들에 기초하여 사용자 인터랙션들을 검출할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 내의 송신기들 중 하나로부터 전파들을 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템(200)은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템(200)은 수신기들에서, 반사된 전파들을 처리하기 위해 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 근거리 필드에서의 포즈 검출이 그에 따라 달성될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(210) 내의 송신기들 중 하나로부터 전파들을 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템(200)은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 원거리 필드에서의 간단한 제스처 인식이 그에 따라 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위해 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 원거리 필드에서의 포즈 검출이 이에 따라 달성될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 내의 송신기들 각각으로부터 전파들을 순차적으로 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 근거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 근거리 필드에서의 복잡한 제스처 인식이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(210) 내의 송신기들 각각으로부터 전파들을 순차적으로 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 원거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 원거리 필드에서의 복잡한 제스처 인식이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 및 송수신기들(210) 내의 송신기들 각각으로부터 전파들을 순차적으로 송신할 수 있다. 그 후에, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 근거리 필드 및 원거리 필드에서의 다수의 사용자들에 대한 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 낮은 프레임 레이트만을 필요로 하는 근거리 필드 및 원거리 필드에서의 다수의 사용자들에 대한 복잡한 제스처 인식이 달성될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 내의 송신기들 각각으로부터 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 주파수 대역에서 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드에서의 코어스 장면 분석이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(210) 내의 송신기들 각각으로부터 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 주파수 대역에서 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 원거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 원거리 필드에서의 코어스 장면 분석이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 및 송수신기들(210) 내의 송신기들 각각으로부터의 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 주파수 대역에서 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드 및 원거리 필드에서의 다수의 사용자들에 대한 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드 및 원거리 필드에서의 다수의 사용자들의 존재 검출이 이에 따라 달성될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 내의 송신기들 각각으로부터 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 위상 코드를 사용하여 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 고해상도를 필요로 하는 근거리 필드에서의 복잡한 장면 분석이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(210) 내의 송신기들 각각으로부터 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 위상 코드를 사용하여 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 원거리 필드에서의 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 고해상도를 필요로 하는 원거리 필드에서의 복잡한 제스처 인식이 달성될 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송수신기들(205) 및 송수신기들(210) 내의 송신기들 각각으로부터 전파들을 동시에 송신할 수 있다. 각각의 송신기는 상이한 위상 코드를 사용하여 전파들을 송신할 수 있다. 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 삼변측량 모듈(420)을 선택할 수 있다. 제한이 아닌 일 예로서, 높은 프레임 레이트를 필요로 하는 근거리 필드 및 원거리 필드에서의 다수의 사용자들에 대한 간단한 제스처 인식이 달성될 수 있다. 대안적으로, 레이더 기반 감지 시스템은 수신기들에서, 반사된 전파들을 처리하기 위한 레이더 이미징 모듈(425)를 선택할 수 있다. 제한이 아닌 일 예로서, 고해상도를 필요로 하는 근거리 필드 및 원거리 필드 모두에서의 다수의 사용자들에 대한 복잡한 제스처 인식이 달성될 수 있다.
특정 실시 예들에서, 레이더 기반 감지 시스템은 송신기들의 상이한 구성들 및 상이한 전파 처리 사이에서 동적으로 스위칭할 수 있다. 레이더 기반 감지 시스템은 하나의 송신기로 전파들을 송신하는 것과, 순차적으로 각 송신기로 전파들을 송신하는 것과, 동시에 모든 송신기로 전파들을 송신하는 것 사이에서 동적으로 스위칭할 수 있다. 레이더 기반 감지 시스템은 장면을 분석하여 하나의 송신기로 전파들을 송신할지, 순차적으로 각 송신기로 전파들을 송신할지, 또는 동시에 모든 송신기로 전파들을 송신할지 여부를 결정할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 또한 동시에 모든 송신기로 전파들을 송신하는 경우, 상이한 주파수 대역들로 전파들을 분할하는 것과 상이한 위상 코드들을 사용하여 전파들을 코딩하는 것 사이에서 동적으로 스위칭할 수 있다. 레이더 기반 감지 시스템은 각각의 시나리오에 대해 고유의 처리 체인을 사용할 수 있다(예를 들어, 동시에 모든 송신기로 전파들을 송신할 경우에는 상이한 위상 코드들을 사용하여 전파를 코딩). 특정 실시 예들에서, 레이더 기반 감지 시스템은 간단한 제스처 인식 및 존재 검출과 같은 간단한 검출 태스크들에 대해 더 높은 프레임 레이트들을 달성할 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 장면 특정 이미징 특성을 가질 수 있다. 특정 실시 예들에서, 레이더 기반 감지 시스템은 송신기들의 상이한 구성들 및 상이한 타입의 전파 처리 사이의 스위칭이 소프트웨어 구성을 통해 달성될 수 있기 때문에, 단 하나의 하드웨어 구성만을 사용하여 다수의 검출 태스크를 처리할 수 있다.
도 12는 상이한 송신 동작 모드들을 갖는 레이더 기반 감지 시스템을 동적으로 동작시키기 위한 예시적인 방법(1200)을 도시한 것이다. 이 방법은 1210 단계에서 시작될 수 있다. 1210 단계에서, 레이더 기반 감지 시스템은 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들을 검출하기 위한 하나 이상의 프리퍼런스들에 기초하여, 복수의 송신기들에 대한 송신 동작 모드를 선택할 수 있다. 예를 들어, 프리퍼런스는 근거리 필드 제스처 인식을 위한 고해상도 이미징일 수 있다. 결과적으로, 레이더 기반 감지 시스템은 송신 동작 모드로서 위상 코딩과 결합되는 복수의 송신기들 각각으로부터의 송신을 동시에 선택할 수 있다. 1220 단계에서, 이 방법은 송신 동작 모드에 따라 복수의 송신기들 중 적어도 일부로부터, 레이더 기반 감지 시스템의 부근 영역으로 전파들을 송신할 수 있다. 예를 들어, 전파들이 위상 코딩에 의해 처리되어, 레이더 기반 감지 시스템의 2 피트 이내에서 송신될 수 있다. 1230 단계에서, 레이더 기반 감지 시스템은 하나 이상의 수신기들을 활성화시켜 레이더 기반 감지 시스템의 부근에 있는 하나 이상의 물체들에서 반사되는 전파들을 검출할 수 있다. 예를 들어, 물체들은 레이더 기반 감지 시스템의 디스플레이(215)에 근접해 있는 다수의 사용자들의 다수의 손들일 수 있다.
특정 실시 예들은 적절한 경우 도 12의 방법의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 특정 순서로 발생하는 것으로서 도 12의 방법의 특정 단계들을 설명 및 예시하고 있지만, 본 개시는 임의의 적절한 순서로 발생하는 도 12의 방법의 임의의 적절한 단계들을 고려한다. 또한, 본 개시가 도 12의 방법의 특정 단계들을 포함하여, 전자기 방사에 기초하여 물체를 감지하는 예시적인 방법을 설명 및 예시하고 있지만, 본 개시는 적절한 경우 도 12의 방법의 단계들 중 일부 또는 모두를 포함하거나, 어떠한 단계도 포함하지 않을 수 있는, 전자기 방사 기초하여 물체를 감지하는 임의의 적절한 방법을 고려한다. 또한, 본 개시가 도 12의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 도 12의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 컴포넌트들, 장치들, 또는 시스템들의 임의의 적절한 조합을 고려한다.
전술한 바와 같이, 레이더 기반 감지 시스템은 예를 들어 송신기들의 배향에 기초하여, 레이더 신호(들)를 송신할 송신기 세트를 동적으로 선택할 수 있다. 레이더 기반 감지 시스템은 레이더 신호(들)를 송신하는데 사용할 송신 동작 모드를 동적으로 선택할 수 있다. 레이더 기반 감지 시스템은 수신된 레이더 신호(들)를 처리하기 위해 사용할 처리 모듈을 동적으로 선택할 수 있다. 이러한 각 특징들에 대한 동적 선택은 한 프레임씩 기반으로 발생할 수 있거나, 지정된 동작 조건이 변경될 때까지 모든 프레임에 적용될 수 있으며, 및/또는 초기 장면 검출이 발생하는 초기화 단계 동안에 발생할 수 있다. 레이더 기반 감지 시스템은 이러한 각각의 동적 선택 능력들을 가질 수 있다. 전술한 바와 같이, 동적 선택은 애플리케이션 또는 프로세스에 의해 지정되는 요구 사항들과 같은, 다양한 인터랙션 검출 요구 사항들에 기초할 수 있다. 각각의 선택은 그 자체로 특정한 인터랙션 이득 세트에 해당한다. 마찬가지로, 각각의 선택 조합은 위에서 상세히 설명한 바와 같은 특정한 이득 세트에 해당한다.
본 명세서에서, 본 개시는 특정 해상도 요구 사항에 대한 해상도 임계치와 같은, 특정 인터랙션 검출 요구 사항을 비교하기 위한 임계치들에 대해 설명하고 있다. 본 개시는 이러한 요구 사항들 및/또는 임계치들이 정량적으로(예를 들어, 수치적으로) 또는 정성적으로(예를 들어, 고해상도가 우선 순위를 갖는 것으로 지정함으로써 또는 요구 사항이 가능한 가장 높은 해상도인 것으로 지정함으로써) 지정될 수 있는 것으로 고려한다. 예를 들어, 임계치는 특정 인터랙션-검출 인스턴스에서 해상도와 같은 특정 파라미터가 우선 순위를 갖는지 여부에 대한 이진 표시일 수 있다. 예를 들어, 요구 사항은 가능한 가장 높은 해상도일 수 있으며, 임계치는 고해상도가 우선 순위를 갖는지 여부일 수 있다. 따라서, 이 예에서, 요구 사항은 그 요구 사항들에 따라 고해상도가 우선 순위를 가지므로, 임계치를 초과하는 해상도를 지정하게 된다.
도 13은 예시적인 컴퓨터 시스템(1300)을 도시한 것이다. 특정 실시 예들에서, 하나 이상의 컴퓨터 시스템들(1300)은 본 명세서에서 설명되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시 예들에서, 하나 이상의 컴퓨터 시스템들(1300)은 본 명세서에서 설명되거나 예시된 기능을 제공한다. 특정 실시 예들에서는, 하나 이상의 컴퓨터 시스템들(1300) 상에서 실행되는 소프트웨어가 본 명세서에서 설명되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 본 명세서에서 설명되거나 예시된 기능을 제공한다. 특정 실시 예들은 하나 이상의 컴퓨터 시스템들(1300)의 하나 이상의 부분들을 포함한다. 여기에서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 장치를 포함할 수 있으며, 적절한 경우, 그 반대일 수도 있다. 또한, 컴퓨터 시스템에 대한 언급은 적절한 경우, 하나 이상의 컴퓨터 시스템들을 포함할 수도 있다.
본 개시는 임의의 적절한 수의 컴퓨터 시스템들(1300)을 고려한다. 본 개시는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(1300)을 고려한다. 제한이 아닌 일 예로서, 컴퓨터 시스템 (1300)은 임베디드 컴퓨터 시스템, SOC(system-on-chip), SBC(single-board computer system)(예를 들어, COM(computer-on-module) 또는 SOM(system-on-module)), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 인터랙티브 키오스크, 메인프레임, 컴퓨터 시스템들의 메쉬, 이동 전화, PDA(personal digital assistant), 서버, 태블릿 컴퓨터 시스템, 증강/가상 현실 장치, 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(1300)은 단일체이거나 분산되어 있거나; 복수의 위치들에 걸쳐 있거나; 복수의 머신들에 걸쳐 있거나; 복수의 데이터 센터들에 걸쳐 있거나; 또는 클라우드에 상주할 수 있는 하나 이상의 컴퓨터 시스템들(1300)을 포함할 수 있으며, 이것은 하나 이상의 네트워크에서 하나 이상의 클라우드 컴포넌트들을 포함할 수도 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템들(1300)은 실질적인 공간적 또는 시간적 제한없이 본 명세서에서 설명되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다. 제한이 아닌 일 예로서, 하나 이상의 컴퓨터 시스템들(1300)은 본 명세서에 설명되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 실시간 또는 배치 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들(1300)은 적절한 경우, 상이한 시간들에서 또는 상이한 위치들에서 본 명세서에서 설명되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다.
특정 실시 예들에서, 컴퓨터 시스템(1300)은 프로세서(1302), 메모리(1304), 스토리지(1306), 입/출력(I/O) 인터페이스(1308), 통신 인터페이스(1310) 및 버스(1312)를 포함한다. 본 개시가 특정 구성에서 특정 개수의 특정 컴포넌트들을 갖는 특정 컴퓨터 시스템을 설명 및 예시하고 있지만, 본 개시는 임의의 적절한 구성의 임의의 적절한 개수의 임의의 적절한 컴포넌트들을 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시 예들에서, 프로세서(1302)는 컴퓨터 프로그램을 구성하는 명령들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 제한이 아닌 일 예로서, 명령들을 실행하기 위해, 프로세서(1302)는 내부 레지스터, 내부 캐시, 메모리(1304) 또는 스토리지(1306)으로부터 명령들을 검색(또는 페치)하고; 명령들을 디코딩 및 실행하며; 그 후에 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(1304) 또는 스토리지(1306)에 기록할 수 있다. 특정 실시 예들에서, 프로세서(1302)는 데이터, 명령들 또는 어드레스들에 대한 하나 이상의 내부 캐시들을 포함할 수 있다. 본 개시는 적절한 경우, 임의의 적절한 개수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(1302)를 고려한다. 제한이 아닌 일 예로서, 프로세서(1302)는 하나 이상의 명령 캐시들, 하나 이상의 데이터 캐시들 및 하나 TLB(translation lookaside buffer)들을 포함할 수 있다. 명령 캐시들 내의 명령들은 메모리(1304) 또는 스토리지(1306) 내의 명령들의 복사본일 수 있으며, 명령 캐시들은 프로세서(1302)에 의한 이러한 명령들의 검색 속도를 빠르게 할 수 있다. 데이터 캐시들에 있는 데이터는, 프로세서(1302)에서 실행되는 명령들의 동작 대상인, 메모리(1304) 또는 스토리지(1306)에 있는 데이터의 복사본이거나, 프로세서(1302)에서 실행되는 다음 명령들에 의한 액세스 또는 메모리(1304) 또는 스토리지(1306)로의 기록을 위해 프로세서(1302)에서 실행되는 이전 명령들의 결과이거나, 또는 그밖의 적절한 데이터가 될 수 있다. 데이터 캐시는 프로세서(1302)에 의한 독출 또는 기록 동작의 속도를 빠르게 할 수 있다. TLB들은 프로세서(1302)를 위해 가상 어드레스 변환의 속도를 빠르게 할 수 있다. 특정 실시 예들에서, 프로세서(1302)는 데이터, 명령들, 또는 어드레스들을 위한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 개시는, 적절한 경우, 어떠한 적절한 수의 어떠한 적절한 내부 레지스터라도 포함하는 프로세서(1302)를 고려한다. 적절한 경우, 프로세서(1302)는 하나 이상의 산술 논리 연산 유닛(ALU)을 포함할 수 있거나, 멀티-코어 프로세서(multi-core processor)이거나 또는 하나 이상의 프로세서(1302)를 포함할 수 있다. 본 개시가 특정 프로세서를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 프로세서라도 고려한다.
특정 실시 예들에서, 메모리(1304)는 프로세서(1302)가 실행할 명령들 및 프로세서(1302)가 연산할 데이터를 저장하기 위한 메인 메모리를 포함한다. 제한이 아닌 일 예로서, 컴퓨터 시스템(1300)은 스토리지(1306) 또는 다른 소스(예컨대, 다른 컴퓨터 시스템(1300))로부터 메모리(1304)로 명령들을 로딩할 수 있다. 프로세서(1302)는 그 다음 명령들을 메모리(1304)로부터 내부 레지스터 또는 내부 캐시로 로딩할 수 있다. 명령들을 실행하기 위해, 프로세서(1302)는 내부 레지스터 또는 내부 캐시로부터 명령들을 검색하고 이들을 디코딩할 수 있다. 명령들을 실행하는 동안 또는 실행하고 나서, 프로세서(1302)는 (중간 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 프로세서(1302)는 그 다음 하나 이상의 결과들을 메모리(1304)에 기록할 수 있다. 특정 실시 예들에서, 프로세서(1302)는 (스토리지(1306)이나 그밖의 다른 곳과는 달리) 하나 이상의 내부 레지스터, 내부 캐시 또는 메모리(1304)에서는 명령들만을 실행하고, 또한, (스토리지(1306)이나 그밖의 다른 곳과는 달리) 하나 이상의 내부 레지스터, 내부 캐시 또는 메모리(1304)에서는 데이터만을 연산할 수 있다. 하나 이상의 메모리 버스(각 메모리 버스는 어드레스 버스와 데이터 버스를 포함할 수 있음)는 프로세서(1302)를 메모리(1304)에 연결시킬 수 있다. 버스(1312)는 이하에서 기술되는 바와 같이 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시 예들에서는, 하나 이상의 메모리 관리 유닛들(memory management units, MMUs)이 프로세서(1302)와 메모리(1304) 사이에 상주하며, 프로세서(1302)에 의해 요구되는 메모리(1304)로의 액세스를 용이하게 한다. 특정 실시 예들에서, 메모리(1304)는 랜덤 액세스 메모리(random access memory, RAM)을 포함한다. 이러한 RAM은, 필요에 따라, 휘발성 메모리일 수 있고, 또한, 이러한 RAM은 필요에 따라, 동적 램(Dynamic RAM, DRAM) 또는 정적 램(Static RAM, SRAM)이 될 수 있다. 또한, 필요에 따라, 이러한 RAM은 싱글 포트(single-ported) 또는 멀티 포트(multi-ported) RAM이 될 수 있다. 본 개시는 어떠한 적절한 RAM도 고려한다. 메모리(1304)는 적절한 경우 하나 이상의 메모리(1304)를 포함할 수 있다. 본 개시가 특정 메모리를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 메모리도 고려한다.
특정 실시 예들에서, 스토리지(1306)은 데이터 또는 명령들을 위한 대용량 스토리지를 포함한다. 제한이 아닌 일 예로서, 스토리지(1306)은 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래쉬 메모리, 광학 디스크, 광자기 디스크, 자기 테잎 또는 범용 직렬 버스(Universal Serial Bus, USB) 드라이브 또는 이들 중 두 개 이상의 조합을 포함할 수 있다. 스토리지(1306)은, 적절한 경우, 제거가능한 또는 비-제거가능한(또는 고정된) 매체를 포함할 수 있다. 스토리지(1306)은, 적절한 경우, 컴퓨터 시스템(1300)의 내부 또는 외부에 있을 수 있다. 특정 실시 예들에서, 스토리지(1306)은 비-휘발성, 솔리드 스테이트 메모리(solid-state memory)이다. 특정 실시 예들에서, 스토리지(1306)은 판독 전용 메모리(read only memory, ROM)이다. 적절한 경우, 이러한 ROM은 마스크-프로그램된 ROM(mask-programmed ROM), 프로그래머블 ROM(programmable ROM, PROM), 이레이저블 PROM(erasable PROM, EPROM), 전기적 이레이저블 PROM(electrically erasable PROM, EEPROM), 전기적 변경가능 ROM(electrically alterable ROM, EAROM) 또는 플래쉬 메모리 또는 이들 중 두 개 이상의 조합이 될 수 있다. 본 개시는 어떠한 적절한 물리적 형태를 가지는 대용량 스토리지(1306)도 고려한다. 스토리지(1306)은, 적절한 경우, 프로세서(1302)와 스토리지(1306) 사이의 통신을 용이하게 하는 하나 이상의 스토리지 제어 유닛을 포함할 수 있다. 적절한 경우, 스토리지(1306)은 하나 이상의 스토리지들 1306을 포함할 수 있다. 본 개시가 특정한 스토리지를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 스토리지라도 고려한다.
특정 실시 예들에서, I/O 인터페이스(1308)은 컴퓨터 시스템(1300)과 하나 이상의 I/O 장치들 사이의 통신을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 이들 양자를 포함한다. 컴퓨터 시스템(1300)은, 적절한 경우, 하나 이상의 I/O 장치들을 포함한다. 하나 이상의 I/O 장치들은 사람과 컴퓨터 시스템(1300) 사이의 통신을 가능하게 할 수 있다. 제한이 아닌 일 예로서, I/O 장치는, 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적절한 I/O 장치 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서들을 포함할 수 있다. 본 개시는 어떠한 적절한 I/O 장치들과 이들을 위한 어떠한 적절한 I/O 인터페이스들이라도 고려한다. 적절한 경우, I/O 인터페이스(1308)은 프로세서(1302)가 하나 이상의 I/O 장치들을 구동하는 것을 가능하게 하는 하나 이상의 장치 또는 소프트웨어 드라이버들을 포함할 수 있다. I/O 인터페이스(1308)은, 적절한 경우, 하나 이상의 I/O 인터페이스들을 포함할 수 있다. 본 개시가 특정한 I/O 인터페이스를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 I/O 인터페이스라도 고려한다.
특정 실시 예들에서, 통신 인터페이스(1310)은 컴퓨터 시스템(1300)과 하나 이상의 다른 컴퓨터 시스템들(1300) 또는 하나 이상의 네트워크들 사이의 통신(예를 들어, 패킷-기반 통신)을 위한 하나 이상의 인터페이스들을 제공하는, 하드웨어, 소프트웨어 또는 이들 양자를 포함한다. 제한이 아닌 일 예로서, 통신 인터페이스(1310)은 이더넷 또는 다른 유선 기반 네트워크와 통신을 위한 네트워크 인터페이스 컨트롤러(network interface controller, NIC) 또는 네트워크 어댑터, 또는 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 NIC(wireless NIC, WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 개시는 어떠한 적절한 네트워크 및 그것을 위한 어떠한 적절한 통신 인터페이스(1310)이라도 고려한다. 제한이 아닌 일 예로서, 컴퓨터 시스템(1300)은 애드혹 네트워크(ad hoc network), 퍼스널 에어리어 네트워크(personal area network, PAN), 로컬 에어리어 네트워크(local area network, LAN), 와이드 에어리어 네트워크(wide area network, WAN), 메트로폴리탄 에어리어 네트워크(metropolitan area network, MAN), 또는 인터넷의 하나 이상의 부분, 또는 이둘 중 두 개 이상의 조합과 통신할 수 있다. 이들 네트워크 중 하나 이상의 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 일 예로서, 컴퓨터 시스템(1300)은 무선 PAN(wireless PAN, WPAN)(예컨대, BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 텔레폰 네트워크(예컨대, 모바일 통신을 위한 글로벌 시스템 네트워크(Global System for Mobile Communications, GSM network), 또는 다른 적절한 무선 네트워크, 또는 이들 중 두 개 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(1300)은 적절한 경우, 이들 네트워크 중 어떤 네트워크를 위한 어떠한 적절한 통신 인터페이스(1310)을 포함할 수 있다. 통신 인터페이스(1310)은 적절한 경우, 하나 이상의 통신 인터페이스들 1310을 포함할 수 있다. 개시가 특정한 통신 인터페이스를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 통신 인터페이스라도 고려한다.
특정 실시 예들에서, 버스(1312)는 컴퓨터 시스템(1300)의 컴포넌트들을 서로 결합시키는 하드웨어, 소프트웨어, 또는 양자를 포함한다. 제한이 아닌 일 예로서, 버스(1312)는 가속 그래픽 포트(accelerated graphics port, AGP) 또는 다른 그래픽 버스, 향상된 산업 표준 아키텍처 (enhanced industry standard architecture, EISA) 버스, 프런트-사이드 버스(front-side bus, FSB), 하이퍼트랜스포트(hypertransport, HT) 인터커넥트, 산업 표준 아키텍처 (industry standard architecture, ISA) 버스, 인피니밴드(INFINIBAND) 인터커넥트, 로우-핀-카운트 (low-pin-count, LPC) 버스, 메모리 버스, 마이크로 채널 아키텍처 버스(micro channel architecture, MCA) 버스, 페리페럴 컴포넌트 인터커넥트 버스(peripheral component interconnect, PCI) 버스, PCI-익스프레스 버스(PCI-Express, PCIe) 버스, 시리얼 어드밴스드 테크놀로지 어태치먼트 버스(serial advanced technology attachement, SATA) 버스, 비디오 전자 표준 연합 로컬 버스(video electronics standard association local, VLB) 버스, 또는 또다른 적절한 버스, 또는 이들 중 두 개 이상의 조합을 포함할 수 있다. 버스(1312)는 적절한 경우, 하나 이상의 버스들 (1312)를 포함할 수 있다. 본 개시가 특정한 버스를 설명 및 예시하고 있지만, 본 개시는 어떠한 적절한 버스 또는 인터커넥트를 고려한다.
여기서, 컴퓨터 판독 가능한 비일시적 저장 매체 또는 매체들은 적절한 경우, 하나 이상의 반도체 기반 또는 다른 집적 회로(integrated circuits, ICs)(예컨대, FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)), 하드 디스크 드라이브(hard disk drives, HDDs), 하이브리드 하드 드라이브(hybrid hard drives, HHDs), 광 디스크, 광 디스크 드라이브(optical disc drives, ODDs), 광-자기 디스크, 광-자기 드라이브, 플로피 디스켓, 플로피 디스크 드라이브(floppy disk drives, FDDs), 자기 테잎, 솔리드 스테이트 드라이브(solid-state drives, SSD), 램 드라이브, SECURE DIGITAL 카드 또는 드라이브, 임의의 다른 적절한 컴퓨터 판독 가능한 비일시적 저장 매체 또는 이들 중 두 개 이상의 적절한 조합을 포함할 수 있다. 컴퓨터 판독 가능한 비일시적 저장 매체는 적절한 경우, 휘발성, 비휘발성, 또는 휘발성과 비휘발성의 조합이 될 수 있다.
본 명세서에서, "또는"은 명백하게 달리 표시되지 않는 한 또는 문맥에 의해 다르게 표시되지 않는 한, 포함하는 의미이고 배타적인 의미가 아니다. 따라서, 본 명세서에서 "A 또는 B"는, 명백하게 달리 표시되지 않는 한 또는 문맥에 의해 다르게 표시되지 않는 한, "A, B, 또는 양쪽 모두"를 의미한다. 또한, "및"은, 명백하게 달리 표시되지 않는 한 또는 문맥에 의해 다르게 표시되지 않는 한, 공동으로 및 개별적으로의 의미이다. 따라서, 본 명세서에서 "A 및 B"는, 명백하게 달리 표시되지 않는 한 또는 문맥에 의해 다르게 표시되지 않는 한, "공동으로 또는 개별적으로, A 및 B"를 의미한다.
본 명세서에서, "자동적으로" 및 그 파생어는 달리 표시되거나 문맥에 의해 달리 지시되지 않는 한, "인간의 개입없이"를 의미한다.
본 개시의 범위는 본 기술 분야의 당업자가 이해하는, 본 명세서에서 설명되거나 예시된 실시 예들에 대한 모든 변경, 대체, 변형, 개조 및 수정을 포함한다. 본 개시의 범위는, 본 명세서에서 설명되거나 예시된 실시 예들에 한정되지 않는다. 또한, 본 개시가 특정 컴포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계를 포함하는 각 실시 예들을 설명 및 예시하고 있지만, 이러한 실시 예들의 어느 것도, 본 기술 분야의 당업자가 이해하는, 본 명세서에서 설명되거나 예시된 컴포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계들의 임의의 조합 또는 치환을 포함할 수 있다. 또한, 첨부된 청구항들에서, 특정 기능을 수행하기 위해 적응된(adapted to), 배열된(arranged to), 할 수 있는(capable of), 구성된(configured to), 가능하도록 하는(enabled to), 동작 가능한(operable to), 또는 동작하는 (operative) 장치 또는 시스템 또는 장치 또는 시스템의 컴포넌트는, 그 장치, 시스템 또는 컴포넌트가 그렇게 적응되어 있고, 배열되어 있고, 할 수 있고, 구성되고, 가능하도록 되고, 동작 가능하고 또는 동작하는 한, 특정한 기능이 활성화되어 있는지, 턴온되어 있는지, 또는 잠금 해제되었는지에 관계없이 해당 장치, 시스템, 컴포넌트를 포함한다. 또한, 본 개시가 특별한 이점을 제공하는 것으로서 특정 실시 예들을 설명하거나 예시하였지만, 특정 실시 예들은 이들 이점 중 일부 또는 전부를 제공하거나 어느 것도 제공하지 않을 수도 있다.

Claims (15)

  1. 방법으로서,
    하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서,
    상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파(radio wave)들을 송신하는 단계;
    상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하는 단계; 및
    상기 전자 장치와의 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량(trilateration) 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 단계
    를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 상기 하나 이상의 물체들을 추적하는 것을 포함하는 경우, 상기 삼변측량 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  3. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 상기 하나 이상의 물체들과 상기 전자 장치 사이의 거리를 결정하는 것을 포함하는 경우, 상기 삼변측량 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  4. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 임계 프레임 레이트(threshold frame rate)를 초과하는 프레임 레이트로 수신된 전파들을 처리하는 것을 포함하는 경우, 상기 삼변측량 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  5. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 상기 하나 이상의 물체들의 형상을 결정하는 것을 포함하는 경우, 상기 이미징 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  6. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 상기 하나 이상의 물체들의 크기를 결정하는 것을 포함하는 경우, 상기 이미징 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  7. 청구항 6에 있어서,
    상기 하나 이상의 요구 사항들이 하나 이상의 물체들의 배향을 결정하는 것을 포함하는 경우, 상기 이미징 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  8. 청구항 7에 있어서,
    상기 하나 이상의 물체들은 사용자의 손 또는 사지(limb)를 포함하는 방법.
  9. 청구항 7에 있어서,
    상기 하나 이상의 물체들은 사용자의 복수의 손가락들을 포함하는 방법.
  10. 청구항 1에 있어서,
    상기 하나 이상의 요구 사항들이 상기 하나 이상의 물체들 중 적어도 일부를 식별하는 것을 포함하는 경우, 상기 이미징 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  11. 청구항 10에 있어서,
    상기 하나 이상의 요구 사항들에 기초하여, 추가 처리를 집중시킬 식별된 물체들의 세트를 결정하는 단계; 및
    상기 하나 이상의 요구 사항들 및 식별된 물체들의 세트에 기초하여, 상기 추가 처리를 위해 상기 삼변측량 처리 모듈 또는 상기 이미징 처리 모듈을 선택하는 단계를 더 포함하는 방법.
  12. 명령들을 구현하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금,
    하나 이상의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서,
    상기 송신기들 중의 하나 이상으로부터 상기 전자 장치 부근의 영역으로 전파(radio wave)들을 송신하는 동작;
    상기 수신기들 중 하나 이상에서, 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하는 동작; 및
    상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하는 동작
    을 포함하는 동작들을 수행하게 하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체.
  13. 시스템으로서,
    송수신기;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 커플링되는 비일시적 메모리를 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 송수신기를 제어하여 상기 전자 장치 부근의 영역으로 전파들을 송신하도록 하고;
    상기 송수신기를 제어하여 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 수신하도록 하고; 또한
    상기 전자 장치와의 후속적인 사용자 인터랙션을 처리하기 위한 하나 이상의 요구 사항들에 기초하여, 후속적으로 수신되는 전파들을 처리하기 위한 삼변측량 처리 모듈, 또는 후속적으로 수신되는 전파들을 처리하기 위한 이미징 처리 모듈을 선택하도록 구성되는 시스템.
  14. 장치로서,
    디스플레이;
    상기 전자 장치 부근의 영역으로 전파들을 송신하도록 구성되는 송수신기; 및
    적어도 하나의 프로세서를 포함하며,
    상기 송수신기는,
    각각의 송신기가 상기 디스플레이에 평행한 방향으로 자신의 전파들 대부분을 송신하는 제 1 세트의 송신기들;
    각각의 송신기가 상기 디스플레이에 수직한 방향으로 자신의 전파들 대부분을 송신하는 제 2 세트의 송신기들; 및
    상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는, 상기 송신된 전파들의 반사들을 검출하기 위한 하나 이상의 수신기들을 포함하며,
    상기 반사들은 상기 전자 장치와의 사용자 인터랙션에 대응하는 것인 전자 장치.
  15. 방법으로서,
    복수의 레이더 기반 송신기들 및 하나 이상의 레이더 기반 수신기들을 포함하는 송수신기를 포함하는 전자 장치에 있어서,
    상기 전자 장치 부근의 하나 이상의 물체들을 검출하기 위한 하나 이상의 프리퍼런스(preference)들에 기초하여, 상기 복수의 송신기들에 대한 송신 동작 모드(transmission operating mode)를 선택하는 단계;
    상기 송신 동작 모드에 따라 상기 복수의 송신기들 중 적어도 일부로부터, 상기 전자 장치 부근의 영역으로 전파들을 송신하는 단계; 및
    상기 하나 이상의 수신기들을 활성화시켜 상기 전자 장치 부근의 하나 이상의 물체들에서 반사되는 전파들을 검출하도록 하는 단계
    를 포함하는 방법.
KR1020197022313A 2017-02-07 2018-02-07 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템 KR102510402B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762455942P 2017-02-07 2017-02-07
US62/455,942 2017-02-07
US15/889,149 US11243293B2 (en) 2017-02-07 2018-02-05 Radar-based system for sensing touch and in-the-air interactions
US15/889,149 2018-02-05
PCT/KR2018/001668 WO2018147646A1 (en) 2017-02-07 2018-02-07 Radar-based sensing system for touch and in-the-air interactions

Publications (2)

Publication Number Publication Date
KR20190107047A true KR20190107047A (ko) 2019-09-18
KR102510402B1 KR102510402B1 (ko) 2023-03-15

Family

ID=63037618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022313A KR102510402B1 (ko) 2017-02-07 2018-02-07 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템

Country Status (4)

Country Link
US (2) US11243293B2 (ko)
EP (1) EP3577543A4 (ko)
KR (1) KR102510402B1 (ko)
WO (1) WO2018147646A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953619B2 (en) 2017-02-07 2024-04-09 Samsung Electronics Co., Ltd. Radar-based system for sensing touch and in-the-air interactions

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
FR3082019A1 (fr) * 2018-05-29 2019-12-06 Orange Procede, dispositif, terminal et programme de commande d'activation d'un terminal
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors
US11416077B2 (en) * 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10866317B2 (en) * 2018-09-17 2020-12-15 Apple Inc. Electronic device with co-located independent radar transceivers
US10732726B2 (en) * 2018-09-21 2020-08-04 International Business Machines Corporation Gesture recognition using 3D MM-wave radar
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
EP3716020B1 (en) * 2019-03-29 2023-03-01 Tata Consultancy Services Limited Systems and methods for three dimensional (3d) reconstruction of human gestures from radar based measurements
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
WO2020236988A1 (en) * 2019-05-22 2020-11-26 Tactual Labs Co. Millimeter wave array
US10955929B2 (en) 2019-06-07 2021-03-23 Facebook Technologies, Llc Artificial reality system having a digit-mapped self-haptic input method
US20220302576A1 (en) * 2019-06-25 2022-09-22 Google Llc Human and gesture sensing in a computing device
US20210042545A1 (en) * 2019-08-07 2021-02-11 EyeVerify, Inc. Microwave biometric authentication using machine learning
CN110502129A (zh) * 2019-08-29 2019-11-26 王国梁 交互控制系统
US11448747B2 (en) * 2019-09-26 2022-09-20 Apple Inc. Time-of-flight determination of user intent
CN113220112B (zh) * 2020-01-21 2023-07-18 华为技术有限公司 手势识别方法、装置、终端设备及计算机存储介质
US11561299B1 (en) * 2022-06-03 2023-01-24 Oculii Corp. System and method for multi-waveform radar tracking

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045222A (ko) * 2011-10-25 2013-05-03 브로드콤 코포레이션 ３-차원 터치 스크린을 포함한 휴대용 컴퓨팅 디바이스
KR20140140014A (ko) * 2012-03-01 2014-12-08 퀄컴 인코포레이티드 다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출
KR20150004280A (ko) * 2013-07-02 2015-01-12 브로제 파초이크타일레 게엠바하 운트 콤파니 케이지, 할스타드 차량용 물체 검출 장치
KR20160087049A (ko) * 2015-01-12 2016-07-21 한국기술교육대학교 산학협력단 레이더센서가 구비된 차량용 블랙박스 및 그 제어 방법
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295154B2 (en) * 2002-01-17 2007-11-13 The Ohio State University Vehicle obstacle warning radar
US9959463B2 (en) * 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US20070174429A1 (en) * 2006-01-24 2007-07-26 Citrix Systems, Inc. Methods and servers for establishing a connection between a client system and a virtual machine hosting a requested computing environment
GB0701869D0 (en) * 2007-01-31 2007-03-14 Cambridge Consultants Adaptive radar
EP2209018A1 (en) 2009-01-15 2010-07-21 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A method for estimating an object motion characteristic from a radar signal, a computer system and a computer program product
CA2764120C (en) * 2009-01-27 2019-01-08 Xyz Interactive Technologies Inc. A method and apparatus for ranging finding, orienting, and/or positioning of single and/or multiple devices
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8483617B2 (en) 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US8768006B2 (en) 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US8669966B2 (en) * 2011-02-25 2014-03-11 Jonathan Payne Touchscreen displays incorporating dynamic transmitters
US10514256B1 (en) * 2013-05-06 2019-12-24 Amazon Technologies, Inc. Single source multi camera vision system
US20150078595A1 (en) 2013-09-13 2015-03-19 Sony Corporation Audio accessibility
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US20160091308A1 (en) 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9544679B2 (en) 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
KR102327044B1 (ko) * 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR102002112B1 (ko) * 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) * 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9629201B2 (en) * 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017100641A1 (en) * 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US10579150B2 (en) * 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130045222A (ko) * 2011-10-25 2013-05-03 브로드콤 코포레이션 ３-차원 터치 스크린을 포함한 휴대용 컴퓨팅 디바이스
KR20140140014A (ko) * 2012-03-01 2014-12-08 퀄컴 인코포레이티드 다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출
KR20150004280A (ko) * 2013-07-02 2015-01-12 브로제 파초이크타일레 게엠바하 운트 콤파니 케이지, 할스타드 차량용 물체 검출 장치
KR20160128318A (ko) * 2014-03-28 2016-11-07 인텔 코포레이션 레이더에 기반한 제스처 인식
KR20160087049A (ko) * 2015-01-12 2016-07-21 한국기술교육대학교 산학협력단 레이더센서가 구비된 차량용 블랙박스 및 그 제어 방법
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953619B2 (en) 2017-02-07 2024-04-09 Samsung Electronics Co., Ltd. Radar-based system for sensing touch and in-the-air interactions

Also Published As

Publication number Publication date
US20180224980A1 (en) 2018-08-09
US11243293B2 (en) 2022-02-08
KR102510402B1 (ko) 2023-03-15
US20220091233A1 (en) 2022-03-24
US11953619B2 (en) 2024-04-09
EP3577543A4 (en) 2020-05-27
EP3577543A1 (en) 2019-12-11
WO2018147646A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
KR102510402B1 (ko) 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
JP7340656B2 (ja) 電子機器およびソフトウェアプログラム
US10310621B1 (en) Radar gesture sensing using existing data protocols
CN107636893B (zh) 配置成检测对象的多天线通信系统
US8811720B2 (en) 3D visualization of light detection and ranging data
US10921866B2 (en) Access to high frame-rate radar data via a circular buffer
CA2900382C (en) Handling overloaded gestures
CN107076847B (zh) 电子设备、电子设备的控制方法及记录介质
US11506754B2 (en) Radar based pattern code identification
CN110785728B (zh) 使用电磁辐射的对象检测和运动识别
US11218365B2 (en) Systems and methods for mapping indoor user movement using a combination of Wi-Fi and 60 GHz sensing
US10684740B2 (en) Intervention conditions
US20200326402A1 (en) An apparatus and associated methods
CN109032354B (zh) 电子装置及其手势识别方法、计算机可读存储介质
KR20210066693A (ko) 주변 환경을 탐색하는 전자 장치 및 그 동작 방법
EP3603057B1 (en) Dual-band stereo depth sensing system
CN117092603A (zh) 一种目标检测方法及相关装置
CN116783573A (zh) 用于管理电子设备的运动检测的系统和方法以及相关联的电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right